DE102019114720A1

DE102019114720A1 - Erweiterte realität (augmented reality - ar) entfernte fahrzeugassistenz

Info

Publication number: DE102019114720A1
Application number: DE102019114720.4A
Authority: DE
Inventors: Daniel E. Rudman; Keith A. Fry
Original assignee: GM Global Technology Operations LLC; General Motors LLC
Current assignee: GM Global Technology Operations LLC; General Motors LLC
Priority date: 2018-11-02
Filing date: 2019-06-01
Publication date: 2020-05-07
Also published as: US20200143593A1; CN111147810A; US10679420B2

Abstract

Ein System und Verfahren zur Bereitstellung von Erweiterter Realitäts-(AR)-Remote-Assistenz für einen Fahrzeugbenutzer eines Fahrzeugs. Das Verfahren beinhaltet: Senden von Live-Videodaten an eine Remote-Assistenzanwendung an einem Remote-Computer von einer tragbaren Drahtlosvorrichtung (PWD), die lokal für das Fahrzeug ist; Empfangen der Annotationsinformationen an der mobilen Vorrichtung von der Remote-Assistenzanwendung, wobei die Annotationsinformationen Annotationsgrafikinformationen und Annotationsortinformationen beinhalten, wobei die Annotationsgrafikinformationen eine Annotationsgrafik identifizieren, und das Anzeigen eines AR-Videos auf der elektronischen Anzeige, das die am Annotationsanzeigeort und über einen Teil der Live-Videodaten angeordnete Annotationsgrafik beinhaltet, wobei das AR-Video als das Sichtfeld der elektronischen Kamera aktualisiert wird, sodass die in dem AR-Video angezeigte Annotationsgrafik, wie innerhalb des AR-Videos dargestellt, an einer Stelle im Sichtfeld der elektronischen Kamera befestigt erscheint.

Description

EINLEITUNG
Die vorliegende Erfindung betrifft das Bereitstellen von Erweiterter Realitäts (AR)-Assistenz für einen Fahrzeugbenutzer unter Verwendung einer tragbaren Drahlosvorrichtung (Portable Wireless Device - PWD).
Mobile Vorrichtungen, wie beispielsweise Smartphones, können einem Fahrzeug zugeordnet und verwendet werden, um einen verbesserten Zugang zu Fahrzeugdiensten zu ermöglichen. Diese Vorrichtungen können drahtlos mit dem Fahrzeug kommunizieren, um lokalen und/oder entfernten Zugriff auf Fahrzeugdaten und Funktionen bereitzustellen. Da Fahrzeuge weiterhin komplexer werden, kann die Bedienung, Wartung und/oder Instandhaltung des Fahrzeugs für einen Fahrzeugbenutzer oder Fahrzeugservicetechniker eine Herausforderung darstellen.
KURZDARSTELLUNG
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Bereitstellen von erweiterter Realität (AR) Remote-Assistenz für einen Fahrzeugbenutzer eines Fahrzeugs bereitgestellt, wobei das Verfahren Folgendes beinhaltet: Senden von Live-Videodaten an eine Remote-Assistenzanwendung an einem Remote-Computer von einer tragbaren Drahtlosvorrichtung (PWD), die sich lokal im Fahrzeug befindet, wobei die PWD eine elektronische Anzeige und eine elektronische Kamera beinhaltet, die Live-Videodaten in einem Sichtfeld der elektronischen Kamera erfasst, und wobei der Remote-Computer konfiguriert ist zum: (i) Empfangen von Fahrzeugdiagnoseinformationen bezüglich des Fahrzeugs, (ii) Präsentieren der Fahrzeugdiagnoseinformationen an einen Remote-Assistenten, (iii) Anzeige der Live-Videodaten für das Betrachten durch den Remote-Assistenten unter Verwendung der Remote-Assistenzanwendung, (iv) Empfangen einer Annotationseingabe vom Remote-Assistenten und (v) Senden von Annotationsinformationen an die PWD, wobei die Annotationsinformationen auf der Annotationseingabe basieren; Empfangen der Annotationsinformationen an der mobilen Vorrichtung von der Remote-Assistenzanwendung, wobei die Annotationsinformationen Annotationsgrafikinformationen und Annotationsinformationen beinhalten, wobei die Annotationsgrafikinformationen eine Annotationsgrafik identifizieren und wobei die Annotationsinformationen eine Annotation-Anzeigeposition identifizieren, und auf der elektronischen Anzeige ein erweiterten Realitäts (AR)-Video, das die Annotationsgrafik beinhaltet, die sich am Anzeigeort und über einen Teil der Live-Videodaten befindet, in dem das AR-Video als Sichtfeld der elektronischen Kamera aktualisiert wird, sodass die in dem AR-Video angezeigte Annotationsgrafik auf einer Stelle innerhalb des Sichtfelds der elektronischen Kamera befestigt erscheint.
Gemäß verschiedenen Ausführungsformen kann dieses Verfahren eines oder mehrere der folgenden Merkmale in jeder technisch möglichen Kombination dieser Merkmale beinhalten:

• die Annotationsortinformationen Objektmarkierungsinformationen beinhalten, die verwendet werden, um ein Objekt im dreidimensionalen Raum zu identifizieren und/oder zu verfolgen, wie es von der elektronischen Kamera der PWD beobachtet wird, sodass die Annotationsgrafik an dem Objekt befestigt werden kann, um das AR-Video bereitzustellen;
• die Annotationsortinformationen eine Pixelkoordinatenposition der Live-Videodaten beinhalten;
• die PWD ein Objekt innerhalb eines dreidimensionalen Raumes identifiziert, wie sie von der elektronischen Kamera der PWD beobachtet wird, und wobei die PWD-Objekterkennungstechniken verwendet, um die Annotationsgrafik zu verfolgen, sodass die Annotationsgrafik am Objekt befestigt erscheint;
• die PWD einen oder mehrere Trägheitssensoren beinhaltet, die Positionsinformationen bezüglich der PWD erhalten, und wobei die Positionsinformationen verwendet werden, um ein Objekt oder einen Punkt innerhalb eines dreidimensionalen Raumes zu verfolgen, wie von der elektronischen Kamera der PWD beobachtet, sodass die Annotationsgrafik am Objekt oder Punkt innerhalb des dreidimensionalen Raums befestigt erscheint, auch wenn die PWD neu positioniert wird;
• die Positionsinformationen Ausrichtungs- und/oder Bewegungsinformationen bezüglich der PWD beinhalten;
• Live-Audio von dem Remote-Computer gestreamt wird, und wobei das Live-Audio vom Remote-Computer unter Verwendung eines Mikrofons erfasst und zur Wiedergabe an der PWD gestreamt wird;
• das Anzeigen von Remote-Assistenz-Live-Videodaten, die vom Remote-Computer empfangen werden, wobei die Remote-Assistenz-Live-Videodaten sind, die am Remote-Computer erfasst und live zur PWD zur Wiedergabe gestreamt werden;
• die PWD die Fahrzeugdiagnoseinformationen an die Remote-Assistenzanwendung bereitstellt;
• Senden einer Fahrzeugdiagnosinformationsanfrage an das Fahrzeug von der PWD und in Reaktion auf das Senden der Fahrzeugdiagnosinformationsanfrage Empfangen einer Fahrzeugdiagnoseinformationsantwort an der PWD vom Fahrzeug; und/oder
• die Fahrzeugdiagnosationsinformationsanforderung gesendet wird und die Fahrzeugdiagnoseinformationsantwort unter Verwendung einer Kurzbereichs-Drahtloskommunikations-(SRWC)-Verbindung zwischen dem Fahrzeug und der PWD empfangen wird.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Bereitstellung von erweiterter Realität (AR) für einen Fahrzeugbenutzer eines Fahrzeugs bereitgestellt, wobei das Verfahren von einem Remote-Computer ausgeführt wird, der eine Remote-Assistenzanwendung beinhaltet, und wobei das Verfahren Folgendes beinhaltet: Empfangen von Live-Videodaten an der Remote-Assistenzanwendung von einer tragbaren Drahtlosvorrichtung (PWD), Anzeigen der Live-Videodaten an einer grafischen Benutzeroberfläche (GUI) der Remote-Assistenzanwendung, sodass Live-Videodaten, die am PWD erfasst wurden, empfangen und an der GUI der Remote-Assistenzanwendung angezeigt werden; Darstellung von Fahrzeugdiagnoseinformationen an der GUI der Remote-Assistenzanwendung; Empfangen einer Annotationseingabe von einem Remote-Assistenten über eine oder mehrere Mensch-Maschine-Schnittstellen am Remote-Computer; Erhalten von Annotationsinformationen basierend auf der Annotatoreingabe; Anzeigen eines erweiterten Realitäts-(AR)-Videos an der GUI der Remote-Assistenzanwendung, und wobei das AR-Video eine Annotationsgrafik beinhaltet, die basierend auf den Annotationsinformationen und/oder der Annotationseingabe erzeugt wird; und Senden der Annotationsinformationen und/oder des AR-Videos an die PWD.
Gemäß verschiedenen Ausführungsformen kann dieses Verfahren eines oder mehrere der folgenden Merkmale in jeder technisch möglichen Kombination dieser Merkmale beinhalten:

• der Sendeschritt bewirkt, dass das AR-Video auf einer elektronischen Anzeige der PWD angezeigt wird, sodass das AR-Video auf der GUI der Remote-Assistenzanwendung und der elektronischen Anzeige der PWD auf simultane Weise angezeigt wird;
• die Fahrzeugdiagnoseinformationen dargestellt werden und die Live-Videodaten gleichzeitig auf der GUI der Remote-Assistenzanwendung angezeigt werden;
• die GUI der Remote-Assistenzanwendung einen Live-Videodaten-Streaming-Abschnitt, einen Fahrzeugbetriebs- oder Service-Führungsabschnitt und ein oder mehrere Annotationstools beinhaltet, wobei die Live-Videodaten und/oder das AR-Video am Live-Video-Datenstreaming-Abschnitt angezeigt werden, wobei ein Fahrzeugbetriebs- oder Service-Guide im Fahrzeugbetrieb oder ServiceFührungsabschnitt angezeigt wird, und wobei die Annotationstools vom Remote-Assistenten auswählbar sind und zum Eingeben der Annotatoreingabe verwendbar sind,
• das AR-Video am Remote-Computer unter Verwendung von Objekterkennungstechniken erzeugt wird, und wobei das AR-Video die Live-Videodaten beinhaltet, die von der PWD empfangen werden, und die Annotationsgrafik, die einem Teil der Live-Videodaten überlagert oder aufgeblendet ist;
• das AR-Video von der Remote-Assistenzanwendung an die PWD gesendet wird;
• die Annotationsinformationen an die PWD gesendet werden und ferner den Schritt des Empfangens des AR-Videos von der PWD umfassen;
• die Remote-Assistenzanwendung die Fahrzeugdiagnoseinformationen aus einer Datenbank erhält, die sich an einer entfernten Einrichtung befindet, und/oder
• die Remote-Assistenzanwendung die Fahrzeugdiagnoseinformationen vom Fahrzeug unter Verwendung einer direkten Fernverbindung zwischen dem Fahrzeug und dem Remote-Computer erhält.

Figurenliste
Eine oder mehrere Ausführungsformen der Erfindung werden im Folgenden in Verbindung mit den beigefügten Zeichnungen beschrieben, wobei gleiche Bezeichnungen gleiche Elemente bezeichnen, und wobei Folgendes gilt:

1 ist ein Blockschaltbild ist, das eine Ausführungsform eines Kommunikationssystems darstellt, das fähig ist, das hierin offenbarte Verfahren zu verwenden;
2 ist ein Blockschaltbild, das eine Ausführungsform eines tragbaren Mobilgeräts darstellt und einige exemplarische Hardware und Komponenten des tragbaren Mobilgeräts zeigt;
3 ist ein Blockdiagramm, das eine Frontansicht des tragbaren Mobilgeräts von 2 abbildet, wobei das Gerät als nach vorn gerichtet dargestellt ist;
4 ist ein Blockdiagramm, das eine Rückansicht des tragbaren Geräts aus 2 darstellt, wobei das Gerät als nach hinten gerichtet dargestellt wird;
5 ist ein Ablaufdiagramm, das eine Ausführungsform eines Verfahrens zum Bereitstellen erweiterter Realität (AR)-Remote-Assistenz für einen Fahrzeugbenutzer eines Fahrzeugs;
6 ist ein Ablaufdiagramm, das eine weitere Ausführungsform eines Verfahrens zum Bereitstellen erweiterter Realität (AR)-Remote-Assistenz für einen Fahrzeugbenutzer eines Fahrzeugs;
7 ist ein Ablaufdiagramm, das eine weitere Ausführungsform eines Verfahrens zum Bereitstellen erweiterter Realität (AR)-Remote-Assistenz für einen Fahrzeugbenutzer eines Fahrzeugs;
8 ist ein Blockdiagramm, das eine grafische Benutzeroberfläche (GUI) einer Remote-Assistenzanwendung darstellt; und
9 ist ein Blockdiagramm, das eine grafische Benutzeroberfläche (GUI) einer Fahrzeugassistenzanwendung darstellt.

AUSFÜHRLICHE BESCHREIBUNG
Das nachfolgend beschriebene System und Verfahren ermöglicht es einem Fahrzeugbenutzer, Remote-Assistenz von einem Remote-Assistenten in Form eines Videos von erweiterter Realität (AR) zu empfangen. Der Fahrzeugbenutzer, der eine Person ist, die sich an einem Fahrzeug befindet und/oder mit diesem assoziiert ist, kann von einem Remote-Assistenten Assistenz anfordern, der eine Person ist, die sich an einer entfernten Einrichtung befindet und die Fahrzeugbenutzer fernunterstützt. In einem Szenario ist der Fahrzeugbenutzer ein primärer Fahrzeugführer, wie ein Eigentümer oder ein Leasingnehmer; in einem anderen Szenario ist der Fahrzeugbenutzer ein Fahrzeugservicetechniker oder Mechaniker. Der Fahrzeugbenutzer kann eine tragbare Drahtlosvorrichtung (PWD), wie beispielsweise ein Smartphone, verwenden, um Assistenz unter Verwendung einer auf der PWD installierten Fahrzeugassistenzanwendung anzufordern. Ein Remote-Assistenz kann dann mit dem Fahrzeugbenutzer eine Remote-Assistenzsitzung verbinden. Die PWD kann Videodaten erfassen und diese Live-Videodaten an die Remote-Assistenzanwendung weiterleiten, die vom Remote-Assistenten bedient wird. Die Remote-Assistenzanwendung kann auch Fahrzeuginformationen über das Fahrzeug erhalten, die den Remote-Assistenten beim Ermitteln eines Problems mit dem Fahrzeug unterstützen oder anderweitig den Fahrzeugbenutzer mit Service, Wartung oder anderen Fahrzeugbetrieb unterstützen. Die Remote-Assistenzanwendung kann eine grafische Benutzeroberfläche (GUI) beinhalten, die es dem Remote-Assistenten ermöglicht, die Live-Videodaten von der PWD zu betrachten, da es in Echtzeit gestreamt wird, sowie dem Remote-Assistenten ermöglicht, die Live-Videodaten mit Annotationsgrafiken (z. B. Text, Kreisen, Pfeilen, anderen Grafiken) anzusetzen. Die Annotationsgrafiken (oder Annotationsinformationen, die von der PWD verwendet werden können, um die Annotationsgrafiken zu erhalten) werden von der Remote-Assistenzanwendung an die PWD gesendet und dann wird ein Augmented-Reality-(AR)-Video an der PWD angezeigt, um den Benutzer mit Betrieb, Dienst oder Wartung des Fahrzeugs zu unterstützen. Die Annotationsgrafiken können in einer AR-Weise so dargestellt werden, dass jede Annotationsgrafik einem Objekt im dreidimensionalen Raum zugeordnet (oder verfolgt) wird, wie es von der Kamera beobachtet und in den Live-Videodaten dargestellt wird.
Unter Bezugnahme auf 1, wird eine Betriebsumgebung dargestellt, die ein Kommunikationssystem 10 umfasst und die zum Implementieren des hierin offenbarten Verfahrens verwendet werden kann. Das Kommunikationssystem 10 beinhaltet im Allgemeinen ein Fahrzeug 12 mit einer drahtlosen Kommunikationsvorrichtung 30 und andere VSMs 22-56, eine tragbare Drahtlosvorrichtung (PWD) 14 mit einer Fahrzeugassistenzanwendung 16, eine Konstellation von Satelliten des globalen Navigationssatellitensystems (GNSS) 60, einem oder mehreren Drahtlosträgersystemen 70, einem Festnetz-Kommunikationsnetzwerk 76, einem Computer 78 und einer Fahrzeug-Backenddiensteinrichtung 80. Es versteht sich, dass das offenbarte Verfahren mit einer beliebigen Anzahl an unterschiedlichen Systemen verwendet werden kann und nicht speziell auf die hier gezeigte Betriebsumgebung eingeschränkt ist. Somit stellen die folgenden Absätze lediglich einen kurzen Überblick über ein solches Kommunikationssystem 10 bereit; aber auch andere, hier nicht dargestellte Systeme könnten die offenbarten Verfahren einsetzen.
Fahrzeug 12 ist in der veranschaulichten Ausführungsform als ein Personenkraftwagen dargestellt, es sollte jedoch beachtet werden, dass jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Geländewagen (SUV), Campingfahrzeuge (RV), Wasserfahrzeuge, Flugzeuge, einschließlich unbemannter Luftfahrzeuge (UAVs) usw. ebenfalls verwendet werden kann. Einige der Fahrzeugelektroniken 20 werden im Allgemeinen in 1 dargestellt und beinhalten einen Empfänger 22 für ein globales Navigationssatellitensystem (GNSS), ein Karosserie-Steuermodul oder eine Einheit (BCM) 24, ein Motorsteuermodul (ECM) 26, andere Fahrzeugsystemmodule (VSMs) 28, die drahtlose Kommunikationsvorrichtung 30 und Fahrzeugbenutzerschnittstellen 50-56. Ein Teil oder die gesamte Fahrzeugelektronik kann zur Kommunikation miteinander über eine oder mehrere Kommunikationsbusse, wie beispielsweise den Kommunikationsbus 40, verbunden werden. Der Kommunikationsbus 40 stellt den Fahrzeugelektroniken unter Verwendung einer oder mehrerer Netzwerkprotokolle Netzwerkverbindungen bereit und kann eine serielle Datenkommunikationsarchitektur verwenden. Beispiele geeigneter Netzwerkverbindungen beinhalten ein Controller Area Network (CAN), einen medienorientierten Systemtransfer (MOST), ein lokales Kopplungsstrukturnetzwerk (LIN), ein lokales Netzwerk (LAN) und andere geeignete Verbindungen, wie z. B. Ethernet oder andere, die u. a. den bekannten ISO-, SAE- und IEEE-Standards und -Spezifikationen entsprechen.
Das Fahrzeug 12 kann zahlreiche Fahrzeugsystemmodule (VSMs) als Teil der Fahrzeugelektroniken 20 beinhalten, wie beispielsweise den GNSS-Empfänger 22, das ECM 24, das BCM 26, die drahtlose Kommunikationsvorrichtung 30, sowie die Fahrzeugbenutzeroberflächen 50-56, wie im Folgenden näher beschrieben wird. Das Fahrzeug 12 kann auch andere VSMs 28 in Form von elektronischen Hardwarekomponenten beinhalten, die sich im gesamten Fahrzeug befinden und eine Eingabe von einem oder mehreren Sensoren empfangen und die erfassten Eingaben verwenden, um Diagnose-, Überwachungs-, Steuerungs-, Berichterstattungs- und/oder andere Funktionen auszuführen. Jedes der VSMs 28 kann durch den Kommunikationsbus 40 mit den anderen VSMs sowie der drahtlosen Kommunikationsvorrichtung 30 verbunden und kann programmiert werden, um Fahrzeugsystem- und Subsystemdiagnosetests auszuführen. Darüber hinaus kann jedes der VSMs eine geeignete Hardware beinhalten und/oder kommunikativ gekoppelt werden, die es ermöglicht, die Kommunikation innerhalb des Fahrzeugs über den Kommunikationsbus 40 durchzuführen; diese Hardware kann beispielsweise Busschnittstellenstecker und/oder Modems beinhalten. Ein oder mehrere VSMs 28 können ihre Software oder Firmware periodisch oder gelegentlich aktualisieren lassen und, in einigen Ausführungsformen können derartige Fahrzeug-Updates Over-the-Air-(OTA)-Updates sein, die von einem Computer 78 oder einer entfernten Einrichtung 80 über das Festnetz 76 und Kommunikationsvorrichtungen 30 empfangen werden. Fachleute auf dem Fachgebiet werden erkennen, dass es sich bei den vorgenannten VSMs nur um Beispiele von einigen der Module handelt, die im Fahrzeug 12 verwendet werden können, zahlreiche andere Module jedoch ebenfalls möglich sind.
Der globale Navigationssatellitensystem-(GNSS)-Empfänger 22 empfängt Funksignale von einer Konstellation von GNSS-Satelliten 60. Der GNSS-Empfänger 22 kann konfiguriert werden, um bestimmte Vorschriften oder Gesetze einer bestimmten geopolitischen Region (z. B. eines Landes) zu befolgen und/oder nach diesen zu verfahren. Der GNSS-Empfänger 22 kann zur Verwendung mit verschiedenen GNSS-Implementierungen konfiguriert werden, darunter das globale Positionsbestimmungssystem (GPS) für die Vereinigten Staaten, das BeiDou Navigationssatellitensystem (BDS) für China, das globale Navigationssatellitensystem (GLONASS) für Russland, Galileo für die Europäische Union sowie verschiedene andere Satellitennavigationssysteme. Der GNSS-Empfänger 22 kann beispielsweise ein GPS-Empfänger sein, der GPS-Signale von einer Konstellation von GPS-Satelliten 60 empfängt. Und in einem weiteren Beispiel kann der GNSS-Empfänger 22 ein BDS-Empfänger sein, der eine Vielzahl von GNSS-(oder BDS)-Signalen von einer Konstellation von GNSS-(oder BDS)-Satelliten 60 empfängt. In beiden Implementierungen kann der GNSS-Empfänger 22 mindestens einen Prozessor und Speicher beinhalten, einschließlich eines nicht-flüchtigen computerlesbaren Speichers, der Anweisungen (Software) speichert, auf die der Prozessor zugreifen kann, um die vom Empfänger 22 ausgeführte Verarbeitung durchzuführen. Der GNSS-Empfänger 22 kann eine geografische Position des Fahrzeugs bestimmen und diese Position kann an ein Remote-Gerät, wie Computer 78 oder Computer/Server 82, an der entfernten Einrichtung 80 gespeichert und/oder gemeldet werden.
Das Karosseriesteuermodul (BCM) 24 kann verwendet werden, um verschiedene VSMs des Fahrzeugs zu steuern sowie Informationen zu den VSMs, einschließlich ihres gegenwärtigen Zustands oder Status sowie Sensorinformationen zu erhalten. Das BCM 24 wird in der exemplarischen Ausführungsform aus 1 als mit dem Kommunikationsbus 40 elektrisch verbunden, dargestellt. In einigen Ausführungsformen kann das BCM 24 mit einem anderen Modul der Fahrzeugelektronik 20 integriert sein. Das BCM 24 kann einen Prozessor und/oder Speicher beinhalten, der dem Prozessor 36 und dem Speicher 38 der drahtlosen Kommunikationsvorrichtung 30 ähnlich sein kann, wie nachfolgend erläutert wird. Das BCM 24 kann mit der Drahtlosvorrichtung 30 und/oder einem oder mehreren Fahrzeugsystemmodulen, wie beispielsweise dem Motorsteuerungsmodul (ECM) 26, dem Audiosystem 56 oder anderen VSMs 28, kommunizieren. Die im Speicher gespeicherte und durch den Prozessor ausführbare Software ermöglicht es dem BCM, einen oder mehrere Fahrzeugfunktionen zu steuern, darunter beispielsweise auch das Steuern der Zentralverriegelung, der Klimaanlage, der elektrischen Spiegel, das Steuern des primären Antriebs des Fahrzeugs (z. B. Motor, primäres Antriebssystem) und/oder der Steuerung verschiedener anderer Fahrzeugmodule. So kann beispielsweise das BCM 24 Signale an andere VSMs senden, wie beispielsweise eine Anforderung zum Ausführen eines bestimmten Vorgangs oder eine Anforderung von Fahrzeugsensordaten, woraufhin der Sensor dann die angeforderten Informationen zurücksenden kann. Und das BCM 24 kann Fahrzeugsensordaten von VSMs empfangen, einschließlich Batteriesensordaten oder andere Sensordaten von einem oder mehreren Fahrzeugsensoren und verschiedenen anderen Informationen oder Daten von anderen VSMs. Darüber hinaus kann das BCM 24 Fahrzeugzustandsinformationen bereitstellen, die dem Fahrzeugzustand der bestimmten Fahrzeugkomponenten oder -systeme, einschließlich der hierin behandelten VSMs, entsprechen. So kann beispielsweise das BCM 24 dem Gerät 30 Informationen zur Verfügung stellen, die anzeigen, ob die Zündung des Fahrzeugs eingeschaltet ist (wie beispielsweise vom ECM 26 empfangen), in welchem Gang sich das Fahrzeug gerade befindet (d. h. im Gangzustand) und/oder weitere Informationen bezüglich des Fahrzeugs. Oder in einem anderen Beispiel kann das BCM 24 Fahrzeugdiagnoseinformationen, wie Diagnosefehlercodes (Diagnostic Trouble Codes - DTCs), die sich auf ein oder mehrere VSMs oder Subsysteme des Fahrzeugs beziehen, empfangen, ermitteln oder anderweitig erhalten. Fahrzeugdiagnoseinformationen können Informationen basierend auf Sensorwerten oder Informationen von einem oder mehreren Fahrzeugsensoren und/oder Zuständ(en) eines oder mehrerer VSMs des Fahrzeugs 12 beinhalten, die beispielsweise DTCs beinhalten können. Außerdem können die Fahrzeugdiagnoseinformationen Fahrzeugprognostische Informationen beinhalten, die Informationen darstellen, die eine Prognose des Fahrzeugs darstellen, wie basierend auf Informationen über einen oder mehrere Zustände eines oder mehrerer VSMs des Fahrzeugs 12 bestimmt. Diese Fahrzeugdiagnoseinformationen können im Speicher des BCM 24 oder einem anderen Speicher der Fahrzeugelektronik 20, wie beispielsweise dem Speicher 38 der drahtlosen Kommunikationsvorrichtung 30, gespeichert werden. Zusätzlich können diese Fahrzeugdiagnoseinformationen an eine nicht fahrzeuggebundene Vorrichtung, wie beispielsweise die PWD 14 und/oder die entfernte Einrichtung 80, gesendet werden.
Das Motorsteuergerät (ECM) 26 kann verschiedene Aspekte des Motorbetriebs, wie beispielsweise Kraftstoffzündung und Zündzeitpunkt, steuern. Das ECM 26 wird mit dem Kommunikationsbus 40 verbunden und kann Betriebsanweisungen (oder Fahrzeugbefehle) vom BCM 24 oder anderen Fahrzeugsystemmodulen, wie beispielsweise der drahtlosen Kommunikationsvorrichtung 30 oder den VSMs 28, empfangen. In einem Szenario kann das ECM 26 einen Befehl vom BCM empfangen, das Fahrzeug zu starten-d. h. die Zündung des Fahrzeugs oder ein anderes primäres Antriebssystem (z. B. einen batteriebetriebenen Motor) auszulösen. In einem anderen Szenario kann das ECM 26 Fahrzeugdiagnoseinformationen über den Motor oder das primäre Antriebssystem an das BCM 24 oder ein anderes VSM melden. In mindestens einigen Ausführungsformen, wenn es sich bei dem Fahrzeug um ein Hybrid- oder Elektrofahrzeug handelt, kann anstelle des (oder zusätzlich zum) ECM 26 ein primäres Antriebssteuerungsmodul verwendet werden, und dieses primäre Antriebssteuerungsmodul kann verwendet werden, um Statusinformationen über die primäre Triebkraft zu erhalten (einschließlich Elektromotor(en) und Batterieinformationen).
Das Fahrzeug 12 kann verschiedene fahrzeugseitige Sensoren beinhalten, die bestimmte Fahrzeug-Benutzeroberflächen 50-54 beinhalten, die als fahrzeugseitige Sensoren verwendet werden können. Im Allgemeinen können die Sensoren Fahrzeugsensordaten erhalten, die Fahrzeugsensorwerte beinhalten können, die durch den fahrzeugseitigen Sensor gemessen oder bestimmt werden. Weitere Informationen, die entweder den Betriebszustand des Fahrzeugs (den „Fahrzeugbetriebszustand“) oder die Umgebung des Fahrzeugs (den „Fahrzeugumgebungszustand“) betreffen, können ebenfalls abgerufen oder in die Fahrzeugsensordaten aufgenommen werden. Die Fahrzeugsensordaten können über den Kommunikationsbus 40 an andere VSMs, wie beispielsweise das BCM 24 und die Fahrzeugkommunikationsvorrichtung 30, gesendet werden. In einer Ausführungsform können die Sensordaten von einem oder mehreren VSMs (z. B. der drahtlosen Kommunikationsvorrichtung 30, BCM 24) ausgewertet werden, um Fahrzeugdiagnoseinformationen zu ermitteln oder zu erhalten. Außerdem können in einigen Ausführungsformen die Fahrzeugsensordaten (und/oder Fahrzeugdiagnoseinformationen) mit Metadaten gesendet werden, die Daten beinhalten können, die den Sensor (oder die Art des Sensors) identifizieren, der die Fahrzeugsensordaten erfasst hat, einen Zeitstempel (oder eine andere Zeitanzeige) und/oder andere Daten, die sich auf die Fahrzeugsensordaten oder den Fahrzeugsensor beziehen. Der „Fahrzeugbetriebszustand“ bezieht sich auf einen Zustand des Fahrzeugs bezüglich des Betriebs des Fahrzeugs, der den Betrieb des Primärantriebs (z. B. eines Fahrzeugmotors, Fahrzeugantriebsmotoren) beinhalten kann. Der „Fahrzeugumgebungszustand“ bezieht sich auf einen Fahrzeugzustand bezüglich des Innenraums der Kabine und des nahegelegenen Außenbereichs, der das Fahrzeug umgibt. Der Fahrzeugumgebungszustand beinhaltet das Verhalten eines Fahrers, Bedieners oder Beifahrers sowie Verkehrsbedingungen, Fahrbahnzustände und -merkmale und den Status von Bereichen in der Nähe des Fahrzeugs.
Das drahtlose Kommunikationsgerät 30 ist in der Lage, Daten über die drahtlose Nahbereichskommunikation (SRWC) und/oder über die Mobilfunkkommunikation unter Verwendung eines Mobiltelefonchipsatzes 34, wie in der veranschaulichten Ausführungsform dargestellt, zu übertragen. In einer Ausführungsform ist die drahtlose Kommunikationsvorrichtung 30 ein zentraler Fahrzeugcomputer, der verwendet wird, um zumindest einen Teil des unten erläuterten Verfahrens durchzuführen. In der veranschaulichten Ausführungsform beinhaltet ein drahtloses Kommunikationsgerät 30 eine SRWC-Schaltung 32, einen Mobiltelefonchipsatz 34, einen Prozessor 36, einen Speicher 38 und die Antennen 33 und 35. In einer Ausführungsform kann die drahtlose Kommunikationsvorrichtung 30 ein selbständiges Modul sein oder das Gerät 30 kann in anderen Ausführungsformen als Teil eines oder mehrerer anderer Fahrzeugsystemmodule integriert oder mit einbezogen werden, wie beispielsweise als Teil eines Center-Stack-Moduls (CSM), eines Bordnetzsteuergeräts (BCM) 24, eines Infotainment-Moduls, einer Kopfeinheit, und/oder eines Gateway-Moduls. In einigen Ausführungsformen, kann das Gerät 30 als eine OEM-installierte (eingebettete) oder als ein Aftermarket-Gerät, das in das Fahrzeug installiert wird, implementiert werden. In einigen Ausführungsformen kann die drahtlose Kommunikationsvorrichtung 30 eine Telematikeinheit (oder Telematiksteuereinheit) sein oder beinhalten, die in der Lage ist, eine Mobilfunkkommunikation mit einem oder mehreren Mobilfunkträgersystemen 70 durchzuführen. Oder es kann in anderen Ausführungsformen eine separate Telematikeinheit in das Fahrzeug integriert und direkt und/oder über den Kommunikationsbus 40 mit dem drahtlosen Kommunikationsgerät 30 kommunikativ gekoppelt werden. Außerdem kann in einigen Ausführungsformen die drahtlose Kommunikationsvorrichtung 30 und/oder die Telematikeinheit mit dem GNSS-Empfänger 22 integriert werden, sodass beispielsweise der GNSS-Empfänger 22 und die drahtlose Kommunikationsvorrichtung 30 (oder die Telematikeinheit) direkt miteinander verbunden sind, anstatt über den Kommunikationsbus 40 verbunden zu sein.
In einigen Ausführungsformen kann die drahtlose Kommunikationsvorrichtung 30 konfiguriert sein, um drahtlos gemäß einer oder mehreren drahtlosen Kurzstreckenkommunikationen (SRWC) zu kommunizieren, wie beispielsweise gemäß einem der Kommunikationsprotokolle Wi-Fi™, WiMAX™, Wi-Fi Direct™, IEEE 802.11p, anderen Fahrzeug-zu-Fahrzeug-Kommunikationsprotokollen (V2V), anderen IEEE 802.11-Protokollen, ZigBee™, Bluetooth™, Bluetooth™ Low Energy (BLE) oder Nahfeldkommunikation (NFC). Wie hierin verwendet, bezieht sich Bluetooth™ auf jede der Bluetooth™-Technologien, wie beispielsweise Bluetooth Low Energy™ (BLE), Bluetooth™ 4.1, Bluetooth™ 4.2, Bluetooth™ 5.0 und andere Bluetooth™-Technologien, die entwickelt werden können. Wie hierin verwendet, bezieht sich Wi-Fi™ oder Wi-Fi™-Technologie auf jede der Wi-Fi™-Technologien, wie beispielsweise IEEE 802.11b/g/n/ac oder jede andere IEEE 802.11-Technologie. Die drahtlose Nahbereichskommunikations-(SRWC)-Schaltung 32 ermöglicht der drahtlosen Kommunikationsvorrichtung 30 das Senden und Empfangen von SRWC-Signalen. Die SRWC-Schaltung 32 kann die Verbindung zwischen dem Gerät 30 und einem anderen SRWC-Gerät, wie beispielsweise dem PWD 14 ermöglichen. Darüber hinaus kann die drahtlose Kommunikationsvorrichtung 30 in einigen Ausführungsformen Mobiltelefonchipsatz 34 enthalten, wodurch dem Gerät ermöglicht wird, über ein oder mehrere Mobilfunkprotokolle zu kommunizieren, wie sie beispielsweise vom Mobilfunkträgersystem 70 verwendet werden. In einem derartigen Fall wird die drahtlose Kommunikationsvorrichtung zu einer Benutzerausrüstung (UE), die zum Ausführen einer Mobilfunkkommunikation über das Mobilfunkträgersystem 70 verwendet werden kann.
Das drahtlose Kommunikationsgerät 30 kann dem Fahrzeug 12 ermöglichen, über paketvermittelte Datenkommunikation mit einem oder mehreren entfernten Netzwerken/Vorrichtungenn (z. B. einem oder mehreren Netzwerken in der entfernten Einrichtung 80 oder Computern 78) verbunden sein. Diese paketvermittelte Datenkommunikation kann durch die Nutzung eines nicht fahrzeuggebundenen drahtlosen Zugangspunkts erfolgen, der über einen Router oder ein Modem mit einem Festnetz verbunden ist. Wenn das Datenübertragungsgerät 30 für paketvermittelte Datenkommunikation, wie etwa TCP/IP, verwendet wird, kann dieses mit einer statischen IP-Adresse konfiguriert oder eingerichtet werden, um eine zugewiesene IP-Adresse von einem anderen Gerät im Netzwerk, wie z. B. einem Router oder einem Netzwerkadressenserver, automatisch zu empfangen.
Paketvermittelte Datenübertragungen können auch über die Verwendung eines Mobilfunknetzes durchgeführt werden, auf das das Gerät 30 zugreifen kann. Das Kommunikationsgerät 30 kann Daten mittels einem Mobiltelefonchipsatz 34 über das Drahtlosträgersystem 70 übertragen. In einer derartigen Ausführungsform können Funkübertragungen dazu verwendet werden, einen Kommunikationskanal, wie beispielsweise einen Sprachkanal und/oder einen Datenkanal, mit dem Drahtlosträgersystem 70 einzurichten, sodass Sprach- und/oder Datenübertragungen über den Kanal gesendet und empfangen werden können. Daten können entweder über eine Datenverbindung, wie Paketdatenübertragung über einen Datenkanal oder über einen Sprachkanal, unter Verwendung von auf dem Fachgebiet bekannten Techniken gesendet werden. Für kombinierte Dienste, die sowohl Sprach- als auch Datenkommunikation einschließen, kann das System einen einzelnen Anruf über einen Sprachkanal verwenden und nach Bedarf zwischen Sprach- und Datenübertragung über den Sprachkanal umschalten, auch hier kommen Techniken zum Einsatz, die unter Fachleuten auf dem Gebiet bekannt sind.
Der Prozessor 36 kann jede Vorrichtungenart sein, die in der Lage ist, elektronische Befehle zu verarbeiten, einschließlich Mikroprozessoren, Mikrocontrollern, Hostprozessoren, Steuerungen, Fahrzeugkommunikationsprozessoren und anwendungsspezifische integrierte Schaltungen (ASICs). Er kann ein speziell für die Datenübertragungsvorrichtung 30 vorgesehener Prozessor sein oder er kann mit anderen Fahrzeugsystemen gemeinsam genutzt werden. Der Prozessor 36 führt verschiedene Arten von digital gespeicherten Befehlen aus, wie Software oder Firmwareprogramme, die im Speicher 38 gespeichert sind, welche dem Gerät 30 ermöglichen, eine große Vielfalt von Diensten bereitzustellen. Der Speicher 38 kann ein nicht-flüchtiges, computerlesbares Medium sein, wie beispielsweise ein aktiver temporärer Speicher oder ein geeignetes, nicht-flüchtiges, computerlesbares Medium; dazu gehören verschiedene Arten von RAM (Random-Access-Speicher, einschließlich verschiedener Arten von dynamischem RAM (DRAM) und statischem RAM (SRAM)), ROM (Read-Only-Speicher), Solid-State-Laufwerke (SSDs) (einschließlich anderer Solid-State-Speicher wie Solid-State-Hybrid-Laufwerke (SSHDs)), Festplatten (HDDs) sowie magnetische oder optische Plattenlaufwerke. Das drahtlose Kommunikationsgerät 30 kann verschiedene VSMs des Fahrzeugs 12 mit einem oder mehreren Vorrichtungenn außerhalb des Fahrzeugs 12 verbinden, wie beispielsweise ein oder mehrere Netzwerke oder Systeme in der entfernten Einrichtung 80 oder die PWD 14.
Die Fahrzeugelektroniken 20 beinhalten zudem einige Benutzeroberflächen für die Fahrzeuginsassen, die dem Empfang und/oder Abruf von Informationen dienen, darunter eine optische Anzeige 50, eine oder mehrere Drucktasten 52, ein Mikrofon 54 und ein Audiosystem 56. Wie hierin verwendet, umfasst der Begriff „Fahrzeugbenutzeroberfläche“ weitgehend jede geeignete Form von elektronischer Vorrichtung, zu dem sowohl im Fahrzeug befindliche Hardware- als auch Softwarekomponenten gehören und einem Fahrzeugbenutzer wird ermöglicht, mit oder durch eine(r) Komponente des Fahrzeugs zu kommunizieren. Die Fahrzeug-Benutzeroberflächen 50-54 sind auch fahrzeugseitige Sensoren, die Eingaben von einem Benutzer oder andere sensorische Informationen empfangen können und die Fahrzeugsensordaten zur Verwendung in dem/den nachstehenden Verfahren erhalten können. Die Drucktaste(n) 52 ermöglichen eine manuelle Benutzereingabe in die Kommunikationsvorrichtung 30, um weitere Daten, Reaktionen und/oder Steuereingänge (z. B. Aktivierung eines Scheibenwischers oder Steuerschalters) bereitzustellen. Das Audiosystem 56 stellt eine Audioausgabe an einen Fahrzeuginsassen bereit und kann ein zugehöriges selbständiges System oder Teil des primären Fahrzeugaudiosystems sein. Gemäß einer bestimmten Ausführungsform ist das Audiosystem 56 operativ sowohl mit dem Fahrzeugbus 40 als auch mit einem Entertainmentbus (nicht dargestellt) gekoppelt und kann AM-, FM- und Satellitenradio, CD-, DVD- und andere Multimediafunktionalität bereitstellen. Diese Funktionalität kann in Verbindung mit dem Infotainmentmodul oder davon unabhängig bereitgestellt werden. Das Mikrofon 54 stellt eine Audioeingabe an die drahtlose Kommunikationsvorrichtung 30 bereit, um dem Fahrer oder anderen Insassen zu ermöglichen, Sprachsteuerungen bereitzustellen und Freisprechen über das Drahtlosträgersystem 70 auszuführen. Für diesen Zweck kann es mit einer integrierten automatischen Sprachverarbeitungseinheit verbunden sein, welche die unter Fachleuten auf dem Gebiet bekannte Mensch-Maschinen-Schnittstellen (HMI)-Technologie verwendet. Die optische Anzeige oder der Touchscreen 50 ist bevorzugt eine Grafikanzeige und kann verwendet werden, um eine Vielzahl von Eingabe- und Ausgabefunktionen bereitzustellen. Die Anzeige 50 kann ein Touchscreen auf dem Armaturenbrett, ein Heads-up-Display, das von der Windschutzscheibe reflektiert wird, oder ein Projektor sein, der Grafiken zum Betrachten durch einen Fahrzeuginsassen projizieren kann. Verschiedene andere Fahrzeugbenutzeroberflächen können ebenfalls zum Einsatz kommen, da die Schnittstellen in 1 lediglich als Beispiel für eine bestimmte Implementierung dienen.
Das Drahtlosträgersystem 70 kann jedes geeignete Mobiltelefonsystem sein. Das Trägersystem 70 ist mit einem Mobilfunkmast 72 dargestellt; jedoch kann das Trägersystem 70 eine oder mehrere der folgenden Komponenten beinhalten (z. B. abhängig von der Mobilfunktechnologie): Mobilfunkmasten, Basisübertragungsstationen, Mobilvermittlungszentralen, Basisstationssteuerungen, entwickelte Knotenpunkte (z. B. eNodeBs), Mobilitätsmanagement-Einheiten (MMEs), Serving- und PGN-Gateways usw. sowie alle anderen Netzwerkkomponenten, die erforderlich sind, um das Drahtlosträgersystem 70 mit dem Festnetz 76 zu verbinden oder das Drahtlosträgersystem mit der Benutzerausrüstung (UEs, die z. B. die Telematikausrüstung im Fahrzeug 12 beinhalten können) zu verbinden. Das Trägersystem 70 kann jede geeignete Kommunikationstechnik realisieren, einschließlich GSM/GPRS-Technologie, CDMA- oder CDMA2000-Technologie, LTE-Technologie, usw. Im Allgemeinen sind Drahtlosträgersysteme 70, deren Komponenten, die Anordnung ihrer Komponenten, das Zusammenwirken der Komponenten usw. weitgehend im dem Stand der Technik bekannt.
Abgesehen vom Verwenden des Drahtlosträgersystems 70 kann ein unterschiedliches Drahtlosträgersystem in der Form von Satellitenkommunikation verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation können beispielsweise Satellitenradiodienste sein, wobei programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Uplink-Sendestation erhalten werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer sendet. Bidirektionale Kommunikation kann beispielsweise Satellitentelefoniedienste unter Verwendung des einen oder der mehreren Kommunikationssatelliten sein, um Telefonkommunikationen zwischen dem Fahrzeug 12 und der Aufwärtssendestation weiterzugeben. Bei Verwendung kann diese Satellitentelefonie entweder zusätzlich oder anstatt des Drahtlosträgersystems 70 verwendet werden.
Das Festnetz 76 kann ein konventionelles landgebundenes Telekommunikationsnetzwerk sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Drahtlosträgersystem 70 mit dem entfernten Standort 80 verbindet. Zum Beispiel kann das Festnetz 76 ein Fernsprechnetz (PSTN) beinhalten, wie es verwendet wird, um die Festnetz-Telefonie, die paketvermittelte Datenkommunikation und die Internet-Infrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetzes 76 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlosen lokalen Netzwerken (WLANs) oder Netzwerken, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein.
Die Computer 78 (nur einer dargestellt) können einige von einer Anzahl an Computern sein, die über ein privates oder öffentliches Netzwerk, wie das Internet, zugänglich sind. Und die Computer 78 (nur einer davon in 1) können für einen oder mehrere Zwecke verwendet werden, und beispielsweise Folgendes sein: ein Computer in einem Kundendienstzentrum, bei dem Diagnoseinformationen und andere Fahrzeugdaten vom Fahrzeug hochgeladen werden können; ein Clientcomputer, der von dem Fahrzeugbesitzer oder einem anderen Teilnehmer für derartige Zwecke, wie etwa das Zugreifen auf oder Empfangen von Fahrzeugdaten oder zum Einstellen oder Konfigurieren von Teilnehmerpräferenzen oder Steuern von Fahrzeugfunktionen verwendet wird; einen Fahrgemeinschafts-Server, der Reservierungen und/oder Registrierungen von mehreren Benutzern koordiniert, welche die Nutzung eines Fahrzeugs als Teil eines Fahrgemeinschafts-Dienstes beantragen; oder ein Speicherort eines Drittanbieters, dem oder von dem Fahrzeugdaten oder andere Informationen entweder durch Kommunizieren mit dem Fahrzeug 12, der PWD 14, der entfernten Einrichtung 80 oder beiden bereitgestellt werden. Fachleute auf dem Gebiet werden erkennen, dass, obwohl nur ein Computer 78 in der veranschaulichten Ausführungsform dargestellt sind, jedoch zahlreiche Computer 78 verwendet werden können.
Die Fahrzeug-Backend-Serviceeinrichtung 80 ist eine entfernte Einrichtung, d. h. sie befindet sich an einem physischen Standort, der sich entfernt vom Fahrzeug 12 befindet. Die entfernte Einrichtung 80 beinhaltet einen oder mehrere Server 82, die eine Remote-Assistenzanwendung 84 speichern und/oder ausführen können. Die Fahrzeug-Backend-Serviceeinrichtung 80 (oder kurz „entfernte Einrichtung 80“) kann so konzipiert sein, dass sie der Fahrzeugelektronik 20 eine Reihe von verschiedenen System-Backend-Funktionen unter Verwendung eines oder mehrerer elektronischer Server bereitstellt. Die entfernte Einrichtung 80 beinhaltet fahrzeugbezogene Backend-Dienstleistungsserver und Datenbanken, die auf einer Vielzahl von Speichervorrichtungen gespeichert werden können. Die entfernte Einrichtung 80 kann einen oder mehrere Schalter, eine oder mehrere Live-Berater und/oder ein automatisiertes Sprachausgabesystem (VRS) beinhalten, mit denen die Fachleute auf dem Gebiet vertraut sind. Die entfernte Einrichtung 80 kann eine oder alle der verschiedenen Komponenten beinhalten, wobei sämtliche der verschiedenen Komponenten in einigen Ausführungsformen über ein drahtgebundenes oder drahtloses lokales Netzwerk miteinander gekoppelt sind. Die entfernte Einrichtung 80 empfängt und überträgt Daten über ein mit dem Festnetz 76 verbundenes Modem. Datenübertragungen können auch durch drahtlose Systeme, wie z. B. IEEE 802.1 Ix, GPRS und dergleichen, erfolgen.
Die entfernte Einrichtung 80 kann eine oder mehrere Ausführungsformen des/der hierin erläuterten Verfahren(s) ausführen. Obgleich nur eine einzelne Fahrzeug-Backend-Serviceeinrichtung 80 veranschaulicht ist, können jedoch mehrere Fahrzeug-Backend-Serviceeinrichtungen genutzt werden, und in diesem Fall kann die Funktionalität der zahlreichen Fahrzeug-Backend-Serviceeinrichtungen so koordiniert werden, dass die Fahrzeug-Backend-Serviceeinrichtungen als ein einziges Backend-Netzwerk fungieren können oder dass der Betrieb jeder Einrichtung mit dem Betrieb der anderen Einrichtungen koordiniert wird. Und die Server können verwendet werden, um Informationen, die in den Datenbanken gespeichert sind, an verschiedene andere Systeme oder Vorrichtungen, wie beispielsweise das Fahrzeug 12 oder die PWD 14 weiterzugeben.
Die entfernte Einrichtung 80 kann eine oder mehrere Datenbanken (nicht dargestellt) beinhalten, die auf einer Vielzahl von Speichern gespeichert werden können. Die Datenbanken können Informationen über ein oder mehrere Fahrzeuge, Fahrzeugtypen (z. B. Fahrzeuge eines bestimmten Modells und/oder Modelljahres), Fahrzeugdiagnoseinformationen und/oder andere fahrzeugbezogene Informationen speichern. So können beispielsweise die Fahrzeugdiagnoseinformationen Diagnoseverläufe verschiedener Fahrzeuge, Diagnosefehlerbehebungsinformationen oder -führungen und/oder andere Informationen beinhalten, die von einem Remote-Assistenten oder Fahrzeugbenutzer verwendet werden können, um ein Fahrzeug zu betreiben oder ein Problem mit dem Fahrzeug zu diagnostizieren.
Die Remote-Assistenzanwendung 84 kann auf einem oder mehreren Computern 82 der entfernten Einrichtung 80 ausgeführt werden. Die Remote-Assistenzanwendung 84 kann eine grafische Benutzeroberfläche (GUI) an einen Remote-Assistenten darstellen, der an der entfernten Einrichtung 80 stationär ist. Die Remote-Assistenzanwendung 84 kann verwendet werden, um eine Remote-Verbindung mit der PWD 14 und/oder der Fahrzeugelektronik 20 des Fahrzeugs 12 herzustellen. In einer Ausführungsform kann die Remote-Assistenzanwendung 84 Live-Videodaten von der PWD 14 empfangen und diese empfangenen Live-Videodaten auf einer Anzeige darstellen, die sich am Computer 82 unter Verwendung der GUI der Remote-Assistenzanwendung 84 befindet. Außerdem kann die Remote-Assistenzanwendung 84 Informationen von der Fahrzeugelektronik 20 des Fahrzeugs 12 empfangen, wie beispielsweise Fahrzeugdiagnoseinformationen. In einer Ausführungsform kann die Remote-Assistenzanwendung 84 eine Fahrzeugdiagnosinformationsanfrage an die Fahrzeugelektronik 20 senden und in Reaktion darauf kann die Fahrzeugelektronik 20 Fahrzeugdiagnoseinformationen an die Remote-Assistenzanwendung 84 erhalten und senden. In einer Ausführungsform kann die PWD 14 die Kommunikation zwischen der Fahrzeugelektronik 20 und der Remote-Assistenzanwendung 84 erleichtern-beispielsweise kann die PWD 14 mit dem Fahrzeug 12 zusammen angeordnet sein und eine Kurzbereichs-Drahtloskommunikations-(SRWC)-Verbindung (z. B. Bluetooth™-Verbindung) mit dem drahtlosen Kommunikationsgerät 30 herstellen, und dann kann die Fahrzeugelektronik 20 Informationen über die SRWC-Verbindung an die PWD 14 senden, die diese Informationen dann an die Remote-Assistenzanwendung 84 weiterleiten kann. In anderen Ausführungsformen kann die Fahrzeugelektronik 20 eine separate Fernverbindung mit der Remote-Assistenzanwendung 84 herstellen, ohne die PWD 14 zu verwenden.
Unter Bezugnahme auf 2-4 ist eine schematische Ansicht der Hardware und Komponenten einer mobilen tragbaren Vorrichtung 14 (2) sowie eine Vorderansicht (3) und eine Rückansicht (4) einer mobilen tragbaren Vorrichtung 14 dargestellt. PWD 14 ist als ein Smartphone dargestellt, das über Mobilfunkfähigkeiten verfügt; in anderen Ausführungsformen kann die PWD 14 jedoch ein Tablet, eine tragbare elektronische Vorrichtung (z. B. eine Smartwatch oder ein elektronisches Okular), oder eine andere geeignete Vorrichtung sein. Wie hierin verwendet, ist die mobile Drahtlosvorrichtung (PWD) eine Vorrichtung, die netzwerkfähig ist und die von einem Benutzer tragbar ist, wie beispielsweise ein tragbares Gerät (z. B. eine Smartwatch), ein implantierbares Gerät oder ein Handgerät (z. B. ein Smartphone, ein Tablet, ein Laptop). Das PWD beinhaltet: Hardware, Software, und/oder Firmware, die eine Mobilfunktelekommunikation und/oder eine drahtlose Nahbereichskommunikation (SRWC) sowie andere Funktionen und Anwendungen einer Drahtlosvorrichtung ermöglichen. Die Hardware der PWD 14 umfasst einen Prozessor 102, einen Speicher 104, drahtlose Chipsätze/Kreise 110, 114, Antennen 112, 114, Kameras 120, 122, ein GNSS-Modul 138, Trägheitssensor(en) 140 und verschiedene Benutzer-Vorrichtungenoberflächen.
Der Prozessor 102 kann jede Art von Vorrichtung sein, die in der Lage ist, elektronische Anweisungen zu verarbeiten, und kann derartige Anweisungen ausführen, die im Speicher 104 gespeichert werden können, wie beispielsweise jene Vorrichtungen und Arten von Anweisungen, die zuvor in Bezug auf den Prozessor 32 in einer drahtlosen Kommunikationsvorrichtung 30 beschrieben wurden. So kann zum Beispiel der Prozessor 102 Programme ausführen oder Daten verarbeiten, um mindestens einen Teil des Verfahrens auszuführen, das hierin beschrieben ist. Der Prozessor kann auch ein Betriebssystem für die PWD ausführen, wie zum Beispiel Android™, iOS™, Windows™, Microsoft™ Windows™ und/oder andere Betriebssysteme. Das Betriebssystem kann eine Benutzeroberfläche und einen Kernel bereitstellen, wodurch es als zentrale Steuerzentrale fungiert, welche die Schnittstellen zwischen der Hard- und Software der PWD verwaltet. Darüber hinaus kann das Betriebssystem mobile Anwendungen, Softwareprogramme und/oder andere Software- oder Firmware-Anweisungen ausführen. In einer Ausführungsform kann der Prozessor die Fahrzeugassistenzanwendung 16 (1) ausführen, die es einem Benutzer ermöglicht, Remote-Assistenz von einem Remote-Assistenten anzufordern und zu empfangen.
Der Speicher 104 kann ein nicht-flüchtiges, computerlesbares Medium beinhalten, wie beispielsweise einen aktiven temporären Speicher oder ein geeignetes, nicht-flüchtiges, computerlesbares Medium; dazu gehören verschiedene Arten von RAM (Random-Access-Speicher, einschließlich verschiedener Arten von dynamischem RAM (DRAM) und statischem RAM (SRAM)), ROM (Read-Only-Speicher), Solid-State-Laufwerke (SSDs) (einschließlich anderer Solid-State-Speicher wie Solid-State-Hybrid-Laufwerke (SSHDs)), Festplatten (HDDs) sowie magnetische oder optische Plattenlaufwerke. In anderen Ausführungsformen kann der Speicher 104 eine nicht-flüchtige Speicherkarte sein, wie beispielsweise eine Secure Digital™-(SD)-Karte, die in einen Kartenschlitz der PWD 14 eingesteckt wird.
Der Prozessor 102 und/oder Speicher 104 kann mit einem Kommunikationsbus 106 verbunden sein, der die Kommunikation von Daten zwischen dem Prozessor und anderen Komponenten der PWD 14, wie beispielsweise den Kameras 120, 122, dem Kamerablitz 124, der LED-Anzeige 126, der optischen Anzeige 130, dem Mikrofon 132, dem Lautsprecher 134, der Drucktaste 136, dem GNSS-Modul 138, dem/den Trägheitssensor(en) 140 und verschiedenen anderen Komponenten ermöglicht. Der Prozessor 102 kann für diese Komponenten Rechenleistung bereitstellen und/oder über das Betriebssystem die Funktionalität der Komponenten koordinieren, während der Speicher 104 das Speichern von Daten ermöglichen kann, die für diese Komponenten nutzbar sind. So kann beispielsweise das primäre Betriebssystem für die PWD 14 auf dem Prozessor ausgeführt werden, was auch die Anzeige einer grafischen Benutzeroberfläche (GUI) auf einer Touchscreen-Anzeige 130 beinhaltet. In diesem Beispiel kann die GUI das Anzeigen von Bildern beinhalten, die im Speicher 104 gespeichert werden können. Der Prozessor der PWD und die im Speicher gespeicherte Software ermöglichen auch verschiedene Softwareanwendungen, die von einem Benutzer installiert werden oder vom Hersteller vorinstalliert sein können. Dies kann eine Fahrzeugassistenzanwendung 16 (1) beinhalten, die es der PWD 14 ermöglicht, sich mit der Remote-Assistenzanwendung 84 und/oder der Fahrzeugelektronik 20 zu verbinden. Diese Fahrzeugassistenzanwendung 16 kann eine oder mehrere Komponenten der PWD 14 verwenden, wie beispielsweise die Anzeige 130, die nach vorn gerichtete Kamera 120, die nach hinten gerichtete Kamera 122, das GNSS-Modul 138, den Beschleunigungssensor 140 und den Lautsprecher 134, wie im Folgenden näher erläutert wird.
Die PWD 14 beinhaltet einen Chipsatz 110 für die drahtlose Nahbereichskommunikation (SRWC) und eine Antenne 112, mit der SRWC ausgeführt werden kann, wie beispielsweise eines der IEEE 802.11-Protokolle, WiMAX™, ZigBee™, Bluetooth™, Wi-Fi direct™, Bluetooth™ oder Nahbereichskommunikation (NFC). Der SRWC-Chipsatz kann die Verbindung zwischen der PWD 14 und einer anderen SRWC-Vorrichtung ermöglichen.
Zusätzlich beinhaltet die PWD 14 einen Mobiltelefonchipsatz 114, der es der PWD ermöglicht, über ein oder mehrere Mobilfunkprotokolle wie GSM/GPRS-Technologie, CDMA- oder CDMA2000-Technologie und LTE-Technologie zu kommunizieren. Die PWD 14 kann Daten über das Drahtlosträgersystem 70 unter Verwendung des Chipsatzes 114 und der Mobilfunkantenne 116 übertragen. Obwohl die veranschaulichte Darstellung einen separaten Chipsatz und eine Antenne für SRWC und Mobilfunkkommunikations-Chipsatz abbildet, kann in anderen Ausführungsformen eine einzige Antenne für beide Chipsätze, einen einzigen Chipsatz und mehrere Antennen oder einen einzigen Chipsatz und eine einzige Antenne vorhanden sein. In einer derartigen Ausführungsform können Funkübertragungen dazu verwendet werden, einen Kommunikationskanal, wie beispielsweise einen Sprachkanal und/oder einen Datenkanal, mit dem Drahtlosträgersystem 70 einzurichten, sodass Sprach- und/oder Datenübertragungen über den Kanal gesendet und empfangen werden können. Daten können entweder über eine Datenverbindung, wie Paketdatenübertragung über einen Datenkanal oder über einen Sprachkanal, unter Verwendung von auf dem Fachgebiet bekannten Techniken gesendet werden. Für kombinierte Dienste, die sowohl Sprach- als auch Datenkommunikation einschließen, kann das System einen einzelnen Anruf über einen Sprachkanal verwenden und nach Bedarf zwischen Sprach- und Datenübertragung über den Sprachkanal umschalten, auch hier kommen Techniken zum Einsatz, die unter Fachleuten auf dem Gebiet bekannt sind.
Der globale Navigationssatellitensystem-(GNSS)-Empfänger 138 empfängt Funksignale von einer Konstellation von GNSS-Satelliten 60 (1). Mithilfe dieser Signale kann das Modul 138 die Position der PWD 14 bestimmen, die es dem Gerät ermöglichen kann, zu bestimmen, ob es sich an einem bekannten Ort, wie dem Zuhause oder am Arbeitsplatz, befindet und/oder ob die PWD 14 mit dem Fahrzeug 12 ko-lokalisiert ist. Das GNSS-Modul 138 kann dem GNSS-Modul 22 der Fahrzeugelektronik ähnlich sein und eine ähnliche Funktionalität wie die mobile PWD 14 bereitstellen.
Die Kameras 120 und 122 können Digitalkameras sein, die in die PWD 14 integriert sind und die es der PWD 14 ermöglichen, Bilder und Videos digital zu aufzunehmen. Wie in 3 dargestellt, kann die Kamera 120 eine nach vorne gerichtete Kamera sein, was bedeutet, dass die Kamera einem Bereich vor der Vorderseite der PWD 14 zugewandt ist - die Vorderseite der PWD 14 kann die Seite sein, die die Haupt- oder primäre visuelle Anzeige beinhaltet, die in der dargestellten Ausführungsform die Anzeige 130 ist. Da ein Bediener einer PWD 14 im Allgemeinen eine derartige PWD so hält oder positioniert, dass die visuelle Anzeige sichtbar ist, kann die Kamera 120 in einer entsprechenden Anordnung dem Bediener zugewandt sein, sodass der Bediener Bilder und Videos des Bedieners (z. B. Selfies) und/oder hinter und um den Bediener herum aufnehmen kann. Wie in 4 dargestellt, handelt es sich bei der Kamera 122 um eine nach hinten gerichtete Kamera, d. h. die Kamera zeigt einen Bereich abseits der Vorderseite der PWD. Somit kann die Kamera bei einer derartigen Anordnung der üblichen Nutzung der PWD, wie vorstehend beschrieben, Bilder oder Videos von einem Bereich vor dem Bediener aufnehmen. In einer weiteren Ausführungsform können sich mehrere Kameras auf der PWD 14 befinden, sodass die Kameras Bilder oder Videos desselben Bereichs oder zumindest eines Teils desselben Bereichs aufnehmen. In noch einer weiteren Ausführungsform kann eine Stereokamera (oder stereoskopische Kamera) oder eine andere Kamera mit mehreren Objektiven oder getrennten Bildsensoren verwendet werden. In jeder dieser Ausführungsformen kann/können die Kamera(s) verwendet werden, um mehr Informationen über den aufgenommenen Bereich zu erfassen, wie beispielsweise dreidimensionale Merkmale (z. B. Entfernungen von Objekten im aufgenommenen Bereich), wie sie den Fachleuten auf dem Gebiet bekannt sind.
In einigen Ausführungsformen können die von der Kamera aufgenommenen Bilder oder Videos auf der optischen Anzeige 130 angezeigt werden, auch wenn der Benutzer gerade keine Bilder aufnimmt oder Videos aufzeichnet, die gespeichert werden sollen, sodass der Benutzer den Bereich, der von der Kamera erfasst wird, auf der Anzeige sehen kann. Das Bild oder Video (oder Daten davon), die von der Kamera erfasst und sofort auf der Anzeige 130 angezeigt werden, können als Live-Videodaten bezeichnet werden. Zudem kann die PWD 14 bestimmte grafische Objekte über die angezeigte Kameraeingabe überlagern oder verwerfen, um ein Erweitertes Realitäts (AR)-Video zu erreichen, wie nachfolgend ausführlich behandelt wird. Zusätzlich können die Kameras jeweils einen Kamerablitz beinhalten, wie beispielsweise den Kamerablitz 124, der in 4 dargestellt ist und primär für die Verwendung mit der nach hinten gerichteten Kamera 122 vorgesehen ist; jedoch können diese Kamerablitze 124 oder andere Kamerablitze (nicht dargestellt) für andere Zwecke verwendet werden, wie beispielsweise zum Bereitstellen von Licht in dunklen oder schwach beleuchteten Umgebungen oder zum Bereitstellen einer Warnung oder eines anderen Indikators, um die Aufmerksamkeit von Personen in der Nähe zu gewinnen.
Die PWD 14 beinhaltet auch eine Reihe von Benutzergeräteoberflächen, die den Benutzern der PWD die Möglichkeit bieten, Informationen bereitzustellen und/oder zu empfangen. Wie hierin verwendet, umfasst der Begriff „Benutzergerätoberfläche“ (oder „Maschinen-Benutzeroberfläche“), wenn er sich auf Komponenten der PWD bezieht, im Allgemeinen jede geeignete Form von elektronischen Vorrichtungen, einschließlich Hard- und Softwarekomponenten, die sich auf der PWD befinden und es einem Benutzer der PWD ermöglichen, mit der PWD zu kommunizieren. Derartige Beispiele für Benutzergeräteoberfläche sind beispielsweise der Indikator 126, die optische Anzeige (oder Touchscreen) 130, das Mikrofon 132, der Lautsprecher 134 und die Drucktaste(n) 136. Der Indikator 126 kann eine oder mehrere Lichtindikatoren, wie beispielsweise Leuchtdioden (LEDs), sein und in einigen Ausführungsformen auf der Vorderseite der PWD 14 angeordnet sein, wie in 3 dargestellt. Der Indikator kann für zahlreiche Zwecke verwendet werden, z. B. um einem Bediener der PWD 14 anzuzeigen, dass eine neue Benachrichtigung auf der PWD vorhanden ist. Die optische Anzeige oder der Touchscreen 130 ist in vielen Ausführungsformen eine grafische Anzeige, wie beispielsweise ein Touchscreen auf der Vorderseite der PWD 14, wie in 3 dargestellt, und kann für eine Vielzahl von Ein- und Ausgabefunktionen verwendet werden. Das Mikrofon 132 stellt eine Audioeingabe an die PWD 14 bereit, um dem Fahrer zu ermöglichen, Sprachsteuerungen bereitzustellen und/oder Freisprechen über das drahtlose Trägersystem 70 auszuführen. Der Lautsprecher 134 stellt eine Audioausgabe an einen Fahrzeuginsassen bereit und kann ein zugehöriges selbstständiges System oder Teil des primären Audiosystems des Geräts sein. Die Drucktasten 136 (nur eine ist dargestellt) ermöglichen eine manuelle Benutzereingabe, um weitere Daten, Reaktionen oder Steuereingänge bereitzustellen. Andere Drucktasten können an der PWD 14 angebracht sein, wie beispielsweise eine Verriegelungstaste an der Seite der PWD 14, Lautstärkeregler nach oben und unten, Kameratasten, usw. Wie von Fachleuten auf dem Gebiet geschätzt, müssen die Drucktasten nicht einer einzelnen Funktion der PWD 14 zugeordnet werden, sondern können als Schnittstellenmittel für eine Vielzahl unterschiedlicher Funktionen verwendet werden. Verschiedene andere Fahrzeugbenutzeroberflächen können ebenfalls zum Einsatz kommen, die Schnittstellen in 2-4 dienen lediglich als Beispiel für eine bestimmte Implementierung.
Die Trägheitssensoren 140 können verwendet werden, um Sensorinformationen über die Größe und Richtung der Beschleunigung der PWD 14 sowie Winkelinformationen bezüglich der Ausrichtung der PWD 14 zu erhalten. Die Trägheitssensoren können mikroelektromechanische System-(MEMS)-Sensoren, Beschleunigungssensoren oder Gyroskope sein, die Trägheitsinformationen erhalten, die Positionsinformationen sein können (oder verwendet werden können). Die Trägheitssensoren 140 können verwendet werden, um Ausrichtungsinformationen bezüglich der PWD 14 und/oder Bewegungsinformationen bezüglich der PWD 14 zu bestimmen oder zu erhalten. Die Ausrichtungsinformationen sind Informationen, die eine Ausrichtung der PWD 14 in Bezug auf einen Bezugspunkt oder eine Ebene, wie beispielsweise die Erde, darstellen. Die Bewegungsinformationen sind Informationen, die Bewegung der PWD 14 darstellen. Die Bewegungsinformationen, die Ausrichtungsinformationen und die Live-Videodaten (oder andere erfasste Bild-/Videodaten) können verwendet werden, um den Standort verschiedener Objekte im Sichtfeld der Kamera(s) 120,122 zu verfolgen. Dies ermöglicht es der PWD 14, erweiterte Realitäts-(AR)-Merkmale auszuführen, die das Anzeigen von Annotations-Grafiken beinhalten können, die von der Remote-Assistenzanwendung 84 bereitgestellt werden, wie im Folgenden näher erläutert wird.
In mindestens einer Ausführungsform kann die PWD 14 Bildverarbeitungstechniken beinhalten, die verwendet werden können, um ein oder mehrere Objekte zu erkennen, die sich im Sichtfeld der Kameras 120 und/oder 122 befinden. Derartige Techniken können den Fachleuten auf dem Gebiet bekannt sein und können das Auffinden von Fahrzeugen, Teilen oder Komponenten des Fahrzeugs, Straßenschildern, Ampeln, Fußgängern, Gehwegen, Fahrbahnen und/oder anderen Objekten im Sichtfeld der Kameras beinhalten. So kann beispielsweise die PWD 14 in einer Ausführungsform Objekterkennungstechniken verwenden, um einen oder mehrere Teile des Fahrzeugs 12 zu identifizieren, wie beispielsweise einen Anschluss einer Fahrzeugbatterie, einen Ölmessstabgriff, eine Ölkappe, Fahrzeugleuchten (z. B. Scheinwerfer), eine Bremsflüssigkeitskappe, andere Komponenten oder Teile, die unter der Haube eines Fahrzeugs gefunden werden, andere Komponenten oder Teile des Fahrzeugs, die gewartet werden sollen oder müssen oder usw. In einigen Ausführungsformen können diese Bildverarbeitungstechniken (z. B. Objekterkennungstechniken) in Verbindung mit den Bewegungsinformationen und/oder den Ausrichtungsinformationen verwendet werden, um die AR-Funktionalität der PWD 14 auszuführen.
Unter Bezugnahme auf 5 ist eine Ausführungsform eines Verfahrens 200 zur Assistenz des Einschaltens von Fahrzeugmerkmalen dargestellt. In einer Ausführungsform kann das Verfahren 200 durch eine tragbare Drahtlosvorrichtung (PWD), wie beispielsweise die PWD 14, ausgeführt werden. Obwohl die Schritte des Verfahrens 200 als in einer bestimmten Reihenfolge durchgeführt beschrieben werden, wird hierdurch in Betracht gezogen, dass die Schritte des Verfahrens 200 in jeder geeigneten oder technisch realisierbaren Reihenfolge durchgeführt werden können, wie es von Fachleuten auf dem Gebiet als sinnvoll erachtet wird.
Das Verfahren 200 beginnt mit Schritt 210, wobei die tragbare Drahtlosvorrichtung (PWD) eine Remote-Assistenzsitzung mit einer Remote-Assistenzanwendung verbindet. In einer Ausführungsform kann die Fahrzeugassistenzanwendung 16 der PWD 14 verwendet werden, um eine Remote-Assistenzsitzung mit der Remote-Assistenzanwendung 84 des Remote-Computers 82 zu initiieren, die sich an einer entfernten Einrichtung 80 befindet. Ein Remote-Assistent, der eine Person ist, die Remote-Assistenzanwendung 84 betreibt und einem Fahrzeugbenutzer Assistenz bereitstellt, kann eine Anfrage oder Anzeige einer Remote-Assistenzsitzung empfangen. Der Remote-Assistent kann der Remote-Assistenzsitzung beitreten oder die Remote-Assistenzanwendung 84 kann automatisch einer Remote-Assistenzsitzung beitreten oder derselben zugeordnet werden. Der Fahrzeugbenutzer, der ein Fahrzeugbesitzer, ein Fahrzeug-Leasingnehmer, ein Fahrzeugtechniker oder eine andere individuelle Wartung oder eine Assistenz bei dem Fahrzeug sein kann, kann bestimmte ID-Informationen in die Fahrzeugassistenzanwendung 16 der PWD 14 eingeben, sodass die Remote-Assistenzanwendung 84 den Fahrzeugbenutzer und/oder das Fahrzeug 12 identifizieren kann. So kann beispielsweise das Fahrzeug 12 einem vom Fahrzeugbenutzer gehaltenen Konto oder Abonnement zugeordnet werden, und wenn der Fahrzeugbenutzer die Fahrzeugassistenzanwendung 16 der PWD 14 protokolliert (oder Anmeldeinformationen für diese), kann die Fahrzeuginformationen über das Fahrzeug 12 an die Remote-Assistenzanwendung 84 bereitgestellt und zum Identifizieren des Fahrzeugbenutzers oder Fahrzeugs verwendet werden.
In mindestens einer Ausführungsform kann die Fahrzeugelektronik 20 des Fahrzeugs 12 mit der Remote-Assistenzsitzung verbunden sein oder kann anderweitig Fahrzeuginformationen an die Remote-Assistenzanwendung 84 bereitstellen. In einer Ausführungsform kann die Remote-Assistenzanwendung 84 das Fahrzeug 12, wie oben erläutert, identifizieren und kann dann eine Remote-Verbindung mit dem Fahrzeug 12 herstellen. Die Remote-Assistenzanwendung 84 kann dann bestimmte Informationen von der Fahrzeugelektronik 20 anfordern, wie beispielsweise Fahrzeugdiagnoseinformationen, Fahrzeugbetriebszustand, Fahrzeugumgebungszustand und/oder andere Fahrzeuginformationen. In einer Ausführungsform kann der Fahrzeugbenutzer die Anwendung 16 verwenden, um dem Remote-Assistenten zu ermöglichen, auf die Fahrzeugelektronik (oder das Fahrzeugcomputersystem) zuzugreifen, um Informationen zu erhalten und/oder Fahrzeugoperationen auszuführen. In einer anderen Ausführungsform kann sich die Fahrzeugelektronik 20 mit der PWD 14 verbinden, die zusammen mit dem Fahrzeug angeordnet ist, wobei SRWC-beispielsweise die drahtlose Kommunikationsvorrichtung 30 und die SRWC-Schaltung 110 der PWD 14 eine SRWC-Verbindung herstellen können. Dann kann die PWD 14 bestimmte Fahrzeuginformationen, wie Fahrzeugdiagnoseinformationen oder andere Fahrzeugzustandsinformationen, von der Fahrzeugelektronik 20 anfordern. Die Fahrzeugelektronik 20 kann dann durch die Bereitstellung der angeforderten Informationen über die SRWC-Verbindung reagieren. Die PWD 14 kann diese Informationen dann an die entfernte Einrichtung 80 und insbesondere an die Remote-Assistenzanwendung 84 senden. In einer Ausführungsform kann die Remote-Assistenzanwendung 84 eine Fahrzeuginformationsanfrage (d. h. eine Anforderung für Fahrzeuginformationen) an die PWD 14 senden, die dann die Fahrzeuginformationsanfrage an die Fahrzeugelektronik 20 weiterleiten kann. Die PWD 14 kann dann eine Fahrzeuginformationsantwort von der Fahrzeugelektronik 20 empfangen und diese empfangenen Fahrzeuginformationen an die Remote-Assistenzanwendung 84 weitergeben. Das Verfahren 200 fährt mit Schritt 220 fort.
In Schritt 220 werden Videodaten von der tragbaren Drahtlosvorrichtung (PWD) erfasst und auf einer Anzeige der PWD angezeigt. In einer Ausführungsform kann die PWD 14 die Kamera 122 verwenden, um Videodaten zu erfassen, und die erfassten Videodaten können auf der Anzeige 130 der PWD 14 angezeigt werden, wenn die Videodaten erfasst werden - wobei diese Videodaten erfasst werden können, wenn die Videodaten als Anzeigen von Live-Videodaten erfasst werden. Die erfassten Videodaten können auch im Speicher 104 der PWD 14 gespeichert und/oder unter Verwendung des Prozessors 102 verarbeitet werden. Die erfassten Videodaten können einem Zeitstempel (oder einem anderen Zeitindikator) zugeordnet werden, der eine Zeit wiedergibt, in der die Videodaten erfasst wurden. Zusätzlich können in einigen Ausführungsformen Ausrichtungsinformationen und/oder Bewegungsinformationen zum Zeitpunkt der Erfassung der Live-Videodaten ermittelt oder anderweitig erhalten werden. In einer Ausführungsform können diese Informationen unter Verwendung von Trägheitssensor(en) 140 der PWD 14 erhalten werden. Diese Ausrichtungsinformationen und/oder Bewegungsinformationen können gemeinsam als Positionsinformationen bezeichnet werden - d. h. Positionsinformationen können entweder Ausrichtungsinformationen oder Bewegungsinformationen beinhalten. Diese Positionsinformationen können einem Zeitstempel (oder einem anderen Zeitindikator) zugeordnet werden, der eine Zeit widerspiegelt, in der die Positionsinformationen aufgezeichnet oder anderweitig erhalten wurden. Darüber hinaus können die Positionsinformationen bestimmten Videodaten basierend auf dem Zeitstempel (oder einer anderen Zeitanzeige) zugeordnet werden - beispielsweise können Positionsinformationen und Videodaten basierend auf der Bestimmung, dass die Positionsinformationen mit der gleichen oder einer ähnlichen Zeit wie die Zeit, zu der die Videodaten erfasst wurden, bestimmt werden. In einigen Ausführungsformen können die Positionsinformationen zu einem anfänglichen Aufzeichnungspunkt initialisiert werden, der den ersten erfassten Videodaten zugeordnet ist, wie im Folgenden in Bezug auf das Verfahren 400 (7) erläutert wird. Das Verfahren 200 fährt mit Schritt 230 fort.
In Schritt 230 werden die Live-Videodaten an die Remote-Assistenzanwendung gesendet. Die Live-Videodaten können zum Zeitpunkt der Erfassung der Live-Videodaten an die Remote-Assistenzanwendung 84 gesendet oder gestreamt werden, sodass die Live-Videodaten auf dem Remotecomputer 82 in Echtzeit angezeigt werden können. So kann beispielsweise die PWD 14 die Videodaten über das Mobilfunknetz 70 und das Festnetz 76 an die Remote-Assistenzanwendung 84 senden. Verschiedene entfernte Video- oder Datenstreaming-Techniken können verwendet werden, wie Fachleuten auf dem Gebiet bekannt ist. Die Live-Videodaten können kontinuierlich von der PWD 14 erfasst werden, die an der PWD 14 gespeichert und während der Schritte 240 bis 280 an die Remote-Assistenzanwendung 84 an dem Remote-Computer 82 gesendet werden. Das Verfahren 200 fährt dann mit Schritt 240 fort.
In Schritt 240 werden Annotationsinformationen von der Remote-Assistenzanwendung empfangen. Die Annotationsinformationen können eine Annotationsgrafikinformationen und Annotationsinformationen beinhalten. Die Annotationgrafikinformationen sind Informationen, die verwendet werden (oder zumindest verwendet werden können), um eine Annotationsgrafik zu erhalten. Die Annotationsgrafik kann eine Grafik sein, die verwendet wird, um die Live-Videodaten zu annotieren, sodass der Fahrzeugbenutzer mit einem Video von erweiterter Realität (AR) versehen werden kann. Die Annotationsgrafik kann durch den Remote-Assistenten unter Verwendung der Remote-Assistenzanwendung 84 erzeugt und/oder konfiguriert werden. In zumindest einigen Ausführungsformen kann die Annotationsgrafik vom Remote-Assistenten zur Assistenz des Fahrzeugbenutzers mit dem Betrieb oder der Wartung des Fahrzeugs bereitgestellt werden. In einer Ausführungsform beinhalten die Annotationsgrafikinformationen Bild- oder Videodaten, die die Annotationsgrafik darstellen. In einer anderen Ausführungsform beinhalten die Annotationsgrafikinformationen eine Annotationsgrafikkennung, die verwendet wird, um eine bestimmte Grafik zu identifizieren, die an der PWD 14 als Teil des AR-Videos angezeigt werden soll. In einer Ausführungsform kann die Annotationsgrafikkennung verwendet werden, um die Annotationsgrafik oder Daten, die die Annotationsgrafik repräsentieren, aus dem Speicher der PWD 14, wie beispielsweise aus dem Speicher 104, abzurufen. In einer anderen Ausführungsform kann die PWD 14 die Annotationsgrafik von einem Remote-Server, wie beispielsweise einem Server in der entfernten Einrichtung 80 oder einem Computer 78, anfordern, der dann die angeforderte Annotationsgrafik an die PWD 14 bereitstellen kann.
Die Annotationsinformationen sind Informationen, die verwendet werden, um eine Annotationsanzeigeposition für die Annotationsgrafik zu identifizieren. Wie oben erwähnt, wird die Annotationsgrafik verwendet, um die Live-Videodaten zu annotieren, die auf der Anzeige der PWD 14 angezeigt werden (siehe Schritt 220). Die Annotationsortinformationen können einen Standort innerhalb der Live-Videodaten angeben, an denen die Grafik angezeigt werden soll. In einer Ausführungsform können die Annotationsinformationen eine Koordinatenposition (z. B. eine Pixelkoordinate (x,y), die ein Beispiel für einen Annotationsgrafikort ist) entlang der Anzeige (oder innerhalb der Live-Videodaten) beinhalten, bei denen die Annotationsgrafik durchgeführt werden soll. In einer anderen Ausführungsform können die Annotationsinformationen Objektmarkierungsinformationen beinhalten, die von der PWD verwendet werden, um ein Objekt mit dem Sichtfeld der Kamera 122 zu identifizieren, dass die Live-Videodaten erfasst. Diese Objektmarkierungsinformationen werden beispielsweise zusammen mit den Live-Videodaten unter Verwendung von Objekterkennungstechniken verarbeitet, um das Objekt zu identifizieren, das durch die Objektmarkierungsinformationen dargestellt wird. Sobald das Objekt innerhalb der Live-Videodaten (oder des Sichtfelds der Kamera) identifiziert ist, kann eine Koordinatenpixelposition bestimmt werden - d. h. es wird eine grafische Annotation bestimmt. Die Annotationsinformationen und/oder die Annotationsgrafikinformationen können auf dem Speicher 104 gespeichert werden. Das Verfahren 200 fährt mit Schritt 250 fort.
In Schritt 250 wird die Annotationsgrafik über einen Teil der Live-Videodaten angezeigt, um ein Video von erweiterter Realität (AR) zu erzeugen. Die Annotationsgrafik kann an der Annotationsgrafikposition, wie sie unter Verwendung der Annotationsinformationen bestimmt wird, wiedergegeben werden. So können beispielsweise die Live-Videodaten angezeigt werden (Schritt 220), woraufhin die Annotationsgrafik auf die Live-Videodaten an der Annotationsgrafikposition wiedergegeben (oder überlagert) werden kann. Fachleute auf dem Gebiet werden erkennen, dass verschiedene AR-Verarbeitungstechniken verwendet werden können, um die Annotationsgrafik auf den Live-Videodaten auf diese Weise anzuzeigen. Das Verfahren 200 fährt mit Schritt 260 fort.
In Schritt 260 wird bestimmt, ob die Annotationsgrafik aktualisiert werden soll. In mindestens einigen Ausführungsformen kann bestimmt werden, die Annotationsgrafik zu aktualisieren, wenn sich das Sichtfeld der Kamera ändert und/oder wenn sich die Position der PWD 14 ändert. So kann beispielsweise die PWD 14 die Position der PWD 14 durch kontinuierliches Aufzeichnen von Positionsinformationen verfolgen, wie sie unter Verwendung eines oder mehrerer Sensoren, wie beispielsweise der Trägheitssensoren 140 und/oder der Kameras 120, 122, bestimmt werden. In einer Ausführungsform können die Positionsinformationen Ausrichtungs- und Bewegungsinformationen beinhalten. Die Ausrichtungsinformationen können durch einen Azimutwinkel und einen Elevationswinkel dargestellt werden, der durch Verwendung eines Beschleunigungssensors oder eines anderen Trägheitssensors 140 bestimmt werden kann, wie Fachleuten auf dem Gebiet bekannt ist. Die Bewegungsinformationen können auf null gestellt oder initialisiert werden, wenn die Live-Videodaten zuerst erfasst und nachverfolgt werden können, sodass die PWD 14 die Art und Weise bestimmen kann (z. B. die Größe und Richtung), in der sich die PWD 14 von der Ausgangsposition bewegt hat. Die Positionsinformationen können verwendet werden, um die PWD 14 darüber zu informieren, wie die Annotationsgrafik aktualisiert werden sollte - d. h. die Annotationsgrafikposition kann basierend auf der anfänglichen Annotationsgrafikposition und den Positionsinformationen bestimmt werden, während sie von dem/den Trägheitssensor(en) 140 verfolgt wird. In einer anderen Ausführungsform kann die PWD 14 bestimmen, die Annotationsgrafik zu aktualisieren, indem sie erkennt, dass sich das Sichtfeld der Kamera 122 durch die Verwendung von Bildverarbeitungstechniken geändert hat, wie Fachleuten auf dem Gebiet bekannt ist. Wenn erkannt wird, dass die Annotationsgrafik aktualisiert werden soll, fährt das Verfahren 200 mit Schritt 270 fort; andernfalls überwacht das Verfahren 200 weiterhin Änderungen im Sichtfeld oder der Bewegung oder anderen Umpositionierungen der PWD 14.
In Schritt 270 wird das AR-Video aktualisiert. In einer Ausführungsform beinhaltet das Aktualisieren des AR-Videos das Ermitteln einer Annotationsgrafikposition für die Annotationsgrafik. In einer Ausführungsform kann die PWD 14 Objekterkennungstechniken verwenden, um ein Objekt innerhalb der Live-Videodaten zu identifizieren. Die Objekterkennungstechniken können verwendet werden, um einen Annotationspfad innerhalb der Live-Videodaten zu bestimmen. In einer anderen Ausführungsform kann die PWD 14 aktuelle Positionsinformationen durch Verwendung von Trägheitssensor(en) 140 erhalten (zum Beispiel) und dann diese aktuellen Positionsinformationen mit anfänglichen oder zuvor aufgezeichneten Positionsinformationen vergleichen, um eine Annotationsgrafikposition zu bestimmen. Fachleute auf dem Gebiet werden wissen, wie Objekte innerhalb des dreidimensionalen Raums durch Verwendung von Trägheitssensoren oder anderen Bewegungs-/Ausrichtungssensoren verfolgt werden können.
Zusätzlich zum Bestimmen eines Update-Annotationsgrafikorts kann das Aktualisieren des AR-Videos ferner (oder alternativ) das Bestimmen einer Annotationsgrafikausrichtung beinhalten. So kann beispielsweise die Annotationsgrafik ein dreidimensionales Objekt sein und basierend auf der Bewegung der PWD 14 kann die Ausrichtung der Annotationsgrafik aktualisiert werden, sodass die Parallaxe der Annotationsgrafik mit dem Bewegungs- und/oder dem Betrachtungswinkel der Kamera übereinstimmt. Dies kann das Abrufen oder Erzeugen neuer Daten für die Annotationsgrafik beinhalten. Sobald die Annotationgrafikposition und/oder die Annotationsgrafikausrichtung aktualisiert ist, fährt das Verfahren 200 mit Schritt 250 fort, wobei die Annotationsgrafik angezeigt wird. Obwohl die Schritte 260 und 280 nach den Schritten 210 - 250 als ausgeführt dargestellt werden, können diese Schritte gleichzeitig mit diesen Schritten durchgeführt werden. So kann beispielsweise das Sichtfeld der Kamera der PWD und/oder die Position der PWD kontinuierlich verfolgt und die Annotation entsprechend aktualisiert werden. Außerdem kann die Remote-Assistenzsitzung vor oder während eines dieser Schritte 210 - 270 beendet werden, sodass in einem derartigen Fall das Verfahren 200 enden kann.
In Schritt 280 wird bestimmt, ob die Remote-Assistenzsitzung beendet ist oder beendet wurde. In einer Ausführungsform kann die Sitzung durch den Fahrzeugbenutzer (oder den PWD-Benutzer) oder den Remote-Assistenten beendet werden, indem dieser eine Schaltfläche „Sitzung beenden“ oder eine ähnliche Taste auf der grafischen Benutzeroberfläche (GUI) der Fahrzeugassistenzanwendung 16 oder der Remote-Assistenzanwendung 84 betätigt. Das Verfahren 200 endet dann.
Unter Bezugnahme auf 6 ist eine Ausführungsform eines Verfahrens 300 zum Bereitstellen einer Remote-Assistenz (AR) für einen Fahrzeugbenutzer eines Fahrzeugs dargestellt. In einer Ausführungsform kann das Verfahren 300 von einem Remote-Computer, wie beispielsweise dem Remote-Computer 82 an der entfernten Einrichtung 80, ausgeführt werden. Obwohl die Schritte des Verfahrens 300 als in einer bestimmten Reihenfolge durchgeführt beschrieben werden, wird hierdurch in Betracht gezogen, dass die Schritte des Verfahrens 300 in jeder geeigneten oder technisch realisierbaren Reihenfolge durchgeführt werden können, wie es von Fachleuten auf dem Gebiet als sinnvoll erachtet wird.
Das Verfahren 300 beginnt mit Schritt 310, wobei eine tragbare Drahtlosvorrichtung (PWD) eine Remote-Assistenzsitzung mit einer Remote-Assistenzanwendung verbindet. Dieser Schritt ist analog zu Schritt 210 des Verfahrens 200 (5), wie oben erläutert, wodurch die Erläuterung von Schritt 210 hierin aufgenommen wird. Das Verfahren 300 fährt mit Schritt 320 fort.
In Schritt 320 werden Live-Videodaten an der Remote-Assistenzanwendung von der tragbaren Drahtlosvorrichtung (PWD) empfangen. In mindestens einer Ausführungsform ist dieser Schritt die Folge von Schritt 230 des Verfahrens 200 (5). Die Live-Videodaten können mit Kamera 120 und/oder Kamera 122 der PWD 14 erfasst und dann an die Remote-Assistenzanwendung 84 gesendet oder gestreamt werden. Die Remote-Assistenzanwendung 84 kann eine grafische Benutzeroberfläche (GUI) darstellen, die einen Live-Videodatenstreaming-Bereich beinhaltet, in dem die empfangenen Live-Videodaten in einer Streaming- (oder Live-)-Weise angezeigt werden. Die Live-Videodaten können somit zum Zeitpunkt, zu dem die Live-Videodaten empfangen werden, präsentiert werden. In einer Ausführungsform können die Live-Videodaten sowohl Bilder als auch Schall (oder Audio) beinhalten, die in Live-Richtung gestreamt werden. Das Verfahren 300 fährt mit Schritt 330 fort.
In Schritt 330 werden Fahrzeugdiagnoseinformationen vom Fahrzeug empfangen. In einer Ausführungsform werden die Fahrzeugdiagnoseinformationen über eine Remote-Verbindung zwischen der Remote-Assistenzanwendung 84 und der Fahrzeugelektronik 20 empfangen. Die Remote-Verbindung kann eine direkte Verbindung sein, die sich auf eine Verbindung zwischen der Fahrzeugelektronik 20 und der Remote-Assistenzanwendung 84 (oder dem Remote-Computer 82) bezieht, die PWD 14 nicht als Teil des Kommunikationspfads verwendet. So kann beispielsweise die PWD 14 die Remote-Assistenzanwendung 84 eines bestimmten Fahrzeugs darüber informieren, dass die PWD 14 mit dem Senden der Remote-Assistenzanwendung 84 verbunden ist, eine Fahrzeugkennung oder andere Informationen, die verwendet werden können, um das Fahrzeug zu identifizieren (z. B. Informationen des Fahrzeugbenutzerteilnehmers, die von einer entfernten Einrichtung verwendet werden können, um das/die Fahrzeug(e) zu identifizieren, die mit dem Fahrzeug-Teilnehmer-Konto verknüpft sind). Die Remote-Assistenzanwendung 84 kann dann über das Festnetz 76 und/oder das Mobilfunknetz 70 mit der Fahrzeugelektronik 20 verbunden werden. Eine Anforderung für Fahrzeugdiagnoseinformationen (d. h. eine Fahrzeugdiagnoseinformationsanfrage) oder andere Fahrzeuginformationen können von der Remote-Assistenzanwendung 84 über die Remote-Verbindung an die Fahrzeugelektronik 20 gesendet werden. Die Fahrzeugelektronik 20 kann dann durch Erhalten von Fahrzeugdiagnoseinformationen (z. B. DTCs) von einem oder mehreren VSMs und dann Senden dieser Informationen an die Remote-Assistenzanwendung 84 als Teil einer Fahrzeugdiagnoseinformationsantwort reagieren.
In einer anderen Ausführungsform können die Fahrzeugdiagnoseinformationen durch die PWD 14 erhalten und dann von der PWD 14 an die Remote-Assistenzanwendung 84 gesendet werden. Zum Beispiel kann die PWD 14 als Teil (oder in Reaktion auf das Verbinden der Remote-Assistenzsitzung) eine Fahrzeugdiagnoseinformationsanforderung an die Fahrzeugelektronik 20 über eine SRWC-Verbindung senden, woraufhin die Fahrzeugelektronik 20 die angeforderten Fahrzeugdiagnoseinformationen an die PWD 14 senden kann. Diese Fahrzeugdiagnoseinformationsantwort, die an der PWD 14 von der Fahrzeugelektronik 20 über die SRWC-Verbindung empfangen wird, kann dann an die Remote-Assistenzanwendung 84 weitergeleitet werden. In einer anderen Ausführungsform kann die Remote-Assistenzanwendung 84 die Fahrzeugdiagnoseinformationsanforderung erzeugen und an die PWD 14 senden, woraufhin die PWD 14 diese Fahrzeugdiagnoseinformationsanforderung (oder eine andere darauf basierende Anforderung) an die Fahrzeugelektronik 20 senden kann. Die Fahrzeugdiagnoseinformationsantwort kann dann an der PWD 14 empfangen und an die Remote-Assistenzanwendung 84 weitergeleitet werden (oder die Fahrzeugdiagnoseinformationen können direkt von der Fahrzeugelektronik 20 an die Remote-Assistenzanwendung 84 über eine Remote-Verbindung zwischen der Fahrzeugelektronik 20 und der Remote-Assistenzanwendung 84 gesendet werden). Das Verfahren 300 fährt dann mit Schritt 340 fort.
In Schritt 340 werden die Live-Videodaten angezeigt und die Fahrzeugdiagnoseinformationen werden in der Remote-Assistenzanwendung angezeigt. Wie oben erwähnt, können die Live-Videodaten in einer Live-Streaming-Weise auf einem Live-Video-Datenstreaming-Abschnitt der GUI der Remote-Assistenzanwendung 84 angezeigt werden. Außerdem können die Live-Videodaten Audio- (oder begleitet) Audio- (oder Audio-) Daten beinhalten, die von der PWD 14 unter Verwendung des Mikrofons 132 erfasst werden. Diese Audiodaten können dem Remote-Assistenten unter Verwendung eines Lautsprechers am Remote-Computer 82 präsentiert werden. Zusätzlich können die Fahrzeugdiagnoseinformationen dem Remote-Assistenten unter Verwendung der GUI der Remote-Assistenzanwendung 84 präsentiert werden. Auch oder alternativ können die Fahrzeugdiagnoseinformationen unter Verwendung des Lautsprechers am Remote-Computer 82 durch Verwendung der natürlichen Sprachgenerierung oder anderer Text-zu-Audio-Techniken präsentiert werden, wie Fachleuten auf dem Gebiet bekannt ist. Das Verfahren 300 fährt mit Schritt 350 fort.
In Schritt 350 werden Annotationsinformationen vom Remote-Assistenten erhalten. Der Remote-Assistent ist der Benutzer der Remote-Assistenzanwendung 84. Der Remote-Assistent kann eine Mensch-Maschine-Schnittstelle (z. B. Tastatur, Maus, Touchscreen) am Remote-Computer 82 verwenden, um eine Annotationseingabe in die Remote-Assistenzanwendung 84 bereitzustellen. Die Annotationseingabe kann eine Art von Grafik, eine Farbe, eine Annotationsposition und/oder verschiedene andere Informationen bezüglich der Annotation angeben. Die Annotationseingabe kann verwendet werden, um Annotationsinformationen zu erzeugen, die Informationen beinhalten, die eine Annotationsgrafik und eine Annotationsgrafikposition oder Annotationsortinformationen identifizieren. Die Annotationsgrafik kann durch den Remote-Assistenten unter Verwendung von Annotations-Toolen (z. B. einem Pinsel, der es dem Remote-Assistenten ermöglicht, auf die Live-Videodaten zu zeichnen) erstellt oder erzeugt werden oder kann aus einem vordefinierten Satz von Annotationsgrafiken (z. B. zuvor erzeugte Bilder) ausgewählt werden. Die Annotationsgrafik kann an einem bestimmten Standort auf den Live-Videodaten positioniert werden, und der Remote-Computer 82 und/oder die Remote-Assistenzanwendung 84 können die Annotationsinformationen bestimmen.
In einer Ausführungsform können die Annotationsinformationen einen Annotationspfad (z. B. einen Pixel-Koordinatenort) auf den Live-Videodaten beinhalten. Zusätzlich oder alternativ können die Annotationsinformationen Objektmarkierungsinformationen beinhalten, die ein Objekt (oder eine Position) innerhalb des dreidimensionalen Raums identifizieren, wie sie von der Kamera 120, 122 der PWD 14 erfasst werden, und wie in den Live-Videodaten dargestellt. So kann beispielsweise der Remote-Assistent eine Annotation in einem Bereich oder Punkt innerhalb der Live-Videodaten platzieren, bei denen eine Ölkappe erscheint. Die Ölkappe kann als eine Ölkappe des Fahrzeugs 12 unter Verwendung von Obj ekterkennungstechniken (oder anderen Bildverarbeitungstechniken) identifiziert werden, wie Fachleute auf dem Gebiet bekannt ist. Dann können die Annotationsinformationen (oder Objektmarkierungsinformationen) erzeugt oder anderweitig erhalten werden (z. B. aus einer Datenbank abgerufen), die von der PWD 14 verwendbar ist, um die Ölkappe unter Verwendung von Objekterkennungstechniken (oder anderen Bildverarbeitungstechniken) zu identifizieren. In einer Ausführungsform können die Objektmarkierungsinformationen aus einer Datenbank an der entfernten Einrichtung 80 abgerufen werden, sobald die Ölkappe (z. B. als Ölkappe) identifiziert ist. In einer Ausführungsform können die Objektmarkierungsinformationen in die Annotationsortinformationen zusammen mit einer Annotationsgrafikposition (z. B. einer Pixelkoordinatenposition) aufgenommen werden. Die Annotationsinformationen können auch einen Zeitstempel (oder eine andere Zeitanzeige) beinhalten, sodass die PWD 14 über die Live-Videodaten informiert werden kann, in denen die Annotation erzeugt oder konfiguriert wurde. Das Verfahren 300 fährt mit Schritt 360 fort.
In Schritt 360 werden die Annotationsinformationen an die PWD gesendet. Die Annotationsinformationen können von der Remote-Assistenzanwendung 84 über das Festnetz 76 und/oder das Mobilfunkträgersystem 70 an die PWD 14 gesendet werden. Die Annotationsinformationen können zum Übertragen in ein einzelnes Paket (oder Dateneinheit) verpackt werden oder zum Übertragen in mehrere Pakete (oder Dateneinheiten) verpackt werden. Die Schritte 320 bis 330 können kontinuierlich durchgeführt werden, bis die Sitzung beendet ist, wie oben mit Bezug auf Schritt 280 des Verfahrens 200 (5) beschrieben. So können beispielsweise die Live-Videodaten kontinuierlich in einer Streaming-Weise für die gesamte Sitzung empfangen werden (oder bis der Remote-Assistent oder der Fahrzeugbenutzer anzeigt, die Live-Videodaten zu beenden). Zusätzlich können zumindest in einer Ausführungsform Fahrzeugdiagnoseinformationen durch den Remote-Assistenten unter Verwendung der Remote-Assistenzanwendung 84 jederzeit während der Sitzung angefordert werden. Außerdem kann der Remote-Assistent die an der PWD 14 präsentierten Annotationen (oder Kommentargrafiken) löschen, modifizieren, hinzufügen oder anderweitig ändern. Wenn die Sitzung beendet ist, endet das Verfahren 300.
Unter Bezugnahme auf 7 ist eine Ausführungsform eines Verfahrens 400 zum Bereitstellen von Erweiterter Realität-(AR)-Remote-Assistenz für einen Fahrzeugbenutzer eines Fahrzeugs dargestellt. In einer Ausführungsform kann das Verfahren 400 durch den Remote-Computer 82 an der entfernten Einrichtung 80, der Fahrzeugelektronik 20 und/oder der PWD 14 ausgeführt werden. Obwohl die Schritte des Verfahrens 400 als in einer bestimmten Reihenfolge durchgeführt beschrieben werden, wird hierdurch in Betracht gezogen, dass die Schritte des Verfahrens 400 in jeder geeigneten oder technisch realisierbaren Reihenfolge durchgeführt werden können, wie es von Fachleuten auf dem Gebiet als sinnvoll erachtet wird.
Das Verfahren 400 beginnt mit Schritt 405, wobei eine Remote-Assistenzsitzung zwischen der PWD 14 und der Remote-Assistenzanwendung 84 (oder dem Remote-Computer 82) hergestellt wird. Dieser Schritt wird oben mit Bezug auf Schritt 210 des Verfahrens 200 (5) beschrieben. Anschließend sendet die PWD 14 bei Schritt 410 eine Fahrzeuginformationsanfrage (z. B. Fahrzeugdiagnoseinformationsanforderung) über eine SRWC-Verbindung (z. B. Bluetooth™) an die Fahrzeugelektronik 20 und bei Schritt 415 reagiert die Fahrzeugelektronik 20, indem sie eine Fahrzeuginformationsantwort bereitstellt, die die angeforderten Informationen an die PWD 14 beinhaltet. In Schritt 420 wird die Fahrzeuginformationsantwort von der PWD 14 an die Remote-Assistenzanwendung 84 gesendet. Wie oben erwähnt, kann die Remote-Assistenzanwendung 84 in anderen Ausführungsformen die Fahrzeuginformationen (z. B. Fahrzeugdiagnoseinformationen) von der Fahrzeugelektronik 20 über eine Remote-Verbindung zwischen der Fahrzeugelektronik 20 und dem Remote-Computer 82 direkt anfordern.
In Schritt 425 überwacht oder verfolgt das Fahrzeug die Bewegung der PWD 14, die in einer Ausführungsform durch Verwendung von Trägheitssensor(en) 140 durchgeführt werden kann. Ausrichtungsinformationen können auf Anfangsausrichtungswert(e) eingestellt werden, die als anfängliche Ausrichtungsinformationen bezeichnet werden können. Auch können Bewegungsinformationen auf anfängliche Bewegungswerte eingestellt werden, die als anfängliche Bewegungsinformationen bezeichnet werden können. Es sollte beachtet werden, dass die Bewegungsinformationen und die Ausrichtungsinformationen in Verbindung miteinander dargestellt werden können oder sein können und ggf. nicht gespeichert oder getrennt voneinander aufgezeichnet werden. Die Positionsinformationen können dann aktualisiert werden, wenn die PWD 14 bewegt oder neu ausgerichtet und im Speicher 104 der PWD 14 gespeichert wird. Bei Schritt 430 kann die PWD 14 beginnen, Live-Videodaten zu erfassen, welche (in einigen Ausführungsformen) im Speicher 104 gespeichert werden. Die Live-Videodaten können visuelle Daten beinhalten, die von den Kameras 120, 122 der PWD 14 erfasst werden, und können in einigen Ausführungsformen ferner Audio- oder Tondaten beinhalten, die vom Mikrofon 132 erfasst werden. Bei Schritt 435 werden die Live-Videodaten an die Remote-Assistenzanwendung 84 gesendet und dann bei Schritt 445 angezeigt. Die Schritte 430, 435 und 445 können kontinuierlich ausgeführt werden, sodass die von der PWD 14 erfassten Live-Videodaten kontinuierlich an die GUI an der Remote-Assistenzanwendung 84 gestreamt werden. Bei Schritt 440, der bei oder um die gleiche Zeit wie Schritt 435 erfolgen kann, werden Positionsinformationen in dem Speicher gespeichert - diese Informationen können beispielsweise unter Verwendung des Trägheitssensors 140 der PWD 14 erhalten werden. In einer Ausführungsform kann dieser Schritt lediglich das Einstellen der Anfangsinformationen (d. h. anfängliche Ausrichtungsinformationen und/oder anfängliche Bewegungsinformationen) beinhalten, die im Speicher 104 gespeichert werden können.
Bei Schritt 450 stellt der Remote-Assistent eine Annotationseingabe an die Remote-Assistenzanwendung 84 bereit. Anschließend können Annotationsinformationen erzeugt oder anderweitig an der Remote-Assistenzanwendung 84 und basierend auf der Annotatoreingabe erhalten werden. Diese Annotationsinformationen können dann bei Schritt 455 an die PWD 14 gesendet werden. Die Annotationsinformationen können verwendet werden, um eine Annotationsgrafik an der Anzeige 130 der PWD 14 in einer Weise von erweiterter Realität (AR) zu präsentieren, sodass die Annotationsgrafik über einen Teil der Live-Videodaten angezeigt wird - diese Live-Videodaten mit einer überlagerten oder aufgeblendeten Annotationsgrafik können als AR-Video bezeichnet werden. Wie vorstehend erwähnt, kann die Annotatorgrafik, wie von der Kamera 120,122 erfasst, an einem Objekt innerhalb des dreidimensionalen Raums arretiert, verankert oder befestigt werden. In Schritt 465 erfasst die PWD 14 eine Positionsänderung (d. h. Bewegung, eine Ausrichtungsderung) der PWD 14. Diese Änderung kann durch die PWD 14 unter Verwendung des Trägheitssensors 140 (z. B. Beschleunigungssensors, Gyroskops) verfolgt und aufgezeichnet und dann im Speicher 104 gespeichert werden. Anschließend kann das AR-Video in Schritt 470 aktualisiert werden, indem eine aktualisierte Annotationsgrafikposition und/oder eine Annotationsgrafikausrichtung bestimmt wird. Das aktualisierte AR-Video wird dann auf der Anzeige 130 angezeigt. Das Verfahren 400 kann dann enden, sobald zum Beispiel die Sitzung endet (wie in Schritt 280 des Verfahrens 200 (5) beschrieben).
In einer Ausführungsform können das Verfahren 200, das Verfahren 300 und/oder das Verfahren 400 ferner einen Schritt des Bereitstellens von Live-Videodaten von der Remote-Assistenzanwendung 84 (oder dem Remote-Computer 82) an die PWD 14 beinhalten. So kann beispielsweise eine Kamera und/oder ein Mikrofon am Remote-Computer 82 Videos und/oder Audio des Remote-Assistenten aufzeichnen, woraufhin diese Live-Videodaten des Remote-Assistenten dem PWD 14 bereitgestellt werden können, sodass der Remote-Assistent hörbare Anweisungen oder andere Kommunikationen an den Remote-Assistenten bereitstellen kann. Darüber hinaus kann das Bereitstellen eines Live-Videos des Remote-Assistenten für den Fahrzeugbenutzer eine persönliche und/oder eingreifendere Erfahrung bereitstellen. Zusätzlich können Handgesten und/oder andere Körpersprache vom Remote-Assistenten verwendet und vom Fahrzeugbenutzer beobachtet werden, um die Assistenz bei dem Fahrzeug zu erleichtern. Und in einer Ausführungsform kann die nach vorne gerichtete Kamera 120 Live-Videodaten des Fahrzeugbenutzers erfassen, sodass der Remote-Assistent den Fahrzeugbenutzer sehen kann, der zur Kommunikation zwischen dem Remote-Assistenten und dem Fahrzeugbenutzer beitragen oder dieselbe erleichtern kann. In einer besonderen Ausführungsform können Live-Videodaten gleichzeitig sowohl von der nach vorne gerichteten Kamera 120 als auch der nach hinten gerichteten Kamera 122 der PWD 14 aufgenommen werden-beide Live-Videodatenströme können an die Remote-Assistenzanwendung 84 gesendet und live gestreamt werden.
In einer Ausführungsform können das Verfahren 200, das Verfahren 300 und/oder das Verfahren 400 ferner einen Schritt des Aufzeichnens der Remote-Assistenzsitzung beinhalten. So kann beispielsweise das AR-Video (einschließlich der Live-Videodaten und/oder Audio) und die Annotationsgrafik an der PWD 14 aufgezeichnet und im Speicher 104 gespeichert werden. Das aufgezeichnete AR-Video kann dann zu einem späteren Zeitpunkt an der PWD 14 wiedergegeben werden, beispielsweise zu einem Zeitpunkt, an dem die Remote-Assistenzsitzung beendet ist, sodass der Fahrzeugbenutzer die Anweisungen, die Führung oder andere Kommunikationen des Remote-Assistenten überprüfen kann. Dieses aufgezeichnete AR-Video kann im Speicher 104 der PWD 14 gespeichert werden. Ebenso können die Live-Videodaten des Remote-Assistenten aufgezeichnet und im Speicher des Remote-Computers 82 oder einer Datenbank (oder eines anderen Speichers) an der entfernten Einrichtung 80 gespeichert werden. Diese Live-Videodaten des Remote-Assistenten und/oder des AR-Videos (oder der Live-Videodaten der PWD 14) können beispielsweise später auf Qualitätssicherungszwecke überprüft werden.
In einer Ausführungsform können das Verfahren 200, das Verfahren 300 und/oder das Verfahren 400 das Erzeugen und Senden von AR-Videos an der Remote-Assistenzanwendung 84 (oder dem Remote-Computer 82) und dann das Senden des AR-Videos an die PWD 14 zur Darstellung auf der Anzeige 130 beinhalten. Auf diese Weise wird die AR-Verarbeitung an den Remote-Computer (z. B. Remote-Computer 82 oder einem anderen Remote-Computer) durchgeführt, um ein AR-Video zu erzeugen, das dann an die PWD 14 zurückgesendet wird.
In einer Ausführungsform können das Verfahren 200, das Verfahren 300 und/oder das Verfahren 400 das Senden von Medieninhalten an die PWD 14 von der Remote-Assistenzanwendung 84 beinhalten. Diese Medieninhalte können vorab aufgezeichnete Videos, Fehlerbehebungen, einen Bediener oder ein Fahrzeughandbuch, Internetpräsenzen oder Webseiten (oder Urls, Links usw.), Bilder oder anderweitige Unterstützung durch Text, Grafiken oder Inhalten beinhalten.
Unter Bezugnahme auf 8 ist eine grafische Benutzeroberfläche (GUI) 500 für eine Remote-Assistenzanwendung dargestellt, wie beispielsweise die Remote-Assistenzanwendung 84, die auf dem Remote-Computer 82 an der entfernten Einrichtung 80 ausgeführt wird. Die GUI 500 beinhaltet einen Fahrzeuginformationsabschnitt 502, einen Fahrzeugbetriebs- oder Serviceführungsabschnitt 504 (auch als Fahrzeugführungsteil 504 bezeichnet), einen Live-Videodatenstreaming-Abschnitt 506 und einen Annotations-Konfigurationsabschnitt 508. Der Fahrzeuginformationsabschnitt 502 kann Informationen über das Fahrzeug 12 sowie dem Fahrzeugbenutzer (oder dem Benutzer der PWD 14 oder Anwendung 16) anzeigen. So beinhaltet beispielsweise der Fahrzeuginformationsabschnitt 502 einen Eigentümer (oder Benutzer), eine Telefonnummer für den Fahrzeugbenutzer, eine Fahrzeugkennung, die als Beschreibung des Modelljahres des Fahrzeugs dargestellt ist („2011 Buick Enklave“) und einen Standort des Fahrzeugs und/oder eine Position der PWD 14 (z. B. „1234 Main St.“). Andere Fahrzeuginformationen können in diesem Bereich, einem anderen Bereich oder auf einem anderen Bildschirm der GUI präsentiert werden. So können beispielsweise Fahrzeugdiagnoseinformationen dem Remote-Assistenten unter Verwendung eines anderen Bildschirms der GUI oder auf demselben Bildschirm präsentiert werden, sodass der Remote-Assistent Probleme mit dem Fahrzeug 12 diagnostizieren oder den Fahrzeugbetrieb oder seine Bedingungen anderweitig bewerten kann. Der Remote-Assistent kann dann ein Problem oder eine Fehlerbehebungsführung zur Assistenz des Fahrzeugbenutzers mit dem Fahrzeug 12 identifizieren.
Im Fahrzeugführungsteil 504 kann eine Schritt-für-Schritt-Anleitung oder Handbuch dem Remote-Assistenten präsentiert werden und verwendet werden, um dem Remote-Assistenten bei der Assistenz oder Wartung des Fahrzeugbenutzers über die Remote-Assistenzsitzung behilflich zu sein. Der Remote-Assistent kann ein Problem, eine Fehlerbehebungsanleitung, ein Bediener- oder Fahrzeug-Handbuch oder andere assistierende Texte oder Grafiken, die dem Remote-Assistenten präsentiert werden können, auswählen. So kann beispielsweise der Remote-Assistent auswählen, beim „Aufladen der Batterie“ unterstützt zu werden, was verwendet werden kann, um einen Fahrzeugbenutzer beim Aufladen oder einer Starthilfe der Fahrzeugbatterie zu unterstützen, wenn die Batterie zum Beispiel leer oder nicht geladen ist. Der Fahrzeugführungabschnitt 504 kann Schritte in einem erläuternden Schrittabschnitt 510 präsentieren, der durch den Remote-Assistenten unter Verwendung der Tasten 512 und 514 navigiert werden kann, bei denen es sich um „Zurück“ und „Weiter“-Tasten handeln kann, um zwischen den Schritten zu navigieren. In einem Beispiel kann der Fahrzeuganleitungsabschnitt 504 wie folgt lauten „Assistenz beim: Aufladen der Batterie, Schritt 4: Platzieren des positiven Anschlusses. Der positive Anschluss der Batterie befindet sich auf der äußersten linken Seite des Motorraums leicht unterhalb der Kühlerkappe.“
Der Live-Videodaten-Streaming-Abschnitt 506 zeigt Live-Videodaten an, die von der PWD 14 empfangen werden, wie in Schritt 320 und 340 des Verfahrens 300 (6) beschrieben. Der Annotations-Konfigurationsabschnitt 508 kann ein oder mehrere Annotationstools oder Konfigurationsoptionen 516 - 528 beinhalten, die vom Remote-Assistenten zum Annotieren der Live-Videodaten ausgewählt und verwendet werden können. In der veranschaulichten Ausführungsform kann der Benutzer ein Text-Tool 516 auswählen, das es dem Remote-Assistenten ermöglicht, die Live-Videodaten mit Text zu annotieren, der unter Verwendung einer Tastatur oder eines Mikrofons zusammen mit Spracherkennungssoftware am Remote-Computer 82 eingegeben werden kann. Der Annotationskonfigurationsabschnitt 508 von 8 beinhaltet auch ein Ring-Tool 518, das verwendet werden kann, um einen Kreis oder eine Ovale auf den Live-Videodaten zu erzeugen, ein Rechteck-Tool 520, das verwendet werden kann, um ein Quadrat oder ein Rechteck auf den Live-Videodaten zu erzeugen, und ein Pfeil-Tool 522, das verwendet werden kann, um einen Pfeil auf den Live-Videodaten zu erzeugen. Außerdem beinhaltet der Annotationskonfigurationsabschnitt 508 von 8 auch ein Schätz- oder Stift-Tool 524, das verwendet werden kann, um die Live-Videodaten und ein voreingestelltes grafisches Tool 526 zu ziehen, das es dem Remote-Assistenten ermöglicht, ein Bild oder eine Grafik aus dem Speicher (oder einer Datenbank) auszuwählen, die verwendet werden kann, um die Live-Videodaten zu annotieren. Zusätzlich beinhaltet der Annotationskonfigurationsabschnitt 508 von 8 einen Farbselektor 528, der es dem Remote-Assistenten ermöglicht, die Farbe der Annotationsgrafik zu ändern, die Text, einen Kreis oder Oval, ein Rechteck, einen Pfeil, eine Freiform oder vordefinierte Grafik oder Bilder, wie vorstehend erläutert, sein kann. Darüber hinaus können der Kreis oder die Ovale, das Rechteck und/oder der Pfeil so konfiguriert sein, dass sie unterschiedliche Linien- oder Füllfarben beinhalten, und in einigen Ausführungsformen kann die Linie oder das Füllen auf „kein Füllen“ (oder transparent) eingestellt werden. In einem Beispiel, wenn das voreingestellte Grafik-Tool 526 ausgewählt ist, kann eine Liste von vordefinierten Grafiken auf der GUI 500 angezeigt werden und der Remote-Assistent kann eine der vordefinierten Grafiken auswählen. In einer Ausführungsform kann die Annotationsgrafik eine dreidimensionale Form oder ein dreidimensionales Objekt sein, das/das vom Remote-Assistenten unter Verwendung von beispielsweise dem voreingestellten Grafik-Tool 526 ausgewählt werden kann. Und in einer Ausführungsform kann die Annotationsgrafik eine Animation oder ein bewegtes Bild (oder Video) sein, wie beispielsweise eine GIF-(Graphics Interchange Format)-Bild/Animation.
In der veranschaulichten Ausführungsform von 8 hat der Remote-Assistent eine Pfeil-Annotationsgrafik 530 hinzugefügt, die auf einen positiven Anschluss 532 einer Batterie in den Live-Videodaten zeigt. Gemäß einem Szenario einer Ausführungsform kann der Remote-Assistent das Pfeil-Tool 522 drücken und dann (oder anderweitig) (z. B. mittels einer Berührung auf einem Touchscreen, einer Maus, einer Tastatur) einen Punkt oder Bereich auf den Live-Videodaten berühren, wie den Punkt, an dem sich das Objekt von Interesse befindet, was der positive Anschluss 532 ist. Der Remote-Assistent kann dann die Annotationsgrafik (z. B. den Pfeil 530) neu ausrichten oder drehen, die Grafik verändern, die Grafik anderweitig verändern oder konfigurieren und/oder die Annotationsgrafik unter Verwendung einer Berührung auf einem Touchscreen, einer Maus, einer Tastatur oder einer anderen Mensch-Maschine-Schnittstelle bewegen oder neu positionieren. Die Annotation kann an die PWD 14 gesendet werden, wie in Schritt 360 des Verfahrens 300 (6) und/oder Schritt 455 des Verfahrens 400 (7) beschrieben.
Wie oben erwähnt, kann der Remote-Assistent in einer Ausführungsform einen Punkt auf den Live-Videodaten auswählen, woraufhin die dezentrale Assistent-Anwendung 84 ein Objekt an diesem ausgewählten Punkt erkennen kann. Objektmarkierungsinformationen des erkannten Objekts können aus dem Speicher (oder einer Datenbank) abgerufen und dann an die PWD 14 gesendet werden, sodass die PWD 14 Objekterkennungstechniken verwenden kann, um das Objekt innerhalb der Live-Videodaten zu verfolgen, wenn die PWD 14 neu positioniert wird - auf diese Weise kann die Annotationsgrafik verfolgen und am Objekt (z. B. dem positiven Anschluss 522) fixiert werden, auch wenn sich das Sichtfeld der Kamera 120, 122 bewegt, um ein erweitertes Realitäts-(AR)-Video bereitzustellen.
In einer Ausführungsform, einschließlich der dargestellten Ausführungsform, kann der Live-Videodatenstreaming-Abschnitt 506 einen zusätzlichen Live-Video-Streaming-Abschnitt 534 beinhalten. Der zusätzliche Live-Video-Streaming-Abschnitt 534 kann verwendet werden, um Live-Videodaten des Remote-Assistenten darzustellen, sodass der Remote-Assistent sicher sein kann, dass der Fahrzeugbenutzer den Remote-Assistenten in den Live-Videodaten sehen kann oder so, dass die Live-Videodaten ein Sichtfeld wie gewünscht durch den Remote-Assistenten beinhalten. Oder der zusätzliche Live-Video-Streaming-Abschnitt 534 kann Live-Videodaten des Fahrzeugbenutzers (wie von der nach vorne gerichteten Kamera 120 erfasst) beinhalten, sodass der Remote-Assistent sowohl das Fahrzeug 12 (wie im Hauptteil des Live-Videodatenstreaming-Abschnitts 506 dargestellt) als auch den Fahrzeugbenutzer gleichzeitig sehen kann. Und in einer anderen Ausführungsform kann der Live-Videodatenstreaming-Abschnitt 506 mehrere zusätzliche Live-Video-Streaming-Abschnitte 534 beinhalten, sodass alle drei Live-Videodatenströme gleichzeitig betrachtet werden können.
Unter Bezugnahme auf 9 ist eine grafische Benutzeroberfläche (GUI) 600 für eine Fahrzeugassistenzanwendung, wie beispielsweise die Fahrzeugassistenzanwendung 16, dargestellt. Die GUI 600 der Fahrzeugassistenzanwendung 16 kann die Live-Videodaten streamen und eine oder mehrere Annotationsgrafiken (nur eines, die bei 630 dargestellt sind) wiedergeben, die durch den Remote-Assistenten unter Verwendung der Remote-Assistenzanwendung 84 konfiguriert sind. Die Pfeil-Annotationsgrafik 630 entspricht der Pfeil-Annotationsgrafik 530 (8), die vom Remote-Assistenten konfiguriert wurde. Die Pfeil-Annotationsgrafik 630 (und 530) kann aktualisiert werden, wenn die PWD 14 oder das Sichtfeld der Kamera 122 unter Verwendung von AR-Verarbeitungstechniken, wie Fachleuten auf dem Gebiet bekannt ist, geändert werden. Die GUI 600 kann eine Taste 602 beinhalten, die verwendet werden kann, um die Remote-Assistenzsitzung zu beenden, die GUI 600 zu einem anderen Bildschirm zu navigieren oder eine andere Aufgabe für die Fahrzeugassistenzanwendung 16 auszuführen. Darüber hinaus kann die GUI 600 in einigen Ausführungsformen einen oder mehrere zusätzliche Live-Video-Streaming-Abschnitte beinhalten, wie sie oben in Bezug auf die GUI 500 der Remote-Assistenzanwendung 84 erläutert wurden.
In einer Ausführungsform kann das Verfahren 200, das Verfahren 300, das Verfahren 400 und/oder Teile davon in einem Computerprogrammprodukt (oder einer „Anwendung“ oder „Script“) implementiert werden, das in einem computerlesbaren Medium verkörpert ist und Anweisungen beinhaltet, die von einem oder mehreren Prozessoren eines oder mehrerer Computer eines oder mehrerer Systeme (z. B. ausführbar) verwendet werden können. Das/die Computerprogramm(e) können ein oder mehrere Softwareprogramme beinhalten, die aus Programmanweisungen im Quellcode, Objektcode, ausführbarem Code oder anderen Formaten bestehen. In einer Ausführungsform kann jedes oder mehrere der Computerprogramme ein oder mehrere Firmwareprogramme und/oder Hardwarebeschreibungssprach-(HDL)-Dateien beinhalten. Des Weiteren können die Computerprogramme jeweils mit programmbezogenen Daten verknüpft werden und in einigen Ausführungsformen können die Computerprogramme mit den programmbezogenen Daten verpackt werden. Die programmbezogenen Daten können Datenstrukturen, Nachschlagetabellen, Konfigurationsdateien, Zertifikate oder andere relevante Daten beinhalten, die in einem anderen geeigneten Format dargestellt werden. Die Programmanweisungen können Programmmodule, Routinen, Programme, Funktionen, Vorgänge, Verfahren, Objekte, Komponenten und/oder dergleichen beinhalten. Das/die Computerprogramm(e) können auf einem oder mehreren Computern ausgeführt werden, beispielsweise auf mehreren Computern, die miteinander in Verbindung stehen.
Das/die Computerpogramm(e) kann/können in computerlesbaren Medien verkörpert sein (z. B. auf dem Speicher in Remote-Computern 82, dem Speicher 104 der PWD 14, Speicher 38), die ggf. nicht-flüchtig sind und eine oder mehrere Speichervorrichtungen, Herstellungsartikel oder dergleichen beinhalten können. Zu den Beispielen für computerlesbare Medien gehören Systemspeicher von Computern, z. B. RAM (Speicher mit wahlfreiem Zugriff), ROM (Nur-Lese-Speicher); Halbleiterspeicher, z. B. EPROM (löschbarer, programmierbarer ROM), EEPROM (elektrisch löschbarer, programmierbarer ROM), Flash-Speicher; magnetische oder optische Platten oder Bänder; und/oder dergleichen. Ein computerlesbares Medium kann außerdem Verbindungen von Rechner zu Rechner beinhalten, wenn beispielsweise Daten über ein Netzwerk oder eine andere Kommunikationsverbindung (drahtgebunden, drahtlos oder in einer Kombination von beiden) übertragen oder bereitgestellt werden. Sämtliche Kombinationen aus den vorstehenden Beispielen fallen ebenfalls in den Umfang der computerlesbaren Medien. Es versteht sich daher, dass das Verfahren zumindest teilweise durch elektronische Artikel und/oder Vorrichtungen ausgeführt werden kann, die Anweisungen gemäß eines oder mehrerer Schritte des offenbarten Verfahrens ausführen können.
Es versteht sich, dass das Vorstehende eine Beschreibung einer oder mehrerer Ausführungsformen der Erfindung ist. Die Erfindung ist nicht auf die besondere(n) hierin offenbarte(n) Ausführungsform(en) beschränkt, sondern ausschließlich durch die folgenden Patentansprüche definiert. Darüber hinaus beziehen sich die in der vorstehenden Beschreibung gemachten Aussagen auf bestimmte Ausführungsformen und sind nicht als Einschränkungen des Umfangs der Erfindung oder der Definition der in den Patentansprüchen verwendeten Begriffe zu verstehen, außer dort, wo ein Begriff oder Ausdruck ausdrücklich vorstehend definiert wurde. Verschiedene andere Ausführungsformen und verschiedene Änderungen und Modifikationen an der/den ausgewiesenen Ausführungsform(en) sind für Fachleute auf dem Gebiet offensichtlich. Alle diese anderen Ausführungsformen, Änderungen und Modifikationen sollten im Geltungsbereich der angehängten Patentansprüche verstanden werden.
Wie in dieser Spezifikation und den Patentansprüchen verwendet, sind die Begriffe „z. B.“, „beispielsweise“, „zum Beispiel“, „wie z. B.“ und „wie“ und die Verben „umfassend“, „einschließend“ „aufweisend“ und deren andere Verbformen, wenn sie in Verbindung mit einer Auflistung von einer oder mehreren Komponenten oder anderen Elementen verwendet werden, jeweils als offen auszulegen, was bedeutet, dass die Auflistung andere zusätzliche Komponenten oder Elemente nicht ausschließt. Andere Begriffe sind in ihrem weitesten vernünftigen Sinn auszulegen, es sei denn, diese werden in einem Kontext verwendet, der eine andere Auslegung erfordert. Zusätzlich versteht sich der Ausdruck „und/oder“ als ein inklusives ODER. Somit ist der Ausdruck „A, B, und/oder C“ beispielsweise so zu verstehen, dass die folgenden Möglichkeiten abgedeckt werden: „A“; „B“; „C“; „A und B“; „A und C“; „B und C“ und „A, Bund C“

Claims

Verfahren zum Bereitstellen von Erweiterter Realität-(AR)-Remote-Assistenz für einen Fahrzeugbenutzer eines Fahrzeugs, das Verfahren umfassend: das Senden von Live-Videodaten an eine Remote-Assistenzanwendung an einem Remote-Computer von einer tragbaren Drahtlosvorrichtung (PWD), die lokal für das Fahrzeug ist, wobei die PWD eine elektronische Anzeige und eine elektronische Kamera beinhaltet, die Live-Videodaten in einem Sichtfeld der elektronischen Kamera erfasst, und wobei der Remote-Computer konfiguriert ist zum: Empfangen von Fahrzeugdiagnoseinformationen bezüglich des Fahrzeugs, das Präsentieren der Fahrzeugdiagnoseinformationen an einen Remote-Assistenten, die Live-Videodaten zur Ansicht durch den Remote-Assistenten unter Verwendung der Remote-Assistenzanwendung anzuzeigen, Empfangen einer Annotationseingabe vom Remote-Assistenten, und Senden von Annotationsinformationen an die PWD, wobei die Annotationsinformationen auf der Annotationseingabe basieren; Empfangen der Annotationsinformationen an der mobilen Vorrichtung von der Remote-Assistenzanwendung, wobei die Annotationsinformationen Annotationsgrafikinformationen und Annotationsinformationen beinhalten, wobei die Annotationsgrafikinformationen eine Annotationsgrafik identifizieren und wobei die Annotationsinformationen eine Annotationsanzeigeposition identifizieren, und Anzeigen eines erweiterten Realitäts-(AR)-Videos auf der elektronischen Anzeige, das die am Annotationsanzeigeort und über einen Teil der Live-Videodaten angeordnete Annotationsgrafik beinhaltet, wobei das AR-Video als Sichtfeld der elektronischen Kamerabilder aktualisiert wird, sodass die in dem AR-Video angezeigte Annotationsgrafik innerhalb des Sichtfelds der elektronischen Kamera an einer Stelle befestigt erscheint.
Verfahren nach Anspruch 1, wobei die Annotationsinformationen Objektmarkierungsinformationen beinhalten, die verwendet werden, um ein Objekt im dreidimensionalen Raum zu identifizieren und/oder zu verfolgen, wie es von der elektronischen Kamera der PWD beobachtet wird, sodass die Annotationsgrafik an dem Objekt befestigt werden kann, um das AR-Video bereitzustellen.
Verfahren nach Anspruch 1, wobei die Annotationsinformationen eine Pixelkoordinatenposition der Live-Videodaten beinhalten.
Verfahren nach Anspruch 3, wobei die PWD ein Objekt innerhalb eines dreidimensionalen Raumes identifiziert, wie sie von der elektronischen Kamera der PWD beobachtet wird, und wobei die PWD-Objekterkennungstechniken verwendet, um die Annotationsgrafik zu verfolgen, sodass die Annotationsgrafik am Objekt befestigt erscheint.
Verfahren nach Anspruch 3, wobei die PWD einen oder mehrere Trägheitssensoren beinhaltet, die Positionsinformationen bezüglich der PWD erhalten, und wobei die Positionsinformationen verwendet werden, um ein Objekt oder einen Punkt innerhalb eines dreidimensionalen Raumes zu verfolgen, wie von der elektronischen Kamera der PWD beobachtet, sodass die Annotationsgrafik am Objekt oder Punkt innerhalb des dreidimensionalen Raums befestigt erscheint, auch wenn die PWD neu positioniert wird.
Verfahren nach Anspruch 5, wobei die Positionsinformationen Ausrichtungs- und/oder Bewegungsinformationen bezüglich der PWD beinhalten.
Verfahren nach Anspruch 1, wobei das Live-Audio vom Remote-Computer zur PWD gestreamt wird, und wobei das Live-Audio vom Remote-Computer unter Verwendung eines Mikrofons erfasst und zur Wiedergabe an der PWD gestreamt wird.
Verfahren nach Anspruch 7, ferner umfassend den Schritt des Anzeigens von Remote-Assistenz-Live-Videodaten, die vom Remote-Computer empfangen werden, wobei die Remote-Assistenz-Live-Videodaten sind, die am Remote-Computer erfasst und zur Wiedergabe live an die PWD gestreamt werden.
Verfahren nach Anspruch 1, wobei die PWD die Fahrzeugdiagnoseinformationen an die Remote-Assistenzanwendung bereitstellt, und wobei das Verfahren ferner den Schritt des Sendens einer Fahrzeugdiagnosinformationsanfrage an das Fahrzeug von der PWD umfasst, und in Reaktion auf das Senden der Fahrzeugdiagnosinformationsanfrage das Empfangen einer Fahrzeugdiagnoseinformationsantwort an der PWD vom Fahrzeug.
Verfahren zum Bereitstellen von erweiterter Realität-(AR)-Remote-Assistenz für einen Fahrzeugbenutzer eines Fahrzeugs, wobei das Verfahren von einem Remote-Computer ausgeführt wird, der eine Remote-Assistenzanwendung beinhaltet, und wobei das Verfahren Folgendes umfasst: Empfangen von Live-Videodaten an der Remote-Assistenzanwendung von einer tragbaren Drahtlosvorrichtung (PWD), Anzeigen der Live-Videodaten an einer grafischen Benutzeroberfläche (GUI) der Remote-Assistenzanwendung, sodass Live-Videodaten, die an der PWD erfasst wurden, empfangen und an der GUI der Remote-Assistenzanwendung angezeigt werden; das Darstellen von Fahrzeugdiagnoseinformationen an der GUI der Remote-Assistenzanwendung; Empfangen einer Annotationseingabe von einem Remote-Assistenten über eine oder mehrere Mensch-Maschine-Schnittstellen am Remote-Computer; das Erhalten von Annotationsinformationen basierend auf der Annotationseingabe; Anzeigen eines erweiterten Realitäts-(AR)-Videos an der GUI der Remote-Assistenzanwendung, und wobei das AR-Video eine Annotationsgrafik beinhaltet, die basierend auf den Annotationsinformationen und/oder der Annotationseingabe erzeugt wird; und Senden der Annotationsinformationen und/oder des AR-Videos an die PWD.