DE102021124168A1 - Integriertes augmented-reality-system zum teilen von augmented-reality-inhalt zwischen fahrzeuginsassen - Google Patents

Abstract

Die vorliegende Offenbarung stellt ein integriertes Augmented-Reality-System zum Teilen von Augmented-Reality-Inhalt zwischen Fahrzeuginsassen bereit. Ein Verfahren und System zum Bereitstellen von integrierten Augmented-Reality- (AR)-Bildern und Inhalt für mehrere Fahrzeuginsassen, die AR-Vorrichtungen aufweisen, und Verfahren zum Generieren von benutzerbasierten AR-Ausdrucksformen, einschliel lich Inhaltssteuerung von benutzergenerierten Inhalten, werden offenbart.

Description

• GEBIET DER TECHNIK
• Die vorliegende Offenbarung betrifft ein fahrzeugintegriertes Augmented-Reality-System und insbesondere ein Augmented-Reality-System für Automobilinsassen, das Persistenz erreicht und das Teilen von Augmented-Reality-Inhalt ermöglicht.
• ALLGEMEINER STAND DER TECHNIK
• Eine verbesserte Wahrnehmung und Realisierung der äußeren Umgebung für den mobilen Kunden beim Fahren oder Mitfahren in einem Fahrzeug ist von erheblichem Wert. Augmented Reality (AR), d. h. erweiterte Realität, kann das Fokussieren der kognitiven Anstrengung von Benutzern (z. B. Fahrzeugfahrern) unterstützen, indem relevante Informationen in das visuelle Sichtfeld des Benutzers eingeblendet werden. In anderen Aspekten kann AR nichtfahrende Benutzer (z. B. Mitfahrer in einem Fahrzeug) unterstützen, indem sie deren Wahrnehmung und Realisierung der Außenumgebung mit interaktiven Spielen, Animationen und anderen Erfahrungen verbessert, die mit mehreren Benutzern eines AR-Systems in einem Fahrzeug geteilt werden können.
• Fahrzeugbasierte AR-Systeme können unter Verwendung einer Vielzahl von Vorrichtungskonfigurationen gleichzeitig betrieben werden, wie etwa einer Heads-Up-Anzeige (HUD) oder eines festen Anzeigebildschirms in einer Mittelkonsole oder einem Kombiinstrument, oder sie können auf einer oder mehreren tragbaren Vorrichtungen angezeigt werden, z. B. Wearables oder Smartphones. Bereitstellungsschemata für fahrzeuginternen interaktiven Inhalt, wie etwa Mittelkonsolen- oder Kombiinstrument-AR-Bildschirme in herkömmlichen fahrzeuginternen AR-Systemen sind, wie auch in der Hand gehaltene oder am Armaturenbrett montierbare AR-fähige Vorrichtungen, bekannt.
• Während bekannt ist, dass mehrere Anzeigevorrichtungen in der Lage sind, denselben generierten AR-Inhalt anzuzeigen, der von dem Fahrer oder anderen Benutzern innerhalb desselben Fahrzeugs gesehen wird, ist es derzeit nicht möglich, denselben AR-Inhalt auf die einzelnen Anzeigevorrichtungen zu spezifizieren, deren Benutzer zusammen in einem Fahrzeug unterwegs sind. Einzelne Vorrichtungen rendern AR-Inhalt häufig unabhängig, während Änderungen an einer AR-Darstellung durch einen Benutzer nicht mit anderen Benutzern in der fahrzeuginternen Gruppe geteilt werden können. Während dieselben Informationen auf mehrere Benutzervorrichtungen projiziert werden können, gibt es derzeit keine Möglichkeit für Benutzer, die projizierten AR zu modifizieren oder vom Benutzer modifizierten AR-Inhalt mit dem Fahrer oder anderen Insassen des Fahrzeugs zu teilen.
• KURZDARSTELLUNG
• Die hierin offenbarten Systeme und Verfahren beschreiben ein integriertes System für Augmented Reality (AR) für ein Fahrzeug, das konfiguriert ist, um stral enseitige Informationen vor dem direkten Blick eine Insassen anzuzeigen, wenn dieser in dem Fahrzeug fährt und/oder mitfährt, und in einigen Ausführungsformen außerdem, wenn der Benutzer das Fahrzeug verlässt. Das offenbarte System kann zwei oder mehr AR-Vorrichtungen beinhalten, zum Beispiel AR-Wearables, einschließlich AR-Brillen, AR-Goggles, AR-Kontaktlinsen usw.; AR-Mobilvorrichtungen, einschlielßlich Smartphones, Tablets usw.; AR-Bildschirme, einschließlich integrierter Navigationsbildschirme; feste Anzeigebildschirme in einer Mittelkonsole oder einem Kombiinstrument usw.; und AR-Heads-up-Anzeigen (HUD). Die AR-Vorrichtung(en) kann/können stral enseitige Informationen anzeigen, die einem oder mehreren interessierenden Punkten (point of interest - POI) für das Sichtfeld des Benutzers zugeordnet sind, wenn er in dem konfigurierten Fahrzeug fährt und/oder mitfährt. Beispielsweise kann das System in der AR-Ansicht einen POI an einem Standort in der äußeren physischen Welt markieren und anzeigen, wodurch die Benutzer des AR-Systems in dem Fahrzeug ein integriertes und abgestimmtes AR-Erlebnis teilen können.
• Gemäl einer Ausführungsform kann das System einen Standort eines straßenseitigen Objekts, das bezogen auf den Innenraum des sich bewegenden Fahrzeugs außerhalb liegt, auf Grundlage einer Nachricht des globalen Positionsbestimmungssystems (GPS), einer Fahrzeugkursnachricht oder anderer Informationen bestimmen. Das System kann ein Fahrzeugkoordinatensystem mit einer virtuellen Darstellung des straßenseitigen Objekts synchronisieren und eine AR-Vorrichtung eines Benutzers mit dem synchronisierten Fahrzeugkoordinatensystem orientieren. Das Fahrzeug selbst und insbesondere das zentralisierte AR-System kann als Hub fungieren, indem es die AR-Darstellung zentral durchführt, und Rechenlogik verwenden, um für Benutzer in dem Fahrzeug Benutzeridentitäten zu bestimmen, Berechtigungsstufen bestimmten Benutzern zuzuordnen und ein gemeinsames AR-Erlebnis, das durch einen oder mehrere Benutzer auf gewisse Weise geändert werden kann, darzustellen. Das zentralisierte AR-System kann die Renderings an Bord des Fahrzeugs auf der AR-Darstellungsschicht durchführen, die von den einzelnen Vorrichtungen unabhängig ist, die Benutzer bestimmen, mit denen Aspekte der Informationen geteilt werden sollen, und diesen einzelnen Benutzern eine individualisierte AR-Darstellung darstellen, bei der einige Informationen gemeinsam in der Gruppe geteilt werden und andere Informationen selektiv konkreten Vorrichtungen gemäl den Benutzeridentitäten und - berechtigungen dargestellt werden. Das AR-System kann eine Identität eines Benutzers des AR-Systems bestimmen und zumindest teilweise auf Grundlage der Benutzer-ID, die dem Benutzer der AR-Vorrichtung zugeordnet ist, eine erste virtuelle Darstellung des straßenseitigen Objekts generieren, die mit einem GPS-Standort und einer Richtung des Fahrzeugs ausgerichtet ist. Das System kann die erste virtuelle Darstellung an die AR-Vorrichtung übertragen, wo sie in dem visuellen Sichtfeld des Benutzers dargestellt wird, um die Wahrnehmung und Realisierung der Außenumgebung außerhalb des sich bewegenden Fahrzeugs durch den Benutzer zu verbessern.
• Mehrere Fahrzeuginsassen können ein personalisiertes virtuelles Bild gleichzeitig betrachten, das dauerhafte AR-Projektionen beinhalten kann, die für jeden Benutzer individualisiert werden können. Da die AR-Darstellungsschicht an Bord des konfigurierten Fahrzeugs zentralisiert ist und nicht unabhängig für jede der verbundenen AR-Vorrichtungen, können alle Benutzer auch mit den AR-Projektionen interagieren und diese modifizieren, wodurch ein personalisiertes und/oder abgestimmtes AR-Erlebnis für alle autorisierten Insassen des Fahrzeugs möglich wird. Darüber hinaus können Systembenutzer mit einer drahtlosen oder mobilen Internetverbindung das Fahrzeug-AR-System sogar verwenden, nachdem die Insassen aus dem Fahrzeug ausgestiegen sind. Diese und andere Vorteile der vorliegenden Offenbarung werden in dieser Schrift ausführlicher bereitgestellt.
• Figurenliste
• Die detaillierte Beschreibung wird unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung der gleichen Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten als die in den Zeichnungen veranschaulichten genutzt werden und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht enthalten. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend mal stabsgetreu gezeichnet. Für die gesamte Offenbarung gilt, dass Ausdrücke im Singular und Plural je nach Kontext synonym verwendet werden können.
• 1 stellt eine veranschaulichende Architektur dar, in der Techniken und Strukturen zum Bereitstellen der in dieser Schrift offenbarten Systeme und Verfahren umgesetzt sein können.
• 2 ist ein System-Framework für ein Rechensystem, das gemäl der vorliegenden Offenbarung genutzt wird.
• 3 ist ein Blockdiagramm eines beispielhaften Verfahrens zum Erheben und Verarbeiten von Daten in einem System zur Bereitstellung von AR-Inhalten gemäl der vorliegenden Offenbarung.
• 4 ist ein Blockdiagramm einer beispielhaften Schnittstelle zwischen der AR-Darstellungsschicht und der AR-Vorrichtungsschicht in einem System zur Bereitstellung von AR-Inhalt gemäl der vorliegenden Offenbarung.
• 5 veranschaulicht AR-Inhalt in einem beispielhaften Verfahren bezüglich der Bereitstellung von AR-Inhalt gemäl der vorliegenden Offenbarung.
• 6 ist ein Ablaufdiagramm eines beispielhaften Verfahrens bezüglich der Bereitstellung von AR-Inhalt gemäl der vorliegenden Offenbarung.
• DETAILLIERTE BESCHREIBUNG
• Die Offenbarung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen näher beschrieben, in denen Ausführungsbeispiele der Offenbarung dargestellt sind.
• 1 veranschaulicht eine beispielhafte Rechenumgebung 100 zum Ausführen von hierin beschriebenen Verfahren. Gemäl einer Ausführungsform kann ein Fahrzeug 105 eine Straße oder eine andere Route (in 1 nicht gezeigt) entlangfahren und sich einem interessierenden Punkt nähern, wie zum Beispiel einem straßenseitigen Objekt 185. Wenngleich es als ein Straßenschild dargestellt ist, kann es sich bei dem straßenseitigen Objekt 185 um ein beliebiges Objekt handeln, das von Insassen des Fahrzeugs 105 beobachtet werden kann, wie zum Beispiel ein Gebäude, eine Sehenswürdigkeit, ein geographisches Merkmal oder eine beliebige andere Art von Objekt, die einen physischen Standort außerhalb des Fahrzeugs aufweist. Das stral enseitige Objekt 185 kann ein beliebiger beobachtbarer interessierender Punkt außerhalb sein, bei dem es sich um ein Objekt, eine Person, ein Ereignis (z. B. eine Autokollision), eine Wetterbedingung, ein Tier oder eine beliebige andere physische Manifestation von Interesse für einen Fahrzeuginsassen handeln kann. Anders ausgedrückt kann das stral enseitige Objekt 185 ein interessierender Punkt (POI) sein, der die Form eines beliebigen der vorangehenden Beispiele annehmen kann, die nicht einschränkend sein sollen, oder eine andere physische Form annehmen kann.
• Bei dem Fahrzeug 105 kann es sich um eine beliebige Art von Personenkraftwagen handeln, wie zum Beispiel eine Limousine, einen Bus, einen Van, einen Lastkraftwagen usw. In einigen Aspekten kann das Fahrzeug 105 als manuell steuerbares Fahrzeug, autonomes Fahrzeug, bei dem die Fahrfunktionalität vollständig durch eine Rechenplattform an Bord und/oder nicht an Bord des Fahrzeugs 105 durchgeführt wird, oder halbautonomes Fahrzeug betrieben werden, bei dem Aspekte der Fahrzeugsteuerung automatisch sind und andere Aspekte vom Benutzer gesteuert werden.
• Das Fahrzeug 105 kann einen Verbrennungsmotor 130 beinhalten, der eine Brennkraftmaschine, einen Elektromotor, ein Hybridantriebssystem und/oder ein anderes Betätigungssystem sein und/oder beinhalten kann.
• Das Fahrzeug 105 kann einen Automobilcomputer 110 beinhalten. Der Automobilcomputer 110 kann in einem Motorraum eines Fahrzeugs 105 (oder an anderer Stelle in dem Fahrzeug 105) als Teil eines Augmented-Reality (AR)-Systems des Fahrzeugs gemäl dieser Offenbarung installiert sein. Der Automobilcomputer 110 kann mit einer Remote-Rechenplattform, die einem oder mehreren Servern 150 zugeordnet ist, die über ein oder mehrere Netzwerke 155 kommunizieren können, kommunizieren und/oder ein Teil davon sein. In einigen Ausführungsformen kann der Automobilcomputer 110 den/die Netzwerkadapter (in 1 nicht gezeigt) zum Koppeln an ein oder mehrere Netzwerke 155 beinhalten.
• Das Netzwerk/die Netzwerke 155 kann/können ein oder mehrere Internetprotokoll-(IP- )basierte Netzwerke zur Kommunikation zwischen dem Automobilcomputer 110 und einer beliebigen externen Vorrichtung beinhalten. Das Netzwerk/die Netzwerke 155 kann/können Daten zwischen dem Automobilcomputer 110 und Vorrichtungen und/oder Systemen außerhalb des Automobilcomputers 110 übertragen und empfangen. Beispielweise kann der Automobilcomputer 110 Insassenprofilinformationen, die Fahrzeuginsassen (in 1 nicht gezeigt) zugeordnet sind, an und von dem/den Server(n) 150 übertragen, sodass der Automobilcomputer 110 autorisierten Fahrzeuginsassen (bei denen es sich um Benutzer des AR-Systems handeln kann) individuell angepasste AR-Erlebnisse bereitstellen kann. Die AR-Erlebnisse können in einigen beispielhaften Ausführungsformen zumindest teilweise auf Grundlage von Benutzerprofilinformationen individuell angepasst werden, die hierin als Insassenkennungen beschrieben sind. Beispielsweise und wie nachfolgend ausführlicher beschrieben, kann der Automobilcomputer 110 eine oder mehrere AR-Präferenzen an den/die Server und/oder von dem/den Server(n) 150 übertragen, die einzelnen Systembenutzern zugeordnet sind, wie etwa eine Navigationspräferenz, eine Animationspräferenz, eine Audiopräferenz, eine AR-Spieleinstellung, eine Zeicheneinstellung, eine Bewegungseinstellung, eine Helligkeitseinstellung usw.
• In einer beispielhaften Ausführungsform kann/können das/die Netzwerk(e) 155 drahtlos umgesetzt sein, z. B. unter Verwendung von drahtlosen Protokollen und Technologien, wie etwa Wi-Fi, WiMAX und/oder dergleichen. Beispielsweise kann/können das/die Netzwerk(e) 155 außerdem mit einem drahtgebundenen Netzwerk, einem Ethernet-Netzwerk, einem Controller Area Network (CAN) usw. verbunden sein und/oder dieses beinhalten. Das/die Netzwerk(e) 155 kann/können zudem ein paketvermitteltes Netz sein und/oder beinhalten, wie etwa ein lokales Netz, ein Weitverkehrsnetz, ein städtisches Netzwerk, das Internet oder eine andere ähnliche Art von Netzumgebung. Das/Die Netzwerk(e) 155 kann/können ein drahtloses lokales Netzwerk (local area network - LAN), ein drahtloses Weitverkehrsnetz (wide area network- WAN), ein persönliches Netzwerk (personal area network - PAN), ein virtuelles privates Netzwerk (virtual private network - VPN), ein Intranet oder ein anderes geeignetes Netzwerksystem sein und/oder beinhalten.
• Der Automobilcomputer 110 kann eine Motorsteuerung 115 zum Steuern eines Motors 130, zum Steuern einer oder mehrerer Fahrersteuerkomponenten 135 und/oder zum Steuern anderer Fahrzeug-Hardware 140, wie zum Beispiel einem Infotainmentsystem, einem globalen Positionsbestimmungssystem (GPS) usw., beinhalten.
• Augmented Reality (AR) kann als eine interaktive Erfahrung einer realen Umgebung beschrieben werden, in der die Objekte, die sich in der realen Welt befinden, durch computergenerierte Wahrnehmungsinformationen verbessert werden, gelegentlich über mehrere sensorische Modalitäten hinweg, einschlielßlich zum Beispiel visueller, auditiver, haptischer und andere Modalitäten. Die sensorischen Informationen können konstruktiv (d. h. additiv zur natürlichen Umgebung) oder destruktiv (d. h. Verdeckung der natürlichen Umgebung) überlagert werden, sodass eine digitale Darstellung der realen Umgebung (z. B. das stral enseitige Objekt 185) mit einer digitalen Erweiterung oder anderen Informationen überlagert werden kann, die in dem Sichtfeld eines Benutzers des AR-Systems erscheinen.
• Wie in der gesamten vorliegenden Offenbarung ausführlicher beschrieben, kann der Automobilcomputer 110 auch eine Augmented Reality (AR)-Plattform 120 des Fahrzeugs zum Durchführen eines oder mehrerer der hierin beschriebenen Aspekte der Offenbarung beinhalten. Es versteht sich, dass die Fahrzeug-AR-Plattform 120, wenngleich sie als Teil des Automobilcomputers 110 dargestellt ist, auch Teil des Servers/der Server 150 sein oder vollständig durch diesen/diese gesteuert werden kann und mit dem Automobilcomputer 110 in einem Software-as-a-Service-Kontext betrieben werden kann. Dies bedeutet, dass die Fahrzeug-AR-Plattform 120 auf dem Automobilcomputer 110 als Client-Dienst betrieben werden kann, wobei der Automobilcomputer 110 der Client ist und der/die Server 150 Abschnitte des Fahrzeug-AR-Systems oder des gesamten in 1 dargestellten AR-Systems steuert/steuern. Für eine einfachere Erörterung wird die Fahrzeug-AR-Plattform 120 jedoch auf Grundlage ihres Standorts in dem Fahrzeug 105 erörtert.
• Die Motorsteuerung 115 und/oder die Fahrzeug-AR-Plattform 120 können sensorische Informationen empfangen, die Umgebungsdaten von einem oder mehreren Datenerhebungsgeräten oder Sensoren 125 beinhalten. Der/Die Sensor(en) 125 kann/können eine beliebige Anzahl an Datenerhebungsvorrichtung oder Sensorvorrichtungen beinhalten, die konfiguriert oder programmiert sind, um Signale zu generieren, die das Navigieren des Fahrzeugs 105 unterstützen, während dieses in einem manuellen und/oder einem autonomen (z. B. fahrerlosen) Modus betrieben wird. Als ein Beispiel kann/können der/die Sensor(en) 125 eine Tiefenkamera, eine Videokamera usw. einschliel en und Computer-Vision-Software zum Erfassen von straßenseitigen Situationen und Objekten, wie etwa Ful gängern, Verkehr, Verkehrsschildern usw., beinhalten. Zusätzliche Beispiele für Sensoren 125 können einen Radarsensor, eine Light-Detection-and-Ranging-(LIDAR-)Vorrichtung, einen Bildsensor und/oder dergleichen beinhalten. Der Sensor/die Sensoren 125 können das Fahrzeug 105 darin unterstützen, die Fahrbahn und die Umgebung des Fahrzeugs zu „sehen“ und/oder um verschiedene Hindernisse zu navigieren, während das Fahrzeug betrieben wird und in Bewegung ist.
• Beispielsweise stellt 1 das stral enseitige Objekt 185 dar. Die in 1 dargestellte Fahrzeug-AR-Plattform 120 kann dem straßenseitigen Objekt 185 Informationen hinzufügen, wie zum Beispiel einen visuellen Effekt, eine Animation, einen Lichteffekt usw. In anderen Aspekten kann die in 1 dargestellte Fahrzeug-AR-Plattform 120 Informationen aus dem straßenseitigen Objekt 185 entfernen, wie zum Beispiel Graffiti oder andere Informationen, die ablenkend sein könnten. In einem weiteren Beispiel kann die Fahrzeug-AR-Plattform 120 der 1 ablenkende Informationen, wie etwa eine Videoausgabe in einer Ausgabevorrichtung eines vorbeifahrenden Fahrzeugs, entfernen, die einen Benutzer Fahrzeug-AR-Plattform 120 der 1 ablenken könnten. Obwohl die hierin bereitgestellten begrenzten Beispiele bestimmte AR-Erlebnisse beschreiben, versteht es sich, dass ein AR-Erlebnis eine beliebige Form annehmen kann, die nur durch die Kreativität bestimmter interaktiver Anwendungen begrenzt ist, die nahtlos mit der physischen Welt verflochten sein können, sodass das AR-Erlebnis als immersiver Aspekt der realen Umwelt wahrgenommen wird. Auf diese Weise können die hierin beschriebenen AR-Systeme die andauernde Wahrnehmung einer realen Umgebung verändern und/oder verbessern.
• In einem Aspekt können die hierin beschriebenen AR-Systeme Objekte der physischen Welt, wie etwa das stral enseitige Objekt 185, das seine Position in Bezug auf das Fahrzeug 105 ändern kann, wenn das Fahrzeug 105 zu einem Ziel fährt, mithilfe von holographischen Projektionen von virtuellen Objekten, Farben usw. miteinander verflechten. Physische Objekte innerhalb des Fahrzeugs 105 können ebenfalls Teil des AR-Erlebnisses sein, sodass der Blickwinkel des Benutzers auf das stral enseitige Objekt 185 mit Aspekten der physischen Umgebung des Benutzers im Inneren des Fahrzeugs 105 abgestimmt wird. Die Fahrzeug-AR-Plattform 120, wie hierin beschrieben, kann dies vornehmen, indem sie von einer oder mehreren integrierten Kameras (in 1 nicht gezeigt), die der AR-Vorrichtung 145 zugeordnet sind, eine Videoübertragung der Innenflächen des Fahrzeugs 105 und der straßenseitigen Szenen außerhalb, wie etwa des straßenseitigen Objekt 185, empfängt und ein einheitliches Koordinatensystem erstellt, das Innenflächen des Fahrzeugs 105 mit Objekten in der realen Welt außerhalb des Fahrzeugs 105 abstimmt. Das einheitliche Koordinatensystem kann ein AR-Erlebnis bereitstellen, das das stral enseitige Objekt 185 außerhalb in die Innenflächen des Fahrzeugs 105 integriert. Beispielsweise kann die Fahrzeug-AR-Plattform 120 eine Position der AR-Vorrichtung 145 nachverfolgen, sodass die Fahrzeug-AR-Plattform 120 das außerhalb gelegene stral enseitige Objekt 185 (und/oder ein anderes Objekt im Inneren des Fahrzeugs) in einem virtuellen AR-Raum darstellen kann, der nahtlos mit der Sicht des Benutzers auf den Fahrzeuginnenraum abgestimmt ist, während sich der AR-Raum in Echtzeit gemäl der physischen Position der AR-Vorrichtung 145 des Benutzers ändert.
• Jedes beliebige verfügbare Koordinatensystem, das die Position der Objekte der realen Welt mit AR-Projektionen abstimmen kann, kann in dem beschriebenen Verfahren verwendet werden. Eine Ausführungsform eines Koordinatensystems, das durch die Fahrzeug-AR-Plattform 120 verwendet werden kann, um die Position von Objekten der realen Welt mit AR-Projektionen abzustimmen, ist in 1 als AR-Welt-Koordinatensystem 175 dargestellt (mathematisch als „C_AR“ BESCHRIEBEN). 1 stellt dar, dass das Fahrzeug 105 einem Fahrzeugkoordinatensystem 160 zugeordnet ist (mathematisch als „C_V“ beschrieben). In einigen Ausführungsformen kann das Fahrzeugkoordinatensystem 160 eine mathematische Darstellung aufweisen, die sich von dem AR-Welt-Koordinatensystem 175 unterscheidet. Beispielsweise kann das Fahrzeugkoordinatensystem 160 in Form eines Satzes oder mehrerer Sätze kartesischer Koordinaten in einem kartesischen Koordinatensystem ausgedrückt werden.
• Das AR-Welt-Koordinatensystem 175 wird im Folgenden mathematisch als „C_AR“ beschrieben. In einigen Aspekten kann das AR-Welt-Koordinatensystem 175 mathematisch in kartesischen Koordinaten dargestellt sein. In einigen Aspekten kann das stral enseitige Objekt 185 durch den einen oder die mehreren Sensoren 125 als Teil eines GPS-Nachrichtensystems (in 1 nicht gezeigt) erfasst werden, wobei das stral enseitige Objekt 185 als ein Satz von Polarkoordinaten dargestellt ist. Da es sich bei Polarkoordinaten um eine andere mathematische Darstellung zum Orientieren von Objekten im physischen 3D-Raum als kartesische Koordinaten handelt, sollte die AR-Plattform 120 entweder allein oder in Verbindung mit der AR-Vorrichtung 145 die Polarkoordinaten in ein einheitliches Koordinatensystem (z. B. in kartesische Koordinaten) umwandeln.
• In einer oder mehreren beispielhaften Ausführungsformen kann die AR-Plattform 120 das AR-Welt-Koordinatensystem 175 (C_AR) mit dem Fahrzeugkoordinatensystem 160 (Cv) unter Verwendung eines optischen Ankers 170 (mathematisch als „CO_A“ beschrieben) synchronisieren. Der optische Anker 170 kann eine feste Beziehung zu dem Fahrzeugkoordinatensystem 160 aufweisen, sodass $${\text{C}}_{\text{OA}}=\text{F}\left({\text{C}}_{\text{V}}\right),$$

  

  wobei der optische Anker 170 CO_A von dem Fahrzeugkoordinatensystem 160 Cv abhängig ist. In einer beispielhaften Ausführungsform kann die AR-Plattform 120 das Fahrzeugkoordinatensystem 160 mit dem AR-Welt-Koordinatensystem 175 unter Verwendung eines oder mehrerer 2D-Bildziele (z. B. des optischen Ankers 170) auf zumindest einer Innenfläche des Fahrzeugs 105 koordinieren, wie etwa auf einem Armaturenbrett oder Dachhimmel (in 1 nicht gezeigt). Die Ebene eines Bildziels (in 1 als eine Ebene dargestellt, die durch die planaren Pfeile Y_W und Z_W definiert ist) kann zwei Achsen des Fahrzeugkoordinatensystems 160 eindeutig definieren, wobei eine Normalachse des optischen Ankers 170 (als der Vektorpfeil X_W definiert) die dritte Achse in dem Koordinatensystem definieren kann. In weiteren Aspekten können auch andere 3D-Innenflächen von beispielsweise Innenverkleidungen des Fahrzeugs 105 oder einer anderen Komponente als optischer Anker dienen.
• Die verschiedenen AR-Vorrichtungen können eine oder mehrere Kameras (in 1 nicht gezeigt) beinhalten, die dazu konfiguriert sind, ein Bild oder eine Vielzahl von Bildern des realen straßenseitigen Objekts 185, einschliel lich des Ankers 180 des virtuellen Objekts, zu erhalten. In einem Aspekt kann der Anker 180 des virtuellen Objekts Informationen bereitstellen, die ausreichend sind, um einen virtuellen Zwilling zu bilden, der das AR-Welt-Koordinatensystem 175 (C_AR) definiert. Die in den AR-Vorrichtungen eingerichtete Kamera kann den optischen Anker 170 nachverfolgen und den optischen Anker 170 an seinen virtuellen Zwilling (den Anker 180 des virtuellen Objekts) anpassen und somit ein erstes Koordinatensystem mit einem zweiten Koordinatensystem basierend zumindest teilweise auf der Innenfläche des Fahrzeugs 105, auf welcher der optische Anker 170 angeordnet ist, ausrichten. Anders ausgedrückt kann das AR-Welt-Koordinatensystem 175 (C_AR) dem GPS-Koordinatensystem zugeordnet sein, das auf das reale straßenseitige Objekt 185 abgebildet werden kann.
• In einigen Ausführungsformen kann die Fahrzeug-AR-Plattform 120 das AR-Welt-Koordinatensystem 175 kontinuierlich aktualisieren, sodass es mit dem Fahrzeugkoordinatensystem 160 synchronisiert ist. Anders ausgedrückt wird das Cv in Echtzeit auf das AR-Welt-Koordinatensystem 175 (C_AR) abgebildet.
• Der Automobilcomputer 110 kann einen oder mehrere Prozessoren und einen Speicher beinhalten, der kommunikativ an den einen oder die mehreren Prozessoren gekoppelt ist. Der Automobilcomputer 110 kann mit einer oder mehreren internen und/oder externen Speichervorrichtungen, wie zum Beispiel einer oder mehreren Datenbanken, über eine Speicherschnittstelle, die in dem Datenspeicher- und -verwaltungsmodul 221 der 2 beispielhaft dargestellt ist, wirkverbunden sein und Informationen an diese kommunizieren. Zum Beispiel kann sich der Automobilcomputer 110 mit einer internen und/oder externen Datenbank, wie etwa der Insassenprofildatenbank (bezeichnet als die Benutzerdaten) in dem Datenspeicher- und Verwaltungsmodul 221 der 2, verbinden und Informationen an diese kommunizieren.
• Der Automobilcomputer 110 kann einen oder mehrere Netzwerkadapter beinhalten, die dazu in der Lage sind, den Automobilcomputer 110 kommunikativ mit dem einen oder den mehreren Netzwerken 155 zu verbinden. In einigen beispielhaften Ausführungsformen kann/können das/die Netzwerk(e) 155 eine Telekommunikationsnetzinfrastruktur sein oder beinhalten. In solchen Ausführungsformen kann der Automobilcomputer 110 ferner einen oder mehrere Kommunikationsadapter beinhalten.
• Der Automobilcomputer 110 kann ferner eine oder mehrere Eingabevorrichtungen (z. B. den/die Sensor(en) 125, wie in 1 gezeigt, und das Modul 225 in 2) und/oder eine oder mehrere Ausgabevorrichtungen (in 1 nicht gezeigt) beinhalten und/oder durch einen E/A-Adapter mit diesen verbunden sein.
• Der eine oder die mehreren Prozessoren stellen gemeinsam eine Hardwarevorrichtung zum Ausführen von Programmanweisungen (auch bekannt als Software) dar, die in einem computerlesbaren Speicher (z. B. dem Speicher) gespeichert sind. Der eine oder die mehreren Prozessoren können einen speziell angefertigten oder kommerziell erhältlichen Prozessor, eine zentrale Verarbeitungseinheit (central processing unit - CPU), eine Vielzahl von CPUs, einen Hilfsprozessor neben mehreren anderen Prozessoren, die dem Automobilcomputer 110 zugeordnet sind, einen halbleiterbasierten Mikroprozessor (in Form eines Mikrochips oder Chipsatzes) oder im Allgemeinen eine beliebige Vorrichtung zum Ausführen von Programmanweisungen verkörpern.
• Der eine oder die mehreren Prozessoren können in Kommunikation mit einer oder mehreren Speichervorrichtungen (z. B. dem internen Speicher und/oder einer oder mehreren externen Datenbanken usw.) über eine Speicherschnittstelle angeordnet sein. Die Speicherschnittstelle kann außerdem eine Verbindung mit einer oder mehreren Speichervorrichtungen herstellen, einschliel lich unter anderem einer oder mehrerer anderer Speicherlaufwerke, einschliel lich zum Beispiel eines Wechselplattenlaufwerks, eines Speichers eines Fahrzeugrechensystems, Cloud-Speicher usw., unter Verwendung von Verbindungsprotokollen, wie etwa Serial Advanced Technology Attachment (SATA), Integrated Drive Electronics (IDE), IEEE-1394, Universal Serial Bus (USB), Fibre Channel, Small Computer Systems Interface (SCSI) usw.
• Der Speicher kann einen Direktzugriffsspeicher (random access memory - RAM), wie zum Beispiel einen dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), einen synchronen Direktzugriffsspeicher (synchronous random access memory - SRAM), einen synchronen dynamischen Direktzugriffsspeicher (synchronous random access memory - SDRAM) usw., und einen Festwertspeicher (read-only memory - ROM) einschliel en, der ein beliebiges oder mehrere nicht flüchtige Speicherelemente einschliel en kann (z. B. löschbaren programmierbaren Festwertspeicher (erasable programmable read-only memory - EPROM), Flash-Speicher, elektronisch löschbaren programmierbaren Festwertspeicher (electronically erasable programmable read-only memory - EEPROM), Band, Compact-Disc-Festwertspeicher (compact disc read-only memory -CD-ROM) usw.). Ferner kann der Speicher elektronische, magnetische, optische und/oder andere Arten von nichttransitorischen computerlesbaren Speichermedien einschliel en. In einigen beispielhaften Ausführungsformen kann der Speicher außerdem eine verteilte Architektur beinhalten, bei der verschiedene Komponenten physisch voneinander entfernt gelegen sind, jedoch durch den einen oder die mehreren Prozessoren aufgerufen werden können.
• Die Anweisungen in dem Speicher können ein oder mehrere separate Programme beinhalten, wovon jedes eine geordnete Auflistung von computerausführbaren Anweisungen zum Umsetzen von logischen Funktionen beinhalten kann. Die Anweisungen in dem Speicher können ein Betriebssystem beinhalten. Das Betriebssystem kann die Ausführung anderer Computerprogramme, wie zum Beispiel der AR-Plattform 120 und/oder der Motorsteuerung 115, steuern und kann eine Planung, E/A-Steuerung, Datei- und Datenspeicher- und - verwaltung (z. B. Modul 221 in 2), Speicherverwaltung und Kommunikationssteuerung und zugehörige Dienste bereitstellen. Die in dem Speicher gespeicherten Programmanweisungen können ferner Anwendungsdaten und Anweisungen zum Steuern des Computers und/oder Interagieren mit diesem über eine Benutzerschnittstelle beinhalten.
• Der E/A-Adapter kann eine Vielzahl von Eingabevorrichtungen mit dem Automobilcomputer 110 verbinden. Die Eingabevorrichtungen können zum Beispiel eine Tastatur, eine Maus, ein Mikrofon, einen Sensor usw. beinhalten. Der E/A-Adapter kann ferner einen Anzeigeadapter beinhalten, der an eine oder mehrere Anzeigen gekoppelt ist, wie zum Beispiel an die Fahrzeug-Hardware 140, die ein Infotainment-System beinhalten kann. Der E/A-Adapter kann konfiguriert sein, um eine oder mehrere Eingabe/Ausgabe-(E/A-) Vorrichtungen mit dem Automobilcomputer 110 betreibbar zu verbinden. Zum Beispiel kann der E/A-Adapter eine Tastatur und eine Maus, einen Touchscreen, einen Lautsprecher, eine haptische Ausgabevorrichtung oder eine andere Ausgabevorrichtung verbinden. Die Ausgabevorrichtungen können unter anderem einen Drucker, einen Scanner und/oder dergleichen beinhalten. Andere Ausgabevorrichtungen können ebenfalls beinhaltet sein. Schlielßlich können die E/A-Vorrichtungen, die mit dem E/A-Adapter verbindbar sind, ferner Vorrichtungen beinhalten, die sowohl Eingaben als auch Ausgaben kommunizieren, zum Beispiel unter anderem eine Netzwerkkarte (network interface card - NIC) oder einen Modulator/Demodulator (zum Zugreifen auf andere Dateien, Vorrichtungen, Systeme oder ein Netzwerk), einen Funkfrequenz(HF)- oder anderen Transceiver, eine Telefonschnittstelle, eine Bridge, einen Router und dergleichen.
• Gemäl einigen beispielhaften Ausführungsformen kann der Automobilcomputer 110 einen oder mehrere Kommunikationsadapter beinhalten. Der/die Kommunikationsadapter kann/können ein globales Positionsbestimmungssystem (GPS), Mobilfunk-, Mobil- und/oder andere Kommunikationsprotokolle für die drahtlose Kommunikation beinhalten. In einigen Aspekten kann die Fahrzeug-Hardware 140 Informationen an den und von dem Automobilcomputer 110 über einen Kommunikationsadapter kommunizieren, die zum Beispiel Informationen beinhalten können, die der AR-Plattform 120 und der/den AR-Vorrichtung(en) 145 zugeordnet sind.
• Ein Kommunikationsadapter kann Daten von dem Fahrzeug 105 erheben und die Daten zwischen der AR-Plattform 120, dem Automobilcomputer 110 und/oder dem/den Server(n) 150 übertragen. Der/die Kommunikationsadapter und ein der AR-Plattform 120 zugeordnetes Kommunikationsmodul können Informationen zwischen den Rechensystemen über ein oder mehrere Datenübertragungsprotokolle übertragen, einschlielßlich zum Beispiel Wi-Fi oder Bluetooth^®, Bluetooth Low-Energy^® und/oder eines anderen Datenübertragungsprotokolls. Die übertragenen Daten können Navigationsnachrichten beinhalten, die zum Beispiel einen Fahrzeugstandort, einen Fahrzeugkurs, ein oder mehrere Straßenranderfassungsergebnisse und andere Informationen beinhalten.
• Der/die Netzwerkadapter kann/können eine oder mehrere mit dem Internet der Dinge (Internet of Things - IoT) verbundene Vorrichtungen und/oder Module beinhalten, wie zum Beispiel ein Cloud-Modul. Der/die Netzwerkadapter kann/können das Fahrzeug 105 mit dem/den Netzwerk(en) 155 verbinden, um Daten, wie etwa Wetter- und/oder POI-Informationen, abzurufen. Beispielsweise kann/können der/die Netzwerkadapter mit dem/den Netzwerk(en) 155 verbunden werden, um Informationen zu erhalten, die einem Orientierungspunkt, einem geografischen Merkmal, einem Straßenmerkmal, einer Karte, einem Gebäude, einem Unternehmen usw. zugeordnet sind.
• Der Automobilcomputer 110 kann zudem ein Insassen-ID-System beinhalten, das einen oder mehrere Mitfahrer und/oder Fahrer (gemeinsam Insassen) identifizieren kann, wenn diese in das Fahrzeug einsteigen, und Insassenkennungen abrufen kann, die dem einen oder den mehreren Insassen zugeordnet sind. Das Insassen-ID-System kann einzelnen Benutzern eine eindeutige ID zuweisen, sodass die Insassenkennung insassenspezifische Informationen beinhaltet, die verwendet werden können, um jedem Fahrzeuginsassen ein einzigartiges AR-Erlebnis bereitzustellen. Beispielhafte Informationen können zum Beispiel Navigationspräferenzen, Animationspräferenzen, Audiopräferenzen, AR-Spieleinstellungen und andere Informationen beinhalten, die vom Benutzer bevorzugte AR-Einstellungen angeben können. In weiteren Aspekten können die Insassenkennungen ein oder mehrere Details beinhalten, die dem Fahrzeug 105 zugeordnet sind, wie zum Beispiel eine Fahrzeugidentifikation (ID), (eine) Quick-Response-(QR-)Kodierung(en) des Fahrzeugs, die einen bestimmten Fahrzeuginnenraum eindeutig einem oder mehreren Datenbankeinträgen zuordnet/zuordnen, wie etwa eine Insassenkennung, und eine oder mehrere Kennungen Vorrichtungen, die bestimmte AR-Vorrichtungen identifizieren, die (einem) bestimmten Insassen zugeordnet wurden.
• In einer Ausführungsform kann/können der/die Prozessor(en) über ein dem Fahrzeug 105 zugeordnetes CAN-Netzwerk ein Bild des Benutzers empfangen, bei dem es sich um den Fahrer handelt, das eine AR-Vorrichtung 145 aufweist. Dementsprechend können eine oder mehrere Kameras (in 1-5 nicht gezeigt) innerhalb des Fahrzeugs 105 eine Bild des Gesichts des Fahrerbenutzers erhalten und das Bild zur Benutzeridentifizierung an den/die Prozessor(en) übertragen. Auch wenn mehrere Verfahren zur Identifizierung von Benutzern unter Verwendung von Gesichtserkennungstechnologie möglich sind (und in Betracht gezogen werden), wird ein Beispiel bereitgestellt. Der/die Prozessor(en) kann/können eine Vielzahl von Gradientenvektoren generieren, die der Abbildung des Benutzers zugeordnet sind, wie zum Beispiel Gradientenvektoren, die Gesichtsmerkmalen des Benutzers zugeordnet sind (z. B. einer Entfernung zwischen den Augenwinkeln, einem Winkel der jeweiligen Merkmale, wie etwa Mund- und Augenwinkel usw.). Der/die Prozessor(en) kann/können zumindest ein Gesichtsmerkmal aus der Vielzahl von Gradientenvektoren identifizieren und das zumindest eine Gesichtsmerkmal mit einer Vielzahl von Gesichtsmerkmalen vergleichen, die zumindest einem vorherigen Insassen des Fahrzeugs zugeordnet sind. Beispielsweise kann ein Gesichtsmerkmal Winkel der Augenwinkel des Insassen und einen Winkel, der zwischen den Mundwinkeln des Benutzers und einem Nasenmerkmal gebildet ist, beinhalten. Das zumindest eine Gesichtsmerkmal kann aus der Vielzahl von Gradientenvektoren identifiziert werden, indem Insassenprofildaten abgerufen werden, die dem Benutzerbild zugeordnet sind. Der/die Prozessor(en) kann/können eine Übereinstimmung bestimmen, die dem zumindest einen Gesichtsmerkmal und den den Profildaten zugeordneten Orientierungspunktdaten zugeordnet ist, und eine oder mehrere gespeicherte Einstellungen für das AR-Erlebnis zumindest teilweise auf Grundlage der Insassenprofildaten ändern. Es versteht sich, dass die hierin beschriebenen Gesichtserfassungsschritte lediglich beispielhafte Schritte sind, um bekannte Verfahren zum Bestimmen der Benutzeridentität unter Verwendung von Gesichtsmerkmalen zu veranschaulichen, und nicht als einschränkend anzusehen sind.
• In einem Aspekt kann das Insassen-ID-System einen oder mehrere Mitfahrer und/oder Fahrer (gemeinsam „Insassen“) identifizieren, wenn sie in das Fahrzeug 105 einsteigen, eine Insassenkennung abrufen, die dem einen oder den mehreren Insassen zugeordnet ist, und ihnen eine eindeutige ID zuweisen, sodass die Insassenkennung insassenspezifische Informationen beinhaltet, die verwendet werden können, um jedem Insassen ein einzigartiges AR-Erlebnis bereitzustellen. Beispielhafte Informationen zu AR-Präferenzen können zum Beispiel eine oder mehrere Navigationspräferenzen beinhalten, die Benutzerpräferenzen zum Interagieren mit Navigationsaspekten der AR-Vorrichtung 145 beschreiben können. In einem Beispiel kann sich eine Navigationspräferenz auf einen Farbcode beziehen und/oder diesen beinhalten, der einer Fahrtrichtung, einer Navigationsanweisung, einer dem Betrachter dargestellten Fahrtrichtung und/oder einer beliebigen anderen möglichen Navigationspräferenz zugeordnet ist, die dem Bereitstellen und/oder Empfangen von Navigationsrichtungen zugeordnet ist.
• Die Insassenkennung kann außerdem eine oder mehrere Animationspräferenzen beinhalten, die Präferenzen beschreiben können, die der Animation der virtuellen POI und anderen Objekten zugeordnet sind. Beispielsweise kann eine Animationspräferenz eine Drehgeschwindigkeit eines POI-Tags oder eines anderen Objekts, eine relative Größe des POI-Objekts, eine Spracheinstellung und/oder eine andere Animationspräferenz beinhalten.
• Die Insassenkennung kann ferner eine oder mehrere Audiopräferenzen, die Audioeinstellungen, wie etwa Musik, Lautstärke usw. beschreiben können, und eine oder mehrere AR-Spieleinstellungen beinhalten, die auf bevorzugte AR-Spiele hinweisen, die von Insassen gespielt werden können und/oder gespielt werden.
• Die Insassenkennung kann außerdem fahrzeugspezifische QR-Informationen beinhalten, die eindeutige Fahrzeuge angeben können, die den Insassenkennungen zugeordnet sind. Beispielsweise können die Insassenkennungen Benutzer identifizieren, die einem Fahrzeug zugeordnet sind, wobei die Benutzer auch anderen Fahrzeugen zugeordnet sind, die regelmäßig innerhalb einer Familiengruppe und/oder einer Mitfahrgruppe betrieben werden. Andere Informationen können Vorrichtungskennungen und andere Informationen beinhalten, die bevorzugte AR-Einstellungen angeben können. Die beschriebene Insassenkennung ist nicht als ausschlielßlich oder einschränkend zu verstehen und stellt lediglich ein Beispiel für Informationen bereit, die durch die Fahrzeug-AR-Plattform 120 und/oder die AR-Vorrichtung 145 gespeichert und/oder verwendet werden können, um ein einzigartiges AR-Erlebnis für einen Benutzer der AR-Vorrichtung 145 individuell anzupassen.
• 2 veranschaulicht ein beispielhaftes AR-System 200, das eine Fahrzeug-AR-Plattform 120 beinhaltet, die drei Module aufweist. Die Fahrzeug-AR-Plattform 120 definiert Interaktionen zwischen Fahrzeuginsassen 290 und realen Merkmalen 280 unabhängig unter Verwendung einer Schnittstelle 400, die in Bezug auf 4 genauer erörtert wird, führt ein Rendering durch, wendet eine Logik an, die bestimmt, welche Vorrichtungen (auf Grundlage von Benutzern, die mit jeweiligen AR-Vorrichtungen 145 identifiziert wurden) verschiedene Inhalte empfangen sollen, und liefert individualisierte AR-Darstellungen für einzelne Benutzer auf Grundlage der Logik und der Benutzeridentitäten. Diese Merkmale können es Benutzern ermöglichen, ein gemeinsames AR-Erlebnis zu teilen, wenn die AR-Ausdrucksform und das Rendering auf der Systemebene statt auf der Vorrichtungsebene ausgeführt werden, sowie eine Plattform für einen oder mehrere Benutzer bereitstellen, um das gemeinsame AR-Erlebnis auf gewisse Weise zu ändern und die geänderte AR mit einem oder mehreren anderen Benutzern in dem Fahrzeug zu teilen. Da Änderungen an der gemeinsamen AR-Darstellung in der Fahrzeug-AR-Plattform 120 an dem AR-Ausdrucksformgenerator 230 vorgenommen werden, können sie gemäl der angewendeten Logik über die AR-Ausdrucksformsteuerung 231 mit verschiedenen Benutzern geteilt werden.
• Wie der Automobilcomputer 110 kann das AR-System 200 oder eine beliebige seiner Komponenten, einschlielßlich der Fahrzeug-AR-Plattform 120, eines oder alle der Module 227, 225 und 221 und die hierin beschriebenen AR-Vorrichtungen 145 in Hardware, Software (z. B. Firmware) oder einer Kombination davon umgesetzt sein.
• Eine beliebige Anzahl der Fahrzeuginsassen 290 kann einzeln eine oder mehrere AR-Vorrichtungen 145 verwenden, die tragbare AR-Vorrichtungen 211, mobile AR-Vorrichtungen 212, AR-Bildschirme oder HUD 213, 214 beinhalten können, wie vorstehend erörtert. Die AR-Vorrichtungen 145 können den Fahrzeuginsassen 290 durch die Fahrzeug-AR-Plattform 120 unter Verwendung eines Insassenkennungssystems oder eines beliebigen verfügbaren Registrierungssystems zugeordnet werden, z. B. über ein gespeichertes Profil. Die AR-Vorrichtungen 145 können sich einzeln mit dem AR-Darstellungsmodul 227 verbinden, das als Schnittstelle für die AR-Vorrichtungen 145 dient, um Informationen an die Fahrzeug-AR-Plattform 120 zu kommunizieren. Das AR-Darstellungsmodul 227 kann mit den AR-Vorrichtungen 145 interagieren, um das AR-Erlebnis des Benutzers zu definieren. Dieses Merkmal kann das AR-Erlebnis unabhängig von einer konkreten Vorrichtung machen, es jedoch dem AR-System 200 (und insbesondere dem AR-Darstellungsmodul 227) ermöglichen, die an konkrete Vorrichtungen 145 gesendeten Bilder und Informationen gemäl der Logik (z. B. dem AR-Ausdrucksformgenerator 230) individuell anzupassen, die auf Grundlage von Benutzerpräferenzen, Benutzerberechtigungen, Benutzerfunktion (z. B. Fahrer gegenüber Mitfahrer gegenüber Mitfahrrufzahler usw.) entscheidet, wer und was darzustellen ist.
• Das AR-Darstellungsmodul 227 kann einen AR-Ausdrucksformgenerator 230, eine AR-Ausdrucksformsteuerung 231 und ein Rendering-Modul 232 beinhalten. Die Fahrzeug-AR-Plattform 120 definiert in Kombination mit den AR-Vorrichtungen 145 die Interaktion zwischen den Fahrzeuginsassen 290 und der augmentierten physischen Welt 280. Entweder das AR-Darstellungsmodul 227 allein (die Schnittstelle 400 der 4) oder die vollständige Fahrzeug-AR-Plattform 120 kann sich innerhalb des Fahrzeugs 105 befinden und die AR-Augmentation für das Fahrzeug 105 abstimmen und steuern.
• Das AR-Darstellungsmodul 227 kann ferner einen unabhängigen Speicher mit Programmanweisungen zum Kommunizieren von Informationen zu und von den Komponenten der Fahrzeug-AR-Plattform 120 über einen oder mehrere Kommunikationsadapter (in 1 und 2 nicht gezeigt) beinhalten. Zum Beispiel kann das AR-Darstellungsmodul 227 ein AR-Bild in dem AR-Ausdrucksformgenerator 230 erzeugen und dieses Bild an das Rendering-Modul übertragen, um ein reales Bild 280, z. B. einem AR-Pfeil über einer Fahrbahn, überlagernd angezeigt zu werden. Das AR-Darstellungsmodul 227 kann die gerenderten Informationen auf Grundlage von Berechtigungen oder einer Benutzerfunktion weniger als allen der AR-Vorrichtungen 145 darstellen. Zum Beispiel kann die AR-Ausdrucksformsteuerung 231 erkennen, dass der Pfeil nur für den Fahrer relevant ist, und kann das AR-Bild nur für beliebige Fahrervorrichtungen darstellen, einschlielßlich Navigationsbildschirmen 214 oder AR-HUD 213. Wenn das AR-Bild eine Wetterwarnung oder Verkehrsverzögerung wäre, könnte das AR-Darstellungsmodul 227 allen autorisierten AR-Vorrichtungen 145 dieselben Informationen präsentieren, aber das gerenderte Bild für jede Vorrichtung kann auf Grundlage der Berechtigungen und Präferenzen jedes Fahrzeuginsassen 290 und der Position der AR-Vorrichtung 145 in dem Fahrzeug 105 unterschiedlich sein. Alle AR-Bilder können in dem Datenspeicher- und -verwaltungsmodul 221 gesichert und gespeichert werden, das einem Standort, z. B. über GPS-Koordinaten, einer Benutzer- oder anderen Insassenidentifizierung zugeordnet ist, und gegebenenfalls neu gerendert werden.
• Um unterschiedliche AR-Vorrichtungen 145 mit unterschiedlichen Betrachtungsrahmen bereitzustellen, ordnet die AR-Plattform 120 dem Fahrzeuginnenraum einen oder mehrere Punkten außerhalb des Fahrzeugs zu. Wie in 1 erörtert, kann der optische Anker 170 auf einer Innenfläche des Fahrzeugs 105 angeordnet sein. Eine Kamera (in 1 oder 2 nicht gezeigt), die mit der Fahrzeug-AR-Plattform 120 (und den AR-Vorrichtungen 145) angeordnet und/oder kommunikativ an diese gekoppelt ist, kann das AR-Welt-Koordinatensystem 175 mit dem Fahrzeugkoordinatensystem 160 nachverfolgen und synchronisieren. Ein oder mehrere Sensoren (z. B. der/die Sensor(en) 125, wie in 1 gezeigt) in dem Fahrzeug 105 kann/können verwendet werden, um den Standort und die Orientierung des Fahrzeugs 105 unter Verwendung von Positionierungssystemen, wie etwa einem GPS, in Bezug auf andere Merkmale außerhalb des Fahrzeugs, die im 3D-Raum orientiert sein können, zu bestimmen. Die einzelnen Vorrichtungen 145 können auch Bilder des Fahrzeuginneren und -äußeren aufnehmen, die kommunikativ mit der Fahrzeug-AR-Plattform 120 gekoppelt sein können, um das AR-Welt-Koordinatensystem 175 mit dem Fahrzeugkoordinatensystem 160 weiter zu synchronisieren und sie mit den einzelnen Vorrichtungen 145 zu orientieren.
• Die verschiedenen Module der Fahrzeug-AR-Plattform 120 arbeiten in Verbindung mit der/den fahrzeuginternen AR-Vorrichtung(en) 145, um gemeinsam als das AR-System 200 zu arbeiten. Zum Beispiel kann die Fahrzeug-AR-Plattform 120 das Datenspeicher- und - verwaltungsmodul 221 zum Bereitstellen der Hintergrundinformationen und logischen Ausdrücke beinhalten, die erforderlich sind, um Informationen zu bewerten und die Bilder der realen Welt und die AR-Projektionen zu generieren. Das Datenerhebungs- und - verarbeitungsmodul 225 kann kontinuierlich Daten empfangen und aktualisieren, wodurch das AR-Erlebnis in Echtzeit verfügbar ist. Zum Beispiel können die AR-Vorrichtungen 145, die sich in dem Fahrzeug 105 befinden, Kameras aufweisen, die Bilder der realen Welt 280 aufnehmen. Die Daten von den Kameras werden in dem Datenerhebungs- und - verarbeitungsmodul 225 erhoben und durch das Datenspeicher- und -verwaltungsmodul 221 verarbeitet, um aktualisierte Bilder der Ansicht, die durch die einzelnen AR-Vorrichtungen 145 empfangen wird, in Echtzeit zu erzeugen. Die aktualisierten Bilder können in Verbindung mit dem AR-Darstellungsmodul 227 verwendet werden, um AR-Bilder zu generieren, die für die realen Bilder spezifisch sind, die durch die Kameras der einzelnen AR-Vorrichtungen 145 aufgenommen wurden. Die AR-Ausdrucksformsteuerung 231 in dem AR-Darstellungsmodul 227 bestimmt, welche Vorrichtungen konkrete AR-Bilder empfangen, und steuert das Rendern der verschiedenen AR-Bilder, die über die realen Bilder eingeblendet werden sollen.
• Das AR-Darstellungsmodul 227 generiert nicht nur die AR-Bilder, sondern kann auch die Berechtigungen in Bezug auf diese Bilder beibehalten, rendert und verteilt die Bilder unter den AR-Vorrichtungen 145 in dem Fahrzeug 105 und bestimmt, welche AR-Bilder, falls überhaupt, dauerhaft in dem Fahrzeug oder innerhalb einer konkreten AR-Vorrichtung 145 erhalten bleiben sollen.
• Im hier verwendeten Sinne ist ein Bild „dauerhaft“, wenn das Bild im Speicher erhalten bleibt, was einen sofortigen Zugriff auf das generierte AR-Bild ermöglicht, wenn das zugehörige Merkmal oder der zugehörige Standort sichtbar wird. AR-Bilder, die durch einen Benutzer einer AR-Vorrichtung generiert und mit zugehörigen Berechtigungen zur Verteilung versehen werden, sind dauerhafte Bilder, die für den Zugriff gesichert werden, wenn das gekennzeichnete Merkmal oder der POI durch die Sensoren erkannt wird.
• Das Datenerhebungs- und -verarbeitungsmodul 225 kann Softwareanweisungen beinhalten, die zum Empfangen und Interpretieren von Sensorinformationen von dem/den Sensor(en) 125 (wie in 1 dargestellt) konfiguriert sind. Beispielsweise kann das Datenerhebungs- und -verarbeitungsmodul 225 Daten von einem oder mehreren Erfassungssensoren, wie etwa Tiefenkameras, Videokameras, einem LIDAR usw., empfangen und/oder kann dieses eine Computerbildverarbeitungssoftware beinhalten, die konfiguriert ist, um stral enseitige Objekte zumindest teilweise auf Grundlage der Daten zu erfassen, die von den Erfassungssensoren empfangen werden.
• Das Datenerfassungs- und -verarbeitungsmodul 225 kann Daten von einem oder mehreren von einer Benutzerschnittstelle 244, Benutzererkennungssensoren oder einer Erkennungsschnittstelle, in 2 nicht gezeigt, Realitätsaufnahmevorrichtungen, einschlielßlich der Sensoren 245, Navigationsdiensten 243 und Raumabbildung und Lokalisierung 248 empfangen. Das Datenerhebungs- und -verarbeitungsmodul 225 kann Softwareanweisungen zum Verarbeiten und Bereitstellen von Daten an das Datenspeicher- und -verwaltungsmodul 221 beinhalten. Die Anweisungen können eine Datenfreigabesteuerung 241, die DAT-Dienste 242, die Navigationsdienste 243, das Sensorfusionsmodul 246, das Bildverarbeitungs- und Objekterkennungsmodul 247, das Datenaggregationsmodul 249 und andere Daten- oder Verarbeitungsdienste 250 nach Bedarf beinhalten. Zum Beispiel können Daten, die von einem Benutzererkennungssensor (in 2 nicht gezeigt) erfasst werden, in dem Datenerhebungs- und -verarbeitungsmodul 225 als Benutzerregistrierungs-ID 240 erhoben werden. Das System kann dann den Benutzer erkennen und zusätzliche Informationen speziell für diesen Benutzer koppeln, wie zum Beispiel Vorrichtungserkennung, Profil, Präferenzen, Berechtigungen und dergleichen über das Datenaggregationsmodul 249. Die aggregierten Benutzerdaten werden zu den Benutzerdaten 253 in dem Datenspeicher- und - verwaltungsmodul 221. Das AR-Darstellungsmodul 227 kann dann über die AR-Ausdrucksformsteuerung 231 in dem AR-Darstellungsmodul auf die Benutzerdaten 253 in dem Datenspeicher- und -verwaltungsmodul 221 zugreifen, um festzustellen, ob ein konkretes AR-Bild über das Rendering-Modul für den konkreten Benutzer oder die konkrete Benutzervorrichtung 145 gerendert werden soll.
• Das Datenspeicher- und -verwaltungsmodul 221 ist kommunikativ an das Datenerhebungs- und -verarbeitungsmodul 225 gekoppelt. Das Datenspeicher- und - verwaltungsmodul 221 kann Softwareanweisungen zum Verwalten und Verarbeiten von Daten beinhalten, die das Datenerhebungs- und -verarbeitungsmodul 225 erhoben hat. Die in dem Speicher gespeicherten Programmanweisungen können ferner Logikausdrücke beinhalten, die benötigt werden, um Daten zu verarbeiten, um reale Bilder zu rendern, die durch das AR-Darstellungsmodul 227 verwendet werden. Beispiele für Daten, die das Datenspeicher- und - verwaltungsmodul 221 erheben kann, können verschiedene Informationen beinhalten, einschlielßlich der Navigationsdaten 251, der ADAS-Daten 252, der Benutzerdaten 253, der Fahrzeugidentifikation (ID) und der fahrzeugbezogenen Daten 254, der Standortdaten 255, der Kartierungs- und geografischen Daten 256, der geometrischen und logischen Informationen und Daten 257 und der anwendungsfallspezifischen Daten 258.
• Der AR-Ausdrucksformgenerator 230 und die AR-Ausdrucksformsteuerung 231 in dem AR-Darstellungsmodul 227 können sich auf die in dem Datenerhebungs- und - verarbeitungsmodul 225 gespeicherten Daten stützen, um die Generierung und Verteilung der Ausdrucksform von AR-Bildern an die Benutzervorrichtungen 145 zu steuern. Zum Beispiel kann ein Benutzer ein AR-Bild auf der AR-Vorrichtung 145 des Benutzers empfangen und kann das AR-Bild über die Benutzerschnittstelle 244 ändern. Zum Beispiel kann die AR-Vorrichtung 145 dem AR-Bild zusätzlichen Inhalt hinzufügen. Das AR-Darstellungsmodul 227 steuert die Erzeugung des aktualisierten AR-Bildes über den AR-Ausdrucksformgenerator 230, der an die Benutzerschnittstelle 244 gekoppelt ist. Sobald das neue AR-Bild erzeugt ist, kann die AR-Ausdrucksformsteuerung 231 auf Benutzerdaten 253 in dem Datenspeicher- und -verwaltungsmodul zugreifen, um zu bestimmen, welche anderen AR-Vorrichtungen 145 sich in dem Fahrzeug befinden, was ihre Berechtigungen und Präferenzen beinhalten, und bestimmen, welche Vorrichtungen das aktualisierte AR-Bild empfangen und ob Änderungen an dem Bild vorgenommen werden müssen, bevor eine konkrete AR-Vorrichtung 145 das Bild empfängt.
• Der AR-Ausdrucksformgenerator 230 steuert die Modifikation eines beliebigen neuen AR-Bildinhalts. Sobald das neue AR-Bild für eine konkrete Vorrichtung geeignet ist, rendert das Rendering-Modul das neue AR-Bild für die konkrete AR-Vorrichtung 145. Wenn das Bild für alle AR-Vorrichtungen 145 in dem Fahrzeug 105 geeignet ist, kann das Rendering-Modul das Bild gleichzeitig an alle Vorrichtungen senden.
• Genauer gesagt erhebt das AR-Darstellungsmodul 227 Informationen von dem Datenerhebungs- und -verarbeitungsmodul 225 und dem Datenspeicher- und - verwaltungsmodul 221 und führt das Rendern der AR-Darstellung durch. Da die einzelnen AR-Vorrichtungen 145 den AR-Inhalt, den sie empfangen, nicht steuern, kann die AR-Plattform 120 des Fahrzeugs das Erlebnis abstimmen, das jede AR-Vorrichtung 145 empfängt. In einer fahrzeuginternen AR-Plattform 120 generiert der AR-Ausdrucksformgenerator 230 das AR-Bild, das auf das aus der realen Welt generierte Merkmal oder den POI 280 angewendet werden soll. Der AR-Ausdrucksformgenerator 230 kann auch verwendet werden, um AR-Bildinhalt von einem oder mehreren Benutzern von AR-Vorrichtungen 145 innerhalb oder außerhalb des Fahrzeugs über eine Benutzerschnittstelle 244 zu erzeugen. Die AR-Ausdrucksformsteuerung 231 filtert den AR-Ausdrucksforminhalt und steuert, welche AR-Vorrichtungen 145 Zugriff auf die AR-Bilder haben.
• Dementsprechend kann das AR-Darstellungsmodul 227 auch ein Rendering-Modul 232 beinhalten, das virtuelle 3D-Objekte generieren und verteilen kann, die in dem Rendering-Modul 232 sichtbar sind. In einer beispielhaften Ausführungsform kann das Rendering-Modul 232 ein virtuelles 3D-Objekt generieren, wie etwa einen Tag eines interessierenden Punktes (POI). Bei einem POI-Tag kann es sich zum Beispiel um ein animiertes Logo oder eine Beschreibung eines Unternehmens handeln, das an einem geografischen Ort tätig ist, wobei die Fahrzeug-AR-Plattform 120 das POI-Tag als ein holographisches Bild ausgibt, das mit realen Merkmalen und Objekten 280 interagiert, wenn sich das Fahrzeug 105 der Adresse nähert, an der das Unternehmen tätig ist. Ein solches POI-Tag kann zum Beispiel eine animierte Grafik des Geschäftslogos sein, die sich in einer virtuellen Drehung um 365 Grad an einem virtuellen Standort dreht, der durch den E/A-Adapter der AR-Vorrichtung 145 im Sichtfeld des Benutzers erscheint oder virtuell über einem Dach des Unternehmens oder einem anderen geographischen Punkt erscheinen könnte. Oder das POI-Tag kann Text oder andere beschreibende Informationen beinhalten, die einem geografischen Merkmal zugeordnet sind (wie etwa einem Gebäude, einem Restaurant, einem Museum, einem Berg, einem Tal, einer Klippe, einem Feld, einem See usw.) oder kann eine Fahrzeugmarke, ein Fahrzeugmodell usw. angeben. Das POI-Tag kann außerdem eine Social-Media-Verbindung in einem vorbeifahrenden Fahrzeug oder am Straßenrand identifizieren und/oder eine beliebige andere Art von Informationen bereitstellen, die für einen Benutzer von Interesse sind. Bei den POI-Tags kann es sich auch um Informationen handeln, die an Bord des Fahrzeugs dargestellt werden, wie etwa eine Darstellung, die in einem Reisebus gegeben wird, oder eine schematische Darstellung eines mechanischen Merkmals des Fahrzeugs, das für Wartungspersonal zugänglich ist. Noch andere Arten von Animationen sind möglich und werden in Betracht gezogen.
• 3 veranschaulicht die Datenerfassung und -verarbeitung in der AR-Darstellungsschicht 327, die auftritt, bevor die AR-Bilder generiert und gerendert werden können. Der Fahrzeuginsasse 390 stellt Informationen bezüglich der AR-Vorrichtung(en) 395 und Benutzerdaten 393 entweder über eine Benutzerschnittstelle 394 oder über ein Benutzerregistrierungs- und -identifizierungsprofil 392 bereit. Die physische Welt 385 wird über Kameras und andere Realitätsaufnahmevorrichtungen 362 aufgenommen. Die aufgenommenen Informationen der realen Welt werden mit zusätzlichen Informationen von dem Datenspeicher- und Verwaltungsmodul 321 fusioniert. Die fusionierten Daten können den Navigationsdienst 363, den DAT-Dienst 364, die Raumabbildung und Lokalisierung 366, Bildverarbeitung und andere Objekterkennung 367 und andere Dienste 365 beinhalten. Die Informationen werden mit der Realitätsaufnahme 362 und den Fahrzeugdaten 360 fusioniert, um „reale“ Bilder zu erzeugen, die in der AR-Darstellungsschicht 327 verwendet werden.
• Die AR-Vorrichtung 145 empfängt sowohl reale als auch AR-Bilder, die von der AR-Darstellungsschicht 327 generiert werden, die Teil der fahrzeuginternen AR-Plattform 120 ist. Typischerweise handhaben AR-Vorrichtungen in vielen Fällen das Rendern von AR-Bildern sowie das Generieren von AR-Bildern. Da jede Vorrichtung die Bilder unterschiedlich rendern kann, ist derzeit ein gemeinsames Erlebnis des Rendering schwierig zu erreichen. Das hierin beschriebene System generiert und steuert das AR-System jedoch lokal innerhalb des Fahrzeugs 105, wobei die Fahrzeug-AR-Plattform 120 als Server oder Hub zum Erheben und Verarbeiten aller Informationen in Bezug auf das Erlebnis des AR-Rendering fungiert. Da die Bilder zentral durch die AR-Darstellungsschicht 327 generiert und gesteuert werden, können die AR-Bilder gerendert und dann an die verschiedenen AR-Vorrichtungen 145 verteilt werden, gegebenenfalls auf Grundlage von Benutzerautorisierung und anderen Informationen, die in der Fahrzeug-AR-Plattform 120 gespeichert sind.
• Sobald die AR-Darstellungsschicht 327 die Benutzer-, realen und AR-Bild-Renderingdaten (einschlielßlich beliebiger anderer AR-Daten von dem Datenspeicher- und Verwaltungsmodul 221) empfängt, ist die AR-Projektion bereit, generiert, gerendert und an die AR-Vorrichtungen 145 innerhalb des Fahrzeug 105 verteilt zu werden, auf Grundlage der Steuerung durch die AR-Ausdrucksformsteuerung 231, die entscheidet, was wem auf Grundlage von Benutzerpräferenzen, Benutzerberechtigungen, Benutzerfunktion (z. B. Fahrer gegenüber Mitfahrer gegenüber Mitfahrrufzahler usw.) dargestellt werden soll. Zusätzlich kann, da die Datenerhebung und -verarbeitung lokal innerhalb des Fahrzeugs 105 erfolgt, das Rendern der realen Welt in Echtzeit einfacher sein, da weniger Verarbeitungsverzögerungszeiten vorhanden sind.
• 4 veranschaulicht die Schnittstelle 400 zwischen den AR-Vorrichtungen 145 und den Komponenten der AR-Darstellungsmodule (227, 321). AR-Bildinhalt wird entweder durch das System oder einen Benutzer in dem AR-Ausdrucksformgenerator 420 generiert. Der AR-Ausdrucksformgenerator 420 kann den Inhalt generieren und die AR-Ausdrucksformsteuerung 421 kann den Inhalt filtern, um ihn konkreten Benutzern darzustellen. Der AR-Inhalt kann dann drahtlos auf die AR-Wearables 426 und/oder die AR-Mobilvorrichtungen 425 hochgeladen werden oder er kann durch die Rendereinrichtung 422 gerendert und der AR-HUD 424 und/oder dem/den AR-Bildschirm(en) 423 zugeführt werden, die in das Navigationssystem des Fahrzeugs verdrahtet sind oder die auf Informationen über Ethernet oder eine andere drahtgebundene Übertragung innerhalb des Fahrzeugs zugreifen können.
• Zum Beispiel kann der AR-Ausdrucksformgenerator 420 dazu konfiguriert sein, Geometrie und/oder Nachrichten zu generieren, die Insassen auf Situationen am Straßenrand aufmerksam machen, wie zum Beispiel Verkehrsunfälle, Stral enbau, Wetterwarnungen, Straßensperrungen usw. Im Fall einer Situation am Straßenrad, z. B. Stral enbau, kann der AR-Ausdrucksformgenerator 420 ein AR-Bild erzeugen, wie zum Beispiel ein Stral enverengungsschild, das über ein Bild der Fahrbahn vor dem Fahrzeug 105 gelegt werden kann. Das generierte AR-Bild würde durch die AR-Ausdrucksformsteuerung 421 in Bezug auf die verschiedenen Benutzer in dem Fahrzeug, ihre Präferenzen und Berechtigungen ausgewertet und durch den AR-Ausdrucksformgenerator 420 geeignet modifiziert und dann entweder drahtlos oder über eine drahtgebundene Verbindung an die entsprechenden AR-Vorrichtungen 145 gesendet werden. Als ein weiteres Beispiel kann, falls einer der Benutzer Wörter oder Bilder benötigt, die größer und leichter zu sehen sind, das in dem AR-Ausdrucksformgenerator 420 generierte AR-Bild so angepasst werden, dass es in einer größeren Größe erscheint, bevor es dem konkreten Benutzer angezeigt wird. Somit kann, während das AR-Erlebnis allen AR-Vorrichtungen 145 in dem Fahrzeug gemeinsam sein kann, das Erlebnis auch für jeden Benutzer individuell sein.
• 5 veranschaulicht ein einzelnes Objekt, das von einem Fahrzeugcomputer 510 abgerufen und auf drei unterschiedlichen AR-Vorrichtungen angezeigt wird, die sich in dem Fahrzeug 105 befinden. Das AR-Bild des AR-Darstellungsmoduls wird zuerst als POI in Bild 520 auf einem AR-Bildschirm angezeigt, der sich in der Mittelkonsole eines Fahrzeugs befindet. Dasselbe AR-Bild wird als POI auf einer Microsoft HoloLens^® oder einer ähnlichen Vorrichtung in Bild 530 angezeigt. Schliel lich wird dasselbe AR-Bild als POI von einem Smartphone in Bild 540 angezeigt.
• 6 veranschaulicht ein Verfahren zum Verwenden der Fahrzeug-AR-Plattform 120, wie unter Bezugnahme auf die Fahrzeug-AR-Plattform der 2 beschrieben. Ein Benutzer, der eine AR-Vorrichtung 145 aufweist, steigt in ein Fahrzeug 105 ein und ein Benutzeridentifizierungsmodul nimmt das Gesicht des Benutzers auf und erhält die Identifizierung des Fahrgastes bei Schritt 605. Auf Grundlage der Identifizierung weist das System die Zugriffsmöglichkeit auf AR-Inhalt bei 610 zu. Ein oder mehr Fahrgäste in dem Fahrzeug 105 erzeugen neuen AR-Inhalt, stellen Berechtigungen in Bezug darauf, wer auf die neuen Inhalte zugreifen kann, bereit und das Datenspeicher- und -verwaltungsmodul 221 der 2 speichert die Informationen bezüglich des Teilens von Inhalt bei Schritt 615. Das System nimmt dann bei Schritt 620 die Umgebung außerhalb des Fahrzeugs 105 über das Realitätsaufnahmemodul 245, einschlielßlich Sensoren, auf und sendet die Bilder an das Bildverarbeitungs- und Objekterkennungsmodul 247. Durch Video oder GPS aufgenommene Informationen werden an das Raumabbildungs- und Lokalisierungsmodul 248 gesendet, um den Standort eines straßenseitigen Objekts oder eines POI in Bezug auf das Fahrzeug bei Schritt 625 zu berechnen. Bei Schritt 630 generiert der AR-Ausdrucksformgenerator 230 AR-Inhalt, zum Beispiel ein POI-Tag, und überlagert das stral enseitige Objekt oder den POI mit dem AR-Bild, und dann speichert das Datenspeicher- und Verwaltungsmodul dieses virtuelle Objekt. An diesem Punkt rufen die Systemnavigationsdienste 243 und die DAT-Dienste 242 Karten, Routen, Fahrzeugdaten und dergleichen ab, die das Sensorfusionsmodul 246 bei Schritt 635 mit den zuvor gesicherten straßenseitigen Daten kombiniert. Das Sensorfusionsmodul 246 integriert dann Daten von allen Modulen und generiert bei Schritt 640 Navigations- und ADAS-bezogene virtuelle Objekte. Die AR-Ausdrucksformsteuerung 231 kann dann die virtuellen Objekte bei Schritt 645 dem AR-Darstellungsmodul 227 zur Verteilung durch das AR-System 200 an die AR-Vorrichtungen 145 darstellen. Auf Grundlage der Informationen des Benutzers werden bei Schritt 650 eine oder mehrere Ausdrucksformen des AR-Objekts generiert. Die geeignete Ausdrucksform des AR-Inhalts wird dann bei Schritt 655 für die entsprechende(n) AR-Vorrichtung oder -vorrichtungen 145 gerendert.
• Noch weitere Vorteile können die Fähigkeit für Benutzer der AR-Vorrichtung 145 beinhalten, mit den AR-Umgebungen zu interagieren, selbst wenn sie aus dem Fahrzeug 105 aussteigen, wenn sie die AR-Vorrichtung 145 mit einer drahtlosen oder mobilen Verbindung durch eine mobile Vorrichtung verwenden (in 6 nicht gezeigt). Dementsprechend kann die AR-Vorrichtung 145 den Benutzern weiterhin ein AR-Erlebnis bereitstellen, nachdem die Benutzer der AR-Vorrichtung 145 aus dem Fahrzeug 105 ausgestiegen sind. Andere Vorteile werden in Erwägung gezogen und sind möglich.
• Diese Offenbarung kann jedoch in vielen verschiedenen Formen ausgeführt sein und sollte nicht als auf die in dieser Schrift dargelegten Ausführungsbeispiele beschränkt ausgelegt werden. Der Fachmann erkennt, dass verschiedene Änderungen in Bezug auf Form und Detail an verschiedenen Ausführungsformen vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten Breite und Umfang der vorliegenden Offenbarung durch keine der vorangehend beschriebenen beispielhaften Ausführungsformen eingeschränkt, sondern lediglich gemäl den folgenden Ansprüchen und deren Äquivalenten definiert werden. Die nachfolgende Beschreibung wurde zu Veranschaulichungszwecken dargelegt und soll nicht umfassend sein oder auf die spezifische offenbarte Form beschränkt sein. Es versteht sich, dass alternative Umsetzungen können in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel kann eine beliebige der in Bezug auf eine bestimmte Komponente, wie etwa einen ersten Prozessor in einem ersten Computer, beschriebenen Funktionen durch eine andere Komponente, wie etwa einen zweiten Prozessor in einem anderen Computer, durchgeführt werden.
• Darüber hinaus können sich, während spezifische Vorrichtungseigenschaften beschrieben sind, Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass, obwohl Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden sind, die Offenbarung nicht notwendigerweise auf die konkreten beschriebenen Merkmale oder Handlungen beschränkt ist. Stattdessen sind die spezifischen Merkmale und Handlungen als veranschaulichende Formen zum Umsetzen der Ausführungsformen offenbart.
• Bestimmte Wörter und Ausdrücke werden hierin nur der Einfachheit halber verwendet und solche Wörter und Ausdrücke sollten so interpretiert werden, dass sie sich auf verschiedene Objekte und Handlungen beziehen, die vom Durchschnittsfachmann im Allgemeinen in verschiedenen Formen und Äquivalenzen verstanden werden. Beispielsweise können Wörter wie „Automobil“, „Fahrzeug“, „Auto“ und „Lastkraftwagen“ synonym verwendet werden und sind im Zusammenhang der Offenbarung auszulegen. Wörter wie „Steuerungen“, „Signale“, „Angabe“ und „Informationen“ können ebenfalls synonym verwendet werden und sind im Zusammenhang der Offenbarung auszulegen. Darüber hinaus kann sich das hierin verwendete Wort „Informationen“ auf verschiedene Elemente, wie etwa digitale Daten, analoge Daten, Audioinhalte, Videoinhalte und/oder Nachrichten, beziehen. Diese Elemente können von einem Computer verarbeitet werden, der einen Prozessor enthält. Formulierungen wie „ein Signal wird übertragen“ oder „eine Tür wird geöffnet“ sollten nicht ausschließlich im Sinne des Singulars verstanden werden. Die Formulierung sollte so verstanden werden, dass sie auch „einen Satz von Signalen“ umfasst, die (gleichzeitig oder nacheinander) an eine Tür und/oder an mehrere Türen übertragen werden können. Es versteht sich zudem, dass das Wort „Beispiel“ im hierin verwendeten Sinne nicht ausschliel licher und nicht einschränkender Natur sein soll. Insbesondere gibt das Wort „beispielhaft“, wie in dieser Schrift verwendet, eines von mehreren Beispielen an, und es versteht sich, dass keine übermäßige Betonung oder Bevorzugung auf das konkrete beschriebene Beispiel gerichtet ist.
• In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und konkrete Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung angewandt werden kann. Es versteht sich, dass auch andere Umsetzungen genutzt und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“, „eine beispielhafte Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, wobei jedoch nicht unbedingt jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten muss. Darüber hinaus beziehen sich derartige Formulierungen nicht zwingend auf die gleiche Ausführungsform. Ferner wird, wenn ein(e) konkrete(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, der Fachmann ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen erkennen, ob dies nun ausdrücklich beschrieben ist oder nicht.
• Rechenvorrichtungen können computerausführbare Anweisungen beinhalten, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorangehend aufgeführten, ausführbar sein können. Computerausführbare Anweisungen können von Computerprogrammen unter Verwendung einer Vielfalt an Programmiersprachen und/oder - techniken, einschließlich unter anderem, entweder allein oder in Kombination, Java™, C, C++, Visual Basic, Java Script, Perl usw., kompiliert oder interpretiert werden. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse, einschließlich eines oder mehrerer der in dieser Schrift beschriebenen Prozesse, durchführt. Solche Anweisungen und anderen Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übertragen werden.
• Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhaltet ein beliebiges nicht flüchtiges (z. B. physisches) Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) ausgelesen werden können. Ein solches Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien und flüchtiger Medien.
• Datenbanken, Daten-Repositorys oder andere hierin beschriebene Datenspeicher können verschiedene Arten von Mechanismen zum Speichern, Zugreifen auf und Abrufen verschiedene/r Arten von Daten beinhalten. Beispielhafte Mechanismen zum Speichern können eine hierarchische Datenbank, einen Satz von Dateien in einem Dateisystem, eine Anwendungsdatenbank in einem proprietären Format, ein relationales Datenbankverwaltungssystem (relational database management system - RDBMS) usw. beinhalten. Die Datenspeicher können zudem eine oder mehrere Rechenvorrichtungen und ein Betriebssystem, wie etwa eines der vorangehend erwähnten, beinhalten.
• In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, Personal Computern usw.) umgesetzt und auf diesen zugeordneten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sein. Ein Computerprogrammprodukt kann solche auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
• Der Fachmann wird verstehen, dass die vorliegende Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, zu denen Fahrzeugcomputer im Armaturenbrett, Personal Computer, Desktop-Computer, Laptop-Computer, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netz-PCs, Minicomputer, Mainframe-Computer, mobile Telekommunikationsvorrichtungen und dergleichen gehören.
• Die Offenbarung kann außerdem in Umgebungen mit verteilten Systemen angewandt werden, in denen sowohl lokale als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine beliebige Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen als auch in entfernten Datenspeichervorrichtungen befinden.
• Hinsichtlich der in dieser Schrift beschriebenen Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch praktisch umgesetzt werden könnten, wobei die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt dienen die Beschreibungen von Prozessen in dieser Schrift dem Zwecke der Veranschaulichung verschiedener Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die Patentansprüche einschränken.
• Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Aus der Lektüre der vorangehenden Beschreibung ergeben sich viele andere Ausführungsformen und Anwendungen als die aufgeführten Beispiele. Der Umfang sollte nicht unter Bezugnahme auf die vorstehende Beschreibung, sondern stattdessen unter Bezugnahme auf die beigefügten Patentansprüche bestimmt werden, zusammen mit der gesamten Bandbreite an Äquivalenten, zu denen diese Patentansprüche berechtigen. Es wird erwartet und ist beabsichtigt, dass zukünftige Entwicklungen in den in dieser Schrift beschriebenen Techniken eintreten werden und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass die Anmeldung modifiziert und variiert werden kann.
• Ferner können gegebenenfalls die in dieser Schrift beschriebenen Funktionen in einem oder mehreren von Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten durchgeführt werden. Zum Beispiel können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) dazu programmiert sein, eine(s) oder mehrere der hierin beschriebenen Systeme und Prozesse auszuführen. Bestimmte Ausdrücke, die in der gesamten Beschreibung und den Patentansprüchen verwendet werden, beziehen sich auf konkrete Systemkomponenten. Für den Fachmann liegt auf der Hand, dass die Komponenten mit anderen Benennungen bezeichnet werden können. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich der Benennung nach unterscheiden, nicht jedoch hinsichtlich ihrer Funktion.
• Es ist anzumerken, dass die in dieser Schrift erörterten Sensorausführungsformen Computerhardware, Software oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. In einem oder mehreren hierin beschriebenen nicht einschränkenden Beispielen kann ein Sensor Computercode beinhalten, der zur Ausführung in einem oder mehreren Prozessoren konfiguriert ist, und kann dieser eine Hardware-Logik/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird.
• Während vorangehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, wurde die vorangehende Beschreibung zum Zwecke der Veranschaulichung und Beschreibung dargestellt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die vorliegende Offenbarung nicht auf die exakte offenbarte Form beschränken. Sämtliche der vorangehend erwähnten alternativen Umsetzungen können in einer beliebigen gewünschten Kombination genutzt werden, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Beispielsweise können beliebige der unter Bezugnahme auf eine bestimmte Vorrichtung oder eine bestimmte Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder eine andere Komponente durchgeführt werden.
• Allen in den Ansprüchen verwendeten Ausdrücken soll deren allgemeine Bedeutung zugeordnet sein, wie sie Fachleuten auf dem Gebiet der in dieser Schrift beschriebenen Technologien bekannt ist, sofern in dieser Schrift kein ausdrücklicher Hinweis auf das Gegenteil erfolgt. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend zu verstehen, dass eines oder mehrere der angegebenen Elemente genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung nennt. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“, „können“ oder „könnten“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Umsetzungen diese nicht beinhalten können, es sei denn, es ist konkret etwas anderes angegeben oder es ergibt sich etwas Anderes aus dem jeweils verwendeten Kontext. Somit soll solche bedingte Sprache nicht implizieren, dass Merkmale, Elemente und/oder Schritte in irgendeiner Weise für eine oder mehrere Ausführungsformen erforderlich sind.
• Gemäß der vorliegenden Erfindung wird eine Augmented Reality (AR)-Vorrichtung bereitgestellt, die Folgendes aufweist: einen Prozessor; und einen Speicher zum Speichern ausführbarer Anweisungen, wobei der Prozessor dazu konfiguriert ist, die Anweisungen zu Folgendem auszuführen: Bestimmen eines Standorts eines Merkmals in einer Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Generieren einer virtuellen Darstellung des Merkmals, die mit dem Fahrzeug ausgerichtet ist; Übertragen der virtuellen Darstellung an die AR-Vorrichtung; Generieren einer modifizierten virtuellen Darstellung in der AR-Vorrichtung; und Übertragen der modifizierten virtuellen Darstellung an eine zweite AR-Vorrichtung in dem Fahrzeug.
• Gemäß einer Ausführungsform ist der Prozessor ferner dazu konfiguriert, die Anweisungen zu Folgendem auszuführen: Bestimmen des Standorts des Merkmals in der Außenumgebung in Bezug auf den Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Generieren der virtuellen Darstellung des Merkmals, die mit dem Fahrzeug ausgerichtet ist; Übertragen der virtuellen Darstellung an alle AR-Vorrichtungen in dem Fahrzeug; Generieren eines neuen AR-Inhalts in der AR-Vorrichtung; und Auswählen, welche AR-Vorrichtungen in dem Fahrzeug Zugriff auf den neuen AR-Inhalt haben.
• Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, die Anweisungen auszuführen, um ein synchronisiertes Fahrzeugkoordinatensystem zu generieren, das einer digitalen Darstellung eines Fahrzeuginnenraums zugeordnet ist.
• Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, die Anweisungen zu Folgendem auszuführen: Zuweisen eines ersten Koordinatensystems zu einer digitalen Darstellung des Fahrzeuginnenraums; Zuweisen eines zweiten Koordinatensystems zu einer digitalen Darstellung eines Objekts außerhalb des Fahrzeugs; Synchronisieren des ersten Koordinatensystems und des zweiten Koordinatensystems mit kartesischen Koordinaten zumindest teilweise auf Grundlage eines Ankerpunktes, der einer Fahrzeugfläche zugeordnet ist; und Generieren des synchronisierten Koordinatensystems zumindest teilweise auf Grundlage der kartesischen Koordinaten.
• Gemäß einer Ausführungsform ist der Prozessor ferner dazu konfiguriert, die Anweisungen zu Folgendem auszuführen: Bestimmen eines Standorts eines Merkmals in einer Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Synchronisieren eines Fahrzeugkoordinatensystems mit einer virtuellen Darstellung des Merkmals; Orientieren einer ersten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Orientieren einer zweiten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Generieren einer ersten virtuellen Ausdrucksform des Merkmals, die mit einem GPS-Standort des Fahrzeugs und einem Fahrzeugkurs ausgerichtet ist; Generieren einer zweiten virtuellen Ausdrucksform des Merkmals, die mit einem GPS-Standort des Fahrzeugs und einem Fahrzeugkurs ausgerichtet ist; und Übertragen der zweiten virtuellen Ausdrucksform an die erste AR-Vorrichtung und die zweite AR-Vorrichtung.

Claims (15)

1. Verfahren, das Folgendes umfasst: Bestimmen eines Standorts eines Merkmals in einer Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Generieren einer virtuellen Darstellung des Merkmals, die mit dem Fahrzeug ausgerichtet ist; Übertragen der virtuellen Darstellung an eine erste Augmented-Reality- (AR)-Vorrichtung und eine zweite AR-Vorrichtung in dem Fahrzeug; Empfangen einer Modifikation der virtuellen Darstellung von der ersten AR-Vorrichtung; und Übertragen einer modifizierten virtuellen Darstellung an die zweite AR-Vorrichtung in dem Fahrzeug.
2. Verfahren, das Folgendes umfasst: Bestimmen eines Standorts eines Merkmals in einer Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Generieren einer virtuellen Darstellung des Merkmals, die mit dem Fahrzeug ausgerichtet ist; Übertragen der virtuellen Darstellung an alle AR-Vorrichtungen in dem Fahrzeug; und Generieren eines neue AR-Inhalts in einer der AR-Vorrichtungen in dem Fahrzeug; und Auswählen, welche AR-Vorrichtungen in dem Fahrzeug Zugriff auf den neuen AR-Inhalt haben.
3. Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Bestimmen eines Standorts eines Merkmals in einer Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Synchronisieren eines Fahrzeugkoordinatensystems mit einer virtuellen Darstellung des Merkmals; Orientieren einer ersten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Orientieren einer zweiten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Generieren einer ersten virtuellen Darstellung des Merkmals, die mit einem GPS-Standort des Fahrzeugs und einem Fahrzeugkurs ausgerichtet ist; und Übertragen derselben virtuellen Darstellung an die erste AR-Vorrichtung und die zweite AR-Vorrichtung.
4. Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Bestimmen eines Standorts eines Merkmals in einer Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Synchronisieren eines Fahrzeugkoordinatensystems mit einer virtuellen Darstellung des Merkmals; Orientieren einer ersten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Orientieren einer zweiten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Generieren einer ersten virtuellen Ausdrucksform des Merkmals, die mit einem GPS-Standort des Fahrzeugs und einem Fahrzeugkurs ausgerichtet ist; Generieren einer zweiten virtuellen Ausdrucksform des Merkmals, die mit einem GPS-Standort des Fahrzeugs und einem Fahrzeugkurs ausgerichtet ist; und Übertragen der zweiten virtuellen Ausdrucksform an die erste AR-Vorrichtung und die zweite AR-Vorrichtung.
5. Verfahren nach Anspruch 3, wobei das Bestimmen des Standorts des Merkmals in der Außenumgebung Generieren eines synchronisierten Fahrzeugkoordinatensystems umfasst, das einer digitalen Darstellung eines Fahrzeuginnenraums zugeordnet ist.
6. Verfahren nach Anspruch 5, wobei das Generieren des synchronisierten Fahrzeugkoordinatensystems Folgendes umfasst: Zuweisen eines ersten Koordinatensystems zu der digitalen Darstellung des Fahrzeuginnenraums; Zuweisen eines zweiten Koordinatensystems zu einer digitalen Darstellung eines Objekts außerhalb des Fahrzeugs; und Synchronisieren des ersten Koordinatensystems und des zweiten Koordinatensystems mit kartesischen Koordinaten zumindest teilweise auf Grundlage eines Ankerpunktes, der einer Fahrzeugfläche zugeordnet ist.
7. Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Kombinieren von Realitätsaufnahmeinformationen mit Benutzerinformationen und gespeicherten Daten, um ein virtuelles Objekt zu generieren; und Generieren einer AR-Ausdrucksform auf Grundlage des virtuellen Objekts.
8. Verfahren nach Anspruch 1, ferner umfassend Bestimmen einer Identität, die einem Benutzer der ersten oder zweiten AR-Vorrichtung zugeordnet ist, umfassend: Empfangen eines Bildes des Benutzers der ersten oder zweiten AR-Vorrichtung; Generieren einer Vielzahl von Gradientenvektoren, die dem Bild des Benutzers zugeordnet ist; Identifizieren von zumindest einem Gesichtsmerkmal aus der Vielzahl von Gradientenvektoren; Vergleichen des zumindest einen Gesichtsmerkmals mit einer Vielzahl von Gesichtsmerkmalen, die zumindest einem vorherigen Insassen des Fahrzeugs zugeordnet ist; Abrufen von Insassenprofildaten, die einer Übereinstimmung mit dem zumindest einen Gesichtsmerkmal zugeordnet sind; und Ändern einer oder mehrerer Einstellungen des AR-Erlebnisses zumindest teilweise auf Grundlage der Insassenprofildaten.
9. Verfahren nach Anspruch 8, wobei die Einstellungen des AR-Erlebnisses eine oder mehrere von einer Toneinstellung, einer Helligkeitseinstellung, einer Bewegungseinstellung und einer Zeicheneinstellung umfassen.
10. System, das Folgendes umfasst: einen Prozessor; und einen Speicher zum Speichern ausführbarer Anweisungen, wobei der Prozessor dazu konfiguriert ist, die Anweisungen zu Folgendem auszuführen: Bestimmen eines Standorts eines Merkmals in einer Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Generieren einer virtuellen Darstellung des Merkmals, die mit dem Fahrzeug ausgerichtet ist; Übertragen der virtuellen Darstellung an eine erste AR-Vorrichtung und eine zweite AR-Vorrichtung in dem Fahrzeug; Empfangen einer modifizierten virtuellen Darstellung von der ersten AR-Vorrichtung; und Übertragen der modifizierten virtuellen Darstellung an die zweite AR-Vorrichtung in dem Fahrzeug.
11. System nach Anspruch 10, wobei der Prozessor ferner dazu konfiguriert ist, die Anweisungen zu Folgendem auszuführen: Bestimmen des Standorts des Merkmals in der Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Generieren einer virtuellen Darstellung des Merkmals, die mit dem Fahrzeug ausgerichtet ist; Übertragen der virtuellen Darstellung an alle AR-Vorrichtungen in dem Fahrzeug; Generieren eines neuen AR-Inhalts in einer der AR-Vorrichtungen in dem Fahrzeug; und Auswählen, welche AR-Vorrichtungen in dem Fahrzeug Zugriff auf den neuen AR-Inhalt haben.
12. System nach Anspruch 10, wobei der Prozessor ferner dazu konfiguriert ist, die Anweisungen zu Folgendem auszuführen: Bestimmen des Standorts des Merkmals in der Aul enumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Synchronisieren eines Fahrzeugkoordinatensystems mit einer virtuellen Darstellung des Merkmals; Orientieren einer ersten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Orientieren einer zweiten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Generieren einer ersten virtuellen Darstellung des Merkmals, die mit einem GPS-Standort des Fahrzeugs und einem Fahrzeugkurs ausgerichtet ist; und Übertragen derselben virtuellen Darstellung an die erste AR-Vorrichtung und die zweite AR-Vorrichtung.
13. System nach Anspruch 10, wobei der Prozessor ferner dazu konfiguriert ist, die Anweisungen zu Folgendem auszuführen: Bestimmen eines Standorts eines Merkmals in einer Außenumgebung in Bezug auf einen Fahrzeuginnenraum auf Grundlage von Realitätsaufnahmedaten; Synchronisieren eines Fahrzeugkoordinatensystems mit einer virtuellen Darstellung des Merkmals; Orientieren einer ersten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Orientieren einer zweiten AR-Vorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Generieren einer ersten virtuellen Ausdrucksform des Merkmals, die mit einem GPS-Standort des Fahrzeugs und einem Fahrzeugkurs ausgerichtet ist; Generieren einer zweiten virtuellen Ausdrucksform des Merkmals, die mit einem GPS-Standort des Fahrzeugs und einem Fahrzeugkurs ausgerichtet ist; und Übertragen der zweiten virtuellen Ausdrucksform an die erste AR-Vorrichtung und die zweite AR-Vorrichtung.
14. System nach Anspruch 10, wobei der Prozessor dazu konfiguriert ist, die Anweisungen auszuführen, um ein synchronisiertes Fahrzeugkoordinatensystem zu generieren, das einer digitalen Darstellung eines Fahrzeuginnenraums zugeordnet ist.
15. System nach Anspruch 14, wobei der Prozessor dazu konfiguriert ist, die Anweisungen zu Folgendem auszuführen: Zuweisen eines ersten Koordinatensystems zu einer digitalen Darstellung des Fahrzeuginnenraums; Zuweisen eines zweiten Koordinatensystems zu einer digitalen Darstellung eines Objekts außerhalb des Fahrzeugs; Synchronisieren des ersten Koordinatensystems und des zweiten Koordinatensystems mit kartesischen Koordinaten zumindest teilweise auf Grundlage eines Ankerpunktes, der einer Fahrzeugfläche zugeordnet ist; und Generieren des synchronisierten Fahrzeugkoordinatensystems zumindest teilweise auf Grundlage der kartesischen Koordinaten.

Images