DE102020128536A1 - Tragbares system erweiterter realität für fahrzeuginsassen - Google Patents

Tragbares system erweiterter realität für fahrzeuginsassen Download PDF

Info

Publication number
DE102020128536A1
DE102020128536A1 DE102020128536.1A DE102020128536A DE102020128536A1 DE 102020128536 A1 DE102020128536 A1 DE 102020128536A1 DE 102020128536 A DE102020128536 A DE 102020128536A DE 102020128536 A1 DE102020128536 A1 DE 102020128536A1
Authority
DE
Germany
Prior art keywords
vehicle
coordinate system
portable
virtual representation
roadside object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020128536.1A
Other languages
English (en)
Inventor
Jian Wan
Prayat Anil Hegde
Jeffrey Allen Greenberg
Kwaku Prakah-Asante
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102020128536A1 publication Critical patent/DE102020128536A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/51—Relative positioning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Offenbarung stellt ein tragbares System erweiterter Realität für Fahrzeuginsassen bereit. Ein Verfahren beinhaltet Bestimmen eines Standorts eines straßenseitigen Objekts bezogen auf einen Fahrzeuginnenraum auf Grundlage von einem oder mehreren von einem Fahrzeugstandort gemäß einem globalen Positionsbestimmungssystem (GPS), einem Fahrzeugkurs und Umgebungsdaten und Generieren einer ersten virtuellen Darstellung des straßenseitigen Objekts in einem Weltkoordinatensystem erweiterter Realität (augmented reality - AR). Ein Prozessor synchronisiert ein Fahrzeugkoordinatensystem mit dem AR-Weltkoordinatensystem, in dem eine virtuelle Darstellung des straßenseitigen Objekts generiert wird. Das Verfahren beinhaltet ferner Ausrichten einer tragbaren AR-Fahrervorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem, Bestimmen einer Identität, die einem Benutzer der tragbaren AR-Fahrervorrichtung zugeordnet ist, und Generieren einer virtuellen Darstellung des straßenseitigen Objekts in einem AR-Weltkoordinatensystem, das mit dem GPS-Standort des Fahrzeugs und dem Fahrzeugkurs ausgerichtet ist, zumindest teilweise auf Grundlage der Identität, die dem Benutzer der tragbaren AR-Fahrervorrichtung zugeordnet ist.

Description

  • GEBIET DER TECHNIK
  • Die vorliegende Offenbarung betrifft Anzeigesysteme erweiterter Realität und insbesondere tragbare Anzeigesysteme erweiterter Realität für Automobilinsassen.
  • ALLGEMEINER STAND DER TECHNIK
  • Eine verbesserte Wahrnehmung und Umsetzung der äußeren Umgebung für den mobilen Kunden beim Fahren oder Mitfahren in einem Fahrzeug ist von erheblichem Wert. Erweiterte Realität (Augmented Reality - AR) kann das Fokussieren der kognitiven Anstrengung von Benutzern (z. B. Fahrzeugfahrem) unterstützen, indem relevante Informationen in das visuelle Sichtfeld des Benutzers eingeblendet werden. In weiteren Aspekten kann AR nichtfahrende Benutzer (z. B. Mitfahrer in einem Fahrzeug) unterstützen, indem sie deren Wahrnehmung und Umsetzung der äußeren Umgebung mit einer persönlichen Anzeige, einer interaktiven Benutzerschnittstelle, Spielen, Animationen und anderen Erfahrungen verbessern, die mit mehreren Benutzern eines AR-Systems in einem Fahrzeug geteilt werden können.
  • Gegenwärtig stellen fahrzeugbasierte AR-Systeme ein festes Sichtfeld bezogen auf das Fahrzeug bereit, wie etwa eine Über-Kopf-Anzeige (Heads Up Display - HUD) oder einen festen Anzeigebildschirm in einer Mittelkonsole oder einem Kombiinstrument. Herkömmliche fahrzeuginterne AR-Systeme können nur nach vorne gerichtet sein, wodurch ein begrenztes Sichtfeld bereitgestellt wird. Wenn sich die externen Punkte von Interesse oder andere Straßenszenen dem sich bewegenden Fahrzeug nähern, durchqueren sie schnell das Bildschirmbetrachtungsfenster. Andere Zustellschemata für fahrzeuginterne interaktive Inhalte, wie etwa Mittelkonsolen- oder Cluster-AR-Bildschirme in herkömmlichen fahrzeuginternen AR-Systemen, können größere Sichtfelder als HUDs beinhalten.
  • Jedoch können herkömmliche Systeme, einschließlich Mittelkonsole, Cluster-Bildschirm und AR-HUD, lediglich den Videostrom nach vorne projizieren. Wenngleich Punkte von Interesse, Fußgänger usw. auf den Bildschirmen markiert sein können, befinden sich diese unter Umständen nicht innerhalb des direkten Blickwinkels des Fahrers. Anders ausgedrückt müssen Fahrer ihren Blick unter Umständen von der Straße wegbewegen, um ihren Blick auf den Anzeigebildschirm zu richten, oder sie müssen den Blick unter Umständen auf dem Bildschirm hin/zurück oder nach oben/unten usw. bewegen, um die entsprechenden Ziele in der realen Welt außerhalb des Fahrzeugs zu lokalisieren. Solche Handlungen können die Aufmerksamkeit des Fahrers von der Fahraufgabe ablenken.
  • Die deutsche Patentanmeldungsveröffentlichungsnummer DE 102014009608 (nachfolgend „die '608-Veröffentlichung“) beschreibt ein AR-System, das eine relative Position der AR-Brille in Bezug auf ein Objekt innerhalb des Sichtfelds bestimmt, indem ein Koordinatensystem, das dem Kraftfahrzeug zugeordnet ist, und ein Koordinatensystem, das der AR-Brille zugeordnet ist, zu einem einheitlichen Koordinatensystem transformiert werden. Während ein Mechanismus zum Vereinigen von unterschiedlichen Koordinatensystemen für Objekte im Sichtfeld des AR-Systems gelehrt wird, stellt die '608-Veröffentlichung keine virtuellen 3D-Tags für Objekte oder Systeme zum Identifizieren einzelner Mitfahrer in dem Fahrzeug bereit, sodass ein individuell angepasstes AR-Erlebnis auf Grundlage von Benutzerpräferenzen bereitgestellt werden kann. Darüber hinaus ist die '608-Veröffentlichung von der Erfassung des physischen Objekts durch die Sensoren in dem Fahrzeug abhängig, um dem Objekt zugeordnete Grafikdaten anzuzeigen. Daher kann die '608-Veröffentlichung keine Lösung für die Fälle bereitstellen, in denen das physische Objekt weit entfernt oder unsichtbar (z. B. hinter anderen Objekten verborgen) ist. Darüber hinaus stellen herkömmliche AR-Fahrzeugsysteme, wie etwa das System der '608-Veröffentlichung, unter Umständen keine synchronisierte AR-Erfahrung für mehrere Mitfahrer in einem Fahrzeug bereit. Diese und andere Vorteile der vorliegenden Offenbarung sollten nicht als einschränkend ausgelegt werden und werden in Erwägung gezogen.
  • KURZDARSTELLUNG
  • Die hierin offenbarten Systeme und Verfahren beschreiben ein tragbares integriertes System erweiterter Realität (Augmented Reality - AR) für ein Fahrzeug, das konfiguriert ist, um straßenseitige Informationen vor dem direkten Blick des Trägers anzuzeigen, wenn dieser in dem Fahrzeug fährt und/oder mitfährt, und in einigen Ausführungsformen außerdem, wenn der Träger das Fahrzeug verlässt. Das offenbarte System kann eine oder mehrere tragbare Vorrichtungen beinhalten, wie zum Beispiel AR-Brillen, AR-Schutzbrillen, AR-Kontaktlinsen usw. Die tragbare AR-Vorrichtung(en) kann/können straßenseitige Informationen anzeigen, die einem oder mehreren Punkten von Interesse (points of interest - POIs) im Sichtfeld des Trägers zugeordnet sind, wenn dieser in dem Fahrzeug fährt und/oder mitfährt. Beispielsweise kann das System in der AR-Ansicht einen POI an einem Ort in der äußeren physischen Welt markieren, wodurch die Benutzer des AR-Systems in dem Fahrzeug eine integrierte und koordinierte AR-Erfahrung teilen können.
  • Das System kann einen Standort eines straßenseitigen Objekts bezogen auf den Innenraum des sich bewegenden Fahrzeugs auf Grundlage einer Nachricht des globalen Positionsbestimmungssystems (GPS) oder globalen Satellitennavigationssystems (Global Navigation Satellite System - GNSS), einer Fahrzeugkursnachricht oder anderer Informationen bestimmen. Das System synchronisiert ein Fahrzeugkoordinatensystem mit einer virtuellen Darstellung des straßenseitigen Objekts und richtet eine tragbare AR-Fahrervorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem aus. Das AR-System kann eine Identität eines Benutzers des tragbaren AR-Systems bestimmen und zumindest teilweise auf Grundlage der Benutzer-ID, die dem Benutzer der tragbaren AR-Vorrichtung zugeordnet ist, eine erste virtuelle Darstellung des straßenseitigen Objekts generieren, die mit einem GPS-Standort und einer Richtung des Fahrzeugs ausgerichtet ist. Das System kann die erste virtuelle Darstellung an die tragbare AR-Vorrichtung übertragen, wo sie in dem visuellen Sichtfeld des Benutzers dargestellt wird, um die Wahrnehmung und Umsetzung der äußeren Umgebung außerhalb des sich bewegenden Fahrzeugs durch den Benutzer zu verbessern.
  • Die hierin beschriebenen tragbaren AR-Vorrichtungen befassen sich mit Einschränkungen herkömmlicher AR-Systeme mit Sichtfeldeinschränkungen, da die Person, die das/die offenbarte(s) tragbare(n) AR-System(e) trägt, ihren Kopf in eine beliebige Richtung drehen kann, während sie sich in dem sich bewegenden Fahrzeug befindet, während sie mit dem AR-System interagieren. Die Systembenutzer können sich somit jeder straßenseitigen Situation unverzüglich bewusst werden, ohne durch die bestimmte Richtung ihres Blickes eingeschränkt zu sein und ohne Sichtfeldeinschränkungen, die herkömmlichen Über-Kopf-Anzeigen (Heads-up-Displays - HUDs) zugeordnet sind. Mehrere Fahrzeuginsassen können ein personalisiertes virtuelles Bild gleichzeitig betrachten und können zudem mit zeit- und ortssynchronisierten Bildern interagieren, wodurch eine koordinierte AR-Erfahrung für alle Insassen des Fahrzeugs ermöglicht wird. Darüber hinaus können Systembenutzer mit einer drahtlosen oder mobilen Internetverbindung das Fahrzeug-AR-System sogar nachdem die Insassen das Fahrzeug verlassen haben verwenden. Diese und andere Vorteile der vorliegenden Offenbarung werden in dieser Schrift ausführlicher bereitgestellt.
  • Figurenliste
  • Die detaillierte Beschreibung wird unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung der gleichen Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten genutzt werden als jene, die in den Zeichnungen veranschaulicht sind, und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht vorhanden. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend maßstabsgetreu gezeichnet. In der gesamten Offenbarung können Begriffe im Singular und Plural je nach Kontext synonym verwendet werden.
    • 1 stellt eine veranschaulichende Architektur dar, in der Techniken und Strukturen zum Bereitstellen der in dieser Schrift offenbarten Systeme und Verfahren umgesetzt werden können.
    • 2 ist ein Funktionsschema von Rechensystemen, die gemäß der vorliegenden Offenbarung genutzt werden.
    • 3 ist ein Blockdiagramm einer Insassenprofildatenbank, die gemäß der vorliegenden Offenbarung genutzt wird.
    • 4 ist ein Ablaufdiagramm eines beispielhaften Verfahrens im Zusammenhang mit der Lieferung von Inhalten erweiterter Realität gemäß der vorliegenden Offenbarung.
  • DETAILLIERTE BESCHREIBUNG
  • Die Offenbarung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen, in denen beispielhafte Ausführungen der Offenbarung gezeigt sind, näher beschrieben. Diese Offenbarung kann jedoch in vielen verschiedenen Formen ausgeführt werden und sollte nicht als auf die in dieser Schrift dargelegten beispielhaften Ausführungsformen beschränkt ausgelegt werden. Der Fachmann auf dem entsprechenden Fachgebiet erkennt, dass verschiedene Änderungen bezüglich Form und Detail an verschiedenen Ausführungsformen vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten Breite und Umfang der vorliegenden Offenbarung durch keine der vorangehend beschriebenen beispielhaften Ausführungsformen eingeschränkt, sondern lediglich gemäß den folgenden Ansprüchen und deren Äquivalenten definiert werden. Die nachfolgende Beschreibung wurde zu Veranschaulichungszwecken dargelegt und soll nicht umfassend sein oder auf die spezifische offenbarte Form beschränkt sein. Es versteht sich, dass alternative Umsetzungen können in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Beispielsweise kann eine beliebige der in Bezug auf eine bestimmte Komponente, wie etwa einen ersten Prozessor in einem ersten Computer, beschriebenen Funktionalität durch eine andere Komponente, wie etwa einen zweiten Prozessor in einem anderen Computer, durchgeführt werden. Darüber hinaus können sich, während spezifische Vorrichtungseigenschaften beschrieben sind, Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass, obwohl Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden sind, die Offenbarung nicht notwendigerweise auf die spezifischen beschriebenen Merkmale oder Handlungen beschränkt ist. Stattdessen sind die spezifischen Merkmale und Handlungen als veranschaulichende Formen zum Umsetzen der Ausführungsformen offenbart.
  • Bestimmte Wörter und Ausdrücke werden hierin nur der Einfachheit halber verwendet und solche Wörter und Ausdrücke sollten so interpretiert werden, dass sie sich auf verschiedene Objekte und Handlungen beziehen, die vom Durchschnittsfachmann im Allgemeinen in verschiedenen Formen und Äquivalenzen verstanden werden. Beispielsweise können Wörter wie „Automobil“, „Fahrzeug“, „Auto“ und „Lastkraftwagen“ synonym verwendet werden und sind im Zusammenhang der Offenbarung auszulegen. Wörter wie „Steuerungen“, „Signale“, „Angabe“ und „Informationen“ können ebenfalls synonym verwendet werden und sind im Zusammenhang der Offenbarung auszulegen. Darüber hinaus kann sich das hierin verwendete Wort „Informationen“ auf verschiedene Elemente wie etwa digitale Daten, analoge Daten, Audioinhalte, Videoinhalte und/oder Nachrichten beziehen. Diese Elemente können von einem Computer verarbeitet werden, der einen Prozessor enthält. Der Ausdruck „Verfolgungsbetriebsmodus“ ist im hierin verwendeten Sinne nicht auf ein Polizeifahrzeug beschränkt, das an einer Verfolgung beteiligt ist, und kann andere Fahrzeuge und Vorgänge beinhalten, wie etwa ein Einsatzfahrzeug (Löschfahrzeug, Krankenwagen usw.), das als Reaktion auf einen Notfall gefahren wird. Formulierungen wie „ein Signal wird übertragen“ oder „eine Tür wird geöffnet“ sollten nicht ausschließlich im Sinne des Singulars verstanden werden. Die Formulierung sollte so verstanden werden, dass sie auch „einen Satz von Signalen“ umfasst, die (gleichzeitig oder nacheinander) an eine Tür und/oder an mehrere Türen übertragen werden können. Es versteht sich zudem, dass das Wort „Beispiel“ im hierin verwendeten Sinne nicht ausschließlicher und nicht einschränkender Natur sein soll. Insbesondere gibt das Wort „beispielhaft“ im hierin verwendeten Sinne eines von mehreren Beispielen an und es versteht sich, dass keine übermäßige Betonung oder Bevorzugung auf das konkrete beschriebene Beispiel gerichtet ist.
  • 1 veranschaulicht eine beispielhafte Rechenumgebung 100 zum Ausführen von hierin beschriebenen Verfahren. Gemäß einer Ausführungsform kann ein Fahrzeug 105 eine Straße oder eine andere Route (in 1 nicht gezeigt) entlangfahren und sich einem Punkt von Interesse nähern, wie zum Beispiel einem straßenseitigen Objekt 185. Wenngleich es als ein Straßenschild dargestellt ist, kann es sich bei dem straßenseitigen Objekt 185 um ein beliebiges Objekt handeln, das von Insassen des Fahrzeugs 105 beobachtet werden kann, wie zum Beispiel ein Gebäude, eine Sehenswürdigkeit, ein geographisches Merkmal oder eine beliebige andere Art von Objekt, die einen physischen Standort aufweist. Das straßenseitige Objekt 185 kann ein beliebiger beobachtbarer Punkt von Interesse sein, bei dem es sich um ein Objekt, eine Person, ein Ereignis (z. B. eine Autokollision), einen Standort auf dem Feld, eine Wetterbedingung, ein Tier oder eine beliebige andere physische Manifestation von Interesse für einen Fahrzeuginsassen handeln kann. Anders ausgedrückt kann das straßenseitige Objekt 185 ein Punkt von Interesse (point of interest - POI) sein, der die Form eines beliebigen der vorangehenden Beispiele annehmen kann oder eine andere physische Form annehmen kann.
  • Bei dem Fahrzeug 105 kann es sich um eine beliebige Art von Personenkraftwagen handeln, wie zum Beispiel eine Limousine, einen Bus, ein Van, einen Lastkraftwagen usw. In einigen Aspekten kann das Fahrzeug 105 als manuell steuerbares Fahrzeug, autonomes Fahrzeug, bei dem die Fahrfunktionalität vollständig durch eine Rechenplattform an Bord und/oder nicht an Bord des Fahrzeugs 105 durchgeführt wird, oder halbautonomes Fahrzeug betrieben werden, bei dem Aspekte der Fahrzeugsteuerung automatisch sind und andere Aspekte vom Benutzer gesteuert werden.
  • Das Fahrzeug 105 kann einen Verbrennungsmotor 130 beinhalten, der eine Brennkraftmaschine, einen Elektromotor, ein Hybridantriebssystem und/oder ein anderes Betätigungssystem sein und/oder beinhalten kann.
  • Das Fahrzeug 105 kann einen Automobilcomputer 110 beinhalten. Der Automobilcomputer 110 kann in einem Motorraum eines Fahrzeugs 105 (oder an anderer Stelle in dem Fahrzeug 105) als Teil eines Fahrzeugsystems erweiterter Realität (augmented reality - AR) gemäß dieser Offenbarung installiert sein. Der Automobilcomputer 110 kann mit einer Remote-Rechenplattform, die einem oder mehreren Servern 150 zugeordnet ist, die über ein oder mehrere Netzwerke 155 kommunizieren können, kommunizieren und/oder ein Teil davon sein. In einigen Ausführungsformen kann der Automobilcomputer 110 den/die Netzwerkadapter 210 (wie in 2 gezeigt) zum Koppeln an ein oder mehrere Netzwerke 155 beinhalten.
  • Das Netzwerk/die Netzwerke 155 kann/können ein oder mehrere Internetprotokoll-(IP) basierte Netzwerke zur Kommunikation zwischen dem Automobilcomputer 110 und einer beliebigen externen Vorrichtung beinhalten. Das Netzwerk/die Netzwerke 155 kann/können Daten zwischen dem Automobilcomputer 110 und Vorrichtungen und/oder Systemen außerhalb des Automobilcomputers 110 übertragen und empfangen. Beispielweise kann der Automobilcomputer 110 Insassenprofilinformationen, die Fahrzeuginsassen (in 1 nicht gezeigt) zugeordnet sind, an und von dem/den Server(n) 150 übertragen, sodass der Automobilcomputer 110 den Fahrzeuginsassen (bei denen es sich um Benutzer des AR-Systems handeln kann) individuell angepasste AR-Erfahrungen bereitstellen kann. Die AR-Erfahrungen können in einigen beispielhaften Ausführungsformen zumindest teilweise auf Grundlage von Benutzerprofilinformationen individuell angepasst werden, die hierin als Insassenkennungen beschrieben sind. Beispielsweise und wie nachfolgend ausführlicher beschrieben, kann der Automobilcomputer 110 eine oder mehrere AR-Präferenzen an den/die Server und/oder von dem/den Server(n) 150 übertragen, die einzelnen Systembenutzem zugeordnet sind, wie etwa eine Navigationspräferenz, eine Animationspräferenz, eine Audiopräferenz, eine AR-Spieleinstellung, eine Zeicheneinstellung, eine Bewegungseinstellung, eine Helligkeitseinstellung usw.
  • In einer beispielhaften Ausführungsform kann/können das/die Netzwerk(e) 155 drahtlos umgesetzt sein, z. B. unter Verwendung von drahtlosen Protokollen und Technologien, wie etwa Wi-Fi, WiMAX und/oder dergleichen. Beispielsweise kann/können das/die Netzwerk(e) 155 außerdem mit einem drahtgebundenen Netzwerk, einem Ethernet-Netzwerk, einem Controller Area Network (CAN) usw. verbunden sein und/oder dieses beinhalten. Das/die Netzwerk(e) 155 kann/können zudem ein paketvermitteltes Netz sein und/oder beinhalten, wie etwa ein lokales Netz, ein Weitverkehrsnetz, ein städtisches Netzwerk, das Internet oder eine andere ähnliche Art von Netzumgebung. Das/Die Netzwerk(e) 155 kann/können ein drahtloses lokales Netzwerk (local area network - LAN), ein drahtloses Weitverkehrsnetz (wide area network- WAN), ein persönliches Netzwerk (personal area network - PAN), ein virtuelles privates Netzwerk (virtual private network - VPN), ein Intranet oder ein anderes geeignetes Netzwerksystem sein und/oder beinhalten.
  • Der Automobilcomputer 110, der in Bezug auf 2 genauer beschrieben ist, kann eine Motorsteuerung 115 zum Steuern eines Motors 130, zum Steuern einer oder mehrerer Fahrersteuerkomponenten 135 und/oder zum Steuern/Abrufen von Daten von anderer Fahrzeug-Hardware 140, wie zum Beispiel einem Infotainmentsystem, einem globalen Positionsbestimmungssystem (GPS) usw., beinhalten.
  • Erweiterte Realität (augmented reality - AR) kann als eine interaktive Erfahrung einer realen Umgebung beschrieben werden, in der die Objekte, die sich in der realen Welt befinden, durch computergenerierte Wahrnehmungsinformationen verbessert werden, gelegentlich über mehrere sensorische Modalitäten hinweg, einschließlich zum Beispiel visueller, auditiver, haptischer und andere Modalitäten. Die sensorischen Informationen können konstruktiv (d. h. additiv zur natürlichen Umgebung) oder destruktiv (d. h. Verdeckung der natürlichen Umgebung) überlagert werden, sodass eine reale Umgebung (z. B. das straßenseitige Objekt 185) mit einer digitalen Erweiterung oder anderen Informationen (z. B. dem virtuelle Objekt 190) überlagert werden kann, die in dem Sichtfeld eines Benutzers des AR-Systems erscheinen. Die Objekte der realen Welt müssen nicht notwendigerweise für das Fahrzeug sichtbar sein; zum Beispiel befinden sich diese weit von dem Fahrzeug entfernt oder werden diese von anderen Objekten (einem Gebäude hinter anderen Gebäuden oder einer Landschaft) verdeckt. Ihre Standorte werden nach wie vor durch das System erhalten (z. B. unter Verwendung von GPS von einem Kartensystem) und in tragbaren Geräten angezeigte digitale Informationen geben ihren Standort und andere zugehörige Daten an, die verwendet werden können, um das Fahrzeug dazu zu bringen, sie zu erreichen.
  • Wie in der gesamten vorliegenden Offenbarung ausführlicher beschrieben, kann der Automobilcomputer 110 auch eine Steuerung 120 erweiterter Realität (augmented reality - AR) zum Durchführen eines oder mehrerer der hierin beschriebenen Aspekte beinhalten. Es versteht sich, dass die AR-Steuerung 120, wenngleich sie als Teil des Automobilcomputers 110 dargestellt ist, auch Teil des Servers/der Server 150 sein oder vollständig durch diesen/diese gesteuert werden kann und mit dem Automobilcomputer 110 in einem Software-as-a-Service-Kontext betrieben werden kann. Dies bedeutet, dass die AR-Steuerung 120 auf dem Automobilcomputer 110 als Client-Dienst betrieben werden kann, wobei der Automobilcomputer 110 der Client ist und der/die Server 150 Abschnitte des AR-Systems oder des gesamten in 1 dargestellten AR-Systems steuert/steuern.
  • Die Motorsteuerung 115 und/oder die AR-Steuerung 120 können sensorische Informationen empfangen, die Umgebungsdaten von einem oder mehreren Sensoren 125 bereitstellen. Der/Die Sensor(en) 125 kann/können eine beliebige Anzahl an Vorrichtungen beinhalten, die konfiguriert sind, um Signale zu generieren, die das Navigieren des Fahrzeugs 105 unterstützen, während dieses in einem manuellen und/oder einem autonomen (z. B. fahrerlosen) Modus betrieben wird. Als ein Beispiel kann/können der/die Sensor(en) 125 eine Tiefenkamera, eine Videokamera usw. einschließen und Computer-Vision-Software zum Erffassen von straßenseitigen Situationen und Objekten, wie etwa Fußgängern, Verkehr, Verkehrsschildern usw., beinhalten. Zusätzliche Beispiele für Sensoren 125 können einen Radarsensor, eine Light-Detection-and-Ranging-(LIDAR-)Vorrichtung, einen Bildsensor und/oder dergleichen einschließen. Der Sensor/die Sensoren 125 können das Fahrzeug 105 darin utnerstützen, die Fahrbahn und die Umgebung des Fahrzeugs zu „sehen“ und/oder um verschiedene Hindernisse zu navigieren, während das Fahrzeug betrieben wird und in Bewegung ist.
  • Beispielsweise stellt 1 das straßenseitige Objekt 185 dar. Das in 1 dargestellte AR-System kann ein virtuelles Objekt 190 erzeugen und das straßenseitige Objekt 185 visuell überlagern, wie zum Beispiel ein visueller Effekt, eine Animation, ein Lichteffekt usw. In weiteren Aspekten kann das in 1 dargestellte AR-System Informationen von dem straßenseitigen Objekt 185 entfernen, wie zum Beispiel Graffiti oder andere Informationen, die ablenkend sein könnten. In einem weiteren Beispiel kann das AR-System aus 1 störende Informationen, wie etwa eine Videoausgabe in einer Ausgabevorrichtung eines vorbeifahrenden Fahrzeugs, entfernen, die einen Benutzer des AR-Systems aus 1 ablenken könnten. Obwohl die hierin bereitgestellten begrenzten Beispiele bestimmte AR-Erlebnisse beschreiben, versteht es sich, dass eine AR-Erfahrung eine beliebige Form annehmen kann, die nur durch die Kreativität bestimmter interaktiver Anwendungen begrenzt ist, die nahtlos mit der physischen Welt verflochten sein können, sodass die AR-Erfahrung als immersiver Aspekt der realen Umwelt wahrgenommen wird. Auf diese Weise können die hierin beschriebenen AR-Systeme die andauernde Wahrnehmung einer realen Umgebung verändern und/oder verbessern.
  • In einem Aspekt können die hierin beschriebenen AR-Systeme Objekte der physischen Welt, wie etwa das straßenseitige Objekt 185, das seine Position in Bezug auf das Fahrzeug 105 ändern kann, wenn das Fahrzeug 105 zu einem Ziel fährt, mithilfe von holographischen Projektionen von virtuellen Objekten, Farben usw. miteinander verflechten. Physische Objekte innerhalb des Fahrzeugs 105 können ebenfalls Teil der AR-Erfahrung sein, sodass der Blickwinkel des Benutzers auf das straßenseitige Objekt 185 mit Aspekten der physischen Umgebung des Benutzers im Inneren des Fahrzeugs 105 koordiniert wird. Die AR-Steuerung 120, wie hierin beschrieben, kann dies vornehmen, indem sie von einer oder mehreren integrierten Kameras (in 1 nicht gezeigt), die dem tragbaren AR-System 145 zugeordnet sind, eine Videoübertragung der Innenflächen des Fahrzeugs 105 sowie Daten von dem/den Sensor(en) 125 und dem GPS-System empfängt und ein einheitliches Koordinatensystem erstellt, das Innenflächen des Fahrzeugs 105 mit der AR-Welt koordiniert, die erweiterte Informationen für die Objekte in der realen Welt außerhalb des Fahrzeugs 105 bereitstellen. Das einheitliche Koordinatensystem kann eine AR-Erfahrung bereitstellen, welche die AR-Welt in die Innenflächen des Fahrzeugs 105 integriert. Beispielsweise kann die AR-Steuerung 120 eine Blick- und/oder Kopfhaltungsrichtung des tragbaren AR-Systems 145 nachverfolgen, sodass die AR-Steuerung 120 das virtuelle Objekt 190 darstellen kann, das an dem äußeren straßenseitigen Objekt 185 in einem virtuellen AR-Raum angebracht ist, der nahtlos mit der Sicht des Benutzers auf den Fahrzeuginnenraum koordiniert ist, während der AR-Raum in Echtzeit gemäß der physischen Richtung des Blickes und/oder der Kopfhaltung des Benutzers geändert wird, während dieser das AR-tragbare System 145 trägt.
  • Ein beispielhaftes Koordinatensystem, das durch die in 1 dargestellte AR-Steuerung 120 erstellt wird, ist ein Weltkoordinatensystem 175 erweiterter Realität (augmented reality - AR). 1 stellt dar, dass das Fahrzeug 105 einem Fahrzeugkoordinatensystem 160 zugeordnet ist (mathematisch als „Cv“ beschrieben). In einigen Ausführungsformen kann das Fahrzeugkoordinatensystem 160 eine mathematische Darstellung aufweisen, die sich von dem AR-Weltkoordinatensystem 175 unterscheidet. Beispielsweise kann das Fahrzeugkoordinatensystem 160 in Form eines Satzes oder mehrerer Sätze kartesischer Koordinaten in einem kartesischen Koordinatensystem ausgedrückt werden.
  • Das AR-Weltkoordinatensystem 175 wird im Folgenden mathematisch als „CAR“ beschrieben. In einigen Aspekten kann das AR-Weltkoordinatensystem 175 mathematisch in kartesischen Koordinaten dargestellt sein. In einigen Aspekten kann sich das straßenseitige Objekt 185 in einem GPS-Nachrichtensystem (in 1 nicht gezeigt) befinden, wobei der Standort eines straßenseitigen Objekts 185 als ein Satz von Polarkoordinaten dargestellt ist, der von einem Kartensystem erhalten wird, das in dem Fahrzeugcomputer 110 oder Server 150 gespeichert ist. Da es sich bei Polarkoordinaten um eine andere mathematische Darstellung zum Ausrichten von Objekten im physischen 3D-Raum als kartesische Koordinaten handelt, muss die AR-Steuerung 120 entweder allein oder in Verbindung mit dem tragbaren AR-System 145 die Polarkoordinaten in ein einheitliches Koordinatensystem (z. B. in kartesische Koordinaten) umwandeln. Der Umwandlungsprozess wird in Bezug auf 2 genauer beschrieben. In einigen Aspekten kann das straßenseitige Objekt 185, das sich in der Nähe des Fahrzeugs befindet, durch den einen oder die mehreren Sensoren 125 erkannt werden, insbesondere für Fahrerassistenzsystemfunktionen (Advanced Driver Assistance Systems functionalities -ADAS-Funktionen), wie etwa Verkehrs-/Fußgängererfassung, Verkehrszeichenerkennung usw. Da der/die Sensor(en) 125 eine feste Beziehung zu dem Fahrzeug aufweist/aufweisen, wird die erfasste Position des straßenseitigen Objekts 185 direkt in dem einheitlichen Koordinatensystem dargestellt.
  • In einer oder mehreren beispielhaften Ausführungsformen kann die AR-Steuerung 120 das AR-Weltkoordinatensystem 175 (CAR) mit dem Fahrzeugkoordinatensystem 160 (Cv) unter Verwendung eines optischen Ankers 170 (mathematisch als „COA“ beschrieben) synchronisieren. Der optische Anker 170 kann eine feste Beziehung zu dem Fahrzeugkoordinatensystem 160 aufweisen, sodass C OA = F ( C V ) ,
    Figure DE102020128536A1_0001
    wobei der optische Anker 170 COA eine Funktion des Fahrzeugkoordinatensystems 160 Cv ist. In einer beispielhaften Ausführungsform kann die AR-Steuerung 120 das Fahrzeugkoordinatensystem 160 mit dem AR-Weltkoordinatensystem 175 unter Verwendung von einem oder mehreren 2D-Bildzielen (z. B. dem optischen Anker 170) auf zumindest einer Innenfläche des Fahrzeugs 105 koordinieren, wie etwa auf einem Armaturenbrett oder Dachhimmel (in 1 nicht gezeigt). Die Ebene eines Bildziels (in 1 als eine Ebene dargestellt, die durch die planaren Pfeile Yv und Zv definiert ist) kann zwei Achsen des Fahrzeugkoordinatensystems 160 eindeutig definieren, wobei eine Normale des optischen Ankers 170 (als der Vektorpfeil Xv definiert) die dritte 3. Achse in dem Koordinatensystem definieren kann. In weiteren Aspekten können auch andere 3D-Innenflächen von beispielsweise Innenverkleidungen des Fahrzeugs 105 oder einer anderen Komponente als optischer Anker dienen.
  • Das tragbare AR-System 145 kann eine oder mehrere Kameras (in 1 nicht gezeigt) beinhalten, die konfiguriert sind, um ein Bild des optischen Ankers 170 zu erhalten. Innerhalb des tragbaren AR-Systems 145 kann der virtuelle Objektanker 180 das AR-Weltkoordinatensystem 175 (CAR) eindeutig definieren. In einem Aspekt kann die in dem tragbaren AR-System 145 ausgestattete Kamera den optischen Anker 170 nachverfolgen und den optischen Anker 170 an seinen virtuellen Zwilling (dem virtuellen Objektanker 180) anpassen und somit ein erstes Koordinatensystem mit einem zweiten Koordinatensystem ausrichten, das zumindest teilweise auf der Innenfläche des Fahrzeugs 105 basiert, auf welcher der optische Anker 170 angeordnet ist. Anders ausgedrückt kann das AR-Weltkoordinatensystem 175 (CAR) eine feste Beziehung zu dem optischen Anker 170 aufweisen, sodass C AR = G ( C OA ) ,
    Figure DE102020128536A1_0002
    wobei G die Funktion ist, die das AR-Weltkoordinatensystem 175 (CAR) deterministisch dem durch den optischen Anker (COA) definierten Koordinatensystem zuordnet, das wiederum eine feste Beziehung zu dem Fahrzeugkoordinatensystem (Cv) aufweist. In einigen Ausführungsformen kann die AR-Steuerung 120 die vorangehenden Funktionen (F und G) umsetzen und das AR-Weltkoordinatensystem 175 kontinuierlich aktualisieren, sodass es mit dem Fahrzeugkoordinatensystem 160 synchronisiert ist. Anders ausgedrückt wird das Cv in Echtzeit auf das AR-Weltkoordinatensystem 175 (CAR) abgebildet. In einem Aspekt kann das virtuelle 3D-Objekt 190, das in dem AR-Weltkoordinatensystem 175 angezeigt wird, korrekt mit dem realen straßenseitigen Objekt 185 überlagert werden. Die relative Position des straßenseitigen Objekts 185 zu dem Fahrzeug wird anhand seiner GPS-Koordinaten berechnet.
  • 2 ist ein Funktionsschema des Automobilcomputers 110 und des tragbaren AR-Systems 145, die gemäß der vorliegenden Offenbarung genutzt werden können. Der Automobilcomputer 110 und/oder das tragbare AR-System 145, der/das/die hierin beschrieben ist/sind, kann/können in Hardware, Software (z. B. Firmware) oder einer Kombination davon umgesetzt sein.
  • Wie in 2 gezeigt, kann der Automobilcomputer 110 den einen oder die mehreren Prozessoren 202 und einen Speicher 204 beinhalten, der kommunikativ an den einen oder die mehreren Prozessoren 202 gekoppelt ist. Der Automobilcomputer 110 kann über eine Speicherschnittstelle 208 mit einer oder mehreren internen und/oder externen Speichervorrichtungen, wie zum Beispiel einer oder mehreren Datenbanken (in 2 nicht gezeigt), verbunden sein und Informationen mit diesen kommunizieren. Beispielsweise kann der Automobilcomputer 110 in einer Ausführungsform mit einer internen und/oder externen Datenbank, wie etwa der Insassenprofildatenbank 300, die nachfolgend in Bezug auf 3 genauer beschrieben ist, verbunden sein und Informationen mit dieser kommunizieren.
  • Der Automobilcomputer 100 kann einen oder mehrere Netzwerkadapter 210 beinhalten, die dazu in der Lage sind, den Automobilcomputer 110 kommunikativ mit dem einen oder den mehreren Netzwerken 155 zu verbinden (in 1 gezeigt). In einigen Ausführungsbeispielen kann/können das/die Netzwerk(e) 155 eine Telekommunikationsnetzinfrastruktur sein oder beinhalten. In solchen Ausführungsformen kann der Automobilcomputer 110 ferner einen oder mehrere Telekommunikationsadapter 212 beinhalten.
  • Der Automobilcomputer 110 kann ferner eine oder mehrere Eingabevorrichtungen (z. B. den/die Sensor(en) 125, wie in 1 gezeigt) und/oder eine oder mehrere Ausgabevorrichtungen (in 2 nicht gezeigt) beinhalten und/oder durch den E/A-Adapter 206 mit diesen verbunden sein.
  • Der eine oder die mehreren Prozessoren 202 sind gemeinsam eine Hardwarevorrichtung zum Ausführen von Programmanweisungen (auch bekannt als Software), die in einem computerlesbaren Speicher (z. B. dem Speicher 204) gespeichert sind. Der eine oder die mehreren Prozessoren 202 können Folgendes darstellen: einen kommerziell erhältlicher Prozessor, eine zentrale Verarbeitungseinheit (central processing unit - CPU), eine Vielzahl von CPUs, einen Hilfsprozessor neben mehreren anderen Prozessoren, die dem Automobilcomputer 110 zugeordnet sind, einen halbleiterbasierten Mikroprozessor (in Form eines Mikrochips oder Chipsatzes) oder im Allgemeinen eine beliebige Vorrichtung zur Ausführung von Programmanweisungen.
  • Der eine oder die mehreren Prozessoren 202 können in Kommunikation mit einer oder mehreren Speichervorrichtungen (z.B. dem Speicher 204 und/oder einer oder mehreren externen Datenbanken usw.) über eine Speicherschnittstelle 208 angeordnet sein. Die Speicherschnittstelle 208 kann außerdem eine Verbindung mit einer oder mehreren Speichervorrichtungen herstellen, einschließlich unter anderem einer oder mehrerer anderer Speicherlaufwerke (in 2 nicht dargestellt), einschließlich zum Beispiel eines Wechselplattenlaufwerks, eines Speichers eines Fahrzeugrechensystems, Cloud-Speicher usw., unter Verwendung von Verbindungsprotokollen, wie etwa Serial Advanced Technology Attachment (SATA), Integrated Drive Electronics (IDE), IEEE-1394, Universal Serial Bus (USB), Fibre Channel, Small Computer Systems Interface (SCSI) usw.
  • Der Speicher 204 kann einen Direktzugriffsspeicher (random access memors - RAM), wie zum Beispiel dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), synchronen Direktzugriffsspeicher (synchronous random access memory - SRAM) synchronen dynamischen Direktzugriffsspeicher (synchronous random access memory - SDRAM) usw., und einen Festwertspeicher (read-only memory - ROM) einschließen, was ein beliebiges oder mehrere nicht flüchtige Speicherelemente einschließen kann (z. B. löschbaren programmierbaren Festwertspeicher (erasable programmable read-only memory - EPROM), Flash-Speicher, elektronisch löschbaren programmierbaren Festwertspeicher (electronically erasable programmable read-only memory - EEPROM), Band, Compact-Disc-Festwertspeicher (compact disc read-only memory -CD-ROM) usw.). Ferner kann der Speicher 204 elektronische, magnetische, optische und/oder andere Arten von nicht flüchtigen computerlesbaren Speichermedien einschließen. In einigen Ausführungsformen kann der Speicher 204 außerdem eine verteilte Architektur beinhalten, wobei verschiedene Komponenten physisch voneinander entfernt gelegen sind, jedoch von dem einen oder den mehreren Prozessoren 202 aufgerufen werden können.
  • Die Anweisungen in dem Speicher 204 können ein oder mehrere getrennte Programme beinhalten, wovon jedes eine geordnete Auflistung von computerausführbaren Anweisungen zum Umsetzen von logischen Funktionen beinhalten kann. In dem Beispiel aus 2 können die Anweisungen in dem Speicher 204 ein Betriebssystem 214 beinhalten. Das Betriebssystem 214 kann die Ausführung anderer Computerprogramme, wie zum Beispiel der AR-Steuerung 120, (wie in 1 dargestellt) und/oder die Motorsteuerung 115 steuern und kann eine Planung, E/A-Steuerung, Datei- und Datenverwaltung, Speicherverwaltung und Kommunikationssteuerung und zugehörige Dienste bereitstellen.
  • Die auf dem Speicher 204 gespeicherten Programmanweisungen können ferner Anwendungsdaten 216 und Anweisungen zum Steuern und/oder Interagieren mit dem Computer über eine Benutzerschnittstelle 218 beinhalten. Die Anwendungsdaten 216 können zum Beispiel eine oder mehrere Datenbanken beinhalten, wie etwa die in 3 dargestellte Insassenprofildatenbank 300.
  • Der E/A-Adapter 206 kann eine Vielzahl von Eingabevorrichtungen (in 2 nicht gezeigt) mit dem Automobilcomputer 110 verbinden. Die Eingabevorrichtungen können zum Beispiel eine Tastatur, eine Maus, ein Mikrofon, einen Sensor usw. einschließen. Der E/A-Adapter 206 kann ferner einen Anzeigeadapter einschließen, der an eine oder mehrere Anzeigen gekoppelt ist, wie zum Beispiel an die Fahrzeug-Hardware 140, die ein InfotainmentSystem einschließen kann. Der E/A-Adapter 206 kann konfiguriert sein, um eine oder mehrere Eingabe/Ausgabe-(E/A-) Vorrichtungen mit dem Automobilcomputer 110 betriebsmäßig zu verbinden. Beispielsweise kann der E/A-Adapter 206 eine Tastatur und eine Maus, einen Touchscreen, einen Lautsprecher, eine haptische Ausgabevorrichtung oder eine andere Ausgabevorrichtung verbinden (in 2 nicht gezeigt). Die Ausgabevorrichtungen können unter anderem einen Drucker, einen Scanner und/oder dergleichen einschließen. Andere Ausgabevorrichtungen können ebenfalls eingeschlossen sein, wenngleich dies in 2 nicht gezeigt ist. Schließlich können die mit dem E/A-Adapter 206 verbindbaren E/A-Vorrichtungen ferner Vorrichtungen einschließen, die sowohl Eingaben als auch Ausgaben kommunizieren, zum Beispiel unter anderem eine Netzwerkschnittstellenkarte (network interface card - NIC) oder einen Modulator/Demodulator (für den Zugriff auf andere Dateien, Vorrichtungen, Systeme oder ein Netzwerk), einen Funkfrequenz-(radio frequency - RF-) oder einen anderen Sendeempfänger, eine Telefonschnittstelle, eine Brücke, einen Router und dergleichen.
  • Gemäß einiger beispielhafter Ausführungsformen kann der Automobilcomputer 110 einen oder mehrere Telekommunikationsadapter 212 beinhalten. Der/die Mobilkommunikationsadapter 212 kann ein globales Positionsbestimmungssystem (GPS), Mobilfunk-, Mobil- und/oder andere Kommunikationsprotokolle für die drahtlose Kommunikation beinhalten. In einigen Aspekten kann die Fahrzeug-Hardware 140 (in 1 gezeigt) Informationen an den und von dem Automobilcomputer 110 über den/die Kommunikationsadapter 212 kommunizieren, die zum Beispiel Informationen beinhalten können, die dem tragbaren AR-System 145 zugeordnet sind.
  • Ein beispielhaftes tragbares System 145 erweiterter Realität (augmented reality - AR) kann eine Vielzahl von Modulen zum Bereitstellen einer AR-Erfahrung für Fahrzeuginsassen beinhalten, einschließlich zum Beispiel einer oder mehrerer tragbarer AR-Vorrichtungen, die von dem Fahrer und/oder einer beliebigen Anzahl an Mitfahrern des Fahrzeugs getragen werden können. Der Speicher 204 kann außerdem Programmanweisungen zum Kommunizieren von Informationen an das und von dem tragbaren AR-System 145 über einen oder mehrere Kommunikationsadapter 212 beinhalten. Beispielsweise kann der Speicher 204 ein Lokalisierungsmodul 222, ein Erfassungsmodul 224 und ein Insassenidentifikationssystem (Insassen-ID-System) 226 beinhalten.
  • Wie in 1 erörtert, kann der optische Anker 170 auf einer Innenfläche des Fahrzeugs 105 angeordnet sein. Eine Kamera (in 1-2 nicht gezeigt), die mit dem tragbaren AR-System 145 angeordnet und/oder kommunikativ an dieses gekoppelt ist, kann das AR-Weltkoordinatensystem 175 mit dem Fahrzeugkoordinatensystem 160 nachverfolgen und synchronisieren. Das Lokalisierungsmodul 222 kann einen oder mehrere Sensoren (z. B. den/die Sensor(en) 125, wie in 1 gezeigt) in dem Fahrzeug 105 beinhalten, wobei der/die Sensor(en) verwendet werden kann/können, um den Standort und die Ausrichtung des Fahrzeugs 105 unter Verwendung von Positionierungssystemen, wie etwa einem GPS, in Bezug auf andere Merkmale außerhalb des Fahrzeugs zu bestimmen, die im 3D-Raum ausgerichtet sein können.
  • Das Erfassungsmodul 224 kann Softwareanweisungen beinhalten, die zum Empfangen und Interpretieren von Sensorinformationen von dem/den Sensor(en) 125 (wie in 1 dargestellt) konfiguriert sind. Beispielsweise kann das Erfassungsmodul 224 Daten von einem oder mehreren Erfassungssensoren, wie etwa Tiefenkameras, Videokameras, einem LIDAR usw., empfangen und/oder kann dieses eine Computerbildverarbeitungssoftware beinhalten, die konfiguriert ist, um straßenseitige Objekte zumindest teilweise auf Grundlage der Daten zu erfassen, die von den Erfassungssensoren empfangen werden.
  • Der/die Netzwerkadapter 210 kann/können eine oder mehrere mit dem Internet der Dinge (Internet of Things - IoT) verbundene Vorrichtungen und/oder Module beinhalten, wie zum Beispiel ein Cloud-Modul. Der/die Netzwerkadapter 210 kann/können das Fahrzeug 105 mit dem/den Netzwerk(en) 155 verbinden, um Daten, wie etwa Wetter- und/oder POI-Informationen, abzurufen. Beispielsweise kann/können der/die Netzwerkadapter 210 mit dem/den Netzwerk(en) 155 verbunden werden, um Informationen zu erhalten, die einem Orientierungspunkt, einem geografischen Merkmal, einem Straßenmerkmal, einer Karte, einem Gebäude, einem Unternehmen usw. zugeordnet sind.
  • Das Insassen-ID-System 226 kann einen oder mehrere Mitfahrer und/oder Fahrer (gemeinsam Insassen) identifizieren, wenn diese in das Fahrzeug einsteigen, und Insassenkennungen abrufen, die dem einen oder den mehreren Insassen zugeordnet sind. Das Insassen-ID-System 226 kann einzelnen Benutzern eine eindeutige ID zuweisen, sodass die Insassenkennung insassenspezifische Informationen beinhaltet, die verwendet werden können, um jedem Fahrzeuginsassen eine einzigartige AR-Erfahrung bereitzustellen. Beispielhafte Informationen können zum Beispiel Navigationspräferenzen, Animationspräferenzen, Audiopräferenzen, AR-Spieleinstellungen und andere Informationen beinhalten, die vom Benutzer bevorzugte AR-Einstellungen angeben können. In weiteren Aspekten können die Insassenkennungen ein oder mehrere Details beinhalten, die dem Fahrzeug 105 zugeordnet sind, wie zum Beispiel eine Fahrzeugidentifikation (ID), (eine) Quick-Response-(QR-)Kodierung(en) des Fahrzeugs, die einen bestimmten Fahrzeuginnenraum eindeutig einem oder mehreren Datenbankeinträgen zuordnet/zuordnen, wie etwa eine Insassenkennung, und eine oder mehrere Kennungen tragbarer Vorrichtungen, die bestimmte AR-Vorrichtungen identifizieren, die (einem) bestimmten Insassen zugeordnet wurden.
  • Beispielsweise kann/können der/die Prozessor(en) 202 in einer Ausführungsform über ein dem Fahrzeug 105 zugeordnetes CAN-Netzwerk ein Bild des Benutzers empfangen, bei dem es sich um den Fahrer des tragbaren AR-Systems 145 handelt. Dementsprechend können eine oder mehrere Kameras (in 1-2 nicht gezeigt) innerhalb des Fahrzeugs 105 eine Abbildung des Gesichts des Fahrerbenutzers erhalten und das Bild zur Benutzeridentifizierung an den/die Prozessor(en) 202 übertragen. Der/die Prozessor(en) 202 kann/können eine Vielzahl von Gradientenvektoren generieren, die der Abbildung des Benutzers zugeordnet sind, wie zum Beispiel Gradientenvektoren, die Gesichtsmerkmalen des Benutzers zugeordnet sind (z. B. einer Entfernung zwischen den Augenwinkeln, einem Winkel der jeweiligen Merkmale, wie etwa Mund- und Augenwinkel usw.). Der/die Prozessor(en) 202 kann/können zumindest ein Gesichtsmerkmal aus der Vielzahl von Gradientenvektoren identifizieren und das zumindest eine Gesichtsmerkmal mit einer Vielzahl von Gesichtsmerkmalen vergleichen, die zumindest einem vorherigen Insassen des Fahrzeugs zugeordnet sind. Beispiesweise kann ein Gesichtsmerkmal Winkel der Augenwinkel des Insassen und einen Winkel, der zwischen den Mundwinkeln des Benutzers und einem Nasenmerkmal gebildet ist, beinhalten. Das zumindest eine Gesichtsmerkmal kann aus der Vielzahl von Gradientenvektoren identifiziert werden, indem Insassenprofildaten abgerufen werden, die dem Benutzerbild zugeordnet sind. Der/die Prozessor(en) 202 kann/können eine Übereinstimmung bestimmen, die dem zumindest einen Gesichtsmerkmal und den den Profildaten zugeordneten Orientierungspunktdaten zugeordnet ist, und eine oder mehrere gespeicherte AR-Erfahrungseinstellungen zumindest teilweise auf Grundlage der Insassenprofildaten ändern. Es versteht sich, dass die hierin beschriebenen Gesichtserfassungsschritte lediglich beispielhafte Schritte sind, um bekannte Verfahren zum Bestimmen der Benutzeridentität unter Verwendung von Gesichtsmerkmalen zu veranschaulichen, und nicht als einschränkend anzusehen sind.
  • Der/die Kommunikationsadapter 212 kann/können Daten von dem Fahrzeug 105 erheben und die Daten zwischen dem tragbaren AR-System 145, dem Automobilcomputer 110 und/oder dem/den Server(n) 150 übertragen. Der/die Kommunikationsadapter 212 und ein dem tragbaren AR-System 145 zugeordnetes Kommunikationsmodul 232 können Informationen zwischen den Rechensystemen über ein oder mehrere Datenübertragungsprotokolle übertragen, einschließlich zum Beispiel Wi-Fi oder Bluetooth®, Bluetooth Low-Energy ® und/oder eines anderen Datenübertragungsprotokolls. Die übertragenen Daten können Navigationsnachrichten beinhalten, die zum Beispiel einen Fahrzeugstandort, einen Fahrzeugkurs, ein oder mehrere Straßenranderfassungsergebnisse und andere Informationen beinhalten.
  • Das tragbare AR-System 145 kann eine Vielzahl von Modulen beinhalten, die in Verbindung mit dem fahrzeuginternen AR-System betrieben werden, das als Teil des Automobilcomputers 110 und/oder über diesen betrieben wird. Beispielsweise kann das tragbare AR-System 145 ein Betriebssystem 236, Anwendungsdaten 238, ein AR-Welt-Ankermodul 240, ein Erfassungsmarkierungs-/Warnmodul 242, ein weiteres Informationsanzeigemodul 244, einen AR-Informationsfilter 246 und/oder einen Kopf-/Blick-Tracker 248 beinhalten.
  • Das AR-Welt-Ankermodul 240 kann konfiguriert sein, um den optischen Anker 170 des Fahrzeugs 105 (in 1 dargestellt) nachzuverfolgen. Das AR-Welt-Ankermodul kann einen AR-Standortberechner beinhalten, der konfiguriert ist, um einen Standort von äußeren straßenseitigen Objekten (z. B. des straßenseitigen Objekts 185) bezogen auf das Fahrzeug 105 zu berechnen.
  • Das Erfassungsmarkierungs-/Warnmodul 242 kann konfiguriert sein, um eine Geometrie und/oder Nachrichten zu generieren, die Insassen auf straßenseitige Situationen aufmerksam machen, wie zum Beispiel Verkehrsunfälle, Straßenbau, Wetterwarnungen, Straßensperrungen usw.
  • Das weitere Informationsanzeigemodul 244 kann konfiguriert sein, um Informationen anzuzeigen, die das tragbare AR-System 145 von der IoT/Cloud-Verbindung in dem Fahrzeug 105 und insbesondere über den Automobilcomputer 110 empfangen kann.
  • Das tragbare AR-System kann ferner den AR-Informationsfilter 246 beinhalten, der konfiguriert ist, um AR-Inhalt auf Grundlage einer Insassenkennung und ferner auf Grundlage einer geschätzten Entfernung zwischen dem Fahrzeug 105 und dem straßenseitigen Objekt 185, die zumindest teilweise auf einem Blick und/oder einer Kopfhaltungsrichtung des Fahrzeuginsassen basiert, der das tragbare AR-System 145 trägt und/oder betreibt, und/oder auf Grundlage von Benutzerpräferenzen zu filtern, die der Insassenprofildatenbank zugeordnet sind (wobei die Datenbank nachfolgend in Bezug auf 3 beschrieben wird).
  • Das tragbare AR-System 145 kann ferner einen Kopf-/Blick-Tracker 248, der konfiguriert ist, um die Kopf- und Blickausrichtung des Benutzers nachzuverfolgen, während dieser das tragbare AR-System 145 trägt und/oder betreibt, und ein Erlebnissynchronisationsmodul 250 beinhalten, das konfiguriert ist, um ein AR-Erlebnis mit einer Vielzahl von AR-tragbaren Systemen (von denen eines das AR-tragbare System 145 ist) zu koordinieren.
  • Das tragbare AR-System 145 kann außerdem ein Rendering-Modul 252 beinhalten, das virtuelle 3D-Objekte (z. B. das virtuelle Objekt 190) generieren kann, die in dem Rendering-Modul 252 eingesehen werden können. In einer beispielhaften Ausführungsform kann das Rendering-Modul 252 ein virtuelles 3D-Objekt generieren, wie etwa einen Tag eines Punktes von Interesse (point-of-interest - POI. Bei einem POI-Tag kann es sich zum Beispiel um ein animiertes Logo oder eine Beschreibung eines Unternehmens handeln, das an einem geografischen Ort tätig ist, wobei das tragbare AR-System 145 das POI-Tag als ein holographisches Bild ausgibt, das mit Merkmalen und Objekten der realen Welt interagiert, wenn sich das Fahrzeug 105 der Adresse nähert, an der das Unternehmen tätig ist. Ein solches POI-Tag kann zum Beispiel eine animierte Grafik des Geschäftslogos sein, die sich in einer virtuellen Drehung um 365 Grad an einer virtuellen Position dreht, die durch den E/A-Adapter 234 des tragbaren AR-Systems 145 im Sichtfeld des Benutzers erscheint. In einem Beispiel kann das POI-Tag virtuell über einem Dach des Unternehmens oder eines anderen geografischen Punktes erscheinen. In einer weiteren Ausführungsform kann das POI-Tag Text oder andere beschreibende Informationen beinhalten, die einem geografischen Merkmal zugeordnet sind, wie etwa einem Berg, einem Tal, einer Klippe, einem Feld, einem See usw. In einer weiteren Ausführungsform kann das POI-Tag eine Fahrzeugmarke, ein Fahrzeugmodell usw. angeben. In einer weiteren Ausführungsform kann der POI eine Social-Media-Verbindung in einem vorbeifahrenden Fahrzeug oder am Straßenrand identifizieren und/oder eine beliebige andere Art von Informationen bereitstellen, die für einen Benutzer von Interesse sind. Andere Arten von Animationen, Punkten von Interessen, Tag-Typen usw. sind möglich und werden in Erwägung gezogen.
  • In einem Aspekt kann das Lokalisierungsmodul 222 des Automobilcomputers 110 Koordinatensysteme mit einem einheitlichen kartesischen Koordinatensystem (z. B. dem AR-Weltkoordinatensystem 175) synchronisieren, das zumindest teilweise auf einem oder mehreren Ankerpunkten basiert, indem ein oder mehrere 2D-Bildziele (z. B. der optische Anker 170) auf einer Innenfläche des Fahrzeugs 105 gelagert werden. In einer beispielhaften Ausführungsform kann das Lokalisierungsmodul 222 ein Codierungsschema oder mehrere Codierschemata verwenden, wie zum Beispiel ein Codierungsschema mit Augmented Reality Markup Language (ARML), um Szenen erweiterter Realität (augmented reality - AR), die durch das tragbare AR-System 145 beobachtet werden, mathematisch zu beschreiben und mit diesen zu interagieren. Ein solches beispielhaftes Codierungsschema ist neben vielen möglichen Codierschemata ein Codierungsschema, das innerhalb des Open Geospatial Consortium (OGC) von einer dedizierten Arbeitsgruppe der ARML-2.0-Norm entwickelt wurde. In dieser beispielhaften Ausführungsform kann das ARML-Codierungsschema eine Grammatik der Extensible Markup Language (XML) beinhalten, um den Standort und das Erscheinungsbild von virtuellen Objekten in der Szene zu beschreiben, um einen dynamischen Zugriff auf die Eigenschaften der virtuellen Objekte (z. B. des virtuellen Objekts 190) sowie die Ereignisverarbeitung zu ermöglichen. ECMA Script (oder ES) ist eine Script-Sprachen-Spezifikation, die von ECMA International in ECMA-262 und ISO/IEC 16262 standardisiert wurde. Es wurde geschaffen, um JavaScript zu standardisieren, um mehrere unabhängige Umsetzungen zu fördern, wie zum Beispiel die hierin beschriebenen Ausführungsformen.
  • ARML als eine mögliche Umsetzung eines Codierungsschemas konzentriert sich auf visuelle erweiterte Realität, wobei die Kamera einer AR-fähigen Vorrichtung (des tragbaren AR-Systems 145) als Hauptausgabe für Szenarien erweiterter Realität dient. Das ARML-Objektmodell besteht aus drei Hauptkonzepten: Erstens können Objektmerkmale das physische Objekt darstellen, das erweitert werden sollte (z. B. das straßenseitige Objekt 185). Ein zweites Objektmodell kann ein oder mehrere visuelle Elemente beinhalten, die ein Erscheinungsbild des virtuellen Objekts in der erweiterten Szene beschreiben können. Bei einem beispielhaften visuellen Element kann es sich um eine/n oder mehrere Animationen, Töne, taktile Rückkopplungsanweisungen usw. handeln, die dem straßenseitigen Objekt 185 zugeordnet sein können. Ein drittes Objektmodell kann einen oder mehrere Anker beinhalten, welche die räumliche Beziehung zwischen den verschiedenen physischen Aspekten, wie etwa dem Fahrzeug 105, dem straßenseitigen Objekt 185 und der/den virtuellen Darstellung(en) des straßenseitigen Objekts 185 (in 1-2 nicht gezeigt) beschreiben. Ein Beispiel für das dritte Objektmodell in dem ARML-Objektmodellschema wird häufig als „RelativeTo“-Anker bezeichnet. In ARML-Objektmodellen kann ein RelativeTo-Anker die Definition eines Standorts eines Objekts (z. B. des straßenseitigen Objekts 185) bezogen auf andere Anker (z. B. den virtuellen Objektanker 180, wie in 1 gezeigt) oder die Position des Benutzers innerhalb des Fahrzeugs 105 ermöglichen. Der RelativeTo-Anker kann das Einrichten einer Szene und der Position aller in der Szene eingeschlossenen virtuellen Objekte (z.B. des virtuellen Objekts 190) auf Grundlage eines einzigen Ankers ermöglichen, wie zum Beispiel des optischen Ankers 170. In einer beispielhaften Ausführungsform können die RelativeTo-Informationen als Teil der Insassenprofildatenbank 300 (3) und/oder beliebige andere Informationen gespeichert werden, die als die Anwendungsdaten 216 und/oder die Anwendungsdaten 238 gespeichert sind.
  • In einer beispielhaften Ausführungsform kann das Lokalisierungsmodul 222 einen virtuellen Zwilling (den virtuellen Objektanker 180) generieren, der das Koordinatensystem der AR-Welt definiert. Das AR-Weltkoordinatensystem 175 kann zumindest teilweise auf Grundlage des virtuellen Objektankers 180 ausgerichtet sein, der als der virtuelle Zwilling des optischen Ankers 170 fungiert. Die Kamera, die dem tragbaren AR-System 145 zugeordnet ist, kann den optischen Anker 170 kontinuierlich nachverfolgen und an den virtuellen Zwilling des tragbaren AR-Systems 145 anpassen, um die zwei Koordinatensysteme 175 und 160 auszurichten. Dieser Vorgang kann bewirken, dass alle virtuellen 3D-Objekte, die durch das tragbare AR-System 145 erzeugt werden, korrekte Positionen bezogen auf das Fahrzeug 105 aufweisen.
  • In der physischen Welt können die Geolocations sowohl des Fahrzeugs 105 als auch des straßenseitigen Objekts 185 durch GPS-Koordinaten identifiziert werden, die in einem Polarkoordinatensystem auf der Erde definiert sind. Das Polarkoordinatensystem beinhaltet im Allgemeinen einen Breitengrad und einen Längengrad. Um den relativen Standort von dem straßenseitigen Objekt 185 zu dem Fahrzeug 105 zu berechnen, werden die Geolocation des Fahrzeugs 105 und die Geolocation des straßenseitigen Objekts 185 von dem natürlichen Polarsystem der GPS-Daten in ein kartesisches System umgewandelt, das X-Koordinatenwerte und Y-Koordinatenwerte in einer lokalen Karte beinhalten kann (in 2 nicht gezeigt).
  • Beispielsweise kann die AR-Steuerung 120 (in 1 gezeigt) diese Umwandlungsberechnung unter Verwendung des Lokalisierungsmoduls 222 durch Empfangen einer oder mehrerer GPS-Nachrichten von der Fahrzeug-Hardware 140 (in 1 gezeigt) mit Fahrzeugüberschriften und/oder anderen Informationen durchführen. Die AR-Steuerung 120 kann die GPS-Nachricht(en) von Breitengrad und Längengrad, einschließlich eines Grad-, Minuten- und Sekundenformats, in ein kartesisches Koordinatensystem umwandeln, das ein Dezimalgradformat umfasst. Beispielsweise kann die AR-Steuerung 120 die GPS-Koordinaten des Fahrzeugs 105 (in 1 als das Fahrzeugkoordinatensystem 160 ausgedrückt) als einen Ursprung betrachten und die GPS-Koordinaten eines Punktes von Interesse (z. B. die dem straßenseitigen Objekt 185 aus 1 zugeordneten GPS-Koordinaten) und des Fahrzeugkurswinkels betrachten und die GPS-Koordinaten des straßenseitigen Objekts 185 in kartesische Koordinaten in Bezug auf das Fahrzeugkoordinatensystem 160 umwandeln.
  • 3 stellt eine Insassenprofildatenbank 300 dar, die in Verbindung mit einer oder mehreren hierin beschriebenen Ausführungsformen verwendet werden kann. Beispielsweise kann die Insassenprofildatenbank 300 eine Vielzahl von Insassenkennungen 305, 310, 315 usw. beinhalten, die eindeutigen Benutzern des tragbaren AR-Systems 145 zugeordnet sein können. In einem Aspekt kann das Insassen-ID-System 226, das in 2 dargestellt ist, einen oder mehrere Mitfahrer und/oder Fahrer (gemeinsam Insassen) identifizieren, wenn sie in das Fahrzeug 105 einsteigen, eine Insassenkennung abrufen, die dem einen oder den mehreren Insassen zugeordnet ist (z. B. die Insassenkennung 305) und ihnen eine eindeutige ID zuweisen, sodass die Insassenkennung 305 insassenspezifische Informationen beinhaltet, die verwendet werden können, um jedem Insassen eine einzigartige AR-Erfahrung bereitzustellen. Beispielhafte Informationen zu AR-Präferenzen 325 können zum Beispiel eine oder mehrere Navigationspräferenzen 350 einschließen, die Benutzerpräferenzen zum Interagieren mit Navigationsaspekten des tragbaren AR-Systems 145 beschreiben können. In einem Beispiel kann sich eine Navigationspräferenz auf einen Farbcode beziehen und/oder diesen beinhalten, der einer Fahrtrichtung, einer Navigationsanweisung, einer dem Betrachter dargestellten Fahrtrichtung und/oder einer beliebigen anderen möglichen Navigationspräferenz zugeordnet ist, die dem Bereitstellen und/oder Empfangen von Navigationsrichtungen zugeordnet ist.
  • Die Insassenkennung 305 kann außerdem eine oder mehrere Animationspräferenzen 345 beinhalten, die Präferenzen beschreiben können, die der Animation der virtuellen POIs und anderen Objekten zugeordnet sind. Beispielsweise kann eine Animationspräferenz eine Drehzahl eines POI-Tags oder eines anderen Objekts, eine relative Größe des POI-Objekts, eine Spracheinstellung und/oder eine andere Animationspräferenz einschließen.
  • Die Insassenkennung 305 kann ferner eine oder mehrere Audiopräferenzen 340 beinhalten, die Audioeinstellungen beschreiben können, wie etwa Musik, Lautstärke usw.
  • Die Insassenkennung 305 kann außerdem eine oder mehrere AR-Spieleinstellungen 335 beinhalten, die auf bevorzugte AR-Spiele hinweisen, die von Insassen gespielt werden und/oder gespielt werden können.
  • Die Insassenkennung 305 kann außerdem fahrzeugspezifische QR-Informationen 330 beinhalten, die eindeutige Fahrzeuge angeben können, die den Insassenkennungen 305-315 zugeordnet sind. Beispielsweise können die Insassenkennungen 365 Benutzer identifizieren, die einem Fahrzeug zugeordnet sind, wobei die Benutzer auch anderen Fahrzeugen zugeordnet sind, die regelmäßig innerhalb einer Familiengruppe und/oder einer Mitfahrgruppe betrieben werden. Andere Informationen können Kennungen 370 von tragbaren Vorrichtungen und andere Informationen einschließen, die bevorzugte AR-Einstellungen angeben können. In weiteren Aspekten können die Insassenkennungen eine oder mehrere Fahrzeugidentifikationen (IDs) 355 und eine oder mehrere QR-Codierungen 360 des Fahrzeugs beinhalten, die bestimmte Fahrzeuginnenräume eindeutig einer oder mehreren Insassenkennungen zuordnen. Die in 3 dargestellte Insassenkennung 305 ist nicht als ausschließlich oder einschränkend zu verstehen und stellt lediglich ein Beispiel für Informationen bereit, die durch den Automobilcomputer 110 und/oder das tragbare AR-System 145 gespeichert und/oder verwendet werden können, um eine einzigartige AR-Erfahrung für einen Benutzer des tragbaren AR-Systems 145 individuell anzupassen.
  • 4 ist ein Ablaufdiagramm eines beispielhaften Verfahrens 400 der vorliegenden Offenbarung. Das Verfahren 400 beginnt mit einem ersten Schritt 405, der Bestimmen eines Standorts eines straßenseitigen Objekts bezogen auf einen Fahrzeuginnenraum auf Grundlage von einem oder mehreren von einem Fahrzeugstandort gemäß einem globalen Positionsbestimmungssystem (GPS), einem Fahrzeugkurs und/oder Umgebungsdaten, die von einem oder mehrere Sensoren empfangen werden, die an Bord des Fahrzeugs angeordnet sind, beinhalten kann. In einem Aspekt kann das Bestimmen des Standorts des straßenseitigen Objekts Generieren eines synchronisierten Fahrzeugkoordinatensystems (z.B. des AR-Weltkoordinatensystems 175) umfassen, das einer virtuellen Darstellung eines Fahrzeuginnenraums des Fahrzeugs 105 zugeordnet ist. Im hierin verwendeten Sinne kann eine virtuelle Darstellung ein oder mehrere digitale Modelle eines Objekts beinhalten, die in einer Ausgabevorrichtung angezeigt werden können. Bei den hierin beschriebenen virtuellen Darstellungen kann es sich um zweidimensionale digitale Darstellungen von Objekten der realen Welt und/oder fiktiven Objekten, dreidimensionale digitale Darstellungen dieser Objekte, Darstellungen von Text, Tönen oder andere Darstellungen handeln, die der Rechenumgebung zugeordnet sind.
  • Bei Schritt 410 kann das Verfahren Synchronisieren eines Fahrzeugkoordinatensystems mit dem AR-Weltkoordinatensystem, in dem eine erste virtuelle Darstellung des straßenseitigen Objekts generiert wird, beinhalten. Das Synchronisieren kann zum Beispiel Folgendes beinhalten: Generieren einer ersten virtuellen Darstellung des straßenseitigen Objekts in einem AR-Weltkoordinatensystem, Zuweisen eines ersten Koordinatensystems zu der virtuellen Darstellung des Fahrzeuginnenraums, Zuweisen eines zweiten Koordinatensystems zu der AR-Welt, in der das virtuelle Objekt 190 (das an einem Objekt außerhalb des Fahrzeugs angebracht sein kann) angezeigt wird, und Synchronisieren des ersten Koordinatensystems und des zweiten Koordinatensystems mit kartesische Koordinaten zumindest teilweise auf Grundlage eines Ankerpunktes, der einer Fahrzeugoberfläche zugeordnet ist. Das Synchronisieren kann ferner Folgendes beinhalten: Empfangen einer GPS-Nachricht, die den GPS-Standort des Fahrzeugs 105 beinhalten kann, über ein CAN-Netzwerk, das dem Fahrzeug 105 zugeordnet ist, Zuweisen eines Fahrzeugursprungs zu der virtuellen Darstellung des Innenraums des Fahrzeugs 105 und Umwandeln des GPS-Standorts des Fahrzeugs von einem Polarkoordinatensystem in ein kartesisches Koordinatensystem. Das Synchronisieren kann ferner Generieren des synchronisierten Fahrzeugkoordinatensystems zumindest teilweise auf Grundlage des ersten Koordinatensystems und des zweiten Koordinatensystems beinhalten. In einigen Aspekten kann das tragbare AR-System 145 mit der virtuellen Darstellung des Innenraums des Fahrzeugs 105 und einer virtuellen Darstellung des straßenseitigen Objekts 185 ausgerichtet sein.
  • Bei Schritt 415 kann das Verfahren Ausrichten einer tragbaren Fahrervorrichtung erweiterter Realität (augmented reality - AR) mit dem synchronisierten Fahrzeugkoordinatensystem beinhalten. In einem Aspekt kann das Ausrichten des tragbaren AR-Systems 145 Generieren einer zweiten virtuellen Darstellung des straßenseitigen Objekts 185 über das tragbare AR-System 145 beinhalten. Der Automobilcomputer 110 kann die zweite virtuelle Darstellung des straßenseitigen Objekts mit dem GPS-Standort des Fahrzeugs, dem Fahrzeugkurs und der ersten virtuellen Darstellung des straßenseitigen Objekts 185 ausrichten.
  • Bei Schritt 420 kann das Verfahren Bestimmen einer Identität, die einem Benutzer des AR-Fahrer-Headsets zugeordnet ist, beinhalten. Bei Schritt 425 beinhaltet das Verfahren Generieren einer ersten virtuellen Darstellung des straßenseitigen Objekts, die mit dem GPS-Standort des Fahrzeugs und dem Fahrzeugkurs ausgerichtet ist, zumindest teilweise auf Grundlage der Identität, die dem Benutzer der tragbaren AR-Fahrervorrichtung zugeordnet ist.
  • Bei Schritt 430 kann das Verfahren Übertragen der ersten virtuellen Darstellung an die tragbare AR-Fahrervorrichtung beinhalten.
  • Aspekte der vorliegenden Offenbarung können mehrere Vorteile gegenüber herkömmlichen Verfahren bereitstellen. Beispielsweise weist das AR-System in einigen Ausführungsformen keine Einschränkungen des visuellen Sichtfelds (Field of View - FoV) auf, da der Fahrer, der das tragbare AR-System 145 trägt, seinen Kopf in eine beliebige Richtung drehen kann, während er das Fahrzeug 105 betreibt. Dieses Merkmal kann Fahrern zusätzliche Vorteile bereitstellen, die Sicherheitsmerkmalen zugeordnet sind, die sich unter Verwendung der vorliegenden Offenbarung nicht außerhalb ihres FoV befinden. Mitfahrer, die das tragbare AR-System 145 verwenden, können sich auch unabhängig über straßenseitige Situationen und Punkte von Interesse bewusst sein. In weiteren Aspekten können mehrere Insassen personalisierte virtuelle Bilder ansehen und ihre AR-Erfahrung gemäß individuellen Benutzerpräferenzen anpassen. Einzelne Benutzer können gleichzeitig mit derselben AR-Umgebung interagieren. Noch weitere Vorteile können die Fähigkeit für Benutzer des AR-tragbaren Systems 145, mit den AR-Umgebungen zu interagieren, selbst wenn sie aus dem Fahrzeug 105 aussteigen, oder die Verwendung des tragbaren AR-Systems 145 mit einer drahtlosen oder mobilen Verbindung durch eine mobile Vorrichtung (in 1-4 nicht gezeigt) einschließen. Dementsprechend kann das tragbare AR-System 145 den Benutzern weiterhin eine AR-Erfahrung bereitstellen, nachdem die Benutzer des tragbaren AR-Systems 145 das Fahrzeug 105 verlassen haben. Andere Vorteile werden in Erwägung gezogen und sind möglich.
  • In der vorangehenden Offenbarung ist auf die beigefügten Zeichnungen Bezug genommen worden, die einen Teil hiervon bilden und spezifische Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung umgesetzt werden kann. Es versteht sich, dass auch andere Umsetzungen genutzt und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“, „eine beispielhafte Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, wobei jedoch nicht unbedingt jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten muss.Darüber hinaus beziehen sich solche Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner wird, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, der Fachmann ein(e) solche(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen erkennen, ob dies nun ausdrücklich beschrieben ist oder nicht.
  • Rechenvorrichtungen können computerausführbare Anweisungen beinhalten, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorangehend aufgeführten, ausführbar sein können. Computerausführbare Anweisungen können von Computerprogrammen unter Verwendung einer Vielfalt an Programmiersprachen und/oder - techniken, einschließlich unter anderem, entweder allein oder in Kombination, Java™, C, C++, Visual Basic, Java Script, Perl usw., kompiliert oder interpretiert werden. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse, einschließlich eines oder mehrerer der in dieser Schrift beschriebenen Prozesse, durchführt. Solche Anweisungen und anderen Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übertragen werden.
  • Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) schließt ein beliebiges nicht transitorisches (z. B. greifbares) Medium ein, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) ausgelesen werden können. Ein solches Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien und flüchtiger Medien.
  • Datenbanken, Daten-Repositorys oder andere hierin beschriebene Datenspeicher können verschiedene Arten von Mechanismen zum Speichern, Zugreifen auf und Abrufen verschiedene/r Arten von Daten beinhalten. Beispielhafte Mechanismen zum Speichern können eine hierarchische Datenbank, einen Satz von Dateien in einem Dateisystem, eine Anwendungsdatenbank in einem proprietären Format, ein relationales Datenbankverwaltungssystem (relational database management system - RDBMS) usw. beinhalten. Die Datenspeicher können zudem eine oder mehrere Rechenvorrichtungen und ein Betriebssystem, wie etwa eines der vorangehend erwähnten, beinhalten.
  • In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, Personal Computern usw.) umgesetzt und auf diesen zugeordneten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sein. Ein Computerprogrammprodukt kann solche auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
  • Der Fachmann wird verstehen, dass die vorliegende Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, zu denen Fahrzeugcomputer im Armaturenbrett, Personal Computer, Desktop-Computer, Laptop-Computer, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netz-PCs, Minicomputer, Mainframe-Computer, mobile Telekommunikationsvorrichtungen und dergleichen gehören.
  • Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen umgesetzt werden, in denen sowohl lokale Computersysteme als auch Remote-Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine beliebige Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen als auch in Remote-Speichervorrichtungen befinden.
  • Hinsichtlich der in dieser Schrift beschriebenen Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte solcher Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, solche Prozesse jedoch praktisch umgesetzt werden könnten, wobei die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt, dienen die Beschreibungen von Prozessen in dieser Schrift dem Zwecke der Veranschaulichung verschiedener Ausführungsformen und sie sollten keinesfalls dahingehend ausgelegt werden, dass sie die Ansprüche einschränken.
  • Dementsprechend versteht es sich, dass die vorangehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Aus der Lektüre der vorangehenden Beschreibung ergeben sich viele andere Ausführungsformen und Anwendungen als die aufgeführten Beispiele. Der Umfang sollte nicht unter Bezugnahme auf die vorangehende Beschreibung, sondern stattdessen unter Bezugnahme auf die beigefügten Ansprüche bestimmt werden, zusammen mit der gesamten Bandbreite an Äquivalenten, zu denen diese Ansprüche berechtigen. Es wird erwartet und ist beabsichtigt, dass zukünftige Entwicklungen in den in dieser Schrift beschriebenen Techniken eintreten werden und dass die offenbarten Systeme und Verfahren in solche zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass die Anmeldung modifiziert und variiert werden kann.
  • Ferner können gegebenenfalls die in dieser Schrift beschriebenen Funktionen in einem oder mehreren von Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten durchgeführt werden.Eine oder mehrere anwendungsspezifische integrierte Schaltungen (application specific integrated circuits - ASICs) können zum Beispiel programmiert sein, um eine(s) oder mehrere der in dieser Schrift beschriebenen Systeme und Vorgänge auszuführen.Gewisse Ausdrücke, die in der gesamten Beschreibung und den Patentansprüchen verwendet werden, beziehen sich auf bestimmte Systemkomponenten.Für den Fachmann liegt es auf der Hand, dass die Komponenten mit anderen Benennungen bezeichnet werden können.In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich in der Benennung, nicht jedoch in der Funktion unterscheiden.
  • Es ist anzumerken, dass die in dieser Schrift erörterten Sensorausführungsformen Computerhardware, -software oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen.In einem oder mehreren hierin beschriebenen nicht einschränkenden Beispielen kann ein Sensor Computercode beinhalten, der zur Ausführung in einem oder mehreren Prozessoren konfiguriert ist, und kann dieser eine Hardware-Logik/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird.
  • Während vorangehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, wurde die vorangehende Beschreibung zum Zwecke der Veranschaulichung und Beschreibung dargestellt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die konkrete offenbarte Form beschränken. Sämtliche der vorangehend erwähnten alternativen Umsetzungen können in einer beliebigen gewünschten Kombination genutzt werden, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Beispielsweise können beliebige der unter Bezugnahme auf eine bestimmte Vorrichtung oder eine bestimmte Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder eine andere Komponente durchgeführt werden.
  • Allen in den Ansprüchen verwendeten Ausdrücken soll deren allgemeine Bedeutung zugeordnet sein, wie sie Fachleuten auf dem Gebiet der in dieser Schrift beschriebenen Technologien bekannt ist, sofern in dieser Schrift kein ausdrücklicher Hinweis auf das Gegenteil erfolgt. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend zu verstehen, dass eines oder mehrere der angegebenen Elemente genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung nennt. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“, „können“ oder „könnten“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Umsetzungen diese nicht beinhalten können, es sei denn, es ist konkret etwas Anderes angegeben oder es ergibt sich etwas Anderes aus dem jeweils verwendeten Kontext. Somit soll solche bedingte Sprache nicht implizieren, dass Merkmale, Elemente und/oder Schritte in irgendeiner Weise für eine oder mehrere Ausführungsformen erforderlich sind.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung ist der Prozessor ferner konfiguriert, um die Anweisungen zu Folgendem auszuführen: Synchronisieren der Vorrichtung mit dem Fahrzeugkoordinatensystem; und Generieren einer zweiten virtuellen Darstellung des straßenseitigen Objekts in dem AR-Weltkoordinatensystem, das mit dem GPS-Standort ausgerichtet ist, über einen Eingabe/Ausgabe-(E/A-)Adapter und der ersten virtuellen Darstellung des straßenseitigen Objekts.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung ist der Prozessor konfiguriert, um die Anweisungen auszuführen, um ein synchronisiertes Fahrzeugkoordinatensystem zu generieren, das einer virtuellen Darstellung eines Fahrzeuginnenraums zugeordnet ist.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung ist der Prozessor konfiguriert, um die Anweisungen zu Folgendem auszuführen: Zuweisen eines ersten Koordinatensystems zu einer virtuellen Darstellung des Fahrzeuginnenraums; Zuweisen eines zweiten Koordinatensystems zu einem AR-Weltkoordinatensystem, in dem eine virtuelle Darstellung eines Objekts außerhalb des Fahrzeugs generiert wird; Synchronisieren des ersten Koordinatensystems und des zweiten Koordinatensystems mit kartesischen Koordinaten zumindest teilweise auf Grundlage eines Ankerpunktes, der einer Fahrzeugoberfläche zugeordnet ist; und Generieren des synchronisierten Koordinatensystems zumindest teilweise auf Grundlage der kartesischen Koordinaten.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung ist der Prozessor konfiguriert, um die Anweisungen zu Folgendem auszuführen: Empfangen einer GPS-Nachricht, die den GPS-Standort des Fahrzeugs umfasst, über ein Fahrzeugnetzwerk; Zuweisen eines Fahrzeugursprungs zu der virtuellen Darstellung des Fahrzeuginnenraums; Umwandeln des GPS-Standorts des Fahrzeugs von Polarkoordinaten in kartesische Koordinaten; und Generieren des synchronisierten Fahrzeugkoordinatensystems zumindest teilweise auf Grundlage des ersten Koordinatensystems und des zweiten Koordinatensystems, wobei die tragbare AR-Fahrervorrichtung mit der virtuellen Darstellung des Fahrzeuginnenraums und einer virtuellen Darstellung des straßenseitigen Objekts ausgerichtet ist.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung ist der Prozessor konfiguriert, um die Anweisungen zu Folgendem auszuführen: Empfangen eines Bildes des Benutzers der tragbaren AR-Fahrervorrichtung über ein Fahrzeugnetzwerk; Generieren einer Vielzahl von Gradientenvektoren, die dem Bild des Benutzers zugeordnet sind; Identifizieren von zumindest einem Gesichtsmerkmal aus der Vielzahl von Gradientenvektoren; Vergleichen des zumindest einen Gesichtsmerkmals mit einer Vielzahl von Gesichtsmerkmalen, die zumindest einem vorherigen Insassen des Fahrzeugs zugeordnet sind; Abrufen von Insassenprofildaten, die einer Übereinstimmung zugeordnet sind, die dem zumindest einen Gesichtsmerkmal zugeordnet ist; und Ändern einer oder mehrerer AR-Erfahrungseinstellungen zumindest teilweise auf Grundlage der Insassenprofildaten.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014009608 [0005]

Claims (15)

  1. Verfahren, umfassend: Bestimmen eines Standorts eines straßenseitigen Objekts bezogen auf einen Fahrzeuginnenraum auf Grundlage von einem oder mehreren von einem Fahrzeugstandort gemäß einem globalen Positionsbestimmungssystem (GPS), einem Fahrzeugkurs und Umgebungsdaten, die über einen oder mehrere Sensoren empfangen werden; Generieren einer ersten virtuellen Darstellung des straßenseitigen Objekts in einem Weltkoordinatensystem erweiterter Realität (augmented reality - AR); Synchronisieren eines Fahrzeugkoordinatensystems mit dem AR-Weltkoordinatensystem; Ausrichten einer tragbaren AR-Fahrervorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Bestimmen einer Identität, die einem Benutzer der tragbaren AR-Fahrervorrichtung zugeordnet ist; Generieren einer ersten virtuellen Darstellung des straßenseitigen Objekts, die dem AR-Weltkoordinatensystem zugeordnet und mit dem GPS-Standort des Fahrzeugs und dem Fahrzeugkurs ausgerichtet ist, zumindest teilweise auf Grundlage der Identität, die dem Benutzer der tragbaren AR-Fahrervorrichtung zugeordnet ist; und Übertragen der ersten virtuellen Darstellung an die tragbare AR-Fahrervorrichtung.
  2. Verfahren nach Anspruch 1, ferner umfassend: Ausrichten einer tragbaren AR-Mitfahrervorrichtung, die mit dem synchronisierten Fahrzeugkoordinatensystem synchronisiert ist; und Generieren einer zweiten virtuellen Darstellung des straßenseitigen Objekts in dem AR-Weltkoordinatensystem, die mit dem GPS-Standort des Fahrzeugs, dem Fahrzeugkurs und der ersten virtuellen Darstellung des straßenseitigen Objekts ausgerichtet ist, über die tragbare AR-Fahrervorrichtung.
  3. Verfahren nach Anspruch 1, wobei das Bestimmen des Standorts des straßenseitigen Objekts Generieren eines synchronisierten Fahrzeugkoordinatensystems umfasst, das einer virtuellen Darstellung eines Fahrzeuginnenraums zugeordnet ist.
  4. Verfahren nach Anspruch 3, wobei das Generieren des synchronisierten Fahrzeugkoordinatensystems Folgendes umfasst: Zuweisen eines ersten Koordinatensystems zu der virtuellen Darstellung des Fahrzeuginnenraums; Zuweisen eines zweiten Koordinatensystems zu dem AR-Weltkoordinatensystem, das der virtuellen Darstellung des Fahrzeuginnenraums zugeordnet ist; und Synchronisieren des ersten Koordinatensystems und des zweiten Koordinatensystems mit kartesische Koordinaten zumindest teilweise auf Grundlage eines Ankerpunktes, der einer Fahrzeugoberfläche zugeordnet ist.
  5. Verfahren nach Anspruch 4, wobei das Generieren des synchronisierten Fahrzeugkoordinatensystems ferner Folgendes umfasst: Empfangen einer GPS-Nachricht, die den GPS-Standort des Fahrzeugs umfasst, über ein Fahrzeugnetzwerk; Zuweisen eines Fahrzeugursprungs zu der virtuellen Darstellung des Fahrzeuginnenraums; Umwandeln des GPS-Standorts des Fahrzeugs von einem Polarkoordinatensystem in ein kartesisches Koordinatensystem; und Generieren des synchronisierten Fahrzeugkoordinatensystems zumindest teilweise auf Grundlage des ersten Koordinatensystems und des zweiten Koordinatensystems, wobei die tragbare AR-Fahrervorrichtung mit der virtuellen Darstellung des Fahrzeuginnenraums und der virtuellen Darstellung des straßenseitigen Objekts ausgerichtet ist.
  6. Verfahren nach Anspruch 1, wobei das Bestimmen der Identität, die dem Benutzer der tragbaren AR-Fahrervorrichtung zugeordnet ist, Folgendes umfasst: Empfangen eines Bildes des Benutzers der tragbaren AR-Fahrervorrichtung; Generieren einer Vielzahl von Gradientenvektoren, die dem Bild des Benutzers zugeordnet sind; Identifizieren von zumindest einem Gesichtsmerkmal aus der Vielzahl von Gradientenvektoren; Vergleichen des zumindest einen Gesichtsmerkmals mit einer Vielzahl von Gesichtsmerkmalen, die zumindest einem vorherigen Insassen des Fahrzeugs zugeordnet sind; Abrufen von Insassenprofildaten, die einer Übereinstimmung zugeordnet sind, die dem zumindest einen Gesichtsmerkmal zugeordnet ist; und Ändern einer oder mehrerer AR-Erfahrungseinstellungen zumindest teilweise auf Grundlage der Insassenprofildaten.
  7. Verfahren nach Anspruch 6, wobei die AR-Erfahrungseinstellungen eine oder mehrere von einer Toneinstellung, einer Helligkeitseinstellung, einer Bewegungseinstellung und einer Zeicheneinstellung umfassen.
  8. System, umfassend: einen Prozessor; und einen Speicher zum Speichern von ausführbaren Anweisungen, wobei der Prozessor konfiguriert ist, um die Anweisungen zu Folgendem auszuführen: Bestimmen eines Standorts eines straßenseitigen Objekts bezogen auf einen Fahrzeuginnenraum auf Grundlage von einem oder mehreren von einem Fahrzeugstandort gemäß einem globalen Positionsbestimmungssystem (GPS), einem Fahrzeugkurs und Umgebungsdaten; Generieren einer ersten virtuellen Darstellung des straßenseitigen Objekts in einem Weltkoordinatensystem erweiterter Realität (augmented reality - AR); Synchronisieren eines Fahrzeugkoordinatensystems mit dem AR-Weltkoordinatensystem; Ausrichten einer tragbaren AR-Fahrervorrichtung mit dem synchronisierten Fahrzeugkoordinatensystem; Bestimmen einer Identität, die einem Benutzer der tragbaren AR-Fahrervorrichtung zugeordnet ist; Generieren einer ersten virtuellen Darstellung des straßenseitigen Objekts, die dem AR-Weltkoordinatensystem zugeordnet und mit dem GPS-Standort des Fahrzeugs und dem Fahrzeugkurs ausgerichtet ist, zumindest teilweise auf Grundlage der Identität, die dem Benutzer der tragbaren AR-Fahrervorrichtung zugeordnet ist; und Übertragen der ersten virtuellen Darstellung an die tragbare AR-Fahrervorrichtung.
  9. System nach Anspruch 8, wobei der Prozessor ferner konfiguriert ist, um die Ausführungen zu Folgendem auszuführen: Ausrichten einer tragbaren AR-Mitfahrervorrichtung, die mit dem Fahrzeugkoordinatensystem synchronisiert ist; und Generieren einer zweiten virtuellen Darstellung des straßenseitigen Objekts in dem AR-Weltkoordinatensystem, die mit dem GPS-Standort des Fahrzeugs, dem Fahrzeugkurs und der ersten virtuellen Darstellung des straßenseitigen Objekts ausgerichtet ist, über die tragbare AR-Fahrervorrichtung.
  10. System nach Anspruch 8, wobei der Prozessor konfiguriert ist, um die Anweisungen auszuführen, um ein synchronisiertes Fahrzeugkoordinatensystem zu generieren, das einer virtuellen Darstellung eines Fahrzeuginnenraums zugeordnet ist.
  11. System nach Anspruch 8, wobei der Prozessor konfiguriert ist, um die Anweisungen zu Folgendem auszuführen: Zuweisen eines ersten Koordinatensystems zu einer virtuellen Darstellung des Fahrzeuginnenraums; Zuweisen eines zweiten Koordinatensystems zu einem AR-Weltkoordinatensystem, in dem die virtuelle Darstellung eines Objekts außerhalb des Fahrzeugs generiert wird; Synchronisieren des ersten Koordinatensystems und des zweiten Koordinatensystems mit kartesische Koordinaten zumindest teilweise auf Grundlage eines Ankerpunktes, der einer Fahrzeugoberfläche zugeordnet ist; und Generieren des synchronisierten Fahrzeugkoordinatensystems zumindest teilweise auf Grundlage der kartesischen Koordinaten.
  12. System nach Anspruch 11, wobei der Prozessor ferner konfiguriert ist, um die Ausführungen zu Folgendem auszuführen: Empfangen einer GPS-Nachricht, die den GPS-Standort des Fahrzeugs umfasst, über ein Fahrzeugnetzwerk; Zuweisen eines Fahrzeugursprungs zu der virtuellen Darstellung des Fahrzeuginnenraums; Umwandeln des GPS-Standorts des Fahrzeugs von Polarkoordinaten in kartesische Koordinaten; und Generieren des synchronisierten Fahrzeugkoordinatensystems zumindest teilweise auf Grundlage des ersten Koordinatensystems und des zweiten Koordinatensystems, wobei die tragbare AR-Fahrervorrichtung mit der virtuellen Darstellung des Fahrzeuginnenraums und einer virtuellen Darstellung des straßenseitigen Objekts ausgerichtet ist.
  13. System nach Anspruch 8, wobei der Prozessor konfiguriert ist, um die Anweisungen zu Folgendem auszuführen: Empfangen eines Bildes des Benutzers der tragbaren AR-Fahrervorrichtung über ein Fahrzeugnetzwerk; Generieren einer Vielzahl von Gradientenvektoren, die dem Bild des Benutzers zugeordnet sind; Identifizieren von zumindest einem Gesichtsmerkmal aus der Vielzahl von Gradientenvektoren; Vergleichen des zumindest einen Gesichtsmerkmals mit einer Vielzahl von Gesichtsmerkmalen, die zumindest einem vorherigen Insassen des Fahrzeugs zugeordnet sind; Abrufen von Insassenprofildaten, die einer Übereinstimmung zugeordnet sind, die dem zumindest einen Gesichtsmerkmal zugeordnet ist; und Ändern einer oder mehrerer AR-Erfahrungseinstellungen zumindest teilweise auf Grundlage der Insassenprofildaten.
  14. System nach Anspruch 13, wobei die AR-Erfahrungseinstellungen eine oder mehrere von einer Toneinstellung, einer Helligkeitseinstellung, einer Bewegungseinstellung und einer Zeicheneinstellung umfassen.
  15. Tragbare Vorrichtung erweiterter Realität (augmented reality - AR), umfassend: einen Prozessor; und einen Speicher zum Speichern von ausführbaren Anweisungen, wobei der Prozessor konfiguriert ist, um die Anweisungen zu Folgendem auszuführen: Empfangen von Umgebungsdaten über einen oder mehrere Sensoren; Generieren einer ersten virtuellen Darstellung eines straßenseitigen Objekts in einem AR-Weltkoordinatensystem zumindest teilweise auf Grundlage der Umgebungsdaten; Bestimmen eines Standorts eines straßenseitigen Objekts bezogen auf einen Fahrzeuginnenraum auf Grundlage von einem oder mehreren von einem Fahrzeugstandort gemäß einem globalen Positionsbestimmungssystem (GPS), einem Fahrzeugkurs und Umgebungsdaten; Synchronisieren eines Fahrzeugkoordinatensystems mit dem AR-Weltkoordinatensystem, in dem die erste virtuelle Darstellung des straßenseitigen Objekts generiert wird; Ausrichten einer tragbaren Fahrervorrichtung erweiterter Realität (augmented reality - AR) mit dem synchronisierten Fahrzeugkoordinatensystem; Bestimmen einer Identität, die einem Benutzer der tragbaren AR-Vorrichtung zugeordnet ist; Generieren einer ersten virtuellen Darstellung des straßenseitigen Objekts, die dem AR-Weltkoordinatensystem zugeordnet und mit dem GPS-Standort des Fahrzeugs und dem Fahrzeugkurs ausgerichtet ist, zumindest teilweise auf Grundlage der Identität, die dem Benutzer zugeordnet ist; und Ausgeben der ersten virtuellen Darstellung.
DE102020128536.1A 2019-10-30 2020-10-29 Tragbares system erweiterter realität für fahrzeuginsassen Pending DE102020128536A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/668560 2019-10-30
US16/668,560 US11127373B2 (en) 2019-10-30 2019-10-30 Augmented reality wearable system for vehicle occupants

Publications (1)

Publication Number Publication Date
DE102020128536A1 true DE102020128536A1 (de) 2021-05-06

Family

ID=75485746

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020128536.1A Pending DE102020128536A1 (de) 2019-10-30 2020-10-29 Tragbares system erweiterter realität für fahrzeuginsassen

Country Status (3)

Country Link
US (1) US11127373B2 (de)
CN (1) CN112750206A (de)
DE (1) DE102020128536A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475409B2 (en) 2017-06-07 2022-10-18 Digital Seat Media, Inc. Method and system for digital record verification
US11610342B2 (en) * 2020-09-17 2023-03-21 Ford Global Technologies, Llc Integrated augmented reality system for sharing of augmented reality content between vehicle occupants
WO2022232773A1 (en) * 2021-04-27 2022-11-03 Digital Seat Media, Inc. Wagering platforms and access derived from machine-readable codes
US11798276B2 (en) * 2021-06-03 2023-10-24 At&T Intellectual Property I, L.P. Providing information about members of a group using an augmented reality display
US11430193B1 (en) * 2021-07-29 2022-08-30 Argyle Inc. Resilient interdependent spatial alignment to improve and maintain spatial alignment between two coordinate systems for augmented reality and other applications
US20230063194A1 (en) * 2021-08-29 2023-03-02 Yu Jiang Tham Controlling iot devices through ar object interaction
US11941231B2 (en) 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US11954774B2 (en) 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
WO2023037347A1 (en) * 2021-09-13 2023-03-16 Mobileye Vision Technologies Ltd. Map features delivered via augmented reality (ar)
US12005919B2 (en) 2022-02-22 2024-06-11 Toyota Research Institute, Inc. Varying extended reality content based on risk level of a driving environment
CN114996183A (zh) * 2022-06-07 2022-09-02 蔚来汽车科技(安徽)有限公司 一种车载增强现实系统、车辆以及通信实现方法
US20240020928A1 (en) * 2022-07-08 2024-01-18 Qualcomm Incorporated Techniques to facilitate a cloud-based vehicle xr experience
CN115690194B (zh) * 2022-10-17 2023-09-19 广州赤兔宸行科技有限公司 一种车载xr设备定位方法、装置、设备及存储介质
CN116974417B (zh) * 2023-07-25 2024-03-29 江苏泽景汽车电子股份有限公司 显示控制方法及装置、电子设备、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098008A1 (en) 2012-10-04 2014-04-10 Ford Global Technologies, Llc Method and apparatus for vehicle enabled visual augmentation
DE102014009608A1 (de) 2014-06-27 2015-12-31 Audi Ag Betrieb einer AR-Brille im Kraftfahrzeug
US10977865B2 (en) * 2015-08-04 2021-04-13 Seyed-Nima Yasrebi Augmented reality in vehicle platforms
US11307042B2 (en) * 2015-09-24 2022-04-19 Allstate Insurance Company Three-dimensional risk maps
CN207164368U (zh) 2017-08-31 2018-03-30 北京新能源汽车股份有限公司 车载增强现实系统
US20190138797A1 (en) * 2017-11-09 2019-05-09 Mindtronic Ai Co.,Ltd. Configuration system and method

Also Published As

Publication number Publication date
CN112750206A (zh) 2021-05-04
US11127373B2 (en) 2021-09-21
US20210134248A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
DE102020128536A1 (de) Tragbares system erweiterter realität für fahrzeuginsassen
DE112019001605T5 (de) Trainieren, testen und verifizieren von autonomen maschinen unter verwendung simulierter umgebungen
DE112020000369T5 (de) Objekterfassung unter verwendung von verzerrten polygonen, die zur parkplatzerfassung geeignet ist
DE112020002602T5 (de) Multi-objektverfolgung mit hilfe von korrelationsfiltern in videoanalyseanwendungen
DE112020002126T5 (de) Erkennung von kreuzungsposen in autonomen maschinenanwendungen
DE102021126254A1 (de) Überwachen der Aufmerksamkeit und der kognitiven Belastung der Insassen für autonome und halbautonome Fahranwendungen
DE112020002166T5 (de) Simulation realistischer testdaten aus transformierten sensordaten der realen welt für autonome maschinenanwendungen
DE102019115783A1 (de) Kollisionsverhinderung für ein verbundenes fahrzeug auf der grundlage eines digitalen verhaltenszwillings
DE102021100065A1 (de) Verwendung neuronaler netze zur fehlererkennung bei anwendungen für autonomes fahren
DE102021117456A1 (de) Systeme und verfahren zur risikobewertung und gerichteten warnung bei fussgängerüberwegen
DE112020001897T5 (de) Trainieren neuronaler Netze unter Verwendung von Grundwahrheitsdaten, die mit Karteninformationen ergänzt wurden, für autonome Maschinenanwendungen
DE102012205316B4 (de) Navigationssystem und Anzeigeverfahren hiervon
DE102021124168A1 (de) Integriertes augmented-reality-system zum teilen von augmented-reality-inhalt zwischen fahrzeuginsassen
DE112019000049T5 (de) Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
DE112020000413T5 (de) Detektion von orientierungspunkten unter verwendung von kurvenanpassung für anwendungen für autonomes fahren
DE112018001422T5 (de) Anzeigesteuersystem und verfahren zum erzeugen einer virtuellen umgebung in einem fahrzeug
DE102020115479A1 (de) Erweiterte bildgebung mit hohem dynamikumfang und tone -mapping
DE102020100685A1 (de) Vorhersage zeitlicher informationen in autonomenmaschinenanwendungen
DE112014007007T5 (de) Informationsanzeige-Steuersystem und Verfahren zum Steuern einer Anzeige einer Information
DE102019128691A1 (de) Verfahren und vorrichtungen zum erleichtern der navigation unter verwendung einer windschutzscheibenanzeige
DE102010003851A1 (de) Verfahren und Informationssystem zum Markieren eines Zielorts für ein Fahrzeug
DE112018004904T5 (de) Informationsverarbeitungseinrichtung, selbstpositionsschätzverfahren und programm
DE102022104026A1 (de) Erzeugung von ground-truth-daten für die wahrnehmung durch tiefe neuronale netze in anwendungen für autonomes fahren
DE102017217923A1 (de) Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
WO2020048718A1 (de) Konzept zum überwachen und planen einer bewegung eines fortbewegungsmittels

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: LORENZ SEIDLER GOSSEL RECHTSANWAELTE PATENTANW, DE