DE102016224122A1 - Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug - Google Patents

Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug Download PDF

Info

Publication number
DE102016224122A1
DE102016224122A1 DE102016224122.2A DE102016224122A DE102016224122A1 DE 102016224122 A1 DE102016224122 A1 DE 102016224122A1 DE 102016224122 A DE102016224122 A DE 102016224122A DE 102016224122 A1 DE102016224122 A1 DE 102016224122A1
Authority
DE
Germany
Prior art keywords
motor vehicle
glasses
ego
interior
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016224122.2A
Other languages
English (en)
Inventor
Daniel Profendiner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102016224122.2A priority Critical patent/DE102016224122A1/de
Publication of DE102016224122A1 publication Critical patent/DE102016224122A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Vorrichtung zum Betreiben einer VR-Brille (11) in einem Innenraum (17) eines Kraftfahrzeugs (10), wobei durch eine Steuervorrichtung (18) Rotationssignale, die eine rotatorische Lageänderung (23) der VR-Brille (11) beschreiben, empfangen werden und eine Ego-Perspektive (22), aus welcher eine virtuelle Umgebung (20) dargestellt wird, in Abhängigkeit von den Rotationssignalen verändert wird, wobei die Ego-Perspektive (22) von einem Ego-Punkt (26) aus dargestellt wird, der sich in einem virtuellen Objekt (25) befindet, dessen Bewegung innerhalb der virtuellen Umgebung (20) in Abhängigkeit von Sensorsignalen (26) des Kraftfahrzeugs (10) gesteuert wird. Die Erfindung sieht vor, dass durch die Steuervorrichtung (18) aus einer an der VR-Brille (11) angeordneten Kamera (33) ein Kamerabild des Innenraums (17) empfangen wird und in Abhängigkeit von dem Kamerabild eine Relativlage der VR-Brille (11) bezüglich des Kraftfahrzeugs (10) erkannt und der Ego-Punkt (26) in Bezug auf das virtuelle Objekt (20) in Abhängigkeit von der erkannten Relativlage eingestellt wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben einer VR-Brille (VR-Virtual Reality, virtuelle Realität). Die VR-Brille wird innerhalb eines Innenraums eines Kraftfahrzeugs betrieben, also in einer bewegten Umgebung. Zu der Erfindung gehören auch eine Steuervorrichtung für die VR-Brille, die VR-Brille selbst sowie ein Kraftfahrzeug mit der erfindungsgemäßen VR-Brille.
  • Eine VR-Brille sieht vor, dass ein Blickfeld eines Benutzers zu einer realen Umgebung hin abgedeckt wird. Wird die VR-Brille im Innenraum eines Kraftfahrzeugs betrieben, ist also das Blickfeld zu dem Innenraum des Kraftfahrzeugs hin abgedeckt. In das Blickfeld wird eine virtuelle Umgebung eingeblendet. Diese virtuelle Umgebung wird dem Benutzer aus einer Perspektive dargestellt, die hier als Ego-Perspektive (Ich-Perspektive) bezeichnet ist. Um den Effekt der sogenannten Immersion zu erzeugen, wird diese Ego-Perspektive in Abhängigkeit von einer Kopfbewegung des Benutzers angepasst oder verändert. Hierzu werden aus einer Sensoreinrichtung, die sich zum Beispiel an der VR-Brille selbst befinden kann, Rotationssignale empfangen. Diese Rotationssignale beschreiben eine rotatorische Lageänderung der VR-Brille. Die Ego-Perspektive wird in Abhängigkeit von diesen Rotationssignalen verändert oder eingestellt.
  • Die Verwendung der virtuellen Realität im Unterhaltungsbereich für Fahrzeugbeifahrer und andere Fahrgäste (sowie im Rahmen eines autonomen Fahrbetriebs auch für den Fahrer) weist den Vorteil auf, dass Unterhaltung dargeboten werden kann, die frei von dem Effekt der Bewegungsübelkeit (Motion Sickness) ausgestaltet werden kann. Dies ist bei einigen Leuten dagegen nicht der Fall, wenn sie beispielsweise versuchen, während im Kraftfahrzeug einer Fahrt ein Buch zu lesen.
  • Um die Bewegungsübelkeit zu verhindern, ist die Ego-Perspektive von einem Blickpunkt aus dargestellt, der hier als Ego-Punkt bezeichnet ist und der sich in der virtuellen Umgebung in oder an einem virtuellen Objekt befindet. Dieses virtuelle Objekt weist die Besonderheit auf, dass dessen Bewegung innerhalb der virtuellen Umgebung in Abhängigkeit von Sensorsignalen des Kraftfahrzeugs gesteuert wird. Das virtuelle Objekt kann sich also auf Grundlage der Sensorsignale in der virtuellen Umgebung bewegen, wie das Kraftfahrzeug in der realen Umgebung. Das Darstellen solcher Objekte ist beispielsweise aus der DE 10 2014 019 579 A1 bekannt.
  • Indem der Ego-Punkt an oder in einem solchen Objekt angeordnet oder dargestellt wird, bewegt sich der Ego-Punkt mit dem Objekt mit und kann somit dem Benutzer eine Ego-Perspektive bieten, die sich in Bezug auf Richtungsänderungen und damit Eindrücke einer Längsbeschleunigung und Querbeschleunigung den vom Benutzer durch seine Sinnesorgane empfundenen Beschleunigungen entspricht, die durch die Bewegung und Beschleunigung des Kraftfahrzeugs verursacht werden. Die Verhindert die Bewegungsübelkeit.
  • Ein Problem bei der dargestellten Konstellation aus der Sensoreinrichtung für die Rotationssignale (zum Erfassen der rotatorischen Lageänderung der VR-Brille) einerseits und der Nutzung von Sensorsignalen des Kraftfahrzeugs (zum Steuern der Bewegung des virtuellen Objekts) andererseits ist, dass man zwei Sensoreinrichtungen aufeinander abstimmen muss.
  • Aus der DE 10 2014 015 871 A1 ist hierzu bekannt, alle Sensoren fahrzeugseitig bereitzustellen, wodurch die Synchronisation und/oder das Vermeiden einer Drift zwischen den Sensorsignalen vereinfacht ist.
  • Der Erfindung liegt die Aufgabe zugrunde, eine Sensoreinrichtung zum Erfassen einer rotatorischen Lageänderung einer VR-Brille einerseits und eine Sensoreinrichtung zum Erzeugen von Sensorsignalen eines Kraftfahrzeugs zur Beschreibung der Fahrzeugbewegung andererseits aufeinander abzustimmen.
  • Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Ansprüche, die folgende Beschreibung sowie die Figur beschrieben. Ausgehend von der eingangs beschriebenen Steuerung der VR-Brille zum Einstellen der Ego-Perspektive in Abhängigkeit von den Rotationssignalen und dem Darstellen des Ego-Punkts in einem virtuellen Objekt, das gemäß den Sensorsignalen des Kraftfahrzeugs gesteuert wird, sieht die Erfindung nun Folgendes vor. Durch die Steuervorrichtung wird aus zumindest einer an der VR-Brille angeordneten Kamera zumindest ein Kamerabild des Innenraums empfangen. Indem die zumindest eine Kamera an der VR-Brille angeordnet ist, folgt sie also jeder Bewegung der VR-Brille im Innenraum. In Abhängigkeit von dem zumindest einen Kamerabild wird eine Relativlage der VR-Brille bezüglich des Kraftfahrzeugs erkannt. Die Steuervorrichtung kann hierzu beispielsweise Beschreibungsdaten des Innenraums des Kraftfahrzeugs gespeichert halten und diese Beschreibungsdaten mit dem zumindest einen Kamerabild vergleichen. Hieraus kann ermittelt werden, aus welcher Perspektive oder Position heraus die zumindest eine Kamera den Innenraum abgebildet oder fotografiert oder gefilmt hat. Somit kann also die Relativlage der VR-Brille bezüglich des Innenraums oder allgemein des Kraftfahrzeugs ermittelt werden. Die Ego-Perspektive im virtuellen Raum wird dann in Bezug auf das virtuelle Objekt in Abhängigkeit von der erkannten Relativlage eingestellt. Mit anderen Worten ermittelt die Steuervorrichtung anhand des zumindest einen Kamerabilds eine Referenzausrichtung der VR-Brille bezüglich des Innenraums. Es wird also erkannt, in welche Richtung die VR-Brille ausgerichtet ist, also welche Relativlage die VR-Brille bezüglich des Innenraums aufweist. Schaut der Benutzer beispielsweise zur Seite, hat er also den Kopf zur Seite gedreht, so ist eine Vorwärts-Blickrichtung der VR-Brille quer zur Vorwärtsfahrtrichtung des Kraftfahrzeugs ausgerichtet. Bewegt sich das Fahrzeug vorwärts, so muss also der Ego-Punkt nicht ebenfalls vorwärts (in Richtung der Vorwärts-Blickrichtung der VR-Brille) bewegt werden, sondern eben quer dazu zur Seite, damit er sich in dieselbe Richtung wie das virtuelle Objekt bewegt.
  • Durch die Erfindung ergibt sich somit der Vorteil, dass ein Koordinatensystem, in welchem die rotatorische Lageänderung der VR-Brille anhand der Rotationssignale ermittelt wird, mit einem Koordinatensystem ausgerichtet oder aligned oder registriert wird, das die Sensorsignale des Kraftfahrzeugs beschreibt.
  • Zu der Erfindung gehören auch optionale zusätzliche technische Merkmale, durch die sich weitere Vorteile ergeben.
  • Indem nun die VR-Brille und das Kraftfahrzeug messtechnisch aneinander ausgerichtet sind, lässt sich auch die Darstellung einer lateralen Lageänderung des Ego-Punkts optimieren oder vereinfachen. Hierzu kann die laterale Lageänderung (also eine translatorische Bewegung und/oder die Bewegungsgeschwindigkeit und/oder die Bewegungsrichtung) des Ego-Punkts in der virtuellen Umgebung in Abhängigkeit von den Sensorsignalen des Kraftfahrzeugs eingestellt werden. Ohne die beschriebene Ausrichtung könnte es ansonsten z.B. sein, dass durch ein Sensorsignal des Kraftfahrzeugs signalisiert wird, dass sich das Kraftfahrzeug mit einer vorbestimmten Geschwindigkeit vorwärts bewegt. Würde dies direkt auf den Ego-Punkt übertragen und hierbei die Ausrichtung fehlerhaft sein, also beispielsweise die Vorwärtsrichtung der VR-Brille um einen Winkel größer als 0 gegenüber der Vorwärtsrichtung des Kraftfahrzeugs versetzt sein oder abweichen, so würde der Ego-Punkt sich nicht mit dem virtuellen Objekt bewegen, sondern sich V-förmig vom virtuellen Objekt wegbewegen.
  • Um in dem zumindest einen Kamerabild den Innenraum zu erkennen, ist bevorzugt vorgesehen, dass die Relativlage ermittelt wird, indem ein digitales Modell des Innenraums in das zumindest eine Kamerabild eingepasst wird. Ein solches Modell kann beispielsweise auf der Grundlage von CAD-Beschreibungsdaten (CAD - Computer-Aided Design) gebildet sein. Mit Einpassen ist hierbei insbesondere gemeint, dass das Modell verschoben und/oder verdreht wird und dies so oft iterativ erfolgt, bis eine vorbestimmte Mindestübereinstimmung mit einer Darstellung des Innenraums in den zumindest einen Kamerabild vorliegt oder vorhanden ist. Die dann eingestellten Parameter zum Verschieben und/oder Drehen des Modells beschreiben dann die Relativlage der VR-Brille bezüglich des Innenraums.
  • Das beschriebene Ausrichten oder Angleichen der VR-Brille mit dem Kraftfahrzeug kann im Rahmen einer Initialisierung eines Betriebs der VR-Brille erfolgen. Bevorzugt ist vorgesehen, dass die Relativlage während einer Fahrt des Kraftfahrzeugs mehrmals ermittelt wird. Mittels der mehrmals wiederholt ermittelten Relativlage wird eine Drift zwischen den Rotationssignalen und den Sensorsignalen des Kraftfahrzeugs ausgeglichen. Ein weiterer Vorteil des mehrmaligen Ermittelns der Relativlage ist, dass auch eine Relativbewegung der VR-Brille bezüglich des Innenraums als Änderung der Relativlage erkannt wird. Somit kann auch eine Bewegung der VR-Brille und damit des Kopfes des Benutzers bezüglich des Innenraums, also bezüglich des Kraftfahrzeugs, in der virtuellen Umgebung als korrespondierende relative Bewegung des Ego-Punktes bezüglich des Objekts gesteuert oder nachgebildet oder abgebildet werden. Eine VR-Brille an sich weist in der Regel dagegen keine Sensorik auf, um eine translatorische Bewegung eines Kopfes bezüglich der Umgebung zu detektieren.
  • Die Sensorsignale des Kraftfahrzeugs umfassen bevorzugt zumindest ein Richtungssignal einer Fahrtrichtung des Kraftfahrzeugs und/oder ein Geschwindigkeitssignal einer Bewegungsgeschwindigkeit des Kraftfahrzeugs und/oder ein jeweiliges Beschleunigungssignal zumindest eines Beschleunigungssensors des Kraftfahrzeugs empfangen werden. Insbesondere ist eine translatorische Beschleunigung durch das zumindest eine Beschleunigungssignal beschrieben. Die beschriebenen Signale weisen den Vorteil auf, dass in der virtuellen Umgebung eine Bewegung des Kraftfahrzeugs und damit auch eine Bewegung des Benutzers in der realen Umgebung als eine virtuelle Bewegung des Ego-Punkts in der virtuellen Umgebung nachgebildet oder abgebildet werden kann.
  • Um das erfindungsgemäße Verfahren mit geringem schaltungstechnischen und/oder entwicklungstechnischen Aufwand zu realisieren, ist insbesondere vorgesehen, dass die VR-Brille auf Grundlage eines Smartphones gebildet ist und als Kamera eine Fotokamera des Smartphones genutzt wird. Der Bildschirm oder das Display des Smartphones kann zum Abschirmen des Blickfelds des Benutzers und zum Darstellen der virtuellen Umgebung genutzt werden.
  • Zum Durchführen des Verfahrens ist durch die Erfindung auch die besagte Steuervorrichtung für die VR-Brille bereitgestellt. Die Steuervorrichtung weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann beispielsweise auf der Grundlage des besagten Smartphones bereitgestellt sein. Die Prozessoreinrichtung kann zumindest einen Mikrocontroller und/oder einen Mikroprozessor aufweisen. Es kann ein Programmcode bereitgestellt sein, der bei Ausführen durch die Prozessoreinrichtung eine Ausführungsform des erfindungsgemäßen Verfahrens ausführt. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
  • Die Erfindung umfasst auch die beschriebene VR-Brille für ein Kraftfahrzeug. Die VR-Brille weist eine Ausführungsform der erfindungsgemäßen Steuervorrichtung auf. Die VR-Brille kann durch ein gestellt zum Tragen eines Smartphones vor den Augen und dem zugehörigen Smartphone gebildet sein.
  • Durch Kombinieren der erfindungsgemäßen VR-Brille mit einem Kraftfahrzeug ergibt sich ein erfindungsgemäßes Kraftfahrzeug. Die VR-Brille kann also in vorteilhafter Weise Sensorsignale des Kraftfahrzeugs empfangen und auf Grundlage ihrer Steuervorrichtung eine Ausführungsform des erfindungsgemäßen Verfahrens durchführen.
  • Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, ausgestaltet.
  • Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs.
  • Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • Die Figur zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen, handeln kann. In dem Kraftfahrzeug 10 kann sich eine VR-Brille 11 befinden, die beispielsweise aus einem Smartphone 12 und einer Halterung in Form eines Brillengestells 13 gebildet sein kann. Ein Benutzer, der die VR-Brille 11 tragen kann, ist der Übersichtlichkeit halber nicht dargestellt. Von dem Kraftfahrzeug 10 sind ein Lenkrad 14, A-Säulen 15 und B-Säulen 16 dargestellt. Die VR-Brille 11 kann sich in einem Innenraum 17 des Kraftfahrzeugs 10, d.h. im Passagierraum, befinden. Die VR-Brille 11 kann eine Prozessoreinrichtung 18 aufweisen, durch welche auf einem Bildschirm 19 des Smartphones 12 eine virtuelle Umgebung 20 angezeigt werden kann. Die Prozessoreinrichtung 18 repräsentiert eine Steuervorrichtung der VR-Brille 11.
  • Ein Blickfeld 21 des Benutzers ist in der Figur durch einen Blickrichtungspfeil symbolisch repräsentiert. Das Blickfeld 21 ist durch den Bildschirm 19 versperrt, d.h. ein Blick in den Innenraum 17 ist nicht möglich. Stattdessen erblickt der Benutzer die virtuelle Umgebung 20. Eine virtuelle Perspektive 22 in die virtuelle Welt 20 kann an eine Kopfbewegung des Benutzers angepasst werden, sodass eine Rotationsbewegung oder rotatorische Lageänderung 23 der VR-Brille 11 ein korrespondierendes Verschwenken 24 der Perspektive 22 bewirkt. In der virtuellen Umgebung 20 kann ein virtuelles Objekt 25 dargestellt werden, an welchem ein Ego-Punkt 26, aus dessen Lage heraus die virtuelle Perspektive 22 dargestellt ist, gekoppelt sein kann. Das virtuelle Objekt 25 kann beispielsweise ein Kraftwagen oder ein Flugzeug oder ein Boot darstellen.
  • Eine Bewegung des Objekts 25 in der virtuellen Umgebung 20 kann durch Sensorsignale 26 des Kraftfahrzeugs 10 gesteuert werden. Hierdurch kann das virtuelle Objekt 25 in der virtuellen Umgebung 20 Bewegungen durchführen, die den Bewegungen des Kraftfahrzeugs 10 in einer realen Umgebung 27 entsprechen. Die Sensorsignale 26 können durch eine Sensorik 28 des Kraftfahrzeugs 10 in an sich bekannter Weise ermittelt werden. Über eine Funkverbindung 29 können die Sensorsignale 26 an die VR-Brille 11 übertragen werden. Die rotatorische Lageänderung 23 kann durch eine Sensoreinrichtung 30 der VR-Brille selbst ermittelt werden. Sie erzeugt Rotationssignale. Die Rotationssignale müssen nur mit den Sensorsignale 26 in Übereinstimmung gebracht werden.
  • Die Funkverbindung 29 kann beispielsweise auf der Grundlage von Bluetooth oder WLAN bereitgestellt sein.
  • Um eine Vorwärtsblickrichtung 31 der VR-Brille 11 mit einer Vorwärtsrichtung 32 des Kraftfahrzeugs 10 auszurichten, kann mittels einer Kamera 33 der VR-Brille der Innenraum 17 fotografiert oder gefilmt werden. Hierzu ist ein Erfassungsbereich 34 der Kamera 33 in den Innenraum 17 ausgerichtet. Anhand von Kamerabildern der Kamera 33 kann durch die Prozessoreinrichtung 11 auf der Grundlage eines Modells 35 des Innenraums 17 erkannt werden, in welcher Richtung die Vorwärtsrichtung 31 bezüglich des Innenraums 17 und damit des Kraftfahrzeugs 10 ausgerichtet ist. Wird durch die Sensorsignale 26 eine Vorwärtsbewegung in Richtung der Vorwärtsrichtung 32 signalisiert, so ist nun bekannt, in welcher Richtung sich die VR-Brille 11 in der Umgebung 27 bewegt hat. Somit kann der Ego-Punkt 26 in der virtuellen Umgebung 20 entsprechend verschoben oder eingestellt werden. Auch das Objekt 25 kann anhand der Sensorsignale 26 in der virtuellen Umgebung in der Weise verschoben werden, wie es der Bewegung des Kraftfahrzeugs 10 in der realen Umgebung 27 entspricht.
  • Somit kann die VR-Brille 11 im Fahrzeuginnenraum 17 lokalisiert werden, damit Drehungen von Kopf und Drehungen des Fahrzeugs in der Brille unterschieden werden können. Die Rotationssignale zur Beschreibung der rotatorischen Lageänderung 23 der Sensoreinrichtung 30 können in Übereinstimmung gebracht werden mit den Sensorsignalen 26.
  • Hierbei können auch Latenzen beim Erfassen der Sensorsignale 26 und deren Übertragung in die VR-Brille 11 kompensiert werden. Es muss lediglich zu vorbestimmten Stützzeitpunkten oder unter Umständen auch nur während einer Initialisierung des Betriebs der VR-Brille 11 das Heading, das heißt die Relativlage der VR-Brille 11 bezüglich des Innenraums 17 beispielsweise durch Ausrichten oder Ermitteln eines Differenzwinkels zwischen Vorwärtsrichtung 31 und Vorwärtsrichtung 32 angepasst werden.
  • Hierzu werden zwei getrennte Sensorsysteme fusioniert. Der Datenstrom über die Funkverbindung 29 vom Kraftfahrzeug 10 an die VR-Brille 11 wird übertragen, damit als Sensorsignale 26 insbesondere die Fahrzeugvorwärtsrichtung oder das Fahrzeugheading 32 und/oder Informationen der Fahrzeugbeschleunigungssensoren bereitstehen in der VR-Brille 11. Als zweites Sensorsystem wird das Tracking der mobilen VR-Brille selbst, d.h. die Sensoreinrichtung 30, genutzt. Für die Fusion wird die Kamera 33 im Fahrzeuginnenraum 17 betrieben. Zum Beispiel kann ein Smartphone benutzt werden, um die VR-Inhalte darzustellen. Aufgrund des bekannten Umfelds (bekannt ist der Fahrzeuginnenraum 17 in seiner Gestaltung beispielsweise aus CAD-Beschreibungsdaten) kann die Kamera 33 des Smartphones 12 genutzt werden, um die Lokalisierung und bevorzugt auch ein Tracking (mehrfache Lokalisierung) zu unterstützen. Hierfür müssen die Beschreibungsdaten oder allgemein das Modell 35 des Fahrzeuginnenraums 17 in dem Smartphone 12 bereitgestellt sein, damit dieses unterscheiden kann, welche Bildanteile in den Kamerabildern zum Fahrzeuginnenraum 17 oder allgemein zum Kraftfahrzeug 10 gehören und welche die Fahrzeugumgebung 27 darstellen. Daraufhin kann durch die VR-Brille anhand der statischen Bildanteile des Innenraums 17 die Lokalisierung durchführen.
  • Durch die Fusion der Systeme erhält man somit ein stabiles Tracking der VR-Brille im Innenraum 17 und kann somit eine Abweichung von Bewegungen des Ego-Punkts 26 in der virtuellen Umgebung 20 von der realen, vom Benutzer gefühlten oder gespürten oder wahrgenommenen Bewegung des Kraftfahrzeugs 10 vermeiden. Hierdurch ist dann die beschriebene Bewegungsübelkeit vermieden.
  • Insgesamt zeigt das Beispiel, wie durch die Erfindung ein mobiles VR-Tracking in einem Kraftfahrzeug bereitgestellt werden kann.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014019579 A1 [0004]
    • DE 102014015871 A1 [0007]

Claims (10)

  1. Vorrichtung zum Betreiben einer VR-Brille (11), die ein Blickfeld (21) eines Benutzers zu einem Innenraum (17) eines Kraftfahrzeugs (10) hin abdeckt und eine virtuelle Umgebung (20) in das Blickfeld (21) einblendet, wobei durch eine Steuervorrichtung (18) aus einer Sensoreinrichtung (30) Rotationssignale, die eine rotatorische Lageänderung (23) der VR-Brille (11) beschreiben, empfangen werden und eine Ego-Perspektive (22), aus welcher die virtuelle Umgebung (20) dargestellt wird, in Abhängigkeit von den Rotationssignalen verändert wird, wobei die Ego-Perspektive (22) von einem Ego-Punkt (26) aus dargestellt wird, der sich in oder an einem virtuellen Objekt (25) befindet, dessen Bewegung innerhalb der virtuellen Umgebung (20) in Abhängigkeit von Sensorsignalen (26) des Kraftfahrzeugs (10) gesteuert wird, dadurch gekennzeichnet, dass durch die Steuervorrichtung (18) aus zumindest einer an der VR-Brille (11) angeordneten Kamera (33) zumindest ein Kamerabild des Innenraums (17) empfangen wird und in Abhängigkeit von dem zumindest einen Kamerabild eine Relativlage der VR-Brille (11) bezüglich des Kraftfahrzeugs (10) erkannt und die Ego-Perspektive (22) in Bezug auf das virtuelle Objekt (20) in Abhängigkeit von der erkannten Relativlage eingestellt wird.
  2. Verfahren nach Anspruch 1, wobei eine laterale Lageänderung des Ego-Punkts (26) in der virtuellen Umgebung (20) in Abhängigkeit von den Sensorsignalen (26) des Kraftfahrzeugs (10) eingestellt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Relativlage durch Einpassen eines digitalen Modells (35) des Innenraums (17) in das zumindest eine Kamerabild ermittelt wird.
  4. Verfahren nach Anspruch 3, wobei das Modell (35) auf der Grundlage von CAD-Daten des Kraftfahrzeugs (10) gebildet wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Relativlage während einer Fahrt des Kraftfahrzeugs (10) mehrmals ermittelt wird und mittels der mehrmals wiederholt ermittelten Relativlage eine Drift zwischen den Rotationssignalen und den Sensorsignalen (26) des Kraftfahrzeugs (26) ausgeglichen und/oder eine Relativbewegung der VR-Brille (11) bezüglich des Kraftfahrzeugs (10) ermittelt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei als Sensorsignale (26) des Kraftfahrzeugs (10) zumindest ein Richtungssignal einer Fahrtrichtung des Kraftfahrzeugs (10) und/oder ein Geschwindigkeitssignal einer Bewegungsgeschwindigkeit des Kraftfahrzeugs (10) und/oder ein jeweiliges Beschleunigungssignal zumindest eines Beschleunigungssensors des Kraftfahrzeugs (10) empfangen werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die VR-Brille (11) auf der Grundlage eines Smartphones (12) gebildet ist und als Kamera (33) eine Fotokamera des Smartphones (12) genutzt wird.
  8. Steuervorrichtung (18) für eine VR-Brille (11), wobei die Steuervorrichtung (18) eine Prozessoreinrichtung (18) aufweist, die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
  9. VR-Brille (11) für ein Kraftfahrzeug (10), wobei die VR-Brille (11) eine Steuervorrichtung (18) nach Anspruch 8 aufweist.
  10. Kraftfahrzeug (10) mit zumindest einer VR-Brille (11) nach Anspruch 9.
DE102016224122.2A 2016-12-05 2016-12-05 Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug Withdrawn DE102016224122A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016224122.2A DE102016224122A1 (de) 2016-12-05 2016-12-05 Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016224122.2A DE102016224122A1 (de) 2016-12-05 2016-12-05 Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102016224122A1 true DE102016224122A1 (de) 2018-06-07

Family

ID=62163751

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016224122.2A Withdrawn DE102016224122A1 (de) 2016-12-05 2016-12-05 Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug

Country Status (1)

Country Link
DE (1) DE102016224122A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020030312A1 (de) * 2018-08-10 2020-02-13 Audi Ag Verfahren und system zum betreiben von zumindest zwei von jeweiligen fahrzeuginsassen am kopf getragenen anzeigeeinrichtungen
US10828576B1 (en) 2019-07-29 2020-11-10 Universal City Studios Llc Motion exaggerating virtual reality ride systems and methods
WO2021170421A1 (de) * 2020-02-27 2021-09-02 Audi Ag Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug sowie system mit einem kraftfahrzeug und einer datenbrille
US20220227375A1 (en) * 2021-01-19 2022-07-21 Denso Ten Limited Information processing device, information processing method, computer readable medium, and map storage device
DE102021109083A1 (de) 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Tracking im Fahrzeuginnenraum mit einem Tiefensensor in einer Datenbrille
DE102021204095A1 (de) 2021-04-26 2022-10-27 Volkswagen Aktiengesellschaft Bedieneinheit, Daten-Brille und Bedienelement
DE102019210466B4 (de) 2019-07-16 2023-03-30 Audi Ag Simulieren einer autonomen Fahrt eines Fahrzeugs

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1510849A1 (de) * 2003-08-29 2005-03-02 C.R.F. Società Consortile per Azioni Virtuelles Anzeigegerät für ein Fahrzeug
DE102012218837A1 (de) * 2012-10-16 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von Darstellungen auf einem Head-Up Display und einem Head-mounted Display
RU2527132C1 (ru) * 2013-03-11 2014-08-27 Общество с ограниченной ответственностью "АВИАРЕАЛ" Способ коррекции дрейфа микромеханического гироскопа, используемого в системе дополненной реальности на движущемся объекте
GB2517057A (en) * 2013-06-11 2015-02-11 Sony Comp Entertainment Europe Head-mountable apparatus and systems
DE102014220053A1 (de) * 2013-10-03 2015-07-23 Honda Motor Co., Ltd. System und verfahren für dynamische fahrzeuginterne virtuelle realität
DE102014015871A1 (de) 2014-10-25 2016-04-28 Audi Ag Anzeigesystem für einen Kraftwagen, Kraftwagen mit einem Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
DE102014019579A1 (de) 2014-12-30 2016-06-30 Audi Ag System und Verfahren zum Betreiben einer Anzeigeeinrichtung
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1510849A1 (de) * 2003-08-29 2005-03-02 C.R.F. Società Consortile per Azioni Virtuelles Anzeigegerät für ein Fahrzeug
DE102012218837A1 (de) * 2012-10-16 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von Darstellungen auf einem Head-Up Display und einem Head-mounted Display
RU2527132C1 (ru) * 2013-03-11 2014-08-27 Общество с ограниченной ответственностью "АВИАРЕАЛ" Способ коррекции дрейфа микромеханического гироскопа, используемого в системе дополненной реальности на движущемся объекте
GB2517057A (en) * 2013-06-11 2015-02-11 Sony Comp Entertainment Europe Head-mountable apparatus and systems
DE102014220053A1 (de) * 2013-10-03 2015-07-23 Honda Motor Co., Ltd. System und verfahren für dynamische fahrzeuginterne virtuelle realität
DE102014015871A1 (de) 2014-10-25 2016-04-28 Audi Ag Anzeigesystem für einen Kraftwagen, Kraftwagen mit einem Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
DE102014019579A1 (de) 2014-12-30 2016-06-30 Audi Ag System und Verfahren zum Betreiben einer Anzeigeeinrichtung
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112567318A (zh) * 2018-08-10 2021-03-26 奥迪股份公司 运行至少两个由乘员各自戴在头部的显示设备的方法和系统
US11409104B2 (en) 2018-08-10 2022-08-09 Audi Ag Method and system for operating at least two display devices carried by respective vehicle occupants on the head
WO2020030312A1 (de) * 2018-08-10 2020-02-13 Audi Ag Verfahren und system zum betreiben von zumindest zwei von jeweiligen fahrzeuginsassen am kopf getragenen anzeigeeinrichtungen
CN112567318B (zh) * 2018-08-10 2024-05-31 奥迪股份公司 运行至少两个由乘员各自戴在头部的显示设备的方法和系统
US11940622B2 (en) 2018-08-10 2024-03-26 Audi Ag Method and system for operating at least two display devices carried by respective vehicle occupants on the head
DE102019210466B4 (de) 2019-07-16 2023-03-30 Audi Ag Simulieren einer autonomen Fahrt eines Fahrzeugs
US10828576B1 (en) 2019-07-29 2020-11-10 Universal City Studios Llc Motion exaggerating virtual reality ride systems and methods
US11484804B2 (en) 2019-07-29 2022-11-01 Universal City Studios Llc Motion exaggerating virtual reality ride systems and methods
WO2021170421A1 (de) * 2020-02-27 2021-09-02 Audi Ag Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug sowie system mit einem kraftfahrzeug und einer datenbrille
US20220227375A1 (en) * 2021-01-19 2022-07-21 Denso Ten Limited Information processing device, information processing method, computer readable medium, and map storage device
DE102021109083A1 (de) 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Tracking im Fahrzeuginnenraum mit einem Tiefensensor in einer Datenbrille
WO2022228836A1 (de) 2021-04-26 2022-11-03 Volkswagen Aktiengesellschaft Bedieneinheit, daten-brille und bedienelement
DE102021204095A1 (de) 2021-04-26 2022-10-27 Volkswagen Aktiengesellschaft Bedieneinheit, Daten-Brille und Bedienelement

Similar Documents

Publication Publication Date Title
DE102016224122A1 (de) Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102018204254B4 (de) Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
EP3164756B1 (de) Lokalisierung eines hmd im fahrzeug
DE102018114285A1 (de) Einleitung von ferngesteuertem parken eines fahrzeugs über eine mobile vorrichtung
DE102016106255A1 (de) Fahrzeugaussenseiten-Kamerasysteme und Verfahren
EP3762684A1 (de) Einblendung von zusatzinformationen auf einer anzeigeeinheit
EP3129820A1 (de) Lokalisierung eines head-mounted displays (hmd) im fahrzeug
DE102019118461A1 (de) Blickerfassung von insassen für fahrzeuganzeigen
DE102017221871A1 (de) Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm
DE102014112077A1 (de) Vorrichtung zur Linderung von Reisekrankheit in einem Kraftfahrzeug
EP3695266B1 (de) Verfahren zum betrieb einer anzeigeeinrichtung in einem kraftfahrzeug
DE102015204281A1 (de) Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
DE102017211748A1 (de) Verfahren zum Betreiben einer Ausgabeeinrichtung eines Kraftfahrzeugs, Fahrerassistenzeinrichtung, und Kraftfahrzeug
DE102015112605A1 (de) System zum bestimmen eines kupplungswinkels
DE102020105196A1 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer Datenbrille
DE102017122543A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Überholen eines Objektes sowie Fahrerassistenzsystem
DE102019220040A1 (de) Verfahren und Vorrichtung zum Vorbeugen von Kinetose beim Betrachten eines auf einem Bildschirm angezeigten Bildinhalts in einem fahrenden Fahrzeug, insbesondere einem hochautomatisiert fahrenden Fahrzeug
DE102014009608A1 (de) Betrieb einer AR-Brille im Kraftfahrzeug
DE102016225261A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102018216409A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende Darstellung einer Flüssigkeit in einem Display in einem Fortbewegungsmittel
DE102016218602A1 (de) Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs
DE102019105216A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
EP3959647B1 (de) Lagerichtige einblendung einer zusatzinformation auf einer anzeigeeinheit eines fahrzeugs
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102015113251A1 (de) System und verfahren zum eingeben eines beabsichtigten rückwärtsfahrwegs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R120 Application withdrawn or ip right abandoned