EP4147205A1 - 6 degree of freedom (6dof) tracking von mobilen head mounted displays (hmd) - Google Patents

6 degree of freedom (6dof) tracking von mobilen head mounted displays (hmd)

Info

Publication number
EP4147205A1
EP4147205A1 EP21720183.9A EP21720183A EP4147205A1 EP 4147205 A1 EP4147205 A1 EP 4147205A1 EP 21720183 A EP21720183 A EP 21720183A EP 4147205 A1 EP4147205 A1 EP 4147205A1
Authority
EP
European Patent Office
Prior art keywords
hmd
vehicle
6dof
edge model
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21720183.9A
Other languages
English (en)
French (fr)
Inventor
Christoph Weigand
Stefan Mayer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP4147205A1 publication Critical patent/EP4147205A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Definitions

  • the present invention relates to a system for detecting at least one mobile head mounted display (HMD), comprising at least one vehicle and the at least one HMD, the vehicle comprising at least one control device and at least one air interface, the control device being set up to provide vehicle sensor data, and wherein the at least one HMD comprises at least one camera, a control unit, an air interface and at least one application, the control unit of the HMD being set up to include inside-out tracking based on at least one camera image recorded by the at least one camera Execute 6 Degree of Freedom (6DOF) algorithm and determine a 6DOF algorithm-based translation of the at least one mobile HMD.
  • HMD mobile head mounted display
  • VR Virtual Reality
  • AR Augmented Reality
  • VR and AR headsets It is fundamentally important for the use of VR and AR headsets to precisely localize the HMD during use in order to be able to present the content visually correctly for the user.
  • a 6DOF translation in the X, Y, and Z directions as well as a rotation about the aforementioned axes are determined.
  • the localization or acquisition of an HMD is referred to as tracking.
  • tracking There is a difference between inside-out (from the HMD to the outside) and Outside-In-Tracking (from outside to the HMD) differentiated. So far, outside-in tracking for stationary applications with external tracking sensors, for example via infrared, has been state of the art.
  • a method for determining a pose of a camera on a head-mounted screen system in a vehicle is known.
  • the pose of the camera is determined optically in six degrees of freedom using an edge model from environmental data.
  • a system for calibrating a display device worn on the head of a user for displaying virtual objects in a real environment is known from document US 20 020 105 484 A1.
  • the display device has a detection unit operating in six degrees of freedom for the image data-based generation of an environment model.
  • a device for tracking a display unit on the helmet of a vehicle occupant is known from the document US 20 100 109 976 A1.
  • the helmet has an optical sensor which is used with six degrees of freedom to detect orientation marks in a vehicle interior and which is suitable for virtual reality applications.
  • the VR and AR HMDs known in the prior art already implement tracking algorithms in the firmware, although a static environment is assumed. Due to the hardware-related implementation of the 6DOF algorithms in the firmware in today's HMD, it is not possible to deactivate a translation of the inside-out tracking.
  • the object of the present invention is to provide a system that enables the use of mobile HMDs even in dynamic environments.
  • the present invention relates to a system for detecting at least one mobile head mounted display (HMD), comprising at least one vehicle and the at least one HMD, the vehicle comprising at least one control device and at least one air interface, the control device being set up to provide vehicle sensor data, and wherein the at least one HMD comprises at least one camera, a control unit, an air interface and at least one application, the control unit of the HMD being set up to perform inside-out tracking based on a 6 with the aid of at least one camera image recorded by the at least one camera Execute Degree of Freedom (6DOF) algorithm and determine a 6DOF algorithm-based translation of the at least one mobile HMD.
  • the at least one HMD is usually designed as glasses. Alternatively, the at least one HMD is designed as a lens.
  • the 6DOF algorithm is implemented in an integrated firmware of the HMD.
  • the application is additionally set up to provide an edge model of an interior of the vehicle and, based on the edge model, to provide an automated computer vision-based 6DOF tracking of the at least one mobile HMD. Tracking is a localization or recording of the HMD.
  • Computer vision means machine vision.
  • the system is accordingly set up to enable machine vision into the interior of the vehicle through the at least one camera of the HMD.
  • the system is set up to provide an edge model of the interior.
  • the system offers the advantage that the inclusion of the edge model in the computer vision-based 6DOF tracking corrects a dynamic environment that is perceived by the at least one camera through window panes of the vehicle, for example. This prevents a mislocation of the FIMD in the vehicle, which can lead to a sudden change in a user's gaze position within the VR and AR content.
  • the user's gaze position is also the gaze position of the at least one FIMD camera that provides computer vision-based vision.
  • the application based on the computer vision-based 6DOF tracking is set up to base the calculation of a computer vision-based translation of the FIMD on the edge model, the application being set up to relate the computer vision-based translation of the FIMD to determine the interior of the vehicle.
  • the system With the aid of the edge model of the interior of a respective vehicle, the system is set up to localize an exact position of the at least one FIMD in the interior of the vehicle.
  • the interior of the vehicle is provided as a reference point for the localization or translation of the FIMD.
  • the application is set up to compensate for a translation of the FIMD provided by the 6DOF algorithm based on the determined computer vision-based translation of the FIMD.
  • This offers the advantage that an incorrectly localized position of the at least one FIMD in the interior of the vehicle determined by the 6DOF algorithm is corrected by the new position determination on the basis of the edge model.
  • mobile AR / VR FIMD can be used in a dynamic environment during a dynamic journey be used.
  • the system prevents the use of VR and AR HMD without external trackers with inside-out tracking.
  • the application is set up to create the edge model based on the at least one camera image recorded by the at least one camera.
  • the system is set up with the aid of the at least one camera to depict the interior of the vehicle as an edge model.
  • the application is usually set up as a VR / AR application.
  • the system is set up to mask out an environment perceived by the at least one camera of the at least one HMD.
  • the system is set up to exclude camera images from being taken into account in the calculation of the creation of the edge model based on a distance setting.
  • control device of the vehicle comprises an edge model, the control device being set up to transmit the edge model to the application of the HMD when it is connected to the HMD for the first time, the application being set up to calculate the edge model of the computer vision based Translation of the HMD should be used as a basis.
  • the alternative embodiment is thus set up to transmit information or the edge model to the HMD instead of dynamically creating the edge model of the interior space.
  • the control device comprises at least one air interface which is set up to transmit the edge model to an air interface of the HMD.
  • the edge model is usually stored in vehicle model information of a respective vehicle.
  • control unit is set up to use the vehicle sensor data provided by the control device to calculate a proper movement of the vehicle via the at least one To transmit the air interface of the HMD to the application of the HMD, the application being set up to determine the vehicle's own movement and to base the calculation of the computer vision-based translation relative to the interior of the vehicle.
  • the vehicle sensor data are generally recorded by at least two sensors which are set up to transmit the vehicle sensor data to at least one control device, the control device being set up to store the vehicle sensor data.
  • the vehicle sensor data are provided to the at least one control device with the at least one air interface via at least one communication channel in the vehicle, for example via Flexray, CAN or Ethernet.
  • the control device is set up to transmit the vehicle sensor data to the air interface of the HMD via the air interface.
  • the at least one air interface of the control device and / or of the HMD is a Bluetooth Low Energy (BLE) connection.
  • BLE Bluetooth Low Energy
  • the at least one air interface of the control device and / or the HMD is a local WIFI connection or a classic Bluetooth connection.
  • the at least one HMD comprises at least one inertial measurement (IMU) unit, which generally comprises at least one acceleration sensor and at least one rotation rate sensor, and is set up to acquire sensor data.
  • the IMU unit thus represents a sensory measuring unit of an inertial navigation system.
  • the present invention also relates to a method for performing 6DOF tracking of a mobile HMD in a vehicle during dynamic driving, comprising a system as described above.
  • a an edge model of an interior of the vehicle is provided.
  • an automated computer vision-based 6DOF tracking is provided. Steps a and b can be carried out one after the other or at the same time.
  • a computer vision-based translation of the FIMD relative to the interior of the vehicle is calculated based on the edge model.
  • a translation of the FIMD 11 provided by a 6 Degree of Freedom (6DOF) algorithm based inside-out tracking is provided. Steps c and d can be carried out one after the other or at the same time.
  • the translation of the FIMD 11 based on the 6DOF algorithm is compensated for with the aid of the computer vision-based translation of the FIMD 11.
  • the edge model is created and provided based on at least one camera image recorded by at least one camera of the FIMD.
  • the system is thus set up to use the camera images recorded by the at least one camera, which are also used for inside-out tracking, as the basis for creating an edge model of the vehicle interior.
  • the edge model created in this way can be used as an O reference for the translation of the FIMD.
  • the edge model is transmitted to the FIMD by a control device of the vehicle when the vehicle is connected to the FIMD for the first time.
  • the alternative embodiment is thus set up to transmit information or the edge model to the FIMD instead of dynamically creating the edge model of the interior space.
  • the edge model is usually part of vehicle model information that is stored in a control device of the vehicle.
  • FIG. 1 shows an embodiment of a system according to the invention with an edge model based on camera images from cameras integrated in the HMD
  • Fig. 2 shows a further embodiment of the - shown in Fig. 1 -
  • FIG. 1 shows an embodiment of a system 10 according to the invention with an edge model based on camera images from cameras 15 integrated in an HMD 11.
  • the system 10 for capturing at least one mobile head mounted display (HMD) 11 comprises at least one vehicle 12 and the at least one HMD 1.
  • the vehicle 12 comprises at least one control device 13 and at least one air interface 14, the control device 13 being set up to provide vehicle sensor data.
  • the at least one HMD 11 comprises at least one camera 15, a control unit 16, an air interface 18 and at least one application 17, the control unit 16 of the HMD 11 being set up to use at least one camera image recorded by the at least one camera 15 to get an inside-out -Tracking based on a 6DOF algorithm and to determine a 6DOF algorithm based translation of the HMD 11.
  • the application 17 is set up to provide an edge model of an interior space of the vehicle 12 and to provide an automated computer vision-based 6DOF tracking based on the edge model.
  • the application 17 is set up to use the edge model as a basis for calculating a computer vision-based translation of the HMD, the application 17 being set up to determine the computer vision-based translation of the HMD 11 relative to the interior of the vehicle 12.
  • the application 17 is set up to compensate for a translation of the HMD 11 provided by the 6DOF algorithm based on the determined computer vision-based translation of the HMD 11.
  • the application 17 creates the edge model itself.
  • the application 17 is set up to create the edge model based on the at least one camera image recorded by the at least one camera 15.
  • control device 13 of the vehicle 12 is set up to transmit vehicle sensor data 19 determined based on vehicle sensors of the vehicle 12 to the application 17, the application 17 being set up to determine the vehicle's own movement based on the transmitted vehicle sensor data 19.
  • the system 10 is set up to use the determined own movement of the vehicle 12 as a basis for the calculation of the computer vision-based 6DOF tracking of the HMD 11.
  • FIG. 1 also shows the method for performing 6DOF tracking of a mobile HMD 11 in the vehicle 12 during a dynamic journey with the system 10 described above.
  • the method comprises providing an edge model of an interior of the vehicle.
  • an automated computer vision-based 6DOF tracking is provided. Steps a and b can either be carried out one after the other or at the same time.
  • a computer vision-based translation of the HMD 11 relative to the interior of the vehicle 12 is calculated based on the edge model.
  • a translation of the HMD 11 provided by a 6 Degree of Freedom (6DOF) algorithm based inside-out tracking is provided. Steps a and b can either be carried out one after the other or at the same time.
  • the translation of the HMD 11 provided by a 6DOF algorithm based inside-out tracking is compensated with the aid of the computer vision-based translation of the HMD 11.
  • the edge model is created and provided based on a camera image recorded by at least one camera 15 of the HMD 11.
  • the at least one camera 15 is set up to perceive the environment and record it in camera images. These camera images are used in particular as a basis for computer vision-based localizations of the at least one HMD 11. Based on the algorithms, an edge model is created from the camera images of the environment. A spatial limitation or maximum distance for the evaluation can ensure that only references in the interior of the vehicle 12 and not from the dynamic environment are used to create the edge model.
  • an X, Y and Z position of the HMD 11 relative to the edge model can be calculated based on algorithms.
  • the translation of the HMD 11 relative to the edge model is generally used as an O reference of the desired HMD 11 camera position.
  • the translation of the HMD 11 internal 6DOF tracking is corrected by a transformation to the 0 reference, in particular a 3DOF tracking relative to the edge model.
  • the position of the FIMD camera in the application which was incorrectly calculated internally by the FIMD due to the dynamic environment while the vehicle is in motion, is compensated for by the actual position of the FIMD in the vehicle.
  • the mathematical operation for this is a vector addition of a faulty vector plus a delta vector to the O reference.
  • FIG. 2 shows a further embodiment of the system 10 - shown in FIG Air interface 18 and the application 17.
  • an edge model based on vehicle model information is made available to the HMD 11 by the control device 13.
  • an edge model has been created from one of these models, which is stored in the control device 13 together with further vehicle model information.
  • the edge model is transmitted to the HMD 11 via the air interface 14 of the control device 13.
  • FIG. 2 also shows the method described in the description of the figures relating to FIG. 1 for carrying out the 6DOF tracking of the mobile HMD 11 in the vehicle 12 during a dynamic journey with steps a to e.
  • the application 17 is also set up to determine an intrinsic movement of the vehicle 12 based on the vehicle sensor data 19 transmitted by the control device 14 and to use this as a basis for the further calculation.
  • the edge model is transmitted to the HMD 11 by a control device 13 of the vehicle 12 when the vehicle 12 is connected to the HMD 11 for the first time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Erfindung betrifft ein System (10) zur Erfassung zumindest eines mobilen Head Mounted Displays (HMD) (11), umfassend zumindest ein Fahrzeug (12), wobei eine Steuereinheit (16) des HMD (11) eingerichtet ist, ein mit Hilfe zumindest eines durch zumindest eine Kamera (15) aufgezeichneten Kamerabildes ein Inside-Out-Tracking basierend auf einem 6 Degree of Freedom (6DOF)-Algorithmus auszuführen und eine 6DOF- Algorithmus basierte Translation des zumindest einen mobilen HMD (11) zu ermitteln, wobei die Applikation (17) zusätzlich eingerichtet ist, ein Kantenmodell eines Innenraumes des Fahrzeuges (12) zu erstellen und ein automatisiertes Computer-Vision basiertes 6DOF-Tracking des zumindest einen mobilen HMD (11) bereitzustellen. Des Weiteren betrifft die vorliegende Erfindung ein Verfahren zur Ermittlung eines 6DOF-Trackings eines mobilen HMD (11), mit einem ein voranstehend beschriebenem System (10).

Description

6 Degree of Freedom (6DOF) Tracking von mobilen Flead Mounted Displays
(HMD)
BESCHREIBUNG:
Die vorliegende Erfindung betrifft ein System zur Erfassung zumindest eines mobilen Head Mounted Displays (HMD), umfassend zumindest ein Fahrzeug und das zumindest eine HMD, wobei das Fahrzeug zumindest eine Regelungsvorrichtung und zumindest eine Luftschnittstelle umfasst, wobei die Regelungsvorrichtung zur Bereitstellung von Fahrzeugsensordaten eingerichtet ist, und wobei das zumindest eine HMD zumindest eine Kamera, eine Steuereinheit, eine Luftschnittstelle und zumindest eine Applikation umfasst, wobei die Steuereinheit des HMD eingerichtet ist, ein mit Hilfe zumindest eines durch die zumindest eine Kamera aufgezeichneten Kamerabildes ein Inside-Out-Tracking basierend auf einem 6 Degree of Freedom (6DOF)-Algorithmus auszuführen und eine 6DOF-Algorithmus basierte Translation des zumindest einen mobilen HMD zu ermitteln.
Virtual Reality (VR) und Augmented Reality (AR) sind Technologien, welche heute für Gaming und auch Produktivanwendungen bereits verbreitet sind. Dabei trägt ein Nutzer ein sogenanntes Head Mounted Display (HMD). Grundlegend wichtig für die Nutzung von VR- und AR-Headsets ist es, die HMD während der Nutzung genau zu lokalisieren, um den Inhalt visuell richtig für den Nutzer darstellen zu können. Insbesondere wird dabei eine 6DOF-Translation in X-, Y-, Z- Richtung sowie eine Rotation um die voranstehend genannten Achsen ermittelt.
Die Lokalisierung bzw. Erfassung eines HMD wird dabei als Tracking bezeichnet. Dabei wird zwischen Inside-Out- (vom HMD nach außen) und Outside-In-Tracking (von außen zum HMD) unterschieden. Bisher ist Outside-In-Tracking für stationäre Anwendungsfälle mit externen Trackingsensoren, beispielsweise über Infrarot, Stand der Technik.
Zukünftig wird sich die Entwicklung von HMD jedoch ebenfalls auf mobile HMD, ohne externe Tracker, mit Inside-Out-Tracking fokussieren. Heutige Anwendungsfälle beschränken sich dabei jedoch auf statische Umgebungen.
Aus dem Dokument EP 2 491 530 B1 ist beispielsweise ein Verfahren zum Bestimmen einer Pose einer Kamera an einem kopfgetragenen Bildschirmsystem in einem Fahrzeug bekannt. Die Pose der Kamera wird in sechs Freiheitsgraden optisch unter Nutzung eines Kantenmodells aus Umgebungsdaten ermittelt.
Aus dem Dokument US 20 020 105 484 A1 ist ein System zur Kalibrierung einer am Kopf eines Nutzers getragenen Anzeigevorrichtung für eine Darstellung virtueller Objekte in einem realen Umfeld bekannt. Die Anzeigevorrichtung weist eine in sechs Freiheitsgraden operierende Erfassungseinheit zur bilddatenbasierten Erzeugung eines Umfeldmodells auf.
Aus dem Dokument US 20 100 109 976 A1 ist eine Vorrichtung zur Nachverfolgung einer Anzeigeeinheit am Helm eines Fahrzeuginsassen bekannt. Der Helm weist einen optischen Sensor auf, der mit sechs Freiheitsgraden zur Erfassung von Orientierungsmarken eines Fahrzeuginnenraums dient und der für virtuelle Realitätsanwendungen geeignet ist.
Die im Stand der Technik bekannten VR- und AR-HMD setzen Tracking- Algorithmen bereits in der Firmware um, wobei jedoch ein statisches Umfeld angenommen wird. Aufgrund der hardwarenahen Umsetzung der 6DOF- Algorithmen in der Firmware in heutigen HMD ist es nicht möglich, eine Translation des Inside-Out-Trackings zu deaktivieren. Aufgabe der vorliegenden Erfindung ist es, ein System bereitzustellen, das eine Nutzung von mobilen HMD auch in dynamischen Umgebungen ermöglicht.
Diese Aufgabe wird durch ein System mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der Beschreibung und Beschreibung der Figuren.
Die vorliegende Erfindung betrifft ein System zur Erfassung zumindest eines mobilen Head Mounted Displays (HMD), umfassend zumindest ein Fahrzeug und das zumindest eine HMD, wobei das Fahrzeug zumindest eine Regelungsvorrichtung und zumindest eine Luftschnittstelle umfasst, wobei die Regelungsvorrichtung zur Bereitstellung von Fahrzeugsensordaten eingerichtet ist, und wobei das zumindest eine HMD zumindest eine Kamera, eine Steuereinheit, eine Luftschnittstelle und zumindest eine Applikation umfasst, wobei die Steuereinheit des HMD eingerichtet ist, mit Hilfe zumindest eines durch die zumindest eine Kamera aufgezeichneten Kamerabildes ein Inside-Out-Tracking basierend auf einem 6 Degree of Freedom (6DOF)-Algorithmus auszuführen und eine 6DOF-Algorithmus basierte Translation des zumindest einen mobilen HMD zu ermitteln. Das zumindest eine HMD ist in der Regel als Brille ausgebildet. Alternativ ist das zumindest eine HMD als Linse ausgebildet. Der 6DOF-Algorithmus ist in einer Firmware des HMD integriert umgesetzt.
Erfindungsgemäß ist die Applikation zusätzlich eingerichtet, ein Kantenmodell eines Innenraumes des Fahrzeuges bereitzustellen und basierend auf dem Kantenmodell ein automatisiertes Computer-Vision basiertes 6DOF-Tracking des zumindest einen mobilen HMD bereitzustellen. Ein Tracking ist dabei eine Lokalisierung bzw. Erfassung des HMD.
Computer-Vision bedeutetet ein maschinelles Sehen. Das System ist demnach eingerichtet, durch die zumindest eine Kamera des HMD ein maschinelles Sehen in den Innenraum des Fahrzeuges zu ermöglichen. Zudem ist das System eingerichtet, ein Kantenmodell des Innenraumes bereitzustellen.
Das System bietet den Vorteil, dass durch die Einbeziehung des Kantenmodells in das Computer-Vision basierte 6DOF-Tracking eine Berücksichtigung einer dynamischen Umgebung, die beispielsweise durch Fensterscheiben des Fahrzeuges durch die zumindest eine Kamera wahrgenommen wird, korrigiert wird. Dadurch wird einer Fehllokalisierung des FIMD in dem Fahrzeug, die zu einer sprunghaften Änderung einer Blickposition eines Nutzers innerhalb der VR- und AR-Inhalte führen kann, vorgebeugt. Die Blickposition des Nutzers ist dabei auch die Blickposition der zumindest einen FIMD Kamera, die das Computer Vision basierte Sehen bereitstellt.
In einer Weiterbildung ist die Applikation basierend auf dem Computer-Vision basierten 6DOF-Tracking eingerichtet, das Kantenmodell einer Berechnung einer Computer-Vision basierten Translation des FIMD zugrunde zu legen, wobei die Applikation eingerichtet ist, die Computer-Vision basierte Translation des FIMD relativ zu dem Innenraum des Fahrzeuges zu ermitteln. Mit FHilfe des Kantenmodells des Innenraumes eines jeweiligen Fahrzeuges ist das System eingerichtet, eine genaue Position des zumindest einen FIMD in dem Innenraum des Fahrzeuges zu lokalisieren. Dabei wird der Innenraum des Fahrzeuges als Referenzpunkt für die Lokalisierung bzw. die Translation des FIMD bereitgestellt.
In einer weiteren Weiterbildung ist die Applikation eingerichtet, basierend auf der ermittelten Computer-Vision basierten Translation des FIMD eine durch den 6DOF-Algorithmus bereitgestellte Translation des FIMD auszugleichen. Dies bietet den Vorteil, dass eine durch den 6DOF-Algorithmus bestimmte fehlerhaft lokalisierte Position des zumindest einen FIMD in dem Innenraum des Fahrzeuges durch die neue Positionsbestimmung auf Basis des Kantenmodells korrigiert wird. Dadurch können mobile AR- / VR- FIMD während einer dynamischen Fahrt in einer dynamischen Umgebung verwendet werden. Das System verhindert eine Nutzung von VR- und AR- HMD ohne externe Tracker mit Inside-Out Tracking.
In einer Ausgestaltung ist die Applikation eingerichtet, das Kantenmodell basierend auf dem zumindest einen durch die zumindest eine Kamera aufgezeichneten Kamerabild zu erstellen. Das System ist mit Hilfe der zumindest einen Kamera eingerichtet, den Innenraum des Fahrzeuges als Kantenmodell abzubilden. Die Applikation ist in der Regel als VR-/AR- Applikation eingerichtet.
In einer Weiterbildung ist das System eingerichtet, eine durch die zumindest eine Kamera des zumindest einen HMD wahrgenommene Umwelt auszublenden. Beispielsweise ist das System eingerichtet, basierend auf einer Abstands- bzw. Distanzeinstellung Kamerabilder von einer Berücksichtigung in der Berechnung der Erstellung des Kantenmodells auszuschließen.
In einer alternativen Ausgestaltung umfasst die Regelungsvorrichtung des Fahrzeuges ein Kantenmodell, wobei die Regelungsvorrichtung eingerichtet ist, das Kantenmodell bei einer erstmaligen Verbindung mit dem HMD an die Applikation des HMD zu übermitteln, wobei die Applikation eingerichtet ist, das Kantenmodell der Computer-Vision basierten Berechnung der Translation des HMD zugrunde zu legen. Somit ist die alternative Ausgestaltung eingerichtet, anstelle einer dynamischen Erstellung des Kantenmodells des Innenraumes eine Information bzw. das Kantenmodell an das HMD zu übermitteln. In der Regel umfasst die Regelungsvorrichtung zumindest eine Luftschnittstelle, die eingerichtet ist, das Kantenmodell an eine Luftschnittstelle des HMD zu übermitteln. Das Kantenmodell ist dabei in der Regel in einer Fahrzeugmodellinformation eines jeweiligen Fahrzeuges gespeichert.
In einer Weiterbildung ist die Steuereinheit eingerichtet, die von der Regelungsvorrichtung bereitgestellten Fahrzeugsensordaten zur Berechnung einer Eigenbewegung des Fahrzeuges über die zumindest eine Luftschnittstelle des HMD an die Applikation des HMD zu übermitteln, wobei die Applikation eingerichtet ist, die Eigenbewegung des Fahrzeuges zu ermitteln und der Berechnung der Computer-Vision basierten Translation relativ zu dem Innenraum des Fahrzeuges zugrunde zu legen. Dies bietet den Vorteil, dass eine Translation des Fahrzeuges berücksichtigt werden kann, um die durch den 6DOF-Algorithmus berechnete Position des HMD auszugleichen.
Die Fahrzeugsensordaten werden in der Regel von zumindest zwei Sensoren erfasst, die eingerichtet sind, die Fahrzeugsensordaten an zumindest eine Regelungsvorrichtung zu übermitteln, wobei die Regelungsvorrichtung eingerichtet ist, die Fahrzeugsensordaten zu speichern. In der Regel werden die Fahrzeugsensordaten über zumindest einen Kommunikationskanal in dem Fahrzeug, beispielsweise über Flexray, CAN oder Ethernet, an die zumindest eine Regelungsvorrichtung mit der zumindest einen Luftschnittstelle bereitgestellt. Die Regelungsvorrichtung ist eingerichtet, die Fahrzeugsensordaten über die Luftschnittstelle an die Luftschnittstelle des HMD zu übermitteln.
In einer weiteren Weiterbildung ist die zumindest eine Luftschnittstelle der Regelungsvorrichtung und/oder des HMD eine Bluetooth Low Energy (BLE) Verbindung. In einer alternativen Ausgestaltung ist die zumindest eine Luftschnittstelle der Regelungsvorrichtung und/oder des HMD eine lokale WIFI-Verbindung oder eine klassische Bluetooth-Verbindung.
Optional umfasst das zumindest eine HMD zumindest eine inertiale Mess(IMU)-Einheit, die in der Regel zumindest einen Beschleunigungssensor und zumindest einen Drehratensensor umfasst, und eingerichtet ist, Sensordaten zu erfassen. Somit stellt die IMU-Einheit eine sensorische Messeinheit eines Trägheitsnavigationssystems dar.
Des Weiteren betrifft die vorliegende Erfindung ein Verfahren zur Durchführung eines 6DOF-Trackings eines mobilen HMD in einem Fahrzeug während einer dynamischen Fahrt, umfassend ein voranstehend beschriebenes System.
Erfindungsgemäß wird in einem ersten Schritt a ein Kantenmodell eines Innenraumes des Fahrzeuges bereitgestellt. In einem weiteren Schritt b wird ein automatisiertes Computer-Vision basiertes 6DOF-Tracking bereitgestellt. Die Schritte a und b sind dabei hintereinander oder zeitgleich ausführbar. In einem weiteren Schritt c wird eine Computer-Vision basierte Translation des FIMD relativ zu dem Innenraum des Fahrzeuges basierend auf dem Kantenmodell berechnet. In einem weiteren Schritt d wird eine durch ein 6 Degree of Freedom (6DOF)-Algorithmus basiertes Inside-Out-Tracking bereitgestellte Translation des FIMD 11 bereitgestellt. Die Schritte c und d sind dabei hintereinander oder zeitgleich ausführbar. In einem weiteren Schritt e wird die durch 6DOF-Algorithmus basierte Translation des FIMD 11 mit FHilfe der Computer-Vision basierten Translation des FIMD 11 ausgeglichen.
In einer Weiterbildung des Verfahrens wird das Kantenmodell basierend auf zumindest einem durch zumindest eine Kamera des FIMD aufgezeichneten Kamerabild erstellt und bereitgestellt. Das System ist somit eingerichtet, basierend auf den von der zumindest einen Kamera erfassten Kamerabildern, die auch für ein Inside-Out-Tracking verwendet werden, als Grundlage für die Erstellung eines Kantenmodells des Fahrzeuginnenraums heranzuziehen. Das derart erstellte Kantenmodell ist als O-Referenz für die Translation des FIMD verwendbar.
In einer alternativen Weiterbildung wird das Kantenmodell durch eine Regelungsvorrichtung des Fahrzeuges bei einer erstmaligen Verbindung des Fahrzeuges mit dem FIMD an das FIMD übermittelt. Somit ist die alternative Ausgestaltung eingerichtet, anstelle einer dynamischen Erstellung des Kantenmodells des Innenraumes eine Information bzw. das Kantenmodell an das FIMD zu übermitteln. Das Kantenmodell ist dabei in der Regel Teil von Fahrzeugmodellinformationen, die in einer Regelungsvorrichtung des Fahrzeuges hinterlegt sind. Die Erfindung ist anhand von Ausführungsformen in der Zeichnung schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung weiter beschrieben, wobei die gleichen Komponenten mit gleichen Bezugsziffern gekennzeichnet sind. Es zeigt:
Fig. 1 eine Ausführungsform eines erfindungsgemäßen Systems mit einem Kantenmodell basierend auf Kamerabildern von in dem HMD integrierten Kameras,
Fig. 2 eine weitere Ausführungsform des - in Fig. 1 gezeigten -
Systems.
Figur 1 zeigt eine Ausführungsform eines erfindungsgemäßen Systems 10 mit einem Kantenmodell basierend auf Kamerabildern von in einem HMD 11 integrierten Kameras 15. Das System 10 zur Erfassung zumindest eines mobilen Head Mounted Displays (HMD) 11 umfasst dabei zumindest ein Fahrzeug 12 und das zumindest eine HMD 1.
Das Fahrzeug 12 umfasst zumindest eine Regelungsvorrichtung 13 und zumindest eine Luftschnittstelle 14, wobei die Regelungsvorrichtung 13 zur Bereitstellung von Fahrzeugsensordaten eingerichtet ist.
Das zumindest eine HMD 11 umfasst zumindest eine Kamera 15, eine Steuereinheit 16, eine Luftschnittstelle 18 und zumindest eine Applikation 17, wobei die Steuereinheit 16 des HMD 11 eingerichtet ist, mit Hilfe zumindest eines durch die zumindest eine Kamera 15 aufgezeichneten Kamerabildes ein Inside-Out-Tracking basierend auf einem 6DOF-Algorithmus auszuführen und eine 6DOF-Algorithmus basierte Translation des HMD 11 zu ermitteln.
Die Applikation 17 ist eingerichtet, ein Kantenmodell eines Innenraumes des Fahrzeuges 12 bereitzustellen und basierend auf dem Kantenmodell ein automatisiertes Computer-Vision basiertes 6DOF-Tracking bereitzustellen. Dabei ist die Applikation 17 eingerichtet, das Kantenmodell einer Berechnung einer Computer-Vision basierten Translation des HMD zugrunde zu legen, wobei die Applikation 17 eingerichtet ist, die Computer-Vision basierte Translation des HMD 11 relativ zu dem Innenraum des Fahrzeuges 12 zu ermitteln. Zudem ist die Applikation 17 eingerichtet basierend auf der ermittelten Computer-Vision basierten Translation des HMD 11 eine durch den 6DOF-Algorithmus bereitgestellte Translation des HMD 11 auszugleichen.
Die Applikation 17 erstellt dabei das Kantenmodell selbst. Dabei ist die Applikation 17 eingerichtet ist, das Kantenmodell basierend auf dem zumindest einen durch die zumindest eine Kamera 15 aufgezeichneten Kamerabild zu erstellen.
Generell ist die Regelungsvorrichtung 13 des Fahrzeuges 12 eingerichtet, basierend auf Fahrzeugsensoren des Fahrzeuges 12 ermittelte Fahrzeugsensordaten 19 an die Applikation 17 zu übermitteln, wobei die Applikation 17 eingerichtet ist, basierend auf den übermittelten Fahrzeugsensordaten 19 eine Eigenbewegung des Fahrzeuges zu ermitteln. Das System 10 ist eingerichtet, die ermittelte Eigenbewegung des Fahrzeuges 12 der Berechnung des Computer-Vision basierten 6DOF- Trackings des HMD 11 zugrunde zu legen.
Die Figur 1 zeigt zudem das Verfahren zur Durchführung eines 6DOF- Trackings eines mobilen HMD 11 in dem Fahrzeug 12 während einer dynamischen Fahrt mit dem voranstehend beschriebenen System 10.
Das Verfahren umfasst in einem ersten Schritt a das Bereitstellen eines Kantenmodells eines Innenraumes des Fahrzeuges. In einem weiteren Schritt b wird ein automatisiertes Computer-Vision basiertes 6DOF-Tracking bereitgestellt. Die Schritte a und b können dabei wahlweise hintereinander oder zeitgleich ausgeführt werden. In einem weiteren Schritt c wird eine Computer-Vision basierte Translation des HMD 11 relativ zu dem Innenraum des Fahrzeuges 12 basierend auf dem Kantenmodell berechnet. In einem weiteren Schritt wird eine durch ein 6 Degree of Freedom (6DOF)-Algorithmus basiertes Inside-Out-Tracking bereitgestellte Translation des HMD 11 bereitgestellt. Die Schritte a und b können dabei wahlweise hintereinander oder zeitgleich ausgeführt werden. In einem weiteren Schritt e wird die durch ein 6DOF-Algorithmus basiertes Inside-Out-Tracking bereitgestellte Translation des HMD 11 mit Hilfe der Computer-Vision basierten Translation des HMD 11 ausgeglichen.
In der vorliegenden Ausführungsform des Verfahrens wird dabei das Kantenmodell basierend auf einem durch zumindest eine Kamera 15 des HMD 11 aufgezeichneten Kamerabild erstellt und bereitgestellt.
Dabei ist die zumindest eine Kamera 15 eingerichtet, die Umwelt wahrzunehmen und in Kamerabildern festhalten. Diese Kamerabilder werden insbesondere als Grundlage für Computer-Vision basierte Lokalisierungen des zumindest einen HMD 11 verwendet. Basierend auf den Algorithmen wird dabei aus den Kamerabilder der Umgebung ein Kantenmodell erstellt. Dabei kann eine räumliche Begrenzung oder maximale Distanz für die Auswertung dafür Sorge tragen, dass nur Referenzen in dem Innenraum des Fahrzeuges 12 und nicht aus der dynamischen Umgebung für die Erstellung des Kantenmodells herangezogen werden.
Mit Hilfe des berechneten Kantenmodells können basierend auf Algorithmen eine X-, Y-, und Z-Position des HMD 11 relativ zu dem Kantenmodell berechnet werden. Die Translation des HMD 11 relativ zu dem Kantenmodell wird dabei in der Regel als O-Referenz der angestrebten HMD 11 Kameraposition verwendet. In der Applikation 17 wird die Translation des HMD 11 internen 6DOF-Trackings durch eine Transformation auf die 0- Referenz, insbesondere ein 3DOF-Tracking relativ zu dem Kantenmodell, korrigiert. Somit wird die durch die dynamische Umgebung während der Fahrt des Fahrzeuges vom FIMD intern falsch berechnete Position der FIMD Kamera in der Applikation durch die tatsächliche Position des FIMD im Fahrzeug ausgeglichen. Die mathematische Operation dazu ist eine Vektor- Addition eines fehlerhaften Vektors plus einen Delta- Vektor zur O-Referenz.
Figur 2 zeigt eine weitere Ausführungsform des - in Fig. 1 gezeigten - Systems 10. Gezeigt ist dabei das System 10 umfassend das Fahrzeug 12, mit der Regelungsvorrichtung 13 und der Luftschnittstelle 14 sowie das HMD 11 mit der Kamera 15, der Steuereinheit 16, der Luftschnittstelle 18 und der Applikation 17. Bei dieser Ausführungsform wird ein Kantenmodell basierend auf Fahrzeugmodellinformationen durch die Regelungsvorrichtung 13 dem HMD 11 zur Verfügung gestellt.
Während des Entwicklungsprozesses des Fahrzeuges 12 gibt es eine Vielzahl verschiedener Modelle des Fahrzeuges 12. In der Regel ist aus einem dieser Modelle ein Kantenmodell erstellt worden, welches zusammen mit weiteren Fahrzeugmodellinformationen in der Regelungsvorrichtung 13 gespeichert ist. Bei der vorliegenden Ausführungsform wird bei der ersten Verbindung des HMD 11 mit dem Fahrzeug 12 das Kantenmodell über die Luftschnittstelle 14 der Regelungsvorrichtung 13 an das HMD 11 übermittelt.
Die Figur 2 zeigt zudem ebenfalls das in der Figurenbeschreibung zu Fig. 1 beschriebene Verfahren zur Durchführung des 6DOF-Trackings des mobilen HMD 11 in dem Fahrzeug 12 während einer dynamischen Fahrt mit den Schritten a bis e. Dabei ist die Applikation 17 ebenfalls eingerichtet, basierend auf durch die Regelungsvorrichtung 14 übermittelten Fahrzeugsensordaten 19 eine Eigenbewegung des Fahrzeuges 12 zu ermitteln und der weiteren Berechnung zugrunde zu legen. In der vorliegenden Ausführungsform des Verfahrens wird das Kantenmodell jedoch anstelle einer Ermittlung basierend auf Kamerabildern des zumindest einen HMD durch eine Regelungsvorrichtung 13 des Fahrzeuges 12 bei einer erstmaligen Verbindung des Fahrzeuges 12 mit dem HMD 11 an das HMD 11 übermittelt. Bezuqszeichenliste
10 System
11 HMD 12 Fahrzeug
13 Regelungsvorrichtung
14 Luftschnittstelle Regelungsvorrichtung
15 Kamera
16 Steuereinheit 17 Applikation
18 Luftschnittstelle HMD
19 Fahrzeugsensordaten

Claims

PATENTANSPRÜCHE:
1. System (10) zur Erfassung zumindest eines mobilen Head Mounted Displays (HMD) (11), umfassend zumindest ein Fahrzeug (12) und das zumindest eine HMD (11), wobei das Fahrzeug (12) zumindest eine
Regelungsvorrichtung (13) und zumindest eine Luftschnittstelle (14) umfasst, wobei die Regelungsvorrichtung (13) zur Bereitstellung von Fahrzeugsensordaten eingerichtet ist, und wobei das zumindest eine HMD (11) zumindest eine Kamera (15), eine Steuereinheit (16), eine Luftschnittstelle (18) und zumindest eine Applikation (17) umfasst, wobei die Steuereinheit (16) des HMD (11) eingerichtet ist, mit Hilfe zumindest eines durch die zumindest eine Kamera (15) aufgezeichneten Kamerabildes ein Inside-Out-Tracking basierend auf einem 6 Degree of Freedom (6DOF)-Algorithmus auszuführen und eine 6DOF-Algorithmus basierte Translation des zumindest einen mobilen
HMD (11) zu ermitteln, dadurch gekennzeichnet, dass die Applikation (17) zusätzlich eingerichtet ist, ein Kantenmodell eines Innenraumes des Fahrzeuges (12) bereitzustellen und basierend auf dem Kantenmodell ein automatisiertes Computer-Vision basiertes 6DOF- Tracking des zumindest einen mobilen HMD (11 ) bereitzustellen.
2. System (10) nach Anspruch 1, dadurch gekennzeichnet, dass die Applikation (17) basierend auf dem Computer-Vision basierten 6DOF- Tracking eingerichtet ist, das Kantenmodell einer Berechnung einer Computer-Vision basierten Translation des HMD (11) zugrunde zu legen, wobei die Applikation (17) eingerichtet ist, die Computer-Vision basierte Translation des HMD (11) relativ zu dem Innenraum des Fahrzeuges (12) ermitteln. 3. System (10) nach Anspruch 1, dadurch gekennzeichnet, dass die
Applikation (17) eingerichtet ist, basierend auf der ermittelten Computer-Vision basierten Translation des HMD (11) eine durch den 6DOF-Algorithmus bereitgestellte Translation des HMD (11) auszugleichen.
4. System (10) nach Anspruch 1 bis 3, dadurch gekennzeichnet, dass die Applikation (10) eingerichtet ist, das Kantenmodell basierend auf dem zumindest einen durch die zumindest eine Kamera (15) aufgezeichneten Kamerabild zu erstellen.
5. System (10) nach Anspruch 1 bis 3, dadurch gekennzeichnet, dass die Regelungsvorrichtung (13) des Fahrzeuges (12) ein Kantenmodell umfasst, wobei die Regelungsvorrichtung (13) eingerichtet ist, das Kantenmodell bei einer erstmaligen Verbindung mit dem HMD (11) an die Applikation (17) des HMD (11) zu übermitteln, wobei die Applikation
(17) eingerichtet ist, das Kantenmodell der Computer-Vision basierten Berechnung der Translation des HMD (11) zugrunde zu legen.
6. System (10) nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinheit (16) eingerichtet ist, die von der Regelungsvorrichtung
(13) bereitgestellten Fahrzeugsensordaten zur Berechnung einer Eigenbewegung des Fahrzeuges (12) über die zumindest eine Luftschnittstelle des HMD (11) an die Applikation (17) des HMD (11) zu übermitteln, wobei die Applikation (17) eingerichtet ist, basierend auf den Fahrzeugsensordaten die Eigenbewegung des Fahrzeuges (12) zu ermitteln und der Berechnung der Computer-Vision basierten Translation relativ zum Innenraum des Fahrzeuges (12) zugrunde zu legen. 7. System (10) nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest eine Luftschnittstelle (14) der Regelungsvorrichtung (13) und/oder des HMD (11) eine Bluetooth Low Energy (BLE) Verbindung ist. 8. Verfahren zur Durchführung eines 6DOF-Trackings eines mobilen HMD
(11) in einem Fahrzeug während einer dynamischen Fahrt (12), mit einem System (10) nach einem der Ansprüche 1 bis 7, umfassend die Schritte: a. Bereitstellen eines Kantenmodells eines Innenraumes des Fahrzeuges, b. Bereitstellen eines automatisierten Computer-Vision basierten 6DOF-Trackings, c. Berechnen einer Computer-Vision basierten Translation des HMD (11) relativ zu dem Innenraum des Fahrzeuges (12) basierend auf dem Kantenmodell, d. Bereitstellen einer durch ein 6 Degree of Freedom (6DOF)-
Algorithmus basiertes Inside-Out-Tracking bereitgestellten
Translation des HMD (11 ), e. Ausgleichen der auf dem Inside-Out-Tracking basierten
Translation des HMD (11) mit Hilfe der Computer-Vision basierten Translation des HMD (11 ).
9. Verfahren nach Anspruch 8, wobei das Kantenmodell basierend auf einem durch zumindest eine Kamera (15) des HMD (11) aufgezeichneten Kamerabild erstellt und bereitgestellt wird.
10. Verfahren nach Anspruch 8, wobei das Kantenmodell durch eine Regelungsvorrichtung (13) des Fahrzeuges (12) bei einer erstmaligen Verbindung des Fahrzeuges (12) mit dem HMD (11) an das HMD (11) übermittelt wird.
EP21720183.9A 2020-05-06 2021-04-09 6 degree of freedom (6dof) tracking von mobilen head mounted displays (hmd) Pending EP4147205A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020112300.0A DE102020112300B4 (de) 2020-05-06 2020-05-06 6 Degree of Freedom (6DOF) Tracking von mobilen Head Mounted Displays (HMD)
PCT/EP2021/059273 WO2021223959A1 (de) 2020-05-06 2021-04-09 6 degree of freedom (6dof) tracking von mobilen head mounted displays (hmd)

Publications (1)

Publication Number Publication Date
EP4147205A1 true EP4147205A1 (de) 2023-03-15

Family

ID=75588179

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21720183.9A Pending EP4147205A1 (de) 2020-05-06 2021-04-09 6 degree of freedom (6dof) tracking von mobilen head mounted displays (hmd)

Country Status (5)

Country Link
US (1) US12288345B2 (de)
EP (1) EP4147205A1 (de)
CN (1) CN115516506A (de)
DE (1) DE102020112300B4 (de)
WO (1) WO2021223959A1 (de)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020105484A1 (en) 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8487837B2 (en) 2008-11-06 2013-07-16 Bae Systems Information And Electronic Systems Integration Inc. Optical six-degree of freedom tracking apparatus and method
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
DE102013210746A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs
US9715764B2 (en) * 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
EP2933707B1 (de) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Darstellungseinstellung für kopfmontierte Anzeige
DE102014213021A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines HMD im Fahrzeug
DE102014225222B4 (de) * 2014-12-09 2024-10-02 Bayerische Motoren Werke Aktiengesellschaft Bestimmung der Position eines HMD relativ zum Kopf des Trägers
JP6576574B2 (ja) * 2016-03-11 2019-09-18 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 眼球モデルを生成するための角膜球追跡
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
DE102016225268A1 (de) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017215163B4 (de) * 2017-08-30 2019-04-11 Volkswagen Aktiengesellschaft System aus einem Kraftfahrzeug und einer Augmented-Reality-Brille und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille im Innenraum eines Fahrzeugs
DE102017217027A1 (de) * 2017-09-26 2019-03-28 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
DE102018201509A1 (de) * 2018-02-01 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
US11178373B2 (en) * 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
CN109445598B (zh) * 2018-11-07 2022-04-15 深圳珑璟光电技术有限公司 一种基于视觉的增强现实系统装置
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
US11514617B2 (en) * 2020-08-14 2022-11-29 Htc Corporation Method and system of providing virtual environment during movement and related non-transitory computer-readable storage medium
DE102021117453B3 (de) * 2021-07-06 2022-10-20 Holoride Gmbh Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug während einer Fahrt, entsprechend betreibbare Datenbrille, Prozessorschaltung sowie Kraftfahrzeug

Also Published As

Publication number Publication date
DE102020112300A1 (de) 2021-11-11
US12288345B2 (en) 2025-04-29
DE102020112300B4 (de) 2025-08-07
WO2021223959A1 (de) 2021-11-11
CN115516506A (zh) 2022-12-23
US20230196591A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
DE102015015503B4 (de) Robotersystem, das eine mit erweiterter Realität kompatible Anzeige aufweist
US9001153B2 (en) System and apparatus for augmented reality display and controls
JP6265348B2 (ja) 視線計測装置、視線計測方法および視線計測プログラム
EP3164756B1 (de) Lokalisierung eines hmd im fahrzeug
DE102014225222B4 (de) Bestimmung der Position eines HMD relativ zum Kopf des Trägers
US10969579B2 (en) Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
EP3129820A1 (de) Lokalisierung eines head-mounted displays (hmd) im fahrzeug
WO2021170421A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug sowie system mit einem kraftfahrzeug und einer datenbrille
WO2019149874A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
EP4422905B1 (de) Verfahren und vorrichtung zum bestimmen einer einbaupose einer fahrzeugfesten inertialsensorik in einem kraftfahrzeug
DE102014206626A1 (de) Müdigkeitserkennung mithilfe von Datenbrillen (HMD)
JP2008131250A (ja) 車載カメラの校正装置及び当該装置を用いた車両の生産方法
WO2022218698A1 (de) Verfahren und vorrichtung zur posenbestimmung in einer datenbrille
CN116443028B (zh) 头部姿态数据采集系统及方法
DE102019116089A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
EP4147205A1 (de) 6 degree of freedom (6dof) tracking von mobilen head mounted displays (hmd)
DE102019103360A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102022107297A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einer mobilen Einrichtung zur Anzeige von umgebungsbezogenen Anzeigeobjekten
DE102020129068A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille
EP3710774A1 (de) Systeme und verfahren zur kalibrierung eines augenverfolgungssystems
US20240329404A1 (en) Method and Device for Operating a Display System With One or More Data Glasses in a Vehicle
JP7710185B2 (ja) 撮影装置、撮影作業支援方法、および撮影作業支援プログラム
DE102023118771A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
DE102022109306A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Fahrzeug zur latenzfreien kontaktanalogen Anzeige von fahrzeugfesten und weltfesten Informationsobjekten
CN116597425B (zh) 一种驾驶员的样本标签数据的确定方法、装置及电子设备

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221205

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230529

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240122