DE102020121408A1 - Computer-implemented method and system for predicting an orientation and spatial position of a user's head-mountable display device - Google Patents

Computer-implemented method and system for predicting an orientation and spatial position of a user's head-mountable display device Download PDF

Info

Publication number
DE102020121408A1
DE102020121408A1 DE102020121408.1A DE102020121408A DE102020121408A1 DE 102020121408 A1 DE102020121408 A1 DE 102020121408A1 DE 102020121408 A DE102020121408 A DE 102020121408A DE 102020121408 A1 DE102020121408 A1 DE 102020121408A1
Authority
DE
Germany
Prior art keywords
display device
time
point
spatial position
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020121408.1A
Other languages
German (de)
Inventor
Manfred Pauli
Alan Keim
Wolfgang Haberl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102020121408.1A priority Critical patent/DE102020121408A1/en
Publication of DE102020121408A1 publication Critical patent/DE102020121408A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/213—
    • B60K35/23—
    • B60K35/65—
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/0207—Wire harnesses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/0207—Wire harnesses
    • B60R16/0215—Protecting, fastening and routing means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • B60K2360/149—
    • B60K2360/21—
    • B60K2360/31—
    • B60K2360/741—

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung (10), welche eine optische Anordnung (12) aufweist, durch die zumindest ein Teil einer Umgebung sichtbar und auf der ein virtueller Inhalt (14) darstellbar ist, mit einem Darstellen (S4) des virtuellen Inhalts (14) auf der Anzeigevorrichtung (10) in Abhängigkeit einer durch einen Kalman-Filter geschätzten räumlichen Position (P3) der Anzeigevorrichtung (10). Die Erfindung betrifft des Weiteren ein System zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung (10). Die Erfindung betrifft überdies ein Computerprogramm und einen computerlesbaren Datenträger.The invention relates to a computer-implemented method for predicting an orientation and spatial position of a display device (10) that can be mounted on a user's head and has an optical arrangement (12) through which at least part of an environment is visible and on which virtual content (14) can be displayed, with a display (S4) of the virtual content (14) on the display device (10) as a function of a spatial position (P3) of the display device (10) estimated by a Kalman filter. The invention also relates to a system for predicting an orientation and spatial position of a display device (10) that can be mounted on a user's head. The invention also relates to a computer program and a computer-readable data carrier.

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung. Die Erfindung betrifft des Weiteren ein System zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung.The invention relates to a computer-implemented method for predicting an orientation and spatial position of a display device that can be mounted on a user's head. The invention further relates to a system for predicting an orientation and spatial position of a display device that can be mounted on a user's head.

Head-up Displays in Fahrzeugen sind seit Längerem bekannt. Hierbei handelt es sich um ein holografisches Anzeigesystem umfassend eine Projektionseinheit und einen holografischen Strahlkombinierer, wobei die Projektionseinheit eine Lichtquelle zur Aussendung eines Lichtsignals und eine von der Lichtquelle beleuchtete, steuerbare Bildgebungseinheit umfasst.Head-up displays in vehicles have been known for a long time. This is a holographic display system comprising a projection unit and a holographic beam combiner, the projection unit comprising a light source for emitting a light signal and a controllable imaging unit illuminated by the light source.

DE 102 27 467 A1 offenbart ein solches holografisches Anzeigesystem für Fahrzeuge. Dieses umfasst eine Bildgebungseinheit, mit welcher dem Lichtsignal eine Bildinformation aufmodellierbar und das modellierte Lichtsignal auf den holografischen Strahlkombinierer lenkbar ist, wobei in und/oder an dem Fahrzeug wenigstens ein Betrachtungsspiegel vorgesehen ist, durch den von dem holografischen Strahlkombinierer abgestrahltes Licht in den optischen Wahrnehmungsbereich eines Benutzers lenkbar ist. DE 102 27 467 A1 discloses such a holographic display system for vehicles. This comprises an imaging unit with which image information can be modeled onto the light signal and the modeled light signal can be directed onto the holographic beam combiner, with at least one viewing mirror being provided in and/or on the vehicle, through which the light emitted by the holographic beam combiner can enter the optical perception area of a User is steerable.

Ferner sind sogenannte AR (Augmented Reality) Brillen bekannt, welche eine optische Anordnung aufweisen, durch die zumindest ein Teil einer Umgebung sichtbar und auf der ein virtueller Inhalt darstellbar ist.Furthermore, so-called AR (augmented reality) glasses are known, which have an optical arrangement through which at least part of an environment can be seen and on which virtual content can be displayed.

Der Nachteil solcher Vorrichtungen besteht darin, dass bei einer Kopfbewegung des Nutzers die auf der Brille dargestellten Inhalte entsprechend neu positioniert werden müssen, um für den Nutzer an derselben Stelle sichtbar zu sein.The disadvantage of such devices is that when the user's head moves, the content displayed on the glasses has to be repositioned accordingly in order to be visible to the user at the same place.

Da das Rendering der darzustellenden virtuellen Inhalte eine bestimmte Berechnungszeit erfordert, kommt es bei der Positionierung der virtuellen Inhalte auf der Anzeigevorrichtung zu ungenauen Positionierungen und/oder einer verzögerten Darstellung der Inhalte aufgrund der erforderlichen Berechnungszeit.Since the rendering of the virtual content to be displayed requires a specific calculation time, the positioning of the virtual content on the display device results in imprecise positioning and/or a delayed display of the content due to the required calculation time.

Um eine flüssige Darstellung der Inhalte auf der Anzeigevorrichtung zu gewährleisten, muss die Neupositionierung der Inhalte auf der Anzeigevorrichtung mit einer Kopfbewegung des Nutzers derart synchronisiert werden, dass ein zeitlicher Versatz zwischen der Kopfbewegung des Nutzers und der angepassten Darstellung der virtuellen Inhalte auf der Anzeigevorrichtung deutlich unter 20 Millisekunden beträgt.In order to ensure a smooth presentation of the content on the display device, the repositioning of the content on the display device must be synchronized with a user's head movement in such a way that a time offset between the user's head movement and the adapted presentation of the virtual content on the display device is significantly below is 20 milliseconds.

Bekannte Verfahren hierfür sind Late Correction und Asynchronous Reprojection, welche über Hardwareschnittstellen in die Rendering Pipeline eingreifen. In Fällen bzw. bei AR-Brillen, bei denen kein Eingriff in die Rendering Pipeline möglich ist, sind die oben genannten Verfahren dadurch nicht umsetzbar. Somit kommt es bei der Adaption der Vorhersage bzw. Neupositionierung der virtuellen Inhalte auf der Anzeigevorrichtung zu Ungenauigkeiten bzw. Prozessrauschen.Known methods for this are Late Correction and Asynchronous Reprojection, which intervene in the rendering pipeline via hardware interfaces. In cases or with AR glasses where it is not possible to intervene in the rendering pipeline, the above methods cannot be implemented. Thus, there are inaccuracies or process noise when adapting the prediction or repositioning of the virtual content on the display device.

Es besteht daher ein Bedarf, ein verbessertes Verfahren und System zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung bereitzustellen.Therefore, there is a need to provide an improved method and system for predicting an orientation and spatial position of a user's head mountable display device.

Die Aufgabe wird mit einem computerimplementierten Verfahren zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung mit den Merkmalen des Patentanspruchs 1 gelöst.The object is achieved with a computer-implemented method for predicting an orientation and spatial position of a display device that can be mounted on a user's head, having the features of patent claim 1 .

Des Weiteren wird die Aufgabe mit einem System zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst.Furthermore, the object is achieved with a system for predicting an orientation and spatial position of a display device that can be mounted on a user's head, having the features of patent claim 9 .

Darüber hinaus wird die Aufgabe mit einem Computerprogramm mit den Merkmalen des Patentanspruchs 10 und mit einem computerlesbaren Datenträger mit den Merkmalen des Patentanspruchs 11 gelöst.In addition, the object is achieved with a computer program having the features of patent claim 10 and with a computer-readable data carrier having the features of patent claim 11 .

Die vorliegende Erfindung schafft ein computerimplementiertes Verfahren zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung, welche eine optische Anordnung aufweist, durch die zumindest ein Teil einer Umgebung sichtbar und auf der ein virtueller Inhalt darstellbar ist.The present invention provides a computer-implemented method for predicting an orientation and spatial position of a head-mounted display device having an optical arrangement through which at least part of an environment can be viewed and on which virtual content can be displayed.

Das Verfahren umfasst ein Erfassen der räumlichen Position der Anzeigevorrichtung unter Verwendung zumindest eines ersten Sensorsystems, insbesondere einer inertialen Messeinheit, zu zumindest einem ersten Zeitpunkt und einem zweiten Zeitpunkt mit einer vorgegebenen Abtastrate.The method includes detecting the spatial position of the display device using at least one first sensor system, in particular an inertial measuring unit, at at least a first point in time and a second point in time with a predetermined sampling rate.

Das Verfahren umfasst des Weiteren ein Empfangen von durch das zumindest eine erste Sensorsystem erfassten Positionsdaten räumlicher Positionen der Anzeigevorrichtung zum zumindest ersten Zeitpunkt und zweiten Zeitpunkt durch einen Kalman-Filter.The method also includes receiving position data of spatial positions of the display device detected by the at least one first sensor system at at least the first point in time and the second point in time using a Kalman filter.

Darüber hinaus umfasst das Verfahren ein Schätzen der räumlichen Position der Anzeigevorrichtung zu einem dritten Zeitpunkt unter Verwendung der erfassten Positionsdaten durch den Kalman-Filter und ein Darstellen des virtuellen Inhalts auf der Anzeigevorrichtung in Abhängigkeit der durch den Kalman-Filter zum dritten Zeitpunkt geschätzten räumlichen Position der Anzeigevorrichtung.In addition, the method includes estimating the spatial position of the display device at a third point in time using the acquired position data through the Kalman filter and displaying the virtual content on the display device as a function of the spatial position of the estimated by the Kalman filter at the third point in time display device.

Die vorliegende Erfindung schafft des Weiteren ein System zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung, welche eine optische Anordnung aufweist, durch die zumindest ein Teil einer Umgebung sichtbar und auf der ein virtueller Inhalt darstellbar ist.The present invention also provides a system for predicting an orientation and spatial position of a display device that can be mounted on a user's head and has an optical arrangement through which at least part of an environment can be seen and on which virtual content can be displayed.

Das System umfasst zumindest ein erstes Sensorsystem, insbesondere eine inertiale Messeinheit, welches dazu eingerichtet ist, die räumliche Position der Anzeigevorrichtung, zu zumindest einem ersten Zeitpunkt und einem zweiten Zeitpunkt mit einer vorgegebenen Abtastrate zu erfassen.The system comprises at least one first sensor system, in particular an inertial measuring unit, which is set up to detect the spatial position of the display device at least at a first point in time and a second point in time with a predefined sampling rate.

Das System umfasst des Weiteren eine Recheneinrichtung, welche dazu eingerichtet ist, durch das zumindest eine erste Sensorsystem erfasste Positionsdaten räumlicher Positionen der Anzeigevorrichtung zum zumindest ersten Zeitpunkt und zweiten Zeitpunkt durch einen Kalman-Filter zu empfangen, und wobei die Recheneinrichtung dazu eingerichtet ist, die räumliche Position der Anzeigevorrichtung zu einem dritten Zeitpunkt unter Verwendung der erfassten Positionsdaten durch den Kalman-Filter zu schätzen.The system also includes a computing device which is set up to receive position data of spatial positions of the display device detected by the at least one first sensor system at least at the first point in time and second point in time through a Kalman filter, and wherein the computing device is set up to calculate the spatial Estimate position of the display device at a third point in time using the acquired position data through the Kalman filter.

Das System weist ferner Mittel zum Darstellen des virtuellen Inhalts auf der Anzeigevorrichtung in Abhängigkeit der durch den Kalman-Filter der Recheneinrichtung zum dritten Zeitpunkt geschätzten räumlichen Position der Anzeigevorrichtung.The system also has means for displaying the virtual content on the display device as a function of the spatial position of the display device estimated by the Kalman filter of the computing device at the third point in time.

Die vorliegende Erfindung schafft darüber hinaus ein Computerprogramm mit Programmcode, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.The present invention also creates a computer program with program code to carry out the method according to the invention when the computer program is run on a computer.

Die vorliegende Erfindung schafft des Weiteren einen computerlesbaren Datenträger mit Programmcode eines Computerprogramms, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.The present invention also creates a computer-readable data carrier with program code of a computer program in order to carry out the method according to the invention when the computer program is run on a computer.

Eine Idee der vorliegenden Erfindung ist es, durch Verwendung des Kalman-Filters zum Schätzen der zukünftigen räumlichen Position der am Kopf des Nutzers montierbaren Anzeigevorrichtung eine exakte Position zu einem definierten Zeitpunkt zu erhalten, auf deren Basis eine angepasste Darstellung des virtuellen Inhalts auf der Anzeigevorrichtung an den richtigen Koordinaten möglich ist. Hierdurch kann in vorteilhafter Weise ein Darstellungsergebnis erreicht werden, das auf dem Niveau eines Eingriffs in die Rendering Pipeline ist, ohne das Erfordernis einer Hardwareschnittstelle, um das Verfahren durchzuführen.An idea of the present invention is to use the Kalman filter to estimate the future spatial position of the display device that can be mounted on the user's head to obtain an exact position at a defined point in time, based on which an adapted representation of the virtual content is displayed on the display device the correct coordinates is possible. In this way, a display result can advantageously be achieved which is at the level of an intervention in the rendering pipeline, without the need for a hardware interface in order to carry out the method.

Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass ein Vergleich der geschätzten räumlichen Position der Anzeigevorrichtung zum dritten Zeitpunkt mit einer durch das zumindest eine erste Sensorsystem zum dritten Zeitpunkt erfassten Position der Anzeigevorrichtung durchgeführt wird, wobei eine Differenz zwischen der geschätzten räumlichen Position der Anzeigevorrichtung zum dritten Zeitpunkt und der erfassten räumlichen Position der Anzeigevorrichtung zum dritten Zeitpunkt als Feedback an einen Steuereingang des Kalman-Filters angelegt wird.According to a preferred development, it is provided that a comparison of the estimated spatial position of the display device at the third point in time is carried out with a position of the display device detected by the at least one first sensor system at the third point in time, with a difference between the estimated spatial position of the display device at the third point in time and the detected spatial position of the display device at the third point in time is applied as feedback to a control input of the Kalman filter.

Hierdurch kann ein Prozessrauschen des Kalman-Filters reduziert werden, da durch Anlegen des Feedbacks bzw. der Rückkopplung an den Steuereingang des Kalman-Filters eine Neumodellierung des Zustandsraums möglich ist, auf deren Basis eine genauere Vorhersage erreicht werden kann. Je mehr Iterationen der Kalman-Filter durchläuft, desto präziser wird die Vorhersage.As a result, process noise of the Kalman filter can be reduced, since applying the feedback or feedback to the control input of the Kalman filter allows the state space to be remodeled, on the basis of which a more accurate prediction can be achieved. The more iterations the Kalman filter goes through, the more precise the prediction becomes.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Differenz zwischen der geschätzten räumlichen Position der Anzeigevorrichtung zum dritten Zeitpunkt und der erfassten räumlichen Position der Anzeigevorrichtung zum dritten Zeitpunkt dazu verwendet wird, eine Kovarianzmatrix des Kalman-Filters anzupassen.According to a further preferred development, it is provided that the difference between the estimated spatial position of the display device at the third point in time and the detected spatial position of the display device at the third point in time is used to adapt a covariance matrix of the Kalman filter.

Die Kovarianzmatrix beschreibt in vorteilhafter Weise den Zusammenhang zwischen der erfassten räumlichen Position der Anzeigevorrichtung zum dritten Zeitpunkt und der durch den Kalman-Filter geschätzten räumlichen Position der Anzeigevorrichtung zum dritten Zeitpunkt, wobei die Anpassung der Kovarianzmatrix eine Verbesserung der Vorhersagegenauigkeit des Kalman-Filters ermöglicht.The covariance matrix advantageously describes the relationship between the detected spatial position of the display device at the third point in time and the spatial position of the display device estimated by the Kalman filter at the third point in time, with the adaptation of the covariance matrix enabling the prediction accuracy of the Kalman filter to be improved.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass ein Erfassen der räumlichen Position der Anzeigevorrichtung unter Verwendung eines zweiten, optischen Sensorsystems zum zumindest einen ersten Zeitpunkt und zweiten Zeitpunkt mit einer vorgegebenen Abtastrate durchgeführt wird.According to a further preferred development, it is provided that the spatial position of the display device is detected using a second, optical sensor system at least at a first point in time and a second point in time with a predetermined sampling rate.

Aufgrund der zusätzlichen Verwendung des zweiten, optischen Sensorsystems kann in vorteilhafter Weise eine verbesserte Erfassung der räumlichen Position der Anzeigevorrichtung ermöglicht werden.Due to the additional use of the second, optical sensor system can advantageously improved detection of spatial union position of the display device are made possible.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass das zweite, optische Sensorsystem unter Verwendung einer Mehrzahl von Kamerasensoren an der Anzeigevorrichtung angeordnete Markierungen erfasst, wobei das zweite, optische Sensorsystem aus einer Position der Markierungen auf den Kamerabildern und einer relativen Positionierung der Kamerasensoren zueinander eine räumliche Position der Markierungen berechnet. Damit kann in vorteilhafter Weise eine exakte räumliche Positionierung der Anzeigevorrichtung berechnet werden.According to a further preferred development, it is provided that the second, optical sensor system detects markings arranged on the display device using a plurality of camera sensors, with the second, optical sensor system determining a spatial Position of markers calculated. In this way, an exact spatial positioning of the display device can be calculated in an advantageous manner.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass das zweite, optische Sensorsystem unter Verwendung einer Mehrzahl von an der Anzeigevorrichtung angeordneten Kamerasensoren in einem die Anzeigevorrichtung umgebenden Raum angeordnete Markierungen erfasst, wobei das zweite, optische Sensorsystem aus einer Position der Markierungen auf den Kamerabildern und einer relativen Positionierung der Kamerasensoren zueinander eine räumliche Position der Anzeigevorrichtung berechnet.According to a further preferred development, it is provided that the second, optical sensor system, using a plurality of camera sensors arranged on the display device, detects markings arranged in a space surrounding the display device, the second, optical sensor system from a position of the markings on the camera images and a relative positioning of the camera sensors to each other calculates a spatial position of the display device.

Diese alternative Ausführungsform ermöglicht ebenfalls eine exakte Berechnung der Position der Sensorvorrichtung im Raum, wobei bei dieser Variante in vorteilhafter Weise die räumlich angeordneten Kamerasensoren entfallen, da diese an der Anzeigevorrichtung selbst angeordnet sind.This alternative embodiment also enables an exact calculation of the position of the sensor device in space, with this variant advantageously eliminating the spatially arranged camera sensors, since these are arranged on the display device itself.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass der Kalman-Filter eine Winkelgeschwindigkeit, insbesondere eine Rotationsbewegung, und eine Lateralgeschwindigkeit, insbesondere eine Translationsbewegung, der Anzeigevorrichtung schätzt. Damit kann eine präzise Schätzung der räumlichen Position der Anzeigevorrichtung ermöglicht werden, welche sowohl eine Kopfdrehung des Nutzers als auch eine Lateralbewegung sowie eine Bewegung, welche anteilsweise sowohl eine Rotationsbewegung als auch eine Lateralbewegung, umfasst.According to a further preferred development, it is provided that the Kalman filter estimates an angular velocity, in particular a rotational movement, and a lateral velocity, in particular a translational movement, of the display device. A precise estimation of the spatial position of the display device can thus be made possible, which includes both a head rotation of the user and a lateral movement as well as a movement which partially includes both a rotational movement and a lateral movement.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass eine geschätzte Position der Anzeigevorrichtung zum dritten Zeitpunkt durch das Produkt der erfassten Position der Anzeigevorrichtung zum dritten Zeitpunkt und der Ableitung der erfassten Position der Anzeigevorrichtung zum dritten Zeitpunkt gebildet wird. Der Kalman-Filter ist somit auf Basis der vorstehend genannten Bewegungsgleichung in der Lage, eine exakte Schätzung der Position der Anzeigevorrichtung im Raum vorzunehmen.According to a further preferred development it is provided that an estimated position of the display device at the third time is formed by the product of the detected position of the display device at the third time and the derivation of the detected position of the display device at the third time. The Kalman filter is thus able to undertake an exact estimation of the position of the display device in space on the basis of the above-mentioned equation of motion.

Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.The configurations and developments described can be combined with one another as desired.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.Further possible refinements, developments and implementations of the invention also include combinations of features of the invention described above or below with regard to the exemplary embodiments that are not explicitly mentioned.

Figurenlistecharacter list

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.The accompanying drawings are provided to provide a further understanding of embodiments of the invention. They illustrate embodiments and, together with the description, serve to explain principles and concepts of the invention.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.Other embodiments and many of the foregoing advantages will become apparent by reference to the drawings. The illustrated elements of the drawings are not necessarily shown to scale with respect to one another.

Es zeigen:

  • 1 ein Ablaufdiagramm eines computerimplementierten Verfahrens zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung gemäß einer bevorzugten Ausführungsform der Erfindung;
  • 2 eine schematische Darstellung eines Systems zur Vorhersage der Orientierung und räumlichen Position der am Kopf des Nutzers montierbaren Anzeigevorrichtung gemäß der bevorzugten Ausführungsform der Erfindung;
  • 3 eine schematische Darstellung des Systems zur Vorhersage der Orientierung und räumlichen Position der am Kopf des Nutzers montierbaren Anzeigevorrichtung gemäß einer weiteren bevorzugten Ausführungsform der Erfindung; und
  • 4 eine schematische Darstellung einer räumlichen Positionsänderung der Anzeigevorrichtung gemäß der bevorzugten Ausführungsform der Erfindung.
Show it:
  • 1 a flow chart of a computer-implemented method for predicting an orientation and spatial position of a head-mountable display device according to a preferred embodiment of the invention;
  • 2 12 is a schematic representation of a system for predicting the orientation and spatial position of the user's head-mountable display device according to the preferred embodiment of the invention;
  • 3 a schematic representation of the system for predicting the orientation and spatial position of the user's head mountable display device according to a further preferred embodiment of the invention; and
  • 4 a schematic representation of a spatial change in position of the display device according to the preferred embodiment of the invention.

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.In the figures of the drawings, the same reference symbols designate the same or functionally identical elements, parts or components, unless otherwise stated.

1 zeigt ein Ablaufdiagramm eines computerimplementierten Verfahrens zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung gemäß einer bevorzugten Ausführungsform der Erfindung. 1 Figure 1 shows a flow diagram of a computer-implemented method for predicting an orientation and spatial position of a user's head mountable display direction according to a preferred embodiment of the invention.

Das Verfahren umfasst ein Erfassen S1 der räumlichen Position P1, P2 der Anzeigevorrichtung 10 unter Verwendung zumindest eines ersten Sensorsystems M1, insbesondere einer inertialen Messeinheit, zu zumindest einem ersten Zeitpunkt T1 und einem zweiten Zeitpunkt T2 mit einer vorgegebenen Abtastrate.The method includes detecting S1 the spatial position P1, P2 of the display device 10 using at least one first sensor system M1, in particular an inertial measuring unit, at at least a first point in time T1 and a second point in time T2 with a predetermined sampling rate.

Alternativ oder zusätzlich kann das Erfassen S1' der räumlichen Position P1, P2 der Anzeigevorrichtung 10 unter Verwendung eines zweiten, optischen Sensorsystems M2 zum zumindest einen ersten Zeitpunkt T1 und zweiten Zeitpunkt T2 mit einer vorgegebenen Abtastrate durchgeführt werden.Alternatively or additionally, the detection S1′ of the spatial position P1, P2 of the display device 10 can be carried out using a second, optical sensor system M2 at at least a first point in time T1 and a second point in time T2 with a predetermined sampling rate.

Das Verfahren umfasst des Weiteren ein Empfangen S2 von durch das zumindest eine erste Sensorsystem M1 erfassten Positionsdaten räumlicher Positionen P1, P2 der Anzeigevorrichtung 10 zum zumindest ersten Zeitpunkt T1 und zweiten Zeitpunkt T2 durch einen Kalman-Filter.The method also includes receiving S2 position data of spatial positions P1, P2 of the display device 10 detected by the at least one first sensor system M1 at the at least first point in time T1 and second point in time T2 by a Kalman filter.

Überdies umfasst das Verfahren ein Schätzen S3 der räumlichen Position P3 der Anzeigevorrichtung 10 zu einem dritten Zeitpunkt T3 unter Verwendung der erfassten Positionsdaten durch den Kalman-Filter, und ein Darstellen S4 des virtuellen Inhalts 14 auf der Anzeigevorrichtung 10 in Abhängigkeit der durch den Kalman-Filter zum dritten Zeitpunkt T3 geschätzten räumlichen Position P3 der Anzeigevorrichtung 10.The method also includes estimating S3 the spatial position P3 of the display device 10 at a third point in time T3 using the acquired position data through the Kalman filter, and displaying S4 the virtual content 14 on the display device 10 as a function of the through the Kalman filter spatial position P3 of the display device 10 estimated at the third point in time T3.

Anschließend wird ein Vergleich S5 der geschätzten räumlichen Position P3 der Anzeigevorrichtung 10 zum dritten Zeitpunkt T3 mit einer durch das zumindest eine erste Sensorsystem M1 zum dritten Zeitpunkt T3 erfassten Position P3' der Anzeigevorrichtung 10 durchgeführt.A comparison S5 of the estimated spatial position P3 of the display device 10 at the third point in time T3 is then carried out with a position P3′ of the display device 10 detected by the at least one first sensor system M1 at the third point in time T3.

Eine Differenz ΔP zwischen der geschätzten räumlichen Position P3 der Anzeigevorrichtung 10 zum dritten Zeitpunkt T3 und der erfassten räumlichen Position P3' der Anzeigevorrichtung 10 zum dritten Zeitpunkt T3 wird hierbei als Feedback an einen Steuereingang des Kalman-Filters angelegt.A difference ΔP between the estimated spatial position P3 of the display device 10 at the third point in time T3 and the detected spatial position P3′ of the display device 10 at the third point in time T3 is applied as feedback to a control input of the Kalman filter.

2 zeigt eine schematische Darstellung eines Systems zur Vorhersage der Orientierung und räumlichen Position der am Kopf des Nutzers montierbaren Anzeigevorrichtung gemäß der bevorzugten Ausführungsform der Erfindung. 2 Figure 12 shows a schematic representation of a system for predicting the orientation and spatial position of the user's head mountable display according to the preferred embodiment of the invention.

Die Anzeigevorrichtung 10 weist eine optische Anordnung 12 auf, durch die zumindest ein Teil einer Umgebung sichtbar und auf der ein virtueller Inhalt 14 darstellbar ist.The display device 10 has an optical arrangement 12 through which at least part of an environment can be seen and on which virtual content 14 can be displayed.

Der virtuelle Inhalt 14 erscheint hierbei für den Nutzer dreidimensional in den Raum projiziert. Bei dem virtuellen Inhalt 14 kann es sich beispielsweise um Navigationsdaten eines Fahrzeugnavigationssystems, Fahrinformationen wie beispielsweise eine Fahrzeuggeschwindigkeit, Verkehrsinformationen und/oder Informationen eines Infotainment-Systems handeln.The virtual content 14 appears three-dimensionally projected into space for the user. The virtual content 14 can be, for example, navigation data from a vehicle navigation system, driving information such as a vehicle speed, traffic information and/or information from an infotainment system.

Das System umfasst zumindest ein erstes Sensorsystem M1, insbesondere eine inertiale Messeinheit, welches Sensorsystem M1 dazu eingerichtet ist, die räumliche Position P1, P2 der Anzeigevorrichtung 10, zu zumindest einem ersten Zeitpunkt T1 und einem zweiten Zeitpunkt T2 mit einer vorgegebenen Abtastrate zu erfassen.The system comprises at least one first sensor system M1, in particular an inertial measuring unit, which sensor system M1 is set up to detect the spatial position P1, P2 of the display device 10 at least at a first point in time T1 and a second point in time T2 with a predetermined sampling rate.

Das System umfasst ferner eine Recheneinrichtung 26, welche dazu eingerichtet ist, durch das zumindest eine erste Sensorsystem M1 erfasste Positionsdaten räumlicher Positionen P1, P2 der Anzeigevorrichtung 10 zum zumindest ersten Zeitpunkt T1 und zweiten Zeitpunkt T2 durch einen Kalman-Filter zu empfangen.The system also includes a computing device 26, which is set up to receive position data of spatial positions P1, P2 of the display device 10 detected by the at least one first sensor system M1 at the at least first point in time T1 and second point in time T2 through a Kalman filter.

Des Weiteren ist die Recheneinrichtung 26 dazu eingerichtet, eine zu einem dritten Zeitpunkt T3 räumliche Position der Anzeigevorrichtung 10 unter Verwendung der erfassten Positionsdaten durch den Kalman-Filter zu schätzen.Furthermore, the arithmetic unit 26 is set up to estimate a spatial position of the display device 10 at a third point in time T3 using the acquired position data through the Kalman filter.

Darüber hinaus umfasst das System Mittel zum Darstellen des virtuellen Inhalts 14 auf der Anzeigevorrichtung 10 in Abhängigkeit der durch den Kalman-Filter der Recheneinrichtung 26 geschätzten zum dritten Zeitpunkt T3 räumlichen Position der Anzeigevorrichtung 10.In addition, the system comprises means for displaying the virtual content 14 on the display device 10 as a function of the spatial position of the display device 10 estimated by the Kalman filter of the computing device 26 at the third point in time T3.

Bei einer Positionsänderung bzw. Neupositionierung der Anzeigevorrichtung 10 im Raum 22, vorzugsweise einem Fahrgastraum eines Kraftfahrzeugs, wird der virtuelle Inhalt auf der optischen Anordnung 12 der Anzeigevorrichtung 10 entsprechend derart neu positioniert, dass dieser für den Nutzer stets an derselben Position im Raum 22 wahrgenommen wird.When the position of display device 10 changes or is repositioned in space 22, preferably a passenger compartment of a motor vehicle, the virtual content on optical arrangement 12 of display device 10 is correspondingly repositioned in such a way that the user always sees it at the same position in space 22 .

Somit können beispielsweise Navigationsinformationen an einer vorgegebenen Position im Sichtfeld des Fahrers über einer Motorhaube räumlich dargestellt werden. Andere virtuelle Inhalte wie beispielsweise Infotainment-Informationen, eingehende Anrufe und/oder Nachrichten oder E-Mails können beispielsweise in einem anderen designierten Bereich dargestellt werden.Thus, for example, navigation information can be displayed spatially at a predetermined position in the driver's field of vision above a hood. For example, other virtual content such as infotainment information, incoming calls and/or messages or emails may be presented in another designated area.

In der in 2 gezeigten Darstellung ist die Anzeigevorrichtung 10 in der ersten räumlichen Position P1 zum Zeitpunkt T1 dargestellt. Neben dem ersten Sensorsystem M1 wird in der vorliegenden Ausführungsform ferner ein zweites Sensorsystem M2 verwendet. Bei dem zweiten Sensorsystem M2 handelt es sich um ein optisches Sensorsystem, das ebenfalls dazu eingerichtet ist, die räumliche Position P1, P2 der Anzeigevorrichtung 10 zumindest zum ersten Zeitpunkt T1 und zum zweiten Zeitpunkt T2 mit einer vorgegebenen Abtastrate zu erfassen.in the in 2 The representation shown shows the display device 10 in the first spatial position P1 at the time T1. In addition to the first sensor system M1, the present Embodiment also uses a second sensor system M2. The second sensor system M2 is an optical sensor system that is also set up to detect the spatial position P1, P2 of the display device 10 at least at the first point in time T1 and at the second point in time T2 with a predefined sampling rate.

Die Position der Anzeigevorrichtung 10 im Raum wird dabei mit der vorgegebenen Abtastrate kontinuierlich erfasst. Ebenfalls wird die räumliche Position der Anzeigevorrichtung 10 mit dem ersten Sensorsystem M1 mit der vorgegebenen Abtastrate kontinuierlich erfasst, sodass der Kalman-Filter stets die aktuelle letzte Position der Anzeigevorrichtung 10 im Raum als Eingabedaten empfängt.The position of the display device 10 in space is continuously recorded with the specified sampling rate. The spatial position of the display device 10 is also continuously recorded with the first sensor system M1 at the specified sampling rate, so that the Kalman filter always receives the current last position of the display device 10 in space as input data.

Das zweite, optische Sensorsystem M2 erfasst dabei unter Verwendung einer Mehrzahl von, in der vorliegenden Ausführungsform zwei, Kamerasensoren 20, 21 an der Anzeigevorrichtung 10 angeordnete Markierungen 24a, 24b.The second, optical sensor system M2 detects markings 24a, 24b arranged on the display device 10 using a plurality of camera sensors 20, 21, in the present embodiment two.

Das zweite, optische Sensorsystem M2 berechnet aus der Position der Markierungen 24a, 24b auf den Kamerabildern und einer relativen Positionierung der Kamerasensoren 20, 21 zueinander eine räumliche Position PM1 der Markierungen 24a, 24b. Somit ist die räumliche Anordnung der Anzeigevorrichtung 10 zu jedem vorgegebenen Zeitpunkt bekannt.The second, optical sensor system M2 calculates a spatial position PM1 of the markings 24a, 24b from the position of the markings 24a, 24b on the camera images and a relative positioning of the camera sensors 20, 21 to one another. Thus, the spatial arrangement of the display device 10 is known at any given point in time.

Der Kalman-Filter schätzt eine Winkelgeschwindigkeit, insbesondere eine Rotationsbewegung, und eine Lateralgeschwindigkeit, insbesondere eine Translationsbewegung, der Anzeigevorrichtung 10.The Kalman filter estimates an angular velocity, in particular a rotational movement, and a lateral velocity, in particular a translational movement, of the display device 10.

3 zeigt eine schematische Darstellung des Systems zur Vorhersage der Orientierung und räumlichen Position der am Kopf des Nutzers montierbaren Anzeigevorrichtung gemäß einer weiteren bevorzugten Ausführungsform der Erfindung. 3 FIG. 12 shows a schematic representation of the system for predicting the orientation and spatial position of the user's head-mountable display device according to a further preferred embodiment of the invention.

In der vorliegenden Darstellung ist die Anzeigevorrichtung 10 in der zweiten Position P2 zum zweiten Zeitpunkt T2 sowie in der dritten Position P3 zum dritten Zeitpunkt T3 dargestellt.In the present illustration, the display device 10 is shown in the second position P2 at the second point in time T2 and in the third position P3 at the third point in time T3.

Die Darstellung der Anzeigevorrichtung 10 in der zweiten Position P2 und der dritten Position P3 repräsentiert sämtliche Ausführungsformen der Erfindung.The representation of the display device 10 in the second position P2 and the third position P3 represents all embodiments of the invention.

Die spezifische Ausgestaltung der 3 weicht hiervon lediglich darin ab, dass an der Anzeigevorrichtung 10 das zweite, optische Sensorsystem M2' unter Verwendung einer Mehrzahl von, in der vorliegenden Ausführungsform zwei, an der Anzeigevorrichtung 10 angeordneten Kamerasensoren 20', 21' vorgesehen sind. Diese erfassen in dem umgebenden Raum 22 angeordnete Markierungen 24a', 24b'. Das zweite, optische Sensorsystem M2' berechnet sodann aus einer Position der Markierungen 24a', 24b' auf den Kamerabildern und einer relativen Positionierung der Kamerasensoren 20', 21' zueinander eine räumliche Position PM2 der Anzeigevorrichtung 10.The specific design of 3 differs therefrom only in that the second, optical sensor system M2′ is provided on the display device 10 using a plurality of camera sensors 20′, 21′ arranged on the display device 10, two in the present embodiment. These detect markings 24a′, 24b′ arranged in the surrounding space 22 . The second, optical sensor system M2' then calculates a spatial position PM2 of the display device 10 from a position of the markings 24a', 24b' on the camera images and a relative positioning of the camera sensors 20', 21' to one another.

4 zeigt eine schematische Darstellung einer räumlichen Positionsänderung der Anzeigevorrichtung gemäß der bevorzugten Ausführungsform der Erfindung. 4 shows a schematic representation of a spatial change in position of the display device according to the preferred embodiment of the invention.

Die entlang der Kurve markierten Stellen beziehen sich auf die erfassten und geschätzten räumlichen Positionen der Anzeigevorrichtung 10. Wie aus der Figur ersichtlich, besteht zwischen der geschätzten räumlichen Position P3 der Anzeigevorrichtung 10 zum dritten Zeitpunkt T3 und der durch das erste Sensorsystem M1 und/oder das zweite Sensorsystem M2 zum dritten Zeitpunkt T3 erfassten Position P3' der Anzeigevorrichtung eine Differenz ΔP.The points marked along the curve relate to the detected and estimated spatial positions of the display device 10. As can be seen from the figure, there is a difference between the estimated spatial position P3 of the display device 10 at the third point in time T3 and that determined by the first sensor system M1 and/or the second sensor system M2 at the third point in time T3 detected position P3 'of the display device a difference ΔP.

Diese Differenz ΔP wird als Feedback an einen Steuereingang des Kalman-Filters angelegt. Die Differenz ΔP wird insbesondere dazu verwendet, eine Kovarianzmatrix des Kalman-Filters anzupassen.This difference ΔP is applied as feedback to a control input of the Kalman filter. In particular, the difference ΔP is used to adapt a covariance matrix of the Kalman filter.

Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen.The term vehicle includes cars, trucks, buses, mobile homes, motorcycles, etc., which are used to transport people, goods, etc.

Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung. Ergänzend oder alternativ kann ein Hybrid- oder Elektrofahrzeug gemäß Ausführungsformen ein reines Elektrofahrzeug (BEV) oder ein Plugin-Hybridfahrzeug (PHEV) sein. Es können jedoch auch andere Antriebsformen verwendet werden, beispielsweise in Form eines diesel- oder benzinbetriebenen Fahrzeugs. Das Fahrzeug kann auch in Form eines Schienenfahrzeugs vorliegen.In particular, the term includes motor vehicles for passenger transport. Additionally or alternatively, a hybrid or electric vehicle according to embodiments may be a pure electric vehicle (BEV) or a plug-in hybrid vehicle (PHEV). However, other forms of propulsion can also be used, for example in the form of a diesel or petrol-powered vehicle. The vehicle can also be in the form of a rail vehicle.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.Although the invention has been illustrated and explained in more detail by means of preferred exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by a person skilled in the art without departing from the protective scope of the invention.

Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Beispielhaft genannte Ausführungsformen stellen nur Beispiele dar, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind.It is therefore clear that a large number of possible variations exist. Embodiments given by way of example only represent examples and are not to be construed in any way as limiting the scope, application or use abilities or the configuration of the invention are to be understood.

Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art, knowing the disclosed inventive concept, can make a variety of changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without having to Leaving the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.

Die Daten betreffend die räumlichen Position P1, P2 der Anzeigevorrichtung 10 werden nicht nur erfasst, sondern vorzugsweise ebenfalls in einem Datenspeicher gespeichert und/oder für Datenverarbeitungszwecke in einem temporären Datenspeicher zwischengespeichert.The data relating to the spatial position P1, P2 of the display device 10 is not only recorded, but preferably also stored in a data memory and/or temporarily stored in a temporary data memory for data processing purposes.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • DE 10227467 A1 [0003]DE 10227467 A1 [0003]

Claims (11)

Computerimplementiertes Verfahren zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung (10), welche eine optische Anordnung (12) aufweist, durch die zumindest ein Teil einer Umgebung sichtbar und auf der ein virtueller Inhalt (14) darstellbar ist, mit den Schritten: Erfassen (S1) der räumlichen Position (P1, P2) der Anzeigevorrichtung (10) unter Verwendung zumindest eines ersten Sensorsystems (M1), insbesondere einer inertialen Messeinheit, zu zumindest einem ersten Zeitpunkt (T1) und einem zweiten Zeitpunkt (T2) mit einer vorgegebenen Abtastrate; Empfangen (S2) von durch das zumindest eine erste Sensorsystem (M1) erfassten Positionsdaten räumlicher Positionen (P1, P2) der Anzeigevorrichtung (10) zum zumindest ersten Zeitpunkt (T1) und zweiten Zeitpunkt (T2) durch einen Kalman-Filter; Schätzen (S3) der räumlichen Position (P3) der Anzeigevorrichtung (10) zu einem dritten Zeitpunkt (T3) unter Verwendung der erfassten Positionsdaten durch den Kalman-Filter; und Darstellen (S4) des virtuellen Inhalts (14) auf der Anzeigevorrichtung (10) in Abhängigkeit der durch den Kalman-Filter zum dritten Zeitpunkt (T3) geschätzten räumlichen Position (P3) der Anzeigevorrichtung (10).Computer-implemented method for predicting an orientation and spatial position of a display device (10) that can be mounted on a user's head and has an optical arrangement (12) through which at least part of an environment is visible and on which virtual content (14) can be displayed the steps: Detection (S1) of the spatial position (P1, P2) of the display device (10) using at least a first sensor system (M1), in particular an inertial measuring unit, at least at a first point in time (T1) and a second point in time (T2) with a predetermined Sampling rate; Receiving (S2) by the at least one first sensor system (M1) detected position data of spatial positions (P1, P2) of the display device (10) at least at the first time (T1) and second time (T2) by a Kalman filter; Estimating (S3) the spatial position (P3) of the display device (10) at a third point in time (T3) using the detected position data through the Kalman filter; and Displaying (S4) the virtual content (14) on the display device (10) as a function of the spatial position (P3) of the display device (10) estimated by the Kalman filter at the third point in time (T3). Computerimplementiertes Verfahren nach Anspruch 1, wobei ein Vergleich (S5) der geschätzten räumlichen Position (P3) der Anzeigevorrichtung (10) zum dritten Zeitpunkt (T3) mit einer durch das zumindest eine erste Sensorsystem (M1) zum dritten Zeitpunkt (T3) erfassten Position (P3') der Anzeigevorrichtung (10) durchgeführt wird, wobei eine Differenz (ΔP) zwischen der geschätzten räumlichen Position (P3) der Anzeigevorrichtung (10) zum dritten Zeitpunkt (T3) und der erfassten räumlichen Position (P3') der Anzeigevorrichtung (10) zum dritten Zeitpunkt (T3) als Feedback an einen Steuereingang des Kalman-Filters angelegt wird.Computer-implemented method claim 1 , wherein a comparison (S5) of the estimated spatial position (P3) of the display device (10) at the third point in time (T3) with a position (P3') of the display device detected by the at least one first sensor system (M1) at the third point in time (T3). (10) is performed, wherein a difference (ΔP) between the estimated spatial position (P3) of the display device (10) at the third point in time (T3) and the detected spatial position (P3 ') of the display device (10) at the third point in time (T3 ) is applied as feedback to a control input of the Kalman filter. Computerimplementiertes Verfahren nach Anspruch 2, wobei die Differenz zwischen der geschätzten räumlichen Position (P3) der Anzeigevorrichtung (10) zum dritten Zeitpunkt (T3) und der erfassten räumlichen Position (P3') der Anzeigevorrichtung (10) zum dritten Zeitpunkt (T3) dazu verwendet wird, eine Kovarianzmatrix des Kalman-Filters anzupassen.Computer-implemented method claim 2 , wherein the difference between the estimated spatial position (P3) of the display device (10) at the third point in time (T3) and the detected spatial position (P3') of the display device (10) at the third point in time (T3) is used to create a covariance matrix of the Adjust Kalman filter. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Erfassen (S1') der räumlichen Position (P1, P2) der Anzeigevorrichtung (10) unter Verwendung eines zweiten, optischen Sensorsystems (M2) zum zumindest einen ersten Zeitpunkt (T1) und zweiten Zeitpunkt (T2) mit einer vorgegebenen Abtastrate durchgeführt wird.Computer-implemented method according to one of the preceding claims, wherein a detection (S1') of the spatial position (P1, P2) of the display device (10) using a second, optical sensor system (M2) at least at a first point in time (T1) and a second point in time ( T2) is performed at a predetermined sampling rate. Computerimplementiertes Verfahren nach Anspruch 3, wobei das zweite, optische Sensorsystem (M2) unter Verwendung einer Mehrzahl von Kamerasensoren (20, 21) an der Anzeigevorrichtung (10) angeordnete Markierungen (24a, 24b) erfasst, wobei das zweite, optische Sensorsystem (M2) aus einer Position der Markierungen (24a, 24b) auf den Kamerabildern und einer relativen Positionierung der Kamerasensoren (20, 21) zueinander eine räumliche Position (PM1) der Markierungen (24a, 24b) berechnet.Computer-implemented method claim 3 , wherein the second, optical sensor system (M2) using a plurality of camera sensors (20, 21) on the display device (10) arranged markings (24a, 24b) detects, wherein the second, optical sensor system (M2) from a position of the markings (24a, 24b) calculates a spatial position (PM1) of the markings (24a, 24b) on the camera images and a relative positioning of the camera sensors (20, 21) to one another. Computerimplementiertes Verfahren nach Anspruch 3, wobei das zweite, optische Sensorsystem (M2') unter Verwendung einer Mehrzahl von an der Anzeigevorrichtung (10) angeordneten Kamerasensoren (20', 21') in einem die Anzeigevorrichtung (10) umgebenden Raum (22) angeordnete Markierungen (24a',24b') erfasst, wobei das zweite, optische Sensorsystem (M2') aus einer Position der Markierungen (24a', 24b') auf den Kamerabildern und einer relativen Positionierung der Kamerasensoren (20', 21') zueinander eine räumliche Position (PM2) der Anzeigevorrichtung (10) berechnet.Computer-implemented method claim 3 , wherein the second, optical sensor system (M2') using a plurality of camera sensors (20', 21') arranged on the display device (10) arranged markings (24a', 24b) in a space (22) surrounding the display device (10). '), the second optical sensor system (M2') determining a spatial position (PM2) of the Display device (10) calculated. Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, wobei der Kalman-Filter eine Winkelgeschwindigkeit, insbesondere eine Rotationsbewegung, und eine Lateralgeschwindigkeit, insbesondere eine Translationsbewegung, der Anzeigevorrichtung (10) schätzt.Computer-implemented method according to one of the preceding claims, wherein the Kalman filter estimates an angular velocity, in particular a rotational movement, and a lateral velocity, in particular a translational movement, of the display device (10). Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, wobei eine geschätzte Position (P3) der Anzeigevorrichtung (10) zum dritten Zeitpunkt (T3) durch das Produkt der erfassten Position (P3') der Anzeigevorrichtung (10) zum dritten Zeitpunkt (T3) und der Ableitung der erfassten Position (P3') der Anzeigevorrichtung (10) zum dritten Zeitpunkt (T3) gebildet wird.Computer-implemented method according to one of the preceding claims, wherein an estimated position (P3) of the display device (10) at the third time (T3) by the product of the detected position (P3') of the display device (10) at the third time (T3) and the derivative the detected position (P3') of the display device (10) at the third point in time (T3). System zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung (10), welche eine optische Anordnung (12) aufweist, durch die zumindest ein Teil einer Umgebung sichtbar und auf der ein virtueller Inhalt (14) darstellbar ist, umfassend: zumindest ein erstes Sensorsystem (M1), insbesondere eine inertiale Messeinheit, welches dazu eingerichtet ist, die räumliche Position (P1, P2) der Anzeigevorrichtung (10), zu zumindest einem ersten Zeitpunkt (T1) und einem zweiten Zeitpunkt (T2) mit einer vorgegebenen Abtastrate zu erfassen; eine Recheneinrichtung (26), welche dazu eingerichtet ist, durch das zumindest eine erste Sensorsystem (M1) erfasste Positionsdaten räumlicher Positionen (P1, P2) der Anzeigevorrichtung (10) zum zumindest ersten Zeitpunkt (T1) und zweiten Zeitpunkt (T2) durch einen Kalman-Filter zu empfangen, und wobei die Recheneinrichtung (26) dazu eingerichtet ist, eine zu einem dritten Zeitpunkt (T3) räumliche Position der Anzeigevorrichtung (10) unter Verwendung der erfassten Positionsdaten durch den Kalman-Filter zu schätzen; und Mittel zum Darstellen des virtuellen Inhalts (14) auf der Anzeigevorrichtung (10) in Abhängigkeit der durch den Kalman-Filter der Recheneinrichtung (26) geschätzten zum dritten Zeitpunkt (T3) räumlichen Position der Anzeigevorrichtung (10).System for predicting an orientation and spatial position of a display device (10) that can be mounted on a user's head and has an optical arrangement (12) through which at least part of an environment can be seen and on which virtual content (14) can be displayed, comprising: at least one first sensor system (M1), in particular an inertial measuring unit, which is set up to determine the spatial position (P1, P2) of the display device (10) at least at a first point in time (T1) and a second point in time (T2) with a predetermined capture sampling rate; a computing device (26) which is set up for this purpose by the at least one first sensor system (M1) to receive detected position data of spatial positions (P1, P2) of the display device (10) at least at the first point in time (T1) and second point in time (T2) through a Kalman filter, and wherein the computing device (26) is set up to to estimate a spatial position of the display device (10) at a third point in time (T3) using the detected position data through the Kalman filter; and means for displaying the virtual content (14) on the display device (10) as a function of the spatial position of the display device (10) estimated by the Kalman filter of the computing device (26) at the third point in time (T3). Computerprogramm mit Programmcode, um das Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.Computer program with program code to implement the method according to one of Claims 1 until 8th to be performed when the computer program is run on a computer. Computerlesbarer Datenträger mit Programmcode eines Computerprogramms, um das Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.Computer-readable data carrier with program code of a computer program for the method according to one of Claims 1 until 8th to be performed when the computer program is run on a computer.
DE102020121408.1A 2020-08-14 2020-08-14 Computer-implemented method and system for predicting an orientation and spatial position of a user's head-mountable display device Pending DE102020121408A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020121408.1A DE102020121408A1 (en) 2020-08-14 2020-08-14 Computer-implemented method and system for predicting an orientation and spatial position of a user's head-mountable display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020121408.1A DE102020121408A1 (en) 2020-08-14 2020-08-14 Computer-implemented method and system for predicting an orientation and spatial position of a user's head-mountable display device

Publications (1)

Publication Number Publication Date
DE102020121408A1 true DE102020121408A1 (en) 2022-02-17

Family

ID=80000548

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020121408.1A Pending DE102020121408A1 (en) 2020-08-14 2020-08-14 Computer-implemented method and system for predicting an orientation and spatial position of a user's head-mountable display device

Country Status (1)

Country Link
DE (1) DE102020121408A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10227467A1 (en) 2002-06-20 2004-01-08 Bayerische Motoren Werke Ag Holographic display system
US20130201291A1 (en) 2012-02-08 2013-08-08 Microsoft Corporation Head pose tracking using a depth camera
US20160055640A1 (en) 2014-08-22 2016-02-25 Applied Research Associates, Inc. Techniques for Accurate Pose Estimation
US20190251696A1 (en) 2018-02-12 2019-08-15 Samsung Electronics Co., Ltd. Device and method with pose estimator
WO2020023399A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Deep predictor recurrent neural network for head pose prediction
US20200342617A1 (en) 2017-11-01 2020-10-29 Sony Corporation Information processing apparatus, information processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10227467A1 (en) 2002-06-20 2004-01-08 Bayerische Motoren Werke Ag Holographic display system
US20130201291A1 (en) 2012-02-08 2013-08-08 Microsoft Corporation Head pose tracking using a depth camera
US20160055640A1 (en) 2014-08-22 2016-02-25 Applied Research Associates, Inc. Techniques for Accurate Pose Estimation
US20200342617A1 (en) 2017-11-01 2020-10-29 Sony Corporation Information processing apparatus, information processing method, and program
US20190251696A1 (en) 2018-02-12 2019-08-15 Samsung Electronics Co., Ltd. Device and method with pose estimator
WO2020023399A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Deep predictor recurrent neural network for head pose prediction

Similar Documents

Publication Publication Date Title
DE102004057947B4 (en) Method for functional testing of a driver assistance system integrated on the vehicle side
DE102012200731A1 (en) Method and device for visualizing the environment of a vehicle
DE102018215185B3 (en) Method, apparatus and computer-readable storage medium with instructions for setting a head-up display in a motor vehicle, adjusting device for use in such a method or with such a device
DE102012219280A1 (en) Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person
EP3483654B1 (en) Detection and visualization of lack of system security in rendering augmented image content in head-up displays
WO2019057439A1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle
DE102013210729A1 (en) Method and device for signaling a visually at least partially hidden traffic object for a driver of a vehicle
DE102014226185A1 (en) Method for determining a viewing direction of a person
WO2019233687A1 (en) Concept for providing correction values for displaying augmented reality content on a head-up display for a motor vehicle
DE112020003146T5 (en) DISPLAY CONTROL DEVICE, PICTURE DISPLAY SYSTEM, MOBILE BODY, DISPLAY CONTROL METHOD AND PROGRAM
WO2019057452A1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle
DE102017215163A1 (en) System of a motor vehicle and an augmented reality goggles and method for determining a pose of augmented reality goggles in the interior of a vehicle
DE102015204745A1 (en) Apparatus and method for rendering data in an augmented reality
DE102020105196A1 (en) Method for operating data glasses in a motor vehicle and a system with a motor vehicle and data glasses
DE102019220040A1 (en) Method and device for preventing kinetosis when viewing an image content displayed on a screen in a moving vehicle, in particular a highly automated vehicle
DE102019212601A1 (en) Generating a display of an augmented reality head-up display for a motor vehicle
DE102018216409A1 (en) Method, device and means of transportation for a kinetose-avoiding representation of a liquid in a display in a means of transportation
DE102017219790A1 (en) System and method for determining a pose of augmented reality goggles, system and method for gauging augmented reality goggles, method for assisting pose determination of augmented reality goggles, and motor vehicle suitable for the method
DE102020121408A1 (en) Computer-implemented method and system for predicting an orientation and spatial position of a user's head-mountable display device
DE102014018419A1 (en) Method for generating a depth image
EP3959647B1 (en) Displaying additional information in the correct position on a display unit of a vehicle
EP4005894A1 (en) Method for depicting a virtual element
EP4061666A1 (en) Method for displaying an object through a head-up display display system and a head-up display display system
DE102018222265A1 (en) Method for calculating the movement data of data glasses, data glasses and vehicle for use in the method
DE102017215023B4 (en) Method, apparatus and computer-readable storage medium with instructions for providing information for controlling a display of a head-up display device for a motor vehicle, and associated control system and motor vehicle therewith

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication