DE102015200750A1

DE102015200750A1 - Display of representations on an HMD

Info

Publication number: DE102015200750A1
Application number: DE102015200750.2A
Authority: DE
Inventors: Felix Lauber; Michael Graef
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2015-01-20
Filing date: 2015-01-20
Publication date: 2016-07-21

Abstract

Offenbart wird ein Verfahren zur Anzeige von Darstellungen auf einer Datenbrille umfassend eine Anzeige, wobei das Verfahren umfasst: Bereitstellen einer anzuzeigenden Darstellung und einem Ort im Umfeld; Fortlaufendes Erfassen der Pose der Datenbrille, des Kopfes oder der Augen des Trägers der Datenbrille; Fortlaufendes Bestimmen der Position auf der Anzeige, an der die Darstellung anzuzeigen ist, abhängig von der erfassten Pose; wobei eine erste Position für eine erfasste erste Pose derart bestimmt wird, dass die Darstellung dem Träger der Datenbrille, während die erste Pose erfasst wird, an einem vorbestimmten Ort im Umfeld des Trägers erscheint; wobei eine zweite Position für eine erfasste zweite Pose abhängig von der ersten Position und der Posenänderung von der ersten zur zweiten Pose bestimmt wird; wobei die Anzeige der Darstellung an der zweiten Position dem Träger der Datenbrille, während die zweite Pose erfasst wird, nicht am vorbestimmten Ort erscheint; wobei die zweite Pose zeitlich nach der ersten Pose erfasst wird; wobei die Anzeige dazu geeignet ist, die Darstellung an einer dritten Position für die zweite Pose anzuzeigen, an der sie dem Träger der Datenbrille, während die zweite Pose erfasst wird, am vorbestimmten Ort erscheinen würde. Disclosed is a method for displaying images on data glasses comprising a display, the method comprising: providing a representation to be displayed and a location in the environment; Continuously detecting the pose of the data glasses, head or eyes of the wearer of the data glasses; Continuously determining the position on the display where the representation is to be displayed, depending on the detected pose; wherein a first position for a detected first pose is determined such that the representation appears to the wearer of the data glasses, while the first pose is detected, at a predetermined location in the surroundings of the wearer; wherein a second position for a detected second pose is determined depending on the first position and the pose change from the first to the second pose; wherein the display of the representation at the second position does not appear at the predetermined location to the wearer of the data glasses while the second pose is detected; wherein the second pose is detected temporally after the first pose; wherein the display is adapted to display the representation at a third position for the second pose, where it would appear at the predetermined location to the wearer of the data glasses while the second pose is detected.

Description

Die Erfindung betrifft Verfahren zur Anzeige von Darstellungen auf einer Datenbrille umfassend eine Anzeige sowie eine entsprechend eingerichtete Vorrichtung. The invention relates to a method for displaying images on a data goggles comprising a display and a correspondingly configured device.

Heutzutage sind Datenbrillen (manchmal auch Head-mounted Displays, HMD, genannt) bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Darstellungen (allgemein: Informationen) in Form von Text, Grafiken, Fotos oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als Augmented Reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung orientiert ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd. Zur Realisierung der Kontaktanalogie, muss typischerweise die Position des Objektes in der Umgebung, und die Pose der Datenbrille, des Kopfes des Trägers oder seiner Augen in Relation zum Objekt bekannt sein. Letztere kann gegebenenfalls indirekt bestimmt werden, indem sowohl die Position des Objektes als auch die Pose der Datenbrille relativ zu einem Fahrzeug bestimmt werden, in dem sich die Datenbrille befindet. Für besonders hohe Genauigkeiten der Anzeigen kann auch die Pose der Datenbrille relativ zu den Augen bzw. dem Kopf des Trägers bestimmt werden, die ansonsten geschätzt oder gemäß einer Vorgabe angenommen wird. Alternativ zur Bestimmung der Pose der Datenbrille relativ zum Objekt kann auch die Pose des Kopfes oder der Augen des Trägers der Datenbrille bestimmt werden und für die kontaktanaloge Anzeige die Pose der Datenbrille relativ zum Kopf bzw. den Augen geschätzt werden bzw. gemäß einer Vorgabe angenommen werden. Eine Pose beschreibt hier sowohl die (dreidimensionale) Position der Datenbrille oder des Kopfes bzw. der Augen als auch die Ausrichtung (hierin auch Orientierung oder Drehung genannt) in bis zu drei Raumrichtungen. Today, data glasses (sometimes called head-mounted displays, called HMD) are known, with the help of the wearer of the data glasses information can be displayed. The data glasses are worn like ordinary glasses, which is used as a visual aid on the head. Compared to ordinary glasses, however, the data glasses include a display that is located near the user's eyes when wearing the data glasses. The display can include two partial displays, one for each eye. On the display, the user can display representations (in general: information) in the form of text, graphics, photos or mixtures thereof. In particular, the display may be semitransparent, that is configured in such a way that the wearer can also recognize the surroundings behind the display. Particularly preferably, the information is displayed to the wearer contact-analog, which is sometimes referred to as augmented reality. In this case, the carrier of the data glasses, the information is displayed at a location that is oriented to the location of an object in the area, so for example, adjacent to the object or this superimposed. To realize the contact analogy, typically the position of the object in the environment, and the pose of the data glasses, the head of the wearer or his eyes in relation to the object must be known. The latter can optionally be determined indirectly by determining both the position of the object and the pose of the data glasses relative to a vehicle in which the data glasses are located. For particularly high accuracies of the displays, the pose of the data glasses relative to the eyes or head of the wearer can also be determined, which is otherwise estimated or assumed according to a specification. As an alternative to determining the pose of the data glasses relative to the object, the pose of the head or eyes of the wearer of the data glasses can also be determined and the pose of the data glasses relative to the head or eyes can be estimated for the contact-analogous display or adopted according to a specification , A pose here describes both the (three-dimensional) position of the data glasses or the head or the eyes and the orientation (also called orientation or rotation here) in up to three spatial directions.

Datenbrillen können insbesondere in Fahrzeugen genutzt werden, um kontaktanaloge Informationen anzuzeigen. Diese Informationen können andere Verkehrsteilnehmer, Objekte im Umfeld des Fahrzeugs, Objekte im Fahrzeug betreffen. Die Informationen können an vorgegebenen Orten in Relation zum Fahrzeug angezeigt werden, beispielsweise über der Motorhaube des Fahrzeugs wie bei einem Head-up Display. Data glasses can be used in particular in vehicles to display contact-analog information. This information may concern other road users, objects around the vehicle, objects in the vehicle. The information may be displayed at predetermined locations in relation to the vehicle, such as over the hood of the vehicle as in a head-up display.

Die Pose der Datenbrille oder des Kopfes bzw. der Augen des Trägers wird mit geeigneter Sensorik (beispielsweise Kameras, Ultraschallsensoren) und entsprechend ausgelegter Software bestimmt, um möglichst genau und verzögerungsarm die Pose zu bestimmen, was auch Tracking genannt wird. Die Sensorik kann in einem Fahrzeug verbaut sein und den Fahrer mit Datenbrille aufnehmen oder direkt in die Datenbrille integriert sein, beispielsweise als Kamera der Datenbrille. Sofern die Kamera in der Datenbrille umfasst ist, kann diese (und die angeschlossene Verarbeitung) Gegenstände im Fahrzeug (beispielsweise Scheibenrahmen) erkennen und daraus auf die Pose der Datenbrille im Fahrzeug rückschließen. The pose of the data glasses or the head or the eyes of the wearer is determined with suitable sensors (for example cameras, ultrasound sensors) and appropriately designed software in order to determine the pose as accurately as possible and with little delay, which is also called tracking. The sensors can be installed in a vehicle and the driver with data glasses record or integrated directly into the data glasses, such as a camera of data glasses. If the camera is included in the data goggles, this (and the connected processing) can detect objects in the vehicle (for example, window frames) and draw conclusions about the pose of the data goggles in the vehicle.

Typischerweise ändert der Träger der Datenbrille die Pose seines Kopfes bzw. seiner Augen bei der Benutzung und damit auch die Pose der Datenbrille. Bei der Bestimmung der Position der anzuzeigenden Darstellung (um die Kontaktanalogie zu realisieren) wird fortlaufend die erfasste Pose berücksichtigt, so dass die Darstellung dem Träger der Datenbrille fest am vorgegebenen Ort erscheint. Die fortlaufende Bestimmung der Position kann auf verschiedene Arten erfolgen: Beispielsweise kann eine virtuelle Kamera in der 3D-Szene (also den Darstellungen an ihrem zugewiesenen Ort im Umfeld) genauso gedreht/bewegt werden wie der Kopf bzw. die Augen des Trägers oder die Datenbrille. Ebenfalls könnte die 3D-Szene die inverse Bewegung in Relation zu einer statischen virtuellen Kamera vollziehen. Typically, the wearer of the data glasses changes the pose of his head or eyes during use, and thus also the pose of the data glasses. In determining the position of the representation to be displayed (in order to realize the contact analogy), the detected pose is continuously taken into account, so that the representation appears firmly to the wearer of the data spectacles at the predetermined location. The continuous determination of the position can be done in different ways: For example, a virtual camera in the 3D scene (ie the representations at their assigned location in the environment) as rotated / moved as the head or the eyes of the wearer or the data glasses. Also, the 3D scene could perform the inverse movement in relation to a static virtual camera.

Um dynamische Trackingfehler auszugleichen werden häufig Filteralgorithmen wie Low-pass Filter oder Kalman-Filter eingesetzt. To compensate for dynamic tracking errors, filter algorithms such as low-pass filters or Kalman filters are often used.

Bei aktuellen Datenbrillen-Modellen ist die geringe Größe des virtuellen Anzeigebereichs, der von der physischen Größe der Anzeige der Datenbrille beschränkt wird, ein großer Nachteil. Abhängig von der Gesamtgröße der dargestellten Inhalte genügen hier meist minimale Kopfdrehungen um den Inhalt teilweise oder komplett aus dem virtuellen Anzeigebereich „verschwinden“ zu lassen. Da das menschliche Sichtfeld deutlich größer als 40° diagonal (max. Sichtfeld bei aktuellen HMD Prototypen) ist, kommt dies dem Betrachter unnatürlich vor und behindert ihn zusätzlich beim Ablesen der Anzeige. In current data glasses models, the small size of the virtual display area, which is limited by the physical size of the display of the data glasses, is a major drawback. Depending on the total size of the displayed content, minimal head turns are usually enough to let the content partially or completely "disappear" from the virtual display area. Since the human field of view is significantly greater than 40 ° diagonal (maximum field of view in current HMD prototypes), this is unnatural to the viewer and obstructs him additionally when reading the display.

Ferner sind dynamische Trackingfehler (Lag, Jitter) aktueller Trackingsysteme immer noch zu groß um ein angenehmes Betrachten zu ermöglichen. Auch wenn der Benutzer den Kopf sehr ruhig an einer Position hält, sorgen sie dafür dass die Anzeige zu „zittern“, zu „schwimmen“ oder „nachzuziehen“ scheint. Mit Filteralgorithmen lassen sich die dynamischen Trackingfehler teilweise verbessern, allerdings nie ganz verhindern. Furthermore, dynamic tracking errors (lag, jitter) of current tracking systems are still too large to allow a comfortable viewing. Even if the user holds his head very quietly in a position, they ensure that the Display to "shiver", to "swim" or "follow suit" seems. With filter algorithms, the dynamic tracking errors can be partially improved, but never completely prevented.

Dynamische Trackingfehler können insbesondere im Fahrzeugkontext ausgeprägt sein aufgrund der in die Insassen induzierten Fahrzeugbewegungen durch Fahrbahnunebenheiten und die Fahrdynamik. Dynamic tracking errors can be pronounced in particular in the vehicle context due to the vehicle movements induced in the occupants by road bumps and the driving dynamics.

Der Erfindung liegt die Aufgabe zugrunde, dem Benutzer einer Datenbrille im Fahrzeugkontext Darstellungen mithilfe von Kontaktanalogie zu visualisieren, gleichzeitig aber eine stabile Anzeige der Darstellung zu ermöglichen. The invention has for its object to visualize the user of a data glasses in the vehicle context representations using contact analogy, while allowing a stable display of the representation.

Die Aufgabe wird durch das Verfahren und die Vorrichtung gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. The object is achieved by the method and the device according to the independent claims. Advantageous developments are defined in the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Anzeige von Darstellungen auf einer Datenbrille umfassend eine Anzeige, wobei das Verfahren umfasst: Bereitstellen einer anzuzeigenden Darstellung und einem Ort im Umfeld der Datenbrille; Fortlaufendes Erfassen der Pose der Datenbrille, des Kopfes oder der Augen des Trägers der Datenbrille; Fortlaufendes Bestimmen der Position auf der Anzeige, an der die Darstellung anzuzeigen ist, abhängig von der erfassten Pose; wobei eine erste Position für eine erste Pose derart bestimmt wird, dass die Darstellung dem Träger der Datenbrille, während die erste Pose erfasst wird, an einem vorbestimmten Ort im Umfeld des Trägers erscheint (also kontaktanalog); wobei eine zweite Position für eine zweite Pose abhängig von der ersten Position und der Posenänderung von der ersten zur zweiten Pose bestimmt wird; wobei die Anzeige der Darstellung an der zweiten Position dem Träger der Datenbrille, während die zweite Pose erfasst wird, nicht am vorbestimmten Ort erscheint; wobei die zweite Pose zeitlich nach der ersten Pose erfasst wird; wobei die Anzeige dazu geeignet ist, die Darstellung an einer dritten Position für die zweite Pose anzuzeigen, an der sie dem Träger der Datenbrille, während die zweite Pose erfasst wird, am vorbestimmten Ort erscheinen würde. Eine Posenänderung ist die Änderung der Pose von der ersten Pose zur zweiten Pose. A first aspect of the invention relates to a method for displaying images on data glasses comprising a display, the method comprising: providing a representation to be displayed and a location in the vicinity of the data glasses; Continuously detecting the pose of the data glasses, head or eyes of the wearer of the data glasses; Continuously determining the position on the display where the representation is to be displayed, depending on the detected pose; wherein a first position for a first pose is determined such that the representation appears to the wearer of the data glasses while the first pose is being detected, at a predetermined location in the surroundings of the wearer (ie contact-analogous); wherein a second position for a second pose is determined depending on the first position and the pose change from the first to the second pose; wherein the display of the representation at the second position does not appear at the predetermined location to the wearer of the data glasses while the second pose is detected; wherein the second pose is detected temporally after the first pose; wherein the display is adapted to display the representation at a third position for the second pose, where it would appear at the predetermined location to the wearer of the data glasses while the second pose is detected. A pose change is the change of pose from the first pose to the second pose.

Hierin wird also vorgeschlagen, eine Darstellung zunächst auf kontaktanaloge Art auf der Datenbrille anzuzeigen und dann die Kontaktanalogie bei einer Bewegung des Kopfes des Trägers (oder sogar der Augen) aufzugeben. Statt dessen ist die weitere Anzeige der Darstellung zwar an der ursprünglichen Kontaktanalogie orientiert, allerdings wird die Kontaktanalogie aufgeben. Es handelt sich nicht lediglich um eine Filterung der Pose zur Positionsbestimmung (die natürlich zusätzlich vorgenommen werden kann). Durch die Aufgabe der Kontaktanalogie ist es möglich, die Darstellung auf gleichförmigere und für den Benutzer besser ablesbare Art zu bewegen. Kleine Fehler bei einer kontaktanalogen Anzeige sind für einen Benutzer der Datenbrille meist leicht wahrnehmbar, weil eine räumliche Relation zum Objekt, auf das sich die Darstellung bezieht, besteht. Bei einer freieren Nachführung der Anzeige der Darstellung besteht die Referenz des zu augmentierenden Objektes nicht und kleinere Fehler sind für den Benutzer weniger wahrnehmbar. Herein, it is therefore proposed to display a representation initially in a contact-analogous manner on the data glasses and then abandon the contact analogy during a movement of the head of the wearer (or even of the eyes). Instead, the further display of the presentation is oriented to the original contact analogy, however, the contact analogy will give up. It is not just a filtering of the pose for positioning (which of course can be done additionally). By abandoning the contact analogy, it is possible to move the representation in a more uniform manner that is easier for the user to read. Small errors in a contact analog display are usually easily perceived by a user of the data glasses, because there is a spatial relation to the object to which the representation relates. With a freer tracking of the display of the presentation, the reference of the object to be augmented does not exist and smaller errors are less perceptible to the user.

Weiterhin ermöglicht eine Aufgabe der Kontaktanalogie die Verwendung einer ausgeprägteren Filterung der erfassten Pose, was die Anzeige der Darstellung stabilisiert und die Ablesbarkeit vereinfacht. Auf diese Weise wird auch die Verkehrssicherheit erhöht, weil der Fahrer eines Fahrzeugs somit weniger Zeit zum Ablesen benötigt und weniger vom Verkehrsgeschehen abgelenkt ist. Furthermore, an object of contact analogy allows the use of a more pronounced filtering of the detected pose, which stabilizes the display of the representation and simplifies the readability. In this way, the traffic safety is increased because the driver of a vehicle thus requires less time to read and is less distracted by the traffic.

Mit anderen Worten: Im Gegensatz zum Stand der Technik werden Kopfbewegungen also nicht 1:1 in Bewegungen (in) der 3D-Szene übersetzt (also in eine Bewegung der Kamera oder eine inverse Bewegung der Szene bzw. Positionsänderung der Darstellung). Ferner wird die Verwendung von komplexeren Funktionen zur Umsetzung der Posenänderung in eine Positionsänderung ermöglicht. Der Eindruck, dass die Darstellungen an einer festen Stelle im Raum (bspw. neben dem Rückspiegel oder an einer besonderen Stelle auf dem Armaturenbrett) verharren, soll bewusst nicht geweckt werden. Vielmehr soll durch eine ruhige Anzeigeposition in der Brille eine optimale Ablesbarkeit gewährleistet werden. In other words: in contrast to the prior art, head movements are thus not translated 1: 1 into movements (in) of the 3D scene (ie into a movement of the camera or an inverse movement of the scene or position change of the representation). It also allows the use of more complex functions to translate the pose change into a position change. The impression that the images remain in a fixed position in the room (eg next to the rear-view mirror or at a special place on the dashboard) should not be consciously awakened. Rather, should be ensured by a quiet display position in the glasses optimal readability.

Gegenüber einer brillenfesten Anzeige der Darstellungen, also der Anzeige von Inhalte immer an derselben Stelle in der Brille anzuzeigen (ohne Tracking), kann zu unerwünschten Verdeckungseffekten führen. Wenn beispielsweise der Fahrer in den Seitenspiegel blickt und die Darstellungen zufällig den Seitenspiegel verdecken wird der Fahrer dauerhaft nicht in den Seitenspiegel schauen können. Die vorliegende Erfindung ist also dieser Anzeigevariante überlegen. Compared to a glasses-proof display of the representations, ie the display of content always at the same point in the glasses display (without tracking), can lead to unwanted masking effects. If, for example, the driver looks into the wing mirror and the images accidentally obscure the wing mirror, the driver will not be able to look permanently into the side mirror. The present invention is thus superior to this display variant.

Die vorliegende Erfindung betrifft nicht das Limit einer kontaktanalogen Anzeige, bei der eine Darstellung aufgrund der begrenzten physischen Anzeige (Display) nicht mehr auf kontaktanaloge Art angezeigt werden kann. In der zweiten Pose wäre gemäß dem hier vorgeschlagenen Verfahren immer noch eine kontaktanaloge Darstellung möglich. Mit anderen Worten: Die Anzeige ist dazu geeignet ist, die Darstellung an einer dritten Position für die zweite Pose anzuzeigen, an der sie dem Träger der Datenbrille, während die zweite Pose erfasst wird, am vorbestimmten Ort erscheinen würde. The present invention does not relate to the limit of a contact-analogue display in which a representation can no longer be displayed in a contact-analogous manner due to the limited physical display. In the second pose, according to the method proposed here, a contact analog representation would still be possible. In other words, the display is adapted to display the representation at a third position for the second pose, where it would appear at the predetermined location to the wearer of the data glasses while the second pose is detected.

In einer bevorzugten Implementierung besteht die Abhängigkeit der zweiten Position von der Posenänderung in einer Zuordnung zwischen der Posenänderung (zwischen der erfassten ersten und zweiten Pose) und einer bearbeiteten Posenänderung. Die Positionsänderung wird anhand der bearbeiteten Posenänderung, die aus der (erfassten) Posenänderung resultiert, bestimmt. Die Zuordnung gibt somit für eine mit Sensorik erfassten Posenänderung eine andere Posenänderung an, basierend auf der dann die neue Anzeigenposition für die Darstellung bestimmt wird. Die Positionsänderung wird in diesem Fall gemäß einer Bestimmungsalgorithmik für kontaktanaloge Darstellungen ermittelt, allerdings basierend auf den bearbeiteten Posenänderungen, die nicht den erfassten Posenänderungen entsprechen, weshalb die Kontaktanalogie durchbrochen wird. In a preferred implementation, the dependence of the second position on the pose change is an association between the pose change (between the detected first and second pose) and an edited pose change. The position change is determined by the edited pose change resulting from the (detected) pose change. The assignment thus indicates a different pose change for a pose change sensed using sensors, based on which the new display position is then determined for the display. The position change is determined in this case according to a determination algorithm for contact analog representations, but based on the edited pose changes that do not correspond to the detected pose changes, and therefore the contact analogy is broken.

Alternativ zu Verwendung einer Zuordnung zwischen erfasster und bearbeiteter Posenänderung kann auch eine Zuordnung zwischen erfasster Posenänderung und Positionsänderung verwendet werden, die nicht einer Zuordnung entspricht, die für kontaktanaloge Anzeigen verwendet würde. As an alternative to using a mapping between detected and edited pose change, an association between detected pose change and position change may also be used that does not correspond to a mapping that would be used for contact analog displays.

Die Zuordnung kann für die einzelnen Komponenten einer der Datenbrille oder dem Kopf zugewiesenen Richtung der Pose (beispielswiese Ausrichtungsänderung in x/y-Ebene, in x/z-Ebene und y/z-Ebene, also Winkeländerung der zugewiesenen Richtung in der x/y-, x/z- bzw. y/z-Ebene) eine Abbildungsvorschrift angeben. Die Bezeichnungen x, y, und z beziehen sich hierin auf Raumrichtungen einer kartesischen Aufteilung des Raumes. The assignment may be for the individual components of a direction of the pose assigned to the data glasses or to the head (for example, change of orientation in x / y plane, in x / z plane and y / z plane, ie angle change of the assigned direction in the x / y -, x / z and y / z level) specify a mapping rule. The terms x, y, and z herein refer to spatial directions of a Cartesian division of space.

In vielen Implementierungen ist die Zuordnung nicht-linear, insbesondere für Posenänderungen, die kleiner als ein Schwellwertbereich sind, wobei auch hier die Ausrichtungsänderungen anhand der einzelnen Winkelkomponenten betrachtet werden können. Dies betrifft beispielsweise Posenänderungen, für die sich die Ausrichtung einer der Datenbrille (oder dem Kopf) zugewiesenen Richtung um weniger als einen vorbestimmten Schwellwertraumwinkel ändert. In many implementations, the mapping is non-linear, especially for pose changes that are smaller than a threshold range, and again, the alignment changes can be viewed from the individual angle components. For example, this applies to poses changes for which the orientation of a direction assigned to the data glasses (or the head) changes by less than a predetermined threshold space angle.

Die Zuordnung kann ganz oder in Abschnitten Teilen einer linearen Funktion, Stufenfunktion, Exponentialfunktion, Parabelfunktion oder einer beliebigen Kombination davon folgen. Die Kombination kann stetig oder unstetig sein. Die Zuordnung sieht zumindest in einem Bereich vor, dass die bearbeitete Posenänderung vom Betrag her geringer ist, als der Betrag der erfassten Posenänderung. Ferner kann die Zuordnung in einem oder mehreren anderen Abschnitten derart ausgestaltet sein, dass wieder eine Kontaktanalogie der Anzeige der Darstellung erreicht wird, also die bearbeitete Posenänderung der erfassten Posenänderung entspricht. The mapping may be wholly or partially followed by parts of a linear function, step function, exponential function, parabola function, or any combination thereof. The combination can be continuous or unsteady. The assignment provides, at least in one area, that the edited pose change is smaller in amount than the amount of the detected pose change. Furthermore, the assignment in one or more other sections can be configured such that again a contact analogy of the display of the representation is achieved, ie the edited pose change corresponds to the detected pose change.

Die Zuordnung für Posenänderungen weist typischerweise in einem Bereich, der kleiner als ein vorgegebener Schwellwertbereich ist (beispielsweise für einzelne Ausrichtungskomponenten oder mehrere davon), eine Nicht-Linearität auf. In manchen Implementierungen ist die Zuordnung nicht kontinuierlich. The assignment for pose changes typically has a non-linearity in a range that is less than a predetermined threshold range (eg, for individual alignment components or more). In some implementations, the mapping is not continuous.

Ein anderer Aspekt der Erfindung umfasst eine Vorrichtung umfassend eine Datenbrille mit Anzeige und Sensorik zur Erfassung der Pose der Datenbrille, des Kopfes oder der Augen des Trägers der Datenbrille, wobei die Vorrichtung dazu eingerichtet ist, eines der vorstehenden Verfahren auszuführen. Another aspect of the invention comprises a device comprising a data goggles with display and sensor for detecting the pose of the data goggles, the head or the eyes of the goggles wearer, the device being adapted to carry out one of the above methods.

KURZE BESCHREIBUNG DER ZEICHNUNGEN BRIEF DESCRIPTION OF THE DRAWINGS

1 zeigt schematisch eine Datenbrille in einem Fahrzeug gemäß einem Ausführungsbeispiel. 1 schematically shows a data glasses in a vehicle according to an embodiment.

2 zeigt eine Zuordnung zwischen gefasster und bearbeiteter Posenänderung für eine Winkelrotation in der x/y-Ebene für eine Aufrechterhaltung der Kontaktanalogie der Anzeige. 2 Figure 11 shows an association between the sensed and edited pose change for angular rotation in the x / y plane for maintaining the contact analogy of the display.

3 zeigt eine Zuordnung zwischen gefasster und bearbeiteter Posenänderung für eine Winkelrotation in der x/y-Ebene gemäß einem Ausführungsbeispiel. 3 FIG. 12 shows an association between the sensed and edited pose change for angular rotation in the x / y plane according to one embodiment. FIG.

4 und 5 zeigen weitere Zuordnungen zwischen gefasster und bearbeiteter Posenänderung für eine Winkelrotation in der x/y-Ebene gemäß einem Ausführungsbeispiel. 4 and 5 show further associations between collected and edited poses change for an angular rotation in the x / y plane according to an embodiment.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS DETAILED DESCRIPTION OF THE EMBODIMENT

1 zeigt schematisch eine Datenbrille 1 gemäß einem Ausführungsbeispiel. Die Datenbrille sitzt auf der Nase 7 des Trägers der Datenbrille auf und umfasst eine halbtransparente Anzeige mit den Teilanzeigen 2a und 2b, jeweils für das linke bzw. rechte Auge 5b bzw. 5a. Weiterhin umfasst die Datenbrille 1 eine Verarbeitungseinheit 4, die über eine Signalleitung mit den beiden Anzeigen 2a und 2b verbunden ist. In manchen Implementierungen ist die Verarbeitungseinheit 4 separat von der Datenbrille und die Übertragung findet über eine längere Signalleitung oder drahtlos statt. 1 schematically shows a data glasses 1 according to an embodiment. The data glasses sit on the nose 7 the wearer of the data glasses and includes a semi-transparent display with the partial displays 2a and 2 B , respectively for the left and right eye 5b respectively. 5a , Furthermore, the data glasses include 1 a processing unit 4 that have a signal line with the two displays 2a and 2 B connected is. In some implementations, the processing unit is 4 separately from the data glasses and the transmission takes place over a longer signal line or wirelessly.

Die Datenbrille 1 befindet sich in einem Fahrzeug (nicht dargestellt), das eine Kamera 4 zur Bestimmung der Kopfposition umfasst. Die Aufnahmen der Kamera 4 werden von einer Verarbeitungseinheit 6 des Fahrzeugs ausgewertet. Dabei wird die Position der Nase 7 und der Augen 5a und 5b in den Aufnahmen der Kamera 4 erkannt und daraufhin ausgewertet wie die Kopfpose relativ zum Fahrzeug ist. The data glasses 1 Located in a vehicle (not shown), which is a camera 4 for determining the head position. The shots of the camera 4 be from a processing unit 6 evaluated the vehicle. In doing so, the position of the nose becomes 7 and the eyes 5a and 5b in the shots of the camera 4 recognized and then evaluated as the Kopfpose is relative to the vehicle.

Anhand der Auswertung wird fortlaufend die Anzeigenposition der Darstellung ermittelt. Dabei wird zu einem ersten Zeitpunkt die erste Pose festgestellt und für diese eine kontaktanaloge Anzeige berechnet, so dass die Darstellung dem Benutzer an einem vorbestimmten Ort über dem Armaturenbrett erscheint. Based on the evaluation, the ad position of the presentation is continuously determined. In this case, the first pose is determined at a first point in time and a contact-analogue display is calculated for it so that the representation appears to the user at a predetermined location above the dashboard.

Bei jeder weiteren Ermittlung der Kopfpose wird diese mit der ersten Kopfpose verglichen, um eine Posenänderung zu bestimmen. Diese erfasste Posenänderung wird dann über eine Zuordnung in eine bearbeitete Posenänderung transformiert. Anhand der bearbeiteten Posenänderung wird eine Anzeigenposition für die Darstellung errechnet, wobei für diese Berechnung dasselbe Verfahren wie für eine kontaktanaloge Darstellung zur Anwendung kommt, jedoch mit der bearbeiteten Posenänderung als Eingangsparameter statt der erfassten Posenänderung. Wenn zur kontaktanalogen Anzeige auf die Drehung einer virtuellen Kamera zurückgegriffen wird, so wird im Endeffekt die Drehung der virtuellen Kamera anhand der bearbeiteten Posenänderung berechnet. Each additional determination of the head pose is compared with the first head pose to determine a pose change. This detected pose change is then transformed via an assignment into an edited pose change. Based on the edited pose change, a display position for the representation is calculated using the same procedure as for a contact-analog representation but with the edited pose change as the input parameter instead of the detected pose change. If the contact-analogue display uses the rotation of a virtual camera, the virtual camera's rotation is calculated on the basis of the edited pose change.

2 zeigt die Zuordnung zwischen dem Rotationswinkel in der x/y-Ebene (in Grad, Achse a) der erfassten Posenänderung und dem Rotationswinkel in der x/y-Ebene der bearbeiteten Posenänderung (in Grad, Achse b) wie sie für den aus dem Stand der Technik bekannten Fall einer Nachführung der kontaktanalogen Anzeige (unter Aufrechterhaltung der Kontaktanalogie) wäre. Gemäß 2 findet keine Bearbeitung des Rotationswinkels statt. Im Fall der 2 entspricht die Drehung der virtuellen Kamera der Rotation der Pose. Tatsächlich ist eine solche Zuordnung im Stand der Technik nicht bekannt. 2 shows the relationship between the rotation angle in the x / y plane (in degrees, axis a) of the detected pose change and the rotation angle in the x / y plane of the edited pose change (in degrees, axis b) as for the off-state the art known case of tracking the contact-analog display (while maintaining the contact analogy) would be. According to 2 There is no processing of the rotation angle. In the case of 2 The rotation of the virtual camera corresponds to the rotation of the pose. In fact, such an association is not known in the art.

3 zeigt eine Zuordnung zwischen gefasster und bearbeiteter Posenänderung für eine Winkelrotation in der x/y-Ebene gemäß einem Ausführungsbeispiel. In einem Schwellwertbereich von –40° bis +40° Winkelrotation in der x/y-Ebene ist die Zuordnung nicht-linear. Für kleine Winkeländerungen ist die bearbeitete Posenänderung (und die bearbeitete Winkelrotation) klein. Damit wird für kleine Posenänderungen des Kopfes des Benutzers die Darstellung im Wesentlichen stationär auf der Anzeige gelassen und bewegt sich damit mit der Kopfbewegung mit; in diesem Bereich ist die Darstellung im Wesentlichen brillenfest. Für Posenänderungen über dem Schwellwertbereich (40°, Punkt A in 2) und für Posenänderungen unter dem Schwellwertbereich (–40°) wird die Kontaktanalogie wieder hergestellt bzw. die Kameradrehung entspricht dann der Drehung (der Pose) des Kopfes. Dem Benutzer erscheint somit die Darstellung am vorbestimmten Ort. 3 FIG. 12 shows an association between the sensed and edited pose change for angular rotation in the x / y plane according to one embodiment. FIG. In a threshold range of -40 ° to + 40 ° angular rotation in the x / y plane, the assignment is non-linear. For small angle changes, the edited pose change (and the processed angular rotation) is small. Thus, for small pose changes of the head of the user, the presentation is left substantially stationary on the display and thus moves with the head movement; In this area, the presentation is essentially spectacle-proof. For poses changes above the threshold range (40 °, point A in 2 ) and for pose changes below the threshold range (-40 °), the contact analogy is restored or the camera rotation then corresponds to the rotation (the pose) of the head. The user thus appears the representation at the predetermined location.

4 und 5 zeigen weitere Zuordnungen zwischen gefasster und bearbeiteter Posenänderung für eine Winkelrotation in der x/y-Ebene gemäß einem Ausführungsbeispiel. Die Zuordnungen sind diskontinuierlich. In 4 und 5 gibt es Bereiche in denen die Anzeige „stillsteht“, also brillenfest ist. In 4 wird dies durch ein „Zurückspringen“ auf die erste Anzeigenposition erreicht, in 5 „verharrt“ die Darstellung an für einen Winkelbereich an einer Anzeigenposition. Beide Zuordnungen in 4 und 5 beschreiben „Treppen“. 4 and 5 show further associations between collected and edited poses change for an angular rotation in the x / y plane according to an embodiment. The assignments are discontinuous. In 4 and 5 There are areas in which the display is "resting", so spectacle-proof. In 4 this is achieved by "jumping back" to the first ad position, in 5 The display "pauses" for an angular range at a display position. Both assignments in 4 and 5 describe "stairs".

Claims

A method of displaying images on smart glasses comprising a display, the method comprising: Providing a representation to be displayed and a location in the environment; Continuously detecting the pose of the data glasses, head or eyes of the wearer of the data glasses; Continuously determining the position on the display where the representation is to be displayed, depending on the detected pose; wherein a first position for a detected first pose is determined such that the representation appears to the wearer of the data glasses, while the first pose is detected, at a predetermined location in the surroundings of the wearer; wherein a second position for a detected second pose is determined depending on the first position and the pose change from the first to the second pose; wherein the display of the representation at the second position does not appear at the predetermined location to the wearer of the data glasses while the second pose is detected; wherein the second pose is detected temporally after the first pose; wherein the display is adapted to display the representation at a third position for the second pose, where it would appear at the predetermined location to the wearer of the data glasses while the second pose is detected.

The method of claim 1, wherein the second position is determined using an association between the pose change and a manipulated pose change.

Method according to one of claims 1 or 2, wherein the assignment is non-linear.

The method of claim 3, wherein the mapping for detected pose changes less than a predetermined threshold range has non-linearity.

Method according to one of claims 3 or 4, wherein the assignment is not continuous.

Device comprising a data glasses with display and sensor for detecting the pose of Data glasses, the head or the eyes of the wearer of the data glasses, wherein the device is adapted to carry out a method according to any one of the preceding claims.