DE102014001495B3

DE102014001495B3 - A method of displaying image data by means of a head-mounted display and image generator

Info

Publication number: DE102014001495B3
Application number: DE201410001495
Authority: DE
Inventors: Marcus Kühne
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2014-01-31
Filing date: 2014-01-31
Publication date: 2015-02-05
Anticipated expiration: 2034-02-01

Abstract

Die Erfindung betrifft ein Verfahren zum Anzeigen von Bilddaten mittels einer am Kopf tragbaren Anzeigeeinrichtung, bei dem von einer Bilderzeugungseinrichtung Bilddaten an die am Kopf tragbare Anzeigeeinrichtung übermittelt werden (S14) und die Anzeigeeinrichtung die Bilddaten anzeigt (S16). Beim Verfahren wird zumindest ein Positionswert der Anzeigeeinrichtung, der mit der Position der Anzeigeeinrichtung korreliert ist, erfasst (S10), die Bilddaten durch die Bilderzeugungseinrichtung zumindest auf Basis des zumindest einen aktuell erfassten Positionswerts aktualisiert (S12) die aktualisierten Bilddaten an der Anzeigeeinrichtung bereitgestellt (S14) und diese durch die Anzeigeeinrichtung als aktuelle Bilddarstellung dargestellt (S16). Weiterhin wird eine Latenzzeit (Δt), welche zumindest eine Zeitdauer für das Aktualisieren (S12) der Bilddaten auf Basis des zumindest einen erfassten Positionswerts umfasst, erfasst (S18) und falls die aktuell erfasste Latenzzeit (Δt) größer ist als ein vorbestimmter Grenzwert (tG), ein Parameterwert zumindest eines Parameters, der mit der Qualität der Bilddarstellung korreliert ist, geändert (S22a).The invention relates to a method for displaying image data by means of a head-mounted display device in which image data is transmitted from an image generation device to the head-mounted display device (S14) and the display device displays the image data (S16). In the method, at least one position value of the display device, which is correlated with the position of the display device, is detected (S10), the image data is updated by the image generation device based on the at least one currently detected position value (S12), the updated image data is provided on the display device (S14 ) and displayed by the display device as the current image representation (S16). Further, a latency (Δt) including at least a period for updating (S12) the image data based on the at least one detected position value is detected (S18) and if the currently detected latency (Δt) is greater than a predetermined threshold (tG ), a parameter value of at least one parameter correlated with the quality of the image representation is changed (S22a).

Description

Die Erfindung geht aus von einem Verfahren zum Anzeigen von Bilddaten mittels einer am Kopf tragbaren Anzeigeeinrichtung, bei dem von einer Bilderzeugungseinrichtung Bilddaten an die am Kopf tragbare Anzeigeeinrichtung übermittelt werden und die Anzeigeeinrichtung die Bilddaten anzeigt. Beim Verfahren wird in einem Schritt a) zumindest ein Positionswert der Anzeigeeinrichtung, der mit der Position der Anzeigeeinrichtung korreliert ist, erfasst, in einem Schritt b) die Bilddaten durch die Bilderzeugungseinrichtung zumindest auf Basis des zumindest einen aktuell erfassten Positionswerts aktualisiert, in einem Schritt c) die aktualisierten Bilddaten an der Anzeigeeinrichtung bereitgestellt und in einem Schritt d) diese durch die Anzeigeeinrichtung als aktuelle Bilddarstellung dargestellt. Des Weiteren geht die Erfindung aus von einer Bilderzeugungseinrichtung zum Bereitstellen von Bilddaten an einer am Kopf tragbaren Anzeigeeinrichtung, wobei die Bilderzeugungseinrichtung dazu ausgelegt ist, zumindest einen Positionswert einer Anzeigeeinrichtung, der mit der Position der Anzeigeeinrichtung korreliert ist, zu empfangen, Bilddaten zumindest auf Basis des zumindest einen empfangenen Positionswerts zu aktualisieren und die aktualisierten Bilddaten an die Anzeigeeinrichtung zu senden.The invention is based on a method for displaying image data by means of a head-mounted display device, in which image data is transmitted from an image generation device to the head-mounted display device and the display device displays the image data. In the method, in a step a) at least one position value of the display device which is correlated with the position of the display device is detected, in a step b) the image data is updated by the image generation device based on the at least one currently detected position value, in a step c ) the updated image data provided on the display device and in a step d) this represented by the display device as a current image representation. Furthermore, the invention proceeds from an image generating device for providing image data to a head-mounted display device, wherein the image generating device is designed to receive at least one position value of a display device which is correlated with the position of the display device, image data based at least on update at least one received position value and send the updated image data to the display device.

Aus dem Stand der Technik, wie in der WO 96/03715 A1 beschrieben, sind graphische Anzeigesysteme mit einem HMD (Head Mounted Display) zum Anzeigen von Bildern, Mitteln zum Messen der Position und Orientierung des Kopfes eines Benutzers und einer Bilderzeugungseinrichtung bekannt. Durch das graphische Anzeigesystem lassen sich dreidimensionale Bilder anzeigen, insbesondere aus der Perspektive des Benutzers, wobei eine Kopfbewegung des Benutzers bei der Bilderzeugung und Anzeige berücksichtigt wird. Bewegt der Benutzer seinen Kopf, so ändert sich die angezeigte Perspektive in korrespondierender Weise. Zwischen der Erfassung einer Position und Orientierung des Kopfes des Benutzers und der darauf basierenden aktualisierten Bildanzeige treten jedoch unvermeidbar Latenzzeiten auf. Eine Reduzierung der Latenzzeiten kann durch eine Reduzierung der Bildwiederholrate erfolgen, was jedoch zu einer ruckartigen Darstellung führt, oder durch eine Reduzierung der Auflösung des Bildes, was jedoch eine unkomfortable Minderung des Realitätsgrads der Darstellung zur Folge hat. Um diese Nachteile zu Vermeiden ist in der WO 96/03715 A1 ein Verfahren offenbart, gemäß welchem eine virtuelle Szene für mehrere Blickrichtungen gespeichert wird und in Abhängigkeit der erfassten Blickrichtung die entsprechenden Bilddaten abgerufen und angezeigt werden. Eine derartige Vorgehensweise erfordert jedoch sehr viel Rechenaufwand, viel Speicherplatz und ist zudem relativ kostenintensiv und aufwendig umzusetzen.From the prior art, as in the WO 96/03715 A1 are described, graphical display systems with a HMD (Head Mounted Display) for displaying images, means for measuring the position and orientation of the head of a user and an image forming device known. The graphical display system can display three-dimensional images, in particular from the perspective of the user, taking into account the head movement of the user in the image generation and display. If the user moves his head, the displayed perspective changes in a corresponding way. However, there will inevitably be latencies between the detection of a user's head position and orientation and the updated image display based thereon. Reduction of latency can be achieved by reducing the frame rate, however, resulting in a jerky image, or by reducing the resolution of the image, but resulting in an uncomfortable reduction in the realism of the image. To avoid these disadvantages is in the WO 96/03715 A1 discloses a method according to which a virtual scene is stored for a plurality of viewing directions and, depending on the detected viewing direction, the corresponding image data is retrieved and displayed. However, such a procedure requires a great deal of computation, a lot of space and is also relatively expensive and expensive to implement.

Andere Verfahren versuchen die Latenzzeiten zu reduzieren, indem eine zukünftige Kopfposition eines Benutzers oder ein zukünftiges Blickfeld vorhergesagt wird. Beispielsweise beschreibt die US 2012/0105473 A1 ein Verfahren, bei dem ein zukünftiges Blickfeld eines Benutzers durch Extrapolation von Zustandsdaten vorhergesagt wird, und gemäß der US 2003/0025652 A1 wird ein anzuzeigendes Bild auf Basis der Vorhersage einer wahrscheinlichen Blickrichtung erzeugt, wobei zur Bestimmung der wahrscheinlichen Blickrichtung Geschwindigkeiten der Kopfbewegung eines Benutzers gemessen und ausgewertet werden. Gemäß der US 7,002,551 B2 wird eine zukünftige Position des Benutzers unter Verwendung der Geschwindigkeit einer Rotationsbewegung des Benutzers abgeschätzt, wobei zur aktualisierten Bilddarstellung die geschätzte zukünftige Position nur verwendet wird, wenn die Drehgeschwindigkeit größer ist als ein vorbestimmter Wert.Other methods attempt to reduce latency by predicting a future head position of a user or a future field of view. For example, this describes US 2012/0105473 A1 a method in which a future field of view of a user is predicted by extrapolation of state data, and according to the US 2003/0025652 A1 For example, an image to be displayed is generated on the basis of the prediction of a probable line of sight, and speeds of head movement of a user are measured and evaluated to determine the probable line of sight. According to the US 7,002,551 B2 For example, a future position of the user is estimated using the speed of rotation of the user, and for the updated image, the estimated future position is used only when the rotation speed is greater than a predetermined value.

Der Nachteil dieser Verfahren ist jedoch, dass eine Kopfposition nur abgeschätzt und daher nicht genau bestimmt ist. Stimmt die geschätzte Kopfposition nicht mit der tatsächlichen überein, so wird diese Diskrepanz von einem Benutzer in gleicher Weise unkomfortabel und unangenehm empfunden wie eine zu lange Latenzzeit, was somit ebenfalls die Erlebnisqualität für einen Benutzer mindert.The disadvantage of these methods, however, is that a head position is only estimated and therefore not precisely determined. If the estimated head position does not match the actual head position, this discrepancy is perceived by a user as uncomfortable and uncomfortable as too long latency, thus also degrading the experience quality for a user.

In AMANATIADIS, A, u.a.: Development of a Stereo Vision System for Remotely Operated Robots: A Control and Video Streaming Architecture; In: International Conferende an Virtual Enviroments, Human-Computer Interfaces, and Measurement Systems; Istambul, Turkey, 14–16 July 2008; URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4592745 sind Versuche mit verschiedenen Hardwareausstattungen beschrieben, die Einfluss auf die Latenzzeiten haben, wobei von einer bestimmten Auflösung ausgegangen wurde.In AMANATIADIS, A, et al .: Development of a Stereo Vision System for Remotely Operated Robots: A Control and Video Streaming Architecture; In: International Conferences on Virtual Enviroments, Human-Computer Interfaces, and Measurement Systems; Istambul, Turkey, 14-16 July 2008; URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4592745 describes experiments with different hardware configurations that influence the latency times, assuming a certain resolution.

In JERALD, J.; WHITTON, M.: Relating Scene-Motion Thresholds to Latency Thresholds for Head-Mounted Displays; In: Virtual Reality Conference, 2009; VR 2009; IEEE, 14–18 March 2009; URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber4811025 sind Versuche und Aufbauten beschrieben, um geringe Latenzzeiten zu erreichen.In JERALD, J .; WHITTON, M .: Relating Scene-Motion Thresholds to Latency Thresholds for Head-Mounted Displays; In: Virtual Reality Conference, 2009; Board of Directors 2009; IEEE, 14-18 March 2009; URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber4811025 attempts and setups are described to achieve low latency.

Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Anzeigen von Bilddaten mittels einer am Kopf tragbaren Anzeigeeinrichtung und eine Bilderzeugungseinrichtung bereitzustellen, welche auf möglichst einfache Weise eine Steigerung der Erlebnisqualität für einen Benutzer ermöglichen.It is therefore an object of the present invention to provide a method for displaying image data by means of a display device that can be worn on the head and an image generation device, which make it possible to increase the quality of experience for a user in the simplest possible way.

Diese Aufgabe wird gelöst durch ein Verfahren zum Anzeigen von Bilddaten mittels einer am Kopf tragbaren Anzeigeeinrichtung und durch eine Bilderzeugungseinrichtung gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung finden sich in den abhängigen Ansprüchen.This object is achieved by a method for displaying image data by means of a head-mounted display device and by a Image forming apparatus according to the independent claims. Advantageous embodiments of the invention can be found in the dependent claims.

Beim erfindungsgemäßen Verfahren wird in einem Schritt e) eine Latenzzeit, welche zumindest eine Zeitdauer für das Aktualisieren der Bilddaten auf Basis des zumindest einen erfassten Positionswerts umfasst, erfasst und in einem Schritt f) falls die aktuell erfasste Latenzzeit größer ist als ein vorbestimmter Grenzwert, ein Parameterwert zumindest eines Parameters, der mit der Qualität der Bilddarstellung korreliert ist, geändert. Weiterhin werden die Schritte a) bis d) mit zumindest einer ersten Wiederholrate wiederholt und die Schritte e) und f) mit zumindest einer zweiten Wiederholrate wiederholt, wobei für den Fall, dass in Schritt f) der Parameterwert des zumindest einen Parameters geändert wird, der geänderte Parameterwert bei einer darauffolgenden Wiederholung der Schritte a) bis d) in Schritt b) beim Aktualisieren der Bilddaten durch die Bilderzeugungseinrichtung berücksichtigt wird.In the method according to the invention, in a step e) a latency, which comprises at least one time duration for updating the image data on the basis of the at least one detected position value, is detected and in a step f) if the currently detected latency is greater than a predetermined limit value Parameter value of at least one parameter, which is correlated with the quality of the image representation changed. Furthermore, the steps a) to d) are repeated with at least a first repetition rate and the steps e) and f) are repeated with at least a second repetition rate, wherein in the case in step f) the parameter value of the at least one parameter is changed changed parameter value in a subsequent repetition of steps a) to d) in step b) is taken into account when updating the image data by the image generating device.

Die Erfindung beruht dabei auf der Erkenntnis, dass die Komplexität der graphischen Darstellung einen wesentlichen, die Latenzzeit beeinflussenden Faktor darstellt, so dass sich vorteilhafterweise durch eine Änderung eines Parameterwerts zumindest eines Parameters, der mit der Qualität der Bilddarstellung korreliert ist, die Latenzzeit beeinflussen und insbesondere reduzieren lässt. Ein wesentlicher Vorteil der Erfindung besteht dabei darin, dass der Parameterwert dabei nur geändert wird, falls die Latenzzeit einen vorbestimmten Grenzwert überschreitet, da so eine unnötige Reduktion der Darstellungsqualität vermieden werden kann. Die Erfindung ermöglicht es somit auf besonders einfache, kostengünstige und wenig Speicherplatz beanspruchende Weise, die Latenzzeit nur um soviel wie nötig zu reduzieren, um z. B. eine Simulator Sickness für einen Benutzer zu vermeiden, und gleichzeitig die Qualität der Bilddarstellung so optimal wie möglich zu halten. Dadurch kann die Erlebnisqualität, bedingt durch die Reduktion der Latenzzeit bei gleichzeitig optimaler Darstellungsqualität, für einen Benutzer auf sehr einfache Weise gesteigert werden. Zudem ermöglicht es die Erfindung, dass die Latenzzeit fortwährend erfasst wird, und dadurch eine dynamische Regelung der Bildqualität in Abhängigkeit der erfassten Latenzzeiten möglich ist. Durch diese dynamische Anpassung kann die Bildqualität somit immer so optimal wie möglich gehalten werden.The invention is based on the finding that the complexity of the graphical representation represents a significant factor influencing the latency, so that the latency period is advantageously influenced and in particular by a change in a parameter value of at least one parameter that is correlated with the quality of the image representation can be reduced. An essential advantage of the invention consists in the fact that the parameter value is changed only if the latency exceeds a predetermined limit value, since an unnecessary reduction of the quality of presentation can thus be avoided. The invention thus makes it possible to reduce the latency only by as much as necessary in a particularly simple, cost-effective and low memory-consuming manner, for. As a simulator Sickness for a user to avoid, and at the same time to keep the quality of the image as optimal as possible. As a result, the quality of the experience, due to the reduction of the latency time and at the same time optimum presentation quality, can be increased in a very simple way for a user. In addition, the invention makes it possible for the latency period to be recorded continuously, and thus dynamic regulation of the image quality as a function of the detected latencies is possible. Through this dynamic adaptation, the image quality can thus always be kept as optimal as possible.

Die erste und/oder zweite Wiederholrate muss dabei nicht zwingend konstant sein. Vorteilhaft ist es beispielsweise die erste und/oder zweite Wiederholrate dynamisch zu regeln. Dies ermöglicht eine Optimierung der Bildwiederholrate und eine möglichst ruckfreie Bilddarstellung. Die erste Wiederholrate kann dabei z. B. im Wesentlichen durch die Latenzzeit bestimmt sein, d. h. dass die Bildwiederholrate so hoch ist, wie es eine aktuelle Latenzzeit zulässt. Dabei muss nicht zwingend nach jeder Wiederholung der Schritte a) bis d) die aktuelle Latenzzeit ermittelt werden, d. h. die erste Wiederholrate kann von der zweiten Wiederholrate verschieden sein. Vorteilhaft ist es jedoch, wenn bei jeder Wiederholung der Schritte a) bis d) auch jeweils die aktuelle Latenzzeit erfasst wird und im Fall der Überschreitung des vorgegebenen Grenzwerts der geänderte Parameterwert bei der darauffolgenden Aktualisieren der Bilddaten berücksichtigt wird. Dies ermöglicht eine dynamische und somit besonders effektive Regelung des Parameterwerts in Abhängigkeit von der aktuell erfassten Latenzzeit und somit eine besonders schnelle Reduktion der Latenzzeit, falls diese den Grenzwert überschreitet.The first and / or second repetition rate does not necessarily have to be constant. It is advantageous, for example, to dynamically regulate the first and / or second repetition rate. This allows an optimization of the refresh rate and the smoothest possible image display. The first repetition rate can be z. B. be determined essentially by the latency, d. H. that the refresh rate is as high as a current latency allows. It is not absolutely necessary to determine the current latency time after each repetition of steps a) to d). H. the first repetition rate may be different than the second repetition rate. However, it is advantageous if the current latency is also detected in each repetition of steps a) to d) and, in the case of exceeding the predetermined limit value, the changed parameter value is taken into account in the subsequent updating of the image data. This allows a dynamic and thus particularly effective control of the parameter value as a function of the currently detected latency and thus a particularly rapid reduction of the latency, if this exceeds the limit.

Die Latenzzeit kann dabei auf einfache Weise erfasst werden, z. B. durch die Bilderzeugungseinrichtung oder die Anzeigeeinrichtung. Die Zeitdauer zwischen dem Erfassen des Positionswerts der Anzeigeeinrichtung und dem Anzeigen der aktualisierten Bilddaten durch die Anzeigeeinrichtung ist dabei im Wesentlichen durch die Dauer der Aktualisierung der Bilddaten durch die Bilderzeugungseinrichtung unter Berücksichtigung des aktuellen Positionswerts bestimmt. Diese Zeitdauer kann als Latenzzeit definiert sein und auf einfache Weise durch die Bilderzeugungseinrichtung bestimmt werden. Die Latenzzeit kann aber auch als die gesamte Zeitdauer zwischen dem Erfassen des Positionswerts der Anzeigeeinrichtung und dem Anzeigen der aktualisierten Bilddarstellung durch die Anzeigeeinrichtung definiert sein. Diese Latenzzeit kann auf einfache Weise durch die Anzeigeeinrichtung selbst bestimmt und an die Bilderzeugungseinrichtung übermittelt werden.The latency can be detected in a simple manner, z. B. by the image forming device or the display device. The time duration between the detection of the position value of the display device and the display of the updated image data by the display device is essentially determined by the duration of the updating of the image data by the image generation device taking into account the current position value. This period of time may be defined as latency and be easily determined by the imaging device. However, the latency may also be defined as the entire time period between the detection of the position value of the display device and the display of the updated image representation by the display device. This latency can be easily determined by the display device itself and transmitted to the image generating device.

Unter einer am Kopf tragbaren Anzeigeeinrichtung kann dabei ein HMD (Head Mounted Display), eine VR(Virtual Reality)-Brille bzw. Datenbrillen, ein VR-Helm oder eine Videobrille verstanden werden, durch welche sich Bildinhalte auf in die Brille integrierten Displays darstellen lassen, insbesondere zweidimensional oder auch dreidimensional. Die am Kopf tragbare Anzeigeeinrichtung kann auch eine AR(Augmented Reality)-Brille mit einem Head-up-Display darstellen, die eine Kombination aus realer Umgebung und in diese eingeblendete virtuelle Objekte ermöglicht. Bei all diesen Ausgestaltungen der Anzeigeeinrichtung ist es besonders wichtig, Verzögerungszeiten zwischen der Kopfbewegung eines Benutzers und der Anpassung der Bilddarstellung korrespondierend zu dieser Kopfbewegung möglichst klein zu halten.A display device that can be worn on the head can be understood to mean an HMD (Head Mounted Display), a VR (Virtual Reality) spectacle or data glasses, a VR helmet or a video spectacle, through which image contents can be displayed on displays integrated in the spectacles , in particular two-dimensional or three-dimensional. The head-mounted display device may also present an augmented reality (BR) eyeglass with a head-up display that allows a combination of real environment and virtual objects displayed in it. In all of these embodiments of the display device, it is particularly important to keep delay times between the head movement of a user and the adaptation of the image representation corresponding to this head movement as small as possible.

Unter einem Positionswert der Anzeigeeinrichtung, der mit der Position der Anzeigeeinrichtung korreliert ist, kann dabei z. B. ein Ort der Anzeigeeinrichtung, insbesondere in Bezug zu einem Referenzpunkt oder Referenzkoordinatensystem, die Ausrichtung der Anzeigeeinrichtung an einem Ort, z. B. relativ zu einer Bezugsrichtung oder in einem Referenzkoordinatensystem, eine Bewegung der Anzeigeeinrichtung, eine Bewegungsgeschwindigkeit und/oder eine Bewegungsbeschleunigung der Anzeigeeinrichtung verstanden werden, der mittels dafür vorgesehener Erfassungsmittel bzw. Sensoren der Anzeigeeinrichtung erfasst werden kann.Under a position value of the display device, which is correlated with the position of the display device can, for. B. a location of the display device, in particular with respect to a Reference point or reference coordinate system, the orientation of the display device in one place, eg. B. relative to a reference direction or in a reference coordinate system, a movement of the display device, a movement speed and / or a movement acceleration of the display device are understood, which can be detected by means provided for detection means or sensors of the display device.

Ein weiterer großer Vorteil der Erfindung besteht weiterhin darin, dass mehrere Möglichkeiten bereitgestellt sind, die Qualität der Bilddarstellung zu beeinflussen. Die Erfindung macht sich dabei zudem die Erkenntnis zu nutze, dass z. B. abgesehen von der Auflösung, d. h. die Anzahl an Bildpunkten, aus denen sich die Bilddarstellung zusammensetzt, auch andere Parameter wie die Anzahl an Polygonen, aus denen die in der Bilddarstellung dargestellten Objekte aufgebaut sind, diverse Shader und Filter zum Verbessern der Bildqualität, und die Texturqualität der Textur von Oberflächen von dargestellten Objekten, wie später noch näher beschrieben ist, die Bildqualität beeinflussen. Dies kann vorteilhafter Weise genutzt werden, um beispielsweise durch diese vielzähligen Möglichkeiten die Bildqualität so zu reduzieren, dass dies im Gegensatz zur Änderung nur eines Parameterwerts, z. B. der Auflösung, für einen Benutzer weniger deutlich wahrnehmbar ist. Zudem ist dadurch die Möglichkeit bereitgestellt, die Bildqualität derart zu mindern, dass dies von einem Benutzer nicht als unangenehm empfunden wird. Wird im Gegensatz dazu beispielsweise nur die Auflösung reduziert, um die Latenzzeit zu reduzieren, so macht sich dies für einen Benutzer durch eine unscharfe, verpixelte und verschwommene Bilddarstellung bemerkbar und kann von diesem als sehr unangenehm empfunden werden. Im Gegensatz dazu ermöglicht es die Erfindung, zur Reduzierung der Latenzzeit auch auf den inhaltlichen Detaillierungsgrad der Bilddarstellung Einfluss zu nehmen, ohne dabei die Gesamtauflösung zu ändern. Mit anderen Worten können zur Reduzierung der Latenzzeit der Detaillierungsgrad des Bildinhalts selbst reduziert werden, z. B. weisen dann die Objekte der Bilddarstellung weniger Details auf, sind aber dennoch scharf dargestellt, was somit von einem Benutzer auch nicht als unangenehm empfunden wird.A further great advantage of the invention continues to be that several possibilities are provided for influencing the quality of the image representation. The invention also makes use of the knowledge that z. B. apart from the resolution, d. H. the number of pixels that make up the image representation also includes other parameters such as the number of polygons that make up the objects represented in the image representation, various shaders and filters to improve image quality, and the texture quality of the texture of surfaces represented by Objects, as described in more detail later, affect the image quality. This can be advantageously used to reduce the image quality, for example, by means of these numerous possibilities, in that, in contrast to the change of only one parameter value, e.g. As the resolution is less noticeable to a user. In addition, this provides the opportunity to reduce the image quality such that this is not perceived as unpleasant by a user. By contrast, if, for example, only the resolution is reduced in order to reduce the latency, this is noticeable to a user due to a fuzzy, pixelated and blurred image representation and can be perceived by the latter as very unpleasant. In contrast, the invention makes it possible to influence the level of detail of the image representation to reduce the latency, without changing the overall resolution. In other words, to reduce latency, the level of detail of the image content itself can be reduced, e.g. B. then have the objects of the image display less details, but are still shown sharply, which is therefore not perceived by a user as unpleasant.

Daher ist es eine besonders vorteilhafte Ausgestaltung der Erfindung, dass in Schritt b) die Bilddaten in Abhängigkeit einer Mehrzahl an Parameterwerten aktualisiert werden, wobei je ein Parameterwert zumindest einem Parameter einer den zumindest einen Parameter umfassenden Mehrzahl an Parametern, die mit der Qualität der Bilddarstellung korreliert sind, zugeordnet ist. Durch diese Mehrzahl an Parametern, die bei der Aktualisierung der Bilddaten durch Bilderzeugungseinrichtung eingehen, ist es auf vorteilhafte Weise zudem möglich, die Latenzzeit auf deutlich akkuratere und die Bildqualität auf deutlich weniger mindernde Weise unter dem Grenzwert zu halten, da unterschiedliche Parameter die Bildqualität auf unterschiedliche Weise und die Latenzzeit in unterschiedlichem Ausmaß beeinflussen können. Beispielsweise kann bei nur geringer Überschreitung des Grenzwerts ein Parameterwert eines Parameters geändert werden, der nur eine geringe aber ausreichende Reduktion der Latenzzeit ermöglicht aber dafür auch nur eine sehr geringe Minderung der Bildqualität bewirkt. Darüber hinaus ist es auch möglich für eine stärkere Reduktion der Latenzzeit mehrere Parameterwerte mehrer unterschiedlicher Parameter gleichzeitig zu ändern. Da unterschiedliche Parameter die Bildqualität in unterschiedlicher Weise beeinflussen, fallen die daraus resultierenden einzelnen Änderungen in der Bilddarstellung weniger stark ins Gewicht und sind somit für einen Benutzer deutlich weniger wahrnehmbar.Therefore, it is a particularly advantageous embodiment of the invention that in step b) the image data are updated in dependence on a plurality of parameter values, wherein each parameter value at least one parameter of the at least one parameter comprising a plurality of parameters which correlates with the quality of the image representation are assigned. Advantageously, through this plurality of parameters involved in updating the image data by imager, it is also possible to keep the latency to much more accurate and the image quality much less degrading, as different parameters change the image quality to different Manner and latency to varying degrees. By way of example, if the limit value is only slightly exceeded, a parameter value of a parameter can be changed which allows only a small but sufficient reduction in the latency, but also causes only a very slight reduction in the image quality. Moreover, it is also possible for a greater reduction of the latency time to change several parameter values of several different parameters simultaneously. Since different parameters influence the image quality in different ways, the resulting individual changes in the image representation are of less importance and are therefore much less perceptible to a user.

Bei einer vorteilhaften Ausgestaltung der Erfindung wird in Schritt f) als der Parameterwert des zumindest einen Parameters ein Wert einer Auflösung der Bilddarstellung der Bilddaten durch die Bilderzeugungseinrichtung reduziert. Die Reduktion der Auflösung stellt dabei ein besonders effektives Mittel zur Reduktion der Latenzzeit dar. Jedoch stellt vorteilhafter Weise die Auflösung nicht den einzigen Parameter dar, der mit der Bildqualität korreliert ist. Die Nachteile einer unscharfen Bilddarstellung können so vorteilhafter Weise vermieden werden, indem weitere Parameter einbezogen werden, deren Werte zur Reduktion der Latenzzeit geändert werden können.In an advantageous embodiment of the invention, a value of a resolution of the image representation of the image data by the image generation device is reduced in step f) as the parameter value of the at least one parameter. Reduction in resolution is a particularly effective means of reducing latency. However, advantageously, resolution is not the only parameter correlated with image quality. The disadvantages of a blurred image representation can thus be advantageously avoided by including further parameters whose values can be changed to reduce the latency.

Bei der Bilderzeugung durch die Bilderzeugungseinrichtung wird bevorzugt aus einer vorgegebenen Szene, die die Objektgeometrie der darzustellenden Objekte, die Materialeigenschaften, (virtuelle) Lichtquellen und die Position und Blickrichtung eines virtuellen Betrachters enthält, ein Bild durch Bildsynthese, auch Rendern genannt, erzeugt. Bei der geometrischen Modellierung der Objekte werden die darzustellenden Objekte einer Szene bevorzugt mittels Oberflächendarstellung modelliert, d. h. Objekte werden anhand von aus Primitiven, wie Polygonen, z. B. Dreiecken, zusammengesetzten Oberflächen modelliert. Je größer die Polygonanzahl dabei ist, desto detailgetreuer und realistischer kann ein Objekt modelliert werden, und desto größer ist auch die Latenzzeit bei der Aktualisierung der Bilddaten durch die Bilderzeugungseinrichtung.In the image generation by the image generating device, a picture is preferably generated from a given scene containing the object geometry of the objects to be displayed, the material properties, (virtual) light sources and the position and viewing direction of a virtual observer by image synthesis, also called rendering. In the geometrical modeling of the objects, the objects of a scene to be displayed are preferably modeled by means of surface representation, i. H. Objects are constructed using primitives such as polygons, e.g. Triangles, composite surfaces. The greater the number of polygons, the more accurate and realistic an object can be modeled, and the greater the latency in updating the image data by the imager.

Daher ist es eine vorteilhafte Ausgestaltung der Erfindung, dass in Schritt f) als der Parameterwert des zumindest einen Parameters eine Anzahl an Polygonen, die zumindest ein Objekt der Bilddarstellung umfasst, durch die Bilderzeugungseinrichtung reduziert wird. Denn dies stellt, wie beschrieben, ebenfalls eine geeignete und sehr effektive Maßnahme dar, um die Latenzzeit zu reduzieren.Therefore, it is an advantageous embodiment of the invention that in step f), as the parameter value of the at least one parameter, a number of polygons comprising at least one object of the image representation is reduced by the image generation device. Because, as described, this is also a suitable and very effective measure to reduce latency.

Weiterhin können bei der Bildsynthese sogenannte Shader und/oder Filter zum Einsatz kommen, wie z. B. Pixel-Shader, Vertex-Shader, Tessallation-Shader und/oder Geometry-Shader. Beispielsweise können Pixel-Shader bzw. Fragment-Shader durch z. B. Phong-Shading oder Gouraud-Shading Polygonflächen mit Farbschattierungen versehen. Durch Antialiasing mittels Effekt-Filter können unerwünschte Effekte vermieden werden, die bei der Erzeugung des Bildes als Rastergraphik aus z. B. einer Vektorgraphik durch Rasterung durch das begrenzt aufgelöste Pixelraster entstehen können, wie z. B. der Alias-Effekt oder der Treppeneffekt. Durch den Einsatz derartiger Shader und/oder Filter kann somit die Bildqualität und der Realismus der Darstellung gesteigert werden, doch bedingen auch diese Maßnahmen bei der Aktualisierung der Bilddaten durch die Bilderzeugungseinrichtung eine Verlängerung der Latenzzeit. Furthermore, so-called shaders and / or filters can be used in the image synthesis, such as. Pixel shaders, vertex shaders, tessallation shaders and / or geometry shaders. For example, pixel shaders or fragment shaders by z. B. Phong-Shading or Gouraud-Shading polygon areas provided with color shades. By antialiasing using effect filters unwanted effects can be avoided, which in the generation of the image as a raster graphic of z. B. a vector graphic by screening by the limited resolution pixel grid may occur, such. B. the alias effect or the staircase effect. By using such shaders and / or filters, the image quality and the realism of the display can thus be increased, but these measures also necessitate an extension of the latency when updating the image data by the image generation device.

Daher ist es einer weitere vorteilhafte Ausgestaltung der Erfindung, in Schritt f) als den Parameterwert des zumindest einen Parameters zumindest eine Ausführung einer Funktion eines Shaders und/oder Filters der Bilderzeugungseinrichtung zu deaktivieren. Auch dies stellt eine besonders einfache und vorteilhafte Möglichkeit dar, die Latenzzeit zu reduzieren. Zudem umfasst die Bilderzeugungseinrichtung bevorzugt mehrere Shader und/oder Filter, wie z. B. die oben beschriebenen, so dass hier zusätzlich die Möglichkeit bereitgestellt ist, insbesondere je nach gewünschtem Ausmaß der Reduzierung der Latenzzeit, nur einen oder mehrere Shader und/oder Filter in ihrer Funktion zu deaktivieren.Therefore, it is a further advantageous embodiment of the invention to deactivate in step f) as the parameter value of the at least one parameter at least one embodiment of a function of a shader and / or filter of the image generation device. Again, this is a particularly simple and advantageous way to reduce the latency. In addition, the image generating device preferably comprises a plurality of shaders and / or filters, such. As described above, so that in addition the possibility is provided, in particular depending on the desired extent of reducing the latency, only one or more shaders and / or filters to disable in their function.

Weiterhin können bei der Bilderzeugung durch die Bilderzeugungseinrichtung durch Mapping-Techniken Oberflächenstrukturen und/oder Oberflächendetails simuliert werden. Beim Textur-Mapping z. B. kann eine (zweidimensionale) Textur auf eine Objektoberfläche eines Objekts abgebildet werden. Die Texturqualität hat dabei ebenfalls Einfluss sowohl auf die Bildqualität als auch auf die Latenzzeit bei der Aktualisierung der Bilddaten durch die Bilderzeugungseinrichtung.Furthermore, surface structures and / or surface details can be simulated in imaging by the imaging device by mapping techniques. For texture mapping z. For example, a (two-dimensional) texture can be imaged onto an object surface of an object. The texture quality also has an influence on both the image quality and the latency in updating the image data by the imaging device.

Daher ist es einer weitere vorteilhafte Ausgestaltung der Erfindung, in Schritt f) als den Parameterwert des zumindest einen Parameters eine Texturqualität zumindest eines Objekts der Bilddarstellung durch die Bilderzeugungseinrichtung zu reduzieren. Auch dies stellt vorteilhafterweise eine Möglichkeit dar, die Latenzzeit zu reduzieren.It is therefore a further advantageous embodiment of the invention to reduce, in step f), as the parameter value of the at least one parameter, a texture quality of at least one object of the image representation by the image generation device. This, too, advantageously represents a possibility of reducing the latency.

Wie beschrieben können zur Reduktion der Latenzzeit auch mehrere der genannten Parameter in beschriebener Weise geändert werden. Die genannten Parameter wirken sich dabei in synergetischer Weise auf die Bildqualität der Bilddarstellung aus. Durch geeignete Variation der Parameterwerte dieser Parameter kann so auf besonders vorteilhafte und effektive Weise die Latenzzeit verringert werden, ohne dabei die Bildqualität merklich zu beeinflussen. Beispielsweise treten bei einer hohen Gesamtauflösung der Bilddarstellung kaum Alias- oder Treppeneffekte auf, weshalb z. B. eine Deaktivierung eines Effekt-Filters zur Minderung dieser Effekte die Bildqualität nicht sonderlich beeinträchtigt und daher bei hoher Auflösung besonders geeignet ist, um die Latenzzeit zu reduzieren. Bei einer hohen Polygonanzahl beispielsweise kann ein sehr hoher Realitätsgrad realisiert werden, weshalb beispielsweise eine Deaktivierung eines Pixel-Shaders keine merkliche Minderung des Realitätsgrads und damit der Bilddarstellung bewirkt. Gleiches gilt auch in umgekehrter Weise, soll z. B. die Latenzzeit durch eine Reduktion der Auflösung und/oder der Polygonanzahl reduziert werden, so lässt sich die daraus resultierende Minderung der Bildqualität durch aktive Effekt-Filter und Shader zum Teil kompensieren. Darüber hinaus kann z. B. auch die Texturqualität einhergehend mit der Änderung der Gesamtauflösung geändert werden, da die Texturqualität in ihrer Güte durch die Gesamtauflösung begrenzt ist. Weiterhin lässt sich durch eine hohe Texturqualität der Realitätsgrad und der Eindruck der Räumlichkeit steigern, was somit genutzt werden kann, um beispielsweise eine durch eine Verringerung der Polygonanzahl bedingte Reduktion des Realitätsgrads zu kompensieren und umgekehrt. Zur Reduktion der Latenzzeit ist es also auch möglich, einzelne Parameter in gegenläufiger Weise zu ändern, so dass sich die Latenzzeit effektiv reduzieren lässt und gleichzeitig die Minderung der Bildqualität auf ein Minimum beschränkt wird. Beispielsweise kann es vorgesehen sein, dass in Schritt f), falls die Latenzzeit größer ist als der erste vorgegebene Grenzwert, mehrere Parameterwerte mehrerer Parameter derart geändert werden, dass die Änderung eines Parameterwerts eine der Maßnahmen aus Reduzierung der Auflösung, Reduzierung der Polygonanzahl, Reduzierung der Anzahl an aktiven Shadern und/oder Filtern und Reduzierung der Texturqualität darstellt und dass die Änderung eines anderen Parameters eine der Maßnahmen aus Erhöhung der Auflösung, Erhöhung der Polygonanzahl, Erhöhung der Anzahl an aktiven Shadern und/oder Filtern und Erhöhung der Texturqualität darstellt.As described, in order to reduce the latency, it is also possible to change a number of said parameters in the manner described. The mentioned parameters have a synergistic effect on the image quality of the image representation. By suitable variation of the parameter values of these parameters, the latency time can be reduced in a particularly advantageous and effective manner, without noticeably influencing the image quality. For example, hardly occur at a high overall resolution of the image display alias or staircase effects, which is why z. B. deactivation of an effect filter to reduce these effects, the image quality is not particularly affected and therefore particularly suitable for high resolution to reduce the latency. With a high number of polygons, for example, a very high degree of reality can be realized, for which reason, for example, deactivating a pixel shader does not bring about a noticeable reduction in the degree of reality and thus the image representation. The same applies in the opposite way, z. If, for example, the latency is reduced by reducing the resolution and / or the number of polygons, the resulting reduction in image quality can be partially compensated by active effect filters and shaders. In addition, z. As well as the texture quality are changed along with the change in the overall resolution, since the quality of the texture is limited in their quality by the total resolution. Furthermore, the degree of reality and the impression of the spatiality can be increased by a high texture quality, which can thus be used, for example, to compensate for a reduction in the degree of reality caused by a reduction in the number of polygons, and vice versa. In order to reduce the latency, it is also possible to change individual parameters in an opposite way, so that the latency can be effectively reduced and at the same time the reduction of the image quality is kept to a minimum. For example, it may be provided that in step f), if the latency time is greater than the first predetermined limit value, several parameter values of several parameters are changed such that the change of a parameter value is one of the measures of reducing the resolution, reducing the number of polygons, reducing the Represents the number of active shaders and / or filters and reduction in texture quality, and that changing another parameter is one of the measures of increasing the resolution, increasing the number of polygons, increasing the number of active shaders and / or filters, and increasing the texture quality.

Bei einer vorteilhaften Ausgestaltung der Erfindung wird der Parameterwert des zumindest einen Parameters, z. B. um einen vorbestimmten Wert, solange geändert, bis die erfasste Latenzzeit kleiner oder gleich dem vorbestimmten Grenzwert ist. Der vorbestimmte Wert kann dabei fest vorgegeben sein, insbesondere kann für jeden Parameter ein jeweiliger vorbestimmter Wert vorgegeben sein. Beispielsweise kann der vorbestimmte Wert einen Auflösungswert darstellen, um den die Auflösung reduziert wird, eine vorgegebene Anzahl um die die Polygonanzahl reduziert wird, eine vorgegebene Anzahl, um die die Anzahl an aktiven Shadern und/oder Filtern reduziert wird und/oder ein vorgegebener Auflösungswert um den die Texturqualität reduziert wird.In an advantageous embodiment of the invention, the parameter value of the at least one parameter, for. B. changed by a predetermined value, until the detected latency is less than or equal to the predetermined limit. The predetermined value can be predetermined, in particular, a respective predetermined value can be predetermined for each parameter. For example, the predetermined value may represent a resolution value by which the resolution is reduced, a predetermined number by which the polygon number is reduced, a predetermined number by which the number of active shaders and / or filters is reduced and / or a predetermined resolution value by which the texture quality is reduced.

Der vorbestimmte Wert kann auch in Abhängigkeit einer Abweichung der aktuell erfassten Latenzzeit vom ersten vorbestimmten Grenzwert vorbestimmt werden. Beispielsweise kann es vorgesehen sein, dass der vorgegebene Wert um so größer ist, je größer die Abweichung der Latenzzeit vom Grenzwert ist. Dadurch lässt sich beispielsweise eine besonders schnelle und effiziente Reduzierung der Latenzzeit erreichen. Die einzelnen Parameterwerte können darüber hinaus auch in einer vorgegebenen Reihenfolge geändert werden und/oder gemäß einer vorgegeben Vorschrift, insbesondere mit einer jeweiligen Gewichtung bzw. mit Gewichtungsfaktoren der einzelnen Parameter.The predetermined value may also be predetermined in dependence on a deviation of the currently detected latency from the first predetermined limit value. For example, it may be provided that the greater the deviation of the latency from the limit value, the greater the predetermined value. As a result, for example, a particularly fast and efficient reduction of the latency can be achieved. In addition, the individual parameter values can also be changed in a predetermined sequence and / or according to a predetermined rule, in particular with a respective weighting or with weighting factors of the individual parameters.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird der Parameterwert des zumindest einen Parameters beibehalten, solange die erfasste Latenzzeit in einem vorbestimmten Zeitintervall mit dem vorbestimmten Grenzwert als obere Grenze und einem zweiten vorbestimmten Grenzwert als untere Grenze liegt. Das Vorsehen eines zweiten Grenzwerts als untere Grenze ist dabei besonders vorteilhaft, da sich ab einem unteren Grenzewert der Latenzzeit durch eine weitere Reduktion der Latenzzeit keine spürbare Verbesserung für den Benutzer ergibt und dies nur zu einer unnötigen Minderung der Bildqualität führen würde.In a further advantageous embodiment of the invention, the parameter value of the at least one parameter is maintained, as long as the detected latency in a predetermined time interval with the predetermined limit as the upper limit and a second predetermined limit as the lower limit. The provision of a second limit value as the lower limit is particularly advantageous since, from a lower limit value of the latency time, a further reduction of the latency time results in no noticeable improvement for the user and this would only lead to an unnecessary reduction of the image quality.

Daher ist es eine weitere vorteilhafte Ausgestaltung der Erfindung, dass, falls die erfasste Latenzzeit den unteren Grenzwert unterschreitet, der Parameterwert des zumindest einen Parameters um einen zweiten vorbestimmten Wert geändert wird, bis die erfasste Latenzzeit im vorbestimmten Zeitintervall liegt. Der zweite vorbestimmte Wert kann dabei gleich dem ersten vorbestimmten Wert sein oder von diesem verschieden sein. Auch hier kann der zweite vorbestimmte Wert beispielsweise fest vorgegeben oder in Abhängigkeit der Abweichung der Latenzzeit vom unteren Grenzwert vorbestimmt werden. Weiterhin können dabei auch mehrere Parameterwerte, die mehreren Parametern zugeordnet sind, gleichzeitig, in einer vorgegebenen Reihenfolge oder nach einer vorbestimmten Vorschrift geändert werden. Zur Erhöhung der Latenzzeit kann beispielsweise die Gesamtauflösung und/oder die Texturauflösung und/oder die Polygonanzahl und/oder die Anzahl an aktiven Shadern und/oder Filtern erhöht werden.Therefore, it is a further advantageous embodiment of the invention that, if the detected latency falls below the lower limit, the parameter value of the at least one parameter is changed by a second predetermined value until the detected latency in the predetermined time interval. The second predetermined value may be equal to or different from the first predetermined value. Again, the second predetermined value, for example, fixed or predetermined depending on the deviation of the latency from the lower limit. Furthermore, it is also possible to change several parameter values that are assigned to a plurality of parameters at the same time, in a predetermined sequence or according to a predetermined rule. To increase the latency, for example, the total resolution and / or the texture resolution and / or the number of polygons and / or the number of active shaders and / or filters can be increased.

So lässt sich insgesamt die Latenzzeit auf einfache Weise in einem optimalen Bereich zwischen dem unteren und dem oberen Grenzwert halten und gleichzeitig eine möglichst optimale Qualität der Bilddarstellung gewährleisten.Thus, overall, the latency can easily be kept within an optimal range between the lower and the upper limit and at the same time ensure the best possible quality of the image representation.

Optimalerweise liegt die Latenzzeit, also die Zeit zwischen dem Erfassen des Positionswerts und der Anzeige der darauf basierenden aktualisierten Bilddarstellung, bei ca. 10 ms. Beispielsweise kann das vorbestimmte Zeitintervall mit dem ersten vorbestimmten Grenzwert als obere Grenze und dem zweiten vorbestimmten Grenzwert als untere Grenze 9 ms bis 15 ms betragen. Die Latenzzeit wird aber auch durch andere Größen beeinflusst, beispielsweise durch die Leistungsfähigkeit der Bilderzeugungseinrichtung selbst. Die vorgegebenen Grenzwerte können deshalb beispielsweise auch in Abhängigkeit der Leistungsfähigkeit der Bilderzeugungseinrichtung vorgegeben werden. Beispielsweise kann das Zeitintervall für eine Bilderzeugungseinrichtung mit geringer Leistungsfähigkeit z. B. als 14 ms bis 20 ms vorgegeben sein und das Zeitintervall für eine Bilderzeugungseinrichtung mit sehr hoher Leistungsfähigkeit als 7 ms–10 ms. Denkbar wäre auch, dass die Bilderzeugungseinrichtung selbst ihrer Leistungsfähigkeit bestimmt, beispielsweise durch Auslesen eines für die Leistungsfähigkeit charakterisierenden Werts aus einem Speicher und das Zeitintervall oder zumindest den oberen ersten Grenzwert in Abhängigkeit des ausgelesenen Werts bestimmt. Eine weitere Variante wäre auch, dass ein oberer erster Grenzwert durch einen Benutzer in die Bilderzeugungseinrichtung eingegeben werden kann. So kann der Benutzer vorteilhafterweise selbst bestimmen, ob mehr Wert auf eine hohe Bildqualität oder eine geringe Latenzzeit gelegt werden soll.Optimally, the latency, ie the time between the detection of the position value and the display of the updated image representation based thereon, is about 10 ms. For example, the predetermined time interval with the first predetermined threshold as the upper limit and the second predetermined threshold as the lower limit may be 9 ms to 15 ms. However, the latency is also influenced by other variables, for example by the performance of the image generation device itself. The predetermined limit values can therefore also be predetermined, for example, as a function of the performance of the image generation device. For example, the time interval for a low-performance imaging device may be e.g. Example, be given as 14 ms to 20 ms and the time interval for an imaging device with very high performance than 7 ms-10 ms. It would also be conceivable that the image-generating device itself determines its performance, for example by reading out a value characterizing the performance from a memory and determining the time interval or at least the upper first limit value as a function of the read-out value. A further variant would also be that an upper first limit value can be entered by a user in the image generating device. Thus, the user can advantageously determine for himself whether more value should be placed on high image quality or low latency.

Des Weiteren kann der Bilderzeugungseinrichtung anfänglich ein Anfangsparameterwertsatz vorgegeben sein, der Anfangswerte der oben genannten Parameter bereitstellt, und welche dann geändert werden, falls eine erfasste Latenzzeit den vorbestimmten ersten Grenzwert überschreitet und/oder den vorbestimmten zweiten Grenzwert unterschreitet. Dabei kann der Anfangsparameterwertsatz auch in Abhängigkeit einer ermittelten Leistungsfähigkeit der Bilderzeugungseinrichtung vorgegeben sein bzw. von der Bilderzeugungseinrichtung selbst vorgegeben werden.Furthermore, the image generating device may initially be provided with an initial parameter value set which provides initial values of the abovementioned parameters and which are then changed if a detected latency exceeds the predetermined first limit value and / or falls below the predetermined second limit value. In this case, the initial parameter value set can also be predefined as a function of a determined performance of the image generation device or can be specified by the image generation device itself.

Die erfindungsgemäße Bilderzeugungseinrichtung zum Bereitstellen von Bilddaten an eine am Kopf tragbare Anzeigeeinrichtung ist dazu ausgelegt, zumindest einen Positionswert einer Anzeigeeinrichtung, der mit der Position der Anzeigeeinrichtung korreliert ist, zu empfangen, Bilddaten zumindest auf Basis des zumindest einen empfangenen Positionswerts zu aktualisieren und die aktualisierten Bilddaten an die Anzeigeeinrichtung zu senden. Dabei ist die Bilderzeugungseinrichtung weiterhin dazu ausgelegt, zu überprüfen, ob eine aktuell erfasste Latenzzeit, welche zumindest eine Zeitdauer für das Aktualisieren der Bilddaten auf Basis des zumindest einen erfassten Positionswerts umfasst, größer ist als ein vorbestimmter Grenzwert, und falls die Latenzzeit größer ist als der vorbestimmte Grenzwert, einen Parameterwert zumindest eines Parameters, der mit der Qualität einer Bilddarstellung korreliert ist, zu ändern. Weiterhin ist die Bilderzeugungseinrichtung dazu ausgelegt, ein Empfangen des zumindest einen Positionswerts, ein Aktualisieren der Bilddaten, und ein Senden der aktualisierten Bilddaten mit zumindest einer ersten Wiederholrate zu wiederholen und ein Überprüfen, ob eine aktuell erfasste Latenzzeit größer ist als ein vorbestimmter Grenzwert und ein Ändern des Parameterwerts, falls die Latenzzeit größer ist als der vorbestimmte Grenzwert, mit zumindest einer zweiten Wiederholrate zu wiederholen, wobei die Bilderzeugungseinrichtung dazu ausgelegt ist, für den Fall, dass der Parameterwert des zumindest einen Parameters geändert wird, den geänderten Parameterwert bei einer darauffolgenden Wiederholung des Aktualisierens beim Aktualisieren der Bilddaten zu berücksichtigen Die für das erfindungsgemäße Verfahren genannten Ausgestaltungen, Merkmale, Merkmalskombinationen und deren Vorteile gelten in gleicher Weise für die erfindungsgemäße Bilderzeugungseinrichtung. Darüber hinaus ermöglichen die für das erfindungsgemäße Verfahren und seine Ausgestaltungen genannten Verfahrensschritte die Weiterbildung der erfindungsgemäßen Bilderzeugungseinrichtung durch weitere gegenständliche Merkmale.The image generation device according to the invention for providing image data to a head-mounted display device is designed to receive at least one position value of a display device correlated with the position of the display device, to update image data based at least on the received position value and the updated image data to send to the display device. In this case, the image generating device is further configured to check whether a currently detected latency, which comprises at least a time duration for updating the image data on the basis of the at least one detected position value, is greater than a predetermined limit value, and if Latency is greater than the predetermined limit to change a parameter value of at least one parameter that is correlated with the quality of an image representation. Furthermore, the image generator is configured to repeat receiving the at least one position value, updating the image data, and sending the updated image data at at least a first repetition rate, and checking whether a currently detected latency is greater than a predetermined threshold and changing the parameter value, if the latency is greater than the predetermined threshold, to repeat with at least a second repetition rate, wherein the image generating means is adapted, in the case that the parameter value of the at least one parameter is changed, the changed parameter value in a subsequent repetition of the Updating to take into account when updating the image data The embodiments, features, feature combinations and their advantages mentioned for the method according to the invention apply in the same way to the image generation device according to the invention. In addition, the method steps mentioned for the method according to the invention and its embodiments make it possible to further develop the image-generating device according to the invention by further physical features.

Weiterhin kann die erfindungsgemäße Bilderzeugungseinrichtung auch Teil eines Systems mit einer am Kopf tragbaren Anzeigeeinrichtung sein.Furthermore, the imaging device according to the invention may also be part of a system with a head-mounted display device.

Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezug auf die Zeichnung näher beschrieben.Hereinafter, preferred embodiments of the invention will be described with reference to the drawings.

Dabei zeigt die einzige Figur eine schematische Darstellung eines Ablaufdiagramms zur Veranschaulichung eines Verfahrens zum Anzeigen von Bilddaten mittels einer am Kopf tragbaren Anzeigeeinrichtung gemäß einem Ausführungsbeispiel der Erfindung. Die zur Erzeugung eines Bildes durch die Bilderzeugungseinrichtung erforderlichen Bilddaten können dabei in der Bilderzeugungseinrichtung, z. B. in Form einer vorgegebenen Szene, abgelegt sein. Diese Bilddaten werden dann in Abhängigkeit von der Bewegung der am Kopf tragbaren Anzeigeeinrichtung permanent durch die Bilderzeugungseinrichtung aktualisiert und an die am Kopf tragbare Anzeigeeinrichtung übermittelt.The single FIGURE shows a schematic representation of a flowchart for illustrating a method for displaying image data by means of a head-mounted display device according to an embodiment of the invention. The image data required for the generation of an image by the image generation device can be stored in the image generation device, e.g. B. in the form of a given scene, stored. This image data is then continuously updated by the imaging device in response to movement of the head-portable display device and transmitted to the head-mounted display device.

Zur Aktualisierung der Bilddaten wird dabei zunächst in Schritt S10 zumindest ein Positionswert der Anzeigeeinrichtung, der mit der Position der Anzeigeeinrichtung korreliert ist, durch die Anzeigeeinrichtung erfasst. Beispielsweise kann dabei ein Ort, eine Geschwindigkeit und/oder eine Beschleunigung der Anzeigeeinrichtung mittels Sensoren der Anzeigeeinrichtung erfasst werden. Eine translatorische und/oder rotatorische Kopfbewegung eines Benutzers kann so beim Tragen der Anzeigeeinrichtung erfasst, und im nächsten Schritt S12, in dem die Bilddaten durch die Bilderzeugungseinrichtung zumindest auf Basis des zumindest einen aktuell erfassten Positionswerts aktualisiert werden, in eine äquivalente translatorische und/oder rotatorische Änderung der Perspektive des darzustellenden, aus den Bilddaten zu erzeugenden Bildes umgesetzt werden. In die Aktualisierung der Bilddaten gehen dabei neben dem Positionswert der Anzeigeeinrichtung noch weitere Parameterwerte von Parametern ein, die mit der Qualität der Bilddarstellung korreliert sind, und die später näher beschrieben werden. Im Anschluss an Schritt S12 werden in Schritt S14 die aktualisierten Bilddaten an die Anzeigeeinrichtung übermittelt, die diese in Schritt S16 als aktuelle Bilddarstellung, z. B. auf einem Display bei der Ausbildung der Anzeigeeinrichtung als HMD oder auf einer transparenten Projektionsfläche bei einer Ausbildung der Anzeigeeinrichtung als HUD, darstellt.For updating the image data, at least one position value of the display device, which is correlated with the position of the display device, is first detected by the display device in step S10. For example, a location, a speed and / or an acceleration of the display device can be detected by means of sensors of the display device. A translational and / or rotational head movement of a user can thus be detected when carrying the display device, and in the next step S12, in which the image data is updated by the image generation device based on the at least one currently detected position value, into an equivalent translational and / or rotational Change the perspective of the image to be displayed, to be generated from the image data image to be implemented. In addition to the position value of the display device, further parameter values of parameters, which are correlated with the quality of the image representation, are included in the updating of the image data and will be described in more detail later. Subsequent to step S12, the updated image data are transmitted to the display device in step S14, which in step S16 transmits them as a current image representation, for B. on a display in the formation of the display device as HMD or on a transparent projection surface in an embodiment of the display device as HUD represents.

Während des Durchlaufens dieser Schritte S10 bis S16 wird die Latenzzeit Δt, welche zumindest die Zeitdauer für das Aktualisieren der Bilddaten auf Basis des zumindest einen erfassten Positionswerts umfasst, in Schritt S18 ermittelt. Diese Latenzzeit Δt kann dabei von der Bilderzeugungseinrichtung oder der am Kopf tragbaren Anzeigeeinrichtung ermittelt werden. Beispielsweise kann die Latenzzeit Δt als die Zeit, die zur Aktualisierung der Bilddaten und Bilderzeugung durch die Bilderzeugungseinrichtung in Schritt S12 erforderlich ist, definiert sein, denn diese Zeitdauer ist maßgeblich für die Verzögerung zwischen dem Erfassen des Positionswert der Anzeigeeinrichtung und der Darstellung des aktualisierten Bildes auf der Anzeigeeinrichtung. Diese Zeitspanne kann einfach von der Bilderzeugungseinrichtung selbst ermittelt werden. Die Latenzzeit Δt kann aber auch als die gesamte Zeitspanne zwischen dem Erfassen des Positionswerts in Schritt S10 und dem Anzeigen der aktualisierten Bilddarstellung in Schritt S14 definiert sein. Diese Zeitspanne kann dann auf einfache Weise durch die Anzeigeeinrichtung selbst ermittelt werden und der Bilderzeugungseinrichtung bereitgestellt werden. Optimalerweise sollte die Latenzzeit Δt, insbesondere die Zeit zwischen dem Erfassen des Positionswerts der Anzeigeeinrichtung und der aktualisierten Bilddarstellung, bei oder unter 10 ms liegen, um für einen Benutzer eine nicht wahrnehmbare Verzögerung zu gewährleisten. Um dies zu bewerkstelligen, können nun durch die Bilderzeugungseinrichtung Parameterwerte von Parametern variiert werden, so dass sich die Latenzzeit Δt bei Bedarf vorteilhafterweise reduzieren lässt.During the passage of these steps S10 to S16, the latency Δt, which includes at least the time period for updating the image data based on the at least one detected position value, is determined in step S18. This latency Δt can be determined by the image generating device or the head-mounted display device. For example, the latency Δt may be defined as the time required to update the image data and image generation by the imaging device in step S12, since this period of time is critical to the delay between detecting the position value of the display device and displaying the updated image the display device. This period of time can easily be determined by the imaging device itself. However, the latency Δt may also be defined as the total time span between the detection of the position value in step S10 and the display of the updated image representation in step S14. This period of time can then be easily determined by the display device itself and the image generating device can be provided. Optimally, the latency .DELTA.t, in particular the time between the detection of the position value of the display device and the updated image representation, should be at or below 10 ms in order to ensure a non-perceptible delay for a user. In order to accomplish this, parameter values of parameters can now be varied by the image generation device, so that the latency Δt can advantageously be reduced if necessary.

Ein Parameter kann dabei die Gesamtauflösung der Bilddarstellung sein. Durch eine Reduzierung der Gesamtauflösung lässt sich auch die Latenzzeit Δt verringern. Ein weiterer Parameter kann beispielsweise die Polygonanzahl sein, die zumindest ein Objekt der Bilddarstellung bzw. der Szene umfasst. Durch eine Verringerung der Polygonanzahl lässt sich die Latenzzeit Δt ebenfalls reduzieren. Des Weiteren kann ein weiterer Parameter die Ausführung einer Funktion eines Shaders und/oder Effekt-Filters der Bilderzeugungseinrichtung darstellen. Durch eine Deaktivierung einer oder mehrer Shader und/oder Effekt-Filter kann ebenfalls eine Reduzierung der Latenzzeit Δt bewirkt werden. Darüber hinaus kann auch die Texturqualität der Textur, die auf zumindest ein Objekt der Szene abgebildet wird, einen weiteren Parameter darstellen. Auch durch die Reduzierung der Texturqualität durch eine Reduzierung der Auflösung der Textur kann eine Reduzierung der Latenzzeit Δt erzielt werden. Somit stehen viele Möglichkeiten bereit, die Latenzzeit Δt zu reduzieren, falls diese einen zu großen Wert annehmen sollte.One parameter may be the overall resolution of the image representation. Reducing the overall resolution also reduces the latency Δt. Another parameter may be, for example, the number of polygons that comprises at least one object of the image representation or of the scene. By reducing the number of polygons, the latency Δt can also be reduced. Furthermore, another parameter may represent the performance of a function of a shader and / or effect filter of the imaging device. By deactivating one or more shaders and / or effect filters, it is likewise possible to bring about a reduction of the latency Δt. In addition, the texture quality of the texture imaged on at least one object of the scene may also represent another parameter. Also by reducing the texture quality by reducing the resolution of the texture, a reduction of the latency Δt can be achieved. Thus, there are many ways to reduce the latency Δt should it take too large a value.

Dazu überprüft die Bilderzeugungseinrichtung im Schritt S20, ob die in Schritt S18 ermittelte Latenzzeit Δt einen vorgegebenen oberen Grenzwert t_G überschreitet. Falls dem so ist, wird in Schritt S22a zumindest ein Parameterwert einer der oben genannten Parameter geändert. Liefert die Überprüfung in Schritt S20, dass die ermittelte Latenzzeit Δt den vorgegebenen oberen Grenzwert t_G nicht überschritten hat, so werden die aktuellen Parameterwerte der Parameter beibehalten, was durch den Schritt S22b veranschaulicht werden soll.For this purpose, the image generating device checks in step S20 whether the latency Δt determined in step S18 exceeds a predetermined upper limit value t _G. If so, at least one parameter value of one of the above-mentioned parameters is changed in step S22a. If the check in step S20 indicates that the determined latency Δt has not exceeded the predetermined upper limit value t _G , the current parameter values of the parameters are retained, which is to be illustrated by step S22b.

Dabei kann der Bilderzeugungseinrichtung anfänglich ein Anfangsparameterwertsatz vorgegeben sein, veranschaulicht durch den Schritt S24, der Anfangswerte der oben genannten Parameter bereitstellt, und welche dann nur geändert werden, falls in Schritt S20 festgestellt wird, dass die erfasste Latenzzeit Δt größer ist als ein vorbestimmter erster Grenzwert t_G. Zusätzlich kann auch noch ein zweiter unterer Grenzwert vorbestimmt sein, so dass in Schritt S20 überprüft wird, ob die erfasste Latenzzeit Δt in dem durch den ersten vorbestimmten Grenzwert t_G und den zweiten vorbestimmte Grenzwert festgelegten Intervall liegt. Falls dem so ist, werden die Parameterwerte in Schritt S22b beibehalten und falls dem nicht so ist, wird zumindest ein Parameterwert in Schritt S22a geändert. Überschreitet die Latenzzeit Δt den oberen Grenzwert t_G, so werden die Parameterwerte, z. B. nach einer vorbestimmten Vorschrift, insbesondere mehrere gleichzeitig, oder auch in einer vorbestimmten Reihenfolge nacheinander bei einem mehrmaligen Durchlaufen des Schrittes 22a derart geändert, dass sich die Latenzzeit Δt verkürzt. Wird beispielsweise festgestellt, dass die Latenzzeit Δt den vorgegebenen zweiten Grenzwert unterschreitet, so werden die Parameter derart geändert, dass sich die Latenzzeit Δt verlängert.In this case, the image generating device may initially be provided with an initial parameter value set, illustrated by step S24, which provides initial values of the above parameters and which are then only changed if it is determined in step S20 that the detected latency Δt is greater than a predetermined first limit value t _G. In addition, a second lower limit value may also be predetermined, so that it is checked in step S20 whether the detected latency Δt lies in the interval defined by the first predetermined limit value t _G and the second predetermined limit value. If so, the parameter values are maintained in step S22b, and if not, at least one parameter value is changed in step S22a. If the latency Δt exceeds the upper limit value t _G , the parameter values, e.g. B. after a predetermined rule, in particular several simultaneously, or in a predetermined order successively in a repeated passage through the step 22a changed such that the latency .DELTA.t shortened. For example, if it is determined that the latency .DELTA.t falls below the predetermined second threshold, the parameters are changed so that the latency .DELTA.t extended.

Die geänderten Parameterwerte gehen dann im darauffolgenden, wiederholten Schritt S12 der Aktualisierung der Bilddaten auf Basis des in Schritt S10 erneut aktuell ermittelten Positionswerts ein. Insbesondere werden die Schritte S10, S12, S14 und S16 fortwährend wiederholt. Während jeder dieser Wiederholungen wird, wie beschrieben, die aktuelle Latenzzeit Δt in Schritt S18 erfasst, in Schritt S20 überprüft, ob diese zumindest den vorgegebenen ersten Grenzwert t_G überschreitet, und falls dem so ist, werden die Parameterwerte in Schritt S22a geändert, und falls dem nicht so ist, diese in Schritt S22b beibehalten, usw.. Auf diese Weise kann der Detaillierungsgrad und die Qualität der Bilddarstellung dynamisch in Abhängigkeit von den erfassten Latenzzeiten Δt geregelt werden, so dass jederzeit gewährleistet ist, dass die Bildqualität so optimal wie möglich ist und die Latenzzeit Δt einen vorgegebenen Grenzwert t_G nicht überschreitet.The changed parameter values are then entered in the subsequent, repeated step S12 of updating the image data on the basis of the position value newly determined currently in step S10. Specifically, steps S10, S12, S14 and S16 are continuously repeated. During each of these repetitions, as described, the current latency Δt is detected in step S18, it is checked in step S20 if it exceeds at least the predetermined first threshold t _G , and if so, the parameter values are changed in step S22a, and if In this way, the degree of detail and the quality of the image representation can be controlled dynamically as a function of the detected latencies .DELTA.t, so that it is ensured at all times that the image quality is as optimal as possible and the latency Δt does not exceed a predetermined limit value t _G.

Claims

A method for displaying image data by means of a head-mounted display device, in which image data is transmitted to the head-portable display device by an image generation device (S14) and the display device displays the image data (S16) with the steps: a) detecting at least one position value of the display device which is correlated with the position of the display device (S10); b) updating the image data by the image generation device based at least on the at least one currently detected position value (S12); c) providing the updated image data to the display device (S14); and d) displaying the updated image data by the display device as current image representation (S16); characterized by the steps of: e) detecting a latency (Δt) (S18) comprising at least a period of time for updating (S12) the image data based on the at least one detected position value; and f) if the currently detected latency (Δt) is greater than a first predetermined threshold (t _G ), changing a parameter value of at least one parameter (S22a) correlated with the quality of the imaging, wherein steps a) to d) be repeated with at least a first repetition rate and the steps e) and f) are repeated with at least a second repetition rate, wherein in the case that in step f) the parameter value of the at least one parameter is changed, the changed parameter value in a subsequent repetition of Steps a) to d) in step b) when updating the image data by the image generating device is taken into account.

A method according to claim 1, characterized in that in step b) the image data in dependence of a plurality of parameter values wherein each parameter value is associated with at least one parameter of a plurality of parameters comprising the at least one parameter, which are correlated with the quality of the image representation.

Method according to one of the preceding claims, characterized in that, in step f), as the parameter value of the at least one parameter, a value of a resolution of the image representation of the image data is reduced by the image generation device.

Method according to one of the preceding claims, characterized in that in step f) at least one embodiment of a function of a shader and / or filter of the image generation device is deactivated as the parameter value of the at least one parameter.

Method according to one of the preceding claims, characterized in that, in step f), as the parameter value of the at least one parameter, a number of polygons comprising at least one object of the image representation is reduced by the image generation device.

Method according to one of the preceding claims, characterized in that in step f), as the parameter value of the at least one parameter, a texture quality of at least one object of the image representation by the image generation device is reduced.

Method according to one of the preceding claims, characterized in that the parameter value of the at least one parameter is repeatedly changed by a predetermined value (S22a) until the currently detected latency (Δt) is less than or equal to the first predetermined limit value (t _G ).

A method according to claim 7, characterized in that the predetermined value in dependence of a deviation of the currently detected latency (At) from the first predetermined limit (t _G ) is predetermined.

Method according to one of the preceding claims, characterized in that the parameter value of the at least one parameter is maintained (S22b) as long as the detected latency (Δt) in a predetermined time interval with the first predetermined limit (t _G ) as the upper limit and a second predetermined Limit is lower limit.

A method according to claim 9, characterized in that, if the detected latency (Δt) is less than the second predetermined threshold, the parameter value of the at least one parameter is repeatedly changed by a second predetermined value (S22a) until the detected latency (Δt) is predetermined Time interval is.

An image generator for providing image data to a head-mounted display, wherein the image generator is configured to receive at least one position value of a display correlated with the position of the display, to update image data based at least on the at least one received position value, and to send updated image data to the display device, characterized in that the image generation device is adapted to check whether a currently detected latency (At) comprising at least one time duration for updating the image data based on the at least one detected position value increases is as a predetermined threshold (t _G ), and if the latency (Δt) is greater than the predetermined threshold (t _G ) to change a parameter value of at least one parameter correlated with the quality of an image representation means is arranged to repeat receiving the at least one position value, updating the image data, and sending the updated image data at at least a first repetition rate, and checking whether a currently detected latency (Δt) is greater than a predetermined threshold (t _G ) and changing the parameter value if the latency (Δt) is greater than the predetermined threshold (t _G ) to repeat with at least a second repetition rate, wherein the image generating means is adapted, in case the parameter value of the at least one Parameters is changed to take into account the changed parameter value in a subsequent repetition of updating when updating the image data.