DE102007028654A1

DE102007028654A1 - Method for ergonomic representation of spatial depth of objects in virtual environments, involves presenting view of object to observer in form of overlapping images for each eye of observer by stereoscopic projection system

Info

Publication number: DE102007028654A1
Application number: DE102007028654A
Authority: DE
Inventors: Dietmar Dr. Gude; Michael Prof. Dr. Stark; Christian Bräuning
Original assignee: INST ARBEITSPHYSIOLOGIE AN DER; Institut fur Arbeitsphysiologie An Der Universitat Dortmund; Fachhochschule Dortmund
Current assignee: INST ARBEITSPHYSIOLOGIE AN DER; Institut fur Arbeitsphysiologie An Der Universitat Dortmund; Fachhochschule Dortmund
Priority date: 2007-06-19
Filing date: 2007-06-19
Publication date: 2009-01-15

Abstract

The method involves presenting a view of an object to an observer in the form of overlapping images for each eye (3,4) of the observer by a stereoscopic projection system. A spatial image of the object is produced with a spatial depth impression, which is aligned permanently on changing viewing conditions. The convergence distance (7) is changed, such that the intersection point of convergence and accommodation of the eye corresponds. An independent claim is also included for a device for ergonomic representation of a spatial depth of objects in virtual environments.

Description

Die Erfindung betrifft eine Vorrichtung und Verfahren zur ergonomischen Darstellung der räumlichen Tiefe von Objekten in virtuellen Umgebungen gemäß Oberbegriff des Anspruches 1 bzw. des Anspruches 19.The The invention relates to an ergonomic device and method Representation of the spatial depth of objects in virtual Environments according to the preamble of claim 1 or claim 19.

Im Bereich der virtuellen Realität werden stereoskopische Projektionstechniken eingesetzt, um dem Betrachter einen Tiefeneindruck (sog. depth perception) zu vermitteln, ähnlich wie beim 3D-Fernsehen. Der Unterschied zum 3D-Fernsehen besteht darin, dass der Anwender sich in Echtzeit in der virtuellen Umgebung bewegen kann, also die Möglichkeit hat, sie aus beliebigen Perspektiven zu betrachten.in the Area of virtual reality become stereoscopic Projection techniques used to give the viewer a sense of depth (so-called depth perception), similar to the 3D television. The difference to 3D television is that the user moves in real time in the virtual environment can, so has the opportunity to view them from any perspective consider.

Das Konzept derartiger stereoskopischer Projektionssysteme besteht in der Regel darin, dass zur Simulation der realen Betrachtungsbedingungen zwei Ansichten zur Verfügung gestellt werden, die eine für das linke und die andere für das rechte Auge des Betrachters. Diese beiden Ansichten werden gleichzeitig bzw. schnell abwechselnd und räumlich versetzt zueinander auf einer Projektionsfläche oder auf einem Bildschirm dargestellt und jedem der beiden Augen des Betrachters mit geeigneten Mitteln nur jeweils eines der beiden überlagerten Bilder zugänglich gemacht. Dies kann beispielsweise mit Polarisationsbrillen, über sog. Shutterbrillen oder dgl. erfolgen und ist grundsätzlich bekannt. Hierdurch ist es möglich, dreidimensionale Darstellungen zu erzeugen, bei denen auch ein entsprechender Tiefeneindruck der dargestellten Objekte möglich ist.The Concept of such stereoscopic projection systems consists in the rule is that to simulate the real viewing conditions two Views are provided that have a for the left and the other for the right eye of the beholder. These two views become simultaneously or rapidly alternating and spatially offset from each other on a projection screen or on a screen and each of the two eyes the observer with appropriate means only one of the two superimposed Pictures made accessible. This can be done with, for example Polarization glasses, so-called. Shutter glasses or the like and is basically known. This makes it possible To produce three-dimensional representations in which a corresponding Depth impression of the presented objects is possible.

Die Qualität des Tiefeneindrucks hängt dabei von verschiedenen Parametern der Projektion ab. So sind dabei der Abstand von rechtem und linkem Auge, die sog. Parallaxe, und die Konvergenzdistanz zu berücksichtigen. Bislang werden diese Parameter pauschal mit konstanten Werten vorbelegt, was allerdings zur Folge hat, dass unter bestimmten Betrachtungsbedingungen Verzerrungen auftreten, durch die beim Anwender Fehlwahrnehmungen bis hin zu Sehbeschwerden verursacht werden. Zudem kann der Tiefeneindruck vollständig zusammenbrechen: Nähert man sich z. B. einem in der virtuellen Umgebung dargestellten Objekt, wird man ab einem gewissen Abstand zunächst zu schielen beginnen und schließlich nur noch ein Doppelbild wahrnehmen.The The quality of the depth impression depends on different ones Parameters of the projection. So are the distance from the right and the left eye, the so-called parallax, and the convergence distance. So far, these parameters are preset to a constant value, which, however, has the consequence that under certain viewing conditions Distortions occur through the user's misperceptions to be caused by visual problems. In addition, the depth impression can completely collapse: If you approach z. As an object represented in the virtual environment, one becomes Start squinting at a certain distance and finally only perceive a double image.

Hauptsächlicher Grund für diese Probleme ist, dass bei der Erzeugung der jeweiligen sich überlagernden Ansichten keine Informationen über die jeweils vorliegenden realen Betrachtungsbedingungen vorhanden sind, weshalb man sich mit einer Reihe von Annahmen behilft, deren grundsätzliche geometrische Darstellung in der 1 noch einmal aufskizziert ist.The main reason for these problems is that there is no information about the present real viewing conditions when creating the respective superimposing views, which is why one makes use of a number of assumptions whose basic geometric representation in the 1 is sketched again.

Grundannahme ist dabei, dass der Betrachter eine in der 1 dargestellte, konstante, zentrierte Position einnimmt, wobei er seine Augen parallel zur Projektionsfläche 2 ausrichtet. Dabei wird der reale Pupillenabstand 5 durch den technischen Parameter „Parallaxe" 6 repräsentiert. Hierfür wird bei bekannten Projektionen der virtuellen Realität bislang ein konstanter Wert angenommen, obwohl er interindividuell variiert ( DIN 33402-2, 2005 ). Mit dem technischen Parameter „Konvergenzdistanz" 7 werden die realen physikalischen Bedingungen bei der Betrachtung von Objekten 1 repräsentiert. In einer realen Situation wird ein Objekt 1 im Raum mit den Augen 3, 4 entlang der sich im Bereich des Objektes 1 schneidenden Sehstrahlen 10 fixiert und deren Linsensysteme durch Akkommodation auf dieses Objekt 1 scharf gestellt. Damit entspricht der Fixationspunkt 20 der Augen 3, 4 unter diesen Bedingungen dem Punkt des schärfsten Sehens, wobei Fixationsdistanz 8 und Akkommo dationsdistanz 9 übereinstimmen. Analog zur Parallaxe 6 wird bei herkömmlichen Projektionsmethoden auch für die Konvergenzdistanz 7 ein konstanter Wert angenommen, der in der Regel von der Fixationsdistanz 8 und Akkommodationsdistanz 9 abweicht. Erschwerend kommt hinzu, dass bei flächigen Projektionssystemen eine Entkopplung von Fixation und Akkommodation erfolgt. Einerseits akkommodiert der Betrachter auf die Reizquelle, die Projektionsfläche 2. Andererseits werden Objekte 1 so projiziert, dass sie sich für den Betrachter vor oder hinter dieser Projektionsfläche 2 zu befinden scheinen, so dass der Fixationspunkt 20 in der Regel entsprechend variiert. Insofern kann ein einzelner konstanter Parameter „Konvergenzdistanz" 7 diesen Bedingungen nicht gerecht werden. Weiterhin ist zu berücksichtigen, dass sich der Betrachter vor der Projektionsfläche 2 bewegt, wobei Kopf- und Körperbewegungen zu zusätzlichen Translationen und Rotationen der Augen 3, 4 führen.Basic assumption is that the viewer is one in the 1 represented, constant, centered position, with his eyes parallel to the projection surface 2 aligns. At the same time, the real pupil distance becomes 5 through the technical parameter "parallax" 6 represents. For this purpose, in known projections of virtual reality, a constant value has hitherto been assumed, although it varies in an interindividual manner ( DIN 33402-2, 2005 ). With the technical parameter "Convergence distance" 7 Be the real physical conditions when viewing objects 1 represents. In a real situation becomes an object 1 in the room with the eyes 3 . 4 along the area of the object 1 cutting visual rays 10 fixed and their lens systems by accommodation on this object 1 in focus. This corresponds to the fixation point 20 the eyes 3 . 4 under these conditions the point of sharpest vision, being fixation distance 8th and Akkommo dationsdistanz 9 to match. Analogous to parallax 6 In conventional projection methods, this also applies to the convergence distance 7 A constant value is assumed, usually from the fixation distance 8th and accommodation distance 9 differs. To make matters worse, in the case of planar projection systems, a decoupling of fixation and accommodation takes place. On the one hand, the viewer accommodates to the source of stimulation, the projection surface 2 , On the other hand, objects become 1 so projected that they are facing the viewer in front of or behind this projection screen 2 seem to be located, so the fixation point 20 usually varies accordingly. In this respect, a single constant parameter "convergence distance" 7 do not live up to these conditions. Furthermore, it should be noted that the viewer in front of the screen 2 Moves, with head and body movements to additional translations and rotations of the eyes 3 . 4 to lead.

Insgesamt machen die skizzierten Aspekte deutlich, dass stereoskopische Projektionssysteme nach dem Stand der Technik nur eine sehr grobe Annäherung an die Betrachtungsbedingungen von realen Objekten darstellen. Wahrnehmungsbeeinträchtigungen bis hin zur Ausbildung von Doppelbildern führen bei zahlreichen Anwendern zur Ermüdung der Augen sowie Kopfschmerzen und Übelkeit. Dies dürfte ein Grund für die immer noch geringe Akzeptanz von solchen Systemen sein, insbesondere im Hinblick auf eine zeitlich ausgedehntere, etwa mehrstündige Nutzung.All in all The outlined aspects make it clear that stereoscopic projection systems are after The prior art only a very rough approximation represent the viewing conditions of real objects. cognitive impairments to the formation of double images lead to numerous Eye fatigue and headache and nausea. This may be a reason for the still low Acceptance of such systems, especially with regard to a time-extended, about several hours of use.

Ansätze zur Lösung derartiger Probleme bei 3D-Projektionen sind aus der GB 2 354 389 A und US 6 798 406 B1 bekannt für den Bereich der 3D-Fotografie. Hier wird der Ansatz verfolgt, die Wiedergabe zu optimieren, indem die erwarteten Betrachtungsbedingungen bereits bei der Aufnahme nach einem speziellen Verfahren berücksichtigt werden. Dieser Ansatz ist jedoch für den Bereich der virtuellen Realität ungeeignet. Definitionsgemäß enthält jede Anwendung der virtuellen Realität interaktive Elemente, z. B. die Navigation des Betrachters in der virtuellen Umgebung. Insofern sind Anwendungen der virtuellen Realität dadurch charakterisiert, dass die Betrachtungsbedingungen in nicht vorhersehbarer Weise variieren und daher diese verschiedenen Interaktionen bei der Anfertigung der Bilder nach dem genannten Stand der Technik auch nicht berücksichtigt werden können.Approaches to solve such problems in 3D projections are from the GB 2 354 389 A and US Pat. No. 6,798,406 B1 known for the field of 3D photography. Here the approach is pursued to optimize the reproduction by taking into account the expected viewing conditions already at the admission after a special procedure. This Approach, however, is inappropriate for the realm of virtual reality. By definition, each virtual reality application includes interactive elements, e.g. B. the navigation of the viewer in the virtual environment. Insofar applications of virtual reality are characterized in that the viewing conditions vary in an unpredictable manner and therefore these various interactions in the preparation of images according to the cited prior art can not be considered.

Dreidimensionale Projektionssysteme sind schon seit längerem bekannt. Hierbei existieren sog. blickabhängige (gaze contingent) Projektionssysteme, die in einer Übersicht von Jaimes, A. und Sebe, N., Multimodal human computer interaction: a survey, IEEE International Workshop an Human Computer Interaction in conjunction with ICCV, 2005 , Beijing, China ausführlich dargestellt sind. Die in diesem Bereich verfolgten Ansätze zielen aber primär darauf ab, die dargestellten Inhalte mit willentlichen Blickbewegungen zu verknüpfen, indem beispielsweise Programme durch Betrachtung von virtuellen Schaltflächen gesteuert werden (so etwa auch in der US 5 859 642 ).Three-dimensional projection systems have been known for some time. There are so-called gaze contingent projection systems, which are presented in an overview of Jaimes, A. and Sebe, N., Multimodal Human Computer Interaction: A Survey, IEEE International Workshop on Human Computer Interaction in Conjunction with ICCV, 2005 , Beijing, China are detailed. However, the approaches pursued in this area are primarily aimed at associating the contents presented with deliberate eye movements, for example by controlling programs by viewing virtual buttons (as in the case of US 5,859,642 ).

In der Veröffentlichung von Ware, C., Gobrecht, C., und Paton, M. A., Dynamic adjustment of stereo display parameters, IEEE Transactions an Systems, Man and Cybernetics – Part A: Systems and Humans, 28, 56–65 aus dem Jahr 1998 wird ein anderes Verfahren zur dynamischen Anpassung von Parametern einer stereoskopischen Darstellung skizziert wird. In diesem Ansatz wird vorgeschlagen, einen Parameter der stereoskopischen Projektion zu variieren, allerdings ohne dabei auf die jeweiligen anwenderseitigen Betrachtungsbedingungen Bezug zu nehmen. Statt dessen orientiert sich dieses Verfahren einzig an dem jeweils dargestellten Ausschnitt der virtuellen Umgebung. Deshalb ist die Wirksamkeit dieses Ansatzes bereits aufgrund von theoretischen Überlegungen in Zweifel zu ziehen.In the publication of Ware, C., Gobrecht, C., and Paton, MA, Dynamic adjustment of stereo display parameters, IEEE Transactions on Systems, Man and Cybernetics - Part A: Systems and Humans, 28, 56-65, 1998 another method for dynamically adjusting parameters of a stereoscopic view is outlined. In this approach, it is proposed to vary a parameter of the stereoscopic projection, but without referring to the respective user viewing conditions. Instead, this method is based solely on the respectively represented section of the virtual environment. Therefore, the effectiveness of this approach is already in doubt due to theoretical considerations.

Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung gattungsgemäßer Art derart weiter zu entwickeln, dass der Tiefeneindruck von dreidimensional projizierten Objekten über einen weiten Bereich erhalten bleibt und die visuelle Beanspruchung des Anwenders verringert wird.task The present invention is therefore a method and a Device generic type so on to develop that the depth impression of three-dimensional projected Objects are preserved over a wide range and the visual stress of the user is reduced.

Die Lösung der erfindungsgemäßen Aufgabe ergibt sich hinsichtlich des Verfahrens aus den kennzeichnenden Merkmalen des Anspruches 1 und hinsichtlich der Vorrichtung aus den kennzeichnenden Merkmalen des Anspruches 19 in Zusammenwirken mit den Merkmalen des zugehörigen Oberbegriffes. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.The Solution of the problem of the invention arises in terms of the method of the characterizing Features of claim 1 and in terms of the device the characterizing features of claim 19 in cooperation with the characteristics of the associated generic term. Further advantageous embodiments of the invention will become apparent from the Dependent claims.

Die Erfindung hinsichtlich des Verfahrens gemäß Anspruch 1 geht aus von einem Verfahren zur ergonomischen Darstellung der räumlichen Tiefe von Objekten in virtuellen Umgebungen, bei dem die Ansicht des mindestens einen Objektes mittels eines stereoskopischen Projektionssystems mindestens einem Betrachter in Form sich überlagernder Bilder für jedes Auge des Betrachters dargeboten wird. Ein derartiges Verfahren wird dadurch weiter entwickelt, dass mittels einer Erkennungseinrichtung mindestens ein Auge des Betrachters laufend überwacht wird, um Informationen über die jeweils aktuellen realen Betrachtungsbedingungen, insbesondere die Blickrichtung und/oder den Pupillenabstand und/oder die Lage der Augen des Betrachters oder daraus abgeleitete Werte zu gewinnen, wobei mit diesen Informationen über die Betrachtungsbedingungen in Echtzeit die technischen Parameter der Projektion, insbesondere die Parallaxe und/oder die Konvergenzdistanz der sich für den Betrachter überlagernden Bilder des Objektes in einer Auswerteeinheit automatisch derart beeinflusst werden, dass sich ein räumliches Bild des Objektes mit einem räumlichen Tiefeneindruck ergibt, der permanent auf sich ändernde Betrachtungsbedingungen abgestimmt ist. Die Erfindung beruht auf dem Prinzip der sensorgestützt dynamischen und automatischen und in Echtzeit erfolgenden Anpassung der Projektion der sich überlagernden Bilder an die wechselnden Betrachtungsbedingungen, die sich aus den verschiedenen erfassten Werten des mindestens einen Auges des Betrachters ableiten lassen. Hierbei werden die Parameter der Projektion vornehmlich aufgrund von unwillkürlichen Blickbewegungen des Anwenders optimiert, so dass sie unter den jeweiligen Betrachtungsbedingungen ergonomischen Anforderungen genügt. Hierdurch können durch eine fortlaufende Registrierung der Betrachtungsbedingungen des oder der Augen des Betrachters und eine entsprechende Anpassung der Projektion in Echtzeit die vorstehend genannten Probleme beseitigt bzw. verringert werden. Zur Erfassung der Blickrichtung und/oder des Pupillenabstandes und/oder der Lage der Augen des Betrachters eignen sich beispielsweise Geräte zur Erfassung von Augen- und Blickbewegungen, wobei zu berücksichtigen ist, dass solche Geräte in sogenannten autostereoskopischen Projektionssystemen aus anderen Gründen bereits integriert sein können. Aufgrund der Daten eines solchen Geräts kann beispielsweise die Parallaxe an den realen Pupillenabstand des Betrachters angepasst werden. Durch die Erfassung der Augen- bzw. Blickdaten des Beobachters kann dann in einer denkbaren Ausgestaltung die Projektion laufend und in Echtzeit z. B. so verändert werden, dass das jeweils betrachtete Objekt für den Betrachter entweder im Bereich der Projektionsebene des stereoskopischen Projektionssystems oder im Bereich zwischen Fixationsdistanz und Akkomodationsdistanz der Augen für das Objekt angeordnet zu sein scheint und damit für den Betrachter eine ergonomisch gut erfassbare räumliche Darstellung des Objektes mit einem räumlichen Tiefeneindruck erzielbar ist. Die Anordnung der räumlichen Darstellung des Objektes entweder im Bereich der Projektionsebene des stereoskopischen Projektionssystems oder im Bereich zwischen Fixationsdistanz und Akkomodationsdistanz der Augen kann dabei wahlweise und ggf. auch abhängig von den Aufgaben gewählt werden, die in der in virtuellen Umgebung gelöst werden sollen. Auch ist es denkbar, dass verschiedene Betrachter je nach Vorliebe bzw. subjektivem Empfinden sich aus den verschiedenen möglichen und sinnvollen Projektionsparametern die jeweils für sie als günstig empfundenen Parameter aussuchen bzw. einstellen.The invention in terms of the method according to claim 1 is based on a method for the ergonomic representation of the spatial depth of objects in virtual environments, wherein the view of the at least one object by means of a stereoscopic projection system at least one observer in the form of superimposed images for each eye of the viewer is presented. Such a method is further developed by continuously monitoring at least one eye of the observer by means of a recognition device in order to obtain information about the current real viewing conditions, in particular the viewing direction and / or the pupil distance and / or the position of the viewer's eyes or the viewer's eyes Obtaining values, with this information about the viewing conditions in real time, the technical parameters of the projection, in particular the parallax and / or the convergence distance of the superimposed for the viewer images of the object in an evaluation are automatically influenced in such a way that a spatial image of the Object with a spatial depth impression results, which is permanently tuned to changing viewing conditions. The invention is based on the principle of sensor-based dynamic and automatic real-time adaptation of the projection of the overlapping images to the changing viewing conditions, which can be derived from the various acquired values of the at least one eye of the observer. Here, the parameters of the projection are optimized primarily due to involuntary eye movements of the user, so that they meet ergonomic requirements under the respective viewing conditions. As a result, by continuously registering the viewing conditions of the viewer's eye (s) and correspondingly adjusting the projection in real time, the aforementioned problems can be eliminated or reduced. For detecting the viewing direction and / or the pupil distance and / or the position of the eyes of the observer are, for example, devices for detecting eye and eye movements, taking into account that such devices in so-called autostereoscopic projection systems for other reasons may already be integrated. On the basis of the data of such a device, for example, the parallax can be adapted to the real pupil distance of the observer. By capturing the eye or gaze data of the observer can then in a conceivable embodiment, the projection continuously and in real time z. B. be changed so that the respective object considered to be arranged for the viewer either in the region of the projection plane of the stereoscopic projection system or in the area between fixation distance and accommodation distance of the eyes for the object and thus an ergo for the viewer a geographically well-perceived spatial representation of the object with a spatial depth impression can be achieved. The arrangement of the spatial representation of the object, either in the region of the projection plane of the stereoscopic projection system or in the area between fixation distance and accommodation distance of the eyes, can optionally and optionally also be selected depending on the tasks that are to be solved in the virtual environment. It is also conceivable that different viewers, depending on their preference or subjective perception, choose from the various possible and sensible projection parameters for the parameters that they each perceive as favorable.

Für die Anpassung der Konvergenzdistanz gibt es verschiedene Methoden, von denen im Folgenden die beiden bevorzugt genannten Methoden beschrieben werden. Dabei wird der Fall betrachtet, dass ein Objekt vor der Projektionsfläche dargestellt wird, für Objekte hinter der Projektionsfläche sind die genannten Methoden in analoger Weise anzuwenden.For the adaptation of the convergence distance there are different methods of which the two preferred methods are described below become. The case is considered that an object before Projection surface is displayed for objects behind the projection surface are the mentioned methods apply in an analogous manner.

In einer ersten Ausgestaltung können die Parameter der Projektion der sich für den Betrachter überlagernden Bilder des Objektes derart in Echtzeit verändert werden, dass die Konvergenzdistanz an die aus den Informationen über die jeweils aktuelle Blickrichtung und/oder den Pupillenabstand und/oder die Lage der Augen des Betrachters ermittelte Akkomodationsdistanz des Betrachters angeglichen wird. Hierbei kann in weiterer Ausgestaltung die vom Betrachter wahrgenommene Darstellung des Objektes auf der Projektionsfläche des stereoskopischen Projektionssystems zu liegen kommen. Die Parameter der Projektion werden dabei nach dem Erkennen, dass der Betrachter ein Objekt anschaut, so adjustiert, dass sich das gerade betrachtete Objekt auf der Ebene des Bildschirms zu befinden scheint. Damit können Akkomodations- und Fixationsprozesse des Auges synchronisiert erfolgen, wie dies auch unter realen Wahrnehmungsbedingungen der Fall ist. Dieses Prinzip erfordert die Registrierung der Blickrichtung durch die Erkennungseinrichtung. Eine Eigenschaft dieser Ausgestaltung ist es, dass Objekte vor oder hinter der Projektionsebene auf die Projektionsebene scheinbar springen, wenn sie von dem Betrachter direkt betrachtet werden, und wieder in die ursprüngliche Raumtiefe zurückspringen, wenn das Auge des Betrachters andere Objekte fokussiert. Dahingegen ist die Art der Belastung des Auges günstig, da die Akkomodations- und Fixationsprozesse des Au ges synchronisiert und damit wie in realen Umgebungen erfolgen. Von Vorteil ist es hierbei, wenn die Konvergenzdistanz derart verändert wird, dass die Schnittpunkte von Konvergenz und Akkomodation der Augen im wesentlichen übereinstimmen, wozu es schon ausreichen kann, allein die Blickrichtung der Augen des Betrachters durch die Erkennungseinrichtung zu erfassen.In In a first embodiment, the parameters of the projection the images superimposed on the viewer of the object are changed in real time such that the distance of convergence from the information about the respective current viewing direction and / or the pupil distance and / or the location of the eyes of the viewer determined accommodation distance the viewer is equalized. Here, in a further embodiment the viewer perceived representation of the object on the Projection surface of the stereoscopic projection system to come to rest. The parameters of the projection become smaller recognizing that the viewer is looking at an object, adjusted, that the currently viewed object is at the level of the screen seems to be. This can be accommodation and fixation processes synchronized with the eye, as well as under real conditions of perception the case is. This principle requires the registration of the viewing direction through the recognition device. A feature of this embodiment is that objects in front of or behind the projection plane on the Projection level seems to jump when viewed from the viewer be considered directly, and returned to the original Room depth spring back when the eye of the beholder focused on other objects. On the other hand is the nature of the burden favorable to the eye, since the accommodation and fixation processes synchronized to the outside and thus done as in real environments. It is advantageous here if the convergence distance changes in such a way is that the intersections of convergence and accommodation of the Eyes essentially match what it is already sufficient can alone, the line of sight of the eyes of the beholder through the Detect detection device.

In einer anderen vorteilhaften Ausgestaltung ist es denkbar, dass die Parameter der Projektion der sich für den Betrachter überlagernden Bilder des Objektes derart in Echtzeit verändert werden, dass die Konvergenzdistanz an die aus den Informationen über die jeweils aktuelle Blickrichtung und/oder den Pupillenabstand und/oder die Lage der Augen des Betrachters ermittelten Fixationsdistanz des Betrachters angeglichen wird. Die Parameter der Projektion werden dabei nach dem Erkennen, dass der Betrachter ein Objekt anschaut, bei dieser Ausgestaltung so adjustiert, dass das gerade betrachtete Objekt im Konvergenzpunkt zu liegen scheint und damit vor oder hinter der Projektionsfläche des stereoskopischen Projektionssystems zu liegen kommt. Dieses Prinzip geht nicht davon aus, dass die Fixation immer auf der Projektionsebene erfolgt, der Fixationspunkt kann auch davor oder dahinter liegen. Dieses Prinzip erfordert die Registrierung der Blickrichtung durch die Erkennungseinrichtung. Auf diese Weise werden Sprünge von Objekten vermieden, allerdings sind dann auch Akkomodation und Fixation nicht mehr unter allen Bedingungen synchronisiert. Denkbar ist es hierbei in einer ersten weiteren Ausgestaltung, dass die Konvergenzdistanz derart verändert wird, dass die Schnittpunkte von Konvergenz und Fixation des Auges im wesentlichen übereinstimmen. In einer anderen Ausgestaltung kann aber auch die Konvergenzdistanz derart verändert werden, dass die Konvergenzdistanz aus einem Zwischenwert aus der jeweiligen Fixationsdistanz und der Akkomodationsdistanz, vorzugsweise aus dem Mittelwert, gebildet wird.In In another advantageous embodiment, it is conceivable that the Parameters of the projection of the superimposed for the viewer Images of the object are changed in real time, that the convergence distance to that from the information about the respective current viewing direction and / or the pupil distance and / or the location of the eyes of the observer determined fixation distance the viewer is equalized. The parameters of the projection will be after recognizing that the viewer is looking at an object, adjusted in this embodiment so that the currently considered Object seems to lie in the convergence point and thus before or behind the projection surface of the stereoscopic projection system to come to rest. This principle does not assume that the fixation always done on the projection plane, the fixation point can also in front of or behind it. This principle requires registration the viewing direction through the detection device. In this way Jumps of objects are avoided, but then are also accommodation and fixation no longer in all conditions synchronized. It is conceivable here in a first another Embodiment that changes the convergence distance so That will be the intersections of convergence and fixation of the eye essentially match. In another embodiment but also the convergence distance can be changed in such a way that the convergence distance from an intermediate value of the respective Fixation distance and the accommodation distance, preferably from the mean, is formed.

Beiden vorteilhaften Ausgestaltungen ist gemeinsam, dass auf diese Weise zuverlässig die Ausbildung eines Doppelbildes für das jeweils gerade betrachtete Objekt verhindert wird, die als wichtigste Quelle visueller Beanspruchung bei der Nutzung stereoskopischer Projektionssysteme gelten. Die der Anpassung der technischen Parameter an die realen Betrachtungsbedingungen zugrundeliegende Methode kann dabei wahlweise und ggf. auch abhängig von den Aufgaben gewählt werden, die in der virtuellen Umgebung gelöst werden sollen. Auch ist es denkbar, dass verschie dene Betrachter je nach Vorliebe bzw. subjektivem Empfinden sich aus den verschiedenen möglichen und sinnvollen Methoden die jeweils für sie als günstig empfundene aussuchen bzw. einstellen.Both advantageous embodiments is common that in this way reliable the formation of a double image for the currently viewed object is prevented, the main source visual stress when using stereoscopic projection systems be valid. The adaptation of the technical parameters to the real viewing conditions underlying method can be optional and possibly also dependent be chosen from the tasks that exist in the virtual environment to be solved. It is also conceivable that various Viewers depending on their preference or subjective feeling the various possible and meaningful methods the each for them as favorably chosen search or adjust.

In einer bevorzugten Weise wird die Anordnung der beiden Bilder für jedes Auges des Betrachters derart zueinander verschoben, dass sich in Abhängigkeit von dem betrachteten Objekt für den Betrachter entweder auf der Projektionsebene des stereoskopischen Projektionssystems oder im Bereich zwischen Fixationsdistanz und Akkomodationsdistanz der Augen ein räumliches Abbild des Objektes ergibt. Abhängig von den erfassten Augen- und Blickdaten des Betrachters werden im einfachsten Fall dann die beiden sich überlagernden Bilder vorzugsweise horizontal bzw. parallel zur Verbindungslinie der beiden Augenmittelpunkte des Betrachters aufeinander zu oder voneinander weg verschoben und damit die Art der Überlagerung in den Augen des Betrachters in dem vorstehend genannten Sinne beeinflusst.In a preferred manner, the arrangement of the two images for each eye of the observer is shifted relative to each other so that depending on the object under consideration for the viewer either on the projection plane of the stereoscopic projection system or in the area between fixation distance and Akkomodationsdis dance of the eyes gives a spatial image of the object. Depending on the detected eye and eye data of the viewer in the simplest case, the two superimposed images preferably horizontally or parallel to the connecting line of the two eye centers of the viewer towards each other or moved away from each other and thus the nature of the superposition in the eyes of the beholder in influenced the aforementioned sense.

Von großer Bedeutung ist es bei dem erfindungsgemäßen Verfahren, dass die Erkennungseinrichtung laufend die jeweils aktuelle Blickrichtung und/oder den Pupillenabstand und/oder die Lage der Augen des Betrachters erfasst und in Echtzeit an die Auswerteeinheit weiterleitet, damit die Auswerteeinheit möglichst synchron zu den Augenbewegungen des Betrachters die entsprechenden Parameter der Projektion der beiden sich überlagernden Bilder verändern kann.From it is of great importance in the invention Method that the detection device continuously the current Viewing direction and / or the distance between the pupils and / or the position of the eyes recorded by the viewer and forwarded in real time to the evaluation unit, so that the evaluation as synchronous as possible to the eye movements of the Viewer the corresponding parameters of the projection of the two Overlapping images can change.

Es ist allerdings auch denkbar, dass die Erkennungseinrichtung die jeweils aktuelle Blickrichtung und/oder den Pupillenabstand und/oder die Lage der Augen von mehr als einem Betrachter erfasst, die sich z. B. gleichzeitig vor einer großflächigen Projektionseinrichtung befinden und die gleiche oder auch unterschiedliche Objekte beobachten können. Hierdurch kann für jeden Betrachter einzeln festgestellt werden, welches Objekt er gerade anschaut und wie die Projektion dieses Objektes für diesen Betrachter geändert werden muss, um eine im vorstehenden Sinne ergonomisch optimierte Darstellung des Objektes zu erzeugen. Damit können dann nach der getrennten Erfassung folgerichtig von dem stereoskopischen Projektionssystem für jeden der Betrachter angepasste Bilder der jeweils betrachteten Objekte dargestellt werden, die vorzugsweise zeitversetzt, vorzugsweise mittels Zeitmultiplex gestaffelt darstellt werden und somit jeder Betrachter die für ihn gedachten sich überlagernden Bilder zu sehen bekommt.It However, it is also conceivable that the detection device the each current viewing direction and / or the pupil distance and / or The location of the eyes is captured by more than one viewer who is z. B. simultaneously in front of a large-area projection device and observe the same or different objects can. This allows for each viewer individually be determined, which object he is currently watching and how the Projection of this object changed for this viewer must be in order to ergonomically optimized in the above sense To create a representation of the object. With that you can after the separate detection logically from the stereoscopic Projection system for each of the viewer adapted images the respectively considered objects are displayed, preferably delayed, preferably staggered by time division and thus every viewer thinks of him gets to see overlapping pictures.

Vorteilhaft ist es hierbei, wenn die Auswerteeinheit die in Echtzeit von der Erkennungseinrichtung laufend erfassten Informationen über die jeweils aktuelle Blickrichtung und/oder den Pupillenabstand und/oder die Lage der Augen des Betrachters auf Veränderungen überwacht und beim Auftreten von Veränderungen die Parameter der Projektion der sich für den Betrachter überlagernden Bilder des Objektes in Echtzeit an die geänderten Informationen über die Augen des Betrachters anpasst. Damit ist gewährleistet, dass mit vertretbarem Aufwand nach dem Erkennen von Veränderungen eine synchrone Veränderung der Projektion des Objektes erfolgt und der räumliche Eindruck für den Betrachter erhalten bleibt und dauerhaft ergonomisch optimiert erfasst werden kann.Advantageous In this case, it is when the evaluation unit receives the data in real time from the Recognition device continuously acquired information about the respective current viewing direction and / or the pupil distance and / or the situation of the eyes of the observer is monitored for changes and when changes occur the parameters of Projection of the overlaying for the viewer Images of the object in real time to the changed information about the Adjusts the eyes of the beholder. This ensures that that with reasonable effort after detecting changes a synchronous change of the projection of the object takes place and the spatial impression for the viewer is maintained and permanently recorded ergonomically optimized can.

Die Erfindung umfasst ebenfalls gemäß Anspruch 19 eine Vorrichtung zur ergonomischen Darstellung der räumlichen Tiefe von Objekten in virtuellen Umgebungen, bei dem die Ansicht des mindestens einen Objektes mittels eines stereoskopischen Projektionssystems mindestens einem Betrachter in Form sich überlagernder Bilder für jedes Auge des Betrachters dargeboten wird. Hierbei wird eine derartige Vorrichtung dadurch ausgestaltet, dass im Bereich des stereoskopischen Projektionssystems eine Erkennungseinrichtung angeordnet ist, die Informationen über die jeweils aktuelle Blickrichtung und/oder den Pupillenabstand und/oder die Lage von mindestens einem der Augen des Betrachters oder daraus abgeleitete Werte erfasst und an eine Auswerteeinheit zur Beeinflussung der Parameter der Projektion der sich für den Betrachter überlagernden Bilder des Objektes weiterleitet, und die Auswerteeinheit die Parameter der Projektion derart verändert und das stereoskopische Projektionssystem in Echtzeit derart ansteuert und die technischen Parameter der Projektion, insbesondere die Parallaxe und/oder die Konvergenzdistanz, der sich für den Betrachter überlagernden Bilder des Objektes derart ändert, dass sich für den Betrachter ein räumliches Bild des Objektes mit einem räumlichen Tiefeneindruck ergibt, der permanent auf sich ändernde Betrachtungsbedingungen abgestimmt ist.The Invention also according to claim 19 a device for ergonomic representation of spatial Depth of objects in virtual environments where the view of the at least one object by means of a stereoscopic projection system at least one observer in the form of superimposed ones Pictures are presented for each eye of the beholder. In this case, such a device is configured in that in the area of the stereoscopic projection system, a recognition device is arranged, the information about the current Viewing direction and / or the distance between the pupils and / or the position of at least one of the observer's eyes or derived from it Values are recorded and sent to an evaluation unit for influencing the Parameters of the projection of the superimposed for the viewer Images of the object forwards, and the evaluation unit the parameters the projection changed so much and the stereoscopic Projection system in such a way controls and the technical Parameters of the projection, in particular the parallax and / or the Distance of convergence, which overlap for the viewer Images of the object changes so that for the viewer a spatial image of the object with a spatial depth impression results, the permanently changing Viewing conditions is tuned.

Besonders vorteilhaft ist es wenn, die Erkennungseinrichtung ein Gerät zur Erfassung der Augenbewegungen und/oder der Blickbewegungen, insbesondere ein Eye-Tracking-System aufweist, das als an sich handelsübliches Gerät einfach und relativ kostengünstig zu beschaffen ist und hinsichtlich seiner Funktion sicher die Erfassung der Augenbewegungen erlaubt. Da derartige Eye-Tracking-Systeme an sich bekannt sind, soll hierauf nicht weiter eingegangen werden.Especially it is advantageous if the detection device is a device for detecting eye movements and / or eye movements, in particular has an eye-tracking system that is commercially available Device easy and relatively inexpensive to procure is and in terms of its function certainly the detection of eye movements allowed. Since such eye-tracking systems are known per se, should not be discussed further.

Weiterhin sollte die Erkennungseinrichtung im Bereich der Projektionsebene oder zwischen der Projektionsebene des stereoskopischen Projektionssystems und dem Betrachter derart angeordnet und ausgerichtet sein, dass die Erkennungseinrichtung die Augen des Betrachters laufend überwachen kann. Hierzu kann die Erkennungseinrichtung beispielsweise an der Projektionsebene des stereoskopischen Projektionssystems fest angeordnet und auf die Augen des Betrachters ausgerichtet sein.Farther The detection device should be in the area of the projection plane or between the projection plane of the stereoscopic projection system and the viewer so arranged and aligned that the recognition device can continuously monitor the eyes of the observer. For this purpose, the detection device, for example, at the projection level of the stereoscopic projection system and fixed to the Be aligned with the eyes of the beholder.

Es ist aber ebenfalls denkbar, dass die Erkennungseinrichtung im direkten Umfeld der Augen des Betrachters angeordnet, vorzugsweise in ein im direkten Umfeld der Augen des Betrachters angeordnetes Projektionssystem integriert ist. Derartige im direkten Umfeld der Augen des Betrachters angeordnete Projektionssysteme sind beispielsweise sog. Head-Mountes-Displays, die etwa in einer Brille integriert oder an einer Kopfhalterung befestigt sein können und sich in der Regel in unmittelbarer Nähe vor dem oder den Augen befinden. Damit decken diese Head-Mounted-Displays das normale Gesichtsfeld des Betrachters ab und eignen sich auch zur Anordnung einer entsprechenden Erkennungseinrichtung.However, it is also conceivable that the detection device is arranged in the immediate vicinity of the eyes of the observer, preferably integrated into a projection system arranged in the direct surroundings of the eyes of the observer. Such projection systems arranged in the direct surroundings of the eyes of the observer are, for example, so-called head-mount displays, which may be integrated in a pair of glasses or attached to a head mount usually in close proximity to your eyes or eyes. Thus, these head-mounted displays cover the normal field of view of the observer and are also suitable for the arrangement of a corresponding detection device.

Es ist weiterhin denkbar, dass das stereoskopische Projektionssystem eine großflächige Darstellungseinrichtung für die Bilder des Objektes oder auch wie schon vorstehend beschrieben eine im direkten Umfeld der Augen des Betrachters angeordnete Projektionseinrichtung, vorzugsweise eine getrennte Projektionseinrichtung für jedes Augen des Betrachters aufweist. Großflächige stereoskopische Projektionssysteme können bevorzugt auch mit einer Shutterbrille verwendet werden.It It is also conceivable that the stereoscopic projection system a large-scale display device for the images of the object or as already described above a projection device arranged in the direct surroundings of the eyes of the observer, preferably a separate projection device for has every eye of the beholder. large-scale Stereoscopic projection systems may also be preferred be used with a shutter glasses.

Eine besonders bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens bzw. der erfindungsgemäßen Vorrichtung zeigt die Zeichnung.A particularly preferred embodiment of the invention Method or the device according to the invention shows the drawing.

Es zeigen:It demonstrate:

1 – eine Darstellung der geometrischen und optischen Einflussgrößen auf die stereoskopische Projektion, 1 A representation of the geometrical and optical influencing variables on the stereoscopic projection,

2 – eine Darstellung der geometrischen und optischen Einflussgrößen auf die stereoskopische Projektion bei der Anpassung der Konvergenzdistanz an die Akkomodationsdistanz, 2 A representation of the geometrical and optical influencing variables on the stereoscopic projection in the adaptation of the convergence distance to the accommodation distance,

3 – eine Darstellung der geometrischen und optischen Einflussgrößen auf die stereoskopische Projektion bei der Anpassung der Konvergenzdistanz an die Fixationsdistanz, 3 A representation of the geometrical and optical influencing variables on the stereoscopic projection in the adaptation of the convergence distance to the fixation distance,

4 – ein schematische Darstellung des prinzipiellen Aufbaus einer erfindungsgemäßen Vorrichtung. 4 - A schematic representation of the basic structure of a device according to the invention.

In 2 sind die geometrischen und optischen Einflussgrößen auf die stereoskopische Projektion bei der Anpassung der Konvergenzdistanz 7 an die Akkomodationsdistanz 9 dargestellt, auf der Grundlage der Messwerte der Erkennungseinrichtung 15. Ausgangspunkt ist dabei die Situation, dass die Konvergenzdistanz 7 von der Akkommodationsdistanz 9 so weit abweicht, dass das betrachtete Objekt 13 als dicht vor den Augen 3, 4 und deshalb als Doppelbild wahrgenommen wird. Durch Vergrößerung der Konvergenzdistanz 7 wird nun die räumliche Lage der Darstellungen 14' für das rechte und das linke Auge 3, 4 auf der Projektionsfläche 2 durch Verschiebung entlang der Pfeile 12 zur Deckung gebracht, so dass die Schnittpunkte von Konvergenz und Akkomodation übereinstimmen und das räumliche Bild 13 des Objektes 1 entsteht. Die sich kreuzenden Sehstrahlen 10 schneiden sich dann nach der Verschiebung in den Sehstrahlen 10' auf der Projektionsfläche. Subjektiv bewegen sich die beiden Darstellungen 13 analog auf die Projektionsfläche 2 zu und können dort schließlich zu einer dreidimensionalen Bild 13 fusioniert werden. Auf diese Weise ist also die angepasste Darstellung von Objekten 1 möglich, wobei allerdings das jeweils betrachtete Objekt 1 immer auf der Ebene der Projektionsfläche 2 erscheint.In 2 are the geometrical and optical factors influencing the stereoscopic projection in the adaptation of the convergence distance 7 to the accommodation distance 9 represented on the basis of the measured values of the recognition device 15 , The starting point is the situation that the convergence distance 7 from the accommodation distance 9 differs so far that the considered object 13 as close to the eyes 3 . 4 and therefore perceived as a double image. By increasing the convergence distance 7 now becomes the spatial position of the representations 14 ' for the right and the left eye 3 . 4 on the projection screen 2 by shifting along the arrows 12 so that the intersections of convergence and accommodation match and the spatial image 13 of the object 1 arises. The intersecting visual rays 10 then intersect after the shift in the visual rays 10 ' on the projection screen. Subjectively, the two representations move 13 analogous to the projection screen 2 and finally there can become a three-dimensional image 13 be merged. In this way, so is the customized representation of objects 1 possible, although the respective object considered 1 always at the level of the screen 2 appears.

In 3 ist der Fall dargestellt, dass aufgrund der Messwerte der Erkennungseinrichtung 15 die Konvergenzdistanz 7 an die Fixationsdistanz 8 angepasst wird. Ausgangspunkt ist dabei die Situation, dass die Konvergenzdistanz 7 von der Fixationsdistanz 8 so weit abweicht, dass das betrachtete Objekt 1 als dicht vor den Augen und deshalb als Doppelbild wahrgenommen wird. Durch Vergrößerung der Konvergenzdistanz 7 zur Konvergenzdistanz 7' wird nun die räumliche Lage der Darstellungen 14 für das rechte und das linke Auge 3, 4 auf der Projektionsfläche 2 soweit an geglichen, dass die Schnittpunkte von Konvergenz und Fixation übereinstimmen. Die beiden Darstellungen 13 können schließlich in einem Bereich vor der Projektionsfläche 2 zu einer dreidimensionalen Bild 13' fusioniert werden. Auf diese Weise ist also auch die angepasste Darstellung von Objekten 1 vor und hinter der Projektionsfläche 2 möglich.In 3 the case is shown that due to the measured values of the detection device 15 the convergence distance 7 to the fixation distance 8th is adjusted. The starting point is the situation that the convergence distance 7 from the fixation distance 8th differs so far that the considered object 1 as close to the eyes and therefore perceived as a double image. By increasing the convergence distance 7 to the convergence distance 7 ' now becomes the spatial position of the representations 14 for the right and the left eye 3 . 4 on the projection screen 2 as far as consistent that the intersections of convergence and fixation match. The two representations 13 Finally, in an area in front of the screen 2 to a three-dimensional picture 13 ' be merged. In this way, so too is the customized representation of objects 1 in front of and behind the projection screen 2 possible.

In beiden betrachteten Situationen gemäß 2 und 3 besteht aber weiterhin eine Fehlanpassung, im ersten Fall an die Fixationsdistanz 8, im zweiten an die Akkommodationsdistanz 9. Welches der genannten oder auch anderen Prinzipien zur Korrektur der Projektionsparameter vorzuziehen ist, hängt nicht unwesentlich vom subjektiven Empfinden des Betrachters ab. Dabei ist auch zu prüfen, ob eine kompromisshafte Einstellung der Konvergenzdistanz 7, etwa auf den Mittelwert von Fixationsdistanz 8 und Akkomodationsdistanz 9, zu einer Minimierung der psychischen Beanspruchung des Betrachters führt.In both considered situations according to 2 and 3 However, there is still a mismatch, in the first case to the fixation distance 8th , in the second to the accommodation distance 9 , Which of the above or other principles for the correction of the projection parameters is preferable depends not insignificantly on the subjective feeling of the viewer. It should also be considered whether there is a compromise setting of the convergence distance 7 , about the mean of fixation distance 8th and accommodation distance 9 , leads to a minimization of the mental stress of the viewer.

Abschließend sei festgestellt, dass durch eine fortlaufende Registrierung der Betrachtungsbedingungen in analoger Weise auch Probleme der idealisierten, konstanten und zentrierten, Position des Betrachters behoben werden können. Solche statischen Zwangshaltungen sind unter ergonomischen Gesichtspunkten unbedingt zu vermeiden, so dass zusätzlich ein Beitrag zur Verringerung der physischen Beanspruchung geleistet werden kann.Finally It should be noted that by a continuous registration of the Viewing conditions in an analogous way also problems of the idealized, constant and centered, position of the observer can be corrected can. Such static compulsions are from an ergonomic point of view necessarily to avoid, so that in addition a contribution to reduce physical strain.

In der 4 ist in einer sehr schematischen Darstellung der prinzipielle Aufbau einer erfindungsgemäßen Vorrichtung dargestellt, die bei der Betrachtung eines Objektes 1 durch die beiden Augen 3, 4 eines Betrachters entsteht. Hierbei wird ein Bild des Objektes 1 auf einer Projektionseinrichtung 16 in vorstehend beschriebener Weise erzeugt, wobei gleichzeitig eine etwa als Eye-Tracking-System ausgebildete Erkennungseinrichtung 15 die Bewegungen der Augen 3, 4 in Bezug auf die jeweils aktuelle Blickrichtung 10 und/oder den Pupillenabstand 5 und/oder die Lage der Augen 3, 4 überwacht. Diese Informationen 18 werden zu einer Auswerteeinheit 17 übertragen, die zum einen ermittelt, welches Objekt 1 der virtuellen Umgebung der Betrachter gerade fixiert und daraus eine Anpassung der Parameter der Projektion der beiden sich überlagernden Bilder 14 vornimmt, die den linken und dem rechten Auge 3, 4 des Betrachters jeweils getrennt zu sehen gegeben werden. Diese geän derten Parameter werden dann als Steuersignale 19 der Projektionseinrichtung 16 übermittelt.In the 4 is shown in a very schematic representation of the basic structure of a device according to the invention, when viewing an object 1 through the two eyes 3 . 4 a viewer arises. This will be a picture of the object 1 on a projection device 16 generated in the manner described above, while at the same time as an eye-tracking system formed identification device 15 the movements of the eyes 3 . 4 in relation to the current direction of view 10 and / or the pupil distance 5 and / or the location of the eyes 3 . 4 supervised. This information 18 become an evaluation unit 17 which, on the one hand, determines which object 1 the virtual environment of the viewer just fixed and from this an adaptation of the parameters of the projection of the two superimposed images 14 makes the left and the right eye 3 . 4 be given separately to see the viewer. These changed parameters are then used as control signals 19 the projection device 16 transmitted.

Vorstehend beschrieben ist eine solche blickabhängige Variation der Darstellungsparameter, bei der die Projektion auf eine einzelne Person abgestimmt wird. In der beschriebenen Form eignet sich das Verfahren also für individuell ausgerichtete Projektionssysteme, wie dies z. B. die meisten autostereoskopischen Bildschirme sind. Aber auch für auf mehrere Personen ausgerichtete Systeme sind analoge technische Lösungen möglich, indem das Eye-Tracking-System mehrere Augenpaare 3, 4 gleichzeitig verfolgt und die jeweils angepasste Projektion durch Zeitmultiplexierung dargestellt wird. Dieses Verfahren ist z. B. bereits bei Shutter-Systemen zur Trennung der Signale für das linke und rechte Auge 3, 4 gebräuchlich.Described above is such a view-dependent variation of the display parameters, in which the projection is tuned to a single person. In the described form, the method is therefore suitable for individually oriented projection systems, as z. For example, most are autostereoscopic screens. But even for multi-person oriented systems analogue technical solutions are possible by the eye-tracking system several pairs of eyes 3 . 4 tracked simultaneously and the respective adapted projection is represented by time multiplexing. This method is z. B. already in shutter systems for separating the signals for the left and right eye 3 . 4 common.

Die Erfindung könnte hinsichtlich ihrer Anwendung als Standard-Element in stereoskopischer Projektionssysteme integriert und beispielsweise in folgenden Bereichen angewendet werden:

• Industrie (z. B. Computer Aided Design, Virtuelles Prototyping)
• Medizin (z. B. Stereoendoskopie)
• Freizeit und Unterhaltung (z. B. Computerspiele, Freizeitparks)

The invention could be integrated with respect to its application as a standard element in stereoscopic projection systems and be used, for example, in the following areas:

• Industry (eg Computer Aided Design, Virtual Prototyping)
• Medicine (eg stereo endoscopy)
• Leisure and entertainment (eg computer games, amusement parks)

11: Objektobject
22: Projektionsflächeprojection
33: linkes Augeleft eye
44: rechtes Augeright eye
55: Pupillenabstandpupillary distance
66: Parallaxeparallax
7, 7'7, 7 ': Konvergenzdistanz, unkorrigiert und korrigiertConvergence distance, uncorrected and corrected
88th: Fixationsdistanzfixation distance
99: AkkomodationsdistanzAkkomodationsdistanz
10, 10'10 10 ': Sehstrahl, unkorrigiert und korrigiertline of sight, uncorrected and corrected
1111: Verschiebung Objektbildshift object image
1212: Verschiebung Teilbildshift frame
13, 13'13 13 ': Darstellung des virtuellen Objekts, unkorrigiert und korrigiertpresentation of the virtual object, uncorrected and corrected
14, 14'14 14 ': (überlagernde) Bilder des Objekts auf der Projektionsfläche, unkorrigiert und korrigiert(Overlapping) Images of the object on the screen, uncorrected and corrected
1515: Erkennungseinrichtungrecognizer
1616: Projektionseinrichtungprojection device
1717: Auswerteeinheitevaluation
1818: Informationeninformation
1919: geänderte Parameter Projektionmodified Parameter projection
2020: Fixationspunktfixation point
2121: Konvergenzpunktpoint of convergence

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

GB 2354389 A [0008]
- US 6798406 B1 [0008]
US 5859642 [0009]

Zitierte Nicht-PatentliteraturCited non-patent literature

- DIN 33402-2, 2005 [0006]
- Jaimes, A. and Sebe, N., Multimodal Human Computer Interaction: A Survey, IEEE International Workshop on Human Computer Interaction in Connection with ICCV, 2005 [0009]
- Ware, C., Gobrecht, C., and Paton, MA, Dynamic adjustment of stereo display parameters, IEEE Transactions to Systems, Man and Cybernetics - Part A: Systems and Humans, 28, 56-65, 1998 [0010 ]

Claims

Method for the ergonomic representation of the spatial depth of objects ( 1 ) in virtual environments where the view of the at least one object ( 1 ) by means of a stereoscopic projection system ( 16 ) at least one viewer in the form of superimposed images ( 14 . 14 ' ) for each eye ( 3 . 4 ) is presented to the observer, characterized in that by means of a recognition device ( 15 ) at least one eye ( 3 . 4 ) is constantly monitored by the viewer to obtain information ( 18 ) about the respectively current real viewing conditions, in particular the viewing direction ( 10 ) and / or the pupillary distance ( 5 ) and / or the position of the eyes ( 3 . 4 ) of the observer or values derived therefrom, with this information about the viewing conditions in real time the technical parameters ( 19 ) of the projection, in particular the parallax ( 6 ) and / or the convergence distance ( 7 ), which is superimposed on the viewer ( 14 . 14 ' ) of the object ( 1 ) in an evaluation unit ( 17 ) are automatically influenced in such a way that a spatial image ( 13 ' ) of the object ( 1 ) with a spatial depth impression that is permanently tuned to changing viewing conditions.

Method according to claim 1, characterized in that the parameters ( 19 ) of the projection of the images superimposed on the viewer ( 14 . 14 ' ) of the object ( 1 ) are changed in real time such that the parallax ( 6 ) to the information ( 18 ) on the observation conditions determined pupillary distance ( 5 ) of the eyes ( 3 . 4 ) is adjusted to the viewer.

Method according to one of claims 1 or 2, characterized in that the parameters ( 19 ) of the projection of the images superimposed on the viewer ( 14 . 14 ' ) of the object ( 1 ) are changed in real time such that the convergence distance ( 7 . 7 ' ) to the information ( 18 ) about the current viewing direction ( 10 ) and / or the pupillary distance ( 5 ) and / or the position of the eyes ( 3 . 4 ) of the accommodation distance determined by the viewer ( 9 ) of the eyes ( 3 . 4 ) is adjusted to the viewer.

Method according to claim 3, characterized in that the convergence distance ( 7 . 7 ' ) is changed in such a way that the points of intersection of convergence and accommodation of the eye ( 3 . 4 ) are substantially the same.

Method according to one of claims 3 or 4, characterized in that the image perceived by the viewer ( 13 ) of the object ( 1 ) on the projection surface ( 2 ) of the stereoscopic projection system ( 16 ) comes to rest.

Method according to one of claims 3 to 5, characterized in that the recognition device ( 15 ) the viewing direction ( 10 . 10 ' ) of the eyes ( 3 . 4 ) of the viewer.

Method according to one of claims 1 or 2, characterized in that the parameters of the projection of the images superimposed on the viewer ( 14 ) of the object ( 1 ) are changed in real time such that the convergence distance ( 7 . 7 ' ) to the information from the current view ( 10 ) and / or the pupillary distance ( 5 ) and / or the position of the eyes ( 3 . 4 ) of the observer determined fixation distance ( 8th ) of the eyes ( 3 . 4 ) is adjusted to the viewer.

Method according to claim 7, characterized in that the convergence distance ( 7 . 7 ' ) is changed in such a way that the points of intersection of convergence and fixation of the eyes ( 3 . 4 ) are substantially the same.

Method according to claim 7, characterized in that the convergence distance ( 7 . 7 ' ) is changed in such a way that the convergence distance ( 7 . 7 ' ) from an intermediate value from the respective fixation distance ( 8th ) and the accommodation distance ( 9 ), preferably from the mean value.

Method according to one of claims 7 to 9, characterized in that the image perceived by the viewer ( 13 ) of the object ( 1 ) in front of or behind the projection surface ( 2 ) of the stereoscopic projection system ( 16 ) comes to rest.

Method according to one of claims 7 to 10, characterized in that the recognition device ( 15 ) the viewing direction ( 10 ) of the eyes ( 3 . 4 ) of the viewer.

Method according to one of the preceding claims, characterized in that the arrangement of the two images ( 14 ' ) for each eye ( 3 . 4 ) of the viewer is shifted relative to one another such that, depending on the object under consideration ( 1 ) for the viewer either at the projection level ( 2 ) of the stereoscopic projection system ( 16 ) or in the area between the fixation distance ( 8th ) and accommodation distance ( 9 ) of the eyes ( 3 . 4 ) a spatial image ( 13 ) of the object ( 1 ).

Method according to one of the preceding claims, characterized in that the recognition device ( 15 ) especially the involuntary movements of the eyes ( 3 . 4 ) of the viewer.

Method according to one of the preceding claims, characterized in that the recognition device ( 15 ) running the current Viewing direction ( 10 ) and / or the pupillary distance ( 5 ) and / or the position of the eyes ( 3 . 4 ) of the observer and in real time to the evaluation unit ( 17 ).

Method according to one of the preceding claims, characterized in that the recognition device ( 15 ) the current viewing direction ( 10 ) and / or the pupillary distance ( 5 ) and / or the position of the eyes ( 3 . 4 ) by more than one viewer.

Method according to claim 15, characterized in that the stereoscopic projection system ( 16 ) for each of the viewer adapted images ( 13 ' ) of the respectively considered objects ( 1 ).

Method according to claim 16, characterized in that the representation of the respective images ( 13 ) staggered for more than one observer, preferably staggered by time division.

Method according to one of the preceding claims, characterized in that the evaluation unit ( 17 ) in real time from the recognition device ( 15 ) continuously collected information ( 18 ) about the current viewing direction ( 10 ) and / or the pupillary distance ( 5 ) and / or the position of the eyes ( 3 . 4 ) monitors the changes and, when changes occur, the parameters of the projection of the images superimposed on the viewer ( 14 ' ) of the object ( 1 ) in real-time to the changed information ( 18 ) over the eyes ( 3 . 4 ) of the viewer adapts.

Device for the ergonomic representation of the spatial depth of objects ( 1 ) in virtual environments where the view of the at least one object ( 1 ) by means of a stereoscopic projection system ( 16 ) at least one viewer in the form of superimposed images ( 14 ' ) for each eye ( 3 . 4 ) is presented to the observer, characterized in that in the area of the stereoscopic projection system ( 16 ) a recognition device ( 15 ), the information ( 18 ) about the current viewing direction ( 10 ) and / or the pupillary distance ( 5 ) and / or the location of at least one of the eyes ( 3 . 4 ) of the observer or values derived therefrom and sent to an evaluation unit ( 17 ) for influencing the parameters of the projection of the images superimposed on the viewer ( 14 ' ) of the object ( 1 ), the evaluation unit ( 17 ) changed the parameters of the projection in such a way and the stereoscopic projection system ( 16 ) in real time and the technical parameters ( 19 ) of the projection, in particular the parallax ( 6 ) and / or the convergence distance ( 7 ), which is superimposed on the viewer ( 14 . 14 ' ) of the object ( 1 ) in such a way that a spatial image ( 13 ' ) of the object ( 1 ) with a spatial depth impression that is permanently tuned to changing viewing conditions.

Device according to claim 19, characterized in that the recognition device ( 15 ) has a device for detecting eye movements and / or eye movements, in particular an eye-tracking system.

Device according to one of claims 19 or 20, characterized in that the detection device ( 15 ) in the area of the projection plane ( 2 ) or between the projection plane ( 2 ) of the stereoscopic projection system ( 16 ) and the viewer is arranged and aligned in such a way that the recognition device ( 15 ) the eyes ( 3 . 4 ) of the viewer can monitor continuously.

Device according to one of claims 19 or 20, characterized in that the detection device ( 15 ) in the immediate environment of the eyes ( 3 . 4 ) of the observer, preferably in one in the immediate vicinity of the eyes ( 3 . 4 ) of the viewer arranged projection system ( 16 ) is integrated.

Device according to one of claims 19 to 22, characterized in that the stereoscopic projection system ( 16 ) a large-scale display device for the images ( 14 . 14 ' ) of the object ( 1 ) having.

Device according to one of claims 19 to 22, characterized in that the stereoscopic projection system ( 16 ) one in the immediate environment of the eyes ( 3 . 4 ) arranged projection of the viewer, vorzugswei se a separate projection device for each eye ( 3 . 4 ) of the viewer.

Device according to one of claims 19 to 24, characterized in that the stereoscopic projection system ( 16 ) can be used together with a pair of shutter glasses.

Device according to one of claims 19 to 24, characterized in that the stereoscopic projection system ( 16 ) is integrated in a head-mounted display.

Device according to one of the preceding claims, characterized in that the stereoscopic projection system ( 16 ) is integrated in an autostereoscopic screen.