DE10056291A1

DE10056291A1 - Visual display of objects in field of view for man-machine communication by acquiring information input by user using signal or pattern recognition

Info

Publication number: DE10056291A1
Application number: DE2000156291
Authority: DE
Inventors: Henry Feil
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2000-11-14
Filing date: 2000-11-14
Publication date: 2002-05-23
Also published as: WO2002041069A1

Abstract

The method involves manipulating the characteristics and/or actions of at least one displayed object using interactive control commands from a user, detected using sensors etc. The user may be able to navigate in a displayed screen. The information input by the user is acquired and processed using signal- or pattern recognition. No additional manually operable mechanical or touch-sensitive hardware devices are required for input of control commands. A virtual retinal display or head-mounted display may be used to display a virtual environment.

Description

A. Description of the general problem

Im Rahmen der Kommunikation zwischen Mensch und Maschine tre ten häufig Probleme auf, die auf der ungenügenden Anpassung der Maschine an die Eigenschaften der Aufnahme, Verarbeitung und Ausgabe von Information durch den menschlichen Anwender beruhen. Diese Fehlanpassung kann einerseits zu einer vom An wender nicht mehr zu bewältigenden Informationsflut führen, vor allem wenn mehrere Aufgaben erledigt werden müssen. Ande rerseits kann auch eine Unterforderung des Anwenders, bei spielsweise bei einer hochautomatisierten Anlage, bei der dem Menschen lediglich eine Kontrollfunktion zukommt, bewirken, dass durch die Monotonie der Arbeitssituation ein Leistungs abfall eintritt und Störfälle infolge mangelnder Übung der Vorgehensweise in solchen Situationen nicht mehr beherrscht werden. Auch die mangelnde Berücksichtigung der Kenntnisse und des Ausbildungszustands des Benutzers einer Maschine sind hier zu nennen. Das menschliche Verhalten wird, zum Beispiel bei der Auswahl, Bewertung und Verknüpfung von Information, bei der Entscheidungsfindung, beim Problemlösen sowie bei der Planung und Ausführung von Handlungen, nur unzureichend be rücksichtigt und unterstützt, wenn es sich um die Auslegung technischer Systeme handelt.As part of the communication between man and machine tre frequently encountered problems due to inadequate adjustment the machine to the characteristics of the recording, processing and output of information by the human user based. This mismatch can, on the one hand, lead to a change from no longer lead to a flood of information especially when several tasks have to be done. Ande On the other hand, the user may be under-challenged for example in a highly automated system in which People only have a control function, cause that due to the monotony of the work situation an achievement waste occurs and accidents due to lack of practice of Procedure in such situations no longer mastered become. Also the lack of consideration of the knowledge and the training status of the user of a machine to name here. Human behavior will, for example in the selection, evaluation and linking of information, in decision making, problem solving and in Planning and execution of actions, insufficient takes into account and supports when it comes to interpretation technical systems.

Für die Anpassung technischer Systeme an den Menschen ist so mit Vorwissen über seine Eigenschaften, seine Verhaltensmus ter, seine Fertigkeiten und seinen Kenntnisstand notwendig. Im Zusammenhang mit der Mensch-Maschine-Kommunikation inter essieren also seine sensorischen, kognitiven und motorischen Eigenschaften. Auf der Seite der durch die Sinneskanäle vorgegebenen sensorischen Eigenschaften des Menschen werden von herkömmlichen Maschinen und Geräten zur Ausgabe von Informa tion im Wesentlichen die folgenden Kanäle angesprochen:
For the adaptation of technical systems to people with prior knowledge of their properties, their behavior patterns, their skills and their level of knowledge is necessary. In connection with human-machine communication, its sensory, cognitive and motor properties are of interest. On the side of the sensory properties of humans predetermined by the sensory channels, conventional machines and devices for outputting information essentially address the following channels:

- the visual channel (eyes) through optical signals,
- The auditory channel (ears) through acoustic signals and
- The tactile channel (sense of touch) through haptic signals.

Nach der Verarbeitung der Signale im Gehirn (Kognition) ste hen auf der Seite der durch die Ausgabekanäle vorgegebenen motorischen Eigenschaften des Menschen im Wesentlichen fol gende Kanäle zur Verfügung:
After processing the signals in the brain (cognition), the following channels are essentially available on the side of the motor properties of humans specified by the output channels:

- The arm, hand and finger or leg and foot motor skills like this like body, head, eye or mouth movements, so phy sical movements, gestures, gestures and facial expressions for me mechanical or optical signals,
- the speech motor skills for acoustic signals.

Über diese Kanäle können Signale in ein Informationssystem eingegeben werden, um eine gewünschte Aktion des Systems aus zulösen.Signals can be sent to an information system via these channels can be entered to perform a desired system action to solve.

B. Known solution to the general problem after state of the art

Das Ziel der Entwicklung von geeigneten Schnittstellen zwi schen Mensch und Maschine ist es, von den Eigenschaften der menschlichen Kommunikationskanäle und Fertigkeiten auszuge hen, um Geräte, Interaktionstechniken und Schnittstellen be reitzustellen, die eine effektive wechselseitige Kommunika tion über diese Kanäle gewährleisten. Um dieses Ziel zu er reichen, sind sogenannte "Virtuelle Realitäten" (VR) beson ders geeignet. Unter dem Begriff "Virtuelle Realität" (VR) versteht man die computerbasierte Erzeugung einer intuitiv wahrnehmbaren oder empfindbaren Szene, bestehend aus ihrer grafischen Darstellung und den Interaktionsmöglichkeiten für den Benutzer. Eine virtuelle Umgebung ermöglicht einem Benut zer Zugriff zu Informationen, die andernfalls am gegebenen Ort oder zur gegebenen Zeit nicht verfügbar wären. Sie stützt sich auf natürliche Aspekte der menschlichen Wahrnehmung, in dem sie visuelle Information in drei räumlichen Dimensionen einsetzt. Diese Information kann beispielsweise gezielt ver ändert oder mit weiteren sensorischen Reizen angereichert werden. Wesentliche Voraussetzungen sind die Kontrolle der Perspektive in Echtzeit und die Möglichkeit der aktiven Ein flussnahme auf die dargestellte Szene durch den Benutzer des Systems.The goal of developing suitable interfaces between It is human and machine that depend on the properties of the human communication channels and skills hen to be devices, interaction techniques and interfaces to sit down, which is an effective two-way communication guarantee via these channels. To achieve this goal enough, so-called "virtual realities" (VR) are special suitable. Under the term "virtual reality" (VR) one understands the computer-based generation of an intuitive perceptible or sensitive scene consisting of their graphical representation and the interaction possibilities for the user. A virtual environment enables a user zer Access to information that otherwise would not exist on the given Location or at the time not available. It supports focus on natural aspects of human perception, in which they visual information in three spatial dimensions starts. This information can, for example, be used in a targeted manner changes or enriched with further sensory stimuli become. The essential prerequisites are the control of the Real-time perspective and the possibility of active on flow on the depicted scene by the user of the System.

Bei der Navigation durch virtuelle Umgebungen kann der Benut zer die für ihn natürliche Art der Steuerung einsetzen. Dies können beispielsweise entsprechende Arm- oder Beinbewegungen, Positionieren des Kopfes bzw. der Augen, Drehen des Körpers oder Zulaufen auf ein Objekt beinhalten. Durch den Einsatz bereits vorhandener Fertigkeiten des Benutzers zur Steuerung kann die kognitive Belastung während der Interaktion zwischen Mensch und Maschine reduziert werden. Dadurch kann die Band breite der Kommunikation zwischen Mensch und Maschine erhöht und die Bedienbarkeit der Maschine verbessert werden. Während bei den herkömmlichen Formen der Mensch-Maschine-Kommunika tion die Steuerung der Maschine kommandoorientiert erfolgt, müssen bei der Steuerung von Objekten in virtuellen Umgebun gen keine spezifischen Kommandos neu erlernt und eingesetzt werden: Der Computer "beobachtet" den Benutzer passiv und re agiert aufgrund von dessen Augen-, Kopf- und/oder Handbewe gungen etc. unter Echtzeitbedingungen in angemessener Weise.When navigating through virtual environments, the user can zer use the type of control that is natural for him. This can, for example, corresponding arm or leg movements, Position the head or eyes, turn the body or include walking towards an object. Because of the engagement existing skills of the user to control can reduce cognitive strain during the interaction between Man and machine are reduced. This allows the band increased communication between man and machine and the operability of the machine can be improved. While in the conventional forms of human-machine communication machine control is command-oriented, must be used when controlling objects in a virtual environment no specific commands have been newly learned and used become: The computer "observes" the user passively and right acts on the basis of his eye, head and / or hand movement conditions etc. under real-time conditions in an appropriate manner.

Bei den handelsüblichen VR-Applikationen unterscheidet man Systeme, bei denen der Benutzer vollständig in die virtuelle Umgebung integriert ist (engl.: "Immersion") und Systeme, die nur ein "Fenster" zur virtuellen Realität darbieten. Neben den bekannten Formen der Mensch-Maschine-Kommunikation wie
In the case of commercial VR applications, a distinction is made between systems in which the user is fully integrated in the virtual environment ("immersion") and systems that only offer a "window" to virtual reality. In addition to the well-known forms of human-machine communication such as

- Direct manipulation of objects by manual fine motor operations (pointing, touching, gripping, moving, Hold on etc.),
- formal interaction languages (programming languages, command languages and formal query languages),
- natural language interaction,
- gestural interaction using non-verbal symbolic Commands (facial expressions, gestures, gestures, movements) and
- Hybrid task-oriented forms of interaction

kann man virtuelle Realitäten auch als eine neue Form der Mensch-Maschine-Kommunikation auffassen. Wie der Name "Virtuelle Realität" schon andeutet, ist hierfür eine gewisse Realitätstreue der Darstellung notwendig: Dem Anwender soll diejenige sensorische Information dargeboten werden, die zur Bearbeitung einer Aufgabe oder zum Erreichen eines Ziels er forderlich ist.virtual realities can also be seen as a new form of Understand human-machine communication. Like the name "Virtual reality" already hints at this Reality of representation necessary: The user should that sensory information is presented that for To complete a task or to achieve a goal is required.

Die visuelle Wahrnehmung liefert nicht nur Informationen über die Lage, Bewegung, Form, Struktur, Kontur, Textur, Farbe bzw. Musterung von Objekten etc., sondern auch Informationen über die relative Körperstellung des Betrachters und dessen Bewegungen sowie über die Beschaffenheit der dreidimensiona len Umgebung. Synthetisch generierte Umgebungen können dabei realistischer gestaltet werden, wenn möglichst viele der in natürlichen Umgebungen auftretenden Informationen (Bewegungs parallaxe, Fluchtpunkte der perspektivischen Darstellung, räumliche Tiefenwirkung und Plastizität, Beleuchtung und Schattenwurf, Verdeckung, Glanzwirkung, Spiegelungseffekte und diffuse Reflexion etc.) simuliert werden. Wie viele und welche Informationen präsentiert werden sollen, hängt von der jeweiligen Aufgabenstellung ab. Die Unterschiede zwischen re aler und virtueller Welt bestimmen, als wie realistisch die Simulation wahrgenommen wird.Visual perception doesn't just provide information about the location, movement, shape, structure, contour, texture, color or patterning objects etc., but also information about the relative body position of the viewer and his Movements as well as the nature of the three-dimensional len environment. Synthetically generated environments can do this be made more realistic if as many of the in information occurring in natural environments (movement parallax, vanishing points of the perspective representation, spatial depth effect and plasticity, lighting and Cast shadows, concealment, gloss effect, reflection effects and diffuse reflection etc.) can be simulated. How many and what information should be presented depends on the respective task. The differences between re al and virtual world determine how realistic the Simulation is perceived.

Die visuelle Information muss zur Realisierung virtueller Re alitäten durch einen Computer simuliert werden. Dabei sind ähnliche Aspekte relevant wie in der Malerei. Bei der compu tergestützten Simulation dreidimensionaler Welten wird übli cherweise die Projektion einzelner Lichtstrahlen simuliert. Ausgangspunkt einer solchen Simulation ist die Spezifikation der zu simulierenden Umgebung. Dazu müssen die einzelnen Ob jekte mit ihren Eigenschaften und ihrer Lage festgelegt wer den. Zur Visualisierung werden dann die Intensitäten einzel ner Bildpunkte berechnet und auf das Ausgabemedium proji ziert.The visual information must be used to implement virtual re alities can be simulated by a computer. Are there similar aspects relevant as in painting. At the compu Supported simulation of three-dimensional worlds is becoming nasty usually simulates the projection of individual light beams. The starting point of such a simulation is the specification the environment to be simulated. To do this, the individual ob objects with their properties and their location the. The intensities are then individualized for visualization ner pixels calculated and projected on the output medium ed.

Mit Hilfe dieser Simulationen lassen sich völlig neue Arten des Lernens und Übens realisieren (Beispiele: Fahrzeug- bzw. Flugzeugsimulator), andererseits wird dabei immer auch von bestimmten Aspekten der realen Welt abstrahiert. VR-Applika tionen bewirken daher gleichzeitig eine Anreicherung und eine Einschränkung der Erfahrungsmöglichkeiten des Anwenders.With the help of these simulations, completely new species can be created of learning and practicing (examples: vehicle or Airplane simulator), on the other hand, is always used by abstracted certain aspects of the real world. VR Applika ions therefore cause both enrichment and Limitation of the user's experience.

Grundsätzlich bestehen VR-Systeme aus Sensoren und Aktoren sowie deren Kopplung. Wichtige Hardware-Bestandteile sind un ter anderem folgende:
VR systems basically consist of sensors and actuators and their coupling. Important hardware components include the following:

- "Displays" to present the virtual environment. in the Frames of visual presentation come above all today Monitors, "Head Mounted Displays" (HMD), "Binocular Omni Oriented Monitors "(BOOM) and projection systems; However, auditory or tactile displays are also respond to acoustic or manual user input ren.
- Positioning and orientation systems for recording of the location and perspective of the user. Here will distinguished between the determination of the absolute posi tion (English: "Position Tracking") and the measurement of the Beu of joints ("Angle Measurement"). For one set come electromagnetic, kinematic, acoustic, optical and image processing procedures.
- Interaction and manipulation systems for acting and re act of the user in the virtual environment. Therefor are pointing devices (2D or 3D mice, trackballs, yoy sticks etc.) or tactile devices (touchscreen, electromag graphic tablet and stylus etc.) used; also so-called "data gloves" with diffraction and pressure sensors Ren are used increasingly. Also spoke control should be mentioned in this context.
- Calculation systems and software for generating the virtual len environment under real-time requirements.
- Networks for the integration of different users, through who can develop new forms of cooperation.

Die verschiedenartigen technischen Varianten von helm- bzw. kopfbasierten Systemen zur Visualisierung virtueller Realitä ten werden im englischen Sprachgebrauch zusammenfassend als "Visually Coupled Systems" (VCS) bezeichnet. Sie bestehen aus den folgenden wichtigen Komponenten:
The various technical variants of helmet or head-based systems for the visualization of virtual realities are collectively referred to as "Visually Coupled Systems" (VCS). They consist of the following important components:

1. a display attached to the head or helmet,
2. a device for determining the head and / or gaze movement conditions of the user,
3. a source of visual information from the header and / or viewing direction of the user.

Beim Einsatz eines derartigen Systems für VR-Applikationen können sowohl Informationen aus der realen als auch aus der virtuellen Umgebung gleichzeitig dargeboten werden. Man spricht dabei von "See-Through Displays" für die Darstellung von angereicherten Realitäten.When using such a system for VR applications can both information from the real as well as from the virtual environment are presented simultaneously. you speaks of "see-through displays" for the display of enriched realities.

Zur Visualisierung sind geeignete optische Komponenten (Lin sen, halbdurchlässige Spiegel) hoher Qualität erforderlich, die ein scharf fokussiertes, vergrößertes Abbild der Bild quelle ermöglichen. Als Bildquellen kommen verschiedene Sys teme in Betracht; am häufigsten werden jedoch Kathodenstrahl röhren oder LCD-Bildschirme eingesetzt. Wünschenswert sind dabei eine hohe Auflösung und Leuchtdichte, hohe Farbsätti gung und hoher Kontrast sowie geringe Abmessungen der Bild quelle. Zur Visualisierung dreidimensionaler Objekte sind zwei derartige Bildquellen erforderlich.Suitable optical components (Lin high quality semi-transparent mirrors), which is a sharply focused, enlarged image of the image enable source. Various sys come as image sources considerations; however, the most common are cathode ray tubes or LCD screens. Are desirable high resolution and luminance, high color saturation and high contrast as well as small dimensions of the picture source. For the visualization of three-dimensional objects two such image sources are required.

Die Verfolgung von Kopfbewegungen ist ein wichtiger Bestand teil von VR-Applikationen. Üblicherweiser werden Position und Orientierung des Kopfes im Raum ermittelt, fortgeschrittene Systeme können außerdem die Blickrichtung verfolgen. Die meisten Systeme setzen dazu entweder Ultraschall, magnetische oder Lichtenergie zur Kommunikation zwischen den am Kopf an gebrachten Sendern und den Empfängern ein. Wichtige techni sche Daten, die bei der Auswahl dieser Systeme eine Rolle spielen, sind:
Tracking head movements is an important part of VR applications. Usually the position and orientation of the head in the room are determined, advanced systems can also track the direction of view. Most systems use either ultrasound, magnetic or light energy to communicate between the transmitters attached to the head and the receivers. Important technical data that play a role in the selection of these systems are:

- the number of degrees of freedom for the directions of movement, which can be registered and tracked
- the detectable angular range,
- the static accuracy (vibration sensitivity),
- the resolving power,
- the reliability,
- the data throughput and the screen sampling frequency,
- the interface to the computer as well
- further performance aspects.

VR-Applikationen lassen sich in einer Reihe von unterschied lichen Bereichen in der Praxis erfolgreich anwenden. Im Fol genden werden einige Anwendungsmöglichkeiten beispielhaft skizziert.
VR applications can be successfully used in practice in a number of different areas. In the following, some possible applications are outlined.

- Development of virtual prototypes, for example in the Au tomobilindustrie: Because of the increasing complexity of the developing components and ever shorter developments cycles, it makes sense to plan and design with sub operating computers. There can be one higher innovation rate, shorter development cycles and better coordination of what is available in a team Achieve knowledge when several people at the same time the pro plan and design in a virtual environment. By using virtual realities, too Easily specify complex three-dimensional structures. The usability of virtual prototypes can then can be evaluated by different users.
- Use in the training area: By learning the Um gangs with (virtual) objects, interactive demonstration visualization of abstract concepts, virtual trai behavior in dangerous situations, virtual Exploring distant places or epochs can be knowledge imparted, creative skills trained and behavioral patterns are trained.
- Driving and flight training in corresponding simulators:
By using simulators, the behavior can be trained especially in emergency situations

Die heute verfügbaren Technologien zur Eingabe von Informa tion in ein datenverarbeitendes System lassen sich nach den verwendeten Sensoren in vier Gruppen einteilen: mechanische (z. B. Tastaturen, Mäuse, Trackballs und Joysticks), elektri sche (z. B. taktile Displays und Grafiktabletts), optische (z. B. Lichtgriffel) und akustische (z. B. Spracheingabe- und Sprachinterpretationssysteme). Im Folgenden soll auf die nach dem heutigen Stand der Technik gebräuchlichen Hilfsmittel zur Eingabe von Information, die zur Steuerung von Objekten im Bereich von VR-Applikationen eingesetzt werden, kurz einge gangen werden.The technologies available today for entering informa tion in a data processing system can be Divide the sensors used into four groups: mechanical (e.g. keyboards, mice, trackballs and joysticks), electri cal (e.g. tactile displays and graphics tablets), optical (e.g. light pen) and acoustic (e.g. voice input and Language interpretation systems). The following is intended to address the the current state of the art tools for Enter information that is used to control objects in the Range of VR applications are used, briefly on be gone.

Sowohl Tastaturen, Mäuse, Trackballs als auch Joysticks benö tigen eine Ablagefläche, also einen festen Standplatz. Mit einem Touchscreen dagegen ist es möglich, direkt auf Objekte, die auf dem Bildschirm abgebildet sind, mit dem Finger zu zeigen, ohne weitere platzraubende Zusatzgeräte auf dem Schreibtisch zu benötigen. Niedrig auflösende Touchscreens weisen 10 bis 50 Positionen in waagerechter und senkrechter Richtung auf und benutzen eine horizontale und vertikale Reihe von Infrarot-Leuchtdioden und Fotosensoren, um ein Git ter von unsichtbaren Lichtstrahlen unmittelbar vor dem Bild schirm aufzubauen. Bei einer Berührung des Bildschirms werden sowohl vertikale als auch horizontale Lichtstrahlen unterbro chen. Aus dieser Information kann die aktuelle Fingerposition ermittelt werden.Both keyboards, mice, trackballs and joysticks are required a storage area, i.e. a permanent stand. With a touchscreen, however, it is possible to directly on objects, that are shown on the screen with your finger show, without further space-consuming additional devices on the Desk. Low resolution touch screens have 10 to 50 positions in horizontal and vertical Direction and use a horizontal and vertical Row of infrared light emitting diodes and photo sensors to make a git invisible rays of light immediately in front of the picture to build up the screen. When you touch the screen interrupt both vertical and horizontal light beams chen. The current finger position can be derived from this information be determined.

Eine andere bekannte Ausführungsform berührungssensitiver In formationseingabegeräte ist das kapazitiv gekoppelte Touch- Panel. Dieses liefert eine Auflösung von ca. 100 Positionen in jeder Richtung. Wenn ein Benutzer die leitfähig beschich tete Glasplatte des Touchscreens mit einem Finger berührt, kann aufgrund der Impedanzänderung die aktuelle Fingerposi tion ermittelt werden. Andere hochauflösende Panels verwenden zwei minimal voneinander entfernte, transparente Schichten. Eine davon ist leitfähig beschichtet, die andere mit einem Widerstandsmaterial beschichtet. Durch den Anpressdruck des Fingers berühren sich diese beiden Lagen, und durch Messung des daraus resultierenden Spannungsabfalls kann dann die ak tuelle Fingerposition ermittelt werden. Eine niedriger auflösende und billigere Variante dieser Technologie verwendet an stelle dieser Schichten ein Gitter von feinen Drähten.Another known embodiment of touch sensitive In formation input device is the capacitively coupled touch Panel. This provides a resolution of approx. 100 positions in every direction. When a user coats the conductive touched glass plate of the touchscreen with one finger, can change the current finger position due to the change in impedance tion can be determined. Use other high-resolution panels two minimally spaced, transparent layers. One of them has a conductive coating, the other one Resistor material coated. By the contact pressure of the Fingers touch these two layers, and by measurement the resulting voltage drop can then the ak current finger position can be determined. A lower resolution and cheaper variant of this technology used on place a grid of fine wires on these layers.

C. Shortcomings, Effects and Disadvantages of the Known solution

Die derzeit verwendeten Systeme zur Darstellung und Steuerung von Objekten in virtuellen Umgebungen berücksichtigen zwar in zunehmendem Maße die Fähigkeiten des Menschen zur Aufnahme und Verarbeitung von Information, jedoch weisen sie einen entscheidenden Nachteil auf: Bei der Eingabe von Steuerbefeh len zur direkten Beeinflussung der dargestellten Szene ist der Benutzer nach wie vor auf herkömmliche Methoden zur manu ellen Eingabe von Information angewiesen, wie zum Beispiel über Maus, Trackball, Joystick, Grafiktablett mit Griffel, Touchscreen. Die hierbei notwendigen Eingabemechanismen müs sen vom Benutzer erst erlernt werden, um auch in einer ange messenen Reaktionsgeschwindigkeit ausgeführt werden zu kön nen. Dagegen werden die angeborenen bzw. bereits vorhandenen erlernten Fähigkeiten des Menschen zur Kommunikation mittels akustischen Signalen (z. B. Sprache) bzw. optischen Signalen (z. B. Mimik, Gestik, Gebärden und Bewegungen) bei der Eingabe von Information zur Steuerung von Objekten nur unzureichend berücksichtigt.The systems currently used for display and control of objects in virtual environments take into account increasing the ability of humans to absorb and processing of information, however, they assign one decisive disadvantage on: when entering tax command len to directly influence the scene depicted the user continues to rely on traditional methods of manu instructed to enter information, such as via mouse, trackball, joystick, graphics tablet with stylus, Touchscreen. The input mechanisms required here must can only be learned by the user in order to be measured reaction speed NEN. In contrast, the innate or already existing learned human communication skills acoustic signals (e.g. speech) or optical signals (e.g. facial expressions, gestures, gestures and movements) when entering insufficient information to control objects considered.

Die Manipulation der Eigenschaften und Beeinflussung der Ak tionen von Objekten einer dargestellten Szene setzt ein kom pliziertes Zusammenspiel von Sensorik, kognitiver Verarbei tung und Motorik voraus, auf das viele Faktoren einwirken (individuelle Verhaltensmuster und Fähigkeiten, Erfahrungen, Umwelteinflüsse etc.). Bei Interaktionen in einer virtuellen Welt kommen noch zusätzliche Schwierigkeiten hinzu. Zur Steu erung, Manipulation bzw. Beeinflussung von Objekten ist ins besondere eine reflexartige bzw. kognitive sensorisch-motori sche Rückkopplung wichtig, die beispielsweise von Rezeptoren in der Haut, kinästhetischen Empfindungen, dem Gleichge wichtssinn sowie visuellen und/oder akustischen Empfindungen stammt. Dabei ergibt sich in vielen Fällen eine notwendige Redundanz, die bei VR-Applikationen nicht immer gegeben ist. Aufgrund der unzureichenden sensorischen Rückkopplung bei VR- Applikationen wird zudem das Erlernen motorischer Fertigkei ten erschwert.Manipulating the properties and influencing the Ak a combination of objects from a depicted scene complicated interaction of sensors, cognitive processing and motor skills that are influenced by many factors (individual behavior patterns and skills, experiences, Environmental influences etc.). When interacting in a virtual There are additional difficulties in the world. For tax Objects are manipulated, manipulated or influenced especially a reflex-like or cognitive sensory-motor cal feedback important, for example from receptors in the skin, kinesthetic sensations, the equilibrium sense of weight as well as visual and / or acoustic sensations comes. In many cases this results in a necessary one Redundancy that is not always the case with VR applications. Due to the insufficient sensory feedback in VR Applications will also learn motor skills difficult.

D. Special task to be solved by the invention

Ein ideales Medium zur Kommunikation zwischen einem Benutzer und einem Informationssystem sollte sowohl auf die sensori schen und perzeptuellen als auch auf die motorischen Fähig keiten sowie auf die spezifischen Eigenschaften des menschli chen Benutzers abgestimmt sein. Dabei sollte die Information so strukturiert sein, dass eine optimale Übereinstimmung zwi schen der Repräsentation der ausgegebenen Information und dem mentalen Modell des Benutzers erzielt wird: Werden die dem Benutzer anzuzeigenden Informationen in einer Weise dargebo ten, dass zum Beispiel sein räumliches Wahrnehmungsvermögen angesprochen wird, kann der Benutzer mit erstaunlich komple xen Informationsmengen pro Zeiteinheit umgehen. Ebenso sollte das Informationssystem in der Lage sein, möglichst viele Ar ten der von einem Benutzer abgesetzten Information aufzuneh men, zu verstehen und zu verarbeiten und in entsprechende Ak tionen umzusetzen. Damit ist der Vorteil verbunden, dass der Benutzer effizienter und schneller auf neue Ereignisse und Situationen reagieren kann. Benutzerfreundlichkeit und Aufga benangemessenheit sind somit typische Merkmale, über die ein ideales Medium verfügt. Diese Merkmale können sich wie folgt äußern:
An ideal medium for communication between a user and an information system should be tailored to the sensory and perceptual as well as the motor skills as well as to the specific properties of the human user. The information should be structured in such a way that an optimal correspondence between the representation of the information output and the mental model of the user is achieved: If the information to be displayed to the user is presented in such a way that, for example, his spatial perception is addressed the user deals with astonishingly complex amounts of information per unit of time. Likewise, the information system should be able to record, understand and process as many types of information sent by a user as possible and to convert them into corresponding actions. This has the advantage that the user can react more efficiently and quickly to new events and situations. Ease of use and appropriateness of tasks are therefore typical features that an ideal medium possesses. These characteristics can be expressed as follows:

- Correspondence between type, scope and expenditure rate and presentation of the information provided the sensory properties of the human user,
- Consideration of all information channels of the user received, recorded, recognized and interpreted Control signals of the user,
- Easy to learn and intuitive usability of the Me diums,
- high bandwidth of information transfer to the brain and high throughput of information,
- dynamic adaptation of the application to the individual Characteristics, skills, tasks, work and organi sation techniques of the user,
- Use a natural, high interaction language semantic content,
- reliability, robustness and maintainability of the medium,
- social acceptance of the medium in the population,
- Consider health, ergonomic and si security-related aspects etc.

Der vorgelegten Erfindung liegt die Aufgabe zugrunde, die be stehende Situation mit technischen Mitteln zu verbessern. Da her widmet sich die Erfindung vorrangig der Aufgabe, komfor table und zuverlässig arbeitende Verfahren bereitzustellen, mit deren Hilfe dem Anwender eine aktive Steuerung virtueller Objekte ermöglicht wird, wobei die bereits vorhandenen Fer tigkeiten des Benutzers zur Aussendung von Information ge nutzt werden. Diese Aufgabe wird durch ein Verfahren mit Merkmalen nach Patentanspruch 1 gelöst.The submitted invention is based on the task improve the standing situation with technical means. because The invention is primarily devoted to the task of comfort to provide table and reliable working procedures, with the help of the user active virtual control Objects is made possible, the existing Fer activities of the user to send information be used. This task is accomplished using a procedure Features solved according to claim 1.

E. Solution according to the invention for the special task Claims and advantages of this solution Claim 1

Der Benutzer soll in die Lage versetzt werden können, mit Hilfe geeigneter Interaktionsmöglichkeiten die Eigenschaften und/oder Aktionen der dargestellten Objekte im Sichtfeld 203 zu manipulieren bzw. zu beeinflussen. Zu diesem Zweck sind zusätzliche hardwaretechnische Hilfsmittel zur manuellen Ein gabe von Steuerbefehlen (z. B. via Tastatur, Maus, Trackball, Joystick oder Touchscreen) nicht unbedingt erforderlich. Die vorliegende Erfindung greift deshalb zur Erfassung und Verar beitung vom Benutzer in Form von Signalen ausgesendeter In formation auf Methoden der Signal- bzw. Mustererkennung zu rück. Erst durch diesen erfinderischen Schritt wird aus einem reinen Ausgabe-Sichtfeld ein interaktiv bedienbares Ein- und Ausgabe-Sichtfeld 203, das an die Fähigkeiten des Benutzers angepasst ist. Bei den durch den Benutzer manipulierbaren Ei genschaften von Objekten einer dargestellten Szene 204 kann es sich beispielsweise um Merkmale wie Ortsvektor, Lage, Aus maße, Betrachtungsperspektive, geometrische Form, Struktur, Kontur bzw. Textur der Objekte handeln. Vorstellbar sind aber auch Interaktionsmöglichkeiten, mit denen die Art der Dar stellung der Objekte verändert wird, wie beispielsweise Farbe bzw. Musterung, Helligkeit, Kontrastwirkung gegenüber dem Hintergrund, Glanzeffekte, Spiegelungen und Reflexionen, Schattierung etc. Bei den durch den Benutzer beeinflussbaren Aktionen von Objekten der dargestellten Szene kann es sich etwa um die Bewegung der Objekte handeln. Die Bewegung der Objekte kann dabei Translations- und/oder Rotationsanteile beinhalten, wobei die kinematischen Daten der Objekte, wie zum Beispiel Betrag und/oder Richtung seines Geschwindig keits- bzw. Beschleunigungsvektors bzw. seines Winkel geschwindigkeits- bzw. Winkelbeschleunigungsvektors, indivi duell gemäß den Steuerbefehlen des Benutzers verändert werden können.The user should be able to manipulate or influence the properties and / or actions of the objects shown in the field of view 203 using suitable interaction options. For this purpose, additional hardware technology aids for manual input of control commands (e.g. via keyboard, mouse, trackball, joystick or touchscreen) are not absolutely necessary. The present invention therefore uses the methods of signal or pattern recognition for detection and processing by the user in the form of signals emitted. Only through this inventive step does a pure output field of view become an interactively operable input and output field of view 203 that is adapted to the capabilities of the user. The properties of objects of a depicted scene 204 that can be manipulated by the user can be, for example, features such as location vector, location, dimensions, viewing perspective, geometric shape, structure, contour or texture of the objects. Interaction options are also conceivable that change the way the objects are displayed, such as color or pattern, brightness, contrast effect against the background, gloss effects, reflections and reflections, shading, etc. In the actions of objects that can be influenced by the user The scene depicted may be the movement of the objects. The movement of the objects can include translation and / or rotation components, the kinematic data of the objects, such as the amount and / or direction of its speed or acceleration vector or its angular velocity or angular acceleration vector, individually according to Control commands of the user can be changed.

Claim 2

Die Registrierung der interaktiven Steuerbefehle des Benut zers kann dabei mit Hilfe von Sensoren 502 und/oder Aufnahme geräten 501 erfolgen. Nach der Datenerfassung können die er fassten Eingabe-Daten einer Auswerte- und Steuerungsvorrich tung 503 zugeführt werden, als Steuerbefehle interpretiert und verarbeitet werden. Um die Möglichkeit einer Fehlinter pretation von ausgesendeten Signalen eines Benutzers durch das Datenverarbeitungssystem möglichst gering zu halten und damit die Zuverlässigkeit des Systems zu erhöhen, muss das System an die gewohnten Eigenschaften des Benutzers angepasst werden. Aus diesem Grund müssen dem System alle möglichen Eingabesignale eines individuellen Befehlssatzes des betref fenden Benutzers in einer Trainingsphase mehrfach wiederholt "beigebracht" werden. Entsprechend dieser vom System als Steuerbefehle interpretierten Signale ist es möglich, die Ob jekte einer dargestellten Szene zu manipulieren bzw. zu be einflussen oder/und eine Aktion auszulösen. Die auf diese Weise manipulierten bzw. beeinflussten Objekte oder/und die damit ausgelösten Aktionen können auf einem Sichtfeld 203 dem Benutzer grafisch visualisiert bzw. akustisch und/oder op tisch angezeigt werden. Dadurch ist ein Rückkopplungskreis zwischen Ausgabe- und Eingabedaten gegeben, mit dessen Hilfe die Reaktion auf Änderungen von Objekten einer dargestellten Szene 204 nahezu in Echtzeit ermöglicht werden kann.The interactive control commands of the user can be registered with the aid of sensors 502 and / or recording devices 501 . After the data acquisition, the acquired input data can be fed to an evaluation and control device 503 , interpreted and processed as control commands. In order to keep the possibility of a misinterpretation of transmitted signals from a user by the data processing system as low as possible and thus to increase the reliability of the system, the system must be adapted to the usual properties of the user. For this reason, the system must be repeatedly "taught" all possible input signals of an individual command set of the user concerned in a training phase. According to these signals interpreted by the system as control commands, it is possible to manipulate or influence the objects of a depicted scene and / or to trigger an action. The objects manipulated or influenced in this way and / or the actions triggered thereby can be graphically visualized to the user on a field of view 203 or displayed acoustically and / or optically. This provides a feedback loop between output and input data, with the aid of which the reaction to changes in objects of a depicted scene 204 can be made possible in almost real time.

Claim 3

Bei den im Rahmen dieses Verfahrens steuerbaren Objekten kann es sich beispielsweise um real existierende Objekte in einer realen Umgebung handeln. Ein typisches Anwendungsbeispiel ist etwa die Funkfernsteuerung eines Roboters zur Durchführung gefährlicher Arbeiten an schwer zugänglichen und/oder ent fernten Orten, zum Beispiel zur Erledigung von Reparaturar beiten in Kanalisationsrohren, zur Untersuchung radioaktiver Substanzen in hermetisch abgeschotteten Hochsicherheitsräumen oder zur Datengewinnung und -übermittlung bei unbemannten Weltraummissionen. Ein anderes typisches Anwendungsbeispiel ist die Möglichkeit der Fernsteuerung von Arbeits- und/oder Haushaltsgeräten mittels nicht-manueller Eingabeverfahren für körper- oder/und manuell behinderte Menschen. Die Art des Eingabeverfahrens kann dabei auf die individuell vorhandenen Fähigkeiten des Benutzers zugeschnitten sein.In the case of the objects which can be controlled as part of this method, for example, real objects in one act real environment. A typical application example is such as the radio remote control of a robot for implementation dangerous work on difficult to access and / or ent distant places, for example to do repairs work in sewer pipes, for the investigation of radioactive Substances in hermetically sealed high security rooms or for data acquisition and transmission for unmanned vehicles Space missions. Another typical application example is the possibility of remote control of work and / or Household appliances using non-manual input procedures for physically and / or manually disabled people. The type of The input procedure can be based on the individually available Ability of the user to be tailored.

Claim 4

Vorstellbar sind aber auch Ausführungsbeipiele dieser Erfin dung, bei denen die zu steuernden Objekte nicht real existie rende Objekte in einer virtuellen Umgebung eines computerge steuerten Modells sind. Vor allem im Ausbildungsbereich er scheint der Einsatz von Systemen zur interaktiven Steuerung virtueller Objekte sinnvoll: Durch das Erlernen des Umgangs mit virtuellen Objekten, interaktive Demonstrationen, Visua lisierung abstrakter Konzepte, virtuelles Training des Ver haltens in gefährlichen Situationen, virtuelle Erforschung entfernter Orte oder Epochen können Wissen vermittelt, krea tive Fertigkeiten geschult und Verhaltensmuster trainiert werden. Typische Einsatzgebiete sind beispielsweise Flugsimu latoren, mit deren Hilfe kritische Situationen im Flugverkehr (Triebwerksausfälle, Strömungsabrisse, Notlandungen auf dem Wasser und auf dem Land etc.) von auszubildenden Piloten trainiert werden und Lernfortschritte quantitativ beurteilt werden können.Execution examples of this invention are also conceivable where the objects to be controlled do not really exist objects in a virtual environment of a computer controlled model. Especially in the training area appears to be the use of systems for interactive control virtual objects make sense: by learning how to use them with virtual objects, interactive demonstrations, Visua lization of abstract concepts, virtual training of the ver stop in dangerous situations, virtual exploration distant places or epochs can impart knowledge, krea tive skills trained and behavior patterns trained become. Typical areas of application include flight simu lators, with the help of critical situations in air traffic (Engine failures, stalling, emergency landings on the Water and on land etc.) by pilots be trained and learning progress quantitatively assessed can be.

Claim 5

Eine natürliche Form der Interaktion von Mensch und Maschine sowie der Eingabe von Information in ein informationsverar beitendes System ist die der natürlichsprachlichen Kommunika tion. Aus diesem Grund bietet sich diese Form der Eingabe für Ausführungsbeispiele der vorliegenden Erfindung an. Die bis her und in absehbarer Zeit verwendeten Spracheingabesysteme machen jedoch nur in einem eingeschränkten Umfang von der na türlichsprachlichen Kommunikation Gebrauch, indem nur Wörter eines vom Hersteller fest vorgegeben Basisvokabulars geringen Umfangs zuzüglich eines benutzerspezifischen Fachvokabulars (in der Regel einige hundert bis tausend Wörter) oder auch Zusammensetzungen dieser Wörter zugelassen werden. Zur Erhö hung der Erkennungsrate muss ein Anwender sowohl das Basisvo kabular als auch sein benutzerspezifisches Fachvokabular dem System in einer Trainingsphase mehrfach wiederholt vorspre chen, damit sich das System auf die Stimme des Benutzers und etwaige Abweichungen vom Normalzustand der Stimme, zum Bei spiel infolge Erkältung oder Heiserkeit des Benutzers, ein stellen kann. Bei einer Ausführungsform spracherkennender Systeme werden während dieser Trainingsphase vom System sta tistische Modelle (in der Regel "Hidden-Markov-Modelle") ge neriert, mit deren Hilfe beispielsweise der Abfolge einzelner Phoneme bzw. Silben der trainierten Wörter Wahrscheinlich keitsdichtefunktionen zugeordnet werden, so dass neu vorge sprochene Wörter mit einer vorhersagbaren Wahrscheinlichkeit als richtig bzw. falsch erkannt werden.A natural form of human-machine interaction and the input of information in an information processing The processing system is that of natural language communication tion. For this reason, this form of input is useful for Embodiments of the present invention. The up voice input systems used in the foreseeable future however make only a limited amount of the na Natural language communication use only words a basic vocabulary fixed by the manufacturer Scope plus a user-specific vocabulary (usually a few hundred to a thousand words) or also Compositions of these words are allowed. To increase For the recognition rate, a user must have both the basic kabular as well as its user-specific vocabulary Repeating the system several times in a training phase so that the system is based on the user's voice and any deviations from the normal state of the voice play due to cold or hoarseness of the user can put. In one embodiment, speech recognizer Systems are staved by the system during this training phase statistical models (usually "hidden Markov models") with the help of, for example, the sequence of individuals Phonemes or syllables of the trained words Probably density density functions can be assigned so that newly pre spoken words with a predictable probability recognized as right or wrong.

Claim 6

Bei der Vorrichtung 503 zur Erkennung und Interpretation der Steuerbefehle des Benutzers kann es sich beispielsweise um ein automatisches Erkennungssystem für akustische Signale handeln, speziell für Sprachsignale. Die meisten der heute eingesetzten automatischen Spracherkennungssysteme sind zum Beispiel wort-, silben- oder phonembasierte Systeme, die nur für kontextunabhängige Spracherkennung konzipiert sind. Das bedeutet, dass die aus Wörtern eines trainierten Vokabulars bestehenden Sprachkommandos dem System derzeit mit ausrei chend großen Sprechpausen ("diskret") vorgesprochen werden müssen, um für den Benutzer akzeptable Worterkennungsraten im Bereich von ca. 90% bis 95% zu erzielen. Handelsübliche poly phonbasierte Prototypen kontextabhängiger Spracherkennungs systeme für fließend ("kontinuierlich") gesprochene Sprache erreichen heute schon Worterkennungsraten von ca. 95% bis 98%. Allerdings ist die Rechenleistung des Systems für konti nuierliche kontextabhängige Spracherkennung so groß, dass sie auch auf den derzeitigen Hochleistungsrechnern nicht mehr in Echtzeit durchgeführt werden kann.The device 503 for recognizing and interpreting the control commands of the user can be, for example, an automatic recognition system for acoustic signals, especially for speech signals. Most of the automatic speech recognition systems used today are, for example, word, syllable or phoneme-based systems that are only designed for context-independent speech recognition. This means that the voice commands consisting of words from a trained vocabulary must currently be spoken to the system with sufficiently long pauses in speaking ("discretely") in order to achieve acceptable word recognition rates in the range of approximately 90% to 95% for the user. Commercial polyphone-based prototypes of context-dependent speech recognition systems for fluently ("continuously") spoken language already achieve word recognition rates of approx. 95% to 98%. However, the computing power of the system for continuous context-dependent speech recognition is so great that it can no longer be carried out in real time on current high-performance computers.

Claim 7

Eine weitere Form der Mensch-Maschine-Kommunikation, welche den Eigenschaften und Fertigkeiten des Benutzers entgegen kommt, ist die der Auswertung von optischen Signalen, wie etwa Körper-, Kopf-, Gesichts-, Bein-, Fuß-, Arm-, Hand- und/oder Fingerbewegungen, also Gebärden, Gestik und/oder Mi mik. Die weitverbreiteten Fähigkeiten des Menschen, Informa tionen durch die Position, Raumrichtung und Bewegung von Kör perteilen zu kodieren, stellt heute noch eine große Heraus forderung für die Gestaltung von Eingabeverfahren für die Mensch-Maschine-Kommunikation dar.Another form of human-machine communication, which against the characteristics and skills of the user comes, is the evaluation of optical signals, such as such as body, head, face, leg, foot, arm, hand and / or finger movements, i.e. gestures, gestures and / or weddings mik. The widespread skills of humans, informa tion through the position, spatial direction and movement of bodies encoding is still a major challenge today requirement for the design of input procedures for the Human-machine communication.

Claim 8

Zum Empfang von optischen Signalen des Benutzers können Sen soren 202 und/oder Aufnahmegeräte 201 verwendet werden. Kon kret kann es sich dabei um optische bzw. akustische Abstands sensoren und/oder Videokameras handeln. Der Abstandssensor kann über eine Ultraschall- bzw. hochfrequente Strahlungs quelle verfügen sowie einem Detektor und Vorrichtungen, die den Schall bzw. die Strahlung auf das Messobjekt bündeln und die vom Messobjekt reflektierten Schall- bzw. Lichtwellen auf dem Detektor sammeln. Dabei kann ein Teil des Umgebungs schalls bzw. der Umgebungsstrahlung mit Hilfe von Filtern ab geblockt werden. Damit das Sensorsystem unabhängig von den Umgebungsbedingungen zuverlässig funktioniert, kann eine Kom pression, Kodierung und Modulation der von der Signalquelle ausgesendeten Signale und eine geeignete Signalverarbeitung auf der Detektorseite zur Demodulation, Dekodierung und De kompression der empfangenen Signale vorgesehen sein. Sensors 202 and / or recording devices 201 can be used to receive optical signals from the user. Specifically, it can be optical or acoustic distance sensors and / or video cameras. The distance sensor can have an ultrasound or high-frequency radiation source as well as a detector and devices that bundle the sound or radiation onto the measurement object and collect the sound or light waves reflected from the measurement object on the detector. Part of the ambient sound or the ambient radiation can be blocked with the help of filters. So that the sensor system functions reliably regardless of the ambient conditions, compression, coding and modulation of the signals emitted by the signal source and suitable signal processing on the detector side for demodulation, decoding and decompression of the received signals can be provided.

Claim 9

Bei der Vorrichtung 503 zur Interpretation von interaktiven Steuerbefehlen eines Benutzers kann es sich beispielsweise auch um ein automatisches Erkennungssystem für Bewegungssig nale handeln, wobei Methoden der Bildverarbeitung zum Einsatz gelangen können. Eine Möglichkeit ist zum Beispiel, die Lip penbewegungen des Benutzers beim Sprechen zu analysieren, um damit die Erkennungssicherheit der Spracheingabe zu erhöhen. Moderne Untersuchungen haben gezeigt, dass durch die Kombina tion von akustischer und optischer Spracherkennung im Ver gleich zur ausschließlich akustischen Spracherkennung die Wortfehlerrate bei einzelnen Sprechern um 30% bis 50% gesenkt werden kann. Andere Ausführungsformen können die Kopf- und/oder Augenbewegungen zur Informationseingabe verwenden. Hierzu ist eine Vermessung der Kopf- und/oder Blickrichtung erforderlich. Bei einem seit 1982 bekannten Eingabeverfahren, das auf einer Messung der Blickrichtung des Anwenders durch berührungslose Erfassung der Kopfbewegung beruht, erfolgt mittels eines vor einem Auge angebrachten Visiers die visu elle Rückkopplung der Kopfposition. Weiter ist am Kopf eine kleine Lichtquelle angebracht, deren Position mit Hilfe einer Videokamera vermessen wird, so dass Kopfbewegungen um zwei Drehachsen (horizontal und vertikal) erfasst werden können. Ein anderes Eingabeverfahren, das auf der Messung der Augen bewegungen basiert, ist seit 1987 bekannt. Dabei wird davon ausgegangen, dass die Auswahl eines auf einer optischen An zeige dargestellten Objekts eine der häufigsten Eingabeopera tionen ist und dass die visuelle Fixierung eines auszuwählen den Objekts eine normale Verhaltensweise des Menschen ist. Diese Art der Eingabe wird vor allem bei hohen Anforderungen an die Geschwindigkeit der Eingabe bzw. bei Behinderung der Hände oder Belegung durch andere Aufgaben empfohlen.The device 503 for interpreting interactive control commands from a user can also be, for example, an automatic detection system for movement signals, whereby methods of image processing can be used. One possibility is, for example, to analyze the lip movements of the user while speaking in order to increase the recognition reliability of the speech input. Modern investigations have shown that the combination of acoustic and optical speech recognition can reduce the word error rate for individual speakers by 30% to 50% compared to only acoustic speech recognition. Other embodiments can use the head and / or eye movements to input information. A measurement of the head and / or line of sight is required for this. In an input method known since 1982, which is based on a measurement of the user's viewing direction by contactless detection of the head movement, the head position is visually fed back by means of a visor attached in front of an eye. A small light source is also attached to the head, the position of which is measured with the help of a video camera, so that head movements around two axes of rotation (horizontal and vertical) can be recorded. Another input method based on measuring eye movements has been known since 1987. It is assumed that the selection of an object shown on a visual display is one of the most common input operations and that the visual fixation of an object to be selected is a normal human behavior. This type of input is particularly recommended for high demands on the speed of input or if the hand is disabled or occupied by other tasks.

Regarding claim 10

Bei der Ausgabevorrichtung 505 zur Darstellung einer virtuel len Umgebung kann es sich beispielsweise um ein Gerät zur Er zeugung eines sogenannten "Virtual Retinal Display" (VRD) handeln, bei dem eine virtuelle Bildfläche 203 auf die Netz haut 206 des Anwenders projiziert wird. Anstelle eines Bild schirms oder einer Anzeigevorrichtung wird lediglich eine ko härente Photonenstrahlung aussendende Lichtquelle benötigt. Dabei kann es sich um ein Gerät aus dem Arbeits- oder Frei zeitbereich bzw. um eine Orthese handeln, die eine Erweite rung des menschlichen Sehvermögens bewerkstelligt. Gegenüber realen Displays weist ein VRD folgende Vorteile auf: 1. Die Auflösung des VRD wird lediglich durch die Beugung und opti sche Aberration des Lichtstrahls im menschlichen Auge be grenzt, nicht aber durch die bei Bildschirmen oder realen Displays technisch realisierbare Größe eines elementaren Bildelements (Pixelgröße). Aus diesem Grund können Bilder mit einer sehr hohen Auflösung generiert werden. 2. Die mit Hilfe eines VRDs erzielbare Bildhelligkeit kann durch die Intensi tät des ausgesendeten Lichtstrahls gesteuert werden. Bei Ver wendung eines Lasers als Lichtquelle kann die Bildhelligkeit des VRDs groß genug eingestellt werden, um im Freien einge setzt werden zu können. 3. VRDs können entweder in einem Mo dus für virtuelle Realitäten oder in einem Modus für angerei cherte Realitäten ("See-Through Modus") betrieben werden. 4. Die industrielle Fertigung einer Lichtquelle zur Generierung eines VRDs ist verhältnismäßig einfach und im Vergleich mit konventionellen Bildschirmen und Anzeigevorrichtungen mit ge ringen Produktionskosten durchführbar. 5. Da ein Großteil des generierten Lichts auf die Netzhaut des Betrachters fokus siert wird, arbeiten VRDs mit einem hohen Wirkungsgrad und weisen einen im Vergleich zu Bildschirmen und realen Displays geringen Leistungsverbrauch auf.The output device 505 for displaying a virtual environment can be, for example, a device for generating a so-called "virtual retinal display" (VRD), in which a virtual image area 203 is projected onto the user's skin 206 . Instead of a screen or a display device, only a coherent light source emitting photon radiation is required. This can be a device from the work or leisure area or an orthosis that brings about an expansion of human eyesight. Compared to real displays, a VRD has the following advantages: 1. The resolution of the VRD is only limited by the diffraction and optical aberration of the light beam in the human eye, but not by the size of an elementary picture element (pixel size, which is technically feasible for screens or real displays) ). For this reason, images can be generated with a very high resolution. 2. The image brightness that can be achieved with the help of a VRD can be controlled by the intensity of the emitted light beam. When using a laser as a light source, the image brightness of the VRD can be set high enough to be used outdoors. 3. VRDs can be operated either in a mode for virtual realities or in a mode for enriched realities (“see-through mode”). 4. The industrial production of a light source for generating a VRD is relatively simple and can be carried out with low production costs in comparison with conventional screens and display devices. 5. Since a large part of the generated light is focused on the retina of the viewer, VRDs work with a high degree of efficiency and have a low power consumption in comparison to screens and real displays.

Claim 11

Die virtuelle Bildfläche 401 kann beispielsweise virtuelle eingabesensitive Referenzpunkte 404, 405, 406 und 407 und/oder -flächen 403 in einer virtuellen Bildebene vorgege bener Raumrichtung aufweisen. Dies können ebene Flächen mit vorgegebenem Flächeninhalt sein. Die Raumrichtung der virtu ellen Bildebene kann vorzugsweise senkrecht zur Blickrichtung orientiert sein, also dergestalt, dass der Normalenvektor n der virtuellen Bildebene parallel bzw. antiparallel zum Blickrichtungsvektor b liegt. Eingaben werden jeweils dann ausgelöst, wenn ein reales Objekt (ein Gegenstand oder ein Körperteil des Benutzers) die Ebene des virtuellen Displays an einer solchen eingabesensitiven Fläche 205 berührt bzw. die Fläche in einem beliebigen Eintrittswinkel schneidet. Mit Hilfe von Methoden der Mustererkennung kann es ermöglicht werden, eine beabsichtigte Eingabe von einer unbeabsichtigten Eingabe zu unterscheiden. Dabei könnte beispielsweise der Zeigefinger der rechten Hand eines Benutzers als einziges Eingabemedium erkannt werden. Eine Interaktion wird in diesem Fall nur dann zugelassen, wenn dieser Finger eine eingabesen sitive Fläche in einer virtuellen Bildebene schneidet bzw. berührt.The virtual image surface 401 can have, for example, virtual input-sensitive reference points 404 , 405 , 406 and 407 and / or surfaces 403 in a virtual image plane of the predetermined spatial direction. These can be flat surfaces with a given area. The spatial direction of the virtual image plane can preferably be oriented perpendicular to the viewing direction, that is, such that the normal vector n of the virtual image plane is parallel or antiparallel to the viewing direction vector b. Inputs are triggered when a real object (an object or a body part of the user) touches the plane of the virtual display on such an input-sensitive surface 205 or intersects the surface at any entry angle. With the help of methods of pattern recognition it can be possible to distinguish an intended input from an unintentional input. For example, the index finger of a user's right hand could be recognized as the only input medium. In this case, interaction is only permitted if this finger intersects or touches an input sensitive surface in a virtual image plane.

Claim 12

Der Abstand des Lotfußpunkts der virtuellen Bildebene zum Punkt schärfster Abbildung auf der Netzhaut eines der Augen 304 des Betrachters bzw. die Begrenzung und räumliche Aus richtung der Bildfläche 303 der virtuellen Bildebene kann durch die Erkennung von optischen Signalen des Benutzers mit Hilfe eines optischen oder akustischen Abstandssensors 502, einer Videokamera 501 sowie einer nachgeschalteten Auswerte elektronik 503 vorgenommen werden.The distance between the plumb point of the virtual image plane and the point of the sharpest image on the retina of one of the eyes 304 of the viewer or the limitation and spatial orientation of the image surface 303 of the virtual image plane can be determined by the detection of optical signals by the user with the aid of an optical or acoustic distance sensor 502 , a video camera 501 and a downstream evaluation electronics 503 .

Claim 13

Bei den optischen Anzeigevorrichtungen wird neben konventio nellen analogen und digitalen Displays zunehmend der Bildschirm eingesetzt, da hier die Kodierung der Information durch viele verschiedene Arten (Text, Graphik, Bild, Anima tion etc.) erfolgen kann. Außerdem stehen hier die Möglich keiten der flexiblen Organisation der Information zur Verfü gung, mit denen der erforderliche Such- und Auswahlvorgang einzelner Objekte unterstützt werden kann. Zur Darstellung räumlicher Sachverhalte können 3D-Anzeigen bzw. 3D-Brillen verwendet werden. Bei allen diesen optischen Anzeigen sind bei der Ablesung neben der dazu nötigen Aufmerksamkeit des Benutzers Bewegungen des Kopfes und/oder der Augen erforder lich. Zur Verhinderung der visuellen Ablenkung des Benutzers können, zum Beispiel bei der Flugzeug- oder Fahrzeugführung, Projektionsvorrichtungen ("Head up"-Anzeigen) verwendet wer den, bei denen die abzulesende Information in den Sichtbe reich eingeblendet wird, auf den das Auge zur Wahrnehmung der Hauptaufgabe (etwa der Flugzeug- oder Fahrzeugführung) vor zugsweise ausgerichtet ist. Eine Sonderform ist die Ausfüh rung als helmbasierte Anzeigevorrichtung in Form eines "Head- Mounted Displays" (HMD), bei der die Anzeigeeinheit im Helm des Benutzers befestigt ist. Herkömmliche VR-Anwendungen ver wenden HMDs zur Darstellung virtueller Welten über ein Ste reodisplaysystem sowie über Raumklangsysteme oder an das HMD gekoppelte Kopfhörer. Damit die dreidimensionale virtuelle Umgebung dem Betrachter auch bei Kopfbewegungen stabil er scheint, muß die Kopfbewegung in den sechs Freiheitsgraden erfaßt und dem Display weitergegeben werden. Dies muß mit ei ner genügend hohen Frequenz von mindestens 70 Hz erfolgen. Zur Messung der Kopfbewegung werden bisher eine Vielzahl ver schiedener Messsysteme eingesetzt. Viele sind jedoch entweder für den Betrachter unbequem oder in der Beschaffung zu teuer. Zusätzliche können akustische bzw. haptische Ausgabevorrich tungen vorhanden sein, da akustische und haptische Signale geringer Intensität keine visuelle Ablenkung des Benutzers bewirken. Allerdings sind haptische Signalgeber derzeit nur als Blindenhilfsmittel in breitem Einsatz. In addition to konventio nell analogue and digital displays increasingly the screen used because here the coding of the information through many different types (text, graphics, image, anima tion etc.) can take place. The options are also available here the flexible organization of the information with which the required search and selection process individual objects can be supported. For illustration Spatial issues can be 3D displays or 3D glasses be used. All of these visual displays are at the reading in addition to the necessary attention of the User movements of the head and / or eyes required Lich. To prevent the visual distraction of the user can, for example in aircraft or vehicle control, Projection devices ("head up" displays) are used those for whom the information to be read can be seen in the is faded in on the eye to perceive the Main task (such as aircraft or vehicle control) is preferably aligned. The execution is a special form tion as a helmet-based display device in the form of a "head Mounted Displays "(HMD), in which the display unit in the helmet the user is attached. Conventional VR applications ver use HMDs to represent virtual worlds via a Ste reodisplaysystem as well as over surround sound systems or to the HMD paired headphones. So that the three-dimensional virtual Surrounding the viewer is stable even with head movements seems, the head movement must be in the six degrees of freedom recorded and passed on to the display. This must be done with an egg ner sufficiently high frequency of at least 70 Hz. A large number of ver have been used to measure head movement different measuring systems. However, many are either uncomfortable for the viewer or too expensive to procure. Additional acoustic or haptic output devices be available because acoustic and haptic signals low intensity no visual distraction of the user cause. However, haptic signal transmitters are currently only widely used as an aid to the blind.

F. Description of the figures

Im Folgenden wird die Erfindung anhand bevorzugter Ausfüh rungsbeispiele, wie sie in den Fig. 1 bis 5 geschildert sind, näher beschrieben.In the following, the invention will be described in more detail with reference to preferred exemplary embodiments, as described in FIGS . 1 to 5.

Im Detail zeigenShow in detail

Fig. 1 ein Designmuster 101, eine Prinzipdarstellung 102 sowie ein typisches Anwendungsbeispiel 103 eines "Virtual Retinal Displays" (VRD) aus der Sicht des Benutzers (Quelle: "Technologies to Watch", Ausgabe Mai 2000), FIG. 1 is a design pattern 101, a schematic diagram 102 and a typical example of a 103 "Virtual Retinal Display" (VRD) from the perspective of the user (Source: "Technologies to Watch", May 2000 edition)

Fig. 2 eine schematische Darstellung des Eingabeverfahrens über ein VRD, Fig. 2 is a schematic representation of the input procedure a VRD,

Fig. 3 eine schematische Darstellung zur Erfassung des Ab stands der virtuellen Bildebene bei einem VRD, Fig. 3 is a schematic representation for detecting the stands from the virtual image plane at a VRD,

Fig. 4 ein Beispiel zur Erfassung der virtuellen Eckpunkt koordinaten 404, 405, 406 und 407 der Bildfläche 401 eines VRD und Fig. 4 shows an example for the detection of the virtual corner coordinates 404 , 405 , 406 and 407 of the image area 401 of a VRD and

Fig. 5 einen schematischen Hardwareaufbau zur Erfassung der Eingabe und Steuerung der Ausgabe eines VRD. Fig. 5 is a schematic hardware structure for detecting the input and control the output of a VRD.

In Fig. 1 ist ein Designmuster 101 eines Microvision-Systems zur Erzeugung eines VRDs, eine Prinzipdarstellung 102 der Funktionsweise des VRDs sowie ein typisches Anwendungsbei spiel 103 eines VRDs dargestellt. Bei dem dargestellten An wendungsbeispiel handelt es sich um eine Spannungsmessung im Kraftfahrzeugbereich, bei der dem Anwender über ein VRD Seriennummer, Profil, Messwerte und die gemessene Spannungs- Zeit-Kennlinie des geprüften Bauteils eingeblendet werden.In Fig. 1, a design pattern 101 is 102, the operation of the VRDS and a typical application examples game 103 shown a Microvision system for generating a VRDS, a schematic diagram of VRDS. The application example shown is a voltage measurement in the motor vehicle sector, in which the user can see a VRD serial number, profile, measured values and the measured voltage-time characteristic of the tested component.

In Fig. 2 wird das Verfahren der Eingabe über berührungssen sitive Schaltflächen 205 bei VRDs demonstriert. Abgebildet ist die Bildfläche 203 der virtuelle Bildebene mit den darin enthaltenen Teilbereichen für die virtuelle Ausgabefläche 204 und die virtuellen Taster bzw. Schalter 205. Werden die Ein gabeflächen von einem Finger des Benutzers 207 oder einem Ge genstand berührt bzw. in einem beliebigen Eintrittswinkel durchstoßen, wird eine Eingabe erkannt und entsprechende Ak tion ausgelöst. Die Eingaben des Benutzers können mit Hilfe einer Videokamera 201 und/oder einem Abstandssensor 202 er fasst werden.In FIG. 2, the method of the input is demonstrated on Touch Sensor sitive buttons 205 at VRDS. The image area 203 of the virtual image plane is shown with the partial areas contained therein for the virtual output area 204 and the virtual buttons or switches 205 . If the input surfaces are touched by a finger of the user 207 or an object or pierced at any entry angle, an input is recognized and the corresponding action is triggered. The inputs of the user can be recorded using a video camera 201 and / or a distance sensor 202 .

Fig. 3 veranschaulicht bildhaft das Verfahren zur Bestimmung des Abstands der virtuellen Bildebene zur Netzhaut eines der Augen 304 des Betrachters bei einem VRD. Durch die Position und räumliche Ausrichtung der ausgestreckten Handfläche 305 des Benutzers werden der Aufpunkt und die beiden Richtungs vektoren der virtuellen Bildebene 303 bestimmt. Zu diesem Zweck kann beispielsweise ein Ultraschall- bzw. Infrarotwel len aussendender Abstandssensor 302, eine Videokamera 301 so wie ein Verfahren zur Signal- bzw. Mustererkennung herange zogen werden. Idealerweise wird die räumliche Orientierung der virtuellen Bildebene vom Benutzer dergestalt festgelegt, dass der Normalenvektor n der virtuellen Bildebene parallel bzw. antiparallel zum Blickrichtungsvektor b verläuft, also das Skalarprodukt der betragsnormierten Vektoren n/||n||₂ und b/||b||₂ die Werte +1 bzw. -1 ergibt. Der Abstand der virtu ellen Ebene zum Betrachter ergibt sich dann als der Abstand zwischen dem Lotfußpunkt, also dem Schnittpunkt zwischen vir tueller Bildebene und Blickrichtungsgerade, und dem Punkt schärfster Abbildung auf der Netzhaut eines der Augen 304 des Betrachters. Fig. 3, the method for determining the distance illustrates pictorially the virtual image plane to the retina of the eye 304 of the viewer at a VRD. The point and the two direction vectors of the virtual image plane 303 are determined by the position and spatial orientation of the extended palm 305 of the user. For this purpose, for example, an ultrasonic or infrared wave emitting distance sensor 302 , a video camera 301 and a method for signal or pattern recognition can be used. Ideally, the spatial orientation of the virtual image plane is determined by the user in such a way that the normal vector n of the virtual image plane runs parallel or antiparallel to the viewing direction vector b, that is to say the scalar product of the magnitude-standardized vectors n / || n || ₂ and b / || b || ₂ gives the values +1 or -1. The distance between the virtual plane and the viewer is then the distance between the plumb point, that is, the intersection between the virtual image plane and the line of sight, and the point of sharpest image on the retina of one of the viewer's eyes 304 .

In Fig. 4 wird gezeigt, wie die Begrenzungspunkte einer vir tuellen polygonalen Bildfläche 401 eingegeben werden. In dem skizzierten Beispiel wurde über Vorgabe von vier Eckpunkten eine rechteckige Bildfläche definiert. Dabei können die kar tesischen Koordinaten der Bildflächen-Eckpunkte 404, 405, 406 und 407 an denjenigen Raumpositionen generiert werden, an de nen beispielsweise ein Finger einer Hand 408 des Benutzers oder ein Gegenstand die virtuelle Bildebene 401 berührt bzw. schneidet. Durch die Pfeile ist dabei die Bewegung des Fin gers von einem Eckpunkt zum nächsten Eckpunkt der virtuellen Bildfläche angedeutet. Über die virtuellen Schalter bzw. Tas ter 403 können beispielsweise die Funktionen für das Ein- bzw. Ausschalten des auf der virtuellen Ausgabefläche 402 dargestellten Bildes, für das Umschalten zwischen mehreren Informationskanälen, für die Modus-Auswahl zur Einstellung von System- und/oder Bildparametern sowie für das Archiv zum Speichern von Ton- und/oder Bildsequenzen gesteuert werden.In FIG. 4 is shown how the boundary points of a vir tual polygonal image surface are inputted four hundred and first In the sketched example, a rectangular image area was defined by specifying four corner points. The Cartesian coordinates of the image corner points 404 , 405 , 406 and 407 can be generated at those spatial positions where, for example, a finger of a hand 408 of the user or an object touches or intersects the virtual image plane 401 . The arrows indicate the movement of the finger from one corner point to the next corner point of the virtual image surface. Via the virtual switch or button 403 , for example, the functions for switching the image displayed on the virtual output surface 402 on and off, for switching between several information channels, for the mode selection for setting system and / or image parameters as well as for the archive for storing sound and / or image sequences.

Fig. 5 zeigt den Rückkopplungskreis zwischen Mensch und Ma schine, der den schematischen Hardewareaufbau zur Erfassung der Eingabe und Steuerung der Ausgabe bei einem VRD enthält. Die über eine Videokamera 501 bzw. einen Abstandssensor 502 erhaltenen optischen Informationen des Benutzers werden dabei einer zentralen Steuerungseinheit 503 zugeführt, in der die Erkennung, Interpretation und Verarbeitung der Informationen erfolgt. Nach Auslösung einer entsprechenden Aktion werden die neu ermittelten bzw. berechneten Daten an die Steuerungs einheit 504 zur Steuerung des VRD weitergeleitet. Dieser übernimmt dann die Ausgabe der Text- und/oder Bilddaten über ein beispielsweise laserbetriebenes VRD 505. Nach Aufnahme und Verarbeitung dieser Ausgabedaten durch den menschlichen Benutzer 506 kann dann eine neue Reaktion des Benutzers auf den veränderten Ist-Zustand einsetzen. Fig. 5 shows the feedback circuit between man and machine, which contains the schematic hardware structure for detecting the input and control of the output in a VRD. The optical information of the user obtained via a video camera 501 or a distance sensor 502 is fed to a central control unit 503 , in which the information is recognized, interpreted and processed. After triggering a corresponding action, the newly determined or calculated data are forwarded to the control unit 504 for controlling the VRD. This then takes over the output of the text and / or image data via, for example, a laser-operated VRD 505 . After this output data has been recorded and processed by the human user 506 , a new reaction by the user to the changed actual state can then begin.

Die Bedeutung der in den Fig. 1 bis 5 mit Ziffern bezeich neten Symbole kann der nachfolgenden Bezugszeichenliste ent nommen werden. The meaning of the symbols denoted by numerals in FIGS . 1 to 5 can be found in the following list of reference symbols.

LIST OF REFERENCE NUMBERS

Nr. Bezeichnung
No.

101101

Designmuster eines Microvision-Systems zur Erzeugung eines "Virtual Retinal Displays" (VRD)
Design sample of a Microvision system for creating a "Virtual Retinal Display" (VRD)

102102

Prinzipdarstellung der Funktionsweise eines VRD-Systems
Principle representation of how a VRD system works

103103

Anwendungsbeispiel eines VRD-Systems aus der Sicht des An wenders
Application example of a VRD system from the perspective of the user

201201

Videokamera
video camera

202202

Optischer bzw. akustischer Abstandssensor
Optical or acoustic distance sensor

203203

Bildfläche in der virtuellen Bildebene des VRD (virtuelles Sichtfeld bzw. virtuelles Display)
Image area in the virtual image plane of the VRD (virtual field of view or virtual display)

204204

Virtuelle Ausgabefläche
Virtual output area

205205

Berührungssensitive Eingabeflächen (virtuelle Tasten bzw. virtuelle Schalter)
Touch-sensitive input surfaces (virtual buttons or virtual switches)

206206

z. B. rechtes Auge des Benutzers
z. B. Right eye of the user

207207

Auslösung einer Eingabe über das VRD durch Berührung bzw. Durchstoßung einer berührungssensitiven Eingabefläche durch einen Finger des Benutzers
Triggering an input via the VRD by touching or penetrating a touch-sensitive input surface by a finger of the user

301301

Videokamera
video camera

302302

Optischer bzw. akustischer Abstandssensor
Optical or acoustic distance sensor

303303

304304

z. B. rechtes Auge des Benutzers
z. B. Right eye of the user

305305

z. B. rechte Hand des Benutzers
z. B. right hand of the user

401401

402402

Virtuelle Ausgabefläche
Virtual output area

403403

404404

Linke obere Ecke der Bildfläche des VRD
Upper left corner of the VRD screen

405405

Rechte obere Ecke der Bildfläche des VRD
Upper right corner of the VRD screen

406406

Rechte untere Ecke der Bildfläche des VRD
Lower right corner of the VRD image area

407407

Linke untere Ecke der Bildfläche des VRD
Lower left corner of the VRD image area

408408

z. B. rechte Hand des Benutzers
z. B. right hand of the user

501501

Videokamera
video camera

502502

Optischer bzw. akustischer Abstandssensor
Optical or acoustic distance sensor

503503

Zentrale Steuerungseinheit (CCU)
Central control unit (CCU)

504504

Steuerungseinheit zur Steuerung des VRD
Control unit for controlling the VRD

505505

Steuerungseinheit für ein laserbetriebenes VRD
Control unit for a laser-operated VRD

506506

Perzeption und Verarbeitung der aufgenommenen Information durch den menschlichen Benutzer und Reaktion des Benutzers auf die veränderte Sachlage
Perception and processing of the recorded information by the human user and reaction of the user to the changed situation

Claims

1. A method for the visual representation of objects on at least one field of view ( 203 ), characterized in that at least one displayed object is manipulated, controlled or influenced in its properties and / or actions with the aid of interactive control commands of a user and / or the possibility of navigation of the user in a illustrated scene ( 204 ) is given, the detection and processing of the information entered by the user using methods of signal or pattern recognition, and thus no additional manually operable, mechanical or Touch-sensitive hardware devices are required for entering control commands.

2. The method according to claim 1, characterized in that

a) the interactive control commands of the user are registered with the aid of sensors ( 502 ) and / or recording devices ( 501 ),
b) the recorded input data are fed to an evaluation and control device ( 503 ) and interpreted as control commands and
c) the objects are manipulated or influenced in accordance with these control commands and / or an action is triggered
d) the manipulated or influenced objects and / or the triggered action on a display ( 204 ) visualized or acoustically and / or optically displayed.

3. The method according to any one of the preceding claims, characterized in that it is to be controlled Objects around real existing objects in a real environment act.

4. The method according to claim 1 or 2, characterized in that it is to be controlled Objects around objects that do not really exist in a vir current environment of a computer-controlled model delt.

5. The method according to any one of claims 1 to 4, characterized in that it is the interactive Control commands from a user to beeps, such as such as voice commands.

6. The method according to any one of claims 1 to 5, characterized in that the device ( 503 ) for interpreting control commands is an automatic recognition system for speech signals.

7. The method according to any one of claims 1 to 4, characterized in that it is the interactive Control commands from a user to optical signals, such as such as body, head, foot, hand and / or finger movements conditions, i.e. gestures, gestures and / or facial expressions.

8. The method according to any one of claims 1 to 4 or 7, characterized in that the sensors ( 502 ) and / or recording devices ( 501 ) for registering optical signals of the user are distance sensors and / or video cameras.

9. The method according to any one of claims 1 to 4, 7 or 8, characterized in that it is the device for the interpretation of control commands for an automatic Detection system for motion signals.

10. The method according to any one of claims 1 to 9, characterized in that the output device 505 for displaying a virtual environment is a device for generating a so-called "Virtual Retinal Display" (VRD), in which a virtual display ( 203 ) is projected onto the user's retina.

11. The method according to any one of claims 1 to 4 or 7 to 10, characterized in that inputs are triggered when a real object intersects or touches the plane of the virtual display ( 401 ) on an input-sensitive surface ( 403 ).

12. The method according to any one of claims 1 to 4 or 7 to 11, characterized in that the determination of the distance between the plane ( 303 ) of the virtual display and the retina of one of the eyes ( 304 ) of the user or the loading and spatial limitation Alignment of the surface ( 401 ) of the virtual display by the detection of optical signals from the user with the help of a distance sensor ( 502 ) and a downstream evaluation electronics ( 503 ) is made before.

13. The method according to any one of claims 1 to 9, characterized in that the device ( 505 ) for displaying a virtual environment is a so-called "head-mounted display" (HMD).