EP2753951A1 - Interaction with a three-dimensional virtual scenario - Google Patents

Interaction with a three-dimensional virtual scenario

Info

Publication number
EP2753951A1
EP2753951A1 EP12780399.7A EP12780399A EP2753951A1 EP 2753951 A1 EP2753951 A1 EP 2753951A1 EP 12780399 A EP12780399 A EP 12780399A EP 2753951 A1 EP2753951 A1 EP 2753951A1
Authority
EP
European Patent Office
Prior art keywords
selection
virtual
scenario
dimensional
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP12780399.7A
Other languages
German (de)
French (fr)
Inventor
Leonhard Vogelmeier
David Wittmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
EADS Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Deutschland GmbH filed Critical EADS Deutschland GmbH
Publication of EP2753951A1 publication Critical patent/EP2753951A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/20—Stereoscopic displays; Three-dimensional displays; Pseudo-three-dimensional displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Definitions

  • the invention relates to display devices for a three-dimensional virtual scenario.
  • the invention relates to three-dimensional virtual scenario display devices for selecting objects in the virtual scenario with feedback upon successful selection of one of the objects, a workstation device for monitoring a three-dimensional virtual scenario, and interacting with a three-dimensional virtual scenario, using a workstation device to monitor a
  • a three-dimensional virtual scenario display device for selecting objects in the virtual scenario with feedback upon successful selection of an object comprising a virtual scenario renderer and a virtual scenario renderer
  • the touch unit for touch-controlled selection of an object in the virtual scenario.
  • the touch unit is in one
  • the presentation unit can be based on stereoscopic visualization techniques, which are particularly suitable for the evaluation of three-dimensional
  • Accommodation adjustment of the refractive power of the lens of the observer's eyes.
  • convergence and accommodation are coupled together, and this coupling must be removed when considering a three-dimensional virtual scenario. This is because the eye is focused on an imaging unit, but the eye axes must align with the virtual objects that are in space or the virtual three-dimensional scenario in front of or behind the imaging
  • Unpairing convergence and accommodation can lead to stress and hence fatigue on the human eye to headache and nausea in a viewer of a three-dimensional virtual scene.
  • the conflict between convergence and accommodation also results from an operator interacting with virtual-scenario objects, for example, with his hand in the course of a direct interaction with the virtual scenario; that the real position of the hand overlaps with the virtual objects.
  • the conflict between accommodation and convergence can be intensified.
  • a three-dimensional virtual scenario may require wearing special gloves.
  • these gloves make it possible to determine the position of the user's hands and, on the other hand, they can trigger a corresponding vibration when virtual objects are touched.
  • the position of the hand is usually determined in this case with an optical detection system.
  • a user typically moves their hands in the space in front of the user. The weight of the arms and the extra weight of the
  • Gloves can limit the time of use, since the user may experience signs of fatigue early on. Particularly in the field of airspace surveillance or aviation, there are situations where two types of information are needed to build a good understanding of the current airspace situation and its evolution in the future. On the one hand, these are the global view of the overall situation and, on the other hand, a detailed look at the elements that are relevant for a potential conflict situation.
  • An air traffic controller for example, who has to resolve a conflict situation between two aircraft, must have both
  • perspective displays for the representation of a spatially acting scenario allow a graphical representation of a three-dimensional scenario
  • a representation of three-dimensional scenarios is provided that allows both an overview and a detail display simultaneously, a simple and direct one
  • the presentation unit is designed to evoke the impression of a three-dimensional scenario with a viewer.
  • the presentation unit can have at least two projection devices which project a different image for each individual eye of the observer, so that a three-dimensional impression is created in the viewer.
  • the presentation unit can also be designed to display differently polarized images, with spectacles of the observer having correspondingly polarized lenses resulting in one eye in each case being able to perceive one image and thus creating a three-dimensional impression on the viewer. It is important
  • the touch unit is an input element for touch-controlled
  • the touch unit may for example be transparent and be arranged in the three-dimensional display space of the virtual scenario, so that an object of the virtual scenario is selected by the user gripping the three-dimensional presentation space with one hand or both hands and touching the touch unit.
  • the touch unit may be located anywhere in the three-dimensional presentation space or outside the three-dimensional presentation space.
  • the touch unit can be designed as a plane or as an arbitrarily geometrically shaped surface.
  • the touch unit can be designed as a flexibly formable element in order to be able to adapt the touch unit to the three-dimensional virtual scenario.
  • the touch unit may comprise, for example, capacitive or resistive measurement systems or infrared-based gratings to determine the coordinates of one or more touch points at which the user touches the touch unit. Depending on the coordinates of a point of contact, for example, that object in the three-dimensional virtual scenario which comes closest to the point of contact is selected. According to an embodiment of the invention, the touch unit is adapted to represent a selection area for the object. The object is selected by touching the selection area.
  • a computing device may, for example, a position of the
  • the touch unit may be configured to represent a plurality of selection regions for a plurality of objects, each having a selection region assigned to an object in the virtual scenario.
  • the feedback is made at the successful selection of one of the objects from the virtual scenario at least partially by a vibration of the touch unit or by the on
  • the touch unit may, for example, be vibrated as a whole, for example with the aid of a motor, in particular a vibration motor, or individual areas of the touch unit may be vibrated.
  • piezoelectric actuators can also be used as vibration elements, with the piezoelectric actuators in each case being made to oscillate at the point of contact when an object has been selected in the virtual scenario, thus signaling the user to select the object.
  • Touch unit on a variety of areas, which are selectively selectable for tactile feedback on the selection of an object in the virtual scenario.
  • the touch unit may be configured to allow selection of multiple objects at the same time. For example, an object with a first hand and another object with a second hand of the user can be selected.
  • the touch unit can be located in the area of a selection area for an object for outputting a tactile feedback, i. for example, to perform a vibration. This allows the user, in particular when selecting multiple objects, to recognize which of the objects has been selected and which has not.
  • the touch unit can be designed to allow a change of a map scale and a shifting of the illustrated map area.
  • Tactile feedback is understood as meaning, for example, a vibration or the vibration of a piezoelectric actuator.
  • the feedback on the successful selection of an object in the three-dimensional scenario is at least partially carried out by outputting an optical signal.
  • the optical signal can alternatively or additionally to the tactile
  • Under feedback by means of an optical signal is understood to highlight or represent a selection pointer.
  • the brightness of the selected object may be changed, or the selected object may be provided with a border, or a pointing element pointing to that object may be displayed next to the selected object in the virtual scenario.
  • the acoustic signal can be output as an alternative to the tactile feedback and / or the optical signal, but also in addition to the tactile feedback and / or the optical signal.
  • an acoustic signal is understood as meaning, for example, the output of a short tone via an output unit, for example a loudspeaker.
  • This structure allows the user to view more closely the overall scenario in the overview area and a user-selectable smaller area in the detail area.
  • the overview area can be reproduced, for example, as a two-dimensional display and the detail area as a spatial representation.
  • Airspace in a simple and manageable way allows to have both a view of the overall airspace situation in the overview area as well as potential conflict situations in the detail area.
  • the invention allows the operator to change the detail area depending on the particular needs, i. Any area of the overview display can be selected for the detailed display. Of course, this selection can also be made such that a selected area of the detailed representation is displayed in the overview representation.
  • a three-dimensional virtual scenario display device for selecting objects in the virtual scenario with feedback upon successful selection of one of the objects as described above and described below.
  • the workplace device can also be used, for example, to control unmanned aerial vehicles or to monitor any
  • Scenarios can be used by one or more users.
  • a flight plan can be displayed on a display and, if an entry from the flight plan is selected, the corresponding aircraft in the
  • the workstation device may include input elements that may be used alternatively or in addition to interacting directly with the three-dimensional virtual scenario.
  • the workstation device may be a so-called. Computer mouse, a keyboard or use-typical interaction devices, such as those of a
  • Air traffic controller workplace exhibit. Likewise, it can at all displays or presentation units to
  • a workstation device is as described above and below for monitoring airspaces
  • the workstation device can also be used to monitor and control unmanned aerial vehicles and to analyze a
  • Airspace easy and quick to detect whether an aircraft threatens, for example, to fly through a restricted zone or a hazardous area.
  • An exclusion zone or a danger zone can be represented, for example, as a virtual body in the size of the exclusion zone or the hazardous area.
  • a method of selecting objects in a three-dimensional scenario is provided. In a first step, a selection area of a virtual object is touched in a display area of a three-dimensional virtual scenario. In a subsequent step, a response is issued to an operator after the selection of the virtual object.
  • the method further comprises the steps of: visualizing a selection element in the three-dimensional virtual scenario, moving the selection element according to a finger movement of the operator on the presentation surface, selecting an object in the three-dimensional scenario by matching the selection element with the one to be selected Object is brought.
  • the visualization of the selection element, the movement of the selection element and the selection of the object takes place after touching the selection surface.
  • the selector may be displayed in the virtual scenario when the operator touches the touch unit.
  • the selection element is represented, for example, in the virtual scenario as a vertically extending beam of light or a light cylinder and moves through the three-dimensional virtual scenario in accordance with a finger movement of the finger
  • the selection element encounters an object in the three-dimensional virtual scenario, then this object is selected for further operations, as long as the user remains essentially immobile on the object of the selection element for a certain time
  • the selection of the object in the virtual scenario may occur after the selector element unmoving an object for one second. This waiting time is to prevent objects from being selected in the virtual scenario, even though the selection element has only been passed by them.
  • the presentation of a selection item in the virtual scenario simplifies the selection of an item and allows the operator to select an item without considering the position of his hand in the virtual scenario.
  • the selection of an object thus takes place in that the selection element is brought into coincidence with the object to be selected by movement of the hand, which is made possible in that the selection element, for example in the form of a light cylinder, runs vertically through the virtual scenario.
  • Selection element in at least one point overlaps with the coordinates of the virtual object to be selected.
  • a computer program element for controlling a three-dimensional virtual scenario display device for selecting objects in the virtual scenario with feedback upon successful selection of one of the objects is executed, the method of selecting virtual objects in a three-dimensional one virtual scenario as described above and described when the computer program element is executed on a processor of a computing unit.
  • the computer program element can serve a processor of the
  • a computer-readable medium is indicated with the computer program element as described above and below.
  • a computer-readable medium may be any volatile or non-volatile storage medium, such as a hard disk, a CD, a DVD, a floppy disk, a memory card, or any other computer-readable medium
  • FIG. 1 is a side view of a workstation device according to one
  • Fig. 2 shows a perspective view of a workstation device according to another embodiment of the invention.
  • Fig. 3 shows a schematic view of a display device according to an embodiment of the invention.
  • Fig. 4 shows a schematic view of a display device according to another embodiment of the invention.
  • FIG. 6 shows a schematic view of a display device according to an embodiment of the invention.
  • FIG. 7 shows a schematic view of a method for selecting
  • Fig. 1 shows a workstation device 200 for an operator of a
  • the workstation device 200 has a display device 100 with a display unit 110 and a touch unit 120.
  • the display device 100 has a display device 100 with a display unit 110 and a touch unit 120.
  • Touch unit 120 may, in particular, overlay a part of display unit 110.
  • the touch unit can also the entire
  • Overlay display unit 110 the touch unit is transparent in such a case, so that the operator of the workstation or the viewer of the display device, the view of the
  • the display unit 110 and the touch unit 120 constitute one
  • Touch unit 120 and the display unit 110 apply mutatis mutandis.
  • the touch unit may be configured to cover the presentation unit, i. that the entire presentation unit with a
  • the display unit 110 has a first display area 111 and a second display area 112, wherein the second display area is angled relative to the first display area in the direction of the user so that the two display areas show an inclusion angle ⁇ 115.
  • the first display area 111 of the display unit 110 and the second display area 112 of the display unit 110 span by their mutually angled position with a viewer position 195, d. H. of the
  • the display room 130 is thus that one
  • An operator using the seat 190 during use of the workstation device 200 may also use the workspace area 140, in addition to the three-dimensional virtual scenario presentation space 130, on which other touch-sensitive or conventional displays may reside.
  • the inclusion angle ⁇ 115 can be dimensioned such that all virtual objects in the display room 130 can be within an arm reach of the user of the workstation device 200.
  • an inclusion angle a which is between 90 degrees and 150 degrees
  • the inclusion angle ⁇ can also be adapted to the individual needs of a single user while both falling below and exceeding the range of 90 degrees to 150 degrees.
  • the inclusion angle ⁇ is 120 degrees.
  • the angled geometry of the presentation unit may reflect the conflict between convergence and accommodation in a viewer of a virtual
  • the three-dimensional virtual scenario can be represented, for example, such that the second display area 112 of the display unit 110 of the virtually represented earth surface or a
  • the inventive workstation device is particularly suitable for longer-term, low-fatigue processing of three-dimensional virtual scenarios with integrated spatial representation of geographically referenced data, such. Aircraft, waypoints, control zones, threat areas, terrain topographies and weather events, with simple intuitive
  • the presentation unit 110 may also have a rounded transition from the first display area 111 to the second display area 112. This avoids or reduces an interfering influence of a real visible edge between the first display area and the second display area on the three-dimensional impression of the virtual scenario.
  • the display unit 110 also in the form of a
  • Circular arc be formed.
  • the workstation device as described above and below thus enables a large stereoscopic display volume or a
  • the workstation device enables a virtual reference surface in the virtual three-dimensional scenario
  • a terrain surface is positioned in the same plane as the actual presentation unit or touch unit.
  • a distance of the virtual objects from the surface of the presentation unit can be reduced, thus reducing a conflict between convergence and accommodation in the viewer. Furthermore, disturbing influences on the three-dimensional impression are reduced as a result of the fact that the operator reaches into the presentation space with one hand and the eye of the observer thus becomes a real object, ie. H. the operator's hand, and perceives virtual objects at the same time.
  • the touch unit 120 is executed at a touch of the
  • Touch unit with the hand of the operator to give a feedback to the operator can be done by a detection unit (not shown) detects the touch coordinates on the touch unit and, for example, the display unit an optical feedback or a sound output unit (not shown) outputs the acoustic feedback.
  • a detection unit detects the touch coordinates on the touch unit and, for example, the display unit an optical feedback or a sound output unit (not shown) outputs the acoustic feedback.
  • the touch unit can output a tactile feedback by means of vibration or vibrations of piezo actuators.
  • 2 shows a workstation device 200 with a display device 100, which is designed to display a three-dimensional virtual scenario, furthermore with three conventional display elements 210, 211, 212 for two-dimensional display of graphics and information, furthermore with two conventional input / interactive devices, such as a computer mouse 171 and a so-called space mouse 170, which is an interaction device with six degrees of freedom and with which elements in space, for example in a three-dimensional scenario, can be controlled.
  • a display device 100 which is designed to display a three-dimensional virtual scenario, furthermore with three conventional display elements 210, 211, 212 for two-dimensional display of graphics and information, furthermore with two conventional input / interactive devices, such as a computer mouse 171 and a so-called space mouse 170, which is an interaction device with six degrees of freedom and with which elements in space, for example in a three-dimensional scenario, can be controlled.
  • the three-dimensional impression of the presentation device 100 is the three-dimensional impression of the presentation device 100
  • the glasses are designed to provide the eyes of a viewer with different images, giving the viewer the impression of a three-dimensional scenario.
  • the spectacles 160 have a multiplicity of so-called reflectors 161, which serve to determine the eye position of a viewer in front of the presentation device 100 and thus, if necessary, to adapt the reproduction of the three-dimensional virtual scene to the position of the observer.
  • the workstation device 200 can for example have a position detection unit (not shown) for this purpose, which detects, for example, by means of a camera system with a plurality of cameras, the eye position due to the position of the reflectors 161.
  • FIG. 3 shows a perspective view of a display device 100 with a display unit 110 and a touch unit 120, wherein the
  • Display unit 110 has a first display area 111 and a second display area 112.
  • a selection area 302 is indicated for each virtual object in the presentation space 130.
  • Each selection area 302 may be connected to the virtual area 301 assigned to this selection area via a selection element 303.
  • the selection element 303 makes it easier for a user to assign a selection area 302 to a virtual object 301
  • the touch unit 120 is designed to transmit the touch coordinates of the operator's finger to an evaluation unit, which the Match coordinates coordinates with the representation coordinates of the selection areas 302 and so can determine the selected virtual object.
  • the touch unit 120 may be configured to respond only to the operator's touch at the locations where a selection area is displayed. This allows the operator to place his hands on the touch unit so that no selection area is touched, whereby putting down the hands can prevent operator fatigue and facilitate easy interaction with the virtual scenario.
  • the described construction of the presentation device 100 thus makes it possible for an operator to interact with a virtual three-dimensional scene and to obtain a real feedback on the sole fact that he is involved in the
  • the selection of a virtual object 301 that has taken place can be signaled to the operator by vibration of the touch unit 120, for example.
  • Touch unit 120 are vibrated only on the size of the selected selection area 302. This can be achieved, for example, by the use of oscillating piezoactuators in the touch unit, the piezoactuators, after detection of the contact coordinates of the
  • Touch unit are made to oscillate at the appropriate position.
  • the virtual objects can also be selected by a selection element in the form of a vertical plane running in the virtual three-dimensional scene when touching the touch unit 120 at the touch position
  • a virtual object 301 is then selected by bringing the selection element into coincidence with the virtual object to be selected. For example, in order to avoid an accidental selection of a virtual object, the selection can take place with a delay in such a way that a virtual object is not selected until the selection element has a certain time in
  • FIG. 4 shows a display device 100 with a display unit 110 and a touch unit 120.
  • a first display area 111 an overview area is displayed in a two-dimensional representation, and a partial area 401 of the overview area is displayed in detail in a display room 130 as a three-dimensional scenario 402.
  • the objects located in the partial section of the overview area are displayed as virtual three-dimensional objects 301.
  • the display device 100 as described above and below enables the operator to change the detail area 402 by moving the partial area in the overview area 401 or by the extract of the overview area in the three-dimensional view in the detail area 402 in the direction of at least one of the three indicated coordinates x, y or z is changed.
  • FIG. 5 shows a workstation device 200 with a display device 100 and a three-dimensional virtual scenario shown in FIG
  • Representation unit 110 and a touch unit 120 which together with the eyes of the operator 501 span the display space 130, in which the virtual objects 301 of the three-dimensional virtual
  • FIG. 6 shows a three-dimensional virtual scenario display device 100 with a display unit 110 and a touch unit 120. In the presentation space 130, virtual three-dimensional objects 301 are imaged.
  • a virtual surface 601 is arranged, on which a marking element 602 can be moved.
  • Marking element 602 moves alone on the virtual surface 601, whereby the marking element 602 has two degrees of freedom in its movement. In other words, the marking element 602 is executed, a
  • the selection of a virtual object in the three-dimensional scenario takes place in that the position of at least one user's eye 503 is detected by means of the reflectors 161 on a pair of glasses worn by the user, and a connecting line 504 is determined from the determined position of the eye 503
  • the position of the eyes of the user can be determined with or without glasses with corresponding reflectors. It should be noted that any mechanisms and methods for determining the position of the eyes can be used in the context of the invention.
  • the selection of a virtual object 301 in the three-dimensional scenario is carried out by extending the connection line 504 into the presentation space 130 and selecting that virtual object whose virtual coordinates are crossed by the connection line 504.
  • the selection of a virtual object 301 is then identified, for example, by means of a selection indicator 603.
  • Marker element 602 moves, even so in the virtual scenario in
  • Display room 130 may be arranged so that from the user's perspective virtual objects 301 are located in front of and / or behind the virtual surface 601.
  • the marker 602 on the virtual surface 601 is moved so that the connecting line 504 crosses the coordinates of a virtual object 301, the marker 602 may be represented in the three-dimensional scenario as having the virtual information three-dimensional coordinates of the selected object occupies. From the user's point of view, this change is then such that, as soon as a virtual object 301 is selected, the marking element 602 makes a spatial movement toward the user or away from the user.
  • Interaction devices such as a computer mouse. This can be done in the
  • Degrees of freedom represent a simpler and faster-to-learn interaction with a three-dimensional scenario, as an input device with less
  • FIG. 7 is a schematic view of a method according to FIG.
  • a selection area of a virtual object is touched in a display area of a three-dimensional virtual scenario.
  • the selection area is coupled to the virtual object such that a
  • Touching the selection area allows a unique determination of the correspondingly selected virtual object.
  • a selection element takes place in the three-dimensional virtual scenario.
  • the selection element can be, for example, a light cylinder running vertically in the three-dimensional virtual scenario.
  • the selection element can be visualized as a function of the contact duration of the selection area, ie. H. the selector element is visualized as soon as a user touches the selection area and can be hidden again as soon as the user removes his / her finger from the selection area. This allows the user to pause or terminate a selection operation of a virtual object, for example, because the user determines that he wishes to select another virtual object.
  • Touch unit not removed once the visualized selection element in the virtual scenario persists and can be moved by performing a movement of the finger on the display surface or the touch unit in the virtual scenario. This allows a user to make the selection of a virtual object by gradually approaching the selection element to just the virtual object to be selected.
  • a fourth step 704 an object is selected in the three-dimensional scenario by bringing the selection element into coincidence with the object to be selected.
  • the selection of the object can be done, for example, by the
  • Selection element is kept a certain time in registration with the object to be selected, for example one second.
  • the period of time after which a virtual object is displayed as selected can be set arbitrarily.
  • a return message is output to the operator after the virtual object has been selected.
  • the feedback can be as described above haptic / tactile, optical or acoustic.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a presentation device (100) for a three-dimensional virtual scenario for selecting objects (301) in the virtual scenario, with feedback when an object has been selected, and to a workplace device with such a presentation device. The presentation device is designed to issue a haptic or tactile, visual or acoustic feedback message when an object is selected.

Description

Interaktion mit einem dreidimensionalen virtuellen Szenario  Interaction with a three-dimensional virtual scenario
Gebiet der Erfindung Die Erfindung betrifft Darstellungsvorrichtungen für ein dreidimensionales virtuelles Szenario. Insbesondere betrifft die Erfindung Darstellungsvorrichtungen für ein dreidimensionales virtuelles Szenario zur Auswahl von Objekten in dem virtuellen Szenario mit Rückmeldung bei erfolgter Auswahl eines der Objekte, eine Arbeitsplatzvorrichtung zur Überwachung eines dreidimensionalen virtuellen Szenarios und Interaktion mit einem dreidimensionalen virtuellen Szenario, eine Verwendung einer Arbeitsplatzvorrichtung zur Überwachung eines FIELD OF THE INVENTION The invention relates to display devices for a three-dimensional virtual scenario. In particular, the invention relates to three-dimensional virtual scenario display devices for selecting objects in the virtual scenario with feedback upon successful selection of one of the objects, a workstation device for monitoring a three-dimensional virtual scenario, and interacting with a three-dimensional virtual scenario, using a workstation device to monitor a
dreidimensionalen virtuellen Szenarios für die Überwachung von Lufträumen, sowie ein Verfahren zur Auswahl von Objekten in einem dreidimensionalen Szenario. Three-dimensional virtual scenarios for the monitoring of airspaces, as well as a method for selecting objects in a three-dimensional scenario.
Technischer Hintergrund der Erfindung Technical background of the invention
Derzeitige Systeme zur Luftraumüberwachung stellen einen zu überwachenden Bereich eines Luftraumes auf herkömmlichen Displays zweidimensional dar. Die Anzeige erfolgt dabei in Form einer kartenähnlichen Draufsicht. Informationen hinsichtlich einer dritten Dimension, beispielsweise Informationen zur Flughöhe eines Flugzeuges oder eines anderen Luftfahrzeuges, werden schriftlich oder in Form einer numerischen Angabe dargestellt. Zusammenfassung der Erfindung Current systems for airspace monitoring represent a monitored area of an airspace on conventional displays two-dimensional. The display takes place in the form of a map-like plan view. Information relating to a third dimension, for example information about the altitude of an aircraft or other aircraft, shall be provided in writing or in the form of a numeric indication. Summary of the invention
Es kann als eine Aufgabe der Erfindung angesehen werden, eine It can be regarded as an object of the invention, a
Darstellungsvorrichtung für ein dreidimensionales virtuelles Szenario anzugeben, welche dem Betrachter bzw. Bediener der Darstellungsvorrichtung eine einfache Interaktion mit dem virtuellen Szenario ermöglicht. Es sind eine Darstellungsvorrichtung, eine Arbeitsplatzvorrichtung, eine Specify a display device for a three-dimensional virtual scenario, which allows the viewer of the display device a simple interaction with the virtual scenario. It is a display device, a workstation device, a
Verwendung einer Arbeitsplatzvorrichtung, ein Verfahren, ein Use of a workstation device, a procedure, a
Computerprogrammelement und ein computerlesbares Medium gemäß den Merkmalen der unabhängigen Patentansprüche angegeben. Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen und aus der folgenden Computer program element and a computer-readable medium according to the features of the independent claims specified. Further developments of the invention will become apparent from the dependent claims and from the following
Beschreibung. Description.
Viele der im Folgenden im Hinblick auf die Darstellungsvorrichtung und die Arbeitsplatzvorrichtung beschriebenen Merkmale lassen sich auch als Many of the features described below with respect to the display device and the workstation device can also be described as
Verfahrensschritte implementieren und umgekehrt. Implement process steps and vice versa.
Gemäß einem ersten Aspekt der Erfindung ist eine Darstellungsvorrichtung für ein dreidimensionales virtuelles Szenario zur Auswahl von Objekten in dem virtuellen Szenario mit Rückmeldung bei erfolgter Auswahl eines Objektes angegeben, welche eine Darstellungseinheit für ein virtuelles Szenario und eine According to a first aspect of the invention, there is provided a three-dimensional virtual scenario display device for selecting objects in the virtual scenario with feedback upon successful selection of an object comprising a virtual scenario renderer and a virtual scenario renderer
Berührungseinheit zur berührungsgesteuerten Auswahl eines Objektes in dem virtuellen Szenario aufweist. Dabei ist die Berührungseinheit in einer  Touch unit for touch-controlled selection of an object in the virtual scenario. The touch unit is in one
Darstellungsfläche des virtuellen Szenarios angeordnet und gibt bei der erfolgten Auswahl eines Objektes in dem dreidimensionalen virtuellen Szenario die Displayed area of the virtual scenario and gives the successful selection of an object in the three-dimensional virtual scenario the
Rückmeldung hierüber an einen Bediener der Darstellungsvorrichtung aus. Feedback about this to an operator of the display device.
Die Darstellungseinheit kann dabei auf stereoskopischen Visualisierungstechniken basieren, welche insbesondere für die Beurteilung von dreidimensionalen The presentation unit can be based on stereoscopic visualization techniques, which are particularly suitable for the evaluation of three-dimensional
Modellen und Datensätzen verwendet werden. Stereoskopische Models and datasets are used. stereoscopic
Visualisierungstechniken ermöglichen einem Betrachter eines dreidimensionalen virtuellen Szenarios ein intuitives Verständnis räumlicher Daten. Diese Visualization techniques allow an observer of a three-dimensional virtual scenario to intuitively understand spatial data. These
Technologien werden jedoch derzeit aufgrund beschränkter und nur aufwändig zu gestaltender Interaktionsmöglichkeiten und aufgrund einer schnellen Ermüdung des Benutzers nicht für längerfristige Tätigkeiten verwendet. Bei der Betrachtung dreidimensionaler virtueller Szenarien kann sich ein Konflikt zwischen Konvergenz (Stellung der Augachsen relativ zueinander) und However, technologies are currently not used for longer-term activities due to limited and complex user interaction options and fast fatigue of the user. When considering three-dimensional virtual scenarios, a conflict between convergence (position of the eye axes relative to each other) and
Akkommodation (Einstellung der Brechkraft der Linse der Augen des Betrachters) ergeben. Beim natürlichen Sehen sind Konvergenz und Akkommodation aneinander gekoppelt und diese Kopplung muss bei der Betrachtung eines dreidimensionalen virtuellen Szenarios aufgehoben werden. Dies liegt daran, dass das Auge auf eine bildgebende Darstellungseinheit fokussiert wird, die Augachsen sich aber auf die virtuellen Objekte ausrichten müssen, die im Raum bzw. dem virtuellen dreidimensionalen Szenario vor oder hinter der bildgebenden Accommodation (adjustment of the refractive power of the lens of the observer's eyes). In natural seeing, convergence and accommodation are coupled together, and this coupling must be removed when considering a three-dimensional virtual scenario. This is because the eye is focused on an imaging unit, but the eye axes must align with the virtual objects that are in space or the virtual three-dimensional scenario in front of or behind the imaging
Darstellungseinheit liegen können. Das Aufheben der Kopplung von Konvergenz und Akkommodation kann zu einer Belastung und damit einer Ermüdung des menschlichen Sehapparates bis hin zu Kopfschmerzen und Übelkeit bei einem Betrachter einer dreidimensionalen virtuellen Szene führen. Insbesondere ergibt sich der Konflikt zwischen Konvergenz und Akkommodation auch dadurch, dass ein Bediener im Zuge einer direkten Interaktion mit dem virtuellen Szenario beispielsweise mit seiner Hand mit Objekten des virtuellen Szenarios interagiert, d.h. dass die reale Position der Hand sich mit den virtuellen Objekten überlagert. In diesem Fall kann der Konflikt zwischen Akkommodation und Konvergenz verstärkt werden. Can lie presentation unit. Unpairing convergence and accommodation can lead to stress and hence fatigue on the human eye to headache and nausea in a viewer of a three-dimensional virtual scene. In particular, the conflict between convergence and accommodation also results from an operator interacting with virtual-scenario objects, for example, with his hand in the course of a direct interaction with the virtual scenario; that the real position of the hand overlaps with the virtual objects. In this case, the conflict between accommodation and convergence can be intensified.
Die direkte Interaktion eines Benutzers mit einem herkömmlichen The direct interaction of a user with a conventional one
dreidimensionalen virtuellen Szenario kann beispielsweise das Tragen von speziellen Handschuhen erfordern. Diese Handschuhe ermöglichen zum einen die Positionsermittlung der Hände des Benutzers und können zum anderen beispielsweise bei der Berührung von virtuellen Objekten eine entsprechende Vibration auslösen. Die Position der Hand wird in diesem Fall üblicherweise mit einem optischen Erfassungssystem ermittelt. Zur Interaktion mit dem virtuellen Szenario bewegt ein Benutzer dabei typischerweise die Hände im Raum vor dem Benutzer. Das Eigengewicht der Arme und das zusätzliche Gewicht der For example, a three-dimensional virtual scenario may require wearing special gloves. On the one hand, these gloves make it possible to determine the position of the user's hands and, on the other hand, they can trigger a corresponding vibration when virtual objects are touched. The position of the hand is usually determined in this case with an optical detection system. To interact with the virtual scenario, a user typically moves their hands in the space in front of the user. The weight of the arms and the extra weight of the
Handschuhe können dabei die Benutzungszeit einschränken, da sich bei dem Benutzer frühzeitig Ermüdungserscheinungen einstellen können. Insbesondere im Bereich der Luftraumüberwachung bzw. der Luftfahrt gibt es Situationen, in denen zwei Arten von Informationen nötig sind, um ein gutes Verständnis von der aktuellen Luftraumlage und deren Entwicklung in der Zukunft aufzubauen. Dies sind einerseits der globale Blick auf die Gesamtsituation und andererseits auch der detaillierte Blick auf die für eine potentielle Konfliktsituation relevanten Elemente. Ein Fluglotse beispielsweise, der eine Konfliktsituation zwischen zwei Luftfahrzeugen auflösen muss, muss sowohl die beiden Gloves can limit the time of use, since the user may experience signs of fatigue early on. Particularly in the field of airspace surveillance or aviation, there are situations where two types of information are needed to build a good understanding of the current airspace situation and its evolution in the future. On the one hand, these are the global view of the overall situation and, on the other hand, a detailed look at the elements that are relevant for a potential conflict situation. An air traffic controller, for example, who has to resolve a conflict situation between two aircraft, must have both
Luftfahrzeugtrajektorien im Detail analysieren als auch die weiteren Analyze aircraft trajectories in detail as well as the others
Rahmenbedingungen der Umgebung mit in seine Lösung aufnehmen, um zu vermeiden, dass durch die Lösung des aktuellen Konfliktes ein neuer Konflikt geschaffen wird. In order to avoid creating a new conflict through resolution of the current conflict
Perspektivische Anzeigen zur Darstellung eines räumlich wirkenden Szenarios ermöglichen zwar eine grafische Repräsentation eines dreidimensionalen Although perspective displays for the representation of a spatially acting scenario allow a graphical representation of a three-dimensional scenario
Szenarios, beispielsweise eines Luftraumes, können aber aufgrund von Scenarios, such as airspace, but may be due to
Mehrdeutigkeiten der Darstellung nicht für sicherheitskritische Anwendungen geeignet sein. Gemäß einem Aspekt der Erfindung wird eine Darstellung von dreidimensionalen Szenarien bereitgestellt, welche sowohl eine Überblicksdarstellung als auch eine Detaildarstellung gleichzeitig ermöglicht, eine einfache und direkte Ambiguities of the presentation should not be suitable for safety-critical applications. According to one aspect of the invention, a representation of three-dimensional scenarios is provided that allows both an overview and a detail display simultaneously, a simple and direct one
Interaktionsmöglichkeit eines Benutzers mit dem dreidimensionalen virtuellen Szenario bereitstellt, sowie ein ermüdungsarmes und den Sehapparat eines Benutzers schonendes Benutzen ermöglicht. Provides interaction possibility of a user with the three-dimensional virtual scenario, as well as allows a low-fatigue and the visual system of a user gentle use.
Die Darstellungseinheit ist ausgeführt, bei einem Betrachter den Eindruck eines dreidimensionalen Szenarios hervorzurufen. Dabei kann die Darstellungseinheit über wenigstens zwei Projektionseinrichtungen verfügen, welche für jedes einzelne Auge des Betrachters ein unterschiedliches Bild projizieren, so dass ein dreidimensionaler Eindruck bei dem Betrachter entsteht. Die Darstellungseinheit kann aber auch ausgeführt sein, unterschiedlich polarisierte Bilder darzustellen, wobei eine Brille des Betrachters mit entsprechend polarisierten Gläsern dazu führt, dass jeweils ein Auge jeweils ein Bild wahrnehmen kann und so ein dreidimensionaler Eindruck bei dem Betrachter entsteht. Es sei darauf The presentation unit is designed to evoke the impression of a three-dimensional scenario with a viewer. In this case, the presentation unit can have at least two projection devices which project a different image for each individual eye of the observer, so that a three-dimensional impression is created in the viewer. The presentation unit However, it can also be designed to display differently polarized images, with spectacles of the observer having correspondingly polarized lenses resulting in one eye in each case being able to perceive one image and thus creating a three-dimensional impression on the viewer. It is important
hingewiesen, dass jedwede Technologie zur Darstellung eines dreidimensionalen Szenarios als Darstellungseinheit im Zusammenhang mit der Erfindung genutzt werden kann. It should be understood that any technology for representing a three-dimensional scenario may be utilized as a presentation unit in the context of the invention.
Die Berührungseinheit ist ein Eingabeelement zur berührungsgesteuerten The touch unit is an input element for touch-controlled
Auswahl eines Objektes in dem dreidimensionalen virtuellen Szenario. Dabei kann die Berührungseinheit beispielsweise transparent sein und im dreidimensionalen Darstellungsraum des virtuellen Szenarios angeordnet sein, so dass ein Objekt des virtuellen Szenarios dadurch ausgewählt wird, dass der Benutzer mit einer Hand oder mit beiden Händen in den dreidimensionalen Darstellungsraum greift und die Berührungseinheit berührt. Die Berührungseinheit kann an einer beliebigen Stelle des dreidimensionalen Darstellungsraums oder außerhalb des dreidimensionalen Darstellungsraums angeordnet sein. Die Berührungseinheit kann als Ebene oder als beliebig geometrisch geformte Fläche ausgeführt sein. Insbesondere kann die Berührungseinheit als flexibel formbares Element ausgeführt sein, um die Berührungseinheit an das dreidimensionale virtuelle Szenario anpassen zu können. Selection of an object in the three-dimensional virtual scenario. In this case, the touch unit may for example be transparent and be arranged in the three-dimensional display space of the virtual scenario, so that an object of the virtual scenario is selected by the user gripping the three-dimensional presentation space with one hand or both hands and touching the touch unit. The touch unit may be located anywhere in the three-dimensional presentation space or outside the three-dimensional presentation space. The touch unit can be designed as a plane or as an arbitrarily geometrically shaped surface. In particular, the touch unit can be designed as a flexibly formable element in order to be able to adapt the touch unit to the three-dimensional virtual scenario.
Die Berührungseinheit kann beispielsweise kapazitive oder resistive Messsysteme oder infrarotbasierte Gitter aufweisen, um die Koordinaten eines oder mehrerer Berührungspunkte, an dem bzw. denen der Benutzer die Berührungseinheit berührt, zu ermitteln. In Abhängigkeit der Koordinaten eines Berührungspunktes wird beispielsweise dasjenige Objekt in dem dreidimensionalen virtuellen Szenario ausgewählt, welches dem Berührungspunkt am nächsten kommt. Gemäß einer Ausführungsform der Erfindung ist die Berührungseinheit ausgeführt, einen Auswahlbereich für das Objekt darzustellen. Dabei erfolgt die Auswahl des Objektes durch Berühren des Auswahlbereichs. Eine Berechnungsvorrichtung kann beispielsweise eine Position der The touch unit may comprise, for example, capacitive or resistive measurement systems or infrared-based gratings to determine the coordinates of one or more touch points at which the user touches the touch unit. Depending on the coordinates of a point of contact, for example, that object in the three-dimensional virtual scenario which comes closest to the point of contact is selected. According to an embodiment of the invention, the touch unit is adapted to represent a selection area for the object. The object is selected by touching the selection area. A computing device may, for example, a position of the
Auswahlbereiche in dem dreidimensionalen virtuellen Szenario so berechnen, dass die Auswahlbereiche auf der Berührungseinheit dargestellt werden. Damit wird ein Auswahlbereich aktiviert, indem die Berührungseinheit an der  Calculate selection areas in the three-dimensional virtual scenario so that the selection areas are displayed on the touch unit. Thus, a selection area is activated by the touch unit at the
entsprechenden Position in dem virtuellen Szenario von dem Benutzer berührt wird. corresponding position in the virtual scenario is touched by the user.
Selbstverständlich kann die Berührungseinheit ausgeführt sein, eine Vielzahl von Auswahlbereichen für eine Vielzahl von Objekten darzustellen, wobei jeweils ein Auswahlbereich einem Objekt in dem virtuellen Szenario zugewiesen ist. Of course, the touch unit may be configured to represent a plurality of selection regions for a plurality of objects, each having a selection region assigned to an object in the virtual scenario.
Insbesondere die direkte Interaktion des Benutzers mit dem virtuellen Szenario ohne Einsatz von Hilfsmitteln, wie z. B. Handschuhen, ermöglicht eine einfache Bedienung und beugt einer Ermüdung des Benutzers vor. Gemäß einer weiteren Ausführungsform der Erfindung erfolgt die Rückmeldung bei erfolgter Auswahl eines der Objekte aus dem virtuellen Szenario zumindest teilweise durch eine Vibration der Berührungseinheit oder durch auf die In particular, the direct interaction of the user with the virtual scenario without the use of tools, such. As gloves, allows easy operation and prevents fatigue of the user. According to a further embodiment of the invention, the feedback is made at the successful selection of one of the objects from the virtual scenario at least partially by a vibration of the touch unit or by the on
bedienende Hand gerichtete fokussierte Ultraschallwellen. Dadurch, dass ein Auswahlbereich für ein Objekt des virtuellen Szenarios im virtuellen Szenario auf der Berührungseinheit liegt, wird dem Benutzer die using hand focused focused ultrasonic waves. The fact that a selection area for a virtual scenario object in the virtual scenario is on the touch unit, the user is the
Auswahl schon alleine dadurch signalisiert, dass dieser mit seinem Finger einen real vorhandenen Gegenstand, d. h. die Berührungseinheit, berührt. Eine weitere Rückmeldung bei erfolgter Auswahl des Objektes in dem virtuellen Szenario kann zusätzlich dadurch erfolgen, dass bei erfolgreicher Auswahl des Objektes eine Vibration der Berührungseinheit erfolgt. Die Berührungseinheit kann beispielsweise als Ganzes in Vibration versetzt werden, beispielsweise unter Zuhilfenahme eines Motors, insbesondere eines Vibrationsmotors, oder es können einzelne Bereiche der Berührungseinheit in Vibration versetzt werden. Already indicates selection alone by the fact that this touches a real existing object, ie the touch unit with his finger. Further feedback when the object has been selected in the virtual scenario can additionally be achieved by a vibration of the touch unit upon successful selection of the object. The touch unit may, for example, be vibrated as a whole, for example with the aid of a motor, in particular a vibration motor, or individual areas of the touch unit may be vibrated.
Daneben können beispielsweise auch Piezoaktoren als Schwingungselemente verwendet werden, wobei die Piezoaktoren jeweils bei erfolgter Auswahl eines Objektes in dem virtuellen Szenario an dem Berührungspunkt zum Schwingen gebracht werden und dem Benutzer so die erfolgte Auswahl des Objektes signalisieren. In addition, for example, piezoelectric actuators can also be used as vibration elements, with the piezoelectric actuators in each case being made to oscillate at the point of contact when an object has been selected in the virtual scenario, thus signaling the user to select the object.
Gemäß einer weiteren Ausführungsform der Erfindung weist die According to a further embodiment of the invention, the
Berührungseinheit eine Vielzahl von Bereichen auf, welche wahlweise zur taktilen Rückmeldung über die Auswahl eines Objektes in dem virtuellen Szenario selektierbar sind. Touch unit on a variety of areas, which are selectively selectable for tactile feedback on the selection of an object in the virtual scenario.
Die Berührungseinheit kann ausgeführt sein, die Auswahl mehrerer Objekte gleichzeitig zu erlauben. Beispielsweise kann ein Objekt mit einer ersten Hand und ein weiteres Objekt mit einer zweiten Hand des Benutzers ausgewählt werden. Um dem Benutzer eine zuordenbare Rückmeldung geben zu können, kann die Berührungseinheit im Bereich eines Auswahlbereichs für ein Objekt zur Ausgabe einer taktilen Rückmeldung, d.h. beispielsweise zur Ausführung einer Vibration, ausgewählt werden. Dies ermöglicht dem Benutzer insbesondere bei der Auswahl von mehreren Objekten zu erkennen, welches der Objekte ausgewählt wurde und welches noch nicht. The touch unit may be configured to allow selection of multiple objects at the same time. For example, an object with a first hand and another object with a second hand of the user can be selected. In order to be able to give the user an assignable feedback, the touch unit can be located in the area of a selection area for an object for outputting a tactile feedback, i. for example, to perform a vibration. This allows the user, in particular when selecting multiple objects, to recognize which of the objects has been selected and which has not.
Daneben kann die Berührungseinheit ausgeführt sein, eine Veränderung eines Kartenmaßstabs und ein Verschieben des dargestellten Kartenbereichs zu ermöglichen. Als taktile Rückmeldung wird beispielsweise eine Vibration oder die Schwingung eines piezoelektrischen Aktors verstanden. In addition, the touch unit can be designed to allow a change of a map scale and a shifting of the illustrated map area. Tactile feedback is understood as meaning, for example, a vibration or the vibration of a piezoelectric actuator.
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt die Rückmeldung über die erfolgte Auswahl eines Objektes in dem dreidimensionalen Szenario zumindest teilweise durch Ausgabe eines optischen Signals. According to a further embodiment of the invention, the feedback on the successful selection of an object in the three-dimensional scenario is at least partially carried out by outputting an optical signal.
Dabei kann das optische Signal alternativ oder zusätzlich zu der taktilen In this case, the optical signal can alternatively or additionally to the tactile
Rückmeldung bei Auswahl eines Objektes erfolgen. Feedback when selecting an object done.
Unter Rückmeldung mittels eines optischen Signals wird dabei das Hervorheben oder das Darstellen eines Auswahlzeigers verstanden. Beispielsweise kann die Helligkeit des ausgewählten Objektes verändert werden oder das ausgewählte Objekt kann mit einem Rahmen bzw. einer Umrandung versehen werden oder es wird neben dem ausgewählten Objekt in dem virtuellen Szenario ein auf dieses Objekt zeigendes Zeigeelement dargestellt. Under feedback by means of an optical signal is understood to highlight or represent a selection pointer. For example, the brightness of the selected object may be changed, or the selected object may be provided with a border, or a pointing element pointing to that object may be displayed next to the selected object in the virtual scenario.
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt die Rückmeldung über die Auswahl eines Objektes in dem virtuellen Szenario zumindest teilweise durch Ausgabe eines akustischen Signals. According to a further embodiment of the invention, the feedback about the selection of an object in the virtual scenario takes place at least partially by the output of an acoustic signal.
Das akustische Signal kann dabei alternativ zu der taktilen Rückmeldung und/oder dem optischen Signal ausgegeben werden, aber auch zusätzlich zu der taktilen Rückmeldung und/oder dem optischen Signal. The acoustic signal can be output as an alternative to the tactile feedback and / or the optical signal, but also in addition to the tactile feedback and / or the optical signal.
Unter einem akustischen Signal wird dabei beispielsweise die Ausgabe eines kurzen Tons über eine Ausgabeeinheit, beispielsweise einen Lautsprecher, verstanden. In this case, an acoustic signal is understood as meaning, for example, the output of a short tone via an output unit, for example a loudspeaker.
Gemäß einer weiteren Ausführungsform der Erfindung weist die According to a further embodiment of the invention, the
Darstellungseinheit einen Überblicksbereich und einen Detailbereich auf, wobei der Detailbereich einen wählbaren Ausschnitt der virtuellen Szene des Presentation unit on an overview area and a detail area, where the detail area a selectable section of the virtual scene of the
Überblicksbereichs wiedergibt. Overview area.
Dieser Aufbau ermöglicht es dem Benutzer, gleichzeitig das Gesamtszenario im Überblicksbereich und einen von dem Benutzer wählbaren kleineren Bereich im Detailbereich genauer zu betrachten. This structure allows the user to view more closely the overall scenario in the overview area and a user-selectable smaller area in the detail area.
Der Überblicksbereich kann beispielsweise als zweidimensionale Anzeige und der Detailbereich als räumliche Darstellung wiedergegeben werden. Der im The overview area can be reproduced, for example, as a two-dimensional display and the detail area as a spatial representation. The im
Detailbereich dargestellte Ausschnitt des virtuellen Szenarios kann verschoben, gedreht oder in seiner Größe verändert werden. Detail section of the virtual scenario can be moved, rotated or resized.
Damit wird es beispielsweise einem Fluglotsen bei der Überwachung eines Thus it becomes for example an air traffic controller with the supervision of a
Luftraumes auf einfache und überschaubare Art und Weise ermöglicht, sowohl einen Blick auf die Gesamtluftraumlage im Überblicksbereich als auch auf potenzielle Konfliktsituationen im Detailbereich zu haben. Die Erfindung ermöglicht es dem Bediener, den Detailbereich in Abhängigkeit der jeweiligen Bedürfnisse zu verändern, d.h. es kann ein beliebiger Bereich der Überblicksdarstellung für die Detaildarstellung ausgewählt werden. Diese Auswahl kann selbstverständlich auch so erfolgen, dass ein ausgewählter Bereich der Detaildarstellung in der Übersichtsdarstellung angezeigt wird. Airspace in a simple and manageable way allows to have both a view of the overall airspace situation in the overview area as well as potential conflict situations in the detail area. The invention allows the operator to change the detail area depending on the particular needs, i. Any area of the overview display can be selected for the detailed display. Of course, this selection can also be made such that a selected area of the detailed representation is displayed in the overview representation.
Durch die in der räumlichen Darstellung zusätzlich enthaltene Tiefeninformation erhält der Fluglotse auf intuitive Art und Weise mehr Informationen als über eine zweidimensionale Darstellung mit zusätzlicher schriftlicher und numerischer Angabe von weiteren Informationen, wie z. B. der Flughöhe. Through the additional depth information contained in the spatial representation of the air traffic controller in an intuitive manner receives more information than a two-dimensional representation with additional written and numeric indication of other information, such. B. the altitude.
Die oben beschriebene Darstellung von Überblicksbereich und Detailbereich ermöglicht die zeitgleiche Überwachung des Gesamtszenarios und die The above description of the overview area and detail area enables the simultaneous monitoring of the overall scenario and the
Bearbeitung einer Detaildarstellung auf einen Blick. Damit wird das Situationsbewusstsein des Bearbeiters eines virtuellen Szenarios verbessert und damit die Bearbeiterleistung erhöht. Processing a detailed presentation at a glance. This will be the Improved situation awareness of the editor of a virtual scenario and thus increases the processing power.
Gemäß einem weiteren Aspekt der Erfindung ist eine Arbeitsplatzvorrichtung zur Überwachung eines dreidimensionalen virtuellen Szenarios mit einer According to a further aspect of the invention, a workstation device for monitoring a three-dimensional virtual scenario with a
Darstellungsvorrichtung für ein dreidimensionales virtuelles Szenario zur Auswahl von Objekten in dem virtuellen Szenario mit Rückmeldung bei erfolgter Auswahl eines der Objekte wie oben und im Folgenden beschrieben angegeben. Die Arbeitsplatzvorrichtung kann beispielsweise auch zur Steuerung von unbemannten Luftfahrzeugen oder aber zur Überwachung von beliebigen  A three-dimensional virtual scenario display device for selecting objects in the virtual scenario with feedback upon successful selection of one of the objects as described above and described below. The workplace device can also be used, for example, to control unmanned aerial vehicles or to monitor any
Szenarien durch einen oder mehrere Benutzer eingesetzt werden. Scenarios can be used by one or more users.
Die Arbeitsplatzvorrichtung wie oben und im Folgenden beschrieben kann selbstverständlich über eine Mehrzahl von Darstellungsvorrichtungen verfügen, daneben aber auch eines oder mehrere herkömmliche Displays zur Darstellung zusätzlicher zweidimensionaler Informationen aufweisen. Diese Displays können mit der Darstellungsvorrichtung beispielsweise so gekoppelt sein, dass eine gegenseitige Beeinflussung der dargestellten Informationen möglich ist. The workstation device as described above and below may, of course, have a plurality of display devices but also have one or more conventional displays for displaying additional two-dimensional information. These displays can be coupled with the display device, for example, so that a mutual influence of the information displayed is possible.
Beispielsweise kann auf einem Display ein Flugplan dargestellt werden und bei Auswahl eines Eintrags aus dem Flugplan das entsprechende Flugzeug im For example, a flight plan can be displayed on a display and, if an entry from the flight plan is selected, the corresponding aircraft in the
Überblicksbereich und/oder im Detailbereich abgebildet werden. Die Displays können insbesondere auch so angeordnet sein, dass die Darstellungsbereiche der aller Displays ineinander übergehen oder mehrere Darstellungsbereiche auf einem physikalischen Display angezeigt werden. Overview area and / or in the detail area. In particular, the displays can also be arranged so that the display areas of all the displays merge into one another or a plurality of display areas are displayed on a physical display.
Weiterhin kann die Arbeitsplatzvorrichtung Eingabeelemente aufweisen, die alternativ oder zusätzlich zu der direkten Interaktion mit dem dreidimensionalen virtuellen Szenario benutzt werden können. Die Arbeitsplatzvorrichtung kann eine sog. Computermaus, eine Tastatur oder verwendungstypische Interaktionsgeräte, beispielsweise diejenigen eines Furthermore, the workstation device may include input elements that may be used alternatively or in addition to interacting directly with the three-dimensional virtual scenario. The workstation device may be a so-called. Computer mouse, a keyboard or use-typical interaction devices, such as those of a
Fluglotsenarbeitsplatzes, aufweisen. Ebenso kann es sich bei allen Displays bzw. Darstellungseinheiten um Air traffic controller workplace, exhibit. Likewise, it can at all displays or presentation units to
herkömmliche Displays oder um berührungsempfindliche Displays bzw. conventional displays or touch-sensitive displays or
Darstellungseinheiten (sog. Touchscreens) handeln. Presentation units (so-called touch screens) act.
Gemäß einem weiteren Aspekt der Erfindung ist eine Arbeitsplatzvorrichtung wie oben und im Folgenden beschrieben zur Überwachung von Lufträumen According to another aspect of the invention, a workstation device is as described above and below for monitoring airspaces
angegeben. specified.
Die Arbeitsplatzvorrichtung kann ebenso zur Überwachung und Steuerung unbemannter Luftfahrzeuge eingesetzt werden sowie zur Analyse eines The workstation device can also be used to monitor and control unmanned aerial vehicles and to analyze a
aufgezeichneten dreidimensionalen Szenarios, beispielsweise zu recorded three-dimensional scenarios, for example
Ausbildungszwecken. Training purposes.
Ebenso kann die Arbeitsplatzvorrichtung auch zur Steuerung von Komponenten wie beispielsweise einer Kamera oder sonstiger Sensoren, welche Bestandteil eines unbemannten Luftfahrzeugs sind, verwendet werden. Likewise, the workstation device may also be used to control components such as a camera or other sensors that are part of an unmanned aerial vehicle.
Die Arbeitsplatzvorrichtung kann ausgeführt sein, in dem dreidimensionalen Szenario beispielsweise eine Sperrzone oder einen Gefährdungsbereich darzustellen. Dabei ermöglicht es die dreidimensionale Darstellung des The workstation device may be configured to represent, for example, a restricted zone or hazardous area in the three-dimensional scenario. It allows the three-dimensional representation of the
Luftraumes, einfach und schnell zu erkennen, ob ein Luftfahrzeug beispielsweise droht, eine Sperrzone oder einen Gefährdungsbereich zu durchfliegen. Eine Sperrzone oder ein Gefährdungsbereich können dabei beispielsweise als virtueller Körper in Größe der Sperrzone bzw. des Gefährdungsbereichs dargestellt werden. Gemäß einem weiteren Aspekt der Erfindung ist ein Verfahren zur Auswahl von Objekten in einem dreidimensionalen Szenario angegeben. Dabei erfolgt in einem ersten Schritt das Berühren einer Auswahlfläche eines virtuellen Objektes in einer Darstellungsfläche eines dreidimensionalen virtuellen Szenarios. In einem darauffolgenden Schritt wird eine Rückmeldung an einen Bediener nach erfolgter Auswahl des virtuellen Objektes ausgegeben. Airspace, easy and quick to detect whether an aircraft threatens, for example, to fly through a restricted zone or a hazardous area. An exclusion zone or a danger zone can be represented, for example, as a virtual body in the size of the exclusion zone or the hazardous area. In accordance with another aspect of the invention, a method of selecting objects in a three-dimensional scenario is provided. In a first step, a selection area of a virtual object is touched in a display area of a three-dimensional virtual scenario. In a subsequent step, a response is issued to an operator after the selection of the virtual object.
Gemäß einer Ausführungsform der Erfindung weist das Verfahren weiterhin die Schritte auf: Visualisieren eines Auswahlelementes in dem dreidimensionalen virtuellen Szenario, Bewegen des Auswahlelementes entsprechend einer Fingerbewegung des Bedieners auf der Darstellungsfläche, Auswählen eines Objektes in dem dreidimensionalen Szenario, indem das Auswahlelement in Überdeckung mit dem auszuwählenden Objekt gebracht wird. Dabei erfolgt das Visualisieren des Auswahlelementes, das Bewegen des Auswahlelementes und das Auswählen des Objektes nach dem Berühren der Auswahlfläche. According to an embodiment of the invention, the method further comprises the steps of: visualizing a selection element in the three-dimensional virtual scenario, moving the selection element according to a finger movement of the operator on the presentation surface, selecting an object in the three-dimensional scenario by matching the selection element with the one to be selected Object is brought. The visualization of the selection element, the movement of the selection element and the selection of the object takes place after touching the selection surface.
Das Auswahlelement kann beispielsweise in dem virtuellen Szenario dargestellt werden, wenn der Bediener die Berührungseinheit berührt. Dabei wird das Auswahlelement beispielsweise in dem virtuellen Szenario als senkrecht verlaufender Lichtkegel oder Lichtzylinder dargestellt und bewegt sich durch das dreidimensionale virtuelle Szenario entsprechend einer Fingerbewegung desFor example, the selector may be displayed in the virtual scenario when the operator touches the touch unit. In this case, the selection element is represented, for example, in the virtual scenario as a vertically extending beam of light or a light cylinder and moves through the three-dimensional virtual scenario in accordance with a finger movement of the finger
Bedieners auf der Berührungseinheit. Trifft das Auswahlelement auf ein Objekt in dem dreidimensionalen virtuellen Szenario, so wird dieses Objekt für weitere Operationen ausgewählt, soweit der Benutzer das Auswahlelement eine bestimmte Zeit im Wesentlichen unbewegt auf dem Objekt von dem Operator on the touch unit. If the selection element encounters an object in the three-dimensional virtual scenario, then this object is selected for further operations, as long as the user remains essentially immobile on the object of the selection element for a certain time
dreidimensionalen virtuellen Szenario belässt. Beispielsweise kann die Auswahl des Objektes in dem virtuellen Szenario erfolgen, nachdem das Auswahlelement eine Sekunde unbewegt ein Objekt überlagert. Durch diese Wartezeit soll vermieden werden, dass Objekte in dem virtuellen Szenario ausgewählt werden, obwohl das Auswahlelement lediglich an diesen vorbeigeführt wurde. Die Darstellung eines Auswahlelementes in dem virtuellen Szenario vereinfacht die Auswahl eines Objektes und ermöglicht es, dass der Bediener ein Objekt auswählen kann, ohne die Position seiner Hand in dem virtuellen Szenario zu beachten. three-dimensional virtual scenario leaves. For example, the selection of the object in the virtual scenario may occur after the selector element unmoving an object for one second. This waiting time is to prevent objects from being selected in the virtual scenario, even though the selection element has only been passed by them. The presentation of a selection item in the virtual scenario simplifies the selection of an item and allows the operator to select an item without considering the position of his hand in the virtual scenario.
Die Auswahl eines Objektes erfolgt damit dadurch, dass das Auswahlelement durch Bewegung der Hand in Überdeckung mit dem auszuwählenden Objekt gebracht wird, was dadurch ermöglicht wird, dass das Auswahlelement beispielsweise in Form eines Lichtzylinders senkrecht durch das virtuelle Szenario verläuft. The selection of an object thus takes place in that the selection element is brought into coincidence with the object to be selected by movement of the hand, which is made possible in that the selection element, for example in the form of a light cylinder, runs vertically through the virtual scenario.
Das Auswahlelement in Überdeckung mit einem Objekt im virtuellen Szenario zu bringen, bedeutet, dass sich die virtuelle räumliche Ausdehnung des To bring the selection element into coincidence with an object in the virtual scenario means that the virtual spatial extent of the
Auswahlelementes in mindestens einem Punkt mit den Koordinaten des auszuwählenden virtuellen Objektes überschneidet. Selection element in at least one point overlaps with the coordinates of the virtual object to be selected.
Gemäß einem weiteren Aspekt der Erfindung ist ein Computerprogrammelement zur Steuerung einer Darstellungsvorrichtung für ein dreidimensionales virtuelles Szenarios zur Auswahl von Objekten in dem virtuellen Szenario mit Rückmeldung bei erfolgter Auswahl eines der Objekte angegeben, welches ausgeführt ist, das Verfahren zur Auswahl von virtuellen Objekten in einem dreidimensionalen virtuellen Szenario wie oben und im Folgenden beschrieben durchzuführen, wenn das Computerprogrammelement auf einem Prozessor einer Recheneinheit ausgeführt wird. According to a further aspect of the invention, a computer program element for controlling a three-dimensional virtual scenario display device for selecting objects in the virtual scenario with feedback upon successful selection of one of the objects is executed, the method of selecting virtual objects in a three-dimensional one virtual scenario as described above and described when the computer program element is executed on a processor of a computing unit.
Das Computerprogrammelement kann dazu dienen, einen Prozessor der The computer program element can serve a processor of the
Recheneinheit anzuleiten, das Verfahren zur Auswahl von virtuellen Objekten in einem dreidimensionalen virtuellen Szenario auszuführen. Gemäß einem weiteren Aspekt der Erfindung ist ein computerlesbares Medium mit dem Computerprogrammelement wie oben und im Folgenden beschrieben angegeben. Ein computerlesbares Medium kann dabei jedes flüchtige oder nicht flüchtige Speichermedium sein, beispielsweise eine Festplatte, eine CD, eine DVD, eine Diskette, eine Speicherkarte oder jedes beliebige andere computerlesbare To guide computing unit to perform the method for selecting virtual objects in a three-dimensional virtual scenario. According to another aspect of the invention, a computer-readable medium is indicated with the computer program element as described above and below. A computer-readable medium may be any volatile or non-volatile storage medium, such as a hard disk, a CD, a DVD, a floppy disk, a memory card, or any other computer-readable medium
Medium bzw. Speichermedium. Im Folgenden werden mit Verweis auf die Figuren Ausführungsbeispiele der Erfindung beschrieben. Medium or storage medium. In the following, embodiments of the invention will be described with reference to the figures.
Kurze Beschreibung der Figuren Fig. 1 zeigt eine Seitenansicht einer Arbeitsplatzvorrichtung gemäß einem Brief Description of the Drawings Fig. 1 is a side view of a workstation device according to one
Ausführungsbeispiel der Erfindung. Embodiment of the invention.
Fig. 2 zeigt eine perspektivische Ansicht einer Arbeitsplatzvorrichtung gemäß einem weiteren Ausführungsbeispiel der Erfindung. Fig. 2 shows a perspective view of a workstation device according to another embodiment of the invention.
Fig. 3 zeigt eine schematische Ansicht einer Darstellungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung. Fig. 3 shows a schematic view of a display device according to an embodiment of the invention.
Fig. 4 zeigt eine schematische Ansicht einer Darstellungsvorrichtung gemäß einem weiteren Ausführungsbeispiel der Erfindung. Fig. 4 shows a schematic view of a display device according to another embodiment of the invention.
Fig. 5 zeigt eine Seitenansicht einer Arbeitsplatzvorrichtung gemäß einem Fig. 5 shows a side view of a workplace device according to a
Ausführungsbeispiel der Erfindung. Fig. 6 zeigt eine schematische Ansicht einer Darstellungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung. Fig. 7 zeigt eine schematische Ansicht eines Verfahrens zur Auswahl von Embodiment of the invention. Fig. 6 shows a schematic view of a display device according to an embodiment of the invention. FIG. 7 shows a schematic view of a method for selecting
Objekten in einem dreidimensionalen Szenario gemäß einem Ausführungsbeispiel der Erfindung. Objects in a three-dimensional scenario according to an embodiment of the invention.
Detaillierte Beschreibung von Ausführungsbeispielen Detailed description of embodiments
Fig. 1 zeigt eine Arbeitsplatzvorrichtung 200 für einen Bediener eines Fig. 1 shows a workstation device 200 for an operator of a
dreidimensionalen virtuellen Szenarios. three-dimensional virtual scenarios.
Die Arbeitsplatzvorrichtung 200 weist eine Darstellungsvorrichtung 100 mit einer Darstellungseinheit 110 und einer Berührungseinheit 120 auf. Die The workstation device 200 has a display device 100 with a display unit 110 and a touch unit 120. The
Berührungseinheit 120 kann insbesondere einen Teil der Darstellungseinheit 110 überlagern. Die Berührungseinheit kann aber auch die gesamte Touch unit 120 may, in particular, overlay a part of display unit 110. The touch unit can also the entire
Darstellungseinheit 110 überlagern. Selbstverständlich ist die Berührungseinheit in einem solchen Fall transparent, damit dem Bediener der Arbeitsplatzvorrichtung bzw. dem Betrachter der Darstellungsvorrichtung der Blick auf die Overlay display unit 110. Of course, the touch unit is transparent in such a case, so that the operator of the workstation or the viewer of the display device, the view of the
Darstellungseinheit weiterhin ermöglicht wird. In anderen Worten bilden die Darstellungseinheit 110 und die Berührungseinheit 120 ein Presentation unit is still possible. In other words, the display unit 110 and the touch unit 120 constitute one
berührungsempfindliches Display. touch-sensitive display.
Es sei darauf hingewiesen, dass die oben und im Folgenden dargestellten It should be noted that the above and below
Ausführungen hinsichtlich dem Aufbau und der Anordnung der Darstellungseinheit 110 bzw. der Berührungseinheit 120 entsprechend auch jeweils für die Embodiments with regard to the structure and the arrangement of the display unit 110 and the touch unit 120 corresponding to each for the
Berührungseinheit 120 bzw. die Darstellungseinheit 110 sinngemäß gelten. Die Berührungseinheit kann so ausgeführt sein, dass sie die Darstellungseinheit abdeckt, d.h. dass die gesamte Darstellungseinheit mit einer Touch unit 120 and the display unit 110 apply mutatis mutandis. The touch unit may be configured to cover the presentation unit, i. that the entire presentation unit with a
berührungsempfindlichen Berührungseinheit versehen ist, sie kann aber auch so ausgeführt sein, dass lediglich ein Teil der Darstellungseinheit mit einer However, it may also be designed so that only a part of the display unit with a
berührungsempfindlichen Berührungseinheit versehen ist. Die Darstellungseinheit 110 weist einen ersten Darstellungsbereich 111 und einen zweiten Darstellungsbereich 112 auf, wobei der zweite Darstellungsbereich relativ zum ersten Darstellungsbereich in Richtung des Benutzers so abgewinkelt ist, dass die beiden Darstellungsbereiche einen Einschlusswinkel α 115 aufzeigen. touch-sensitive touch unit is provided. The display unit 110 has a first display area 111 and a second display area 112, wherein the second display area is angled relative to the first display area in the direction of the user so that the two display areas show an inclusion angle α 115.
Der erste Darstellungsbereich 111 der Darstellungseinheit 110 und der zweite Darstellungsbereich 112 der Darstellungseinheit 110 spannen durch ihre zueinander abgewinkelte Lage mit einer Betrachterposition 195, d. h. der The first display area 111 of the display unit 110 and the second display area 112 of the display unit 110 span by their mutually angled position with a viewer position 195, d. H. of the
Augenposition des Betrachters, einen Darstellungsraum 130 für das Eye position of the viewer, a presentation room 130 for the
dreidimensionale virtuelle Szenario auf. three-dimensional virtual scenario on.
Bei dem Darstellungsraum 130 handelt es sich damit um dasjenige The display room 130 is thus that one
Raumvolumen, in dem die sichtbare dreidimensionale virtuelle Szene dargestellt wird. Room volume in which the visible three-dimensional virtual scene is displayed.
Ein Bediener, welcher die Sitzgelegenheit 190 während der Benutzung der Arbeitsplatzvorrichtung 200 nutzt, kann neben dem Darstellungsraum 130 für das dreidimensionale virtuelle Szenario auch den Arbeitsplatzbereich 140 nutzen, auf dem sich weitere berührungsempfindliche oder herkömmliche Displays befinden können. An operator using the seat 190 during use of the workstation device 200 may also use the workspace area 140, in addition to the three-dimensional virtual scenario presentation space 130, on which other touch-sensitive or conventional displays may reside.
Der Einschlusswinkel α 115 kann dabei derart bemessen sein, dass sämtliche virtuellen Objekte im Darstellungsraum 130 innerhalb einer Arm reichweite des Benutzers der Arbeitsplatzvorrichtung 200 liegen können. Insbesondere bei einem Einschlusswinkel a, welcher zwischen 90 Grad und 150 Grad liegt, ergibt sich eine gute Anpassung an die Armreichweite des Benutzers. Der Einschlusswinkel α kann beispielsweise auch an die individuellen Bedürfnisse eines einzelnen Benutzers angepasst werden und dabei den Bereich von 90 Grad bis 150 Grad sowohl unter- als auch überschreiten. In einem Ausführungsbeispiel beträgt der Einschlusswinkel α 120 Grad. Die möglichst große Überlagerung der Armreichweite bzw. des Greifraumes des Bedieners mit dem Darstellungsraum 130 unterstützt ein intuitives, The inclusion angle α 115 can be dimensioned such that all virtual objects in the display room 130 can be within an arm reach of the user of the workstation device 200. In particular, at an inclusion angle a, which is between 90 degrees and 150 degrees, there is a good adaptation to the arm reach of the user. For example, the inclusion angle α can also be adapted to the individual needs of a single user while both falling below and exceeding the range of 90 degrees to 150 degrees. In one embodiment, the inclusion angle α is 120 degrees. The greatest possible superposition of the arm reach or gripping space of the operator with the display space 130 supports an intuitive,
ermüdungsarmes und ergonomisches Bedienen der Arbeitsplatzvorrichtung 200. Insbesondere die abgewinkelte Geometrie der Darstellungseinheit 110 vermag es, den Konflikt zwischen Konvergenz und Akkommodation bei der Nutzung Low-fatigue and ergonomic operation of the workstation device 200. In particular, the angled geometry of the display unit 110 is able to overcome the conflict between convergence and accommodation in use
stereoskopischer Visualisierungstechniken zu reduzieren. stereoscopic visualization techniques.
Die abgewinkelte Geometrie der Darstellungseinheit kann den Konflikt zwischen Konvergenz und Akkommodation bei einem Betrachter einer virtuellen The angled geometry of the presentation unit may reflect the conflict between convergence and accommodation in a viewer of a virtual
dreidimensionalen Szene dadurch minimieren, dass die virtuellen Objekte aufgrund der abgewinkelten Geometrie möglichst nahe an der bildgebenden Darstellungseinheit positioniert werden. Da sich die Position der virtuellen Objekte und insgesamt die Geometrie des virtuellen Szenarios aus jeder speziellen Anwendung ergibt, kann die Geometrie der Darstellungseinheit, beispielsweise der Einschlusswinkel a, an die jeweilige Anwendung angepasst werden. Bei der Luftraumüberwachung kann das dreidimensionale virtuelle Szenario beispielsweise so dargestellt werden, dass der zweite Darstellungsbereich 112 der Darstellungseinheit 110 der virtuell dargestellten Erdoberfläche oder einer Minimize three-dimensional scene by the virtual objects are positioned as close as possible to the imaging unit due to the angled geometry. Since the position of the virtual objects and overall the geometry of the virtual scenario results from each specific application, the geometry of the presentation unit, for example the inclusion angle a, can be adapted to the respective application. In the case of airspace monitoring, the three-dimensional virtual scenario can be represented, for example, such that the second display area 112 of the display unit 110 of the virtually represented earth surface or a
Referenzfläche im Raum entspricht. Damit eignet sich die erfindungsgemäße Arbeitsplatzvorrichtung insbesondere für die längerfristige, ermüdungsarme Bearbeitung von dreidimensionalen virtuellen Szenarien mit integrierter räumlicher Darstellung geografisch referenzierter Daten, wie z. B. Luftfahrzeugen, Wegpunkten, Kontrollzonen, Bedrohungsräumen, Geländetopografien und Wettergeschehen, mit einfachen intuitiven Reference surface in the room corresponds. Thus, the inventive workstation device is particularly suitable for longer-term, low-fatigue processing of three-dimensional virtual scenarios with integrated spatial representation of geographically referenced data, such. Aircraft, waypoints, control zones, threat areas, terrain topographies and weather events, with simple intuitive
Interaktionsmöglichkeiten bei gleichzeitiger Darstellung eines Überblicksbereiches und eines Detailbereiches. Selbstverständlich kann die Darstellungseinheit 110 auch einen abgerundeten Übergang vom ersten Darstellungsbereich 111 zum zweiten Darstellungsbereich 112 aufweisen. Damit wird ein störender Einfluss einer real sichtbaren Kante zwischen dem ersten Darstellungsbereich und dem zweiten Darstellungsbereich auf den dreidimensionalen Eindruck des virtuellen Szenarios vermieden bzw. reduziert. Interaction options with simultaneous presentation of an overview area and a detail area. Of course, the presentation unit 110 may also have a rounded transition from the first display area 111 to the second display area 112. This avoids or reduces an interfering influence of a real visible edge between the first display area and the second display area on the three-dimensional impression of the virtual scenario.
Selbstverständlich kann die Darstellungseinheit 110 auch in Form eines Of course, the display unit 110 also in the form of a
Kreisbogens ausgebildet sein. Circular arc be formed.
Die Arbeitsplatzvorrichtung wie oben und im Folgenden beschrieben ermöglicht damit ein großes stereoskopisches Darstellungsvolumen bzw. einen The workstation device as described above and below thus enables a large stereoscopic display volume or a
Darstellungsraum. Weiterhin ermöglicht es die Arbeitsplatzvorrichtung, dass eine virtuelle Referenzfläche in dem virtuellen dreidimensionalen Szenario, Display space. Furthermore, the workstation device enables a virtual reference surface in the virtual three-dimensional scenario,
beispielsweise eine Geländeoberfläche, in derselben Ebene positioniert wird wie die real vorhandene Darstellungseinheit bzw. Berührungseinheit. For example, a terrain surface is positioned in the same plane as the actual presentation unit or touch unit.
Damit kann eine Entfernung der virtuellen Objekte von der Oberfläche der Darstellungseinheit reduziert werden und so ein Konflikt zwischen Konvergenz und Akkommodation bei dem Betrachter reduziert werden. Weiterhin werden dadurch störende Einflüsse auf den dreidimensionalen Eindruck reduziert, welche sich dadurch ergeben, dass der Bediener mit einer Hand in den Darstellungsraum hineingreift und das Auge des Betrachters somit einen realen Gegenstand, d. h. die Hand des Bedieners, und virtuelle Objekte zeitgleich wahrnimmt. Thus, a distance of the virtual objects from the surface of the presentation unit can be reduced, thus reducing a conflict between convergence and accommodation in the viewer. Furthermore, disturbing influences on the three-dimensional impression are reduced as a result of the fact that the operator reaches into the presentation space with one hand and the eye of the observer thus becomes a real object, ie. H. the operator's hand, and perceives virtual objects at the same time.
Die Berührungseinheit 120 ist ausgeführt, bei einer Berührung der The touch unit 120 is executed at a touch of the
Berührungseinheit mit der Hand des Bedieners eine Rückmeldung an den Bediener auszugeben. Insbesondere im Falle einer optischen bzw. akustischen Rückmeldung an den Bediener kann die Rückmeldung erfolgen, indem eine Erfassungseinheit (nicht dargestellt) die Berührungskoordinaten auf der Berührungseinheit erfasst und beispielsweise die Darstellungseinheit eine optische Rückmeldung bzw. eine Tonausgabeeinheit (nicht dargestellt) die akustische Rückmeldung ausgibt. Touch unit with the hand of the operator to give a feedback to the operator. In particular, in the case of an optical or acoustic feedback to the operator feedback can be done by a detection unit (not shown) detects the touch coordinates on the touch unit and, for example, the display unit an optical feedback or a sound output unit (not shown) outputs the acoustic feedback.
Die Berührungseinheit kann eine haptische bzw. taktile Rückmeldung mittels Vibration bzw. Schwingungen von Piezoaktoren ausgeben. Fig. 2 zeigt eine Arbeitsplatzvorrichtung 200 mit einer Darstellungsvorrichtung 100, welche zur Darstellung eines dreidimensionalen virtuellen Szenarios ausgeführt ist, weiterhin mit drei herkömmlichen Anzeigeelementen 210, 211 , 212 zur zweidimensionalen Darstellung von Grafiken und Informationen, weiterhin mit zwei herkömmlichen Eingabe- bzw. Interaktionsgeräten, wie einer Computermaus 171 und einer sog. Space-Mouse 170, wobei es sich um ein Interaktionsgerät mit sechs Freiheitsgraden handelt und womit Elemente im Raum, beispielsweise in einem dreidimensionalen Szenario, gesteuert werden können. The touch unit can output a tactile feedback by means of vibration or vibrations of piezo actuators. 2 shows a workstation device 200 with a display device 100, which is designed to display a three-dimensional virtual scenario, furthermore with three conventional display elements 210, 211, 212 for two-dimensional display of graphics and information, furthermore with two conventional input / interactive devices, such as a computer mouse 171 and a so-called space mouse 170, which is an interaction device with six degrees of freedom and with which elements in space, for example in a three-dimensional scenario, can be controlled.
Der dreidimensionale Eindruck des von der Darstellungsvorrichtung 100 The three-dimensional impression of the presentation device 100
dargestellten Szenarios entsteht bei einem Betrachter dadurch, dass dieser eine entsprechende Brille 160 aufsetzt. The scenarios shown by a viewer arises from the fact that he puts on a corresponding glasses 160.
Wie bei stereoskopischen Visualisierungstechniken üblich, ist die Brille ausgeführt, die Augen eines Betrachters mit unterschiedlichen Bildern zu versorgen, so dass bei dem Betrachter der Eindruck eines dreidimensionalen Szenarios entsteht. Die Brille 160 weist eine Vielzahl von sog. Reflektoren 161 auf, welche dazu dienen, die Augenposition eines Betrachters vor der Darstellungsvorrichtung 100 zu ermitteln und so ggf. die Wiedergabe der dreidimensionalen virtuellen Szene auf die Position des Betrachters anzupassen. Die Arbeitsplatzvorrichtung 200 kann hierfür beispielsweise eine Positionserkennungseinheit (nicht gezeigt) aufweisen, welche beispielsweise mittels eines Kamerasystems mit einer Vielzahl von Kameras die Augenposition aufgrund der Position der Reflektoren 161 erfasst. As is customary in stereoscopic visualization techniques, the glasses are designed to provide the eyes of a viewer with different images, giving the viewer the impression of a three-dimensional scenario. The spectacles 160 have a multiplicity of so-called reflectors 161, which serve to determine the eye position of a viewer in front of the presentation device 100 and thus, if necessary, to adapt the reproduction of the three-dimensional virtual scene to the position of the observer. The workstation device 200 can for example have a position detection unit (not shown) for this purpose, which detects, for example, by means of a camera system with a plurality of cameras, the eye position due to the position of the reflectors 161.
Fig. 3 zeigt eine perspektivische Ansicht einer Darstellungsvorrichtung 100 mit einer Darstellungseinheit 110 und einer Berührungseinheit 120, wobei die FIG. 3 shows a perspective view of a display device 100 with a display unit 110 and a touch unit 120, wherein the
Darstellungseinheit 110 einen ersten Darstellungsbereich 111 und einen zweiten Darstellungsbereich 112 aufweist.  Display unit 110 has a first display area 111 and a second display area 112.
Im Darstellungsraum 130 ist ein dreidimensionales virtuelles Szenario mit mehreren virtuellen Objekten 301 angedeutet. In einer virtuellen In the presentation room 130, a three-dimensional virtual scenario with several virtual objects 301 is indicated. In a virtual
Darstellungsfläche 310 ist für jedes virtuelle Objekt im Darstellungsraum 130 ein Auswahlbereich 302 angegeben. Jeder Auswahlbereich 302 kann mit dem diesem Auswahlbereich zugewiesenen virtuellen Bereich 301 über ein Auswahlelement 303 verbunden sein.  Display area 310, a selection area 302 is indicated for each virtual object in the presentation space 130. Each selection area 302 may be connected to the virtual area 301 assigned to this selection area via a selection element 303.
Das Auswahlelement 303 erleichtert dabei einem Benutzer die Zuweisung eines Auswahlbereiches 302 zu einem virtuellen Objekt 301. Damit kann ein The selection element 303 makes it easier for a user to assign a selection area 302 to a virtual object 301
Auswahlvorgang eines virtuellen Objektes beschleunigt und vereinfacht werden. Die Darstellungsfläche 310 kann in dem dreidimensionalen virtuellen Szenario räumlich so angeordnet werden, dass sich die Darstellungsfläche 310 mit der Berührungseinheit 120 überdeckt. Dies führt dazu, dass die Auswahlbereiche 302 ebenfalls auf der der Berührungseinheit 120 liegen. Die Auswahl eines virtuellen Objektes 301 in der dreidimensionalen virtuellen Szene erfolgt damit dadurch, dass der Bediener die Berührungseinheit 120 an derjenigen Stelle mit einem Finger berührt, an welcher der Auswahlbereich 302 des auszuwählenden virtuellen Objektes platziert ist. Selection process of a virtual object to be accelerated and simplified. The display surface 310 may be spatially arranged in the three-dimensional virtual scenario so that the display surface 310 overlaps the touch unit 120. As a result, the selection areas 302 are also on the touch unit 120. The selection of a virtual object 301 in the three-dimensional virtual scene thus takes place in that the operator touches the touch unit 120 at the location with a finger on which the selection area 302 of the virtual object to be selected is placed.
Die Berührungseinheit 120 ist ausgeführt, die Berührungskoordinaten des Fingers des Bedieners an eine Auswerteeinheit zu übermitteln, welche die Berührungskoordinaten mit den Darstellungskoordinaten der Auswahlbereiche 302 abgleicht und so das ausgewählte virtuelle Objekt bestimmen kann. The touch unit 120 is designed to transmit the touch coordinates of the operator's finger to an evaluation unit, which the Match coordinates coordinates with the representation coordinates of the selection areas 302 and so can determine the selected virtual object.
Die Berührungseinheit 120 kann insbesondere so ausgeführt sein, dass sie lediglich an den Stellen auf die Berührung durch den Bediener reagiert, an denen ein Auswahlbereich dargestellt ist. Dies ermöglicht es dem Bediener, seine Hände auf der Berührungseinheit so abzulegen, dass kein Auswahlbereich berührt wird, wobei das Ablegen der Hände einer Ermüdung des Bedieners vorbeugen kann und eine einfache Interaktion mit dem virtuellen Szenario unterstützt. In particular, the touch unit 120 may be configured to respond only to the operator's touch at the locations where a selection area is displayed. This allows the operator to place his hands on the touch unit so that no selection area is touched, whereby putting down the hands can prevent operator fatigue and facilitate easy interaction with the virtual scenario.
Der beschriebene Aufbau der Darstellungsvorrichtung 100 ermöglicht es damit einem Bediener, mit einer virtuellen dreidimensionalen Szene zu interagieren und schon allein dadurch eine reale Rückmeldung zu erhalten, dass er bei der The described construction of the presentation device 100 thus makes it possible for an operator to interact with a virtual three-dimensional scene and to obtain a real feedback on the sole fact that he is involved in the
Auswahl der virtuellen Objekte die auf der real vorhandenen Berührungseinheit 120 liegenden Auswahlbereiche 302 durch Kontakt der Hand bzw. eines Fingers mit der Berührungseinheit 120 tatsächlich real spürt. Selection of the virtual objects that actually on the real existing touch unit 120 lying selection areas 302 by contact of the hand or a finger with the touch unit 120 actually feels.
Bei Berührung eines Auswahlbereiches 302 kann beispielsweise durch Vibration der Berührungseinheit 120 dem Bediener die erfolgte Auswahl eines virtuellen Objektes 301 signalisiert werden. When a selection area 302 is touched, the selection of a virtual object 301 that has taken place can be signaled to the operator by vibration of the touch unit 120, for example.
Es kann sowohl die gesamte Berührungseinheit 120 vibrieren als auch lediglich Bereiche der Berührungseinheit 120. So kann beispielsweise die It can vibrate both the entire touch unit 120 and only portions of the touch unit 120. For example, the
Berührungseinheit 120 nur auf der Größe des ausgewählten Auswahlbereiches 302 zum Vibrieren gebracht werden. Dies kann beispielsweise durch den Einsatz von schwingenden Piezoaktoren in der Berührungseinheit erreicht werden, wobei die Piezoaktoren nach Erfassung der Berührungskoordinaten der Touch unit 120 are vibrated only on the size of the selected selection area 302. This can be achieved, for example, by the use of oscillating piezoactuators in the touch unit, the piezoactuators, after detection of the contact coordinates of the
Berührungseinheit an der entsprechenden Position zum Schwingen gebracht werden. Neben der Auswahl der virtuellen Objekte 301 über einen Auswahlbereich 302 können die virtuellen Objekte auch ausgewählt werden, indem bei Berührung der Berührungseinheit 120 an der Berührungsposition ein Auswahlelement in Form eines in der virtuellen dreidimensionalen Szene senkrecht verlaufenden Touch unit are made to oscillate at the appropriate position. In addition to the selection of the virtual objects 301 via a selection area 302, the virtual objects can also be selected by a selection element in the form of a vertical plane running in the virtual three-dimensional scene when touching the touch unit 120 at the touch position
Lichtzylinders bzw. Lichtkegels angezeigt wird und dieses Auswahlelement mit der Bewegung des Fingers auf der Berührungseinheit 120 geführt wird. Ein virtuelles Objekt 301 wird dann ausgewählt, indem das Auswahlelement in Überdeckung mit dem auszuwählenden virtuellen Objekt gebracht wird. Um eine versehentliche Auswahl eines virtuellen Objektes zu vermeiden, kann die Auswahl beispielsweise mit Verzögerung derart erfolgen, dass ein virtuelles Objekt erst ausgewählt wird, wenn das Auswahlelement eine bestimmte Zeit in Light cone is displayed and this selection element is guided with the movement of the finger on the touch unit 120. A virtual object 301 is then selected by bringing the selection element into coincidence with the virtual object to be selected. For example, in order to avoid an accidental selection of a virtual object, the selection can take place with a delay in such a way that a virtual object is not selected until the selection element has a certain time in
Überdeckung mit dem entsprechenden virtuellen Objekt verbleibt. Auch hier kann die erfolgte Auswahl durch Vibration der Berührungseinheit oder durch Overlap with the corresponding virtual object remains. Again, the selection made by vibration of the touch unit or by
Schwingung von Piezoaktoren und in optischer oder akustischer Weise signalisiert werden. Oscillation of piezoelectric actuators and be signaled in an optical or acoustic manner.
Fig. 4 zeigt eine Darstellungsvorrichtung 100 mit einer Darstellungseinheit 110 und einer Berührungseinheit 120. In einem ersten Darstellungsbereich 111 wird in zweidimensionaler Darstellung ein Überblicksbereich wiedergegeben und in einem Darstellungsraum 130 wird ein Teilausschnitt 401 des Überblicksbereiches als dreidimensionales Szenario 402 detailliert wiedergegeben. FIG. 4 shows a display device 100 with a display unit 110 and a touch unit 120. In a first display area 111, an overview area is displayed in a two-dimensional representation, and a partial area 401 of the overview area is displayed in detail in a display room 130 as a three-dimensional scenario 402.
Im Detailbereich 402 werden die in dem Teilausschnitt des Überblicksbereiches befindlichen Objekte als virtuelle dreidimensionale Objekte 301 dargestellt. In the detail area 402, the objects located in the partial section of the overview area are displayed as virtual three-dimensional objects 301.
Die Darstellungsvorrichtung 100 wie oben und im Folgenden beschrieben ermöglicht es dem Bedienen den Detailbereich 402 zu verändern, indem der Teilausschnitt im Überblicksbereich 401 verschoben wird oder indem der Auszug des Überblicksbereiches in der dreidimensionalen Darstellung im Detailbereich 402 in Richtung zumindest einer der drei aufgezeigten Koordinaten x, y oder z verändert wird. The display device 100 as described above and below enables the operator to change the detail area 402 by moving the partial area in the overview area 401 or by the extract of the overview area in the three-dimensional view in the detail area 402 in the direction of at least one of the three indicated coordinates x, y or z is changed.
Fig. 5 zeigt eine Arbeitsplatzvorrichtung 200 mit einer Darstellungsvorrichtung 100 und einen mit dem dargestellten dreidimensionalen virtuellen Szenario FIG. 5 shows a workstation device 200 with a display device 100 and a three-dimensional virtual scenario shown in FIG
interagierenden Benutzer 501. Die Darstellungsvorrichtung 100 weist eine interacting user 501. The presentation device 100 has a
Darstellungseinheit 110 und eine Berührungseinheit 120 auf, welche gemeinsam mit den Augen des Bedieners 501 den Darstellungsraum 130 aufspannen, in welchem sich die virtuellen Objekte 301 des dreidimensionalen virtuellen Representation unit 110 and a touch unit 120, which together with the eyes of the operator 501 span the display space 130, in which the virtual objects 301 of the three-dimensional virtual
Szenarios befinden. Scenarios are located.
Ein Abstand des Benutzers 501 von der Darstellungsvorrichtung 100 kann dabei so bemessen sein, dass es dem Benutzer möglich ist, mit wenigstens einem seiner Arme einen Großteil oder den ganzen Darstellungsraum 130 zu erreichen. Damit weichen die reale Position der Hand 502 des Benutzers, die reale Position der Darstellungsvorrichtung 100 und die virtuelle Position der virtuellen Objekte 301 in dem virtuellen dreidimensionalen Szenario möglichst gering voneinander ab, so dass ein Konflikt zwischen Konvergenz und Akkommodation im Sehapparat des Benutzers auf ein Minimum reduziert wird. Dieser Aufbau kann eine A distance of the user 501 from the presentation device 100 can be dimensioned such that it is possible for the user to reach a majority or the entire presentation space 130 with at least one of his arms. Thus, the real position of the user's hand 502, the real position of the display device 100, and the virtual position of the virtual objects 301 in the virtual three-dimensional scenario are as small as possible, so that a conflict between convergence and accommodation in the user's visual system is minimized is reduced. This structure can be a
längerfristige konzentrierte Benutzung der Arbeitsplatzvorrichtung wie oben und im Folgenden beschrieben unterstützen, indem die Nebeneffekte eines Konfliktes zwischen Konvergenz und Akkommodation, wie beispielsweise Kopfschmerzen und Übelkeit, bei dem Benutzer reduziert werden. Die Darstellungsvorrichtung wie oben und im Folgenden beschrieben kann selbstverständlich auch ausgeführt sein, virtuelle Objekte darzustellen, deren virtueller Ort sich aus Sicht des Benutzers hinter der Visualisierungsoberfläche der Darstellungseinheit befindet. In diesem Fall ist jedoch keine direkte Interaktion des Benutzers mit den virtuellen Objekten möglich, da der Benutzer nicht durch die Darstellungseinheit hindurch greifen kann. Fig. 6 zeigt eine Darstellungsvorrichtung 100 für ein dreidimensionales virtuelles Szenario mit einer Darstellungseinheit 110 und einer Berührungseinheit 120. In dem Darstellungsraum 130 werden virtuelle dreidimensionale Objekte 301 abgebildet. Support longer-term, concentrated use of the workstation device as described above and below by reducing the side effects of conflict between convergence and accommodation, such as headache and nausea, on the user. Of course, the presentation device as described above and below can also be designed to display virtual objects whose virtual location is located behind the visualization surface of the presentation unit from the user's point of view. In this case, however, no direct interaction of the user with the virtual objects is possible because the user can not reach through the presentation unit. FIG. 6 shows a three-dimensional virtual scenario display device 100 with a display unit 110 and a touch unit 120. In the presentation space 130, virtual three-dimensional objects 301 are imaged.
In der dreidimensionalen virtuellen Szene ist eine virtuelle Fläche 601 angeordnet, auf der ein Markierungselement 602 bewegt werden kann. Das In the three-dimensional virtual scene, a virtual surface 601 is arranged, on which a marking element 602 can be moved. The
Markierungselement 602 bewegt sich alleine auf der virtuellen Fläche 601 , womit das Markierungselement 602 in seiner Bewegung zwei Freiheitsgrade aufweist. In anderen Worten ist das Markierungselement 602 ausgeführt, eine Marking element 602 moves alone on the virtual surface 601, whereby the marking element 602 has two degrees of freedom in its movement. In other words, the marking element 602 is executed, a
zweidimensionale Bewegung auszuführen. Damit kann das Markierungselement beispielsweise mittels einer herkömmlichen Computermaus gesteuert werden. to perform two-dimensional movement. Thus, the marking element can be controlled for example by means of a conventional computer mouse.
Die Auswahl eines virtuellen Objektes in dem dreidimensionalen Szenario erfolgt dadurch, dass die Position wenigstens eines Auges 503 des Benutzers mit Hilfe der Reflektoren 161 an einer vom Benutzer getragenen Brille erfasst wird und eine Verbindungslinie 504 von der ermittelten Position des Auges 503 über das The selection of a virtual object in the three-dimensional scenario takes place in that the position of at least one user's eye 503 is detected by means of the reflectors 161 on a pair of glasses worn by the user, and a connecting line 504 is determined from the determined position of the eye 503
Markierungselement 602 in das virtuelle dreidimensionale Szenario in dem Marking element 602 in the virtual three-dimensional scenario in the
Darstellungsraum 130 berechnet wird. Display room 130 is calculated.
Die Verbindungslinie kann selbstverständlich auch ausgehend von einer gemittelten Position beider Augen des Betrachters aus berechnet werden. Of course, the connecting line can also be calculated on the basis of an averaged position of both eyes of the observer.
Daneben kann die Position der Augen des Benutzers mit oder ohne Brille mit entsprechenden Reflektoren ermittelt werden. Es sei darauf hingewiesen, dass im Zusammenhang mit der Erfindung jegliche Mechanismen und Verfahren zur Ermittlung der Position der Augen genutzt werden können. In addition, the position of the eyes of the user can be determined with or without glasses with corresponding reflectors. It should be noted that any mechanisms and methods for determining the position of the eyes can be used in the context of the invention.
Die Auswahl eines virtuellen Objektes 301 in dem dreidimensionalen Szenario erfolgt dadurch, dass die Verbindungslinie 504 in den Darstellungsraum 130 verlängert wird und dasjenige virtuelle Objekt ausgewählt wird, dessen virtuelle Koordinaten von der Verbindungslinie 504 gekreuzt werden. Die Auswahl eines virtuellen Objektes 301 wird dann beispielsweise mittels eines Auswahlanzeigers 603 gekennzeichnet. The selection of a virtual object 301 in the three-dimensional scenario is carried out by extending the connection line 504 into the presentation space 130 and selecting that virtual object whose virtual coordinates are crossed by the connection line 504. The selection of a virtual object 301 is then identified, for example, by means of a selection indicator 603.
Selbstverständlich kann die virtuelle Fläche 601 , auf der sich das Of course, the virtual area 601 on which the
Markierungselement 602 bewegt, auch so in dem virtuellen Szenario im Marker element 602 moves, even so in the virtual scenario in
Darstellungsraum 130 angeordnet sein, dass sich aus Sicht des Benutzers virtuelle Objekte 301 vor und/oder hinter der virtuellen Fläche 601 befinden. Display room 130 may be arranged so that from the user's perspective virtual objects 301 are located in front of and / or behind the virtual surface 601.
Sobald das Markierungselement 602 auf der virtuellen Fläche 601 so bewegt wird, dass die Verbindungslinie 504 die Koordinaten eines virtuellen Objektes 301 kreuzt, kann das Markierungselement 602 im dreidimensionalen Szenario so dargestellt werden, dass es mit einer zusätzlichen Tiefeninformation bzw. einer Veränderung der Tiefeninformation die virtuellen dreidimensionalen Koordinaten des ausgewählten Objektes einnimmt. Aus Sicht des Benutzers stellt sich diese Veränderung dann so dar, dass das Markierungselement 602, sobald ein virtuelles Objekt 301 ausgewählt wird, eine räumliche Bewegung hin auf den Benutzer oder weg von dem Benutzer macht. Once the marker 602 on the virtual surface 601 is moved so that the connecting line 504 crosses the coordinates of a virtual object 301, the marker 602 may be represented in the three-dimensional scenario as having the virtual information three-dimensional coordinates of the selected object occupies. From the user's point of view, this change is then such that, as soon as a virtual object 301 is selected, the marking element 602 makes a spatial movement toward the user or away from the user.
Dies ermöglicht die Interaktion mit virtuellen Objekten in dreidimensionalen Szenarien mittels einfach zu handhabenden zweidimensionalen This allows interaction with virtual objects in three-dimensional scenarios using two-dimensional easy-to-use
Interaktionsgeräten, wie beispielsweise einer Computermaus. Dies kann im  Interaction devices, such as a computer mouse. This can be done in the
Gegensatz zu speziellen dreidimensionalen Interaktionsgeräten mit drei Contrary to special three-dimensional interaction devices with three
Freiheitsgraden eine einfachere und schneller zu lernende Interaktion mit einem dreidimensionalen Szenario darstellen, da ein Eingabegerät mit weniger Degrees of freedom represent a simpler and faster-to-learn interaction with a three-dimensional scenario, as an input device with less
Freiheitsgraden für die Interaktion genutzt wird. Degrees of freedom is used for the interaction.
Fig. 7 stellt eine schematische Ansicht eines Verfahrens gemäß einem FIG. 7 is a schematic view of a method according to FIG
Ausführungsbeispiel der Erfindung dar. In einem ersten Schritt 701 erfolgt das Berühren einer Auswahlfläche eines virtuellen Objektes in einer Darstellungsfläche eines dreidimensionalen virtuellen Szenarios. Dabei ist die Auswahlfläche so an das virtuelle Objekt gekoppelt, dass ein Embodiment of the invention. In a first step 701, a selection area of a virtual object is touched in a display area of a three-dimensional virtual scenario. The selection area is coupled to the virtual object such that a
Berühren der Auswahlfläche eine eindeutige Bestimmung des entsprechend ausgewählten virtuellen Objektes ermöglicht. Touching the selection area allows a unique determination of the correspondingly selected virtual object.
In einem zweiten Schritt 702 erfolgt das Visualisieren eines Auswahlelementes in dem dreidimensionalen virtuellen Szenario. In a second step 702, the visualization of a selection element takes place in the three-dimensional virtual scenario.
Das Auswahlelement kann dabei beispielsweise ein in dem dreidimensionalen virtuellen Szenario senkrecht verlaufender Lichtzylinder sein. Das Auswahlelement kann in Abhängigkeit der Berührdauer der Auswahlfläche visualisiert werden, d. h. dass das Auswahlelement visualisiert wird, sobald ein Benutzer die Auswahlfläche berührt und kann wieder ausgeblendet werden, sobald der Benutzer seinen Finger von der Auswahlfläche entfernt. Damit wird es dem Benutzer ermöglicht, einen Auswahlvorgang eines virtuellen Objektes zu unterbrechen bzw. zu beenden, beispielsweise weil der Benutzer feststellt, dass er ein anderes virtuelles Objekt auswählen möchte. The selection element can be, for example, a light cylinder running vertically in the three-dimensional virtual scenario. The selection element can be visualized as a function of the contact duration of the selection area, ie. H. the selector element is visualized as soon as a user touches the selection area and can be hidden again as soon as the user removes his / her finger from the selection area. This allows the user to pause or terminate a selection operation of a virtual object, for example, because the user determines that he wishes to select another virtual object.
In einem dritten Schritt 703 erfolgt das Bewegen des Auswahlelementes In a third step 703, the selection element is moved
entsprechend einer Fingerbewegung des Bedieners auf der Darstellungsfläche. Solange der Benutzer seinen Finger von der Darstellungsfläche bzw. der according to a finger movement of the operator on the display surface. As long as the user's finger from the display surface or the
Berührungseinheit nicht entfernt, bleibt das einmal visualisierte Auswahlelement in dem virtuellen Szenario bestehen und kann durch Ausführen einer Bewegung des Fingers auf der Darstellungsfläche bzw. der Berührungseinheit in dem virtuellen Szenario bewegt werden. Dies ermöglicht es einem Benutzer, die Auswahl eines virtuellen Objektes durch schrittweise Annäherung des Auswahlelementes an eben das auszuwählende virtuelle Objekt vorzunehmen. In einem vierten Schritt 704 erfolgt das Auswählen eines Objektes in dem dreidimensionalen Szenario, indem das Auswahlelement in Überdeckung mit dem auszuwählenden Objekt gebracht wird. Touch unit not removed, once the visualized selection element in the virtual scenario persists and can be moved by performing a movement of the finger on the display surface or the touch unit in the virtual scenario. This allows a user to make the selection of a virtual object by gradually approaching the selection element to just the virtual object to be selected. In a fourth step 704, an object is selected in the three-dimensional scenario by bringing the selection element into coincidence with the object to be selected.
Das Auswählen des Objektes kann beispielsweise erfolgen, indem das The selection of the object can be done, for example, by the
Auswahlelement eine bestimmte Zeit in Überdeckung mit dem auszuwählenden Objekt gehalten wird, beispielsweise eine Sekunde. Selbstverständlich kann der Zeitraum, nach dem ein virtuelles Objekt als ausgewählt dargestellt wird, beliebig eingestellt werden. In einem fünften Schritt 705 erfolgt das Ausgeben einer Rückmeldung an den Bediener nach erfolgter Auswahl des virtuellen Objektes. Selection element is kept a certain time in registration with the object to be selected, for example one second. Of course, the period of time after which a virtual object is displayed as selected, can be set arbitrarily. In a fifth step 705, a return message is output to the operator after the virtual object has been selected.
Die Rückmeldung kann dabei wie oben bereits dargelegt haptisch/taktil, optisch oder akustisch sein. The feedback can be as described above haptic / tactile, optical or acoustic.
Es sei abschließend besonders darauf hingewiesen, dass die Merkmale der Erfindung, wenn diese auch als einzelne Beispiele dargestellt wurden, sich gegenseitig nicht für die gemeinsame Verwendung in einer Arbeitsplatzvorrichtung ausschließen und in sich ergänzender Kombination in einer In conclusion, it should be particularly noted that the features of the invention, even though they have been presented as individual examples, do not preclude each other from being shared in a workstation device and in complementary combination in one
Arbeitsplatzvorrichtung zur Darstellung eines dreidimensionalen virtuellen Workplace device for displaying a three-dimensional virtual
Szenarios benutzt werden können. Scenarios can be used.

Claims

Patentansprüche claims
1. Darstellungsvorrichtung (100) für ein dreidimensionales virtuelles Szenario zur Auswahl von Objekten in dem virtuellen Szenario mit Rückmeldung bei erfolgter Auswahl eines der Objekte, aufweisend: 1. A three-dimensional virtual scenario presenting device (100) for selecting objects in the virtual scenario with feedback upon successful selection of one of the objects, comprising:
eine Darstellungseinheit (110) für ein virtuelles Szenario;  a display unit (110) for a virtual scenario;
eine Berührungseinheit (120) zur berührungsgesteuerten Auswahl eines Objektes in dem virtuellen Szenario;  a touch unit (120) for touch-controlled selection of an object in the virtual scenario;
wobei die Berührungseinheit in einer Darstellungsfläche (310) des virtuellen Szenarios angeordnet ist;  wherein the touch unit is located in a virtual scenario display area (310);
wobei die Berührungseinheit bei der erfolgten Auswahl des Objektes die Rückmeldung an einen Bediener der Darstellungsvorrichtung ausgibt.  wherein the touch unit issues the feedback to an operator of the display device upon successful selection of the object.
2. Darstellungsvorrichtung nach Anspruch 1 , 2. A display device according to claim 1,
wobei die Berührungseinheit ausgeführt ist, einen Auswahlbereich (302) für das Objekt darzustellen;  wherein the touch unit is adapted to represent a selection area (302) for the object;
wobei die Auswahl des Objektes durch Berühren des Auswahlbereichs erfolgt.  wherein the selection of the object is done by touching the selection area.
3. Darstellungsvorrichtung nach Anspruch 2, 3. A display device according to claim 2,
wobei die Rückmeldung zumindest teilweise durch eine Vibration der Berührungseinheit erfolgt.  wherein the feedback is at least partially by a vibration of the touch unit.
4. Darstellungsvorrichtung nach Anspruch 3, 4. A display device according to claim 3,
wobei die Berührungseinheit eine Vielzahl von Bereichen aufweist, die wahlweise zur taktilen Rückmeldung selektierbar sind.  wherein the touch unit has a plurality of areas selectively selectable for tactile feedback.
5. Darstellungsvorrichtung nach einem der vorhergehenden Ansprüche, 5. A display device according to one of the preceding claims,
wobei die Rückmeldung zumindest teilweise durch Ausgabe eines optischen Signals erfolgt. wherein the feedback is at least partially by the output of an optical signal.
6. Darstellungsvorrichtung nach einem der vorhergehenden Ansprüche, wobei die Rückmeldung zumindest teilweise durch Ausgabe eines 6. Presentation device according to one of the preceding claims, wherein the feedback at least partially by issuing a
akustischen Signals erfolgt. acoustic signal occurs.
7. Darstellungsvorrichtung nach einem der vorhergehenden Ansprüche, 7. A display device according to one of the preceding claims,
wobei die Darstellungseinheit einen Überblicksbereich (401 ) und einen wherein the presentation unit comprises an overview area (401) and a
Detailbereich (402) aufweist; Detail area (402);
wobei der Detailbereich einen wählbaren Ausschnitt der virtuellen Szene des the detail area a selectable section of the virtual scene of the
Überblicksbereichs wiedergibt. Overview area.
8. Arbeitsplatzvorrichtung (200) zur Überwachung eines dreidimensionalen virtuellen Szenarios mit einer Darstellungsvorrichtung nach einem der Ansprüche 1 bis 7. 8. A workstation device (200) for monitoring a three-dimensional virtual scenario with a display device according to one of claims 1 to 7.
9. Verwendung einer Arbeitsplatzvorrichtung nach Anspruch 8 für die 9. Use of a workstation device according to claim 8 for the
Überwachung von Lufträumen. Monitoring of airspaces.
10. Verwendung einer Arbeitsplatzvorrichtung nach Anspruch 8 für die 10. Use of a workstation device according to claim 8 for the
Überwachung und Steuerung von unbemannten Luftfahrzeugen. Monitoring and control of unmanned aerial vehicles.
11. Verfahren zur Auswahl von Objekten in einem dreidimensionalen Szenario, aufweisend die Schritte: 11. Method for selecting objects in a three-dimensional scenario, comprising the steps of:
Berühren einer Auswahlfläche eines virtuellen Objektes in einer  Touch a selection area of a virtual object in a
Darstellungsfläche eines dreidimensionalen virtuellen Szenarios (701 ); Display area of a three-dimensional virtual scenario (701);
Ausgeben einer Rückmeldung an einen Bediener nach erfolgter Auswahl des virtuellen Objektes (705).  Issuing a response to an operator after successful selection of the virtual object (705).
12. Verfahren nach Anspruch 11 , weiterhin aufweisend die Schritte: 12. The method of claim 11, further comprising the steps of:
Visualisieren eines Auswahlelementes in dem dreidimensionalen virtuellen Szenario (702);  Visualizing a selection item in the three-dimensional virtual scenario (702);
Bewegen des Auswahlelementes entsprechend einer Fingerbewegung des Bedieners auf der Darstellungsfläche (703); Moving the selection element according to a finger movement of the Operator on the display surface (703);
Auswählen eines Objektes in dem dreidimensionalen Szenario indem das Auswahlelement in Überdeckung mit dem auszuwählenden Objekt gebracht wird (704);  Selecting an object in the three-dimensional scenario by matching the selection element with the object to be selected (704);
wobei das Visualisieren des Auswahlelementes (702), das Bewegen des wherein visualizing the selection item (702), moving the
Auswahlelementes (703) und das Auswählen des Objektes (704 )nach dem Berühren der Auswahlfläche (701 ) erfolgt. Selection element (703) and selecting the object (704) after touching the selection area (701) takes place.
13. Computerprogrammelement zur Steuerung einer Darstellungsvorrichtung nach einem der Ansprüche 1 bis 7, welches ausgeführt ist, das Verfahren nach einem der Ansprüche 11 oder 12 durchzuführen, wenn es auf einem Prozessor einer Recheneinheit ausgeführt wird. A computer program element for controlling a display device according to any one of claims 1 to 7, which is adapted to perform the method according to one of claims 11 or 12, when it is executed on a processor of a computing unit.
14. Computerlesbares Medium, auf dem ein Computerprogrammelement nach Anspruch 13 gespeichert ist. 14. Computer-readable medium on which a computer program element according to claim 13 is stored.
EP12780399.7A 2011-09-08 2012-09-06 Interaction with a three-dimensional virtual scenario Ceased EP2753951A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011112618A DE102011112618A1 (en) 2011-09-08 2011-09-08 Interaction with a three-dimensional virtual scenario
PCT/DE2012/000892 WO2013034133A1 (en) 2011-09-08 2012-09-06 Interaction with a three-dimensional virtual scenario

Publications (1)

Publication Number Publication Date
EP2753951A1 true EP2753951A1 (en) 2014-07-16

Family

ID=47115084

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12780399.7A Ceased EP2753951A1 (en) 2011-09-08 2012-09-06 Interaction with a three-dimensional virtual scenario

Country Status (7)

Country Link
US (1) US20140282267A1 (en)
EP (1) EP2753951A1 (en)
KR (1) KR20140071365A (en)
CA (1) CA2847425C (en)
DE (1) DE102011112618A1 (en)
RU (1) RU2604430C2 (en)
WO (1) WO2013034133A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976681B1 (en) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat SYSTEM FOR COLOCATING A TOUCH SCREEN AND A VIRTUAL OBJECT AND DEVICE FOR HANDLING VIRTUAL OBJECTS USING SUCH A SYSTEM
JP2015132888A (en) * 2014-01-09 2015-07-23 キヤノン株式会社 Display control device and display control method, program, and storage medium
DE102014107220A1 (en) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Input device, computer or operating system and vehicle
US10140776B2 (en) 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
DE102017117223A1 (en) * 2017-07-31 2019-01-31 Hamm Ag Work machine, in particular commercial vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007636A1 (en) * 2006-10-02 2010-01-14 Pioneer Corporation Image display device
WO2011044936A1 (en) * 2009-10-14 2011-04-21 Nokia Corporation Autostereoscopic rendering and display apparatus

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5394202A (en) * 1993-01-14 1995-02-28 Sun Microsystems, Inc. Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6302542B1 (en) * 1996-08-23 2001-10-16 Che-Chih Tsao Moving screen projection technique for volumetric three-dimensional display
JP2985847B2 (en) * 1997-10-17 1999-12-06 日本電気株式会社 Input device
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6377229B1 (en) * 1998-04-20 2002-04-23 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6373463B1 (en) * 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US6727924B1 (en) * 2000-10-17 2004-04-27 Novint Technologies, Inc. Human-computer interface including efficient three-dimensional controls
US20020175911A1 (en) * 2001-05-22 2002-11-28 Light John J. Selecting a target object in three-dimensional space
US7190365B2 (en) * 2001-09-06 2007-03-13 Schlumberger Technology Corporation Method for navigating in a multi-scale three-dimensional scene
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
US6753847B2 (en) * 2002-01-25 2004-06-22 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
GB0204652D0 (en) * 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US6968511B1 (en) * 2002-03-07 2005-11-22 Microsoft Corporation Graphical user interface, data structure and associated method for cluster-based document management
JP2004199496A (en) * 2002-12-19 2004-07-15 Sony Corp Information processor and method, and program
JP2004334590A (en) * 2003-05-08 2004-11-25 Denso Corp Operation input device
JP4576131B2 (en) * 2004-02-19 2010-11-04 パイオニア株式会社 Stereoscopic two-dimensional image display apparatus and stereoscopic two-dimensional image display method
KR20050102803A (en) * 2004-04-23 2005-10-27 삼성전자주식회사 Apparatus, system and method for virtual user interface
JP2008506140A (en) * 2004-06-01 2008-02-28 マイケル エー． ベセリー Horizontal perspective display
US7348997B1 (en) * 2004-07-21 2008-03-25 United States Of America As Represented By The Secretary Of The Navy Object selection in a computer-generated 3D environment
JP2006053678A (en) * 2004-08-10 2006-02-23 Toshiba Corp Electronic equipment with universal human interface
EP1667088B1 (en) * 2004-11-30 2009-11-04 Oculus Info Inc. System and method for interactive 3D air regions
US7812815B2 (en) * 2005-01-25 2010-10-12 The Broad of Trustees of the University of Illinois Compact haptic and augmented virtual reality system
US20060267927A1 (en) * 2005-05-27 2006-11-30 Crenshaw James E User interface controller method and apparatus for a handheld electronic device
US20070064199A1 (en) * 2005-09-19 2007-03-22 Schindler Jon L Projection display device
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
JP4111231B2 (en) * 2006-07-14 2008-07-02 富士ゼロックス株式会社 3D display system
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
KR100851977B1 (en) * 2006-11-20 2008-08-12 삼성전자주식회사 Controlling Method and apparatus for User Interface of electronic machine using Virtual plane.
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN101765798B (en) * 2007-07-30 2011-12-28 独立行政法人情报通信研究机构 Multi-viewpoint aerial image display
RU71008U1 (en) * 2007-08-23 2008-02-20 Дмитрий Анатольевич Орешин OPTICAL VOLUME IMAGE SYSTEM
JP5087632B2 (en) * 2007-10-01 2012-12-05 パイオニア株式会社 Image display device
US20090112387A1 (en) * 2007-10-30 2009-04-30 Kabalkin Darin G Unmanned Vehicle Control Station
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
JP4719929B2 (en) * 2009-03-31 2011-07-06 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Display device and program
US8896527B2 (en) * 2009-04-07 2014-11-25 Samsung Electronics Co., Ltd. Multi-resolution pointing system
US8760391B2 (en) * 2009-05-22 2014-06-24 Robert W. Hawkins Input cueing emersion system and method
JP5614014B2 (en) * 2009-09-04 2014-10-29 ソニー株式会社 Information processing apparatus, display control method, and display control program
US20110205185A1 (en) * 2009-12-04 2011-08-25 John David Newton Sensor Methods and Systems for Position Detection
KR101114750B1 (en) * 2010-01-29 2012-03-05 주식회사 팬택 User Interface Using Hologram
US9693039B2 (en) * 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US8643569B2 (en) * 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
US8970484B2 (en) * 2010-07-23 2015-03-03 Nec Corporation Three dimensional display device and three dimensional display method
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
US8836755B2 (en) * 2010-10-04 2014-09-16 Disney Enterprises, Inc. Two dimensional media combiner for creating three dimensional displays
US9001053B2 (en) * 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5671349B2 (en) * 2011-01-06 2015-02-18 任天堂株式会社 Image processing program, image processing apparatus, image processing system, and image processing method
US8319746B1 (en) * 2011-07-22 2012-11-27 Google Inc. Systems and methods for removing electrical noise from a touchpad signal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007636A1 (en) * 2006-10-02 2010-01-14 Pioneer Corporation Image display device
WO2011044936A1 (en) * 2009-10-14 2011-04-21 Nokia Corporation Autostereoscopic rendering and display apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2013034133A1 *

Also Published As

Publication number Publication date
CA2847425C (en) 2020-04-14
DE102011112618A1 (en) 2013-03-14
WO2013034133A1 (en) 2013-03-14
RU2014113395A (en) 2015-10-20
CA2847425A1 (en) 2013-03-14
RU2604430C2 (en) 2016-12-10
KR20140071365A (en) 2014-06-11
US20140282267A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
EP2754298B1 (en) Selection of objects in a three-dimensional virtual scenario
DE102019002898A1 (en) ROBOTORSIMULATIONSVORRICHTUNG
DE102018109463C5 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user using a mobile display device
EP3067874A1 (en) Method and device for testing a device operated in an aircraft
EP3458939B1 (en) Interaction system and method
DE60302063T2 (en) Graphical user interface for a flight simulator based on a client-server architecture
DE69631947T2 (en) Positioning of an input pointer
EP3709133B1 (en) Virtual object haptic interaction system for virtual reality applications
DE112017005059T5 (en) SYSTEM AND METHOD FOR PROJECTING GRAPHIC OBJECTS
EP2753951A1 (en) Interaction with a three-dimensional virtual scenario
DE102014006776A1 (en) Operating device for an electronic device
EP3507681A1 (en) Method for interacting with image contents displayed on a display device in a vehicle
WO2020126240A1 (en) Method for operating an automation technology field device in an augmented-reality/mixed-reality environment
DE102021122362A1 (en) SWITCHING BETWEEN STATES IN A HYBRID VIRTUAL REALITY DESKTOP COMPUTING ENVIRONMENT
EP1665023B1 (en) Method and device for controlling a virtual reality graphic system using interactive techniques
WO2005029302A2 (en) Three-dimensional user interface for controlling a virtual reality graphics system by function selection
DE112019002798T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
EP2764698A2 (en) Cooperative 3d work station
DE102019125075A1 (en) Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment
EP3534240A1 (en) Method and device for data annotation
DE102018212944A1 (en) Procedure to support collaboration between humans and robots using data glasses
DE102011112620B3 (en) Angled display for the three-dimensional representation of a scenario
DE112019003579T5 (en) INFORMATION PROCESSING DEVICE, PROGRAM AND INFORMATION PROCESSING METHOD
DE102019131740A1 (en) Method and display device for generating a depth effect in the perspective of an observer on a flat display medium and a motor vehicle
DE102013211046A1 (en) Method and device for obtaining a control signal from an operating gesture

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140401

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: VOGELMEIER, LEONHARD

Inventor name: WITTMANN, DAVID

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AIRBUS DEFENCE AND SPACE GMBH

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160617

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20210830