EP2764698A2 - Cooperative 3d work station - Google Patents

Cooperative 3d work station

Info

Publication number
EP2764698A2
EP2764698A2 EP12783853.0A EP12783853A EP2764698A2 EP 2764698 A2 EP2764698 A2 EP 2764698A2 EP 12783853 A EP12783853 A EP 12783853A EP 2764698 A2 EP2764698 A2 EP 2764698A2
Authority
EP
European Patent Office
Prior art keywords
display device
operator
dimensional
holographic
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12783853.0A
Other languages
German (de)
French (fr)
Inventor
Leonhard Vogelmeier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
EADS Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Deutschland GmbH filed Critical EADS Deutschland GmbH
Publication of EP2764698A2 publication Critical patent/EP2764698A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H2001/2605Arrangement of the sub-holograms, e.g. partial overlapping
    • G03H2001/261Arrangement of the sub-holograms, e.g. partial overlapping in optical contact
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024Multi-user, collaborative environment

Definitions

  • the invention relates to the representation of one and the interaction with a
  • the invention relates to a
  • a display device for displaying a three-dimensional scenario, a three-dimensional scenario displaying device for cooperatively processing the three-dimensional scenario by a plurality of
  • Stereoscopic systems with individual imaging for one or more users are known.
  • individual images for a viewer's left eye and right eye, respectively are displayed on a screen.
  • the respective eye can also recognize only the image intended for this eye in each case, so that the perception of the spatial view created by the viewer differs from the images perceived by the eyes.
  • This separation of the images for the respective eyes of the observer can be done for example by the use of prisms, which break the light so that the eyes look at different images.
  • glasses with differently polarized lenses for the user or viewer are known.
  • Viewers are chosen.
  • a second viewer or each additional viewer can easily be allowed to view the three-dimensional scenario, as long as all viewers observe the same scenario.
  • a display in addition to the two images for the first viewer still have to present two more images for the second viewer. It is not only important to note that each eye looks at the particular image, and only this image, but also that a distinction should be made between the images and the viewer.
  • a device for displaying a three-dimensional scenario which allows scalability of the device to a plurality of users or viewers so that a simultaneous and cooperative interaction of the plurality of viewers with the illustrated three-dimensional scenario without quality loss of the representation can take place and nevertheless each observer has an individual view on the three-dimensional scenario.
  • a display device for displaying a three-dimensional scenario with a first Projection device and a second projection device and a holographic display device with a first holographic unit and a second holographic unit specified.
  • the Projection device and the second projection device designed to throw a first image or a second image on the holographic display device.
  • the first holographic unit and the second holographic unit are configured to scatter the first image and the second image, respectively, such that a first eye of one operator perceives the first image and a second eye of the operator views the second image such that the operator Impression of a three-dimensional
  • the holographic display device may, for example, a display disk and the first and the second holographic unit, for example, a
  • Projection device may be, for example, laser projectors.
  • the holograms may be set so that they each receive only the light of one of the two projection devices and direct or scatter in a second direction such that the corresponding image can only be seen from a certain angle.
  • the first projection device is arranged to project light onto the first hologram so that it is below the corresponding one
  • Incident angle impinges on the first hologram.
  • the first holographic unit may be designed to direct the light of the first projection device into a first half-space and the second Holographic unit may be configured to direct the light of the second projection device in a second half-space.
  • a viewer of the holographic display device thus creates the impression of a three-dimensional scenario, wherein a first eye of the observer perceives the first image and a second eye of the observer perceives the second image.
  • a first eye of the observer perceives the first image and a second eye of the observer perceives the second image.
  • the first eye in the first half-space and the second eye in the second half-space are the first eye in the first half-space and the second eye in the second half-space.
  • the display device further comprises a detection unit and an actuator. It is the
  • Detection unit executed to determine a position of the first eye and the second eye of the operator.
  • the actuator is designed to move the holographic display device such that a viewing direction of the operator in a sagittal plane of the display device strikes the display device perpendicularly.
  • the viewing direction of the operator in the sagittal plane can also hit the display device at any other angle as long as this angle corresponds to the emission direction of the images through the holograms so that each eye can perceive the image assigned to it.
  • a half space designates a spatial area on the viewing side of the holographic display device, in which only the image of the first
  • Projection device or the image of the second projection device can be perceived by the eye located in the corresponding half-space.
  • the arrangement of the first half-space and the second half-space is predetermined by the arrangement of the eyes of the operator, whereby the first half-space and the second half-space are horizontally offset from each other, so that in each case an eye of the operator is in the first half-space and the second half-space ,
  • the first holographic unit and the second holographic unit may be designed such that a positioning of the first half-space and the second half-space depending on an eye distance between the first eye and the second eye of the operator and / or in dependence of a distance of the operator from the holographic Display device is adjusted.
  • Display device also be moved so that the distance of the eyes of the Operator of the display device remains substantially constant. In other words, this means that the display device can be moved in one direction towards the operator and away from the operator.
  • the first holographic unit or the second holographic unit it is also possible for the first holographic unit or the second holographic unit to be designed such that adjustments to the holographic units can be made so that the holographic units adapt to vertical movements of the user and despite perception of the first image and the second image fluctuating distance of the operator's eyes to the display device is made possible.
  • the display device To improve the ease of use of the display device, the
  • Holographic display device are rotated by means of the actuator about a vertical axis of the display device so that the eyes of the operator regardless of its horizontal positioning are always in the respective eye assigned half space.
  • the sagittal plane of the display device is spanned by a
  • a vertical movement of the eyes of the operator corresponds to a change in the inclination of the sagittal plane with respect to the
  • Display device in which the sagittal plane rotates about the horizontal axis of the display device.
  • a movement of the operator's eyes in a horizontal direction can cause an eye to leave its assigned half-space, thus spoiling the impression of a three-dimensional scenario.
  • the holographic display device To maintain three-dimensional impression in the operator, now the holographic display device must be rotated about its vertical axis that the extension of the first half-space and the second half-space in Match with the first eye and the second eye of the operator is brought.
  • This angle can be an arbitrary angle, it is crucial that it remains constant in a horizontal movement of the eyes of the operator.
  • the viewing direction in the sagittal plane forms a right angle with the display device, i. H. an angle of 90 degrees.
  • the detection unit has at least one camera.
  • the camera may be configured to determine the position of at least one eye of the operator so as to instruct the actuator to move the holographic display to a position, i. to rotate about its horizontal axis, so that the operator perceives the first image with the first eye and the second image of the holographic display device with the second eye.
  • the camera can also be designed to follow a clearly identifiable object, which is located, for example, next to one of the operator's eyes.
  • This uniquely identifiable object may be, for example, a sticker with a visual coding feature, such as a bar code.
  • the holographic display device is configured to display a pointing element.
  • the operator can interact with the three-dimensional scenario by forming a connecting line from the first eye or the second eye of the operator via the pointing element into the three-dimensional scenario.
  • the connecting line can also as Mean value between the two connecting lines from the left eye or right eye on the pointing element are formed in the three-dimensional scenario.
  • the calculated connecting line from an operator's eye to the pointing element can be used to determine which element was selected in the three-dimensional scenario.
  • the pointing element is placed on the holographic display by the operator
  • Display device touched with a finger.
  • the holographic display device may include a
  • Scanning devices such as Frustrated Total Internal Reflection (FTIR) the position of a finger on the holographic display device are determined.
  • FTIR Frustrated Total Internal Reflection
  • the pointing element is placed on the holographic display device by the detection unit detecting a position of the finger of the operator.
  • the detection unit can make the position of the finger in principle analogous to the version of the position of the eye, which has been described in detail above.
  • the detection unit may comprise a plurality of detection elements, of which a first group of a plurality of detection elements for the Detecting the position of the operator's eyes and a second group of multiple detection elements for detecting the position of the finger of the operator can be performed.
  • the positioning of the pointing element on the display device can also be done by means of an input device such as a so-called computer mouse or a trackball or via a keyboard with control arrows and any other input devices.
  • an input device such as a so-called computer mouse or a trackball or via a keyboard with control arrows and any other input devices.
  • Display device a two-dimensional display element which is designed to provide the operator information in graphical and written form. In the displayed on the two-dimensional display element
  • Information can be any information that can not or must not be presented in the three-dimensional scenario.
  • the three-dimensional scenario is an airspace to be monitored with aircraft in it
  • information on a two-dimensional display element may be displayed on a selected aircraft, such as a vehicle.
  • speed, altitude, weather data or other data are displayed.
  • the two-dimensional display element may be touch-sensitive.
  • a presentation device for a three-dimensional scenario for the cooperative processing of the 3-dimensional scenarios by a plurality of operators which has a plurality of display devices as described above and below, and wherein each one operator at least one
  • the display device thus enables the joint and cooperative processing of a scenario by multiple operators.
  • Display devices spatially separated or adjacent to be arranged. For example, a plurality of display devices on a
  • Workplace for example, a table, be arranged side by side and so in addition to the common interaction of the operator with the three-dimensional scenario also allow immediate communication between the operators.
  • the display devices can also be arranged spatially separated from each other and still enable the joint cooperative editing of a three-dimensional scenario.
  • each display device via a decentralized
  • the decentralized computing device may be connected to the central computing system, wherein the central computing system merely performs control and coordination of a plurality of decentralized computing devices.
  • the inventive design of the display devices it is possible to scale the number of operators as desired. For example, the
  • Display device for four, eight, twelve or any number of operators to be executed, wherein a parameter for the determination of the number of operators, the complexity and the extent of the monitored
  • a central computer system controls the display devices in such a way that every operator gets the impression of a three-dimensional scenario.
  • the display device can, for example, for the cooperative mission planning of land, water and air vehicles, a joint mission implementation of several unmanned land, water and air vehicles by the respective vehicle operator, the cooperative monitoring of airspaces or national borders or even for the
  • a display device can be extended so that each operator is provided with one or more display devices.
  • the central computing system controls the distributed to the individual display devices representations or
  • Presentation device can also be used for training and evaluation purposes. According to one embodiment of the invention, each operator sees that
  • supervisory airspace that viewpoint, as if the operators were positioned relative to the supervisory airspace as positioned relative to the three-dimensional scenario of the airspace.
  • one of four operators uniformly distributed around the display device refers to the three-dimensional scenario from an easterly direction, a second operator from a southward direction, a third operator from a western direction, and a fourth operator from a northward direction the three-dimensional scenario of the airspace to be monitored looks.
  • each operator sees the three-dimensional scenario from a cloned perspective.
  • the cloned perspective corresponds to a given perspective of the operator on the three-dimensional scenario.
  • all or even a predefinable part of the operator can view the three-dimensional scenario from the same perspective.
  • an operator can be assisted by a second operator by giving the same to both operators on their display device
  • the individual perspective corresponds to a perspective view of the three-dimensional scenario that can be set as desired by each operator. In other words, this means that an operator can adjust his perspective as if he were moving freely in the space shown.
  • the operator may select and enlarge an area of the three-dimensional scenario, for example, to obtain increased detail of the presentation.
  • each operator is assigned a second display device which is executed
  • an operator of a remote display device can also be represented here.
  • the display device is described above and below for cooperative monitoring of
  • a method for representing a three-dimensional scenario is provided.
  • a respective first image and a second image are projected onto a respective holographic display device from one Variety of holographic display devices, so that the impression of a three-dimensional scenario arises in a viewer of the three-dimensional display device, each holographic display device the
  • the holographic display device is rotated about a vertical axis so that a viewing direction of the viewer in one
  • Sagittal plane of the display device falls at a predetermined angle to the holographic display device.
  • a method for cooperatively processing a three-dimensional scenario is provided.
  • the detection of an eye position of a viewer of the three-dimensional overall scenario takes place.
  • a further step becomes a reference point on the holographic
  • a connecting line is calculated from the eye position via the reference point into the three-dimensional overall scenario.
  • Fig. 1 shows a plan view of a display device according to an embodiment of the invention.
  • Fig. 2 shows a plan view of a display device according to another embodiment of the invention.
  • Fig. 3 shows an isometric view of a holographic display device according to an embodiment of the invention.
  • 4 shows an isometric view of a display device according to a further embodiment of the invention.
  • Fig. 5 shows a side view of a display device according to another embodiment of the invention.
  • FIG. 6 shows a plan view of a three-dimensional scenario display device for cooperative processing by a plurality of operators according to an embodiment of the invention.
  • 7 shows a schematic view of a method for the representation and cooperative processing of a three-dimensional overall scenario.
  • Fig. 1 shows a display device 100 according to an embodiment of the invention.
  • the display device has a first projection device 111 and a second projection device 1 12, as well as a holographic
  • Display device 130 with a first holographic unit 131 and a second holographic unit 132.
  • the first projection device 11 1 is designed to project an image onto the first holographic unit 131, the image of the first holographic unit 131
  • Projection device is directed in the direction of a first eye 121 of an operator and the image of the second projection device 1 12 is directed by the second holographic unit 132 in the direction of a second eye 122 of an operator.
  • the different images perceived by the first eye and the second eye give the operator the impression of a three-dimensional scenario.
  • FIG. 1 shows a first half space 151 and a second half space 152, in which the first eye or the second eye can be located, without the impression of a three-dimensional scenario being disturbed. Only when leaving the first half-space or the second half-space through the first eye or the second eye, this impression is disturbed. Furthermore, the first half space and the second half space are limited by the fact that a vertical movement of the operator changes a distance of the operator's eyes from the display device, which can also interfere with the perception of the first image and / or the second image. To counteract this effect that the display device are moved toward or away from the user, so that a change in the distance of the eyes of the
  • Display device is compensated.
  • Fig. 2 shows a display device 100 according to another
  • the display device 100 has a holographic display device 130, an actuator 202 and a detection unit 220.
  • the detection unit 220 is executed, a position of the operator of
  • Detect display device In order to ensure that the operator's eyes perceive different images, giving the impression of a three-dimensional scenario to the operator, depending on the operator's position relative to the holographic display 130, it may be necessary for the holographic display 130 to be about a vertical axis 135 along the directional arrow 136 to rotate so that each eye of the
  • Fig. 3 shows a holographic display device 130 in isometric
  • a sagittal plane 310 is spanned by a viewing direction 301 of the operator on the display device 130 and a horizontal axis 320 of the display device 130. Thus, the sagittal plane 310 intersects the display device 130 at an angle ⁇ 31 1. From the viewing direction 301 in the sagittal plane 310 and the
  • a change in the angle ⁇ 31 1 corresponds to a vertical movement of the operator in front of the display device 130.
  • a horizontal movement of the operator in front of the display device 130 causes at least one eye to leave the half-space provided for this eye and thus perceive either the wrong image or no image, so that the impression of the three-dimensional scenario is disturbed.
  • the holographic display device 130 is moved by the actuator 202 so that the angle ß 321 constantly maintains a predetermined value. 4 shows a display device 100 according to another
  • the display device has a
  • holographic display device 130 a two-dimensional display element 430, a second holographic display device 230 and four cameras 221, 222, 223, 224, which represent the position detection unit of the operator's and / or the operator's finger.
  • the cameras can be designed to determine a positioning of the finger on the display device, but also to determine a positioning of the finger in the room.
  • Both the first display device 130 and the second display device 230 may be rotated about their respective vertical axis by an actuator (not shown) such that a viewing direction 301 falls on the display device 130 and the display device 230 at a constant predeterminable angle.
  • FIG. 5 shows a side view of a holographic display device 130 and a schematically represented three-dimensional scenario 550.
  • Display device 130 is configured to display a pointing element 510.
  • the pointing element 510 is movable on the display device 130. This can be done for example by touching the display device 130 with a finger or for example by movement or actuation of an input element, such as a so-called. Computer mouse.
  • a connecting line 51 1 is formed by the operator's eye 121, 122 via the pointing element 510 into the three-dimensional scenario 550.
  • the operator-selected element 555 can be determined in the three-dimensional scenario.
  • the selected element 555 may be a single object or part of an object in the three-dimensional scenario.
  • a vehicle such as an aircraft, or any part of the vehicle, such as a wing or a rudder, may be selected.
  • the connecting line 51 1 corresponds to the viewing direction 301 of the operator on the display device 130, whereby the connecting line 51 1 and the
  • Indicator 130 includes the angle ⁇ 31 1.
  • a change in the angle ⁇ does not influence the impression of the perception of a three-dimensional scenario by the operator.
  • FIG. 6 shows a three-dimensional scenario display device 600 for cooperatively processing the two-dimensional scenario by a plurality of operators according to an embodiment of the invention.
  • each display device is assigned an operator 120 in each case.
  • Each operator 120 looks at the display device 100 assigned to it, so that each operator is given the impression of a three-dimensional scenario. From the operator 120's perspective, the situation is that the operators a virtual three-dimensional overall scenario 610
  • the display device shown in FIG. 6 thus enables the joint cooperative processing of a three-dimensional overall scenario by a plurality of operators, wherein the processing of the three-dimensional scenario can be assisted by providing the operators with an immediate
  • FIG. 7 shows a method 700 for the representation and cooperative processing of a three-dimensional overall scenario according to an embodiment of the invention.
  • a respective first image and a second image are projected onto a respective holographic display device from a multiplicity of holographic display devices, so that the impression of a three-dimensional scenario arises for a viewer of the three-dimensional display device, each holographic
  • Display device represents the three-dimensional overall scenario from a specific perspective.
  • the first image and the second image each of a first
  • Projection device or a second projection device projected onto a holographic display device By projecting a plurality of first images and second images onto each one of a plurality of holographic display devices, it is subjected to a plurality of Operator can view the three-dimensional scenario from its own perspective.
  • an operator's perspective on the three-dimensional scenario is compiled from a pair of a first image and a second image, respectively, which are projected onto the display device assigned to that operator.
  • the offering of the first image and the second image for the plurality of display devices may be controlled, for example, by a central control system or central computer system.
  • the central control system may be implemented, the various above and below
  • each holographic display device the three-dimensional
  • the three-dimensional overall scenario can be represented such that a plurality of display devices which are arranged at a workstation, the three-dimensional overall scenario of a so-called natural
  • a first display device shows the three-dimensional overall scenario from a first perspective, for example from the east
  • a second display device from a second perspective for example from the south
  • shows a third display device from one third perspective for example, pointing west
  • a fourth Display device from a fourth perspective for example, north direction shows.
  • the perspectives of the operator can correspond to the perspective which the operators have on a miniature image of the user
  • each display device can show any perspective on the overall three-dimensional scenario.
  • Beholder In this case, for example, only the position of an eye, for example the left eye or the right eye, can be detected and closed on the position of the right eye or the left eye of the operator. But it can also be the position of the right eye and the left eye of the operator are detected, so as to meet the individual horizontal eye relief of different operators.
  • the central control system can have an operator identification, by which the position of the second eye is determined after detecting a first eye position by the individual horizontal eye distance known to the central control system.
  • the detection of the eye position can take place by means of a detection unit, for example one or a plurality of cameras. In this case, the detection of the eye position can take place by means of image recognition. Similarly, the eye position can be detected by a marker is placed at a certain distance and angle to an eye, for example, on the forehead of the operator. About the Detecting the position of the marker, the central control system determines the position of an eye or both eyes of the operator.
  • a third step 703 the holographic display device is rotated about a vertical axis so that a viewing direction of the viewer in a sagittal plane of the display device falls on the holographic display device at a predetermined angle.
  • the rotation of the display device avoids that an eye of the operator perceives no image or both eyes perceive the same image, which would disturb the three-dimensional impression.
  • a reference point is set on the holographic display device.
  • the reference point can be used as a point on the holographic
  • Display device are set. Then it is a commitment on a level corresponding to the display device, ie by one
  • the reference point can also be defined as a point in space.
  • a finger of the operator can be used in particular, which defines the reference point via a touch-sensitive detection layer on the display device.
  • a position of a finger of the operator in the room or on the display device can be determined by means of a detection system.
  • the finger position can basically be determined by the same method as the detection of the eye position of the operator described above.
  • the reference point by movement of a conventional graphical pointing device, such as a so-called computer mouse or a trackball, which is connected to the central control system as an input device, take place.
  • a fifth step 705 the calculation of a connecting line from the eye position via the reference point into the three-dimensional overall scenario takes place.
  • the central control system knows the position of at least one eye of the operator, which serves as the first point of the connecting line. Furthermore, the reference point is known, which serves as the second point of the connecting line.
  • the connecting line is extended into the three-dimensional scenario, thus identifying an object in this scenario, which is the Has targeted or selected operator, ie to which object the operator has shown.
  • any available actions can be applied to the selected object.
  • the central control system can be executed, the operator a selection of actions from a
  • the total amount of actions may include all actions for an unmanned aerial vehicle, and the selection of actions only those actions that should be allowed in a specific situation.
  • the instruction to reduce the altitude in such a case may be inadmissible if the minimum altitude would be exceeded.
  • the inventive device and / or allows
  • inventive method a simple, fast and intuitive operation of cooperative by multiple operators three-dimensional scenarios.
  • the number of operators can be any number, since the method according to the invention and the device according to the invention are arbitrarily scalable.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Holo Graphy (AREA)

Abstract

A display apparatus (100) for representing a three-dimensional scenario comprising a first (111) and a second projection device (112) is specified. Furthermore, the display apparatus has a holographic display device (130) having a first (131) and a second holographic unit (132). In addition, a representation apparatus (600) comprising a multiplicity of display apparatuses for the representation and cooperative processing of a three-dimensional scenario (610) by a multiplicity of operators (120) is specified, where each operator views the three-dimensional scenario from an individually determinable perspective.

Description

Kooperativer 3D-Arbeitsplatz  Cooperative 3D workplace
Gebiet der Erfindung Field of the invention
Die Erfindung betrifft die Darstellung eines und die Interaktion mit einem  The invention relates to the representation of one and the interaction with a
dreidimensionalen Szenario. Insbesondere betrifft die Erfindung eine three-dimensional scenario. In particular, the invention relates to a
Anzeigevorrichtung zum Darstellen eines dreidimensionalen Szenarios, eine Darstellungsvorrichtung für ein dreidimensionales Szenario zur kooperativen Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von A display device for displaying a three-dimensional scenario, a three-dimensional scenario displaying device for cooperatively processing the three-dimensional scenario by a plurality of
Bedienern, die Verwendung einer Darstellungsvorrichtung für ein Operators who use a display device for a
dreidimensionales Szenario zur kooperativen Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern zur kooperativen Überwachung von Lufträumen sowie ein Verfahren zur Darstellung eines dreidimensionalen Three-dimensional scenario for cooperative processing of the three-dimensional scenario by a plurality of operators for cooperative monitoring of air spaces and a method for displaying a three-dimensional
Szenarios sowie ein Verfahren zur kooperativen Bearbeitung eines Scenarios and a procedure for the cooperative processing of a
dreidimensionalen Szenarios. Technischer Hintergrund der Erfindung three-dimensional scenarios. Technical background of the invention
Stereoskopische Systeme mit individueller Bilderzeugung für einen oder mehrere Benutzer sind bekannt. Bei diesen stereoskopischen Systemen werden einzelne Bilder jeweils für das linke Auge bzw. das rechte Auge eines Betrachters auf einem Bildschirm dargestellt. Dabei ist sicherzustellen, dass das jeweilige Auge auch jeweils nur das für dieses Auge bestimmte Bild erkennen kann, so dass durch die von den Augen verschiedenen wahrgenommenen Bilder der Eindruck der räumlichen Betrachtung bei dem Betrachter entsteht. Diese Trennung der Bilder für die jeweiligen Augen des Betrachters kann beispielsweise durch den Einsatz von Prismen erfolgen, welche das Licht so brechen, dass die Augen unterschiedliche Bilder betrachten. Daneben ist bekannt, Brillen mit unterschiedlich polarisierten Linsen für den Benutzer bzw. Betrachter zu verwenden. Auf einer Darstellungsfläche werden entsprechend zwei unterschiedliche Bilder mit unterschiedlich polarisiertem Licht dargestellt, wobei jeweils eine Linse nur das entsprechend polarisierte Licht zum Auge des Betrachters durchdringen lässt. Somit kann bei dem Betrachter durch unterschiedliche Bilder, welche an seinen beiden Augen anliegen, der Eindruck eines dreidimensionalen Szenarios hervorgerufen werden. Stereoscopic systems with individual imaging for one or more users are known. In these stereoscopic systems, individual images for a viewer's left eye and right eye, respectively, are displayed on a screen. In this case, it must be ensured that the respective eye can also recognize only the image intended for this eye in each case, so that the perception of the spatial view created by the viewer differs from the images perceived by the eyes. This separation of the images for the respective eyes of the observer can be done for example by the use of prisms, which break the light so that the eyes look at different images. In addition, it is known to use glasses with differently polarized lenses for the user or viewer. On a display surface correspondingly two different images are displayed with differently polarized light, wherein in each case one lens can only penetrate the correspondingly polarized light to the eye of the beholder. Thus, the impression of a three-dimensional scenario can be evoked in the viewer by different images which rest against his two eyes.
Diese beiden prinzipiellen Aufbaumöglichkeiten eines Systems zur Darstellung eines dreidimensionalen Szenarios können grundsätzlich auch für mehrere In principle, these two basic design possibilities of a system for the representation of a three-dimensional scenario can also be applied to several
Betrachter gewählt werden. Dabei kann es einem zweiten Betrachter oder jedem weiteren Betrachter problemlos ermöglicht werden, das dreidimensionale Szenario zu betrachten, solange alle Betrachter das gleiche Szenario betrachten. Soll ein zweiter Betrachter jedoch ein anderes Szenario betrachten als der erste Betrachter, so muss ein Display zusätzlich zu den zwei Bildern für den ersten Betrachter noch zwei weitere Bilder für den zweiten Betrachter darstellen. Dabei ist nicht nur zu beachten, dass jedes Auge das für dieses bestimmte Bild, und nur dieses Bild, betrachtet, sondern auch, dass eine Unterscheidung der Bilder hinsichtlich der Betrachter zu treffen ist.  Viewers are chosen. In this case, a second viewer or each additional viewer can easily be allowed to view the three-dimensional scenario, as long as all viewers observe the same scenario. However, if a second viewer is to regard a different scenario than the first viewer, then a display in addition to the two images for the first viewer still have to present two more images for the second viewer. It is not only important to note that each eye looks at the particular image, and only this image, but also that a distinction should be made between the images and the viewer.
Insbesondere bei der Betrachtung eines dreidimensionalen Szenarios durch mehrere Betrachter zeigt sich die Grenze der bekannten stereoskopischen Especially when considering a three-dimensional scenario by several observers, the limit of the known stereoscopic shows
Systeme dahingehend, dass ein Display für jeden weiteren Betrachter jeweils zwei weitere Bilder darzustellen hat. Jedes weitere dargestellte Bild auf einem Display vermindert allerdings die Qualität der anderen Bilder, da die Darstellungskapazität, beispielsweise die Auflösung, des Displays auf mehrere Bilder aufgeteilt werden muss. Zusammenfassung der Erfindung Systems in that a display for each additional viewer has to represent two more images. However, any further displayed image on one display reduces the quality of the other images, since the display capacity, such as the resolution, of the display must be divided into several images. Summary of the invention
Es kann als eine Aufgabe der Erfindung angesehen werden, eine Vorrichtung zur Darstellung eines dreidimensionalen Szenarios anzugeben, welche eine kooperative Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern ermöglicht.  It may be regarded as an object of the invention to provide a device for displaying a three-dimensional scenario, which enables a cooperative processing of the three-dimensional scenario by a plurality of operators.
Insbesondere kann es als Aufgabe der Erfindung angesehen werden, eine Vorrichtung zur Darstellung eines dreidimensionalen Szenarios anzugeben, welche eine Skalierbarkeit der Vorrichtung auf eine Mehrzahl von Benutzern bzw. Betrachtern so ermöglicht, dass eine zeitgleiche und kooperative Interaktion der Mehrzahl von Betrachtern mit dem dargestellten dreidimensionalen Szenario ohne Qualitätsverlust der Darstellung erfolgen kann und dennoch jeder Betrachter eine individuelle Sicht auf das dreidimensionale Szenario hat. Es sind eine Anzeigevorrichtung zum Darstellen eines dreidimensionalen In particular, it can be seen as an object of the invention to provide a device for displaying a three-dimensional scenario, which allows scalability of the device to a plurality of users or viewers so that a simultaneous and cooperative interaction of the plurality of viewers with the illustrated three-dimensional scenario without quality loss of the representation can take place and nevertheless each observer has an individual view on the three-dimensional scenario. It is a display device for displaying a three-dimensional
Szenarios, eine Darstellungsvorrichtung für ein dreidimensionales Szenario zur kooperativen Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern und eine Verwendung einer Darstellungsvorrichtung zur kooperativen Überwachung von Lufträumen sowie ein Verfahren zur Darstellung und ein Verfahren zur kooperativen Bearbeitung eines dreidimensionalen  Scenarios, a three-dimensional scenario displaying apparatus for cooperatively processing the three-dimensional scenario by a plurality of operators, and using a display apparatus for cooperatively monitoring air spaces, and a method of displaying and a method for cooperatively processing a three-dimensional one
Szenarios gemäß den Merkmalen der unabhängigen Patentansprüche Scenarios according to the features of the independent claims
angegeben. Weiterbildungen der Erfindung ergeben sich aus den specified. Further developments of the invention will become apparent from the
Unteransprüchen und aus der folgenden Beschreibung. Viele der im Folgenden in Hinblick auf die Anzeigevorrichtung und die Subclaims and from the following description. Many of the below in terms of the display device and the
Darstellungsvorrichtung beschriebenen Merkmale lassen sich auch als Description device described features can also be as
Verfahrensschritte implementieren und umgekehrt. Implement process steps and vice versa.
Gemäß einem ersten Aspekt der Erfindung ist eine Anzeigevorrichtung zum Darstellen eines dreidimensionalen Szenarios mit einer ersten Projektionseinrichtung und einer zweiten Projektionseinrichtung sowie einer holografischen Anzeigeeinrichtung mit einer ersten holografischen Einheit und einer zweiten holografischen Einheit angegeben. Dabei sind die erste According to a first aspect of the invention is a display device for displaying a three-dimensional scenario with a first Projection device and a second projection device and a holographic display device with a first holographic unit and a second holographic unit specified. Here are the first
Projektionseinrichtung und die zweite Projektionseinrichtung ausgeführt, ein erstes Bild bzw. ein zweites Bild auf die holografische Anzeigeeinrichtung zu werfen. Die erste holografische Einheit und die zweite holografische Einheit sind ausgeführt, das erste Bild bzw. das zweite Bild so zu streuen, dass ein erstes Auge eines Bedieners das erste Bild und ein zweites Auge des Bedieners das zweite Bild so wahrnimmt, dass bei dem Bediener der Eindruck eines dreidimensionalen Projection device and the second projection device designed to throw a first image or a second image on the holographic display device. The first holographic unit and the second holographic unit are configured to scatter the first image and the second image, respectively, such that a first eye of one operator perceives the first image and a second eye of the operator views the second image such that the operator Impression of a three-dimensional
Szenarios entsteht. Scenarios arises.
Die holografische Anzeigeeinrichtung kann beispielsweise eine Anzeigescheibe und die erste und die zweite holografische Einheit kann beispielsweise ein The holographic display device may, for example, a display disk and the first and the second holographic unit, for example, a
Hologramm sein. Die erste Projektionseinrichtung und die zweite Be hologram. The first projection device and the second
Projektionseinrichtung können beispielsweise Laserprojektoren sein. Projection device may be, for example, laser projectors.
Die Hologramme können beispielsweise so eingestellt sein, dass sie jeweils nur das Licht eines der beiden Projektionseinrichtungen aufnehmen und in eine zweite Richtung so lenken bzw. streuen, dass das entsprechende Bild nur aus einem bestimmten Blickwinkel gesehen werden kann. In anderen Worten bedeutet dies, dass jedes Hologramm ausgeführt ist, einstrahlendes Licht nur aus einem vorgegebenen Einfallswinkel aufzunehmen und dieses Licht in einem For example, the holograms may be set so that they each receive only the light of one of the two projection devices and direct or scatter in a second direction such that the corresponding image can only be seen from a certain angle. In other words, this means that each hologram is designed to receive incident light only from a predetermined angle of incidence and this light in one
vorgegebenen Ausfallswinkel abzugeben. Entsprechend ist die erste Projektionseinrichtung angeordnet, Licht auf das erste Hologramm so zu projizieren, dass dieses unter dem entsprechenden give predetermined angle of reflection. Accordingly, the first projection device is arranged to project light onto the first hologram so that it is below the corresponding one
Einfallswinkel auf das erste Hologramm auftrifft. Analog gilt dies auch für die Anordnung der zweiten Projektionseinrichtung und das zweite Hologramm. Die erste holografische Einheit kann dabei ausgeführt sein, das Licht der ersten Projektionseinrichtung in einen ersten Halbraum zu lenken und die zweite holografische Einheit kann ausgeführt sein, das Licht der zweiten Projektionseinrichtung in einen zweiten Halbraum zu lenken. Bei einem Betrachter der holografischen Anzeigeeinrichtung entsteht damit der Eindruck eines dreidimensionalen Szenarios, wobei ein erstes Auge des Betrachters das erste Bild wahrnimmt und ein zweites Auge des Betrachters das zweite Bild wahrnimmt. Dabei befinden sich das erste Auge in dem ersten Halbraum und das zweite Auge in dem zweiten Halbraum. Incident angle impinges on the first hologram. This also applies analogously to the arrangement of the second projection device and the second hologram. The first holographic unit may be designed to direct the light of the first projection device into a first half-space and the second Holographic unit may be configured to direct the light of the second projection device in a second half-space. A viewer of the holographic display device thus creates the impression of a three-dimensional scenario, wherein a first eye of the observer perceives the first image and a second eye of the observer perceives the second image. Here are the first eye in the first half-space and the second eye in the second half-space.
Gemäß einer Ausführungsform der Erfindung weist die Anzeigevorrichtung weiterhin eine Erfassungseinheit und einen Aktuator auf. Dabei ist die According to one embodiment of the invention, the display device further comprises a detection unit and an actuator. It is the
Erfassungseinheit ausgeführt, eine Position des ersten Auges und des zweiten Auges des Bedieners zu ermitteln. Der Aktuator ist ausgeführt, die holografische Anzeigeeinrichtung so zu bewegen, dass eine Blickrichtung des Bedieners in einer Sagittalebene der Anzeigeeinrichtung senkrecht auf die Anzeigeeinrichtung trifft.  Detection unit executed to determine a position of the first eye and the second eye of the operator. The actuator is designed to move the holographic display device such that a viewing direction of the operator in a sagittal plane of the display device strikes the display device perpendicularly.
Da der Eindruck eines dreidimensionalen Szenarios bei dem Bediener dadurch entsteht, dass jedes Auge des Bedieners ein eigenes Bild sieht, ist es notwendig, dass sich jeweils ein Auge des Bedieners in dem diesem Augen zugeordneten Halbraum befindet. Since the impression of a three-dimensional scenario arises for the operator in that each eye of the operator sees his own image, it is necessary for one eye each of the operator to be located in the half space assigned to this eye.
Selbstverständlich kann die Blickrichtung des Bedieners in der Sagittalebene auch unter einem anderen beliebigen Winkel auf die Anzeigeeinrichtung treffen, solange dieser Winkel der Abstrahlrichtung der Bilder durch die Hologramme so entspricht, dass jedes Auge das ihm zugewiesene Bild wahrnehmen kann. Of course, the viewing direction of the operator in the sagittal plane can also hit the display device at any other angle as long as this angle corresponds to the emission direction of the images through the holograms so that each eye can perceive the image assigned to it.
Ein Halbraum bezeichnet dabei ein räumliches Gebiet auf der Betrachtungsseite der holografischen Anzeigeeinrichtung, in welchem nur das Bild der ersten A half space designates a spatial area on the viewing side of the holographic display device, in which only the image of the first
Projektionseinrichtung bzw. das Bild der zweiten Projektionseinrichtung von dem in dem entsprechenden Halbraum befindlichen Auge wahrgenommen werden kann. Die Anordnung des ersten Halbraumes und des zweiten Halbraumes ist dabei durch die Anordnung der Augen des Bedieners vorgegeben, womit der erste Halbraum und der zweite Halbraum horizontal zueinander versetzt sind, so dass sich jeweils ein Auge des Bedieners in dem ersten Halbraum und dem zweiten Halbraum befindet. Projection device or the image of the second projection device can be perceived by the eye located in the corresponding half-space. The arrangement of the first half-space and the second half-space is predetermined by the arrangement of the eyes of the operator, whereby the first half-space and the second half-space are horizontally offset from each other, so that in each case an eye of the operator is in the first half-space and the second half-space ,
Die erste holografische Einheit und die zweite holografische Einheit können so ausgeführt sein, dass eine Positionierung des ersten Halbraumes und des zweiten Halbraumes in Abhängigkeit eines Augenabstandes zwischen dem ersten Auge und dem zweiten Auge des Bedieners und/oder in Abhängigkeit eines Abstandes des Bedieners von der holografischen Anzeigeeinrichtung angepasst wird. The first holographic unit and the second holographic unit may be designed such that a positioning of the first half-space and the second half-space depending on an eye distance between the first eye and the second eye of the operator and / or in dependence of a distance of the operator from the holographic Display device is adjusted.
Insbesondere bei einer horizontalen bzw. seitlichen Bewegung des Bedieners in Bezug zu der holografischen Anzeigeeinrichtung kann es vorkommen, dass sich zumindest ein Auge aus dem für dieses Auge vorgesehenen Halbraum In particular, in a horizontal or lateral movement of the operator with respect to the holographic display device, it may happen that at least one eye from the provided for this eye half-space
herausbewegt und so der Eindruck eines dreidimensionalen Szenarios gestört wird. moved out and so the impression of a three-dimensional scenario is disturbed.
In anderen Worten bedeutet dies, dass das erste Auge und das zweite Auge des Bedieners das erste Bild bzw. das zweite Bild deswegen einzeln wahrnehmen, weil der erste Halbraum und der zweite Halbraum so horizontal versetzt sind, wie dies von dem horizontalen Augenabstand des Bedieners vorgegeben ist. Eine Veränderung der Betrachtungsposition des Bedieners in der Vertikalen führt hingegen nicht dazu, dass das eine Auge sich in den Halbraum des anderen Auges bewegt. In other words, this means that the first eye and the second eye of the operator perceive the first image or the second image individually because the first half space and the second half space are offset horizontally as dictated by the horizontal eye distance of the operator is. A change in the viewing position of the operator in the vertical, however, does not cause that one eye moves into the half-space of the other eye.
Eine vertikale Bewegung des Bedieners kann dazu führen, dass der Abstand von den Augen des Bedieners zu der holografischen Anzeigeeinrichtung sich verändert. Dies mag dazu führen, dass die Wahrnehmung des ersten Bildes und/oder des zweiten Bildes gestört wird. Entsprechend kann die Vertical movement of the operator may cause the distance from the operator's eyes to the holographic display to change. This may cause the perception of the first image and / or the second image to be disturbed. Accordingly, the
Anzeigeeinrichtung auch so bewegt werden, dass der Abstand der Augen des Bedieners von der Anzeigeeinrichtung im Wesentlichen konstant bleibt. In anderen Worten bedeutet dies, dass die Anzeigeeinrichtung in einer Richtung hin auf den Bediener und weg von dem Bediener bewegt werden kann. Es kann aber auch die erste holografische Einheit oder die zweite holografische Einheit so ausgeführt sein, dass Anpassungen an den holografischen Einheiten so vorgenommen werden können, dass die holografischen Einheiten sich an vertikale Bewegungen des Benutzers anpassen und eine Wahrnehmung des ersten Bildes und des zweiten Bildes trotz schwankendem Abstand der Augen des Bedieners zur Anzeigeeinrichtung ermöglicht wird. Display device also be moved so that the distance of the eyes of the Operator of the display device remains substantially constant. In other words, this means that the display device can be moved in one direction towards the operator and away from the operator. However, it is also possible for the first holographic unit or the second holographic unit to be designed such that adjustments to the holographic units can be made so that the holographic units adapt to vertical movements of the user and despite perception of the first image and the second image fluctuating distance of the operator's eyes to the display device is made possible.
Zur Verbesserung des Bedienkomforts der Anzeigevorrichtung kann die To improve the ease of use of the display device, the
holografische Anzeigeeinrichtung mittels des Aktuators um eine vertikale Achse der Anzeigeeinrichtung so gedreht werden, dass sich die Augen des Bedieners unabhängig von dessen horizontaler Positionierung immer in dem dem jeweiligen Auge zugewiesenen Halbraum befinden. Holographic display device are rotated by means of the actuator about a vertical axis of the display device so that the eyes of the operator regardless of its horizontal positioning are always in the respective eye assigned half space.
Die Sagittalebene der Anzeigeeinrichtung wird aufgespannt durch eine The sagittal plane of the display device is spanned by a
Blickrichtung des Bedieners auf die Anzeigeeinrichtung und eine horizontale Achse der Anzeigeeinrichtung. Eine vertikale Bewegung der Augen des Bedieners entspricht einer Änderung der Neigung der Sagittalebene in Bezug zu der Viewing direction of the operator on the display device and a horizontal axis of the display device. A vertical movement of the eyes of the operator corresponds to a change in the inclination of the sagittal plane with respect to the
Anzeigeeinrichtung, indem die Sagittalebene sich um die horizontale Achse der Anzeigeeinrichtung dreht. Eine Bewegung der Augen des Bedieners in einer horizontalen Richtung kann dazu führen, dass ein Auge den ihm zugewiesenen Halbraum verlässt und so der Eindruck eines dreidimensionalen Szenarios gestört wird. Um den Display device in which the sagittal plane rotates about the horizontal axis of the display device. A movement of the operator's eyes in a horizontal direction can cause an eye to leave its assigned half-space, thus spoiling the impression of a three-dimensional scenario. To the
dreidimensionalen Eindruck bei dem Bediener aufrecht zu erhalten, muss nun die holografische Anzeigeeinrichtung so um ihre vertikale Achse gedreht werden, dass die Erstreckung des ersten Halbraumes und des zweiten Halbraumes in Übereinstimmung mit dem ersten Auge und dem zweiten Auge des Bedieners gebracht wird. To maintain three-dimensional impression in the operator, now the holographic display device must be rotated about its vertical axis that the extension of the first half-space and the second half-space in Match with the first eye and the second eye of the operator is brought.
In anderen Worten bedeutet dies, dass der Winkel zwischen Blickrichtung des Betrachters auf die Anzeigeeinrichtung und der Anzeigeeinrichtung konstant bleibt. Dieser Winkel kann dabei ein beliebiger Winkel sein, ausschlaggebend ist, dass er bei einer horizontalen Bewegung der Augen des Bedieners konstant bleibt. Bevorzugterweise bildet die Blickrichtung in der Sagittalebene mit der Anzeigeeinrichtung einen rechten Winkel, d. h. einen Winkel von 90 Grad. In other words, this means that the angle between the viewing direction of the viewer on the display device and the display device remains constant. This angle can be an arbitrary angle, it is crucial that it remains constant in a horizontal movement of the eyes of the operator. Preferably, the viewing direction in the sagittal plane forms a right angle with the display device, i. H. an angle of 90 degrees.
Gemäß einer weiteren Ausführungsform der Erfindung weist die Erfassungseinheit wenigstens eine Kamera auf. According to a further embodiment of the invention, the detection unit has at least one camera.
Die Kamera kann dabei ausgeführt sein, die Position wenigstens eines Auges des Bedieners so zu ermitteln, dass der Aktuator angeleitet wird, die holografische Anzeigeeinrichtung in eine Position zu bewegen, d.h. um deren horizontale Achse zu drehen, so dass der Bediener mit dem ersten Auge das erste Bild und mit dem zweiten Auge das zweite Bild der holografischen Anzeigeeinrichtung wahrnimmt. Die Kamera kann aber auch ausgeführt sein, einen eindeutig identifizierbaren Gegenstand, welcher sich beispielsweise neben einem der Augen des Bedieners befindet, zu folgen. Bei diesem eindeutig identifizierbaren Gegenstand kann es sich beispielsweise um einen Aufkleber mit einem visuellen Codierungsmerkmal handeln, beispielsweise einem Balkencode. The camera may be configured to determine the position of at least one eye of the operator so as to instruct the actuator to move the holographic display to a position, i. to rotate about its horizontal axis, so that the operator perceives the first image with the first eye and the second image of the holographic display device with the second eye. However, the camera can also be designed to follow a clearly identifiable object, which is located, for example, next to one of the operator's eyes. This uniquely identifiable object may be, for example, a sticker with a visual coding feature, such as a bar code.
Gemäß einer weiteren Ausführungsform ist die holografische Anzeigeeinrichtung ausgeführt, ein Zeigeelement darzustellen. Dabei kann der Bediener mit dem dreidimensionalen Szenario interagieren, indem eine Verbindungslinie von dem ersten Auge oder dem zweiten Auge des Bedieners über das Zeigeelement in das dreidimensionale Szenario gebildet wird. Die Verbindungslinie kann aber auch als Mittelwert zwischen den beiden Verbindungslinien vom linken Auge bzw. rechten Auge über das Zeigeelement in das dreidimensionale Szenario gebildet werden. According to another embodiment, the holographic display device is configured to display a pointing element. In this case, the operator can interact with the three-dimensional scenario by forming a connecting line from the first eye or the second eye of the operator via the pointing element into the three-dimensional scenario. The connecting line can also as Mean value between the two connecting lines from the left eye or right eye on the pointing element are formed in the three-dimensional scenario.
Über die berechnete Verbindungslinie von einem Auge des Bedieners über das Zeigeelement kann ermittelt werden, welches Element in dem dreidimensionalen Szenario ausgewählt wurde. The calculated connecting line from an operator's eye to the pointing element can be used to determine which element was selected in the three-dimensional scenario.
Gemäß einer weiteren Ausführungsform der Erfindung wird das Zeigeelement auf der holografischen Anzeigeeinrichtung platziert, indem der Bediener die According to another embodiment of the invention, the pointing element is placed on the holographic display by the operator
Anzeigeeinrichtung mit einem Finger berührt. Display device touched with a finger.
Beispielsweise kann die holografische Anzeigeeinrichtung eine For example, the holographic display device may include a
berührungsempfindliche Schicht aufweisen, welche ausgeführt ist, einen having a touch-sensitive layer, which is executed, a
Berührungspunkt eines Fingers des Bedieners auf der Anzeigeeinrichtung zu ermitteln. Determining the touch point of a finger of the operator on the display device.
Ebenso kann mittels anderer Techniken für berührungsempfindliche Similarly, using other techniques for touch-sensitive
Abtasteinrichtungen wie beispielsweise Frustrated Total Internal Reflection (FTIR) die Position eines Fingers auf der holografischen Anzeigeeinrichtung bestimmt werden. Scanning devices such as Frustrated Total Internal Reflection (FTIR) the position of a finger on the holographic display device are determined.
Gemäß einer weiteren Ausführungsform der Erfindung wird das Zeigeelement auf der holografischen Anzeigeeinrichtung platziert, indem die Erfassungseinheit eine Position des Fingers des Bedieners erfasst. According to another embodiment of the invention, the pointing element is placed on the holographic display device by the detection unit detecting a position of the finger of the operator.
Dabei kann die Erfassungseinheit die Position des Fingers grundsätzlich analog zu der Fassung der Position des Auges vornehmen, was weiter oben im Detail beschrieben wurde. In this case, the detection unit can make the position of the finger in principle analogous to the version of the position of the eye, which has been described in detail above.
Die Erfassungseinheit kann dabei eine Vielzahl von Erfassungselementen aufweisen, wovon eine erste Gruppe mehrerer Erfassungselemente für die Erfassung der Position der Augen des Bedieners und eine zweite Gruppe mehrerer Erfassungselemente für die Erfassung der Position des Fingers des Bedieners ausgeführt sein können. Die Positionierung des Zeigeelementes auf der Anzeigeeinrichtung kann weiterhin auch mittels einer Eingabeeinrichtung wie z.B. einer sogenannten Computermaus oder einem Trackball oder über eine Tastatur mit Steuerpfeilen sowie beliebigen weiteren Eingabeeinrichtungen erfolgen. Gemäß einer weiteren Ausführungsform der Erfindung weist die The detection unit may comprise a plurality of detection elements, of which a first group of a plurality of detection elements for the Detecting the position of the operator's eyes and a second group of multiple detection elements for detecting the position of the finger of the operator can be performed. The positioning of the pointing element on the display device can also be done by means of an input device such as a so-called computer mouse or a trackball or via a keyboard with control arrows and any other input devices. According to a further embodiment of the invention, the
Anzeigevorrichtung ein zweidimensionales Anzeigeelement auf, welches ausgeführt ist, dem Bediener Informationen in grafischer und schriftlicher Form bereitzustellen. Bei den auf dem zweidimensionalen Anzeigeelement darzustellenden  Display device, a two-dimensional display element which is designed to provide the operator information in graphical and written form. In the displayed on the two-dimensional display element
Informationen kann es sich um beliebige Informationen handeln, welche nicht in dem dreidimensionalen Szenario dargestellt werden können oder müssen.  Information can be any information that can not or must not be presented in the three-dimensional scenario.
Handelt es sich bei dem dreidimensionalen Szenario beispielsweise um einen zu überwachenden Luftraum mit darin befindlichen Luftfahrzeugen, können auf dem zweidimensionalen Anzeigeelement Informationen zu einem ausgewählten Luftfahrzeug, wie z. B. Geschwindigkeit, Flughöhe, Wetterdaten oder sonstige Daten angezeigt werden. Das zweidimensionale Anzeigeelement kann berührungssensitiv sein. For example, if the three-dimensional scenario is an airspace to be monitored with aircraft in it, information on a two-dimensional display element may be displayed on a selected aircraft, such as a vehicle. As speed, altitude, weather data or other data are displayed. The two-dimensional display element may be touch-sensitive.
Damit ermöglicht es das zweidimensionale Anzeigeelement, eine Bedienung analog zur Interaktion mit dem dreidimensionalen Szenario bereitzustellen. Gemäß einem weiteren Aspekt der Erfindung ist eine Darstellungsvorrichtung für ein dreidimensionales Szenario zur kooperativen Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern angegeben, welche eine Vielzahl von Anzeigevorrichtungen wie oben und im Folgenden beschrieben aufweist und wobei jeweils einem Bediener wenigstens eine Thus, the two-dimensional display element makes it possible to provide an operation similar to the interaction with the three-dimensional scenario. According to a further aspect of the invention, a presentation device for a three-dimensional scenario for the cooperative processing of the 3-dimensional scenarios by a plurality of operators, which has a plurality of display devices as described above and below, and wherein each one operator at least one
Anzeigevorrichtung zugewiesen ist. Assigned to the display device.
Die Darstellungsvorrichtung ermöglicht damit die gemeinsame und kooperative Bearbeitung eines Szenarios durch mehrere Bediener. Dabei können die The display device thus enables the joint and cooperative processing of a scenario by multiple operators. The can
Anzeigevorrichtungen räumlich getrennt oder benachbart angeordnet sein. Beispielsweise kann eine Vielzahl von Anzeigevorrichtungen an einem Display devices spatially separated or adjacent to be arranged. For example, a plurality of display devices on a
Arbeitsplatz, beispielsweise einem Tisch, nebeneinander angeordnet sein und so neben der gemeinsamen Interaktion der Bediener mit dem dreidimensionalen Szenario auch eine unmittelbare Kommunikation der Bediener untereinander ermöglichen.  Workplace, for example, a table, be arranged side by side and so in addition to the common interaction of the operator with the three-dimensional scenario also allow immediate communication between the operators.
Die Anzeigevorrichtungen können aber auch räumlich getrennt voneinander angeordnet sein und dennoch das gemeinsame kooperative Bearbeiten eines dreidimensionalen Szenarios ermöglichen. Dabei können die However, the display devices can also be arranged spatially separated from each other and still enable the joint cooperative editing of a three-dimensional scenario. The can
Anzeigevorrichtungen in verschiedenen Räumen, in verschiedenen Gebäuden und sonst beliebig räumlich voneinander getrennt angeordnet sein. Es muss lediglich gewährleistet sein, dass alle Anzeigevorrichtungen eine Verbindung zu einem zentralen Rechensystem haben, welches für die Darstellung des Display devices in different rooms, in different buildings and otherwise be arranged spatially separated from each other. It must only be ensured that all display devices have a connection to a central computing system, which is used for the representation of the
dreidimensionalen Szenarios auf den Anzeigevorrichtungen zuständig ist. Selbstverständlich kann jede Anzeigevorrichtung auch über eine dezentralethree-dimensional scenarios on the display devices. Of course, each display device via a decentralized
Rechenvorrichtung verfügen, welche ausgeführt ist, die Bildprojektion der ersten Projektionseinrichtung und der zweiten Projektionseinrichtung zu steuern. Dabei kann die dezentrale Rechenvorrichtung mit dem zentralen Rechensystem verbunden sein, wobei das zentrale Rechensystem lediglich Steuerung und Koordination mehrerer dezentraler Rechenvorrichtungen ausführt. Durch den erfindungsgemäßen Aufbau der Anzeigevorrichtungen ist es möglich, die Anzahl der Bediener beliebig zu skalieren. Beispielsweise kann die Have computing device, which is designed to control the image projection of the first projection device and the second projection device. In this case, the decentralized computing device may be connected to the central computing system, wherein the central computing system merely performs control and coordination of a plurality of decentralized computing devices. The inventive design of the display devices, it is possible to scale the number of operators as desired. For example, the
Darstellungsvorrichtung für vier, acht, zwölf oder sonst jede beliebige Anzahl an Bedienern ausgeführt sein, wobei ein Parameter für die Festlegung der Anzahl der Bediener die Komplexität und das Ausmaß des zu überwachenden Display device for four, eight, twelve or any number of operators to be executed, wherein a parameter for the determination of the number of operators, the complexity and the extent of the monitored
dreidimensionalen Szenarios sein kann. three-dimensional scenarios.
Ein zentrales Rechensystem steuert dabei die Anzeigevorrichtungen so, dass bei jedem Bediener der Eindruck eines dreidimensionalen Szenarios entsteht. A central computer system controls the display devices in such a way that every operator gets the impression of a three-dimensional scenario.
Die erfindungsgemäße Darstellungsvorrichtung kann dabei beispielsweise für die kooperative Missionsplanung von Land-, Wasser- und Luftfahrzeugen, eine gemeinsame Missionsdurchführung von mehreren unbemannten Land-, Wasser- und Luftfahrzeugen durch die jeweiligen Fahrzeugbediener, die kooperative Überwachung von Lufträumen oder Landesgrenzen oder sogar für die The display device according to the invention can, for example, for the cooperative mission planning of land, water and air vehicles, a joint mission implementation of several unmanned land, water and air vehicles by the respective vehicle operator, the cooperative monitoring of airspaces or national borders or even for the
Überwachung von Veranstaltungen mit Massenpublikum, beispielsweise in  Monitor events with mass audiences, such as in
Fußball- oder Konzertstadien eingesetzt werden. Football or concert stages are used.
In Abhängigkeit des Personalbedarfs für die zu erfüllende Aufgabe kann eine erfindungsgemäße Darstellungsvorrichtung so erweitert werden, dass jedem Bediener eine Anzeigevorrichtung oder mehrere Anzeigevorrichtungen zur Verfügung gestellt werden. Das zentrale Rechensystem steuert dabei die auf die einzelnen Anzeigevorrichtungen verteilten Darstellungen bzw. Depending on the personnel requirements for the task to be performed, a display device according to the invention can be extended so that each operator is provided with one or more display devices. The central computing system controls the distributed to the individual display devices representations or
Darstellungsausschnitte so, dass die Bediener das dreidimensionale Szenario gemeinsam und kooperativ bearbeiten. Display sections so that the operators work on the three-dimensional scenario together and cooperatively.
Selbstverständlich kann eine wie oben und im Folgenden beschriebene Of course, one as described above and below
Darstellungsvorrichtung auch zu Übungs- und Auswertezwecken genutzt werden. Gemäß einer Ausführungsform der Erfindung sieht jeder Bediener das Presentation device can also be used for training and evaluation purposes. According to one embodiment of the invention, each operator sees that
dreidimensionale Szenario aus einer realen Perspektive. Dabei entspricht die reale Perspektive einer Blickperspektive des Bedieners auf das dreidimensionale Szenario entsprechend einer Position des Bedieners an der three-dimensional scenario from a real perspective. This corresponds to the real perspective of a perspective of the operator on the three-dimensional scenario corresponding to a position of the operator at the
Darstellungsvorrichtung. Im Falle der Luftraumüberwachung durch beispielsweise vier Bediener entspricht die reale Perspektive auf das dreidimensionale Szenario, d. h. den zu Display device. In the case of airspace monitoring by, for example, four operators, the real perspective corresponds to the three-dimensional scenario, i. H. which to
überwachenden Luftraum, derjenigen Blickperspektive, als wären die Bediener in Bezug zu dem überwachenden Luftraum so positioniert, wie sie in Bezug zu dem dreidimensionalen Szenario des Luftraumes positioniert sind. supervisory airspace, that viewpoint, as if the operators were positioned relative to the supervisory airspace as positioned relative to the three-dimensional scenario of the airspace.
In anderen Worten bedeutet dies, dass beispielsweise einer von vier gleichmäßig um die Darstellungsvorrichtung verteilten Bedienern auf das dreidimensionale Szenario aus einer östlichen Richtung, ein zweiter Bediener aus einer südlichen Richtung, ein dritter Bediener aus einer westlichen Richtung und ein vierter Bediener aus einer nördlichen Richtung auf das dreidimensionale Szenario des zu überwachenden Luftraumes blickt. In other words, for example, one of four operators uniformly distributed around the display device refers to the three-dimensional scenario from an easterly direction, a second operator from a southward direction, a third operator from a western direction, and a fourth operator from a northward direction the three-dimensional scenario of the airspace to be monitored looks.
Gemäß einer weiteren Ausführungsform der Erfindung sieht jeder Bediener das dreidimensionale Szenario aus einer geklonten Perspektive. According to another embodiment of the invention, each operator sees the three-dimensional scenario from a cloned perspective.
Dabei entspricht die geklonte Perspektive einer vorgegebenen Blickperspektive des Bedieners auf das dreidimensionale Szenario. Insbesondere können alle oder auch nur ein vorgebbarer Teil der Bediener das dreidimensionale Szenario aus der gleichen Blickperspektive betrachten. The cloned perspective corresponds to a given perspective of the operator on the three-dimensional scenario. In particular, all or even a predefinable part of the operator can view the three-dimensional scenario from the same perspective.
So kann beispielsweise ein Bediener bei großem Luftverkehrsaufkommen in dem von ihm zu überwachenden Bereich von einem zweiten Bediener unterstützt werden, indem beiden Bedienern auf ihrer Anzeigevorrichtung die gleiche For example, in the event of heavy aircraft traffic in the area to be monitored by it, an operator can be assisted by a second operator by giving the same to both operators on their display device
Perspektive auf das dreidimensionale Szenario abgebildet wird. Gemäß einer weiteren Ausführungsform der Erfindung sieht jeder Bediener das dreidimensionale Szenario aus einer individuellen Perspektive. Perspective on the three-dimensional scenario is mapped. According to another embodiment of the invention, each operator sees the three-dimensional scenario from an individual perspective.
Dabei entspricht die individuelle Perspektive einer von jedem Bediener beliebig einstellbaren Blickperspektive auf das dreidimensionale Szenario. In anderen Worten bedeutet dies, dass ein Bediener seine Perspektive so einstellen kann, als bewegte er sich frei in dem dargestellten Raum. The individual perspective corresponds to a perspective view of the three-dimensional scenario that can be set as desired by each operator. In other words, this means that an operator can adjust his perspective as if he were moving freely in the space shown.
Ebenso wie der Bediener eine Perspektive auf das dreidimensionale Szenario ändern kann, kann der Bediener einen Bereich des dreidimensionalen Szenarios auswählen und vergrößern, beispielsweise um eine erhöhte Detailtreue der Darstellung zu erhalten. Just as the operator can change a perspective on the three-dimensional scenario, the operator may select and enlarge an area of the three-dimensional scenario, for example, to obtain increased detail of the presentation.
Gemäß einer weiteren Ausführungsform der Erfindung ist jedem Bediener eine zweite Anzeigevorrichtung zugewiesen, welche ausgeführt ist, eine According to a further embodiment of the invention, each operator is assigned a second display device which is executed
dreidimensionale Repräsentation eines räumlich entfernten three-dimensional representation of a spatially distant
Kommunikationspartners darzustellen. Communication partner.
Insbesondere im Zusammenhang mit räumlich verteilten Anzeigevorrichtungen kann hier auch ein Bediener einer entfernten Anzeigevorrichtung dargestellt werden. In particular, in connection with spatially distributed display devices, an operator of a remote display device can also be represented here.
Gemäß einem weiteren Aspekt der Erfindung wird die Darstellungsvorrichtung wie oben und im Folgenden beschrieben zur kooperativen Überwachung von According to another aspect of the invention, the display device is described above and below for cooperative monitoring of
Lufträumen verwendet. Airspaces used.
Gemäß einem weiteren Aspekt der Erfindung ist ein Verfahren zur Darstellung eines dreidimensionalen Szenarios angegeben. In accordance with another aspect of the invention, a method for representing a three-dimensional scenario is provided.
In einem Schritt erfolgt dabei ein Projizieren jeweils eines ersten Bildes und eines zweiten Bildes auf jeweils eine holografische Anzeigeeinrichtung aus einer Vielzahl von holografischen Anzeigeeinrichtungen, so dass bei einem Betrachter der dreidimensionalen Anzeigevorrichtung der Eindruck eines dreidimensionalen Szenarios entsteht, wobei jede holografische Anzeigeeinrichtung das In one step, a respective first image and a second image are projected onto a respective holographic display device from one Variety of holographic display devices, so that the impression of a three-dimensional scenario arises in a viewer of the three-dimensional display device, each holographic display device the
dreidimensionale Gesamtszenario aus einer bestimmten Blickperspektive darstellt. represents a three-dimensional overall scenario from a specific perspective.
In einem weiteren Schritt erfolgt das Erfassen einer Augenposition des In a further step, the detection of an eye position of the
Betrachters. Beholder.
In einem weiteren Schritt wird die holografische Anzeigevorrichtung um eine vertikale Achse so gedreht, dass eine Blickrichtung des Betrachters in einerIn a further step, the holographic display device is rotated about a vertical axis so that a viewing direction of the viewer in one
Sagittalebene der Anzeigevorrichtung unter einem vorgegebenen Winkel auf die holografische Anzeigevorrichtung fällt. Sagittal plane of the display device falls at a predetermined angle to the holographic display device.
Gemäß einem weiteren Aspekt der Erfindung ist ein Verfahren zum kooperativen Bearbeiten eines dreidimensionalen Szenarios angegeben. According to another aspect of the invention, a method for cooperatively processing a three-dimensional scenario is provided.
In einem Schritt erfolgt das Erfassen einer Augenposition eines Betrachters des dreidimensionalen Gesamtszenarios. In einem weiteren Schritt wird ein Referenzpunkt auf der holografischen In one step, the detection of an eye position of a viewer of the three-dimensional overall scenario takes place. In a further step becomes a reference point on the holographic
Anzeigeeinrichtung festgelegt. Indicator set.
In einem weiteren Schritt erfolgt das Berechnen einer Verbindungslinie von der Augenposition über den Referenzpunkt in das dreidimensionale Gesamtszenario. In a further step, a connecting line is calculated from the eye position via the reference point into the three-dimensional overall scenario.
Sodann erfolgt das Ermitteln eines von dem Betrachter anvisierten Objekts im dreidimensionalen Gesamtszenario. Then, the determination of an object targeted by the observer takes place in the overall three-dimensional scenario.
Im Folgenden werden mit Verweis auf die Figuren Ausführungsbeispiele der Erfindung beschrieben. Fig. 1 zeigt eine Draufsicht einer Anzeigevorrichtung gemäß einem Ausführungsbeispiel der Erfindung. In the following, embodiments of the invention will be described with reference to the figures. Fig. 1 shows a plan view of a display device according to an embodiment of the invention.
Fig. 2 zeigt eine Draufsicht einer Anzeigevorrichtung gemäß einem weiteren Ausführungsbeispiel der Erfindung. Fig. 2 shows a plan view of a display device according to another embodiment of the invention.
Fig. 3 zeigt eine isometrische Darstellung einer holografischen Anzeigeeinrichtung gemäß einem Ausführungsbeispiel der Erfindung. Fig.4 zeigt eine isometrische Darstellung einer Anzeigevorrichtung gemäß einem weiteren Ausführungsbeispiel der Erfindung. Fig. 3 shows an isometric view of a holographic display device according to an embodiment of the invention. 4 shows an isometric view of a display device according to a further embodiment of the invention.
Fig. 5 zeigt eine Seitenansicht einer Anzeigevorrichtung gemäß einem weiteren Ausführungsbeispiel der Erfindung. Fig. 5 shows a side view of a display device according to another embodiment of the invention.
Fig. 6 zeigt eine Draufsicht einer Darstellungsvorrichtung für ein dreidimensionales Szenario zur kooperativen Bearbeitung durch eine Mehrzahl von Bedienern gemäß einem Ausführungsbeispiel der Erfindung. Fig. 7 zeigt eine schematische Sicht eines Verfahrens zur Darstellung und kooperativen Bearbeitung eines dreidimensionalen Gesamtszenarios. 6 shows a plan view of a three-dimensional scenario display device for cooperative processing by a plurality of operators according to an embodiment of the invention. 7 shows a schematic view of a method for the representation and cooperative processing of a three-dimensional overall scenario.
Detaillierte Beschreibung von Ausführungsbeispielen Detailed description of embodiments
Die Darstellungen in den Figuren sind schematisch und nicht maßstabsgetreu.  The illustrations in the figures are schematic and not to scale.
Werden in der folgenden Figurenbeschreibung gleiche Bezugsziffern verwendet, so betreffen diese gleiche oder ähnliche Elemente. If the same reference numerals are used in the following description of the figures, these relate to the same or similar elements.
Fig. 1 zeigt eine Anzeigevorrichtung 100 gemäß einem Ausführungsbeispiel der Erfindung. Die Anzeigevorrichtung weist eine erste Projektionseinrichtung 111 und eine zweite Projektionseinrichtung 1 12 auf, sowie eine holografische Fig. 1 shows a display device 100 according to an embodiment of the invention. The display device has a first projection device 111 and a second projection device 1 12, as well as a holographic
Anzeigeeinrichtung 130 mit einer ersten holografischen Einheit 131 und einer zweiten holografischen Einheit 132. Die erste Projektionseinrichtung 11 1 ist ausgeführt, ein Bild auf die erste holografische Einheit 131 zu projizieren, wobei das Bild der ersten Display device 130 with a first holographic unit 131 and a second holographic unit 132. The first projection device 11 1 is designed to project an image onto the first holographic unit 131, the image of the first holographic unit 131
Projektionseinrichtung in Richtung eines ersten Auges 121 eines Bedieners gelenkt wird und das Bild der zweiten Projektionseinrichtung 1 12 durch die zweite holografische Einheit 132 in Richtung eines zweiten Auges 122 eines Bedieners gelenkt wird. Projection device is directed in the direction of a first eye 121 of an operator and the image of the second projection device 1 12 is directed by the second holographic unit 132 in the direction of a second eye 122 of an operator.
Durch die unterschiedlichen Bilder, welche von dem ersten Auge und dem zweiten Auge wahrgenommen werden, entsteht bei dem Bediener der Eindruck eines dreidimensionalen Szenarios. The different images perceived by the first eye and the second eye give the operator the impression of a three-dimensional scenario.
Weiterhin zeigt Fig. 1 einen ersten Halbraum 151 und einen zweiten Halbraum 152, in welchen sich das erste Auge bzw. das zweite Auge befinden können, ohne dass der Eindruck eines dreidimensionalen Szenarios gestört wird. Erst bei Verlassen des ersten Halbraumes bzw. des zweiten Halbraumes durch das erste Auge bzw. das zweite Auge wird dieser Eindruck gestört. Weiterhin werden der erste Halbraum und der zweite Halbraum dadurch begrenzt, dass bei einer vertikalen Bewegung des Bedieners sich ein Abstand der Augen des Bedieners von der Anzeigevorrichtung ändert, was ebenfalls die Wahrnehmung des ersten Bildes und/oder des zweiten Bildes stören kann. Um diesem Effekt entgegen zu wirken, dass die Anzeigevorrichtung auf den Benutzer hin oder von diesem weg bewegt werden, so dass eine Abstandsänderung der Augen von der Furthermore, FIG. 1 shows a first half space 151 and a second half space 152, in which the first eye or the second eye can be located, without the impression of a three-dimensional scenario being disturbed. Only when leaving the first half-space or the second half-space through the first eye or the second eye, this impression is disturbed. Furthermore, the first half space and the second half space are limited by the fact that a vertical movement of the operator changes a distance of the operator's eyes from the display device, which can also interfere with the perception of the first image and / or the second image. To counteract this effect that the display device are moved toward or away from the user, so that a change in the distance of the eyes of the
Anzeigeeinrichtung kompensiert wird. Display device is compensated.
Fig. 2 zeigt eine Anzeigevorrichtung 100 gemäß einem weiteren Fig. 2 shows a display device 100 according to another
Ausführungsbeispiel der Erfindung. Die Anzeigevorrichtung 100 weist eine holografische Anzeigeeinrichtung 130, einen Aktuator 202 und eine Erfassungseinheit 220 auf. Embodiment of the invention. The display device 100 has a holographic display device 130, an actuator 202 and a detection unit 220.
Die Erfassungseinheit 220 ist ausgeführt, eine Position des Bedieners der The detection unit 220 is executed, a position of the operator of
Anzeigevorrichtung zu erfassen. Um zu gewährleisten, dass die Augen des Bedieners unterschiedliche Bilder wahrnehmen, so dass der Eindruck eines dreidimensionalen Szenarios beim Bediener entsteht, kann es in Abhängigkeit der Position des Bedieners in Bezug zu der holografischen Anzeigeeinrichtung 130 notwendig sein, die holografische Anzeigeeinrichtung 130 um eine vertikale Achse 135 entlang des Richtungspfeils 136 so zu drehen, dass jedes Auge des Detect display device. In order to ensure that the operator's eyes perceive different images, giving the impression of a three-dimensional scenario to the operator, depending on the operator's position relative to the holographic display 130, it may be necessary for the holographic display 130 to be about a vertical axis 135 along the directional arrow 136 to rotate so that each eye of the
Bedieners das für dieses Auge vorgesehene Bild wahrnehmen kann bzw. dass sich das erste Auge im ersten Halbraum und das zweiten Auge im zweiten  Operator can perceive the provided for this eye image or that the first eye in the first half-space and the second eye in the second
Halbraum befindet. Fig. 3 zeigt eine holografische Anzeigeeinrichtung 130 in isometrischer Half room is located. Fig. 3 shows a holographic display device 130 in isometric
Darstellung. Eine Sagittalebene 310 wird aufgespannt durch eine Blickrichtung 301 des Bedieners auf die Anzeigeeinrichtung 130 und eine horizontale Achse 320 der Anzeigeeinrichtung 130. Damit schneidet die Sagittalebene 310 die Anzeigeeinrichtung 130 unter einem Winkel α 31 1 . Von der Blickrichtung 301 in der Sagittalebene 310 und der  Presentation. A sagittal plane 310 is spanned by a viewing direction 301 of the operator on the display device 130 and a horizontal axis 320 of the display device 130. Thus, the sagittal plane 310 intersects the display device 130 at an angle α 31 1. From the viewing direction 301 in the sagittal plane 310 and the
Anzeigeeinrichtung 130 wird der Winkel ß 321 aufgespannt. Indicator 130, the angle ß 321 is clamped.
Eine Veränderung des Winkels α 31 1 entspricht einer vertikalen Bewegung des Bedieners vor der Anzeigeeinrichtung 130. A change in the angle α 31 1 corresponds to a vertical movement of the operator in front of the display device 130.
Eine horizontale Bewegung des Bedieners vor der Anzeigeeinrichtung 130 bewirkt, dass zumindest ein Auge den für dieses Auge vorgesehenen Halbraum verlässt und so entweder das falsche Bild oder gar kein Bild wahrnimmt, so dass der Eindruck des dreidimensionalen Szenarios gestört wird. Um den Eindruck eines dreidimensionalen Szenarios unabhängig von einer Bewegung des Bedieners aufrecht zu erhalten, wird die holografische Anzeigeeinrichtung 130 von dem Aktuator 202 so bewegt, dass der Winkel ß 321 konstant einen vorgebbaren bzw. bestimmten Wert beibehält. Fig. 4 zeigt eine Anzeigevorrichtung 100 gemäß einem weiteren A horizontal movement of the operator in front of the display device 130 causes at least one eye to leave the half-space provided for this eye and thus perceive either the wrong image or no image, so that the impression of the three-dimensional scenario is disturbed. To give the impression of a three - dimensional scenario independent of a movement of the Operator is maintained, the holographic display device 130 is moved by the actuator 202 so that the angle ß 321 constantly maintains a predetermined value. 4 shows a display device 100 according to another
Ausführungsbeispiel der Erfindung. Die Anzeigevorrichtung weist eine  Embodiment of the invention. The display device has a
holografische Anzeigeeinrichtung 130, ein zweidimensionales Anzeigeelement 430, eine zweite holografische Anzeigeeinrichtung 230 und vier Kameras 221 , 222, 223, 224 auf, welche die Erfassungseinheit für die Position der Augen des Bedieners und/oder den Finger des Bedieners darstellen. holographic display device 130, a two-dimensional display element 430, a second holographic display device 230 and four cameras 221, 222, 223, 224, which represent the position detection unit of the operator's and / or the operator's finger.
Die Kameras können ausgeführt sein, eine Positionierung des Fingers auf der Anzeigeeinrichtung zu ermitteln, aber auch, eine Positionierung des Fingers im Raum zu ermitteln. The cameras can be designed to determine a positioning of the finger on the display device, but also to determine a positioning of the finger in the room.
Sowohl die erste Anzeigeeinrichtung 130 als auch die zweite Anzeigeeinrichtung 230 können von einem Aktuator (nicht gezeigt) so um ihre jeweilige vertikale Achse gedreht werden, dass eine Blickrichtung 301 in einem konstanten vorgebbaren bzw. vorgegebenen Winkel auf die Anzeigeeinrichtung 130 und die Anzeigeeinrichtung 230 fällt. Both the first display device 130 and the second display device 230 may be rotated about their respective vertical axis by an actuator (not shown) such that a viewing direction 301 falls on the display device 130 and the display device 230 at a constant predeterminable angle.
Fig. 5 zeigt eine Seitenansicht einer holografischen Anzeigeeinrichtung 130 und eines schematisch dargestellten dreidimensionalen Szenarios 550. Die 5 shows a side view of a holographic display device 130 and a schematically represented three-dimensional scenario 550. The
Anzeigeeinrichtung 130 ist ausgeführt, ein Zeigeelement 510 darzustellen. Display device 130 is configured to display a pointing element 510.
Um eine Interaktion des Bedieners mit dem dreidimensionalen Szenario zu ermöglichen, ist das Zeigeelement 510 auf der Anzeigeeinrichtung 130 bewegbar. Dies kann beispielsweise durch Berührung der Anzeigeeinrichtung 130 mit einem Finger erfolgen oder beispielsweise durch Bewegung oder Betätigung eines Eingabeelementes, wie beispielsweise einer sog. Computermaus. Zur Erkennung des ausgewählten Bereiches 555 in dem dreidimensionalen Szenario wird eine Verbindungslinie 51 1 vom Auge 121 , 122 des Bedieners über das Zeigeelement 510 in das dreidimensionale Szenario 550 gebildet. Anhand der Verbindungslinie 51 1 kann das von dem Bediener ausgewählte Element 555 in dem dreidimensionalen Szenario bestimmt werden. In order to enable an interaction of the operator with the three-dimensional scenario, the pointing element 510 is movable on the display device 130. This can be done for example by touching the display device 130 with a finger or for example by movement or actuation of an input element, such as a so-called. Computer mouse. In order to recognize the selected area 555 in the three-dimensional scenario, a connecting line 51 1 is formed by the operator's eye 121, 122 via the pointing element 510 into the three-dimensional scenario 550. On the basis of the connecting line 51 1, the operator-selected element 555 can be determined in the three-dimensional scenario.
Bei dem ausgewählten Element 555 kann es sich um ein einzelnes Objekt oder einen Teil eines Objektes in dem dreidimensionalen Szenario handeln. The selected element 555 may be a single object or part of an object in the three-dimensional scenario.
Beispielsweise kann ein Fahrzeug, wie beispielsweise ein Luftfahrzeug, oder ein beliebiger Teil des Fahrzeugs, beispielsweise eine Tragfläche oder ein Ruder, ausgewählt werden. For example, a vehicle, such as an aircraft, or any part of the vehicle, such as a wing or a rudder, may be selected.
Die Verbindungslinie 51 1 entspricht der Blickrichtung 301 des Bedieners auf die Anzeigeeinrichtung 130, womit die Verbindungslinie 51 1 und die The connecting line 51 1 corresponds to the viewing direction 301 of the operator on the display device 130, whereby the connecting line 51 1 and the
Anzeigeeinrichtung 130 den Winkel α 31 1 einschließt. Wie bereits dargestellt, beeinflusst eine Änderung des Winkels α den Eindruck der Wahrnehmung eines dreidimensionalen Szenarios bei dem Bediener nicht. Ebenso ohne Einfluss auf die dreidimensionale Wahrnehmung durch den Bediener ist eine Änderung des Winkels γ 501 zwischen der Anzeigeeinrichtung 130 und einer horizontalen Linie 502, beispielsweise der Oberfläche eines Tisches. Indicator 130 includes the angle α 31 1. As already stated, a change in the angle α does not influence the impression of the perception of a three-dimensional scenario by the operator. Also, without affecting the three-dimensional perception by the operator, a change in the angle γ 501 between the display device 130 and a horizontal line 502, for example, the surface of a table.
Fig. 6 zeigt eine Darstellungsvorrichtung 600 für ein dreidimensionales Szenario zur kooperativen Bearbeitung des zweidimensionalen Szenarios durch eine Mehrzahl von Bedienern gemäß einem Ausführungsbeispiel der Erfindung. Es sind vier Anzeigevorrichtungen 100 an einem Arbeitsplatz, beispielsweise einem Tisch 502, angeordnet. Dabei ist jeder Anzeigevorrichtung jeweils ein Bediener 120 zugewiesen. FIG. 6 shows a three-dimensional scenario display device 600 for cooperatively processing the two-dimensional scenario by a plurality of operators according to an embodiment of the invention. There are four display devices 100 at a workstation, such as a table 502 arranged. In this case, each display device is assigned an operator 120 in each case.
Jeder Bediener 120 blickt auf die ihm zugewiesene Anzeigevorrichtung 100, so dass bei jedem Bediener der Eindruck eines dreidimensionalen Szenarios hervorgerufen wird. Aus Sicht der Bediener 120 stellt sich die Situation so dar, dass die Bediener ein virtuelles dreidimensionales Gesamtszenario 610 Each operator 120 looks at the display device 100 assigned to it, so that each operator is given the impression of a three-dimensional scenario. From the operator 120's perspective, the situation is that the operators a virtual three-dimensional overall scenario 610
betrachten. consider.
Es sei darauf hingewiesen, dass das virtuelle dreidimensionale Gesamtszenario lediglich sichtbar ist, wenn die Bediener die ihnen zugewiesene bzw. irgendeine Anzeigevorrichtung 100 betrachten. It should be noted that the overall virtual three-dimensional scenario is only visible when the operators view their assigned or any display device 100.
Die in Fig. 6 gezeigte Darstellungsvorrichtung ermöglicht damit die gemeinsame kooperative Bearbeitung eines dreidimensionalen Gesamtszenarios durch eine Mehrzahl von Bedienern, wobei die Bearbeitung des dreidimensionalen Szenarios dadurch unterstützt werden kann, dass den Bedienern eine unmittelbare The display device shown in FIG. 6 thus enables the joint cooperative processing of a three-dimensional overall scenario by a plurality of operators, wherein the processing of the three-dimensional scenario can be assisted by providing the operators with an immediate
Kommunikation und Abstimmung untereinander ermöglicht wird. Communication and coordination with each other is made possible.
Fig. 7 zeigt ein Verfahren 700 zur Darstellung und kooperativen Bearbeitung eines dreidimensionalen Gesamtszenarios gemäß einem Ausführungsbeispiel der Erfindung. FIG. 7 shows a method 700 for the representation and cooperative processing of a three-dimensional overall scenario according to an embodiment of the invention.
In einem ersten Schritt 701 erfolgt dabei ein Projizieren jeweils eines ersten Bildes und eines zweiten Bildes auf jeweils eine holografische Anzeigeeinrichtung aus einer Vielzahl von holografischen Anzeigeeinrichtungen, so dass bei einem Betrachter der dreidimensionalen Anzeigevorrichtung der Eindruck eines dreidimensionalen Szenarios entsteht, wobei jede holografische In a first step 701, a respective first image and a second image are projected onto a respective holographic display device from a multiplicity of holographic display devices, so that the impression of a three-dimensional scenario arises for a viewer of the three-dimensional display device, each holographic
Anzeigeeinrichtung das dreidimensionale Gesamtszenario aus einer bestimmten Blickperspektive darstellt. Display device represents the three-dimensional overall scenario from a specific perspective.
Dabei werden das erste Bild und das zweite Bild von jeweils einer ersten In this case, the first image and the second image each of a first
Projektionseinrichtung bzw. einer zweiten Projektionseinrichtung auf eine holografische Anzeigeeinrichtung projiziert. Durch das Projizieren einer Vielzahl von ersten Bildern und zweiten Bildern auf jeweils eine Anzeigeeinrichtung aus einer Vielzahl von holografischen Anzeigeeinrichtungen wird es einer Vielzahl von Bedienem ermöglicht, das dreidimensionale Szenario jeweils aus einer eigenen Perspektive zu betrachten. Projection device or a second projection device projected onto a holographic display device. By projecting a plurality of first images and second images onto each one of a plurality of holographic display devices, it is subjected to a plurality of Operator can view the three-dimensional scenario from its own perspective.
Entsprechend wird die Blickperspektive eines Bedieners auf das dreidimensionale Szenario aus jeweils einem Paar eines ersten Bildes und eines zweiten Bildes, welche auf die diesem Bediener zugewiesene Anzeigeeinrichtung projiziert werden, zusammengestellt. Accordingly, an operator's perspective on the three-dimensional scenario is compiled from a pair of a first image and a second image, respectively, which are projected onto the display device assigned to that operator.
Das Anbieten des ersten Bildes und des zweiten Bildes für die Vielzahl von Anzeigevorrichtungen kann beispielsweise von einem zentralen Steuersystem oder zentralen Rechnersystem gesteuert werden. Das zentrale Steuersystem kann ausgeführt sein, die verschiedenen weiter oben und im Folgenden The offering of the first image and the second image for the plurality of display devices may be controlled, for example, by a central control system or central computer system. The central control system may be implemented, the various above and below
dargestellten Blickperspektiven eines Bedieners auf das dreidimensionale presented perspective views of an operator on the three-dimensional
Gesamtszenario bereit zu stellen. Overall scenario.
Dabei kann jede holografische Anzeigeeinrichtung das dreidimensionale In this case, each holographic display device, the three-dimensional
Gesamtszenario aus einer bestimmten weiter oben beschriebenen Overall scenario from a specific one described above
Blickperspektive darstellen. Beispielsweise kann das dreidimensionale Gesamtszenario so dargestellt werden, dass mehrere Anzeigeeinrichtung, welche an einem Arbeitsplatz angeordnet sind, das dreidimensionale Gesamtszenario aus einer sogenannten natürlichen View perspective. For example, the three-dimensional overall scenario can be represented such that a plurality of display devices which are arranged at a workstation, the three-dimensional overall scenario of a so-called natural
Perspektive darstellen. So können beispielsweise vier Anzeigeeinrichtungen an einem Arbeitsplatz angeordnet sein, so dass eine erste Anzeigeeinrichtung das dreidimensionale Gesamtszenario aus einer ersten Perspektive, beispielsweise aus östlicher Richtung, zeigt, eine zweite Anzeigeeinrichtung aus einer zweiten Perspektive, beispielsweise aus südlicher Richtung zeigt, eine dritte Anzeigeeinrichtung aus einer dritten Perspektive, beispielsweise westlicher Richtung zeigt und eine vierte Anzeigeeinrichtung aus einer vierten Perspektive, beispielsweise nördlicher Richtung zeigt. Represent perspective. Thus, for example, four display devices may be arranged at a workstation, so that a first display device shows the three-dimensional overall scenario from a first perspective, for example from the east, a second display device from a second perspective, for example from the south, shows a third display device from one third perspective, for example, pointing west and a fourth Display device from a fourth perspective, for example, north direction shows.
Dabei können die Blickperspektiven der Bediener derjenigen Perspektive entsprechen, welche die Bediener auf eine Miniaturabbildung des In this case, the perspectives of the operator can correspond to the perspective which the operators have on a miniature image of the user
dreidimensionalen Gesamtszenarios hätten, wenn diese Miniaturabbildung tatsächlich zwischen den Bedienen in der Mitte des Arbeitsplatzes läge. Three-dimensional overall scenarios would have, if this miniature picture really would be between the operators in the middle of the workplace.
Selbstverständlich kann jede Anzeigeeinrichtung eine beliebige Perspektive auf das dreidimensionale Gesamtszenario zeigen. Of course, each display device can show any perspective on the overall three-dimensional scenario.
In einem zweiten Schritt 702 erfolgt das Erfassen einer Augenposition des In a second step 702, the detection of an eye position of the
Betrachters. Dabei kann beispielsweise lediglich die Position eines Auges, beispielsweise des linken Auges oder des rechten Auges, erfasst und auf die Position des rechten Auges bzw. des linken Auges des Bedieners geschlossen werden. Es kann aber auch die Position des rechten Auges und des linken Auges des Bedieners erfasst werden, um so dem individuellen horizontalen Augenabstand verschiedener Bediener gerecht zu werden. Beholder. In this case, for example, only the position of an eye, for example the left eye or the right eye, can be detected and closed on the position of the right eye or the left eye of the operator. But it can also be the position of the right eye and the left eye of the operator are detected, so as to meet the individual horizontal eye relief of different operators.
Ebenso kann das zentrale Steuersystem eine Bedieneridentifikation aufweisen, über welche nach Erfassen einer ersten Augenposition durch den dem zentralen Steuersystem bekannten individuellen horizontalen Augenabstand die Position des zweiten Auges bestimmt wird. Likewise, the central control system can have an operator identification, by which the position of the second eye is determined after detecting a first eye position by the individual horizontal eye distance known to the central control system.
Das Erfassen der Augenposition kann mittels einer Erfassungseinheit erfolgen, beispielsweise einer oder einer Vielzahl von Kameras. Dabei kann das Erfassen der Augenposition mittels Bilderkennung erfolgen. Ebenso kann die Augenposition erfasst werden, indem ein Marker in einem bestimmten Abstand und Winkel zu einem Auge beispielsweise an der Stirn des Bedieners angebracht wird. Über die Erkennung der Position des Markers bestimmt das zentrale Steuersystem die Position eines Auges oder beider Augen des Bedieners. The detection of the eye position can take place by means of a detection unit, for example one or a plurality of cameras. In this case, the detection of the eye position can take place by means of image recognition. Similarly, the eye position can be detected by a marker is placed at a certain distance and angle to an eye, for example, on the forehead of the operator. About the Detecting the position of the marker, the central control system determines the position of an eye or both eyes of the operator.
In einem dritten Schritt 703 wird die holografische Anzeigevorrichtung um eine vertikale Achse so gedreht, dass eine Blickrichtung des Betrachters in einer Sagittalebene der Anzeigevorrichtung unter einem vorgegebenen Winkel auf die holografische Anzeigevorrichtung fällt. In a third step 703, the holographic display device is rotated about a vertical axis so that a viewing direction of the viewer in a sagittal plane of the display device falls on the holographic display device at a predetermined angle.
Damit wird gewährleistet, dass ein erstes Auge des Bedieners stets das erste Bild und ein zweites Auge stets ein zweites Bild, welches auf die holografische Anzeigeeinrichtung projiziert wird, so wahrnimmt, dass beim Bediener der Eindruck eines dreidimensionalen Gesamtszenarios entsteht. This ensures that a first eye of the operator always perceives the first image and a second eye always a second image, which is projected onto the holographic display device, so that the impression of a three-dimensional overall scenario arises for the operator.
Insbesondere wird durch das Drehen der Anzeigeeinrichtung vermieden, dass ein Auge des Bedieners kein Bild oder beide Augen das gleiche Bild wahrnehmen, was den dreidimensionalen Eindruck stören würde. In particular, the rotation of the display device avoids that an eye of the operator perceives no image or both eyes perceive the same image, which would disturb the three-dimensional impression.
In anderen Worten soll durch das Drehen der Anzeigeeinrichtung um eine vertikale Achse eine Seitwärtsbewegung des Bedieners kompensiert werden, so dass das erste Bild und das zweite Bild stets auf jeweils ein Auge treffen. Eine vertikale Bewegung des Bedieners ist nicht im gleichen Maße wie die In other words, by rotating the display device about a vertical axis, lateral movement of the operator is compensated, so that the first image and the second image always strike one eye at a time. A vertical movement of the operator is not the same as the
Seitwärtsbewegung bzw. horizontale Bewegung geeignet, den dreidimensionalen Eindruck zu stören, da durch den horizontalen Abstand der Augen des Bedieners die Augen unabhängig von der vertikalen Position des Bedieners unterschiedliche Bilder wahrnehmen können. Sideways movement or horizontal movement is capable of disturbing the three-dimensional impression since the horizontal distance of the operator's eyes allows the eyes to perceive different images regardless of the vertical position of the operator.
In einem vierten Schritt 704 wird ein Referenzpunkt auf der holografischen Anzeigeeinrichtung festgelegt. Der Referenzpunkt kann dabei als Punkt auf der holografischen In a fourth step 704, a reference point is set on the holographic display device. The reference point can be used as a point on the holographic
Anzeigeeinrichtung festgelegt werden. Dann handelt es sich um eine Festlegung auf einer der Anzeigeeinrichtung entsprechenden Ebene, also um eine Display device are set. Then it is a commitment on a level corresponding to the display device, ie by one
zweidimensionale Positionierung. Der Referenzpunkt kann aber auch als Punkt im Raum definiert werden. Zur Festlegung des Referenzpunktes kann dabei insbesondere ein Finger des Bedieners dienen, der über eine berührungssensitive Erfassungsschicht auf der Anzeigeeinrichtung den Referenzpunkt definiert. two-dimensional positioning. The reference point can also be defined as a point in space. For fixing the reference point, a finger of the operator can be used in particular, which defines the reference point via a touch-sensitive detection layer on the display device.
Ebenso kann eine Position eines Fingers des Bedieners im Raum oder auf der Anzeigeeinrichtung mittels eines Erfassungssystems bestimmt werden. Dabei kann die Fingerposition grundsätzlich nach den gleichen Verfahren bestimmt werden, wie die weiter oben beschriebene Erfassung der Augenposition des Bedieners. Ebenso kann der Referenzpunkt durch Bewegung eines herkömmlichen grafischen Zeigegerätes, beispielsweise einer sogenannten Computermaus oder eines Trackballs, welches mit dem zentralen Steuersystem als Eingabegerät verbunden ist, erfolgen. In einem fünften Schritt 705 erfolgt das Berechnen einer Verbindungslinie von der Augenposition über den Referenzpunkt in das dreidimensionale Gesamtszenario. Likewise, a position of a finger of the operator in the room or on the display device can be determined by means of a detection system. In this case, the finger position can basically be determined by the same method as the detection of the eye position of the operator described above. Likewise, the reference point by movement of a conventional graphical pointing device, such as a so-called computer mouse or a trackball, which is connected to the central control system as an input device, take place. In a fifth step 705, the calculation of a connecting line from the eye position via the reference point into the three-dimensional overall scenario takes place.
Das zentrale Steuersystem kennt die Position wenigstens eines Auges des Bedieners, welche als erster Punkt der Verbindungslinie dient. Weiterhin ist der Referenzpunkt bekannt, welcher als zweiter Punkt der Verbindungslinie dient. The central control system knows the position of at least one eye of the operator, which serves as the first point of the connecting line. Furthermore, the reference point is known, which serves as the second point of the connecting line.
Sodann erfolgt in einem sechsten Schritt 706 das Ermitteln eines von dem Then, in a sixth step 706, the determination of one of the
Betrachter anvisierten Objekts im dreidimensionalen Gesamtszenario. Über Interpolation wird die Verbindungslinie in das dreidimensionale Szenario hinein verlängert und so ein Objekt in diesem Szenario identifiziert, welches der Bediener anvisiert bzw. ausgewählt hat, d.h. auf welches Objekt der Bediener gezeigt hat. Viewers sighted object in the overall three-dimensional scenario. Through interpolation, the connecting line is extended into the three-dimensional scenario, thus identifying an object in this scenario, which is the Has targeted or selected operator, ie to which object the operator has shown.
Im Weiteren können auf das ausgewählte Objekt beliebige zur Verfügung stehende Aktionen angewandt werden. Dabei kann das zentrale Steuersystem ausgeführt sein, dem Bediener eine Auswahl von Aktionen aus einer Furthermore, any available actions can be applied to the selected object. In this case, the central control system can be executed, the operator a selection of actions from a
Gesamtmenge von Aktionen anzubieten, wobei die Auswahl von Aktionen solche Aktionen aufweist, welche auf das ausgewählte Objekt in der aktuellen Situation anwendbar sind. To offer a total set of actions, where the selection of actions has such actions that are applicable to the selected object in the current situation.
Beispielsweise kann die Gesamtmenge von Aktionen alle Aktionen für ein unbemanntes Fluggerät aufweisen und die Auswahl von Aktionen nur diejenigen Aktionen, welche in einer konkreten Situation zulässig sein sollen. Beispielsweise kann die Anweisung zur Senkung der Flughöhe in einem solchen Fall unzulässig sein, wenn die Mindestflughöhe unterschritten würde. For example, the total amount of actions may include all actions for an unmanned aerial vehicle, and the selection of actions only those actions that should be allowed in a specific situation. For example, the instruction to reduce the altitude in such a case may be inadmissible if the minimum altitude would be exceeded.
Damit ermöglicht die erfindungsgemäße Vorrichtung und/oder das Thus, the inventive device and / or allows
erfindungsgemäße Verfahren eine einfache, schnelle und intuitive Bedienung eines durch mehrere Bediener kooperativ bearbeitbaren dreidimensionalen Szenarios. Insbesondere kann die Anzahl der Bediener eine beliebige Anzahl sein, da das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung beliebig skalierbar sind. inventive method a simple, fast and intuitive operation of cooperative by multiple operators three-dimensional scenarios. In particular, the number of operators can be any number, since the method according to the invention and the device according to the invention are arbitrarily scalable.

Claims

Patentansprüche claims
Darstellungsvorrichtung (600) zum kooperativen Bearbeiten eines virtuellen dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern, aufweisend: A presentation device (600) for cooperatively processing a virtual three-dimensional scenario by a plurality of operators, comprising:
- eine Vielzahl von Anzeigevorrichtungen (100) zum Darstellen des virtuellen dreidimensionalen Szenarios,  a plurality of display devices (100) for displaying the virtual three-dimensional scenario,
wobei die Vielzahl von Anzeigevorrichtungen ausgeführt ist, das virtuelle dreidimensionale Szenario aus verschiedenen Blickperspektiven wherein the plurality of display devices is executed, the virtual three-dimensional scenario from different view perspectives
darzustellen; display;
wobei einem Bediener wenigstens eine Anzeigevorrichtung der Vielzahl von Anzeigevorrichtungen zuordenbar ist; wherein at least one display device of the plurality of display devices is assignable to an operator;
wobei jede Anzeigevorrichtung ausgeführt ist, dem dieser wherein each display device is executed, this
Anzeigevorrichtung zuordenbaren Bediener eine Blickperspektive auf das virtuelle dreidimensionale Szenario entsprechend einer Position der Display operator assigns a perspective on the virtual three-dimensional scenario according to a position of the
Anzeigevorrichtung mit Bezug zu dem virtuellen dreidimensionalen Display device with reference to the virtual three-dimensional
Szenario bereit zu stellen. Scenario to provide.
Darstellungsvorrichtung nach Anspruch 1 , A display device according to claim 1,
wobei jede Anzeigevorrichtung der Vielzahl von Anzeigevorrichtungen aufweist: wherein each display device of the plurality of display devices comprises:
- eine erste Projektionseinrichtung (111 ) und eine zweite  - A first projection device (111) and a second
Projektionseinrichtung (112); und Projection device (112); and
- eine holografische Anzeigeeinrichtung (130) mit einer ersten  - A holographic display device (130) with a first
holografischen Einheit (131 ) und einer zweiten holografischen Einheit (132); wobei die erste Projektionseinrichtung und die zweite Projektionseinrichtung ein erstes Bild bzw. ein zweites Bild auf die holografische holographic unit (131) and a second holographic unit (132); wherein the first projection device and the second projection device have a first image and a second image, respectively, on the holographic image
Anzeigeeinrichtung werfen; Throw display device;
wobei die erste holografische Einheit und die zweite holografische Einheit ausgeführt sind, das erste Bild bzw. das zweite Bild so zu streuen, dass ein erstes Auge (121 ) eines Bedieners das erste Bild und ein zweites Auge (122) des Bedieners das zweite Bild so wahrnehmen, dass bei dem wherein the first holographic unit and the second holographic unit are configured to scatter the first image and the second image, respectively, such that a first eye (121) of an operator images the first image and a second eye (122) of the operator perceive the second image so that in the
Bediener der Eindruck eines dreidimensionalen Szenarios entsteht.  Operator creates the impression of a three-dimensional scenario.
3. Darstellungsvorrichtung nach einem der Ansprüche 1 oder 2, 3. A display device according to one of claims 1 or 2,
wobei jede Anzeigevorrichtung der Vielzahl von Anzeigevorrichtungen a ufweist:  wherein each display device of the plurality of display devices comprises:
- eine Erfassungseinheit (220);  a detection unit (220);
- einen Aktuator (202);  an actuator (202);
wobei die Erfassungseinheit ausgeführt ist, eine Position des ersten Auges und des zweiten Auges des Bedieners zu ermitteln;  wherein the detection unit is adapted to determine a position of the first eye and the second eye of the operator;
wobei der Aktuator ausgeführt ist, die holografische Anzeigeeinrichtung so zu bewegen, dass eine Blickrichtung (301 ) des Bedieners in einer  wherein the actuator is designed to move the holographic display device so that a viewing direction (301) of the operator in one
Sagittalebene (310) der Anzeigeeinrichtung senkrecht auf die  Sagittal plane (310) of the display device perpendicular to the
Anzeigeeinrichtung trifft.  Indicator meets.
4. Darstellungsvorrichtung nach Anspruch 3, 4. A display device according to claim 3,
wobei die Erfassungseinheit wenigstens eine Kamera (221 , 222, 223, 224) aufweist.  wherein the detection unit comprises at least one camera (221, 222, 223, 224).
5. Darstellungsvorrichtung nach einem der Ansprüche 2 bis 4, 5. A display device according to one of claims 2 to 4,
wobei die holografische Anzeigeeinrichtung ausgeführt ist, ein  wherein the holographic display device is executed
Zeigeelement (510) darzustellen;  To show the pointing element (510);
wobei der Bediener mit dem virtuellen dreidimensionalen Szenario interagieren kann, indem eine Verbindungslinie (511) von dem ersten Auge oder dem zweiten Auge des Bedieners über das Zeigeelement in das virtuelle dreidimensionale Szenario gebildet wird.  wherein the operator can interact with the virtual three-dimensional scenario by forming a connecting line (511) from the operator's first eye or second eye via the pointing element into the virtual three-dimensional scenario.
6. Darstellungsvorrichtung nach Anspruch 5, 6. A display device according to claim 5,
wobei das Zeigeelement auf der holografischen Anzeigeeinrichtung platziert wird, indem der Bediener die Anzeigeeinrichtung mit einem Finger berührt. wherein the pointing element is placed on the holographic display device by the operator touching the display device with a finger.
7. Darstellungsvorrichtung nach Anspruch 5, 7. A display device according to claim 5,
wobei das Zeigeelement auf der holografischen Anzeigeeinrichtung platziert wird, indem die Erfassungseinheit eine Position des Fingers des Bedieners erfasst.  wherein the pointing element is placed on the holographic display device by the detection unit detecting a position of the finger of the operator.
8. Darstellungsvorrichtung nach einem der Ansprüche 2 bis 7, 8. A display device according to one of claims 2 to 7,
wobei jede Anzeigevorrichtung der Vielzahl von Anzeigevorrichtungen aufweist:  wherein each display device of the plurality of display devices comprises:
- ein zweidimensionales Anzeigeelement (430);  a two-dimensional display element (430);
wobei das zweidimensionale Anzeigeelement ausgeführt ist, dem Bediener Informationen in grafischer und schriftlicher Form bereitzustellen.  wherein the two-dimensional display element is adapted to provide information to the operator in graphical and written form.
9. Darstellungsvorrichtung nach einem der vorhergehenden Ansprüche, 9. A display device according to one of the preceding claims,
wobei einem Bediener eine zweite Anzeigevorrichtung zuordenbar ist;  wherein a second display device is assignable to an operator;
wobei die zweite Anzeigevorrichtung ausgeführt ist, eine dreidimensionale Repräsentation eines räumlich entfernten Kommunikationspartners darzustellen.  wherein the second display device is adapted to represent a three-dimensional representation of a spatially remote communication partner.
10. Verwendung einer Darstellungsvorrichtung nach einem der Ansprüche 1 bis 9 zur kooperativen Überwachung von Lufträumen. 10. Use of a display device according to one of claims 1 to 9 for the cooperative monitoring of air spaces.
11. Verfahren zum Darstellen eines virtuellen dreidimensionalen Szenarios, aufweisend die Schritte: 11. A method of presenting a virtual three-dimensional scenario, comprising the steps of:
Projizieren jeweils eines ersten Bildes und eines zweiten Bildes auf jeweils eine holografische Anzeigevorrichtung aus einer Vielzahl von  Projecting each of a first image and a second image onto a respective one of a plurality of holographic display devices
holografischen Anzeigevorrichtungen, so dass bei einem Betrachter der holografischen Anzeigevorrichtung der Eindruck eines dreidimensionalen Szenarios entsteht, wobei jede holografische Anzeigevorrichtung das virtuelle dreidimensionale Szenario aus einer unterschiedlichen  holographic display devices, so that a viewer of the holographic display device the impression of a three-dimensional scenario arises, each holographic display device of the virtual three-dimensional scenario of a different
Blickperspektive darstellt, wobei jede Blickperspektive auf das virtuelle dreidimensionale Szenario entsprechend einer Anordnung der Perspective view, with each perspective on the virtual three-dimensional scenario according to an arrangement of
holografischen Anzeigevorrichtung mit Bezug zu dem virtuellen  holographic display device related to the virtual
dreidimensionalen Szenario bereitgestellt wird;  three-dimensional scenario is provided;
Erfassen einer Augenposition des Betrachters;  Detecting an eye position of the viewer;
Drehen der holografischen Anzeigevorrichtung um eine vertikale Achse, so dass eine Blickrichtung des Betrachters in einer Sagittalebene unter einem vorgegebenen Winkel auf die holografische Anzeigevorrichtung fällt.  Rotating the holographic display device about a vertical axis, so that a viewing direction of the observer falls in a sagittal plane at a predetermined angle to the holographic display device.
12. Verfahren nach Anspruch 11 , aufweisend die Schritte: 12. The method according to claim 11, comprising the steps:
Erfassen einer Augenposition eines Betrachters des virtuellen  Capture an eye position of a viewer of the virtual
dreidimensionalen Szenarios;  three-dimensional scenarios;
Festlegen eines Referenzpunktes auf der holografischen  Set a reference point on the holographic
Anzeigevorrichtung;  Display device;
Berechnen einer Verbindungslinie von der Augenposition über den  Compute a connecting line from the eye position over the
Referenzpunkt in das virtuelle dreidimensionale Szenario;  Reference point in the virtual three-dimensional scenario;
Ermitteln eines von dem Betrachter anvisierten Objekts im virtuellen dreidimensionalen Szenario.  Determine an object targeted by the viewer in the virtual three-dimensional scenario.
EP12783853.0A 2011-09-08 2012-09-04 Cooperative 3d work station Withdrawn EP2764698A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011112617A DE102011112617A1 (en) 2011-09-08 2011-09-08 Cooperative 3D workplace
PCT/DE2012/000882 WO2013034129A2 (en) 2011-09-08 2012-09-04 Cooperative 3d work station

Publications (1)

Publication Number Publication Date
EP2764698A2 true EP2764698A2 (en) 2014-08-13

Family

ID=47148549

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12783853.0A Withdrawn EP2764698A2 (en) 2011-09-08 2012-09-04 Cooperative 3d work station

Country Status (7)

Country Link
US (1) US20140289649A1 (en)
EP (1) EP2764698A2 (en)
KR (1) KR20140054214A (en)
CA (1) CA2847396A1 (en)
DE (1) DE102011112617A1 (en)
RU (1) RU2637562C2 (en)
WO (1) WO2013034129A2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150041482A (en) * 2013-10-08 2015-04-16 삼성전자주식회사 Display apparatus and display method using the same
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
DE102018107113A1 (en) * 2018-03-26 2019-09-26 Carl Zeiss Ag display device
CN110782815B (en) * 2019-11-13 2021-04-13 吉林大学 Holographic stereo detection system and method thereof

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291316A (en) * 1991-09-27 1994-03-01 Astronautics Corporation Of America Information display system having transparent holographic optical element
US5694142A (en) * 1993-06-21 1997-12-02 General Electric Company Interactive digital arrow (d'arrow) three-dimensional (3D) pointing
US5798761A (en) * 1996-01-26 1998-08-25 Silicon Graphics, Inc. Robust mapping of 2D cursor motion onto 3D lines and planes
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPP690598A0 (en) * 1998-11-03 1998-11-26 Commonwealth Of Australia, The Control centre console arrangement
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7554541B2 (en) * 2002-06-28 2009-06-30 Autodesk, Inc. Widgets displayed and operable on a surface of a volumetric display enclosure
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
JP2003296757A (en) * 2002-03-29 2003-10-17 Canon Inc Information processing method and device
JP4147054B2 (en) * 2002-05-17 2008-09-10 オリンパス株式会社 Stereoscopic observation device
DE10259968A1 (en) * 2002-12-16 2004-07-01 X3D Technologies Gmbh Autostereoscopic projection system provides 3-dimensional effect by using filter arrays for allowing information bits for different views of scene or object to be viewed by left and right eyes of observer
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US7092001B2 (en) * 2003-11-26 2006-08-15 Sap Aktiengesellschaft Video conferencing system with physical cues
JP4643583B2 (en) * 2004-09-10 2011-03-02 株式会社日立製作所 Display device and imaging device
RU2277725C1 (en) * 2004-10-25 2006-06-10 Открытое Акционерное Общество "Пензенское Конструкторское Бюро Моделирования" Device for displaying visual information of aviation training machine
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
CA2528571A1 (en) * 2004-11-30 2006-05-30 William Wright System and method for interactive 3d air regions
JP4419903B2 (en) * 2005-04-15 2010-02-24 ソニー株式会社 INPUT DEVICE, INPUT METHOD, INPUT CONTROL PROGRAM, REPRODUCTION DEVICE, REPRODUCTION CONTROL METHOD, AND REPRODUCTION CONTROL PROGRAM
US20070279483A1 (en) * 2006-05-31 2007-12-06 Beers Ted W Blended Space For Aligning Video Streams
US20080094398A1 (en) * 2006-09-19 2008-04-24 Bracco Imaging, S.P.A. Methods and systems for interacting with a 3D visualization system using a 2D interface ("DextroLap")
KR100907104B1 (en) * 2007-11-09 2009-07-09 광주과학기술원 Calculation method and system of pointing locations, and collaboration system comprising it
US8319819B2 (en) * 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
GB0901084D0 (en) * 2009-01-22 2009-03-11 Trayner David J Autostereoscopic display
JP5465523B2 (en) * 2009-01-29 2014-04-09 三洋電機株式会社 Stereoscopic image display system
US8363922B2 (en) * 2009-02-12 2013-01-29 International Business Machines Corporation IC layout pattern matching and classification system and method
CN101840265B (en) * 2009-03-21 2013-11-06 深圳富泰宏精密工业有限公司 Visual perception device and control method thereof
US8494760B2 (en) * 2009-12-14 2013-07-23 American Aerospace Advisors, Inc. Airborne widefield airspace imaging and monitoring
US9083062B2 (en) * 2010-08-02 2015-07-14 Envia Systems, Inc. Battery packs for vehicles and high capacity pouch secondary batteries for incorporation into compact battery packs
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
JP5889539B2 (en) * 2011-03-28 2016-03-22 独立行政法人石油天然ガス・金属鉱物資源機構 Process for producing hydrocarbons
KR20160084502A (en) * 2011-03-29 2016-07-13 퀄컴 인코포레이티드 Modular mobile connected pico projectors for a local multi-user collaboration
WO2013006170A1 (en) * 2011-07-06 2013-01-10 Hewlett-Packard Development Company, L.P. Telepresence portal system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2013034129A2 *

Also Published As

Publication number Publication date
DE102011112617A1 (en) 2013-03-14
RU2014113158A (en) 2015-10-20
WO2013034129A2 (en) 2013-03-14
US20140289649A1 (en) 2014-09-25
WO2013034129A3 (en) 2013-05-02
CA2847396A1 (en) 2013-03-14
KR20140054214A (en) 2014-05-08
RU2637562C2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
DE102005010250B4 (en) Method and device for tracking sweet spots
WO1998015869A1 (en) Projection system, in particular for three-dimensional representations on a viewing device
EP2156410A1 (en) Method for representing image objects in a virtual three-dimensional image space
DE102004016331B4 (en) Apparatus and method for concurrently displaying virtual and real environmental information
EP2464098A2 (en) Vicinity presentation device, a vehicle with such a vicinity presentation device and method for displaying a panorama image
DE102011112619A1 (en) Selection of objects in a three-dimensional virtual scenario
WO2013034129A2 (en) Cooperative 3d work station
DE102018132921A1 (en) Method for operating a field device of automation technology in an augmented reality / mixed reality environment
DE102012211298A1 (en) Display device for a video surveillance system and video surveillance system with the display device
WO2013034133A1 (en) Interaction with a three-dimensional virtual scenario
EP3420539B1 (en) Method for operating a display device and system for displaying actual image contents of an actual environment overlayed with virtual image contents
DE102017208343B4 (en) Display system for a vehicle and vehicle
DE102012005880A1 (en) Method for designing production environment e.g. workstation, involves recording sequence of movements of worker during production of performing action and evaluating sequence of movements of predetermined criterion
DE102018212944A1 (en) Procedure to support collaboration between humans and robots using data glasses
WO2022002595A1 (en) Method for displaying a virtual object
DE102018102743A1 (en) Real Sound Transmission
DE102012010799B4 (en) Method for the spatial visualization of virtual objects
WO2017144033A1 (en) Method for identifying and displaying changes in a real environment comprising a real terrain and real objects situated therein
DE102019131740A1 (en) Method and display device for generating a depth effect in the perspective of an observer on a flat display medium and a motor vehicle
DE202019105917U1 (en) Device arrangement for the interactive large display of locomotion information of moving objects
DE102004032586B4 (en) Method for generating a three-dimensional representation
WO2015024685A1 (en) Method for displaying on a screen an object shown in a 3d data set
WO2013034132A2 (en) Angular display for the three-dimensional representation of a scenario
WO2017182021A1 (en) Method and system for representing a simulation environment
DE102007056835A1 (en) Image processing module for estimating an object position of a surveillance object, method for determining an object position of a surveillance object and computer program

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140401

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AIRBUS DEFENCE AND SPACE GMBH

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180608

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20181019