EP3394847A1 - Simulator zum training eines teams einer hubschrauberbesatzung - Google Patents

Simulator zum training eines teams einer hubschrauberbesatzung

Info

Publication number
EP3394847A1
EP3394847A1 EP17709042.0A EP17709042A EP3394847A1 EP 3394847 A1 EP3394847 A1 EP 3394847A1 EP 17709042 A EP17709042 A EP 17709042A EP 3394847 A1 EP3394847 A1 EP 3394847A1
Authority
EP
European Patent Office
Prior art keywords
virtual
training
images
hand
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17709042.0A
Other languages
English (en)
French (fr)
Inventor
Volker GROTELÜSCHEN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rheinmetall Electronics GmbH
Original Assignee
Rheinmetall Defence Electronics GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rheinmetall Defence Electronics GmbH filed Critical Rheinmetall Defence Electronics GmbH
Publication of EP3394847A1 publication Critical patent/EP3394847A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft

Definitions

  • the present invention relates to a simulator for training at least one user, in particular a team of a helicopter crew, as well as a method for operating such a simulator.
  • simulators are often used in which the persons to be trained act in a virtual world. This can be done, for example, for Be ⁇ statutes of aircraft, land and sea vehicles.
  • a physical Nachbil ⁇ dung a vehicle cabin for example an aircraft cabin, shown in a virtu ⁇ economic reality on, for example, a spherical projection.
  • the virtual second solution can be at an attractive price realize.
  • an object of the present invention is to improve the simulation for training at least one user, in particular a team of a helicopter crew.
  • a simulator for training at least one user in particular ⁇ sondere a team of a helicopter crew, suggested to at least one Trai ⁇ beginnings object in a training room includes a virtual-reality goggles to display virtual images of training to ⁇ least one arranged on the virtual reality glasses video camera for on ⁇ acceptance of video images of a visual field of virtual reality glasses, a ers ⁇ te unit for providing gesture recognition data from a Gestestener ⁇ recognition of gestures of the user by means of the recorded video images, a second unit for providing hand-tracking data from a hand-tracking of hand movements of at least one hand of the user recorded by means of video images, and an image generator for generating displayed by the virtual reality glasses virtual images by means of the set ⁇ taken video images, the gesture recognition data provided and hand tracking data provided.
  • the simulator can be ⁇ also referred to as simulation system or as a system trainer.
  • the user can also as a trainee or team member designated ⁇ net are.
  • the training-object for example, a reduced on the replica of a haptic device to be trained, for example, a weapon, a Ret ⁇ processing thread or an external load of a helicopter.
  • a virtual scene, formed by the virtual images provided by the image generator, is displayed in the virtual reality glasses, in particular according to the position and viewing direction of the trainee. For example, by means of head tracking and position tracking, the position and direction of the trainee are determined and transferred into the virtual images (hereinafter also: the virtual representation) of the training room.
  • the trainee can move freely in the training room and the virtual scene is ⁇ accordingly representing the changing perspective of the trainee in the virtual reality glasses.
  • the hand tracking the movements and positions of the hands of trainees are recorded and the virtual representation, especially the virtuel ⁇ len hands of the trainee imaging in the training room avatars, worn over ⁇ .
  • the gestures or activities of the trainee he known and also on the virtual representation, in particular the virtual hands of the avatar, transmitted.
  • the avatar now serves the virtual training objects for which, as explained above, simplified haptic physical replicas or mock-ups exist.
  • the trainee can be taught the necessary feel, which allows the trainee to fully immerse himself in the virtual training environment.
  • the Trai- nee operates the training object, namely the simple haptic replica of Ge ⁇ Raets, and looks at the same time the complex representation of the same in the virtu ⁇ economic scene through the virtual reality goggles.
  • the optical illusion and the haptic illusion are thus optimally matched.
  • only the haptics of the mock-ups or replicas of the training objects are replicated, since the details in the virtual scene, formed by the virtual images of the image generator, represented by the virtual mock-up represented in the virtual reality glasses.
  • each team member will be assigned a virtual reality goggle common space is not necessary .
  • the team members can train separately from each other and still see each other through their virtual reality glasses in the same virtual training room.
  • Each team member is this exemplified in particular by an avatar in the virtual scene to which the movements of the desiredge ⁇ impaired team member to be transferred. In this way they can interact with one another, even if they do not physically touch each other, despite a possible physical separation.
  • the training room itself is designed to correlate with the virtual scene, for example, doors are simplified, so that the trainee can open them, for example, or lean on the frame or hold on while he is in the operation, for example, the rescue winch from the helicopter lean out.
  • the team members of a helicopter crew using the simulator should work together so a rescue hoist, an external load method and a weapon in the area of a Bordsi ⁇ cherungssolish (Door gunner), for example, to replicate.
  • Form are then in the simulator at least the safe handling of the (gun and Ret ⁇ processing thread) systems, and the safe and effective use of these systems in use.
  • the individual work areas and training objects can be housed together in the simulator and used, but it can also be trained physically separated from each other.
  • the simulator is suitable for training at least one user or one person, although preferably several users or team members are the same. can train early in the training room. Therefore, the simulator can Wenig ⁇ least include two virtual reality glasses, can be generated on soft-to-date by the imager images for each user. In the present case, visual range is understood in particular as the range that the user can see when looking through the virtual reality glasses.
  • an avatar is in particular an artificial or virtual Nachbil ⁇ dung of the user, for example, a graphic figure, understood that is associated with the user in the virtual scene.
  • the virtual reality glasses for displaying pure virtual images by means of a user in the training room absent ⁇ denden avatar is set up.
  • the virtual scene comprises exclusively virtual images.
  • the image generator is set up to generate the virtual images to be displayed by means of the provided hand-tracking data such that they comprise a position and / or a movement at least one virtual hand of the avatar.
  • the BEWE ⁇ account the hand of the user immediate feedback and impact on the movement of the virtual hand of the avatar.
  • the image generator is configured to generate the virtual images to be displayed using the provided Gestenerken ⁇ planning data such that they comprise at least one virtual gesture of the avatar. This will translate the user's gestures directly to the avatar's virtual gestures.
  • the simulator includes a third input unit for providing finger-tracking data of a finger tracking finger movements of at least a finger of the user by means of the set ⁇ recessed video images.
  • the image generator is configured to generate is ⁇ the delivering virtual images by means of the recorded video images, the be ⁇ riding detected gesture recognition data, the provided hand-tracking data and the finger-tracking data provided.
  • the image generator comprises two Rickge ⁇ erator units for generating two image data streams by means of the power consumed by the two video cameras video images, the provided Ges ⁇ tenerkennungswill and hand-tracking data provided and a video Processing unit for processing the two generated image data streams to the virtual images to be displayed by the two displays.
  • the video processing unit is set up especially for the simultaneous mixing of images of the video cameras with projected virtual images in the jewei ⁇ time view of user.
  • the video processing unit thus preferably makes it possible to mix the recordings of the video cameras at the same time with a calculated virtual scenario and to give each user their individual view of the scenario of the training room.
  • the two image generator units allow a different representation for each eye of the user.
  • each team member training receives a head-mounted display as virtual reality glasses, each equipped with two video cameras for stereoscopic images and a head tracker, which determine the direction of the concerned Team member allows.
  • the two image generator units of the image generator then generate a stereoscopic display of each display of the scenario from the individual point of view of the team member.
  • the simulator comprises a head tracking sensor for providing head tracking data for determining a position of the user and a viewing direction of the user.
  • the head tracking sensor is arranged on the virtual reality glasses. According to another embodiment, the head tracking sensor is provided external to the virtual reality glasses.
  • the image generator is set up to display the virtual images to be displayed by means of the recorded video images, the gesture recognition data provided, the hand provided.
  • the exercise room is designed to be movable in the room. Characterized in that the training room been ⁇ leads movable in space, it is advantageously possible that maneuvers, such as the helicopter be able to transmit with a movement system for the training room. The vibrations can also be transmitted to the floor of the training room and thus to the training crew. For example, it may be advantageous to decouple the floor from the side walls of the exercise room.
  • the training object is designed as a haptic-reduced replica (mock-up) of the device to be trained, for example a weapon, a rescue hoist or an outside load of a helicopter.
  • the rope of this rescue winch can be coupled to a moving plate which is movable within a plane in two directions, wherein the moving plate by the Rechenvorrich ⁇ device or host can be controlled. This makes it possible to noticeably simulate the pendulum motion of a load on the rope.
  • the moving plate for example, with a sensor being equipped ⁇ , with which the force transmission of a trainee on the cable of the rescue hoist detected and transmitted to the computing device or host. Transmissions of the trainees can be taken into account by the simulation so, thereby enabling the trainee to influence the oscillation of Ret ⁇ tung overcome by our own power.
  • the rope of the rescue winch can run between two spools, on which the rope can be rolled up and unrolled. These coils can, for example, be located outside the training room and serve to make the unwinding and reeling of the rope on the palms of the trainee perceptible.
  • the virtual reality glasses include an emergency stop device.
  • the emergency stop facility When pressing the emergency stop facility, the video images taken on ⁇ be switched to the virtual reality goggles. The Dar ⁇ position of the virtual images is interrupted or terminated. This is advantageous, in particular, when the user or trainee becomes ill during the training because the user can then return to the physical training room by pressing the emergency stop device.
  • the emergency stop device is designed, for example, as a button or button arranged on the virtual reality goggles.
  • the simulator comprises a haptic feedback device for the user, which is set up to give haptic feedback from the training objects or mock-ups back to the user.
  • the respective unit for example the first unit or the second unit, can be implemented in terms of hardware and / or software technology.
  • the respective unit may be embodied as a device or as part of a device, for example as a computer or as a microprocessor.
  • the respective unit as a computer program product, as a function, as a routine ⁇ be formed as part of a program code or an executable object to be.
  • a method of operating a simulator for training to ⁇ least a user, particularly a team of a helicopter crew proposed to at least one training-object in a training space wherein the simulator is a virtual reality glasses for the display of virtual images of the training and at least includes a angeord- on the virtual reality goggles designated video camera for capturing video images, a visual range of Vir ⁇ tual reality glasses, comprising the steps of: Providing gesture recognition data from gesture recognition of user gestures using the captured video images,
  • a computer program product such as a computer program means, for example, as a storage medium, such as memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file provided by a server in ei ⁇ nem network or delivered. This can be done, for example, in a wireless communication network by the transmission of a ent ⁇ speaking file with the computer program product or computer program means.
  • an implementation of the simulator in embodiments may include the following:
  • H / C cabin H / C Helicopter Rear cabin crew
  • H / C Helicopter Rear cabin crew are required vorteilhafter- as no exact physical replica of the simulated stroke ⁇ helicopter variant.
  • a possible training space for this purpose includes, for example simple Rah ⁇ men for the door sections of the H / C cabin, a simple haptic mock-up of the machine gun (Door gunner) and a model of a rescue hoist (Winchman).
  • the visual system consists in particular of the image generator, the virtual reality glasses and the analysis device.
  • the image generator is independent of the underlying concept.
  • virtual reality glasses a head-mounted display with video-see-through function can be used in combination with hand-tracking and gesture recognition.
  • the cameras of the head-mounted display provide a video with the hands of the wearer as soon as they are moved into the field of view. These movements of the hands, as well as their gestures, are analyzed by means of the analysis device, interpreted in ⁇ and handed over to the image generator for a correlating visual presentation.
  • the image generator in turn encourages a trainee to reflect ⁇ the avatar and allows these virtual systems training room Bedie ⁇ nen.
  • the cameras of the head-mounted display can also be used for head tracking.
  • a separate head-tracking system or a separate head-tracking sensor can be used to determine the position and viewing direction of the trainee.
  • Vibrations at the H / C are preferably transmitted to the floor of the cabin and thus to the crew. Vibrations can be supplemented by the recreational Parts that could pose a potential obstacle in the team members 'or trainees' space of action can be transferred. The transmission of vibrations is optional. Jobs :
  • rescue winch (Winchman), outside load method, on-board security soldier (Doorgunner).
  • Bedie ⁇ voltage (simplified), ballistics, cadence, recoil and weight.
  • This is a simplified haptic mock-up of the weapon the machine gun ⁇ protect is used as Trainingsob ⁇ ject.
  • the virtual representation of the weapon is preferably a photorealistic SD model.
  • This 3D model is superimposed on the mock-up and complements it, for example, with a realistic barrel and the visor.
  • a sight by ei ⁇ nes red laser dot can be also implemented within the simulated virtual scene. This is done inside the image generator, by the WAF is fenausraumraum extended by an imaginary line, a common point of intersection is determined with the terrain and there a light spot Darge ⁇ represents.
  • the mock-up preferably has a Recoil system.
  • the weight and the distribution of the weapon are emulated in particular by an optional control-load system.
  • This control load system can also simulate wind forces and shifting weights within the magazines acting on the barrel of the weapon.
  • the following functions can preferably be simulated ⁇ Operation, pen ⁇ delmony, unrolling / rolling.
  • the pendulum movement of the load is simulated on the cable of the rescue hoist beispielswei ⁇ se by means of an XY moving plate noticeable to the trainee.
  • Currency ⁇ end is the upper end of the rope at a fixed point, the lower end of the rope can be moved.
  • the pendulum motion of a simulated load is converted into a relative XY coordinate and transmitted to the XY plate provided with servomotors at the end of the rope.
  • Sensors preferably detect the force transmission of the trainees on the rope, which in turn is transmitted to the simulator. This makes it possible for the trainee to be able to influence the pendulum movement.
  • the trainee can also feel the unwinding and rolling up of the rope preferably on the palm of his hand.
  • the rope as in a real winch, unrolled from a spool and wound at the same time at the lower end on a second coil. This can also simulate the rope tension, which changes when the load is placed on the ground.
  • the retrieval of the rope simu lated ⁇ is controlled via the Rescue Hoist Remote Control Unit.
  • a correlating 3D model for the cable is preferably used and displayed for this purpose.
  • the oscillation of this model is calculated by its own mathematical model on the computing device or host ⁇ .
  • These simulated movements are ⁇ give albge to the image generator and control the virtual representation, which the haptic perception ⁇ recess serving physical cable is superposed visually.
  • the training environment for the external load method is in particular part of the equipment of the Doorgunner or the Winchman.
  • a machine-gunner, on-board mechanic or on-board attendant equipped with the head-mounted display can observe the external load during the external load procedure both through a simulated floor hatch and through the H / C cabin windows and doors shown. He stands in connection with the instructor, for example, the pilot, and can optionally be passed to him Infor ⁇ mation or commands.
  • Fig. 1 shows a schematic block diagram of a first gameheldsbei ⁇ a simulator for training at least one user on at least one training-object in a training space;
  • Fig. 2 shows a schematic block diagram of a second gameheldsbei ⁇ a simulator for training at least one user on at least one training-object in a training space;
  • FIG. 3 shows a schematic flow diagram of an embodiment of a method for operating a simulator.
  • identical or like elements with the same function Be ⁇ reference numbers have been provided, except where otherwise indicated.
  • Fig. 1 is a schematic block diagram of a first embodiment of a simulator 10 for training at least one user on at least ei ⁇ nem training-object 300, represented in a training locale 400.
  • the simulator 10 can also be referred to as a system trainer or simulation system.
  • the simulator 10 comprises a virtual reality device 100 and a host device 200, which couples the virtual reality device 100 with the training objects 300, 400.
  • the Trai ⁇ beginnings objects 300, 400 of FIG. 1 are formed as a gun 300 and as a rescue hoist 400 in the example.
  • the weapon 300 and the rescue winch 400 are in particular a model of the original or reduced to essential haptic elements of the original dummy (mock-up).
  • the weapon 300 has in particular ⁇ a weapons simulation unit 301 and the rescue winch 400 has a winch simulation unit 401, which are coupled via the computing device 200 with the virtual reality arrangement 100.
  • the virtual reality arrangement 100 comprises a virtual reality goggles 110, an analysis device 120 and an image generator 130.
  • the virtual reality goggles 110 comprise a video camera 111, in particular alignable with the user's left eye , and a video camera 112, in particular alignable to the right eye of the user.
  • the video camera 111 may also be referred to as an L-video camera (L; left eye) and the video camera 112 as an R-video camera (R; right eye).
  • the virtual reality glasses 110 include a display 113, in particular alignable to the left eye of the user, and a display 114, in particular alignable to the right eye of the user.
  • the display 113 may also be referred to as an L display and the display 114 as an R display.
  • the analysis device 120 comprises a first unit 121 and a second unit 122.
  • the first unit 121 and the second unit 122 are in particular formed as a part, in particular as a software part and / or as a hardware part, of the analysis device 120.
  • the image generator 130 preferably comprises a Jardingenerator- unit 131, in particular aligned on the left eye of the groove ⁇ decomp a Jardingenerator- unit 132, in particular, aligned to the right eye of the user, and a video processing unit 133 which both the Jardingenerator- Unit 131 as well as the image generator unit 132 gekop ⁇ pelt is.
  • the virtual reality glasses 110 is set up to display virtual images S1 of the exercise room.
  • the virtual reality glasses 110 are preferably set up to display pure virtual images S1 by means of an avatar depicting the user in the training room.
  • the video cameras 111, 112 arranged on the virtual reality glasses 110 are set up to record video images S2 of a viewing region of the virtual reality glasses 110.
  • the first unit 121 of the analysis device 120 is configured to provide gestures ⁇ recognition data S3 from a gesture recognition of gestures of the user by means of the captured video images S2.
  • the second unit 122 of the analysis device 120 is set up, hand tracking data S4 from a hand-tracking of hand movements of at least one hand of the user by means of the recorded video images S2 deviszustel ⁇ len.
  • the image generator 130 is configured to generate the displayed by the virtual reality goggles 110 virtual images Sl by means of the recorded video images S2, the provided gesture recognition data S3 and the ready rack ⁇ th hand tracking data S4. Functionalities of the image generator 130 may additionally or alternatively also be executed by the computing device 200 (host).
  • the image generator 130 is in particular configured to generate the virtual images Sl to be displayed by means of the provided hand tracking data S4 such that they comprise a position and / or a movement of at least one virtual hand of the avatar.
  • the image generator 130 is in particular configured to generate the virtual images Sl to be represented by means of the provided gesture recognition data S3 in such a way that they comprise at least one virtual gesture of the avatar.
  • the virtual reality goggles 110 are configured as a head-mounted display with integrated video sea-through function.
  • the two are arranged on the virtual reality goggles 110 Vi ⁇ deo cameras 111, 112 adapted to stereoscope recording video images S2 of the view area of the virtual reality goggles 110th
  • the video cameras 111, 112 are integrated in the virtual reality glasses 110.
  • the width ⁇ ren, the two displays 113, 114 of the virtual reality goggles 110 to the stereoscope representation of the virtual images SI are preferably furnished.
  • the two Jardingenerator- units 131, 132 are for generating two image data streams S6 and S7, by means of the taken from the two video cameras 111, 112 ⁇ video images S2, the provided gesture recognition data S3 and the manual provided Tracking data S4 set up.
  • the video processing unit 133 of the image generator 130 is configured to process the two generated image data streams S6, S7 to the virtual images S1 to be represented by the two displays 113, 114.
  • the displayed virtu ⁇ ellen images SI are in particular a virtual scene in the training room in which the user trains with the training object, for example the replica of the weapon 300 or the rescue winch 400.
  • Fig. 2 shows a schematic block diagram of a second exemplary embodiment of a simulator 10 for training at least one user on at least one ⁇ training-object 300, 400 in a training room.
  • the second embodiment of FIG. 2 includes all features of the first embodiment of FIG. 1.
  • the analysis device 120 may include a third unit 123 and a fourth unit 124.
  • the third unit 123 is adapted to provide finger-tracking data S5 from a finger tracking finger movements of at least a finger of the groove ⁇ dec by means of the captured video images S2.
  • the image generator can be set 130 to the provided finger-tracking data S5 also to generate the virtual images to be displayed to nut ⁇ zen Sl.
  • the fourth unit 124 is configured to provide analysis data S10 to the position Determined ⁇ lung and / or position detection in the room.
  • the Schmgene- can rator 130 and / or the computing device 200 be configured to S10 to use the ready ⁇ provided analysis data to generate the displayed virtual images Sl.
  • FIG. 2 shows that the virtual reality arrangement 100 has a head tracking sensor 115, which is integrated in the virtual reality glasses 110, and an external head-tracking system that is different from the virtual reality glasses 110 Sensor 140 includes.
  • both or only one of the head-tracking sensors 115, 140 may be provided.
  • the respective head tracking sensor 115, 140 is configured to provide head tracking data S8 for determining a position of the user and a viewing direction of the user.
  • the virtual reality system 100 may also include a proces ⁇ beitungsstatt 150 for the head tracking sensors 115, 140.
  • the processing unit 150 in particular generates data S9 for the position and / or viewing direction from the provided head tracking data S8.
  • the data S9 to the position and / or gaze direction can from the computing device 200 or the image generator 130 to generate the virtual images Sl USAGE be det ⁇ .
  • FIG. 3 shows a schematic flow diagram of an exemplary embodiment of a method for operating a simulator 10.
  • the simulator 10 comprises a virtual reality glasses 110 for displaying virtual images S1 of the training room and at least one video camera 111, 112 arranged on the virtual reality glasses 110 for capturing video images S2 of a viewing area Virtual reality glasses 110. Examples of the simulator 10 are shown in FIGS. 1 and 2.
  • the method of Figure 3 includes the following process steps 301, 302 and 303:
  • step 301 gesture recognition data S3 from a gesture recognition of gestures of the user are provided by the video camera 111, 112ipponom ⁇ menen video images S2 by means of the.
  • hand tracking data S4 is provided from a hand tracking of hand movements of at least one hand of the user by means of the captured video images S2.
  • step 303 the virtual images S1 to be displayed by the virtual reality glasses 110 are generated by the captured video images S2, the provided gesture recognition data S3, and the provided hand tracking data S4.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Simulator zum Training eines Teams einer Hubschrauberbesatzung Es wird ein Simulator (10) für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trainingsobjekt (300, 400) in einem Trainingsraumvorgeschlagen, miteinem im Raum beweglich ausgeführten Trainingsraum aufweisend das Trainingsobjekt (300, 400), wobei das Trainingsobjekt (300, 400) als eine auf die Haptik reduzierte Replik einer Waffe (300), einer Rettungswinde (400) oder einer Außenlast eines Hubschraubers ausgebildet ist,einer Virtual-Reality-Brille (110) zur Darstellung von virtuellen Bildern (S1) zum Training,zumindest einer an der Virtual-Reality-Brille (110) angeordneten Video-Kamera (111, 112) zur Aufnahme von Video- Bildern (S2) eines Sichtbereichs der Virtual-Reality-Brille (110), einer ersten Einheit (121) zum Bereitstellen von Gestenerkennungsdaten (S3) aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder (S2), einer zweiten Einheit (122) zum Bereitstellen von Hand-Tracking-Daten (S4) aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommenen Video-Bilder (S2), undeinem Bildgenerator (130) zum Generieren von durch die Virtual-Reality-Brille (110) darzustellenden virtuellen Bildern (S1) mittels der aufgenommenen Video-Bilder (S2), der bereitgestellten Gestenerkennungsdaten (S3) und der bereitgestellten Hand-Tracking-Daten (S4).

Description

SIMULATOR ZUM TRAINING EINES TEAMS EINER
HUBSCHRAUBERBESATZUNG
Die vorliegende Erfindung betrifft einen Simulator für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, sowie ein Verfahren zum Betreiben eines solchen Simulators.
Bekannterweise werden zum Training und zur Ausbildung von Nutzern oder Personen in Teams oftmals Simulatoren eingesetzt, bei denen die zu trainieren- den Personen in einer virtuellen Welt agieren. Dies kann beispielsweise für Be¬ satzungen von Fluggeräten, Land- und Seefahrzeugen erfolgen. Um die Handha¬ bung eines komplexen Systems zu trainieren, wird eine physikalische Nachbil¬ dung einer Fahrzeugkabine, beispielsweise eine Fluggerätekabine, in einer virtu¬ ellen Realität auf zum Beispiel einer sphärischen Projektion dargestellt.
Die Größe beispielsweise einer Hubschrauber-Kabine und die sich ständig in Be¬ wegung befindenden Augenpunkte der Crew-Mitglieder führen zu der Notwen¬ digkeit, eine große sphärische Projektionsfläche von 100°(+10°/-90°) x 360° zu konstruieren. Der Durchmesser kann dabei 8 Meter betragen und 12 Sicht- Kanäle scheinen notwendig und realistisch zu sein. Zu bedienende Instrumente werden dann als ein dem originalen System entsprechendes MMI (Mensch- Maschinen-lnferface) nachgebildet, beispielsweise eine Waffe inklusive Kraft¬ rückkopplung oder eine Rettungswinde inklusive Seilkräfte. Sollen taktische Operationen trainiert werden, so ist es bekannt, als Display Vir- tual-Reality- Brillen zu verwenden und die Systeme als vereinfachtes MMI nach¬ zubilden. Sowohl die Kabine als auch das zu bedienende Gerät, beispielsweise eine Waffe, werden dann virtuell nachgebildet und in der Virtual-Reality-Brille dargestellt.
Während bei der ersten Lösung vorteilhaft ein reales System physikalisch nach¬ gebildet wird, lässt sich die virtuelle zweite Lösung zu einem attraktiven Preis realisieren. Werden als Virtual-Reality-Brillen Head-Mounted-Displays mit teil¬ transparenten Displays (See-Through-Technologie) genutzt, so können auch die Systeme und die Crew-Mitglieder gesehen werden. Es würde aber auch der Trai¬ ningsraum, d.h. die nachgebildete Kabine, zu sehen sein. Zudem kann es zu visu- eilen Artefakten durch falsche Uberlagerungen der maskierten Fenster bzw. Öff¬ nungen für die Außensicht und den anwesenden Crew-Mitgliedern kommen.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, die Simulation für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, zu verbessern.
Demgemäß wird ein Simulator für ein Training zumindest eines Nutzers, insbe¬ sondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trai¬ ningsobjekt in einem Trainingsraum vorgeschlagen. Der Simulator umfasst eine Virtual-Reality-Brille zur Darstellung von virtuellen Bildern des Trainings, zu¬ mindest eine an der Virtual-Reality-Brille angeordnete Video-Kamera zur Auf¬ nahme von Video-Bildern eines Sichtbereichs der Virtual-Reality-Brille, eine ers¬ te Einheit zum Bereitstellen von Gestenerkennungsdaten aus einer Gestener¬ kennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder, eine zweite Einheit zum Bereitstellen von Hand-Tracking-Daten aus einem Hand- Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder, und einen Bildgenerator zum Generieren von durch die Virtual-Reality-Brille darzustellenden virtuellen Bildern mittels der aufge¬ nommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten.
Der Simulator kann auch als Simulations-System oder als System-Trainer be¬ zeichnet werden. Der Nutzer kann auch als Trainee oder Team-Mitglied bezeich¬ net werden. Das Trainingsobjekt ist beispielsweise ein auf die Haptik reduziertes Replikat eines zu trainierenden Gerätes, beispielsweise einer Waffe, einer Ret¬ tungswinde oder einer Außenlast eines Hubschraubers. Eine virtuelle Szene, gebildet durch die von dem Bildgenerator bereitgestellten virtuellen Bilder, wird in der Virtual-Reality-Brille insbesondere entsprechend der Position und Blickrichtung des Trainees dargestellt. Beispielsweise mittels eines Head-Trackings und Position-Trackings werden die Position und die Blick- richtung des Trainees ermittelt und in die virtuellen Bilder (im Weiteren auch: die virtuelle Darstellung) des Trainingsraums übertragen. So kann sich der Trainee frei in dem Trainingsraum bewegen und die virtuelle Szene wird ent¬ sprechend der sich ändernden Perspektive des Trainees in der Virtual-Reality- Brille dargestellt.
Mit dem Hand-Tracking werden die Bewegungen und die Positionen der Hände des Trainees erfasst und auf die virtuelle Darstellung, insbesondere den virtuel¬ len Händen eines den Trainee in dem Trainingsraum abbildenden Avatars, über¬ tragen.
Mit der Gestenerkennung werden die Gesten oder Aktivitäten des Trainees er¬ kannt und ebenfalls auf die virtuelle Darstellung, insbesondere den virtuellen Händen des Avatars, übertragen. Der Avatar bedient nun in der virtuellen Szene die virtuell dargestellten Trainingsobjekte für die es— wie oben erläutert— ver- einfachte haptische physikalische Replikate oder Mock-Ups gibt.
Kombiniert mit den physikalischen Nachbildungen der Trainingsobjekte oder Repliken kann dem Trainee die notwendige Haptik vermittelt werden, die den Trainee vollends in die virtuelle Trainingsumgebung eintauchen lässt. Der Trai- nee bedient das Trainingsobjekt, nämlich die einfache haptische Replik des Ge¬ räts, und sieht zugleich die komplexe Darstellung desselben Geräts in der virtu¬ ellen Szene durch die Virtual-Reality-Brille. Die optische Täuschung und die haptische Täuschung sind damit optimal aufeinander abgestimmt. Mit anderen Worten sind in der realen Welt des Trainingsraums nur die Haptik der Mock-Ups oder Replikate der Trainingsobjekte nachzubauen, da die Details in der virtuellen Szene, gebildet durch die virtuellen Bilder des Bildgenerators, durch das virtuelle Mock-Up, dargestellt in der Virtual-Reality-Brille, abgebildet sind. Hierdurch können erhebliche Kosten bei der Nachbildung der Trainingsob¬ jekte eingespart werden. Wenn mehrere Team-Mitglieder oder Crew-Mitglieder, beispielsweise Mitglieder einer Hubschrauberbesatzung, die in einer Kabine agieren (Helicopter Rear Cabin Crew— H/C Crew), gemeinsam trainieren, so wird jedem Team-Mitglied eine Virtual-Reality-Brille zugeordnet und ein gemeinsamer Raum ist nicht not¬ wendig. Die Team-Mitglieder können räumlich getrennt voneinander trainieren und sehen sich über ihre Virtual-Reality-Brillen dennoch in demselben virtuellen Trainingsraum. Ein jedes Team-Mitglied wird hierfür insbesondere durch einen Avatar in der virtuellen Szene dargestellt, auf den die Bewegungen des dazuge¬ hörigen Team-Mitglieds übertragen werden. So können sie trotz einer möglichen physikalischen räumlichen Trennung miteinander interagieren, wenn auch nicht einander berühren. Insbesondere ist der Trainingsraum selbst korrelierend mit der virtuellen Szene gestaltet, zum Beispiel sind Türen vereinfacht aufgebaut, so dass der Trainee diese beispielsweise öffnen kann oder sich an deren Rahmen anlehnen oder festhalten kann, während er sich bei der Bedienung zum Beispiel der Rettungswinde aus dem Helikopter hinaus lehnt.
Wenn, wie oben ausgeführt, die Team-Mitglieder einer Hubschrauberbesatzung mittels des Simulators miteinander trainieren sollen, so sind beispielsweise eine Rettungswinde, ein Außenlastverfahren und eine Waffe im Bereich eines Bordsi¬ cherungssoldaten (Doorgunner) nachzubilden. Auszubilden sind dann in dem Simulator wenigstens die sichere Handhabung der Systeme (Waffe und Ret¬ tungswinde) und die effektive und sichere Nutzung dieser Systeme im Einsatz. Dabei können die einzelnen Arbeitsbereiche und Trainingsobjekte gemeinsam in dem Simulator untergebracht sein und genutzt werden, es kann jedoch auch physikalisch getrennt voneinander trainiert werden.
Der Simulator eignet sich zur Ausbildung wenigstens eines Nutzers oder einer Person, wobei jedoch vorzugsweise mehrere Nutzer oder Team-Mitglieder gleich- zeitig im Trainingsraum trainieren können. Daher kann der Simulator wenigs¬ tens zwei Virtual-Reality-Brillen umfassen, auf weichen von dem Bildgenerator zeitaktuelle Bilder für jeden Nutzer erzeugbar sind. Unter Sichtbereich wird vorliegend insbesondere der Bereich verstanden, den der Nutzer beim Blicken durch die Virtual Reality- Brille sehen kann.
Unter einem Avatar wird insbesondere eine künstliche oder virtuelle Nachbil¬ dung des Nutzers, beispielsweise eine Grafikfigur, verstanden, die dem Nutzer in der virtuellen Szene zugeordnet ist.
Gemäß einer Ausführungsform ist die Virtual-Reality-Brille zur Darstellung von reinen virtuellen Bildern mittels eines den Nutzer in dem Trainingsraum abbil¬ denden Avatars eingerichtet. Hierdurch umfasst die virtuelle Szene ausschließ- lieh virtuelle Bilder.
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der bereitgestellten Hand-Tracking- Daten derart zu generieren, dass sie eine Position und/oder eine Bewegung zu- mindest einer virtuellen Hand des Avatars umfassen.
Damit wird eine Bewegung der Hand des Nutzers auf eine korrespondierende Bewegung der virtuellen Hand des Avatars übertragen. Hierdurch hat die Bewe¬ gung der Hand des Nutzers eine unmittelbare Kopplung und Auswirkung auf die Bewegung der virtuellen Hand des Avatars.
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der bereitgestellten Gestenerken¬ nungsdaten derart zu generieren, dass sie zumindest eine virtuelle Geste des Avatars umfassen. Hierdurch werden die Gesten des Nutzers unmittelbar auf virtuelle Gesten des Avatars übertragen.
Gemäß einer weiteren Ausführungsform umfasst der Simulator eine dritte Ein- heit zum Bereitstellen von Finger-Tracking-Daten aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nutzers mittels der aufge¬ nommenen Video-Bilder. Dabei ist der Bildgenerator dazu eingerichtet, die dar¬ zustellenden virtuellen Bilder mittels der aufgenommenen Video-Bilder, der be¬ reitgestellten Gestenerkennungsdaten, der bereitgestellten Hand-Tracking- Daten und der bereitgestellten Finger-Tracking-Daten zu generieren.
Gemäß einer weiteren Ausführungsform ist die Virtual-Reality-Brille als ein Head-Mounted-Display mit integrierter Video- See-Through- Funktion ausgebil¬ det.
Gemäß einer weiteren Ausführungsform sind zwei an der Virtual-Reality-Brille angeordnete Video-Kameras zur Stereoskopen Aufnahme von Video-Bildern des Sichtbereichs der Virtual-Reality-Brille vorgesehen. Gemäß einer weiteren Ausführungsform umfasst die Virtual-Reality-Brille zwei Displays zur Stereoskopen Darstellung der virtuellen Bilder.
Hiermit wird vorteilhafterweise dem Nutzer ein Eindruck von räumlicher Tiefe vermittelt.
Gemäß einer weiteren Ausführungsform umfasst der Bildgenerator zwei Bildge¬ nerator-Einheiten zum Generieren von zwei Bilddaten- Strömen mittels der von den zwei Video-Kameras aufgenommenen Video-Bilder, der bereitgestellten Ges¬ tenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten und eine Video-Verarbeitungseinheit zum Verarbeiten der zwei generierten Bilddaten- Ströme zu den durch die beiden Displays darzustellenden virtuellen Bilder. Die Video-Verarbeitungseinheit ist insbesondere zur zeitgleichen Mischung der Aufnahmen der Video-Kameras mit gerechneten virtuellen Bildern in der jewei¬ ligen Blickrichtung des Nutzers eingerichtet. Die Video-Verarbeitungseinheit ermöglicht es somit vorzugsweise, die Aufnahmen der Video-Kameras zeitgleich mit einem errechneten virtuellen Szenario zu mischen und einem jeden Nutzer seine individuelle Sicht auf das Szenario des Trainingsraums zu geben. Dabei ermöglichen die zwei Bildgenerator- Einheiten eine differierende Darstellung für jedes Auge des Nutzers. Beispielsweise erhält bei einem Training eines Teams jedes trainierende Team- Mitglied ein Head-Mounted-Display als Virtual-Reality-Brille, welches jeweils mit zwei Video-Kameras für Stereoskope Aufnahmen und einem Head-Tracker versehen ist, der die Feststellung der Blickrichtung des betreffenden Team- Mitglieds ermöglicht. Die zwei Bildgenerator- Einheiten des Bildgenerators er- zeugen dann für jedes Display eine Stereoskope Darstellung des Szenarios aus dem individuellen Blickwinkel des Team-Mitglieds.
Gemäß einer weiteren Ausführungsform umfasst der Simulator einen Head- Tracking-Sensor zum Bereitstellen von Head-Tracking-Daten zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers.
Gemäß einer weiteren Ausführungsform ist der Head-Tracking-Sensor an der Virtual-Reality-Brille angeordnet. Gemäß einer weiteren Ausführungsform ist der Head-Tracking-Sensor extern zu der Virtual-Reality-Brille vorgesehen.
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten, der bereitgestellten Hand-
Tracking-Daten und der bereitgestellten Head-Tracking-Daten zu generieren. Gemäß einer weiteren Ausführungsform ist der Trainingsraum beweglich im Raum ausgeführt. Dadurch, dass der Trainingsraum beweglich im Raum ausge¬ führt ist, ist es vorteilhafterweise möglich, dass Manöver, beispielsweise des Hubschraubers, mit einem Bewegungssystem auf den Trainingsraum übertragen zu können. Die Vibrationen können ebenfalls auf den Boden des Trainingsraums und damit auf die trainierende Besatzung übertragen werden. Beispielsweise kann es vorteilhaft sein, den Boden von den Seitenwänden des Trainingsraums zu entkoppeln. Gemäß einer weiteren Ausführungsform ist das Trainingsobjekt als eine auf die Haptik reduzierte Replik (Mock-Up) des zu trainierenden Geräts, beispielsweise einer Waffe, einer Rettungswinde oder einer Außenlast eines Hubschraubers, ausgebildet. Beispielsweise bei einer Rettungswinde kann das Seil dieser Rettungswinde an eine Bewegungsplatte angekoppelt sein, welche innerhalb einer Ebene in zwei Richtungen bewegbar ist, wobei die Bewegungsplatte durch die Rechenvorrich¬ tung oder Host ansteuerbar ist. So lässt sich die Pendelbewegung einer Last an dem Seil spürbar simulieren.
Des Weiteren kann die Bewegungsplatte beispielsweise mit einem Sensor ausge¬ stattet sein, mit welchem die Kraftübertragung eines Trainees auf das Seil der Rettungswinde erfassbar und an der Rechenvorrichtung oder Host übertragbar ist. Kraftübertragungen des Trainees können so von der Simulation berücksich- tigt werden, wodurch es dem Trainee möglich ist, die Pendelbewegung der Ret¬ tungswinde durch eigene Kraft zu beeinflussen.
Beispielsweise kann das Seil der Rettungswinde zwischen zwei Spulen verlaufen, auf welche das Seil aufrollbar und abrollbar ist. Diese Spulen können sich bei- spielsweise außerhalb des Trainingsraums befinden und dienen dazu, das Ab- und Aufspulen des Seils an den Handflächen des Trainees spürbar zu machen. Gemäß einer weiteren Ausführungsform umfasst die Virtual-Reality-Brille, eine Not- Aus- Einrichtung. Bei Betätigung der Not- Aus- Einrichtung werden die auf¬ genommenen Videobilder auf die Virtual-Reality-Brille durchgeschaltet. Die Dar¬ stellung der virtuellen Bilder wird unterbrochen bzw. beendet. Dies ist insbeson- dere dann vorteilhaft, wenn dem Nutzer oder Trainee während des Trainings übel wird, da dann der Nutzer durch Drücken der Not- Aus- Einrichtung in den physikalischen Trainingsraum zurückkehren kann. Die Not- Aus- Einrichtung ist beispielsweise als ein an der Virtual-Reality-Brille angeordneter Taster oder Knopf ausgebildet.
Gemäß einer weiteren Ausführungsform umfasst der Simulator eine haptische Feedback- Einrichtung für den Nutzer, welche dazu eingerichtet ist, ein hapti- sches Feedback von den Trainingsobjekten oder Mock-Ups zurück an den Nutzer zu geben.
Die jeweilige Einheit, zum Beispiel die erste Einheit oder die zweite Einheit, kann hardwaretechnisch und/oder auch softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausge¬ bildet sein. Ferner wird ein Verfahren zum Betreiben eines Simulators für ein Training zu¬ mindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trainingsobjekt in einem Trainingsraum vorgeschlagen, wobei der Simulator eine Virtual-Reality-Brille zur Darstellung von virtuellen Bildern des Trainings und zumindest eine an der Virtual-Reality-Brille angeord- nete Video-Kamera zur Aufnahme von Video-Bildern eines Sichtbereichs der Vir¬ tual-Reality-Brille umfasst, mit den Schritten: Bereitstellen von Gestenerkennungsdaten aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder,
Bereitstellen von Hand-Tracking-Daten aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder, und
Generieren von durch die Virtual-Reality-Brille darzustellenden virtuellen Bildern mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestener¬ kennungsdaten und der bereitgestellten Hand-Tracking-Daten. Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches auf einer programmgesteuerten Einrichtung die Durchführung des wie oben erläuterten Verfahrens veranlasst.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in ei¬ nem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer ent¬ sprechenden Datei mit dem Computerprogrammprodukt oder dem Computerpro- gramm-Mittel erfolgen.
Die für die vorgeschlagene Vorrichtung beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend. Für das Beispiel eines Trainings eines Teams einer Hubschrauber-Kabine kann eine Umsetzung des Simulators in Ausführungsformen das Folgende umfassen:
H/C-Kabine:
Für die H/C-Kabine (H/C; Helicopter Rear Cabin Crew) bedarf es vorteilhafter- weise keinem exakten physikalischen Nachbau der zu simulierenden Hub¬ schrauber-Variante. Es sind lediglich Teile nachzubauen, die ein mögliches Hin¬ dernis im Aktionsraum der Team-Mitglieder oder des Trainees darstellen kön- nen. Ein möglicher Trainingsraum hierzu umfasst beispielsweise einfache Rah¬ men für die Türausschnitte der H/C-Kabine, ein einfaches haptisches Mock-Up für das Maschinengewehr (Doorgunner) und ein Modell einer Rettungswinde (Winchman).
Visuelles System:
Das visuelle System besteht insbesondere aus dem Bildgenerator, der Virtual- Reality- Brille und der Analyse-Vorrichtung. Insbesondere ist der Bildgenerator unabhängig von dem zugrundeliegenden Konzept. Als Virtual Reality- Brille kann ein Head-Mounted-Display mit Video- See-Through- Funktion in Kombination mit Hand-Tracking und Gestenerkennung eingesetzt werden.
Die Kameras des Head-Mounted-Displays liefern ein Video mit den Händen des Trägers, sobald diese ins Sichtfeld bewegt werden. Diese Bewegungen der Hände, wie auch deren Gesten, werden mittels der Analyse-Vorrichtung analysiert, in¬ terpretiert und an den Bildgenerator für eine korrelierende visuelle Darstellung übergeben. Der Bildgenerator seinerseits animiert einen den Trainee abbilden¬ den Avatar und lässt diesen die virtuellen Systeme des Trainingsraums bedie¬ nen.
Die Kameras des Head-Mounted-Displays können zudem für das Head-Tracking genutzt werden. Alternativ oder zusätzlich kann ein separates Head-Tracking- System oder ein separater Head-Tracking- Sensor zur Ermittlung der Position und Blickrichtung des Trainees eingesetzt werden.
Motion^
Die Manöver des H/C werden mit einem 6-DoF-Bewegungssystem auf die gesam¬ te Kabine übertragen. Diese Übertragung ist optional. Vibrationen^
Vibrationen am H/C werden vorzugsweise auf den Boden der Kabine und somit auf die Besatzung übertragen. Vibrationen können ergänzend auf die nachgebil- deten Teile, die ein mögliches Hindernis im Aktionsraum der Team-Mitglieder oder des Trainees darstellen können, übertragen werden. Auch die Übertragung der Vibrationen ist optional. Arbeitsplätze :
Beispielsweise werden die folgenden Arbeitsplätze nachgebildet: Rettungswinde (Winchman), Außenlastverfahren, Bordsicherungssoldat (Doorgunner).
Doorgunner:
Vorzugsweise werden folgende Funktionen und Eigenschaften simuliert: Bedie¬ nung (vereinfacht), Ballistik, Kadenz, Rückstoß und Gewicht. Als Trainingsob¬ jekt wird hierzu ein vereinfachtes haptisches Mock-Up der Waffe des Maschinen¬ gewehrschützen verwendet. Die virtuelle Darstellung der Waffe ist vorzugsweise ein fotorealistisches SD- Modell. Dieses 3D-Modell wird dem Mock-Up überlagert und ergänzt dieses zum Beispiel mit einem realistischen Lauf und dem Visier. Eine Visierung mittels ei¬ nes roten Laserpunkts kann ebenfalls innerhalb der simulierten virtuellen Szene umgesetzt werden. Dies geschieht innerhalb des Bildgenerators, indem die Waf- fenausrichtung mit einer gedachten Linie verlängert wird, ein gemeinsamer Schnittpunkt mit dem Gelände ermittelt wird und dort ein Lichtpunkt darge¬ stellt wird.
Für die Simulation des Rückstoßes verfügt das Mock-Up vorzugsweise über ein Recoil- System. Das Gewicht und deren Verteilung der Waffe werden insbesonde¬ re durch ein optionales Control-Load-System nachgebildet. Mit diesem Control- Load- System können ebenfalls auf den Lauf der Waffe wirkende Windkräfte und sich verlagernde Gewichte innerhalb der Magazine simuliert werden. Rettungs winde :
Folgende Funktionen können vorzugsweise simuliert werden^ Bedienung, Pen¬ delbewegung, Ab-/Aufrollen. Die Pendelbewegung der Last wird an dem Seil der Rettungswinde beispielswei¬ se mittels einer X-Y- Bewegungsplatte spürbar für den Trainee simuliert. Wäh¬ rend sich das obere Ende des Seils an einem festen Punkt befindet, lässt sich das untere Ende des Seils bewegen. Die Pendelbewegung einer simulierten Last wird dabei in eine relative X-Y- Koordinate umgerechnet und auf die mit Stellmotoren versehene X-Y- Platte an das Seilende übertragen.
Sensoren erfassen vorzugsweise die Kraftübertragung des Trainees auf das Seil, welche ihrerseits an den Simulator übertragen wird. Damit wird es dem Trainee möglich, die Pendelbewegung beeinflussen zu können.
Das Ab- und Aufrollen des Seils kann der Trainee vorzugsweise ebenfalls an der Handfläche spüren. Hierfür wird das Seil, wie bei einer echten Winde, von einer Spule abgerollt und an einem unteren Ende auf einer zweiten Spule zeitgleich aufgerollt. Hiermit lässt sich auch die Seilspannung simulieren, welche sich beim Aufsetzen der Last auf den Boden verändert.
Auch wird vorzugsweise durch ein asymmetrisches Auf- und Abspulen des Seils, in Momenten, wenn der Trainee an dem Seil zieht, das Einholen des Seils simu¬ liert. Insbesondere wird die Winde über die Rescue-Hoist-Remote-Control-Unit gesteuert.
In der virtuellen Szene wird hierzu vorzugsweise ein korrelierendes 3D-Modell für das Seil verwendet und dargestellt. Das Pendeln dieses Modells wird durch ein eigenes mathematisches Modell auf der Rechenvorrichtung oder Host be¬ rechnet. Diese simulierten Bewegungen werden an den Bildgenerator weiterge¬ geben und steuern die virtuelle Darstellung, welche dem der haptischen Wahr¬ nehmung dienenden physikalischen Seil visuell überlagert ist.
Außenlast: Die Trainingsumgebung für das Außenlastverfahren ist insbesondere Bestandteil der Ausrüstung des Doorgunner beziehungsweise des Winchman.
Ein mit dem Head-Mounted-Display ausgestatteter Maschinengewehrschütze, Bordmechaniker oder Bordwart kann während des Außenlastverfahrens sowohl durch eine simulierte Bodenluke als auch durch die dargestellten Fenster und Türen der H/C-Kabine die Außenlast beobachten. Er steht dabei in Verbindung mit dem Ausbilder, beispielsweise dem Piloten, und kann gegebenenfalls Infor¬ mationen oder Kommandos an ihn geben.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht expli¬ zit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausfüh¬ rungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegen¬ stand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungs¬ beispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzug- ten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
Fig. 1 zeigt ein schematisches Blockschaltbild eines ersten Ausführungsbei¬ spiels eines Simulators für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt in einem Trainingsraum;
Fig. 2 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbei¬ spiels eines Simulators für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt in einem Trainingsraum; und
Fig. 3 zeigt ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben eines Simulators. In den Figuren sind gleiche oder funktions gleiche Elemente mit denselben Be¬ zugszeichen versehen worden, sofern nichts anderes angegeben ist. In Fig. 1 ist ein schematisches Blockschaltbild eines ersten Ausführungsbeispiels eines Simulators 10 für ein Training zumindest eines Nutzers an zumindest ei¬ nem Trainingsobjekt 300, 400 in einem Trainingsraum dargestellt.
Der Simulator 10 kann auch als System-Trainer oder Simulationssystem be- zeichnet werden. Der Simulator 10 umfasst eine Virtual-Reality- Anordnung 100 und eine als Host ausgebildete Rechenvorrichtung 200, welche die Virtual- Reality- Anordnung 100 mit den Trainingsobjekten 300, 400 koppelt. Die Trai¬ ningsobjekte 300, 400 sind in dem Beispiel der Fig. 1 als eine Waffe 300 und als eine Rettungswinde 400 ausgebildet. Die Waffe 300 und die Rettungswinde 400 sind insbesondere ein Modell des Originals oder eine auf wesentliche haptische Elemente des Originals reduzierte Attrappe (Mock-Up). Die Waffe 300 weist ins¬ besondere eine Waffen- Simulationseinheit 301 und die Rettungswinde 400 weist eine Winden- Simulationseinheit 401 auf, welche über die Rechenvorrichtung 200 mit der Virtual-Reality- Anordnung 100 gekoppelt sind.
Die Virtual-Reality- Anordnung 100 umfasst eine Virtual-Reality-Brille 110, eine Analyse-Vorrichtung 120 und einen Bildgenerator 130. Die Virtual-Reality-Brille 110 umfasst eine Video-Kamera 111, insbesondere ausrichtbar auf das linke Au¬ ge des Nutzers, und eine Video-Kamera 112, insbesondere ausrichtbar auf das rechte Auge des Nutzers. Aus diesem Grund kann die Video-Kamera 111 auch als L- Video-Kamera (L; linkes Auge) und die Video-Kamera 112 als R- Video- Kamera (R; rechtes Auge) bezeichnet werden. Des Weiteren umfasst die Virtual- Reality-Brille 110 ein Display 113, insbesondere ausrichtbar auf das linke Auge des Nutzers, und ein Display 114, insbesondere ausrichtbar auf das rechte Auge des Nutzers. Aus diesem Grund kann das Display 113 auch als L-Display und das Display 114 auch als R-Display bezeichnet werden. Die Analyse- Vorrichtung 120 umfasst eine erste Einheit 121 und eine zweite Einheit 122. Die erste Einheit 121 und die zweite Einheit 122 sind insbesondere als Teil, insbesondere als Software-Teil und/oder als Hardware-Teil, der Analyse- Vorrichtung 120 ausgebildet. Der Bildgenerator 130 umfasst vorzugsweise eine Bildgenerator- Einheit 131, insbesondere ausrichtbar auf das linke Auge des Nut¬ zers, eine Bildgenerator- Einheit 132, insbesondere ausrichtbar auf das rechte Auge des Nutzers, und eine Video- Verarbeitungseinheit 133, welche sowohl mit der Bildgenerator- Einheit 131 als auch mit der Bildgenerator- Einheit 132 gekop¬ pelt ist.
Die Virtual-Reality-Brille 110 ist zur Darstellung von virtuellen Bildern Sl des Trainingsraums eingerichtet. Vorzugsweise ist die Virtual-Reality-Brille 110 zur Darstellung von reinen virtuellen Bildern Sl mittels eines den Nutzer in dem Trainingsraum abbildenden Avatars eingerichtet.
Die an der Virtual-Reality-Brille 110 angeordneten Video-Kameras 111, 112 sind zur Aufnahme von Video-Bildern S2 eines Sichtbereichs der Virtual-Reality- Brille 110 eingerichtet. Die erste Einheit 121 der Analyse- Vorrichtung 120 ist dazu eingerichtet, Gesten¬ erkennungsdaten S3 aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder S2 bereitzustellen.
Die zweite Einheit 122 der Analyse- Vorrichtung 120 ist dazu eingerichtet, Hand- Tracking-Daten S4 aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder S2 bereitzustel¬ len.
Der Bildgenerator 130 ist dazu eingerichtet, die durch die Virtual-Reality-Brille 110 darzustellenden virtuellen Bilder Sl mittels der aufgenommenen Video- Bilder S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestell¬ ten Hand-Tracking-Daten S4 zu generieren. Funktionalitäten des Bildgenerators 130 können zusätzlich oder alternativ auch von der Rechenvorrichtung 200 (Host) ausgeführt werden.
Dabei ist der Bildgenerator 130 insbesondere dazu eingerichtet, die darzustellen- den virtuellen Bilder Sl mittels der bereitgestellten Hand-Tracking-Daten S4 derart zu generieren, dass diese eine Position und/oder eine Bewegung zumindest einer virtuellen Hand des Avatars umfassen.
Ferner ist der Bildgenerator 130 insbesondere dazu eingerichtet, die darzustel- lenden virtuellen Bilder Sl mittels der bereitgestellten Gestenerkennungsdaten S3 derart zu generieren, dass diese zumindest eine virtuelle Geste des Avatars umfassen.
Beispielsweise ist die Virtual-Reality-Brille 110 als ein Head-Mounted-Display mit integrierter Video- See-Through- Funktion ausgebildet.
Vorzugsweise sind die beiden an der Virtual-Reality-Brille 110 angeordneten Vi¬ deo-Kameras 111, 112 zur Stereoskopen Aufnahme von Video-Bildern S2 des Sichtbereichs der Virtual-Reality-Brille 110 eingerichtet. Insbesondere sind die Video-Kameras 111, 112 in der Virtual-Reality-Brille 110 integriert. Des Weite¬ ren sind vorzugsweise auch die beiden Displays 113, 114 der Virtual-Reality- Brille 110 zur Stereoskopen Darstellung der virtuellen Bilder Sl eingerichtet.
Die beiden Bildgenerator- Einheiten 131, 132 sind zum Generieren von zwei Bild- daten-Strömen S6 und S7, mittels der von den zwei Video-Kameras 111, 112 auf¬ genommenen Video-Bildern S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking-Daten S4 eingerichtet. Dabei ist die Vi¬ deo-Verarbeitungseinheit 133 des Bildgenerators 130 dazu eingerichtet, die zwei generierten Bilddaten-Ströme S6, S7 zu den durch die beiden Displays 113, 114 darzustellenden virtuellen Bildern Sl zu verarbeiten. Die darzustellenden virtu¬ ellen Bilder Sl stellen insbesondere eine virtuelle Szene in dem Trainingsraum dar, in welcher der Nutzer mit dem Trainingsobjekt, beispielsweise der Replik der Waffe 300 oder der Rettungswinde 400, trainiert.
Fig. 2 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbei- Spiels eines Simulators 10 für ein Training zumindest eines Nutzers an zumin¬ dest einem Trainingsobjekt 300, 400 in einem Trainingsraum.
Das zweite Ausführungsbeispiel der Fig. 2 umfasst alle Merkmale des ersten Ausführungsbeispiels der Fig. 1. Darüber hinaus zeigt die Fig. 2, dass die Analy- se-Vorrichtung 120 eine dritte Einheit 123 und eine vierte Einheit 124 umfassen kann. Die dritte Einheit 123 ist dazu eingerichtet, Finger-Tracking-Daten S5 aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nut¬ zers mittels der aufgenommenen Video-Bilder S2 bereitzustellen. Dabei kann der Bildgenerator 130 dazu eingerichtet sein, die bereitgestellten Finger-Tracking- Daten S5 auch zur Generierung der darzustellenden virtuellen Bilder Sl zu nut¬ zen.
Die vierte Einheit 124 ist eingerichtet, Analyse-Daten S10 zur Positionsermitt¬ lung und/oder Lageerfassung im Raum bereitzustellen. Dabei kann der Bildgene- rator 130 und/oder die Rechenvorrichtung 200 dazu eingerichtet sein, die bereit¬ gestellten Analyse-Daten S10 zur Generierung der darzustellenden virtuellen Bilder Sl zu nutzen.
Des Weiteren zeigt die Fig. 2, dass die Virtual-Reality- Anordnung 100 einen Head-Tracking-Sensor 115, der in der Virtual-Reality-Brille 110 integriert ist, und einen zu der Virtual-Reality-Brille 110 externen Head-Tracking-Sensor 140 umfasst. Insbesondere können beide oder nur einer der Head-Tracking-Sensoren 115, 140 vorgesehen sein. Der jeweilige Head-Tracking-Sensor 115, 140 ist dazu eingerichtet, Head-Tracking-Daten S8 zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers bereitzustellen. Ferner zeigt die Fig. 2, dass die Virtual-Reality- Anordnung 100 auch eine Verar¬ beitungseinheit 150 für die Head-Tracking-Sensoren 115, 140 umfassen kann. Die Verarbeitungseinheit 150 generiert insbesondere Daten S9 zur Position und/oder Blickrichtung aus den bereitgestellten Head-Tracking-Daten S8. Die Daten S9 zur Position und/oder Blickrichtung können von der Rechenvorrichtung 200 oder dem Bildgenerator 130 zur Erstellung der virtuellen Bilder Sl verwen¬ det werden.
In Fig. 3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben eines Simulators 10 dargestellt. Der Simulator 10 um- fasst insbesondere eine Virtual-Reality-Brille 110 zur Darstellung von virtuellen Bildern Sl des Trainingsraums und zumindest eine an der Virtual-Reality-Brille 110 angeordnete Video-Kamera 111, 112 zur Aufnahme von Video-Bildern S2 eines Sichtbereichs der Virtual-Reality-Brille 110. Beispiele für den Simulator 10 sind in den Fig. 1 und 2 dargestellt.
Das Verfahren der Fig. 3 umfasst die folgenden Verfahrens schritte 301, 302 und 303: In Schritt 301 werden Gestenerkennungsdaten S3 aus einer Gestenerkennung von Gesten des Nutzers mittels der durch die Video-Kamera 111, 112 aufgenom¬ menen Video-Bilder S2 bereitgestellt.
In Schritt 302 werden Hand-Tracking-Daten S4 aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder S2 bereitgestellt.
In Schritt 303 werden die durch die Virtual-Reality-Brille 110 darzustellenden virtuellen Bilder Sl mittels der aufgenommenen Video-Bilder S2, der bereitge- stellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking- Daten S4 generiert. Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrie¬ ben wurde, ist sie vielfältig modifizierbar.
BEZUGSZEICHENLISTE
10 Simulator
100 Virtual-Reality- Anordnung
110 Virtual-Reality-Brille
111 Video-Kamera
112 Video-Kamera
113 Display
114 Display
115 Head-Tracking-Sensor
120 Analyse-Vorrichtung
121 erste Einheit
122 zweite Einheit
123 dritte Einheit
124 vierte Einheit
130 Bildgenerator
131 Bildgenerator- Einheit
132 Bildgenerator- Einheit
133 Video-Verarbeitungseinheit
140 Head-Tracking-Sensor
150 Verarbeitungseinheit
200 Rechenvorrichtung
300 Waffe
301 Waffen- Simulationseinheit
400 Rettungswinde
401 Winden- Simulationseinheit
Sl virtuelle Bilder
S2 Video-Bilder
S3 Gestenerkennungsdaten
S4 Hand-Tracking-Daten
S5 Finger-Tracking-Daten
S6 Bilddaten- Strom Bilddaten- Strom
Head-Tracking-Daten
Daten zur Position und/oder Blickrichtung Analyse-Daten
Verfahrensschritt
Verfahrensschritt
Verfahrensschritt

Claims

PATENTANSPRÜCHE
1. Simulator (10) für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trainingsobjekt (300, 400) in einem Trainingsraum, mit:
einem im Raum beweglich ausgeführten Trainingsraum aufweisend das Trainingsobjekt (300, 400), wobei das Trainingsobjekt (300, 400) als eine auf die Haptik reduzierte Replik einer Waffe (300), einer Rettungswinde (400) oder einer Außenlast eines Hubschraubers ausgebildet ist,
einer Virtual-Reality-Brille (110) zur Darstellung von virtuellen Bildern
(Sl) des Trainingsraums zum Training,
zumindest einer an der Virtual-Reality-Brille (110) angeordneten Video- Kamera (111, 112) zur Aufnahme von Video-Bildern (S2) eines Sichtbereichs der Virtual-Reality-Brille (110),
einer ersten Einheit (121) zum Bereitstellen von Gestenerkennungsdaten
(53) aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenom¬ menen Video-Bilder (S2),
einer zweiten Einheit (122) zum Bereitstellen von Hand-Tracking-Daten
(54) aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder (S2), und
einem Bildgenerator (130) zum Generieren von durch die Virtual-Reality- Brille (110) darzustellenden virtuellen Bildern (Sl) mittels der aufgenommenen Video-Bilder (S2), der bereitgestellten Gestenerkennungsdaten (S3) und der be¬ reitgestellten Hand-Tracking-Daten (S4).
2. Simulator nach Anspruch 1,
dadurch gekennzeichnet,
dass die Virtual-Reality-Brille (110) zur Darstellung von reinen virtuellen Bil¬ dern (Sl) mittels eines den Nutzer in dem Trainingsraum abbildenden Avatars eingerichtet ist.
3. Simulator nach Anspruch 2, dadurch gekennzeichnet,
dass der Bildgenerator (130) dazu eingerichtet ist, die darzustellenden virtuellen Bilder (Sl) mittels der bereitgestellten Hand-Tracking-Daten (S4) derart zu ge¬ nerieren, dass sie eine Position und/oder eine Bewegung zumindest einer virtuel- len Hand des Avatars umfassen.
4. Simulator nach Anspruch 2 oder 3,
dadurch gekennzeichnet,
dass der Bildgenerator (130) dazu eingerichtet ist, die darzustellenden virtuellen Bilder (Sl) mittels der bereitgestellten Gestenerkennungsdaten (S3) derart zu generieren, dass sie zumindest eine virtuelle Geste des Avatars umfassen.
5. Simulator nach einem der Ansprüche 1 bis 4,
gekennzeichnet durch
eine dritte Einheit (123) zum Bereitstellen von Finger-Tracking-Daten (S5) aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nut¬ zers mittels der aufgenommenen Video-Bilder (S2), wobei der Bildgenerator (130) dazu eingerichtet ist, die darzustellenden virtuellen Bilder (Sl) mittels der auf¬ genommenen Video-Bilder (S2), der bereitgestellten Gestenerkennungsdaten (S3), der bereitgestellten Hand-Tracking-Daten (S4) und der bereitgestellten Finger-Tracking-Daten (S5) zu generieren.
6. Simulator nach einem der Ansprüche 1 bis 5,
dadurch gekennzeichnet,
dass die Virtual-Reality-Brille (110) als ein Head-Mounted-Display mit integrier¬ ter Video- See-Through- Funktion ausgebildet ist.
7. Simulator nach einem der Ansprüche 1 bis 6,
gekennzeichnet durch
zwei an der Virtual-Reality-Brille (110) angeordnete Video-Kameras (111, 112) zur Stereoskopen Aufnahme von Video-Bildern (S2) des Sichtbereichs der Virtu¬ al-Reality-Brille (110).
8. Simulator nach Anspruch 7,
dadurch gekennzeichnet,
dass die Virtual-Reality-Brille (110) zwei Displays (113, 114) zur Stereoskopen Darstellung der virtuellen Bilder (Sl) umfasst.
9. Simulator nach Anspruch 8,
dadurch gekennzeichnet,
dass der Bildgenerator (130) zwei Bildgenerator- Einheiten (131, 132) zum Gene- rieren von zwei Bilddaten-Strömen (S6, S7) mittels der von den zwei Video- Kameras (111, 112) aufgenommenen Video-Bilder (S2), der bereitgestellten Ges¬ tenerkennungsdaten (S3) und der bereitgestellten Hand-Tracking-Daten (S4) und eine Video-Verarbeitungseinheit (133) zum Verarbeiten der zwei generierten Bilddaten- Ströme (S6, S7) zu den durch die beiden Displays (113, 114) darzustel- lenden virtuellen Bilder (Sl) umfasst.
10. Simulator nach einem der Ansprüche 1 bis 9,
gekennzeichnet durch
einen Head-Tracking- Sensor (115, 140) zum Bereitstellen von Head-Tracking- Daten (S8) zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers.
11. Simulator nach Anspruch 10,
dadurch gekennzeichnet,
dass der Head-Tracking- Sensor (115) an der Virtual-Reality-Brille (110) ange¬ ordnet ist oder dass der Head-Tracking-Sensor (140) extern zu der Virtual- Reality-Brille (110) vorgesehen ist.
12. Simulator nach Anspruch 10 oder 11,
dadurch gekennzeichnet,
dass der Bildgenerator (130) dazu eingerichtet ist, die darzustellenden virtuellen Bilder (Sl) mittels der aufgenommenen Video-Bilder (S2), der bereitgestellten Gestenerkennungsdaten (S3), der bereitgestellten Hand-Tracking-Daten (S4) und der bereitgestellten Head-Tracking-Daten (S8) zu generieren.
13. Verfahren zum Betreiben eines Simulators (10) für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zu¬ mindest einem Trainingsobjekt in einem Trainingsraum, wobei der Simulator (10) einen im Raum beweglich ausgeführten Trainingsraum aufweisend das Trai¬ ningsobjekt (300, 400), wobei das Trainingsobjekt (300, 400) als eine auf die Hap- tik reduzierte Replik einer Waffe (300), einer Rettungswinde (400) oder einer Au- ßenlast eines Hubschraubers ausgebildet ist, und eine Virtual-Reality-Brille
(110) zur Darstellung von virtuellen Bildern (Sl) des Trainingsraums zum Trai¬ ning und zumindest eine an der Virtual-Reality-Brille (110) angeordnete Video- Kamera (111, 112) zur Aufnahme von Video-Bildern (S2) eines Sichtbereichs der Virtual-Reality-Brille (110) umfasst, mit den Schritten:
Bereitstellen (301) von Gestenerkennungsdaten (S3) aus einer Gestener¬ kennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder (S2),
Bereitstellen (302) von Hand-Tracking-Daten (S4) aus einem Hand- Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder (S2), und
Generieren (303) von durch die Virtual-Reality-Brille (110) darzustellenden virtuellen Bildern (Sl) mittels der aufgenommenen Video-Bilder (S2), der bereit¬ gestellten Gestenerkennungsdaten (S3) und der bereitgestellten Hand-Tracking- Daten (S4).
EP17709042.0A 2016-03-08 2017-03-06 Simulator zum training eines teams einer hubschrauberbesatzung Withdrawn EP3394847A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016104186.6A DE102016104186A1 (de) 2016-03-08 2016-03-08 Simulator zum Training eines Teams einer Hubschrauberbesatzung
PCT/EP2017/055121 WO2017153305A1 (de) 2016-03-08 2017-03-06 Simulator zum training eines teams einer hubschrauberbesatzung

Publications (1)

Publication Number Publication Date
EP3394847A1 true EP3394847A1 (de) 2018-10-31

Family

ID=58231608

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17709042.0A Withdrawn EP3394847A1 (de) 2016-03-08 2017-03-06 Simulator zum training eines teams einer hubschrauberbesatzung

Country Status (3)

Country Link
EP (1) EP3394847A1 (de)
DE (1) DE102016104186A1 (de)
WO (1) WO2017153305A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3577641A4 (de) 2017-02-01 2020-10-14 Adga Group Consultants Inc System und verfahren für ein fahrzeugübungsfeld der virtuellen realität
DE102019132277A1 (de) * 2019-11-28 2021-06-02 Krauss-Maffei Wegmann Gmbh & Co. Kg Virtuelles Training mit einem realen Bediengerät
JP7478041B2 (ja) * 2020-06-26 2024-05-02 川崎重工業株式会社 航空機のｖｒ訓練システム、航空機のｖｒ訓練方法及び航空機のｖｒ訓練プログラム
JP7429613B2 (ja) * 2020-06-26 2024-02-08 川崎重工業株式会社 航空機のｖｒ訓練システム、航空機のｖｒ訓練方法及び航空機のｖｒ訓練プログラム
JP2022007791A (ja) * 2020-06-26 2022-01-13 川崎重工業株式会社 航空機のｖｒ訓練システム、航空機のｖｒ訓練方法および航空機のｖｒ訓練プログラム
DE102020129255A1 (de) 2020-11-06 2022-05-12 Meritis AG Trainingsvorrichtung mit einer Waffe
CN115547135A (zh) * 2022-07-25 2022-12-30 北方工业大学 一种基于视觉的航空医学应急救援训练引导装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
WO2005084209A2 (en) * 2004-02-27 2005-09-15 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
KR100721713B1 (ko) * 2005-08-25 2007-05-25 명지대학교 산학협력단 몰입형 활선작업 교육시스템 및 그 방법
EP2678849B1 (de) * 2011-02-22 2017-12-06 Rheinmetall Defence Electronics GmbH Simulator zur ausbildung eines teams, insbesondere zur ausbildung einer hubschrauberbesatzung
KR101389894B1 (ko) * 2012-07-18 2014-04-29 주식회사 도담시스템스 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices

Also Published As

Publication number Publication date
WO2017153305A1 (de) 2017-09-14
DE102016104186A1 (de) 2017-09-14

Similar Documents

Publication Publication Date Title
EP3394847A1 (de) Simulator zum training eines teams einer hubschrauberbesatzung
EP2678849B1 (de) Simulator zur ausbildung eines teams, insbesondere zur ausbildung einer hubschrauberbesatzung
DE102015103735A1 (de) Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts
EP2462577B1 (de) Verfahren zur ausbildung eines besatzungsmitglieds eines insbesondere militärischen fahrzeugs
KR102097180B1 (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
EP2289061B1 (de) Ophthalmoskop-simulator
DE102017116558B4 (de) Verfahren zur Führung von Bewegungsabläufen sowie Trainingsvorrichtung zur Führung von Bewegungsabläufen
EP2929519A2 (de) Verfahren und vorrichtung zum kombinierten simulieren und steuern ferngesteuerter fahrzeuge mit einem benutzerfreundlichen projektionssystem
EP1047014A2 (de) Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
KR102188313B1 (ko) Vr을 이용한 다기종 비행 훈련 시뮬레이터
EP1393286B1 (de) Reality simulations system (rss)
EP3420539B1 (de) Verfahren zum betrieb einer anzeigevorrichtung und system zur anzeige von realen bildinhalten einer realumgebung überlagerten virtuellen bildinhalten
KR101483106B1 (ko) 표시영상화면의 시점변경기능이 구비된 비행시뮬레이터장치 및 그 제어방법
DE102012008813A1 (de) Vorrichtung zum Visualisieren von Militäroperationen
DE102017120779A1 (de) System zur Darstellung einer virtuellen Umgebung für einen Nutzer
DE102015212253A1 (de) Ausrichtungssensorsystem und Ausrichtungssensorikverfahren
DE102020204495A1 (de) Methode und system zur fernbeobachtung mittels virtueller und erweiterter realität bei der medizinischen ausbildung
DE10142916A1 (de) Reality Simulations System (RSS)
DE102018106731A1 (de) Militärisches Gerät und Verfahren zum Betreiben eines militärischen Gerätes
DE102021120629B3 (de) Verfahren und Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars, Computerprogramm zur Durchführung eines solchen Verfahrens
DE102016106993A1 (de) Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und Konfigurieren eines Mikroskops
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet
EP4327987A1 (de) System, verfahren, computerprogramm und computerlesbares medium zur erfassung und ausgabe von eigenschaften
DE10307827A1 (de) System und Verfahren zum Bewegen eines Objekts
RU2626867C1 (ru) Система для организации развлекательных, образовательных и/или рекламных мероприятий

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180726

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20201119

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20220330