-
Die vorliegende Erfindung betrifft einen Simulator für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, sowie ein Verfahren zum Betreiben eines solchen Simulators.
-
Bekannterweise werden zum Training und zur Ausbildung von Nutzern oder Personen in Teams oftmals Simulatoren eingesetzt, bei denen die zu trainierenden Personen in einer virtuellen Welt agieren. Dies kann beispielsweise für Besatzungen von Fluggeräten, Land- und Seefahrzeugen erfolgen. Um die Handhabung eines komplexen Systems zu trainieren, wird eine physikalische Nachbildung einer Fahrzeugkabine, beispielsweise eine Fluggerätekabine, in einer virtuellen Realität auf zum Beispiel einer sphärischen Projektion dargestellt.
-
Die Größe beispielsweise einer Hubschrauber-Kabine und die sich ständig in Bewegung befindenden Augenpunkte der Crew-Mitglieder führen zu der Notwendigkeit, eine große sphärische Projektionsfläche von 100°(+10°/–90°) × 360° zu konstruieren. Der Durchmesser kann dabei 8 Meter betragen und 12 Sicht-Kanäle scheinen notwendig und realistisch zu sein. Zu bedienende Instrumente werden dann als ein dem originalen System entsprechendes MMI (Mensch-Maschinen-lnferface) nachgebildet, beispielsweise eine Waffe inklusive Kraftrückkopplung oder eine Rettungswinde inklusive Seilkräfte.
-
Sollen taktische Operationen trainiert werden, so ist es bekannt, als Display Virtual-Reality-Brillen zu verwenden und die Systeme als vereinfachtes MMI nachzubilden. Sowohl die Kabine als auch das zu bedienende Gerät, beispielsweise eine Waffe, werden dann virtuell nachgebildet und in der Virtual-Reality-Brille dargestellt.
-
Während bei der ersten Lösung vorteilhaft ein reales System physikalisch nachgebildet wird, lässt sich die virtuelle zweite Lösung zu einem attraktiven Preis realisieren. Werden als Virtual-Reality-Brillen Head-Mounted-Displays mit teiltransparenten Displays (See-Through-Technologie) genutzt, so können auch die Systeme und die Crew-Mitglieder gesehen werden. Es würde aber auch der Trainingsraum, d.h. die nachgebildete Kabine, zu sehen sein. Zudem kann es zu visuellen Artefakten durch falsche Überlagerungen der maskierten Fenster bzw. Öffnungen für die Außensicht und den anwesenden Crew-Mitgliedern kommen.
-
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, die Simulation für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, zu verbessern.
-
Demgemäß wird ein Simulator für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trainingsobjekt in einem Trainingsraum vorgeschlagen. Der Simulator umfasst eine Virtual-Reality-Brille zur Darstellung von virtuellen Bildern des Trainings, zumindest eine an der Virtual-Reality-Brille angeordnete Video-Kamera zur Aufnahme von Video-Bildern eines Sichtbereichs der Virtual-Reality-Brille, eine erste Einheit zum Bereitstellen von Gestenerkennungsdaten aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder, eine zweite Einheit zum Bereitstellen von Hand-Tracking-Daten aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder, und einen Bildgenerator zum Generieren von durch die Virtual-Reality-Brille darzustellenden virtuellen Bildern mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten.
-
Der Simulator kann auch als Simulations-System oder als System-Trainer bezeichnet werden. Der Nutzer kann auch als Trainee oder Team-Mitglied bezeichnet werden. Das Trainingsobjekt ist beispielsweise ein auf die Haptik reduziertes Replikat eines zu trainierenden Gerätes, beispielsweise einer Waffe, einer Rettungswinde oder einer Außenlast eines Hubschraubers.
-
Eine virtuelle Szene, gebildet durch die von dem Bildgenerator bereitgestellten virtuellen Bilder, wird in der Virtual-Reality-Brille insbesondere entsprechend der Position und Blickrichtung des Trainees dargestellt. Beispielsweise mittels eines Head-Trackings und Position-Trackings werden die Position und die Blickrichtung des Trainees ermittelt und in die virtuellen Bilder (im Weiteren auch: die virtuelle Darstellung) des Trainingsraums übertragen. So kann sich der Trainee frei in dem Trainingsraum bewegen und die virtuelle Szene wird entsprechend der sich ändernden Perspektive des Trainees in der Virtual-Reality-Brille dargestellt.
-
Mit dem Hand-Tracking werden die Bewegungen und die Positionen der Hände des Trainees erfasst und auf die virtuelle Darstellung, insbesondere den virtuellen Händen eines den Trainee in dem Trainingsraum abbildenden Avatars, übertragen.
-
Mit der Gestenerkennung werden die Gesten oder Aktivitäten des Trainees erkannt und ebenfalls auf die virtuelle Darstellung, insbesondere den virtuellen Händen des Avatars, übertragen. Der Avatar bedient nun in der virtuellen Szene die virtuell dargestellten Trainingsobjekte für die es – wie oben erläutert – vereinfachte haptische physikalische Replikate oder Mock-Ups gibt.
-
Kombiniert mit den physikalischen Nachbildungen der Trainingsobjekte oder Repliken kann dem Trainee die notwendige Haptik vermittelt werden, die den Trainee vollends in die virtuelle Trainingsumgebung eintauchen lässt. Der Trainee bedient das Trainingsobjekt, nämlich die einfache haptische Replik des Geräts, und sieht zugleich die komplexe Darstellung desselben Geräts in der virtuellen Szene durch die Virtual-Reality-Brille. Die optische Täuschung und die haptische Täuschung sind damit optimal aufeinander abgestimmt.
-
Mit anderen Worten sind in der realen Welt des Trainingsraums nur die Haptik der Mock-Ups oder Replikate der Trainingsobjekte nachzubauen, da die Details in der virtuellen Szene, gebildet durch die virtuellen Bilder des Bildgenerators, durch das virtuelle Mock-Up, dargestellt in der Virtual-Reality-Brille, abgebildet sind. Hierdurch können erhebliche Kosten bei der Nachbildung der Trainingsobjekte eingespart werden.
-
Wenn mehrere Team-Mitglieder oder Crew-Mitglieder, beispielsweise Mitglieder einer Hubschrauberbesatzung, die in einer Kabine agieren (Helicopter Rear Cabin Crew – H/C Crew), gemeinsam trainieren, so wird jedem Team-Mitglied eine Virtual-Reality-Brille zugeordnet und ein gemeinsamer Raum ist nicht notwendig. Die Team-Mitglieder können räumlich getrennt voneinander trainieren und sehen sich über ihre Virtual-Reality-Brillen dennoch in demselben virtuellen Trainingsraum. Ein jedes Team-Mitglied wird hierfür insbesondere durch einen Avatar in der virtuellen Szene dargestellt, auf den die Bewegungen des dazugehörigen Team-Mitglieds übertragen werden. So können sie trotz einer möglichen physikalischen räumlichen Trennung miteinander interagieren, wenn auch nicht einander berühren. Insbesondere ist der Trainingsraum selbst korrelierend mit der virtuellen Szene gestaltet, zum Beispiel sind Türen vereinfacht aufgebaut, so dass der Trainee diese beispielsweise öffnen kann oder sich an deren Rahmen anlehnen oder festhalten kann, während er sich bei der Bedienung zum Beispiel der Rettungswinde aus dem Helikopter hinaus lehnt.
-
Wenn, wie oben ausgeführt, die Team-Mitglieder einer Hubschrauberbesatzung mittels des Simulators miteinander trainieren sollen, so sind beispielsweise eine Rettungswinde, ein Außenlastverfahren und eine Waffe im Bereich eines Bordsicherungssoldaten (Doorgunner) nachzubilden. Auszubilden sind dann in dem Simulator wenigstens die sichere Handhabung der Systeme (Waffe und Rettungswinde) und die effektive und sichere Nutzung dieser Systeme im Einsatz. Dabei können die einzelnen Arbeitsbereiche und Trainingsobjekte gemeinsam in dem Simulator untergebracht sein und genutzt werden, es kann jedoch auch physikalisch getrennt voneinander trainiert werden.
-
Der Simulator eignet sich zur Ausbildung wenigstens eines Nutzers oder einer Person, wobei jedoch vorzugsweise mehrere Nutzer oder Team-Mitglieder gleichzeitig im Trainingsraum trainieren können. Daher kann der Simulator wenigstens zwei Virtual-Reality-Brillen umfassen, auf welchen von dem Bildgenerator zeitaktuelle Bilder für jeden Nutzer erzeugbar sind.
-
Unter Sichtbereich wird vorliegend insbesondere der Bereich verstanden, den der Nutzer beim Blicken durch die Virtual Reality-Brille sehen kann.
-
Unter einem Avatar wird insbesondere eine künstliche oder virtuelle Nachbildung des Nutzers, beispielsweise eine Grafikfigur, verstanden, die dem Nutzer in der virtuellen Szene zugeordnet ist.
-
Gemäß einer Ausführungsform ist die Virtual-Reality-Brille zur Darstellung von reinen virtuellen Bildern mittels eines den Nutzer in dem Trainingsraum abbildenden Avatars eingerichtet. Hierdurch umfasst die virtuelle Szene ausschließlich virtuelle Bilder.
-
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der bereitgestellten Hand-Tracking-Daten derart zu generieren, dass sie eine Position und/oder eine Bewegung zumindest einer virtuellen Hand des Avatars umfassen.
-
Damit wird eine Bewegung der Hand des Nutzers auf eine korrespondierende Bewegung der virtuellen Hand des Avatars übertragen. Hierdurch hat die Bewegung der Hand des Nutzers eine unmittelbare Kopplung und Auswirkung auf die Bewegung der virtuellen Hand des Avatars.
-
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der bereitgestellten Gestenerkennungsdaten derart zu generieren, dass sie zumindest eine virtuelle Geste des Avatars umfassen.
-
Hierdurch werden die Gesten des Nutzers unmittelbar auf virtuelle Gesten des Avatars übertragen.
-
Gemäß einer weiteren Ausführungsform umfasst der Simulator eine dritte Einheit zum Bereitstellen von Finger-Tracking-Daten aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nutzers mittels der aufgenommenen Video-Bilder. Dabei ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten, der bereitgestellten Hand-Tracking-Daten und der bereitgestellten Finger-Tracking-Daten zu generieren.
-
Gemäß einer weiteren Ausführungsform ist die Virtual-Reality-Brille als ein Head-Mounted-Display mit integrierter Video-See-Through-Funktion ausgebildet.
-
Gemäß einer weiteren Ausführungsform sind zwei an der Virtual-Reality-Brille angeordnete Video-Kameras zur stereoskopen Aufnahme von Video-Bildern des Sichtbereichs der Virtual-Reality-Brille vorgesehen.
-
Gemäß einer weiteren Ausführungsform umfasst die Virtual-Reality-Brille zwei Displays zur stereoskopen Darstellung der virtuellen Bilder.
-
Hiermit wird vorteilhafterweise dem Nutzer ein Eindruck von räumlicher Tiefe vermittelt.
-
Gemäß einer weiteren Ausführungsform umfasst der Bildgenerator zwei Bildgenerator-Einheiten zum Generieren von zwei Bilddaten-Strömen mittels der von den zwei Video-Kameras aufgenommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten und eine Video-Verarbeitungseinheit zum Verarbeiten der zwei generierten Bilddaten-Ströme zu den durch die beiden Displays darzustellenden virtuellen Bilder.
-
Die Video-Verarbeitungseinheit ist insbesondere zur zeitgleichen Mischung der Aufnahmen der Video-Kameras mit gerechneten virtuellen Bildern in der jeweiligen Blickrichtung des Nutzers eingerichtet. Die Video-Verarbeitungseinheit ermöglicht es somit vorzugsweise, die Aufnahmen der Video-Kameras zeitgleich mit einem errechneten virtuellen Szenario zu mischen und einem jeden Nutzer seine individuelle Sicht auf das Szenario des Trainingsraums zu geben. Dabei ermöglichen die zwei Bildgenerator-Einheiten eine differierende Darstellung für jedes Auge des Nutzers.
-
Beispielsweise erhält bei einem Training eines Teams jedes trainierende Team-Mitglied ein Head-Mounted-Display als Virtual-Reality-Brille, welches jeweils mit zwei Video-Kameras für stereoskope Aufnahmen und einem Head-Tracker versehen ist, der die Feststellung der Blickrichtung des betreffenden Team-Mitglieds ermöglicht. Die zwei Bildgenerator-Einheiten des Bildgenerators erzeugen dann für jedes Display eine stereoskope Darstellung des Szenarios aus dem individuellen Blickwinkel des Team-Mitglieds.
-
Gemäß einer weiteren Ausführungsform umfasst der Simulator einen Head-Tracking-Sensor zum Bereitstellen von Head-Tracking-Daten zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers.
-
Gemäß einer weiteren Ausführungsform ist der Head-Tracking-Sensor an der Virtual-Reality-Brille angeordnet.
-
Gemäß einer weiteren Ausführungsform ist der Head-Tracking-Sensor extern zu der Virtual-Reality-Brille vorgesehen.
-
Gemäß einer weiteren Ausführungsform ist der Bildgenerator dazu eingerichtet, die darzustellenden virtuellen Bilder mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten, der bereitgestellten Hand-Tracking-Daten und der bereitgestellten Head-Tracking-Daten zu generieren.
-
Gemäß einer weiteren Ausführungsform ist der Trainingsraum beweglich im Raum ausgeführt. Dadurch, dass der Trainingsraum beweglich im Raum ausgeführt ist, ist es vorteilhafterweise möglich, dass Manöver, beispielsweise des Hubschraubers, mit einem Bewegungssystem auf den Trainingsraum übertragen zu können. Die Vibrationen können ebenfalls auf den Boden des Trainingsraums und damit auf die trainierende Besatzung übertragen werden. Beispielsweise kann es vorteilhaft sein, den Boden von den Seitenwänden des Trainingsraums zu entkoppeln.
-
Gemäß einer weiteren Ausführungsform ist das Trainingsobjekt als eine auf die Haptik reduzierte Replik (Mock-Up) des zu trainierenden Geräts, beispielsweise einer Waffe, einer Rettungswinde oder einer Außenlast eines Hubschraubers, ausgebildet.
-
Beispielsweise bei einer Rettungswinde kann das Seil dieser Rettungswinde an eine Bewegungsplatte angekoppelt sein, welche innerhalb einer Ebene in zwei Richtungen bewegbar ist, wobei die Bewegungsplatte durch die Rechenvorrichtung oder Host ansteuerbar ist. So lässt sich die Pendelbewegung einer Last an dem Seil spürbar simulieren.
-
Des Weiteren kann die Bewegungsplatte beispielsweise mit einem Sensor ausgestattet sein, mit welchem die Kraftübertragung eines Trainees auf das Seil der Rettungswinde erfassbar und an der Rechenvorrichtung oder Host übertragbar ist. Kraftübertragungen des Trainees können so von der Simulation berücksichtigt werden, wodurch es dem Trainee möglich ist, die Pendelbewegung der Rettungswinde durch eigene Kraft zu beeinflussen.
-
Beispielsweise kann das Seil der Rettungswinde zwischen zwei Spulen verlaufen, auf welche das Seil aufrollbar und abrollbar ist. Diese Spulen können sich beispielsweise außerhalb des Trainingsraums befinden und dienen dazu, das Abund Aufspulen des Seils an den Handflächen des Trainees spürbar zu machen.
-
Gemäß einer weiteren Ausführungsform umfasst die Virtual-Reality-Brille, eine Not-Aus-Einrichtung. Bei Betätigung der Not-Aus-Einrichtung werden die aufgenommenen Videobilder auf die Virtual-Reality-Brille durchgeschaltet. Die Darstellung der virtuellen Bilder wird unterbrochen bzw. beendet. Dies ist insbesondere dann vorteilhaft, wenn dem Nutzer oder Trainee während des Trainings übel wird, da dann der Nutzer durch Drücken der Not-Aus-Einrichtung in den physikalischen Trainingsraum zurückkehren kann. Die Not-Aus-Einrichtung ist beispielsweise als ein an der Virtual-Reality-Brille angeordneter Taster oder Knopf ausgebildet.
-
Gemäß einer weiteren Ausführungsform umfasst der Simulator eine haptische Feedback-Einrichtung für den Nutzer, welche dazu eingerichtet ist, ein haptisches Feedback von den Trainingsobjekten oder Mock-Ups zurück an den Nutzer zu geben.
-
Die jeweilige Einheit, zum Beispiel die erste Einheit oder die zweite Einheit, kann hardwaretechnisch und/oder auch softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit als Vorrichtung oder als Teil einer Vorrichtung, zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
-
Ferner wird ein Verfahren zum Betreiben eines Simulators für ein Training zumindest eines Nutzers, insbesondere eines Teams einer Hubschrauberbesatzung, an zumindest einem Trainingsobjekt in einem Trainingsraum vorgeschlagen, wobei der Simulator eine Virtual-Reality-Brille zur Darstellung von virtuellen Bildern des Trainings und zumindest eine an der Virtual-Reality-Brille angeordnete Video-Kamera zur Aufnahme von Video-Bildern eines Sichtbereichs der Virtual-Reality-Brille umfasst, mit den Schritten:
Bereitstellen von Gestenerkennungsdaten aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder,
Bereitstellen von Hand-Tracking-Daten aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder, und
Generieren von durch die Virtual-Reality-Brille darzustellenden virtuellen Bildern mittels der aufgenommenen Video-Bilder, der bereitgestellten Gestenerkennungsdaten und der bereitgestellten Hand-Tracking-Daten.
-
Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches auf einer programmgesteuerten Einrichtung die Durchführung des wie oben erläuterten Verfahrens veranlasst.
-
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
-
Die für die vorgeschlagene Vorrichtung beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend.
-
Für das Beispiel eines Trainings eines Teams einer Hubschrauber-Kabine kann eine Umsetzung des Simulators in Ausführungsformen das Folgende umfassen:
-
H/C-Kabine:
-
Für die H/C-Kabine (H/C; Helicopter Rear Cabin Crew) bedarf es vorteilhafterweise keinem exakten physikalischen Nachbau der zu simulierenden Hubschrauber-Variante. Es sind lediglich Teile nachzubauen, die ein mögliches Hindernis im Aktionsraum der Team-Mitglieder oder des Trainees darstellen können. Ein möglicher Trainingsraum hierzu umfasst beispielsweise einfache Rahmen für die Türausschnitte der H/C-Kabine, ein einfaches haptisches Mock-Up für das Maschinengewehr (Doorgunner) und ein Modell einer Rettungswinde (Winchman).
-
Visuelles System:
-
Das visuelle System besteht insbesondere aus dem Bildgenerator, der Virtual-Reality-Brille und der Analyse-Vorrichtung. Insbesondere ist der Bildgenerator unabhängig von dem zugrundeliegenden Konzept. Als Virtual Reality-Brille kann ein Head-Mounted-Display mit Video-See-Through-Funktion in Kombination mit Hand-Tracking und Gestenerkennung eingesetzt werden.
-
Die Kameras des Head-Mounted-Displays liefern ein Video mit den Händen des Trägers, sobald diese ins Sichtfeld bewegt werden. Diese Bewegungen der Hände, wie auch deren Gesten, werden mittels der Analyse-Vorrichtung analysiert, interpretiert und an den Bildgenerator für eine korrelierende visuelle Darstellung übergeben. Der Bildgenerator seinerseits animiert einen den Trainee abbildenden Avatar und lässt diesen die virtuellen Systeme des Trainingsraums bedienen.
-
Die Kameras des Head-Mounted-Displays können zudem für das Head-Tracking genutzt werden. Alternativ oder zusätzlich kann ein separates Head-Tracking-System oder ein separater Head-Tracking-Sensor zur Ermittlung der Position und Blickrichtung des Trainees eingesetzt werden.
-
Motion:
-
Die Manöver des H/C werden mit einem 6-DoF-Bewegungssystem auf die gesamte Kabine übertragen. Diese Übertragung ist optional.
-
Vibrationen:
-
Vibrationen am H/C werden vorzugsweise auf den Boden der Kabine und somit auf die Besatzung übertragen. Vibrationen können ergänzend auf die nachgebildeten Teile, die ein mögliches Hindernis im Aktionsraum der Team-Mitglieder oder des Trainees darstellen können, übertragen werden. Auch die Übertragung der Vibrationen ist optional.
-
Arbeitsplätze:
-
Beispielsweise werden die folgenden Arbeitsplätze nachgebildet: Rettungswinde (Winchman), Außenlastverfahren, Bordsicherungssoldat (Doorgunner).
-
Doorgunner:
-
Vorzugsweise werden folgende Funktionen und Eigenschaften simuliert: Bedienung (vereinfacht), Ballistik, Kadenz, Rückstoß und Gewicht. Als Trainingsobjekt wird hierzu ein vereinfachtes haptisches Mock-Up der Waffe des Maschinengewehrschützen verwendet.
-
Die virtuelle Darstellung der Waffe ist vorzugsweise ein fotorealistisches 3D-Modell. Dieses 3D-Modell wird dem Mock-Up überlagert und ergänzt dieses zum Beispiel mit einem realistischen Lauf und dem Visier. Eine Visierung mittels eines roten Laserpunkts kann ebenfalls innerhalb der simulierten virtuellen Szene umgesetzt werden. Dies geschieht innerhalb des Bildgenerators, indem die Waffenausrichtung mit einer gedachten Linie verlängert wird, ein gemeinsamer Schnittpunkt mit dem Gelände ermittelt wird und dort ein Lichtpunkt dargestellt wird.
-
Für die Simulation des Rückstoßes verfügt das Mock-Up vorzugsweise über ein Recoil-System. Das Gewicht und deren Verteilung der Waffe werden insbesondere durch ein optionales Control-Load-System nachgebildet. Mit diesem Control-Load-System können ebenfalls auf den Lauf der Waffe wirkende Windkräfte und sich verlagernde Gewichte innerhalb der Magazine simuliert werden.
-
Rettungswinde:
-
Folgende Funktionen können vorzugsweise simuliert werden: Bedienung, Pendelbewegung, Ab-/Aufrollen.
-
Die Pendelbewegung der Last wird an dem Seil der Rettungswinde beispielsweise mittels einer X-Y-Bewegungsplatte spürbar für den Trainee simuliert. Während sich das obere Ende des Seils an einem festen Punkt befindet, lässt sich das untere Ende des Seils bewegen. Die Pendelbewegung einer simulierten Last wird dabei in eine relative X-Y-Koordinate umgerechnet und auf die mit Stellmotoren versehene X-Y-Platte an das Seilende übertragen.
-
Sensoren erfassen vorzugsweise die Kraftübertragung des Trainees auf das Seil, welche ihrerseits an den Simulator übertragen wird. Damit wird es dem Trainee möglich, die Pendelbewegung beeinflussen zu können.
-
Das Ab- und Aufrollen des Seils kann der Trainee vorzugsweise ebenfalls an der Handfläche spüren. Hierfür wird das Seil, wie bei einer echten Winde, von einer Spule abgerollt und an einem unteren Ende auf einer zweiten Spule zeitgleich aufgerollt. Hiermit lässt sich auch die Seilspannung simulieren, welche sich beim Aufsetzen der Last auf den Boden verändert.
-
Auch wird vorzugsweise durch ein asymmetrisches Auf- und Abspulen des Seils, in Momenten, wenn der Trainee an dem Seil zieht, das Einholen des Seils simuliert. Insbesondere wird die Winde über die Rescue-Hoist-Remote-Control-Unit gesteuert.
-
In der virtuellen Szene wird hierzu vorzugsweise ein korrelierendes 3D-Modell für das Seil verwendet und dargestellt. Das Pendeln dieses Modells wird durch ein eigenes mathematisches Modell auf der Rechenvorrichtung oder Host berechnet. Diese simulierten Bewegungen werden an den Bildgenerator weitergegeben und steuern die virtuelle Darstellung, welche dem der haptischen Wahrnehmung dienenden physikalischen Seil visuell überlagert ist.
-
Außenlast:
-
Die Trainingsumgebung für das Außenlastverfahren ist insbesondere Bestandteil der Ausrüstung des Doorgunner beziehungsweise des Winchman.
-
Ein mit dem Head-Mounted-Display ausgestatteter Maschinengewehrschütze, Bordmechaniker oder Bordwart kann während des Außenlastverfahrens sowohl durch eine simulierte Bodenluke als auch durch die dargestellten Fenster und Türen der H/C-Kabine die Außenlast beobachten. Er steht dabei in Verbindung mit dem Ausbilder, beispielsweise dem Piloten, und kann gegebenenfalls Informationen oder Kommandos an ihn geben.
-
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
-
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
-
1 zeigt ein schematisches Blockschaltbild eines ersten Ausführungsbeispiels eines Simulators für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt in einem Trainingsraum;
-
2 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbeispiels eines Simulators für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt in einem Trainingsraum; und
-
3 zeigt ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben eines Simulators.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
-
In 1 ist ein schematisches Blockschaltbild eines ersten Ausführungsbeispiels eines Simulators 10 für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt 300, 400 in einem Trainingsraum dargestellt.
-
Der Simulator 10 kann auch als System-Trainer oder Simulationssystem bezeichnet werden. Der Simulator 10 umfasst eine Virtual-Reality-Anordnung 100 und eine als Host ausgebildete Rechenvorrichtung 200, welche die Virtual-Reality-Anordnung 100 mit den Trainingsobjekten 300, 400 koppelt. Die Trainingsobjekte 300, 400 sind in dem Beispiel der 1 als eine Waffe 300 und als eine Rettungswinde 400 ausgebildet. Die Waffe 300 und die Rettungswinde 400 sind insbesondere ein Modell des Originals oder eine auf wesentliche haptische Elemente des Originals reduzierte Attrappe (Mock-Up). Die Waffe 300 weist insbesondere eine Waffen-Simulationseinheit 301 und die Rettungswinde 400 weist eine Winden-Simulationseinheit 401 auf, welche über die Rechenvorrichtung 200 mit der Virtual-Reality-Anordnung 100 gekoppelt sind.
-
Die Virtual-Reality-Anordnung 100 umfasst eine Virtual-Reality-Brille 110, eine Analyse-Vorrichtung 120 und einen Bildgenerator 130. Die Virtual-Reality-Brille 110 umfasst eine Video-Kamera 111, insbesondere ausrichtbar auf das linke Auge des Nutzers, und eine Video-Kamera 112, insbesondere ausrichtbar auf das rechte Auge des Nutzers. Aus diesem Grund kann die Video-Kamera 111 auch als L-Video-Kamera (L; linkes Auge) und die Video-Kamera 112 als R-Video-Kamera (R; rechtes Auge) bezeichnet werden. Des Weiteren umfasst die Virtual-Reality-Brille 110 ein Display 113, insbesondere ausrichtbar auf das linke Auge des Nutzers, und ein Display 114, insbesondere ausrichtbar auf das rechte Auge des Nutzers. Aus diesem Grund kann das Display 113 auch als L-Display und das Display 114 auch als R-Display bezeichnet werden.
-
Die Analyse-Vorrichtung 120 umfasst eine erste Einheit 121 und eine zweite Einheit 122. Die erste Einheit 121 und die zweite Einheit 122 sind insbesondere als Teil, insbesondere als Software-Teil und/oder als Hardware-Teil, der Analyse-Vorrichtung 120 ausgebildet. Der Bildgenerator 130 umfasst vorzugsweise eine Bildgenerator-Einheit 131, insbesondere ausrichtbar auf das linke Auge des Nutzers, eine Bildgenerator-Einheit 132, insbesondere ausrichtbar auf das rechte Auge des Nutzers, und eine Video-Verarbeitungseinheit 133, welche sowohl mit der Bildgenerator-Einheit 131 als auch mit der Bildgenerator-Einheit 132 gekoppelt ist.
-
Die Virtual-Reality-Brille 110 ist zur Darstellung von virtuellen Bildern S1 des Trainingsraums eingerichtet. Vorzugsweise ist die Virtual-Reality-Brille 110 zur Darstellung von reinen virtuellen Bildern S1 mittels eines den Nutzer in dem Trainingsraum abbildenden Avatars eingerichtet.
-
Die an der Virtual-Reality-Brille 110 angeordneten Video-Kameras 111, 112 sind zur Aufnahme von Video-Bildern S2 eines Sichtbereichs der Virtual-Reality-Brille 110 eingerichtet.
-
Die erste Einheit 121 der Analyse-Vorrichtung 120 ist dazu eingerichtet, Gestenerkennungsdaten S3 aus einer Gestenerkennung von Gesten des Nutzers mittels der aufgenommenen Video-Bilder S2 bereitzustellen.
-
Die zweite Einheit 122 der Analyse-Vorrichtung 120 ist dazu eingerichtet, Hand-Tracking-Daten S4 aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder S2 bereitzustellen.
-
Der Bildgenerator 130 ist dazu eingerichtet, die durch die Virtual-Reality-Brille 110 darzustellenden virtuellen Bilder S1 mittels der aufgenommenen Video-Bilder S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking-Daten S4 zu generieren. Funktionalitäten des Bildgenerators 130 können zusätzlich oder alternativ auch von der Rechenvorrichtung 200 (Host) ausgeführt werden.
-
Dabei ist der Bildgenerator 130 insbesondere dazu eingerichtet, die darzustellenden virtuellen Bilder S1 mittels der bereitgestellten Hand-Tracking-Daten S4 derart zu generieren, dass diese eine Position und/oder eine Bewegung zumindest einer virtuellen Hand des Avatars umfassen.
-
Ferner ist der Bildgenerator 130 insbesondere dazu eingerichtet, die darzustellenden virtuellen Bilder S1 mittels der bereitgestellten Gestenerkennungsdaten S3 derart zu generieren, dass diese zumindest eine virtuelle Geste des Avatars umfassen.
-
Beispielsweise ist die Virtual-Reality-Brille 110 als ein Head-Mounted-Display mit integrierter Video-See-Through-Funktion ausgebildet.
-
Vorzugsweise sind die beiden an der Virtual-Reality-Brille 110 angeordneten Video-Kameras 111, 112 zur stereoskopen Aufnahme von Video-Bildern S2 des Sichtbereichs der Virtual-Reality-Brille 110 eingerichtet. Insbesondere sind die Video-Kameras 111, 112 in der Virtual-Reality-Brille 110 integriert. Des Weiteren sind vorzugsweise auch die beiden Displays 113, 114 der Virtual-Reality-Brille 110 zur stereoskopen Darstellung der virtuellen Bilder S1 eingerichtet.
-
Die beiden Bildgenerator-Einheiten 131, 132 sind zum Generieren von zwei Bilddaten-Strömen S6 und S7, mittels der von den zwei Video-Kameras 111, 112 aufgenommenen Video-Bildern S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking-Daten S4 eingerichtet. Dabei ist die Video-Verarbeitungseinheit 133 des Bildgenerators 130 dazu eingerichtet, die zwei generierten Bilddaten-Ströme S6, S7 zu den durch die beiden Displays 113, 114 darzustellenden virtuellen Bildern S1 zu verarbeiten. Die darzustellenden virtuellen Bilder S1 stellen insbesondere eine virtuelle Szene in dem Trainingsraum dar, in welcher der Nutzer mit dem Trainingsobjekt, beispielsweise der Replik der Waffe 300 oder der Rettungswinde 400, trainiert.
-
2 zeigt ein schematisches Blockschaltbild eines zweiten Ausführungsbeispiels eines Simulators 10 für ein Training zumindest eines Nutzers an zumindest einem Trainingsobjekt 300, 400 in einem Trainingsraum.
-
Das zweite Ausführungsbeispiel der 2 umfasst alle Merkmale des ersten Ausführungsbeispiels der 1. Darüber hinaus zeigt die 2, dass die Analyse-Vorrichtung 120 eine dritte Einheit 123 und eine vierte Einheit 124 umfassen kann. Die dritte Einheit 123 ist dazu eingerichtet, Finger-Tracking-Daten S5 aus einem Finger-Tracking von Fingerbewegungen zumindest eines Fingers des Nutzers mittels der aufgenommenen Video-Bilder S2 bereitzustellen. Dabei kann der Bildgenerator 130 dazu eingerichtet sein, die bereitgestellten Finger-Tracking-Daten S5 auch zur Generierung der darzustellenden virtuellen Bilder S1 zu nutzen.
-
Die vierte Einheit 124 ist eingerichtet, Analyse-Daten S10 zur Positionsermittlung und/oder Lageerfassung im Raum bereitzustellen. Dabei kann der Bildgenerator 130 und/oder die Rechenvorrichtung 200 dazu eingerichtet sein, die bereitgestellten Analyse-Daten S10 zur Generierung der darzustellenden virtuellen Bilder S1 zu nutzen.
-
Des Weiteren zeigt die 2, dass die Virtual-Reality-Anordnung 100 einen Head-Tracking-Sensor 115, der in der Virtual-Reality-Brille 110 integriert ist, und einen zu der Virtual-Reality-Brille 110 externen Head-Tracking-Sensor 140 umfasst. Insbesondere können beide oder nur einer der Head-Tracking-Sensoren 115, 140 vorgesehen sein. Der jeweilige Head-Tracking-Sensor 115, 140 ist dazu eingerichtet, Head-Tracking-Daten S8 zur Ermittlung einer Position des Nutzers und einer Blickrichtung des Nutzers bereitzustellen.
-
Ferner zeigt die 2, dass die Virtual-Reality-Anordnung 100 auch eine Verarbeitungseinheit 150 für die Head-Tracking-Sensoren 115, 140 umfassen kann. Die Verarbeitungseinheit 150 generiert insbesondere Daten S9 zur Position und/oder Blickrichtung aus den bereitgestellten Head-Tracking-Daten S8. Die Daten S9 zur Position und/oder Blickrichtung können von der Rechenvorrichtung 200 oder dem Bildgenerator 130 zur Erstellung der virtuellen Bilder S1 verwendet werden.
-
In 3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Betreiben eines Simulators 10 dargestellt. Der Simulator 10 umfasst insbesondere eine Virtual-Reality-Brille 110 zur Darstellung von virtuellen Bildern S1 des Trainingsraums und zumindest eine an der Virtual-Reality-Brille 110 angeordnete Video-Kamera 111, 112 zur Aufnahme von Video-Bildern S2 eines Sichtbereichs der Virtual-Reality-Brille 110. Beispiele für den Simulator 10 sind in den 1 und 2 dargestellt.
-
Das Verfahren der 3 umfasst die folgenden Verfahrensschritte 301, 302 und 303:
In Schritt 301 werden Gestenerkennungsdaten S3 aus einer Gestenerkennung von Gesten des Nutzers mittels der durch die Video-Kamera 111, 112 aufgenommenen Video-Bilder S2 bereitgestellt.
-
In Schritt 302 werden Hand-Tracking-Daten S4 aus einem Hand-Tracking von Handbewegungen zumindest einer Hand des Nutzers mittels der aufgenommen Video-Bilder S2 bereitgestellt.
-
In Schritt 303 werden die durch die Virtual-Reality-Brille 110 darzustellenden virtuellen Bilder S1 mittels der aufgenommenen Video-Bilder S2, der bereitgestellten Gestenerkennungsdaten S3 und der bereitgestellten Hand-Tracking-Daten S4 generiert.
-
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
-
Bezugszeichenliste
-
- 10
- Simulator
- 100
- Virtual-Reality-Anordnung
- 110
- Virtual-Reality-Brille
- 111
- Video-Kamera
- 112
- Video-Kamera
- 113
- Display
- 114
- Display
- 115
- Head-Tracking-Sensor
- 120
- Analyse-Vorrichtung
- 121
- erste Einheit
- 122
- zweite Einheit
- 123
- dritte Einheit
- 124
- vierte Einheit
- 130
- Bildgenerator
- 131
- Bildgenerator-Einheit
- 132
- Bildgenerator-Einheit
- 133
- Video-Verarbeitungseinheit
- 140
- Head-Tracking-Sensor
- 150
- Verarbeitungseinheit
- 200
- Rechenvorrichtung
- 300
- Waffe
- 301
- Waffen-Simulationseinheit
- 400
- Rettungswinde
- 401
- Winden-Simulationseinheit
- S1
- virtuelle Bilder
- S2
- Video-Bilder
- S3
- Gestenerkennungsdaten
- S4
- Hand-Tracking-Daten
- S5
- Finger-Tracking-Daten
- S6
- Bilddaten-Strom
- S7
- Bilddaten-Strom
- S8
- Head-Tracking-Daten
- S9
- Daten zur Position und/oder Blickrichtung
- S10
- Analyse-Daten
- 301
- Verfahrensschritt
- 302
- Verfahrensschritt
- 303
- Verfahrensschritt
