DE102019132277A1

DE102019132277A1 - Virtuelles Training mit einem realen Bediengerät

Info

Publication number: DE102019132277A1
Application number: DE102019132277.4A
Authority: DE
Inventors: Manuel Pabst; Michael Haubner
Original assignee: Krauss Maffei Wegmann GmbH and Co KG
Current assignee: KNDS DEUTSCHLAND GMBH & CO. KG, DE
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2021-06-02

Abstract

Verfahren zum Training eines Besatzungsmitglieds (100) eines, insbesondere militärischen, Fahrzeugs in einem realen Trainingsraum (200), wobei eine rein virtuelle Umgebung (2) erzeugt wird, welche mindestens ein virtuelles Bediengerät (3) enthält, wobei das Besatzungsmitglied (100) eine kopffeste, im Sichtfeld des Besatzungsmitglieds (100) angeordnete Anzeigevorrichtung (4) trägt und wobei dem Besatzungsmitglied (100) die rein virtuelle Umgebung (2) auf der Anzeigevorrichtung (4) dargestellt wird, und wobei die Hände (101) des Besatzungsmitglieds (100) positions- und lagerichtig in der virtuellen Umgebung (2) dargestellt werden, wobei ein dem virtuellen Bediengerät (3) zugeordnetes reales Bediengerät (5) im Trainingsraum (200) ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts (3) gibt.

Description

Die vorliegende Erfindung befasst sich mit einem Verfahren zum Training eines Besatzungsmitglieds eines, insbesondere militärischen, Fahrzeugs in einem realen Trainingsraum, wobei eine rein virtuelle Umgebung erzeugt wird, welche mindestens ein virtuelles Bediengerät enthält, das Besatzungsmitglied eine kopffeste, im Sichtfeld des Besatzungsmitglieds angeordnete Anzeigevorrichtung trägt und dem Besatzungsmitglied die rein virtuelle Umgebung auf der Anzeigevorrichtung dargestellt wird, sowie einem Trainingssystem zur Durchführung eines solchen Verfahrens.
Das Training von Besatzungsmitgliedern eines insbesondere militärischen Fahrzeugs, kann zur initialen Erstausbildung oder zur Auffrischung und weiteren Einprägung bereits ausgebildeter Abläufe bei der Bedienung des Fahrzeugs dienen. Sie erfolgt zumeist in dem jeweiligen Fahrzeug selbst. Hierzu werden entweder aufwendige und kostspielige Übungsfahrten, Manöver oder die tatsächlichen Einsatzbedingungen nur entfernt wiedergebende und daher weniger effektive Trockenübungen durchgeführt.
Eine Alternative hierzu bildet der Einsatz von Simulator-Kabinen, welche einen einzelnen Fahrzeugtyp ganz oder teilweise real nachbilden und mit denen einzelne Trainingsszenarien realitätsgetreuer, d. h. nahe an dem realen Einsatz im realen Fahrzeug, durgeführt werden können. Derartige Simulator-Kabinen sind jedoch sehr kostspielig, aufwendig in der Produktion und benötigen viel Platz. Zudem kann es erforderlich sein, dass für jede Besatzungsposition im realen Fahrzeug, wie Kommandant, Fahrer oder Richtschütze, eine eigene Simulator-Kabinen angeschafft werden muss.
In den letzten Jahren halten daher vermehrt Trainingskonzepte unter Einsatz virtueller Realitäten (VR, Virtual Reality) Einzug. Bei diesen Trainingskonzepten findet das Training des Besatzungsmitglieds in einem, verglichen mit dem Inneren einer Simulator-Kabine, einfach strukturierten realen Trainingsraum statt. Diese Trainingskonzepte lassen sich beispielsweise auch in einfachen Büro- oder Kasernenräumen umsetzen. Hierbei trägt das Besatzungsmitglied eine kopffeste, im Sichtfeld des Besatzungsmitglieds angeordnete Anzeigevorrichtung, wie beispielsweise eine kommerziell erhältliche VR-Brille. Eine rein virtuelle Umgebung, welche das Fahrzeug und die Fahrzeugumgebung nachbildet, wird auf dieser Anzeigevorrichtung dargestellt.
Anders als Umgebungen einer erweiterten Realität (AR, Augmented Reality), wie sie beispielsweise aus der DE 10 2010 016 113 A1 bekannt sind, in welcher eine Aufnahme des realen Fahrzeuginneren teilweise mit künstlichen Bildinformationen überdeckt wird, enthalten die reinen virtuellen Umgebungen keine Bildinformationen, welche durch eine mit der Anzeigevorrichtung verbundenen see-through-Kamera von der realen Umgebung im Trainingsraum aufgenommen wurden (Video-see-through). Die rein virtuellen Umgebungen liefern hierbei einen konsistenteren und realistischeren Gesamteindruck. So weist die virtuelle Umgebung keine Unterschiede in der graphischen Qualität auf, wie dies zwischen virtuellen und mit der see-through-Kamera aufgenommenen Teilen der Umgebung einer erweiterten Realität der Fall wäre. Auch könnte es in einer erweiterten Realität nicht zu einer Verdeckung realer Objekte im Trainingsraum durch Teile der erweiterten Umgebung kommen, was sich insoweit nicht mit der Realität deckt. Die in einer erweiterten Umgebung dargestellte und mit der see-through-Kamera aufgenommene Hand des Besatzungsmitglieds könnte beispielsweise nicht hinter ein virtuelles Bediengerät greifend dargestellt werden. Durch den Einsatz einer rein virtuellen Umgebung wird zudem eine Übelkeit bei dem Besatzungsmitglied vermieden, welche sich aufgrund des verschobenen Augpunkts, d. h. der nicht mit der Position der Augen des Besatzungsmitglieds übereinstimmenden Position der see-through-Kamera, insbesondere bei Kopfbewegungen einstellt.
Mit dieser rein virtuellen Umgebung kann das Besatzungsmitglied mittels eines Interaktionsgeräts, wie einer Maus, einer Tastatur, eines Gamepads oder eines VR-Controllers, interagieren und sich bewegen. Mit diesen Interaktionsgeräten kann das Besatzungsmitglied ein in der virtuellen Umgebung befindliches virtuelles Bediengerät bedienen. Das virtuelle Bediengerät ist hierbei eine virtuelle Nachbildung eines Fahrzeug-Bediengeräts, wie es in dem realen Fahrzeug vorhanden ist. Solche Bediengeräte können ein oder mehrere Bedienelemente, wie Schalter, Tasten, Drehregler, Wählhebel, Pedale, Lenkräder umfassen, welche getrennt voneinander bedienbar sind. Die rein virtuelle Umgebung kann einfach an den Ablauf eines Trainingsszenarios angepasst werden. Zudem lassen sich mit einem derartigen System Trainings für verschiedene Fahrzeugtypen durchführen, ohne dass je Fahrzeugtyp ein gesondertes System angeschafft werden muss, wie dies bei Simulator-Kabinen der Fall ist.
Nachteilig an den bisherigen Trainingskonzepten unter Einsatz virtueller Realitäten ist es, dass mit den Interaktionsgeräten Bewegungsabläufe eintrainiert werden, welche von den für die Bedienung des realen Fahrzeugs und dessen Fahrzeug-Bediengeräten erforderlichen Bewegungsabläufen abweichen. So werden bei derartigen Trainingskonzepten beispielsweise KippSchalter des virtuellen Bediengeräts durch Anvisieren mit dem VR-Controller und Betätigen einer entsprechenden Taste auf dem VR-Controller betätigt, während die Fahrzeug-Bediengeräte des realen Fahrzeugs ein Anheben oder Herunterdrücken des entsprechenden Kipp-Schalters mit einem Finger erfordern. Dies führt zu einem Bruch der Übertragbarkeit des Trainings auf den realen Einsatz.
Die Aufgabe der vorliegenden Erfindung liegt daher darin, die Übertragbarkeit des Trainings in virtuellen Umgebungen auf den realen Einsatz zu verbessern.
Diese Aufgabe wird bei einer Vorrichtung der eingangs genannten Art dadurch g e ί ö s t, dass die Hände des Besatzungsmitglieds positions- und lagerichtig in der virtuellen Umgebung dargestellt werden, wobei ein dem virtuellen Bediengerät zugeordnetes reales Bediengerät im Trainingsraum ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts gibt.
Durch die positions- und lagerichtige Darstellung der Hände in der virtuellen Umgebung und das haptische Feedback durch das dem virtuellen Bediengerät zugeordnete reale Bediengerät kann das Besatzungsmitglied mit dem virtuellen Bediengerät realitätsgetreu, d. h. nahe an dem realen Einsatz im realen Fahrzeug, unter Einsatz seiner Hände trainiert werden. Das haptische Feedback des realen Bediengeräts kann neben einem aktiven Feedback, wie ein Vibrieren oder ein vom Bediengerät ausgeübter Druck, auch ein passives Feedback, wie eine erfühlbare Oberfläche oder Struktur, welche vom Benutzer mittels seines Tastsinns wahrgenommen werden kann, oder eine Kombination aus aktiven und passiven Feedbacks sein. Auf die Nutzung von Interaktionsgeräten, wie Mäusen, Tastaturen, Gamepads oder VR-Controllern, kann während des Trainings verzichtet werden. Das reale Bediengerät befindet sich nach Art einer physischen Manifestation des virtuellen Bediengeräts in dem Trainingsraum. Positions- und lagerichtig ist eine Darstellung der Hände, wenn sie die Lage und die Position der realen Hände des Besatzungsmitglieds im Trainingsraum als auch relativ zum Besatzungsmitglied richtig wiedergibt. Die Position der Hand ist dabei jener Ort, an welchem sich die Hand relativ zum Besatzungsmitglied befindet. Die Position kann beispielsweise über Koordinaten in einem Koordinatensystem angegeben werden. Die Lage der Hand entspricht hingegen ihrer Orientierung im Raum, d. h. jener räumlichen Ausrichtung, welche sie an ihrer Position einnimmt. Die positions- und lagerichtige Darstellung beinhaltet auch die Handstellung, beispielsweise eine geballte Faust, eine gekrümmte Hand oder eine flach ausgestreckte Hand mit gespreizten oder zusammenliegenden Fingern. Insbesondere kann sich die positions- und lagerichtige Darstellung der Hand auch auf die Position und Lage einzelner Finger der Hand erstrecken, so dass auch eine Krümmung einzelner Finger der Hand positions- und lagerichtig dargestellt wird.
Insbesondere für militärische Fahrzeuge, in welchen zumeist komplexe Bediengeräte verbaut sind, kann eine einfache, präzise und dem realen Einsatz besser wiedergebende Bedienung während des Trainings ermöglicht werden. Beispielsweise kann die Betätigung eines von mehreren eng beieinanderliegenden Bedienelementen des Bediengeräts oder die gleichzeitige Betätigung mehrerer Bedienelemente trainiert werden. Das Verfahren kann auch zum Training mit mehreren virtuellen Bediengeräten durchgeführt werden, wobei jedem virtuellen Bediengerät jeweils ein reales Bediengerät zugeordnet ist.
In einer vorteilhaften Weiterbildung der Erfindung wird das reale Bediengerät im Trainingsraum in einer relativen Position und/oder Lage zum Besatzungsmitglied angeordnet, welche der relativen Position und/oder Lage des virtuellen Bediengeräts zum Besatzungsmitglied in der virtuellen Umgebung entspricht. Es hat sich als besonders vorteilhaft erwiesen, wenn die Bedienelemente des realen Bediengeräts und des virtuellen Bediengeräts zueinander deckungsgleich in ihren relativen Positionen und/oder Lagen sind. Da die Hand des Besatzungsmitglieds mit dem realen, für das Besatzungsmitglied in der virtuellen Umgebung nicht sichtbare Bediengerät interagieren soll, sind hohe Anforderungen an die Präzision und die Genauigkeit der positions- und lagerichtigen Darstellung der Hand zu stellen. Eine Abweichung zwischen der in der virtuellen Umgebung wiedergegebenen Position und Lage der Hand von ihrer tatsächlichen Position und Lage im Trainingsraum kann zu Verletzungen führen, beispielsweise wenn das Besatzungsmitglied ein zur Darstellung seiner Hand ferner liegendes virtuelles Bediengerät bedienen möchte, hierbei jedoch gegen das seiner Hand näherliegende reale Bediengerät stößt.
Weiter vorteilhaft ist es, wenn das reale Bediengerät, insbesondere frei, auf einer Trägerplatte positioniert wird. Durch die Positionierung auf der Trägerplatte kann das reale Bediengerät auf einfache Weise an die relative Position des virtuellen Bediengeräts in der virtuellen Umgebung angepasst werden. Zusammen mit einem oder mehreren auf ihr positionierten Bediengeräten kann die Trägerplatte beispielsweise ein Armaturenbrett oder ein Bedienpanel des realen Fahrzeugs zum Training nachbilden. Die Trägerplatte befindet sich hierzu im Trainingsraum und/oder ist Teil einer Innenwand des Trainingsraums. Vorzugsweise ist das reale Bediengerät auf der Trägerplatte in seiner Lage ausrichtbar, beispielsweise um eine oder mehrere Achsen drehbar oder kippbar. Durch die Ausrichtbarkeit kann die Lage des realen Bedienelements an die Lage des virtuellen Bediengeräts in der virtuellen Umgebung angepasst werden. Eine freie Positionierung und/oder Ausrichtung auf der Trägerplatte, bei welcher keine Positionen durch trägerplattenseitige Verbindungsmittel vorgegeben sind, hat sich als besonders vorteilhaft erwiesen. Eine solche freie Positionierung kann beispielsweise über Magnete, Nadeln, Schrauben oder Klebemittel auf der insbesondere hölzernen oder metallischen Trägerplatte, erfolgen. Alternativ kann eine Positionierung über Anbindungselemente erfolgen, insbesondere Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, der Trägerplatte zusammenwirken. Die Trägerplatte kann hierzu insbesondere nach Art einer Rasterplatte mit in einem regelmäßigen Muster angeordneten Anbindungsstellen ausgebildet sein.
Die Trägerplatte kann zur Positionierung im Trainingsraum an einer verstellbaren Schwanenhalshalterung, einem Magic-Arm, einem Gelenkarm oder einem Stativ, im Trainingsraum in ihrer Position und Lage verstellbar positioniert werden.
Das reale Bediengerät kann nach der Positionierung positions- und/oder lagerichtig im Trainingsraum fixiert werden, d. h. in seiner Position und/oder Lage im Trainingsraum fest, aber dennoch lösbar im Trainingsraum angeordnet werden.
Die Positionierung des Bediengeräts kann mittels einer Schablone erfolgen. Diese kann die Position des Bediengeräts auf der Trägerplatte und bei der Verwendung mehrerer Bediengeräte auch die relativen Positionen der Bediengeräte zueinander vorgeben. Die realen Bediengeräte können mit der Schablone auf schnelle und einfache Weise in den richtigen, d. h. die Positionen der virtuellen Bediengeräte wiedergebenden Positionen auf der Trägerplatte positioniert werden. Vorzugsweise könne für jeden Fahrzeugtyp, insbesondere für jede Besatzungsposition im Fahrzeug, fahrzeugspezifische Schablonen vorgehalten werden.
Vorteilhafter Weise kann die Positionierung des Bediengeräts mittels der virtuellen Umgebung und einer erfassbaren Markierung des Bediengeräts oder einem initialen Einmessen, beispielsweise mit einem Eingabegerät eines VR-Anzeigesystems erfolgen, zu welchem die Anzeigevorrichtung gehört. Das Eingabegerät kann nach Art eines Controllers, insbesondere eines VR-Controllers, ausgebildet sein. In der virtuellen Umgebung kann die Position des mit dem realen Bediengeräts in Berührung bringbaren Controllers zur Überprüfung der korrekten Position des realen Bediengeräts angezeigt werden. Die Erfassung mittels einer Markierung kann dabei in regelmäßigen zeitlichen Abständen zur Laufzeit des Trainings erfolgen, um eine Umpositionierung zu erlauben.
Weiter vorteilhaft ist es, wenn ein einem Fahrzeug-Bediengerät des Fahrzeugs nachgebildetes reales Bediengerät verwendet wird. Bedienelemente des realen Bediengeräts weisen die gleiche Anordnung zueinander auf, wie bei dem Fahrzeug-Bediengerät. Vorzugsweise werden reale Bedienelemente des gleichen Typs, z. B. Schalter, Tasten, Drehregler, Wählhebel, Pedale oder Lenkräder, wie sie bei dem Fahrzeug-Bediengerät zu finden sind, in der gleichen Anordnung verwendet. Das reale Bediengerät kann vorteilhafterweise auch die, insbesondere zwischen den Bedienelementen liegende, Oberflächenstruktur des Fahrzeug-Bediengeräts nachbilden. Mit einem dem Fahrzeug-Bediengerät des Fahrzeugs, für welches das Training des Besatzungsmitglieds durchführt wird, nachgebildetes reales Bediengerät kann eine Kostenersparnis erzielt werden. Denn bei dem realen Bediengerät kann auf Funktionen verzichtet werden, wie sie bei dem in realen Fahrzeugen zum Einsatz kommenden Fahrzeug-Bediengerät anzutreffen sind. Beispielsweise kann das reale Bediengerät keine funktionstüchtigen Anzeigeelemente, wie Lampen, Messinstrumente oder Displays, aufweisen. Diese können von dem Besatzungsmitglied in der virtuellen Umgebung nicht wahrgenommen werden, sondern können durch entsprechende virtuelle Anzeigeelemente oder Darstellungen in der virtuellen Umgebung ersetzt werden. Das virtuelle Bediengerät kann ein virtuelles Anzeigeelement umfassen, ohne dass das reale Bediengerät ein reales Anzeigeelement aufweist. Gleichwohl kann das reale Bediengerät elektrisch und/oder mechanisch funktionstüchtige Bedienelement aufweisen, wie sie insbesondere auch bei einem Fahrzeug-Bediengerät zum Einsatz kommen können. Diese funktionstüchtigen realen Bedienelement können fabrikatgleich zu den Bedienelementen des Fahrzeug-Bediengeräts oder kostengünstigere Fabrikate des gleichen Typs sein. Die Funktionstüchtigkeit der Bedienelemente im realen Bediengerät kann sich auf die mechanische Betätigbarkeit beschränken. Insbesondere können diese realen Bedienelemente nicht in einen Schaltkreis eingebracht sein, so dass bei Betätigung eines Bedienelements des realen Bediengeräts beispielsweise kein elektrisches Signal erzeugt wird. Zudem kann das reale Bediengerät auch grob gefertigt und/oder optisch nicht sehr ansprechend ausgeführt sein, da das Besatzungsmitglied nur das virtuelle Bediengerät visuell wahrnimmt.
In besonders vorteilhafter Weise weist das reale Bediengerät keinen Schaltkreis auf. Durch den Verzicht auf Schaltkreise im Bediengerät kann die Herstellung des realen Bediengeräts vereinfacht werden.
Es ist möglich, dass das Bediengerät mechanische Funktionen aufweist, wie sie ein Fahrzeug-Bediengerät bereitstellt. Die mechanische Funktion kann eine Betätigungsfunktion, welche eine Betätigungsstellung des Betätigungselements verändert, und/oder eine Anpassungsfunktion an das Besatzungsmitglied sein. Eine Betätigungsfunktion kann beispielsweise die Umlegbarkeit eines Schalters, die Drückbarkeit einer Taste oder eines Pedals, die Drehbarkeit eines Drehreglers oder eines Lenkrads oder die Verstellbarkeit eines Wahlhebels sein. Eine Anpassungsfunktion kann beispielsweise die Anpassung der Länge und/oder des Winkels einer Lenkradsäule an die Statur des Besatzungsmitglieds sein.
Bevorzugt wird ein rein haptischer Dummy als reales Bediengerät verwendet. Ein solcher rein haptischer Dummy kann eine Nachbildung eines funktionstüchtigen Bedienelements als reales Bedienelement aufweisen, wie beispielsweise die Nachbildung eines Schalters, einer Taste, eines Drehreglers, eines Wahlhebels, eines Pedals oder eines Lenkrads. Dieses reale Bedienelement kann dem Besatzungsmitglied auf einfache Weise ein haptisches Feedback über seine Position geben. Vorzugsweise kann das reale Bediengerät als rein haptischer Dummy mechanisch funktionslos sein, d. h. es stellt keine weiteren mechanischen Funktionen bereit, insbesondere ist es nicht betätigbar. Ein mechanisch funktionsloser, haptischer Dummy gibt hierbei ein passives haptisches Feedback. Solche ein mechanisch funktionsloser Dummy lässt sich auf besonders einfache Art und Weise herstellen. In diesem Zusammenhang hat sich eine Herstellung des haptischen Dummys aus formbaren Kunststoffen, insbesondere einer thermisch aushärtendem Polymer-Modelliermasse oder einem Polymer-Lehm, nach Art einer Attrappe eines Fahrzeug-Bediengeräts als vorteilhaft erwiesen.
Gemäß einem Ausführungsbeispiel der Erfindung wird eine Betätigung des realen Bediengeräts erfasst. Die Erfassung der Betätigung eines realen Bediengeräts, insbesondere eines realen Bedienelements, kann die Realitätsgetreue des Trainings weiter verbessern. Abhängig von der erfassten Betätigung des realen Bediengeräts, kann der weitere Verlauf des Trainings bestimmt werden, insbesondere hinsichtlich Auswirkungen der erfassten Betätigung auf die virtuelle Umgebung. Die richtige und genaue Bedienung eines komplex bedienbaren Bediengeräts, welches beispielsweise einen Drehregler mit mehreren Regelstufen oder einem stufenlosen Regelbereich umfasst, kann realitätsgetreuer trainiert werden.
Ferner kann es vorteilhaft sein, wenn zur Erfassung der Betätigung eine Veränderung des realen Bediengeräts erfasst wird. Die Veränderung des realen Bediengeräts kann durch eine Überwachung der Betätigungsstellung des realen Bediengeräts erfasst werden. Beispielsweise kann ein Sensor in dem Bediengerät eine Änderung der Betätigungsstellung eines Bedienelements erfassen, wie das Drehen eines Lenkrads, das Umlegen eines Schalters oder das Drücken einer Taste. Die Erfassung kann durch außerhalb des Bediengeräts liegende Mittel erfolgen.
In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn durch die Betätigung des realen Bediengeräts mindestens ein elektrisches Signal vom realen Bediengerät erzeugt wird. Ein elektrisches Signal kann auf einfache Weise durch Betätigung des realen Bediengeräts erzeugt werden. Auf besonders einfache Weise kann das elektrische Signal durch Schließen eines elektrischen Schaltkreises, beispielsweise durch Betätigung eines elektrisch funktionstüchtigen, realen Bedienelements, erzeugt werden. Das elektrische Signal kann Informationen über die eingenommene Betätigungsstellung enthalten, insbesondere von Betätigungselementen mit mehr als zwei Betätigungsstellungen. Von einem realen Bediengerät mit mehreren Bedienelementen können zugleich mehrere elektrische Signale erzeugt werden.
Das Bediengerät kann vorteilhafterweise berührungssensitive Elemente, wie Touch-Displays oder Folientaster, aufweisen. Durch berührungssensitive Elemente kann, ohne ein mechanisch funktionstüchtiges, reales Bedienelement zu verwenden, eine Betätigung des realen Bediengeräts erkannt werden. Insbesondere kann eine betätigende Berührung auf dem berührungssensitiven Element ortsaufgelösten erkannt werde. Auf diese Weise lassen sich Fahrzeug-Bediengeräte mit berührungssensitiven Betätigungselementen, wie Touch-Displays, kostensparend nachbilden.
In vorteilhafter Weise wird das elektrische Signal kabelgebunden und/oder kabellos an einen Server übertragen. Der Server kann mit mehreren Bediengeräten verbunden sein. Mit dem Server können weitere Bediengeräte auf einfache Weise zur Erweiterung eines Trainingssystems verbunden werden. Der Server kann das elektrische Signal des Bediengeräts selbst verarbeiten und/oder an einen Trainingsrechner übermitteln. Abhängig von den elektrischen Signalen kann der Server direkt oder über den Trainingsrechner die virtuelle Umgebung verändern. Zur kabellosen Übertragung weist das Betätigungsgerät vorzugsweise eine eigene Energieversorgung auf, insbesondere eine kapazitive Energieversorgung.
In einer weiteren Ausgestaltung erfolgt die Erfassung der Betätigung des realen Bediengeräts über eine Gestenerkennung. Durch Verwendung einer Gestenerkennung kann ein konstruktiv einfacherer Aufbau erzielt werden. Bei der Gestenerkennung können die durch Betätigung des realen Bediengeräts ausgeführten Handgesten erkannt und verarbeitet werden. Die Gestenerkennung erfolgt vorteilhafter Weise auf dem Server oder dem Trainingsrechner, insbesondere nach Art einer Subroutine oder eines eigenständigen Programms. Es können kostensparend schaltkreislose Bediengeräte verwendet werden.
Bevorzugt wird nach einer Betätigung des realen Bediengeräts die virtuelle Umgebung, insbesondere zur Anpassung an den Zustand des realen Bediengeräts, verändert. Die Veränderung kann eine Aktualisierung des dargestellten virtuellen Bediengeräts sein, welches die Betätigung des realen Bediengeräts reproduziert. Ein virtuelles Bedienelement kann an eine durch die Betätigung veränderte Betätigungsstellung eines zugeordneten realen Bedienelements angepasst werden. Beispielsweise kann nach einem Umlegen eines realen Schalters der zugeordnete virtuelle Schalter ebenfalls umgelegt dargestellt werden. Alternativ oder zusätzlich kann ein virtuelles Anzeigeelement, insbesondere ein nur in der virtuellen Umgebung und nicht im Trainingsraum vorhandenes Anzeigeelement, verändert werden. Die Veränderung des virtuellen Anzeigeelements kann zum Beispiel ein Aufleuchten oder Blinken einer Lampe, die geänderte Darstellung eines Messinstruments, wie eine sich bewegende Tachonadel oder eine veränderte Anzeige auf einem virtuellen Display sein. Die Veränderung der virtuellen Umgebung kann die Auslösung einer virtuellen Aktion sein, wie ein Abfeuern einer Waffe oder eine Änderung der virtuellen Bewegung des virtuellen Fahrzeugs.
In einer vorteilhaften Ausgestaltung der Erfindung wird die Position und die Lage der Hände des Besatzungsmitglieds in einem Aktionsbereich des Besatzungsmitglieds mit einem 3D-Sensorsystem erfasst. Zur Erfassung der Position und der Lage der Hände kann das 3D-Sensorsystem auf den Aktionsbereich des Besatzungsmitglieds gerichtet sein, d. h. der Aktionsbereich befindet sich im Zentrum des Aufnahmebereichs des 3D-Sensorsystems. Bei dem Aktionsbereich des Besatzungsmitglieds handelt es sich um den Bereich des Trainingsraums, welcher sich von dem realen Bediengerät in Richtung des Besatzungsmitglieds erstreckt und in welchem sich die Hände des Besatzungsmitglieds zur Betätigung des Bediengeräts bewegen. Durch die Ausrichtung auf den Aktionsbereich des Besatzungsmitglieds können die Hände zuverlässig bei der Betätigung des Bediengeräts erfasst werden.
Als besonders vorteilhaft hat sich ein Über-Schulter-Blick des 3D-Sensorsystems auf den Aktionsbereich des Besatzungsmitglieds erwiesen. Bei einem Über-Schulter-Blick ist das 3D-Sensorsystem in der initialen Ausgangshaltung des Besatzungsmitglieds zu Beginn des Trainings hinter dem Besatzungsmitglied, insbesondere relativ zum Kopf des Besatzungsmitglieds nach links oder rechts versetzt, und oberhalb seiner Schultern im Trainingsraum angeordnet. In bevorzugter Weise blickt das 3D-Sensorsystem über die Schulter des Besatzungsmitglieds schräg nach unten auf den Aktionsbereich. Ein Verdeckungsproblem, bei welchem die Hände des Besatzungsmitglieds, beispielsweise durch die Arme des Besatzungsmitglieds, für das 3D-Sensorsystem verdeckt werden, kann durch den schräg nach unten verlaufenden Über-Schulter-Blick des 3D-Sensorsystems weitgehend vermieden werden. Ferner kann das 3D-Sensorsystem im Trainingsraum in seiner Position und/oder Lage fixiert sein.
Die Abtastrate des 3D-Sensorsystems kann mit der Bildwiederholrate der Anzeigevorrichtung übereinstimmen, insbesondere kann diese 90 fps betragen. Das Trainingssystem und insbesondere das 3D-Sensorsystem weist vorzugsweise eine niedrige Latenz auf, bevorzugt unterhalb von 200 ms, weiter bevorzugt unterhalb von 100 ms und insbesondere bevorzugt von unter 10 ms. In diesem Zusammenhang hat sich eine Latenz im Bereich vom 5 ms bis 10 ms als vorteilhaft erwiesen. Die Latenz beschreibt die Verzögerung zwischen einer Änderung im Trainingsraum, insbesondere einer Änderung der Position und/oder Lage der Hand, und deren Erfassung und visuellen Darstellung. Das Trainingssystem und insbesondere das 3D-Sensorsystem ist vorzugsweise möglichst verzögerungsfrei, d. h. latenzarm, um eine intuitive Bedienung zu ermöglichen. Bei einer hohen Latenz würde die Darstellung in der virtuellen Umgebung hinter den realen Gegebenheiten im Trainingsraum erheblich zurückbleiben, was nur durch sehr langsam und realitätsferne Bewegungsabläufe oder einem aktiven Abgleichen der tatsächlichen mit der dargestellten Handbewegung durch das Besatzungsmitglied kompensiert werden könnte.
Mit dem 3D-Sensorsystem können auf einfache Weise Handgesten erfasst und über eine Gestenerkennung zur Erfassung der Betätigung des realen Bediengeräts erkannt werden. Bei den Handgesten kann es sich vorteilhafterweise um die gleichen Handgesten handeln, wie sie bei einer Betätigung des Fahrzeug-Bediengeräts im realen Fahrzeug durchgeführt werden.
Ferner kann das 3D-Sensorsystems alternativ oder zusätzlich als außerhalb des Bediengeräts liegendes Mittel zur Erfassung der Veränderung des realen Bediengeräts genutzt werden.
In einer vorteilhaften Ausgestaltung erfasst das 3D-Sensorsystem die Hände des Besatzungsmitglieds mit einer Tiefenkamera und/oder einer Farbkamera. Das 3D-Sensorsystem kann auf diese Weise als 3D-Kamerasystem ausgebildet sein. Mit einer Tiefenkamera können die Position und die Lage der Hand des Besatzungsmitglieds auf einfache Weise auch in der Tiefe erfasst werden. Vorzugsweise liegt die Auflösung der Tiefenkamera unterhalb eines Millimeters. Die Tiefenkamera kann eine stereo-optische Kamera mit zwei zueinander versetzten Teilkameras sein. Bei einer stereo-optische Kamera ergibt sich die Tiefeninformation über die Position und die Lage der Hand aus dem Unterschied der von den beiden Teilkameras aufgenommenen Bilder, analog zum menschlichen Sehapparats. Alternativ kann die Tiefenkamera eine time-of-flight Kamera sein. Bei einer time-of-flight Kamera ergibt sich die Tiefeninformation über die Position und die Lage der Hand über das Laufzeitverfahren, bei welchem die Zeit zwischen dem Aussenden eines Lichtpulses und dem Auftreffen des von der Hand reflektierten Pulses auf einen Lichtsensor der Kamera gemessen wird. Die time-of-flight-Kamera kann hierzu ein Sende-Modul zur Aussendung eines Lichtpulses und ein Empfangs-Modul zum Empfang des reflektierten Lichtpulses aufweisen. Weiter alternativ kann die Tiefenkamera eine Muster-Kamera sein, welche gemäß dem Projektionsverfahren arbeitet. Die Muster-Kamera kann hierzu ein Sende-Modul, welches nach Art eines Musterprojektors zeitlich versetzt unterschiedliche geometrische Muster in den Trainingsraum projiziert, und ein Empfangs-Modul, insbesondere eine Teilkamera, aufweisen. Das Empfangs-Modul kann die in den Trainingsraum projizierten geometrischen Muster aufnehmen, welche jedoch durch die sich im Trainingsraum befindlichen Objekte, wie die Hand des Besatzungsmitglieds, sowie den Trainingsraum selbst verzerrt werden. Aus diesen aufgenommenen und für jedes Muster unterschiedlichen Verzerrungen können Tiefeninformation gewonnen werden. Mit der Farbkamera kann ein farbiges Bild der Hände aufgenommen werden. Insbesondere können die Hände anhand ihrer Farbe und/oder dem Kontrast zum Hintergrund in dem farbigen Bild erkannt und erfasst werden. Eine Kombination von Tiefenkamera und Farbkamera erlaubt eine Farbwertzuordnung zu jedem mit einer Tiefeninformation versehenen Bildpunkt des Bildes der Tiefenkamera.
Weiter vorteilhaft ist es, wenn mehrere, insbesondere drei, aufeinander kalibrierte 3D-Sensorsysteme verwendet werden. Zur besseren Vermeidung einer Verdeckung der Hände hat sich die Verwendung von zwei oder mehreren 3D-Sensorsystemen, insbesondere drei, vier oder fünf 3D-Sensorsystemen als vorteilhaft erwiesen. Die 3D-Sensorsysteme können miteinander in Verbindung stehen, insbesondere über eine Funkverbindung oder eine Kabelverbindung, wie ein Sync-Kabel. Die 3D-Sensorsysteme können aufeinander synchronisiert sein, so dass sie zeitgleich oder zeitlich versetzt zur Messung ausgelöst werden können, insbesondere über die Verbindung zwischen ihnen. Damit ein Punkt im Trainingsraum von allen 3D-Sensorsystemen als an der gleichen Position befindlich erkannt wird und es zu keiner zwischen den 3D-Sensorsystemen abweichenden Erfassung der Position und Lage der Hände kommt, sind die 3D-Sensorsysteme aufeinander kalibriert. Bei der Kalibration werden die Koordinatensysteme der einzelnen 3D-Sensorsysteme auf ein gemeinsames Koordinatenreferenzsystem kalibriert. Die Kalibrierung erfolgt insbesondere so, dass die kalibrierten 3D-Sensorsysteme einen gemeinsamen Koordinatenursprung aufweisen.
Die 3D-Sensorsysteme können von unterschiedlichen Positionen im Trainingsraum auf den Aktionsbereich des Besatzungsmitglieds gerichtet sein. Neben einem Über-Schulter-Blick können einzelne 3D-Sensorsysteme von der Seite, von unten, direkt von obenauf oder aus anderen schrägen Blickwinkeln, wie von schräg unten, auf den Aktionsbereich blicken. Durch die unterschiedlichen Blickwinkel der 3D-Sensorsysteme kann ein Verdecken der Hände noch zuverlässiger vermieden werden, da die Hände gleichzeitig von mehreren 3D-Sensorsystemen aus unterschiedlichen Blickwinkeln erfasst werden können. Auch kann ein Verdecken von Teilen der Hand durch die Hand selbst, beispielsweise ein Verdecken der Fingerspitzen durch den Handrücken, durch die unterschiedlichen Blickwinkel der 3D-Sensorsysteme vermeiden werden.
Ferner ist es vorteilhaft, wenn die Position einzelner Punkte im Aktionsbereich des Besatzungsmitglieds im Trainingsraum relativ zum 3D-Sensorsystem gemessen wird. Die Tiefeninformationen des gesamten Aktionsbereichs können auf einfache Art und Weise erfasst werden. Zur Messung der Position eines Punktes kann insbesondere dessen Abstand und dessen Raumwinkel relativ zum 3D-Sensorsystem bestimmt werden. Die Messung der Position einzelner Punkte kann vorteilhafterweise mittels des 3D-Sensorsystems nach Art einer time-of-flight Kamera erfolgen. Bei den zu messenden Punkten kann es sich um markierte Punkte auf den Händen und/oder dem realen Bedienelement handeln, welche beispielsweise mit Markern oder farblich gekennzeichnet werden. Alternativ können die Punkte auch durch ein regelmäßiges oder unregelmäßiges Abtast-Muster des 3D-Sensorsystems vorgegeben werden. Insbesondere kann das regelmäßige Abtast-Muster der Anordnung der Bildpunkte des 3D-Sensorsystems entsprechen. Auf diese Weise kann die Position jeden Bildpunkts der Tiefenkamera im Trainingsraum bestimmt werden. Die Vorgabe der Punkte durch ein regelmäßiges oder unregelmäßiges Abtast-Muster des 3D-Sensorsystems kann den Vorteil bieten, dass auch andere Objekte erfasst werden können. Diese anderen Objekte können neben den Händen des Besatzungsmitglieds zur Betätigung des realen Bediengeräts genutzt werden. Bei diesen anderen Objekten kann es sich beispielsweise um die Ellenbogen des Besatzungsmitglieds oder künstliche Objekte, wie einen Stift oder einen Touch-Pen, handeln. Durch ein Messen, Erfassen und Darstellen dieser anderen Objekte kann das Bediengerät ebenfalls mittels dieser anderen Objekte von dem Besatzungsmitglied absichtlich oder unabsichtlich bedient werden. Auf diese Weise kann die Realitätsgetreue des Trainings gesteigert werden. Bei dem Training kann ein versehentliches Betätigen, beispielsweise durch ein Anstoßen in einem beengten Fahrzeuginneren, realitätsgetreu wiedergegeben werden.
In einer vorteilhaften Weiterbildung wird die Position der Hände, insbesondere einer Vielzahl einzelner Punkte auf den Händen, zum 3D-Sensorsystem gemessen. Die Messung der Position der Hände, insbesondere deren Abstand zum 3D-Sensorsystem, bietet eine höhere Präzision und Genauigkeit, als dies bei einem rein auf Interpretation von Bildinformationen basierenden Verfahren möglich ist. Durch die Messung der Vielzahl einzelner Punkte auf den Händen lassen sich die Position und die Lage einzelner Finger der Hand, insbesondere auch ein leichtes Krümmen einzelner Finger, genau erfassen. Individuelle Merkmale der Hände des Besatzungsmitglieds, wie die genaue Handgrößen, die Längen der Finger oder ein Fehlen einzelner Fingerglieder, können durch die Messung mehrerer Punkte auf der Hand erfasst, berücksichtigt und in der virtuellen Umgebung entsprechend dargestellt werden.
In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, dass neben den Händen auch die Position des Körpers des Besatzungsmitglieds, insbesondere die Position der Arme und/oder der Beine, zum 3D-Sensorsystem gemessen wird. Durch ein Messen des restlichen Körpers, insbesondere der Arme und/oder der Beine des Besatzungsmitglieds, relativ zum 3D-Sensorsystem kann dieser positions- und lagerichtig in der virtuellen Umgebung dargestellt werden. Für das Besatzungsmitglied kann sich ein noch realitätsgetreueres Trainingserlebnis einstellen, da dieses seinen Körper auch in der virtuellen Umgebung sieht.
Vorzugsweise werden die gemessenen, insbesondere die mit den Händen korrespondierenden, Positionen zu Punktwolkendaten zusammengefasst und als Punktwolke in der virtuellen Umgebung dargestellt. Die Punktwolkendaten enthalten die Positionsinformationen der gemessenen Punkte. Zusammen mit den von der Farbkamera aufgenommenen Farbinformationen können die einzelnen Punkte der Punktwolkendaten in einem Farb- und Positionsinformationen enthaltenen Format gespeichert werden. Bei der Verwendung eines einzigen 3D-Sensorsystems kann dieses Format beispielsweise den Abstand zu diesem 3D-Sensorsystem sowie die Farbwerte für Rot, Grün und Blau oder die Farbwerte für Gelb, Magenta, Cyan enthalten. Alternativ kann das Format die Koordinaten des jeweiligen Punktes bezogen auf ein Koordinatenreferenzsystem, insbesondere bei der Verwendung mehrerer 3D-Sensorsysteme, sowie die Farbwerte für Rot, Grün und Blau oder die Farbwerte für Gelb, Magenta, Cyan enthalten. Die Punktwolkendaten können auf einfache Weise an eine die virtuelle Umgebung erzeugendes Rendersystem, insbesondere des Servers oder des Trainingsrechners, zur Darstellung weitergegeben werden. Durch die Darstellung der Punktwolkendaten als Punktwolke kann eine fehlertolerantere Darstellung der realen Umgebung und insbesondere der Hände in der virtuellen Umgebung erzielt werden, als dies bei einer Darstellung mit einem rechenintensiveren, die Punktwolkendaten umfassenden und geschlossenen Polygon-Mesh möglich wäre. Auf eine fehleranfällige Umrechnung der Punktwolkendaten in ein Polygon-Mesh oder in eine Umformung eines hinterlegten geschlossenen Polygon-Meshs kann verzichtet werden.
In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke durch das virtuelle Bediengerät verdeckt werden. Die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke sind jene Punkte, deren Punktwolkendaten auf Messungen von Punkten auf dem realen Bediengerät zurückgehen. Indem die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke verdeckt werden, kommt es nicht zu einer optischen Irritation des Besatzungsmitglieds, da es nicht zugleich das virtuelle Bediengerät und die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke sieht. Die Verdeckung kann vorteilhafterweise durch eine Darstellung des virtuellen Bediengeräts mit im Vergleich zum Fahrzeug-Bediengerät leicht größeren Abmessungen erfolgen. Die leicht größeren Abmessungen können vorzugsweise in einem für das Besatzungsmitglied nicht wahrnehmbaren Größenbereich liegen, insbesondere unterhalb des Millimeterbereichs und/oder im Bereich einzelner Bildpunkte der Anzeigevorrichtung.
In einer weiteren Ausführungsform der Erfindung werden die Punktwolkendaten, insbesondere hinsichtlich den mit dem realen Bediengerät korrespondierenden Punkten, gefiltert. Vorzugsweise erfolgt die Filterung vor dem Darstellen der Punktwolke. Nach der Filterung können die Punktwolkendaten bis auf die herausgefilterten Punkte oder nur die herausgefilterten Punkte als Punktwolke in der virtuellen Umgebung dargestellt werden. Eine Darstellung von Punkten in der virtuellen Umgebung, welche für das Besatzungsmitglied nicht sichtbar sind, kann rechenleistungssparend vermieden werden. Vorzugsweise kann in dem Server, dem Trainingsrechner oder dem Rendersystem ein Aussonderungs-Bereich des Aktionsbereichs nach Art eines no-draw-Volumens festgelegt werden. Die mit diesem Aussonderungs-Bereich korrespondierenden Punkte der Punktwolkendaten werden vorteilhafterweise nicht dargestellt. Zu diesem Aussonderungs-Bereich kann insbesondere das reale Bediengerät gehören. Bei der Filterung kann jeder Punkt der Punktwolkendaten darauf geprüft werden, ob er mit einem Punkt aus diesem Aussonderungs-Bereich korrespondiert. Vorteilhafterweise kann die Festlegung nach und/oder bei einem vorherigen Einmessen der Positionen des Bediengeräts erfolgen.
In vorteilhafter Weise wird eine Markierung auf dem realen Bediengerät erkannt und dem realen Bediengerät zugeordnete Punkte in der virtuellen Umgebung werden nicht dargestellt. Durch eine Markierung auf dem realen Bediengerät können mit dem realen Bediengerät korrespondierende Punkte einfach erkannt werden. Die Markierung kann vorteilhafterweise eine flächige und/oder einfarbige Markierung sein. Insbesondere bei einer einfarbigen Markierung kann eine besonders einfache und schnelle Filterung von Punktwolkendaten anhand der Farbinformationen der einzelnen Punkte erfolgen.
In einer weiteren Ausgestaltung der Erfindung wird zur Erfassung der Position und der Lage der Hände des Besatzungsmitglieds ein Deep-Learning-Verfahren genutzt. Bei dem Deep-Learning-Verfahren wird ein künstliches neuronales Netz durch wiederholtes Versuchen einer Handerkennung auf die selbstständige Erkennung von Händen in Bildern geschult. Durch das Deep-Learning-Verfahren kann im laufenden Trainingsbetrieb eine Steigerung der Erkennungsgenauigkeit von Händen erzielt werden. Das Deep-Learning-Verfahren kann auf einfache Weise auf die Erkennung des restlichen Körpers des Besatzungsmitglieds erweitert werden. Vorzugsweise werden nur die durch das Deep-Learning-Verfahren erkannten und mit den Händen und/oder dem Körper des Besatzungsmitglieds korrespondierenden Punkte der Punktwolkendaten weiterverwendet, insbesondere zur Darstellung in der virtuellen Umgebung und/oder zur Erkennung einer Betätigung des Bediengeräts.
In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn bei dem Deep-Learning-Verfahren Bildbereiche mit den Händen des Besatzungsmitglieds in 2D-Bildern, insbesondere der Farbkamera, erkannt werden. Eine Erkennung der Hände kann mit einer Analyse von Unterschieden zeitlich aufeinander folgender 2D-Bilder erfolgen. Nach dem Erkennen können die die Hände beinhaltende Bildbereiche in den 2D-Bildern für eine weitere Verarbeitung markiert werden.
Weiter vorteilhaft hat es sich erwiesen, wenn den Bildbereichen mit den Händen des Besatzungsmitglieds korrespondierende Punkte der Punktwolkendaten zugeordnet werden. Durch die Zuordnung der Punkte der Punktwolkendaten können die Position und die Lage der Hände einfach bestimmt werden. In der virtuellen Umgebung können diese Punkte der Punktwolkendaten dargestellt werden, ohne dass es zu einer Irritation des Besatzungsmitglieds durch andere im Aktionsbereich gemessene und dargestellte Punkte kommt. Vorzugsweise erfolgt vor der Zuordnung der Bildbereiche eine intrinsische Kalibrierung des 3D-Sensorsystems, bei welchem eine Zuordnung der Bildpunkte der Tiefenkamera zu den Bildpunkten der 2D-Kamera, insbesondere der Farbkamera, erfolgt. Ebenfalls vorteilhaft erfolgt vor der Zuordnung der Bildbereiche eine extrinsische Kalibrierung des 3D-Sensorsystems, bei welchem die Tiefenkamera hinsichtlich ihrer räumlichen Lage und Orientierung, insbesondere auf ein Koordinatenreferenzsystem, im Trainingsraum kalibriert wird.
Weiterhin hat es sich als vorteilhaft erwiesen, wenn eine Hintergrundtiefenaufnahme vom Trainingsraum und dem Bediengerät erstellt wird. In der Hintergrundtiefenaufnahme kann der Trainingsraum bis auf das oder die Bediengeräte ansonsten leer sein, insbesondere hält sich während der Aufnahme weder das Besatzungsmitglied noch eine andere Person im Trainingsraum auf. Diese einmalig erstellte Hintergrundtiefenaufnahme kann zur Subtraktion des Hintergrundes nach Art eines „Background subtraction“-Verfahrens genutzt werden. Auf diese Weise werden Raumpunkte erkannt, die vor dieser Hintergrundtiefenaufnahme liegen. Hierdurch wird das Besatzungsmitglied, seine Hände und alles, was sich seit der Aufnahme der Hintergrundtiefenaufnahme verändert hat, auf einfache Weise erkannt. Was vor der Hintergrundtiefenaufnahme liegt, wird innerhalb einer Toleranzschwelle bestimmt, welche ausreichend groß gewählt wird, um potentiell rauschende Sensordaten zuverlässig zu filtern. Da die Tiefeninformationen zusammen mit den Farbinformationen, die Punktwolkendaten bilden, kann eine Darstellung ohne die Irritationen durch die Darstellung von Punkten des Bediengeräts erreicht werden. Besonders vorteilhaft ist die sich ergebende Reduktion der Punktwolkendaten. Nur noch die sich gegenüber der Hintergrundtiefenaufnahme veränderten Punkte werden prozessiert, übertragen und dargestellt.
In einer weiteren vorteilhaften Ausgestaltung wird mindestens ein Signalgeber als aktiver Signalgeber zur Positionsbestimmung der Anzeigevorrichtung im Trainingsraum genutzt. Durch den Signalgeber kann die Position der Anzeigevorrichtung im Trainingsraum auf einfache Art und Weise bestimmt werden. Der Signalgeber kann Positionssignale emittieren, welche von der Anzeigevorrichtung zur Positionsbestimmung aufgenommen werden können. Die Positionssignale können hierbei nach Art von Abtastpulsen, welche der Signalgeber in den Trainingsraum emittiert, ausgebildet sein. Vorzugsweise sind diese Abtastpulse mit der Anzeigevorrichtung synchronisiert, insbesondere hinsichtlich einer gemeinsamen Zeit. Mittels der Zeitdifferenz zwischen dem Aussenden des Positionssignals durch den Signalgeber und das Empfangen des Positionssignals durch die Anzeigevorrichtung kann die Position der Anzeigevorrichtung relativ zum Signalgeber bestimmt werden. Der Signalgeber kann hierzu eine Abtastung des Trainingsraums mit zeitlich aufeinanderfolgenden Positionssignalen durchführen. Zusätzlich kann mit dem Signalgeber eine Lagebestimmung der Anzeigevorrichtung erfolgen. Insbesondere kann die Anzeigevorrichtung Sensoren, insbesondere ein Gyroskop und/oder einen Beschleunigungssensor, umfassen. Die Sensorwerte dieser Sensoren können zusammen mit dem Positionssignal zur Lagebestimmung der Anzeigevorrichtung genutzt werden. Der aktive Signalgeber ist vorzugsweise positionsfest im Trainingsraum angeordnet.
Bei dem Signalgeber kann es sich um eine Laserquelle, insbesondere eine mehrachsige 120-Grad-Laserquelle handeln. Die Laserquelle kann das Positionssignal räumlich fokussiert emittieren, wodurch eine hohe Präzisionsgenauigkeit bei der Positionsbestimmung erzielt werden kann.
Ein passiver Signalgeber kann Positionssignale nach Art eines passiven Positionserfassungssystems zur Positionsbestimmung der Anzeigevorrichtung bereitstellen. Der passive Signalgeber kann beispielsweise eine oder mehrere Positionskameras umfassen, deren Positionsaufnahmen als Positionssignale zur Positionsbestimmung mittels einer Bilderkennung weitergeleitet oder vom Signalgeber verarbeitet werden. Über die Positionssignale kann mittels der Bilderkennung auf die Position und Lage der Anzeigevorrichtung im Trainingsraum geschlossen werden, beispielsweise über eine optische Markierung der Anzeigevorrichtung. Der passive Signalgeber kann positionsfest im Trainingsraum und/oder an der Anzeigevorrichtung angeordnet oder in die Anzeigevorrichtung integriert sein. Der passive Signalgeber kann die Anzeigevorrichtung im Trainingsraum erfassen, insbesondere in einer Positionsaufnahme. Ebenso kann der passive Signalgeber einen VR-Controller des VR-Anzeigesystems erfassen. Alternativ kann der passive Signalgeber den Trainingsraum von der Position der Anzeigevorrichtung aus erfassen. Das Koordinatensystem des VR-Anzeigesystems kann bei der Einrichtung des VR-Anzeigesystem als insbesondere trainingsraumfestes Koordinatensystem mit einem eindeutigen Koordinatenursprung festgelegt werden.
Die Anzeigevorrichtung kann Sensoren zur Lagebestimmung im Trainingsraum umfassen, insbesondere ein Gyroskop und/oder Beschleunigungssensoren.
Vorzugsweise werden mehrere Signalgeber, insbesondere zwei Signalgeber, zur Positionsbestimmung der Anzeigevorrichtung genutzt. Mit mehreren Signalgebern kann eine erhöhte Präzision bei der Positionsbestimmung der Anzeigevorrichtung im Trainingsraum erzielt werden. Die Signalgeber sind vorteilhafterweise an unterschiedlichen Positionen zueinander beabstandet im Trainingsraum angeordnet. Vor dem Trainingsbeginn werden der oder die Signalgeber sowie das 3D-Sensorsystem bzw. die 3D-Sensorsysteme vorzugsweise aufeinander kalibriert. Die Kalibrierung kann derart erfolgen, dass ein Koordinatensystem des Signalgebers und das Koordinatensystem des 3D-Sensorsystems auf ein gemeinsames Koordinatenreferenzsystem kalibriert werden. Auf diese Weise kann sichergestellt werden, dass ein Punkt im Trainingsraum sowohl relativ zum Signalgeber als auch relativ zum 3D-Sensorsystem als an der gleichen Position im Trainingsraum liegend erkannt wird.
Das 3D-Sensorsystem und das VR-Anzeigesystem, welches die Anzeigevorrichtung und/oder den Signalgeber umfasst, sind vorteilhafterweise derart aufeinander kalibriert, dass sie den Trainingsraum im Wesentlichen deckungsgleich erfassen, d. h. einen Raumpunkt im Trainingsraum wird von dem VR-Anzeigesystems und dem 3D-Sensorsystem als an der gleichen Position liegend erkannt.
Die Positionierung des realen Bediengeräts im Trainingsraum kann interaktiv über die virtuelle Darstellung des Fahrzeuginneren in der virtuellen Umgebung zusammen mit der eingeblendeten, insbesondere ungefilterten, Darstellung von Messpunkten als Punktwolke in der virtuellen Umgebung erfolgen. Hierbei kann das Bediengerät markierungslos sein, d. h. keine erfassbaren Markierungen aufweisen. Über die Anzeigevorrichtung kann die virtuelle Darstellung des Bediengeräts visuell wahrgenommen und das reale Bediengerät händisch an die Position, an der es mit dem Bediengerät der virtuellen Darstellung deckungsgleich ist, bewegt werden. Hierzu ist es vorteilhaft, wenn das reale Bediengerät leicht positionierbar und/oder fixierbar ist, insbesondere über Magnete, Nadeln, Schrauben oder Klebemittel oder über Anbindungselemente, wie Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, zusammenwirken. Eine besonders einfache und schnelle Vorgabe einer virtuellen Darstellung, insbesondere eines CAD-Modells eines Fahrzeuginneren kann physisch korrekt abgebildet werden.
Eine weitere erfindungsgemäße Ausgestaltung sieht vor, dass die räumlichen Beschränkungen des Fahrzeuginneren über positionierbare Hindernis-Elemente nachgebildet werden. Durch eine Nachbildung der räumlichen Beschränkung des Fahrzeuginneren kann die Realitätsgetreue des Trainings für das Besatzungsmitglied noch weiter gesteigert werden. Während des Trainings kann das Besatzungsmitglied auf diese Weise realitätsgetreu die Beschränkungen des Fahrzeuginneren jenes realen Fahrzeuges, für welches es trainiert wird, physisch wahrnehmen. Hierbei kann das Besatzungsmitglied entsprechend der räumlichen Beschränkung im Fahrzeuginneren den gleichen Einschränkungen in seiner Bewegungsfreiheit ausgesetzt sein, wie es das Besatzungsmitglied auch in realen Einsatzsituationen im realen Fahrzeug wäre. Die Positionierbarkeit der Hindernis-Elemente kann eine einfache Anpassung des Trainingsraums an unterschiedliche Fahrzeugtypen und/oder Besatzungspositionen, auf welchen das Besatzungsmitglied trainiert werden soll, ermöglichen.
Die Hindernis-Elemente können als plattenförmige Elemente ausgebildet sein. Derartige plattenförmige Elemente können eine hohe Flexibilität bei der Nachbildung des Fahrzeuginneren unterschiedlicher Fahrzeugtypen und/oder unterschiedlicher Besatzungspositionen ermöglichen. Gleichwohl können die Hindernis-Elemente eine komplexere Form und/oder Oberflächenbeschaffenheit aufweisen, mit welchen das Fahrzeuginnere detailgetreuer nachgebildet werden kann.
Die Hindernis-Elemente können insbesondere nach Art von Wandelementen ausgebildet sein. Wandelemente können im Trainingsraum selbstständig stehend ausgebildet sein.
Die einzelnen Hindernis-Elemente können zur Positionierung im Trainingsraum an verstellbaren Schwanenhalshalterungen, Magic-Arms, Gelenkarmen oder Stativen, in ihrer Position und Lage verstellbar positioniert werden. Die Positionierung der Hindernis-Elemente erfolgt vorzugsweise auf die gleiche Art und Weise wie die Positionierung der realen Bediengeräte. Insbesondere können die Hindernis-Elemente auch auf einer oder mehreren Trägerplatten positioniert werden, wie dies obenstehend für die realen Bediengeräte beschrieben ist.
In einer bevorzugten Ausgestaltung wird nur ein Teil der räumlichen Beschränkungen des Fahrzeuginneren über die positionierbaren Hindernis-Elemente nachgebildet. Insbesondere kann die Nachbildung der räumlichen Beschränkung des Fahrzeuginneren auf jene Beschränkungen reduziert werden, welche die Bewegungsfreiheit des Besatzungsmitglieds einschränken können. Auf diese Weise lassen sich die für das Training neuralgischen Stellen im Fahrzeuginneren nachbilden, ohne dass für das Training nicht relevante räumliche Beschränkungen aufwendig nachgebildet werden müssten.
Vorteilhafterweise kann die Positionierung des Hindernis-Elements mittels der virtuellen Umgebung und einer erfassbaren Markierung des Bediengeräts oder einem initialen Einmessen, beispielsweise mit einem Eingabegerät eines VR-Anzeigesystems erfolgen, zu welchem die Anzeigevorrichtung gehört. Das Eingabegerät kann nach Art eines Controllers, insbesondere eines VR-Controllers, ausgebildet sein. In der virtuellen Umgebung kann die Position des mit dem realen Bediengeräts in Berührung bringbaren Controllers zur Überprüfung der korrekten Position des realen Bediengeräts angezeigt werden. Die Erfassung mittels einer Markierung kann dabei in regelmäßigen zeitlichen Abständen zur Laufzeit des Trainings erfolgen, um eine Umpositionierung zu erlauben.
Die Position und Lage der einzelnen Hindernis-Elemente im Trainingsraum kann durch darauf angebrachte Markierungen, insbesondere zur Laufzeit des Trainings und/oder in regelmäßigen zeitlichen Abständen, erfasst werden. Diese können optischer Art sein und/oder mit dem gleichen Erfassungsprinzip erfasst werden, wie die Hände und/oder die realen Bedienelemente. Weiterhin kann die Erfassung der Position und der Lage eines Hindernis-Elements durch eine Messung mittels eines Controllers des VR-Systems erfolgen.
Analog zum Bediengerät kann das Hindernis-Element mit einer visuell passenden, d. h. das Fahrzeuginnere wiedergebenden, Repräsentation in der virtuellen Umgebung zum Training genutzt werden, insbesondere bei aufeinander kalibrierten 3D-Sensorsystemen und VR-Anzeigesystemen. Beispielsweise kann ein aus grauem Schaumstoff gefertigtes Hindernis-Element in der virtuellen Umgebung wie ein glänzendes Wellblech aussehen. Dies ist insbesondere vorteilhaft, wenn ein Fahrzeuginneres nicht unmittelbar vorgegeben ist.
Die Positionierung des realen Hindernis-Elements im Trainingsraum kann interaktiv über die virtuelle Darstellung des Fahrzeuginneren in der virtuellen Umgebung zusammen mit der eingeblendeten, insbesondere ungefilterten, Darstellung von Messpunkten als Punktwolke in der virtuellen Umgebung erfolgen. Hierbei kann das Hindernis-Element markierungslos sein, d. h. keine erfassbaren Markierungen aufweisen. Über die Anzeigevorrichtung kann die virtuelle Darstellung des Fahrzeuginneren visuell wahrgenommen und das reale Hindernis-Element händisch an die Position, an der es mit dem gewünschten Teil der virtuellen Darstellung des Fahrzeuginneren deckungsgleich ist, bewegt werden. Hierzu ist es vorteilhaft, wenn das Hindernis-Element leicht positionierbar und/oder fixierbar ist, insbesondere über Magnete, Nadeln, Schrauben oder Klebemittel oder über Anbindungselemente, wie Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, zusammenwirken. Eine Vorgabe einer virtuellen Darstellung, insbesondere eines CAD-Modells, eines Fahrzeuginneren kann besonders einfach und schnell physisch korrekt nachgebildet werden.
Die oben genannte Aufgabe wird bei einem Trainingssystem zur Durchführung des vorangehend beschriebenen Verfahrens durch ein reales Bediengerät zur Erzielung eines haptischen Feedbacks und einen Sensor zum Erkennen der Hände des Besatzungsmitglieds gelöst.
Bei diesem Trainingssystem ergeben sich die oben im Zusammenhang mit dem Verfahren beschriebenen Vorteile.
Die im Zusammenhang mit dem Verfahren beschriebenen Merkmale können einzeln oder in Kombination auch bei dem Trainingsverfahren zum Einsatz kommen. Es ergeben sich die gleichen Vorteile, welche bereits beschrieben wurden.
Bei dem zur Erkennung der Hände des Besatzungsmitglieds genutzten Sensor kann es sich um ein 3D-Sensorsystem, ein Radarsensor, einen akustischen Sensor oder eine andere Art eines Sensors handeln.
Auf konstruktive einfache Art und Weise kann das Bediengerät eine Basisplatte aufweisen, auf welche reale Bedienelemente in einer dem virtuellen Bediengerät entsprechenden Anordnung angeordnet sind. Auf diese Weise kann kostengünstig und fertigungstechnisch einfach ein reales Bediengerät hergestellt werden. Die Anordnung einzelner Bedienelemente auf der Basisplatte kann beispielsweise über Magnete, Nadeln, Schrauben oder Klebemittel auf der Basisplatte erfolgen. Bevorzugt kann es sich bei der Basisplatte um eine hölzerne oder metallische Platte handeln. Auf einer hölzernen Platte können die Bedienelemente auf einfache Art und Weise, beispielsweise durch ein Verschrauben, zur Anordnung befestigt werden. Auf einer metallischen Basisplatte kann die Befestigung der Bedienelemente, beispielsweise magnetisch, erfolgen. Die Bedienelemente können insbesondere frei auf der Basisplatte angeordnet werden. Alternativ kann die Anordnung über Anbindungselemente erfolgen, insbesondere Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, der Basisplatte zusammenwirken. Die Basisplatte kann hierzu insbesondere nach Art einer Rasterplatte mit in einem regelmäßigen Muster angeordneten Anbindungsstellen ausgebildet sein. Die Basisplatte kann zusammen mit einem oder mehreren an ihr befestigten Bedienelementen, beispielsweise ein Bedienpanel oder ein Armaturenbrett, des realen Fahrzeugs als reales Bediengerät im Trainingsraum nachbilden.
Bei dem Bediengerät kann es sich vorteilhafterweise um eine Lenkrad-Konstruktion handeln. Eine Lenkrad-Konstruktion kann sowohl das eigentliche Lenkrad als auch eine Lenkrad-Säule aufweisen. In vorteilhafter Weise kann die Lenkrad-Konstruktion einen austauschbaren Lenkrad-Aufsatz aufweisen. Mit einem austauschbaren Lenkrad-Aufsatz kann die Lenkrad-Konstruktion an den jeweils zu simulierenden Fahrzeugtyp auf einfache Art und Weise durch Austausch des Lenkrad-Aufsatzes angepasst werden. In besonders vorteilhafter Weise kann der Lenkrad-Aufsatz durch ein 3D-Druckverfahren hergestellt werden. Ein 3D-gedruckter Lenkrad-Aufsatz kann eine schnelle Anpassung der Lenkrad-Konstruktion ermöglichen.
In einer vorteilhaften Ausgestaltung weist das Trainingssystem mehrere Bediengeräte und/oder Hindernis-Elemente nach Art eines Baukastens zur Nachbildung eines Fahrzeuginneren verschiedener Fahrzeugtypen auf. Das Trainingssystem kann durch eine Ausbildung nach Art eines Baukastens hochmodular ausgebildet sein. Abhängig von dem geplanten Training kann das Trainingssystem durch Auswahl und Positionierung der Bediengeräte und/oder Hindernis-Elemente ein Training für unterschiedliche Fahrzeugtypen und/oder unterschiedliche Besatzungspositionen ermöglichen. Die Bediengeräte und/oder Hindernis-Elemente können hierbei in dem Trainingsraum entsprechend dem geplanten Training positioniert und ausgerichtet werden. Hierbei kann es vorgesehen sein, dass nicht sämtliche Bediengeräte und/oder Hindernis-Elemente des Trainingssystems zur Nachbildung des Fahrzeuginneren eines jeden Fahrzeugtyps verwendet werden. Im Unterschied zur bekannten Simulationskabine kann eine schnelle und flexible Anpassung an unterschiedliche Trainingssituationen ermöglicht werden.
In einer konstruktiv vorteilhaften Ausgestaltung der Erfindung sind die Bediengeräte und/oder die Hindernis-Elemente aus leicht zu bearbeitenden Materialien, insbesondere Styropor, Holz oder Kunststoff, hergestellt. Leicht zu bearbeitende Materialien können eine schnelle Anpassung an unterschiedliche Fahrzeuginnere verschiedener Fahrzeugtypen ermöglichen. Reale Bediengeräte aus leichter zu bearbeitenden Materialien können auf besonders einfache Art und Weise angepasst werden. Durch die Verwendung von leicht zu bearbeitenden Materialien kann eine schnelle und keine Spezialmaschine erfordernde Herstellung der Bediengeräte, beispielsweise durch manuelles Bearbeiten oder CNC-Fräsen, erzielt werden. Die realen Bediengeräte können gänzlich aus den leicht zu bearbeitenden Materialien hergestellt sein. Alternativ können die realen Bedienelemente eine aus den leicht zu bearbeitenden Materialien hergestellte Grundkonstruktion, insbesondere eine Basisplatte, aufweisen, auf welche reale Bedienelemente befestigt werden können. Durch die Herstellung aus leicht zu bearbeitenden Materialien kann die Befestigung der realen Bedienelemente besonders einfach und schnell erfolgen. Die Bediengeräte und/oder Hindernis-Elemente können mehrere Materialien kombinieren. Auf diese Weise können unterschiedliche Oberflächenstrukturen zu einer Erzielung einer realitätsgetreuen Haptik des realen Bediengeräts, welche die Haptik des realen Fahrzeug-Bediengeräts besser wiedergibt, beispielsweise durch eine Kombination flexibler und harter Materialien, erzielt werden.
In besonders vorteilhafter Art und Weise sind die realen Bediengeräte und/oder die Hindernis-Elemente als 3D-Druck-Stücke ausgebildet. 3D-Druck-Stücke lassen sich auf besonders einfache und schnelle Art und Weise mittels eines 3D-Druckverfahrens herstellen. 3D-Druck-Stücke ermöglichen eine sehr flexible Anpassung des Trainingssystems an eine geplante Trainingssituation. Insbesondere lassen sich mittels 3D-Druck-Stücken anforderungsabhängig Bediengeräte für ein Training herstellen. Auf eine umfangreiche Vorratshaltung einer Vielzahl von Bediengeräten für unterschiedliche Trainingssituationen kann verzichtet werden. Durch 3D-Druck-Stücke können auch die Hindernis-Elemente anforderungsspezifisch zur Nachbildung eines Fahrzeuginneren eines vorgegebenen Fahrzeugtyps hergestellt werden. Kompliziertere Formen des Fahrzeuginneren können auf arbeitssparende Art und Weise erst dann hergestellt werden, wenn sie für ein Training benötigt werden. Die 3D-Druck-Stücke können Bereiche mit unterschiedlichen haptischen Eindrücken aufweisen, beispielsweise glatt, rau, weich, hart oder flexibel. Als 3D-Druck-Stücke hergestellte reale Bediengeräte können mit funktionstüchtigen beweglichen Teilen hergestellt werden. Auf ein Zusammenbauen nach dem 3D-Druck kann auf einfache Art und Weise verzichtet werden. Beispielsweise kann das reale Bediengerät während des 3D-Drucks bereits mit miteinander mechanisch zusammenwirkenden Komponenten, wie beispielsweise ein Getriebe mit Zahnrädern oder in Aufnahmen bewegliche Schalter, Hebel oder Knöpfe, hergestellt werden.
Weitere Einzelheiten und Vorteile eines erfindungsgemäßen Verfahrens sowie eines Trainingssystems sollen nachfolgend anhand der in den Figuren schematisch dargestellten Ausführungsbespiele der Erfindung exemplarisch erläutert werden. Darin zeigt:

1 eine schematische Darstellung eines Trainingsraums aus einer Draufsicht und einer Seitenansicht sowie eine Draufsicht auf eine virtuelle Umgebung,
2a ein Fahrzeugbediengerät,
2b ein reales Bediengerät,
3a, b zwei Ausführungsbeispiele eines realen Bediengeräts,
4 eine Trägerplatte,
5a-d die Betätigung des realen Bediengeräts und die Anpassung eines virtuellen Bediengeräts,
6a, b eine Hand sowie eine Punktwolkendarstellung der Hand,
7a, b zwei Ausführungsbeispiele eines 3D-Sensorsystems,
8 eine Kalibrierung mehrerer 3D-Sensorsysteme aufeinander,
9 erfindungsgemäße Verfahrensabläufe von einer Erfassung der Hände zu deren Darstellung in einer virtuellen Umgebung und
10 eine Kalibrierung des 3D-Sensorsystems und des Signalgebers aufeinander.

1 zeigt einen Trainingsraum 200 mit einem darin befindlichen Besatzungsmitglied 100, welches in der Bedienung eines realen Fahrzeugs und insbesondere dessen Fahrzeug-Bediengeräten trainiert werden sollen. Der Trainingsraum 200 befindet sich außerhalb des realen Fahrzeugs und kann insbesondere in einem Gebäude eines Trainingscenters untergebracht sein. Das Besatzungsmitglied 100 kann auf diese Weise trainiert werden, ohne dass das reale Fahrzeug selbst hierfür genutzt werden müsste.
Zum Durchführen des Trainings trägt das Besatzungsmitglied 100 eine Anzeigevorrichtung 4, welche nach Art einer VR-Brille ausgebildet ist. Diese Anzeigevorrichtung 4 ist kopffest und im Sichtbereich des Besatzungsmitglieds 100 angeordnet, so dass dem Besatzungsmitglied 100 über die Anzeigevorrichtung 4 eine rein virtuelle Umgebung 2 dargestellt werden kann. Ohne dass das Besatzungsmitglied 100 den Trainingsraum 200 verlassen müsste, kann in der virtuellen Umgebung 2 ein Training hinsichtlich der Bedienung der Fahrzeug-Bediengeräte 300 erfolgen, welche als virtuelle Bediengeräte 3 dargestellt werden. Hierüber hinaus enthält die virtuelle Umgebung 2 auch weitere Darstellungen von nicht real im Trainingsraum 200 vorhandenen Objekten und Gegenständen. In der gezeigten virtuellen Umgebung 2 kann sich das Besatzungsmitglied 100 so beispielsweise in einem Panzerturm 2.1 wiederfinden. Die virtuelle Umgebung 2 weist andere Abmessungen als der Trainingsraum 200 auf. Zwar ist die in 1 gezeigte virtuelle Umgebung 2 des Panzerturms 2.1 größer als der Trainingsraum 200, gleichwohl können die Abmessungen der virtuellen Umgebung 2 auch kleiner als der Trainingsraum 200 ausfallen. Zudem lassen sich auch andere Objekte, wie beispielsweise eine Waffe 2.2 des Panzerturms 2.1, in dieser virtuellen Umgebung 2 darstellen.
Zur Steigerung der Realitätsgetreue des Trainings sind in dem Trainingsraum 200 reale Bediengeräte 5 angeordnet, welche dem Besatzungsmitglied 100 ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts 3 geben. Die realen Bediengeräte 5 sind derart in dem Trainingsraum 200 angeordnet, so dass ihre relative Position und Lage zum Besatzungsmitglied 100 jener Position und Lage des virtuellen Bediengeräts 3 zum Besatzungsmitglied 100 in der virtuellen Umgebung 2 entsprechen. Das reale Bediengerät 5 befindet sich somit im Trainingsraum 200 an der gleichen Position, wie das virtuelle Bediengerät 3, welches dem Besatzungsmitglied 100 in der virtuellen Umgebung 2 dargestellt wird. Da das Besatzungsmitglied 100 über die Anzeigevorrichtung 4 visuell lediglich die virtuelle Umgebung 2 wahrnimmt, ermöglicht das haptische Feedback des dem virtuellen Bediengerät 3 zugeordneten realen Bediengeräts 5, in der Wahrnehmung des Besatzungsmitglieds 100 dieses virtuelle Bediengerät 3 zu ertasten. Das Besatzungsmitglied 100 streckt hierzu seine Hand 101 zur Betätigung des ihm in der virtuellen Umgebung 2 angezeigten virtuellen Bediengeräts 3 aus und kommt mit dem realen Bediengerät 5 in Kontakt, welches relativ zum Besatzungsmitglied 100 an der gleichen Position und Lage wie das virtuelle Bediengerät 3 angeordnet ist.
Um dem Besatzungsmitglied 100 ein Umsehen in der virtuellen Umgebung 2 zu ermöglichen, sind in dem Trainingsraum 200 zwei Signalgeber 18 angeordnet. Über diese Signalgeber 18 kann die Position und Lage der Anzeigevorrichtung 4 und somit auch die Position und Lage des Besatzungsmitglieds 100 im Trainingsraum 200 bestimmt werden. Hierzu senden die ortsfesten Signalgeber 18 Positionssignale in den Trainingsraum 200 aus, welche von der Anzeigevorrichtung 4 empfangen werden. Die Anzeigevorrichtung 4 und die Signalgeber 18 sind derart aufeinander synchronisiert, dass aus der empfangenen Zeitdifferenz zwischen dem Aussenden der Positionssignale von einem der Signalgeber 18 bis zum Empfangen jenes Positionssignals durch die Anzeigevorrichtung 4 der Abstand zwischen den jeweiligen Signalgebern 18 und der Anzeigevorrichtung 4 bestimmt werden kann. Über die bekannten Abstände zwischen den ortsfesten Signalgebern 18 und der Anzeigevorrichtung 4 wird anschließend eine Triangulation der Position der Anzeigevorrichtung 4 im Trainingsraum 200 durchgeführt. Die Anzeigevorrichtung 4 verfügt hierüber hinaus über in der Figur nicht dargestellte Sensoren, insbesondere Lagesensoren, mit welchen auch die Bestimmung der Lage der Anzeigevorrichtung 4 im Trainingsraum 200 möglich ist. Auf diese Weise kann ein Verkippen oder Neigen der Anzeigevorrichtung 4, welche in einem entsprechenden Kippen oder Neigen des Kopfes des Besatzungsmitglieds 100 entspricht, detektiert und bei der Anzeige der virtuellen Umgebung 2 auf der Anzeigevorrichtung 4 berücksichtigt werden.
Da das Besatzungsmitglied 100 über die Anzeigevorrichtung 4 lediglich die virtuelle Umgebung 2 und nicht das Innere des realen Trainingsraums 200 sieht, kann das Besatzungsmitglied 100 auch nicht die Position und Lage seiner eigenen Hände 101 unmittelbar optisch wahrnehmen. Um die Hände 101 des Besatzungsmitglieds 100 in der virtuellen Umgebung 2 darstellen zu können, um so ein realitätsgetreueres Trainingserlebnis für das Besatzungsmitglied 100 bereitzustellen, sind in dem Trainingsraum 200 mehrere Sensoren zur Erkennung der Hände 101 des Besatzungsmitglieds 100 angeordnet. In den hier dargestellten Ausführungsbeispielen handelt es sich bei den Sensoren um 3D-Sensorsysteme 7, welche insbesondere als 3D-Kamerasysteme ausgebildet sind. Gleichwohl können für die Handerkennung auch andere Sensoren als die hier dargestellten 3D-Sensorsysteme 7 verwendet werden. Bei den nachfolgend weiter beschriebenen Ausführungsbeispielen kann das 3D-Sensorsystem 7 daher auch durch andere zur Handerkennung geeignete Sensoren ersetzt werden.
Mit dem 3D-Sensorsystem 7 wird der Aktionsbereich 201 des Besatzungsmitglieds 100 im Trainingsraum 200 überwacht. Bei dem Aktionsbereich 201 handelt es sich um den sich vom realen Bediengerät 5 aus in Richtung des Besatzungsmitglieds 100 erstreckenden Raumbereich innerhalb des Trainingsraums 200. In diesem Aktionsbereich 201 bewegen sich die Hände 101 des Besatzungsmitglieds 100 zur Betätigung der realen Bediengeräte 5.
Wie in 1 zu erkennen ist, ist eines der 3D-Sensorsysteme 7 hinter dem Besatzungsmitglied 100 seitlich und nach oben versetzt im Trainingsraum 200 angeordnet. Dieses 3D-Sensorsystem 7 wirft hierbei einen Über-Schulter-Blick auf den Aktionsbereich 201, so dass nach Möglichkeit eine Verdeckung oder Abschattung der Hände 101 im Aktionsbereich 201 vermieden werden kann. Auch wenn das Besatzungsmitglied 100 seine Hände 101 zur Betätigung des realen Bediengeräts 5 weit in den Aktionsbereich 201 ausstreckt, ermöglicht dieser Über-Schulter-Blick eine weitgehend ungestörte Erfassung der Hände 101 des Besatzungsmitglieds 100 innerhalb der Grenzen des Sensorbereichs 7.1, ohne dass die Hände 101, beispielsweise durch die Arme des Besatzungsmitglieds 100, verdeckt werden.
Da sich das Besatzungsmitglied 100 im Trainingsraum 200 weitgehend frei bewegen kann, ist es trotz dieses Über-Schulter-Blicks nicht ausgeschlossen, dass es zu einem Verdecken der Hände 101 des Besatzungsmitglieds 100 kommt, wenn dieses beispielsweise eine andere als die in 1 dargestellte und der Ausgangsposition zum Beginn des Trainings entsprechende Position einnimmt. Um dennoch die Position und die Lage der Hände 101 des Besatzungsmitglieds 100 erfassen zu können, ist in dem Trainingsraum 200 noch ein weiteres 3D-Sensorsystem 7 angeordnet. Dieses ist unterhalb des realen Bediengeräts 5 und vom Besatzungsmitglied 100 zur Seite versetzt angeordnet, so dass es von schräg unten auf den Aktionsbereich 201 blickt. Eine solche Anordnung der 3D-Sensorsysteme 7 bringt den Vorteil mit sich, dass auch, wenn die Hände 101 im Aktionsbereich 201 aus Sicht eines der 3D-Sensorsysteme 7 verdeckt oder abgeschattet werden, die Position der Hände 101 gleichwohl durch das andere 3D-Sensorsystem 7 erfasst werden kann.
Wenngleich die hier dargestellten Ausführungen dieses Beispiels lediglich mit zwei 3D-Sensorsystemen 7 dargestellt sind, so können in dem Trainingsraum 200 gleichwohl auch darüber hinaus weitere 3D-Sensorsysteme 7 angeordnet werden, wodurch die Wahrscheinlichkeit einer Verdeckung der Hände 101 gegenüber sämtlichen 3D-Sensorsystemen 7 weiter verringert werden kann und die Zuverlässigkeit der Erfassung von Position und Lage der Hände 101 weiter gesteigert wird.
Zudem sind in dem Trainingsraum 200 auch positionierbare Hindernis-Elemente 19 angeordnet. Aus Gründen der Übersichtlichkeit ist in 1 lediglich ein Hindernis-Element 19 dargestellt, wobei auch weitere Hindernis-Elemente 19 in dem Trainingsraum 200 angeordnet sein können. Mit diesem Hindernis-Element 19 können die räumlichen Beschränkungen des Fahrzeuginneren eines realen Fahrzeugs wiedergegeben werden. Bei dem Training stimmen diese räumlichen Beschränkungen dabei mit den räumlichen Gegebenheiten überein, wie sie in der virtuellen Umgebung 2 vorhanden und dem Besatzungsmitglied 100 über die Anzeigevorrichtung 4 dargestellt werden. Bewegt sich das Besatzungsmitglied 100 innerhalb des Trainingsraums 2 derart, dass dies zu einer Kollision mit weiteren Elementen im Fahrzeuginneren oder der Fahrzeugwand führen würde, so wird durch das Hindernis-Element 19 ein entsprechendes Feedback an das Besatzungsmitglied 100 gegeben. Anders als bei anderen rein virtuellen Simulationen, bei welchen virtuelle Wände auf einfache Weise durchdrungen werden können, wird durch ein Anstoßen an das Hindernis-Element 19, welches sich an der gleichen Position relativ zum Besatzungsmitglied 100 im Trainingsraum 200 wie ein entsprechendes virtuelles Hindernis 2.3 - hier ein Teil der Innenwand des Panzerturms 2.1 - in der virtuellen Umgebung 2 befindet, ein Durchdringen eines solchen virtuellen Hindernisses realitätsgetreu verhindert.
Wie in der 1 dargestellt, bildet die Kombination aus Anzeigevorrichtung 4, realem Bedienelement 5, 3D-Sensorsystem 7 und Signalgeber 18 ein konstruktiv einfaches Trainingssystem 1. Je nach Anwendungsfall kann das Trainingssystem 1 in unterschiedlichen Trainingsräumen 200 eingerichtet werden. Auf diese Weise lässt sich beispielsweise ein ansonsten als Büro genutzter Raum zu einem Trainingsraum 200 für ein virtuelles Training umfunktionieren. Die einzelnen Komponenten des Trainingssystems 1 können je nach zu simulierendem Fahrzeugtyp anders in dem Trainingsraum 200 eingerichtet werden und der Trainingsraum 200 auf diese Weise flexibel an ein durchzuführendes Training angepasst werden. Das Trainingssystem 1 umfasst darüber hinaus noch weitere, nicht in dem dargestellten Training zum Einsatz kommende Elemente, wie weitere reale Bediengeräte 5 oder Hindernis-Elemente 19, welche eine andere Form als das in 1 dargestellte Hindernis-Element 19 aufweisen. Das Trainingssystem 1 ist nach Art eines Baukastens ausgebildet, mit welchem variabel das Fahrzeuginnere verschiedener Fahrzeugtypen trainingsabhängig nachgebildet werden können.
In 2a ist ein Fahrzeug-Bediengerät 300 gezeigt, wie es in einem Fahrzeug verbaut ist und für dessen Bedienung das Besatzungsmitglied 100 mittels des Trainingssystems 1 trainiert werden soll. Im realen Fahrzeug dient dieses Fahrzeug-Bediengerät 300 der Steuerung sowie der Anzeige von Fahrzeugfunktionen und Fahrzeugzuständen, beispielsweise die Steuerung der Fahrzeugbeleuchtung oder einer Waffe, die Anzeige der Einsatzbereitschaft einer Waffe oder der Bedienung eines Funkgerätes. Hierzu weist das Fahrzeug-Bediengerät 300 mindestens ein Fahrzeug-Bedienelement 301 auf, über welches das Besatzungsmitglied 100 durch Betätigung des Fahrzeug-Bedienelements 301 und damit durch Betätigung des Fahrzeug-Bediengeräts 300 eine entsprechende Bedienungseingabe tätigen kann.
Bei dem dargestellten Fahrzeug-Bediengerät 300 sind insgesamt sechs Fahrzeug-Bedienelemente 301 von insgesamt drei unterschiedlichen Typen vorgesehen. Bei diesen Fahrzeug-Bedienelementen 301 handelt es sich zum einen um drei nebeneinander angeordnete Kippschalter 301a, von denen der rechte Kippschalter 301a in einer unteren und die beiden anderen Kippschalter 301a in einer oberen Kippstellung dargestellt sind. Hierunter ist ein Drehregler 301b angeordnet, welcher in unterschiedliche Drehstellungen gebracht werden kann. Damit das Besatzungsmitglied 100 im Fahrzeug diese Drehstellung des Drehreglers 301b erkennen kann, ist der Drehregler 301b mit einem Pfeil versehen, welcher es dem Besatzungsmitglied 100 ermöglicht, auf einen ersten Blick die Drehstellung des Drehreglers 301b visuell wahrzunehmen. Neben dem Drehregler 301b ist eine Taste 301c angeordnet, welche von dem Besatzungsmitglied 100 durch Drücken betätigt werden kann. Unter dem Drehregler 301b und der Taste 301c ist ein Schlüsselschalter 301d angeordnet. In diesen Schlüsselschalter 301d wird zur Betätigung ein Schüssel 301e eingesteckt, welcher in 2a bereits eingesteckt dargestellt ist. Durch den Schlüssel 301e wird eine Drehverriegelung des Schlüsselschalters 301d freigegeben, so dass das Besatzungsmitglied 100 über ein Drehen des Schlüssels 301 e den Schlüsselschalter 301 d betätigen kann.
Oberhalb der Fahrzeug-Bedienelemente 301 weist das dargestellte Fahrzeug-Bediengerät 300 mehrere Fahrzeug-Anzeigeelemente 302 auf, welche nach Art von Lampen ausgebildet sind. Die einzelnen Fahrzeug-Anzeigeelemente 302 können unterschiedliche Funktionsstellungen der Fahrzeug-Bedienelemente 301 anzeigen und/oder zur Darstellung unterschiedlicher Fahrzeugzustände oder Zuständen von fahrzeugverbauten Geräten, wie Funkgeräten oder einem Waffensystem, dienen. Die sich zwischen den Fahrzeug-Bedienelementen 301 sowie den Fahrzeug-Anzeigeelementen 302 erstreckende Oberfläche 303 des Fahrzeug-Bediengeräts 300 kann weitere Anzeigen, wie beispielsweise feste Skalen für den Drehregler 301b oder Beschriftungen aufweisen. Darüber hinaus zeichnet sich die Oberfläche 303 durch ihre Struktur und Textur aus, welche das Besatzungsmitglied 100 ertasten kann und so eine praktische Wahrnehmung des Fahrzeug-Bediengeräts 300 gestattet und zudem je nach Struktur der Oberfläche 303, d. h. deren Oberflächenverlauf im dreidimensionalen Raum, eine Bedienung des Fahrzeug-Bediengeräts 300 erleichtern kann. Hierzu kann die Oberfläche 303 beispielsweise in 2a nicht dargestellte Bereiche aufweisen, an welchen das Besatzungsmitglied 100 seine Hand 101 zur präziseren Bedienung des Fahrzeug-Bediengeräts 300 abstützen kann.
Das in der 2a dargestellte Fahrzeug-Bediengerät 300 stellt lediglich ein exemplarisches Beispiel dar. Je nach Fahrzeugtyp und Besatzungsposition können auch andere Fahrzeug-Bediengeräte 300 mit hiervon abweichenden Abmessungen, anders angeordneten Fahrzeug-Bedienelementen 301 und Fahrzeug-Anzeigeelementen 302 oder mit anderen oder weiteren Fahrzeug-Bedienelementen 301 und Fahrzeug-Anzeigeelementen 302, auch eines anderen Typs, vorgesehen sein. Beispielsweise kann es sich bei dem Fahrzeug-Bediengerät 300 auch um ein Lenkrad oder ein Pedal handeln.
In 2b ist ein reales Bediengerät 5 dargestellt, wie es zum Training des Besatzungsmitglieds 100 erfindungsgemäß verwendet wird. Dieses reale Bediengerät 5 ist dem in 2a dargestellten Fahrzeug-Bediengerät 300 nachgebildet, wobei insbesondere die relative Position der realen Bedienelemente 5.1 jenen der Fahrzeug-Bedienelementen 301 entspricht. Wie auch bei den Fahrzeug-Bediengerät 300 weist das reale Bediengerät 5 insgesamt sechs reale Bedienelemente 5.1 auf. Auch beim realen Bediengerät 5 sind dies drei nebeneinander angeordnete Kippschalter 5.1a, wobei der linke Kippschalter 5.1a in einer unteren und die übrigen beiden Kippschalter 5.1a in einer oberen Kippstellung dargestellt sind, welche den Kippstellungen der Kippschalter 301a entsprechen.
Da die Anforderungen an das reale Bediengerät 5 geringer sind als jene an das Fahrzeug-Bediengerät 300, da dieses beispielsweise keinen Einsatz während einer rauen Geländefahrt wie das Fahrzeug-Bediengerät 300 ohne Funktionseinschränkungen überstehen muss, kann ein anderes Kippschalterfabrikat für die Kippschalter 5.1a verwendet werden als dies beim Kippschalter 301a des Fahrzeug-Bediengeräts 300 der Fall ist. Dieses einfachere Fabrikat eines Bedienelements 5.1 kann beispielsweise weniger robust ausgebildet sein, so dass sich hierdurch Kosten in der Anschaffung des realen Bedienelements 5.1 einsparen lassen. Dieser Fabrikatunterschied ist in der 2b durch das Fehlen des schematischen Kastens, wie er in 2a um die Kippschalter 301a gezeigt ist, um den Kippschaltern 5.1a angedeutet.
Unter diesen Kippschaltern 5.1a angeordnet, weist das reale Bediengerät 5 einen Drehregler 5.1b auf, welcher durch ein Drehen in unterschiedlichen Stellungen gebracht werden kann. Im Unterschied zum Drehregler 301b ist dieser Drehregler 5.1b jedoch einfacher ausgestattet und weist beispielsweise nicht den Pfeil des Drehreglers 301b auf. Neben dem Drehregler 5.1b ist eine Taste 5.1c in der gleichen relativen Position zu den übrigen realen Bedienelementen 5.1 angeordnet, wie die Taste 301c relativ zu den Fahrzeug-Bedienelementen 301.
Im unteren Bereich weist das reale Bediengerät 5 einen Drehschalter 5.1d auf, welcher an die Position des Schlüsselschalters 301b des Fahrzeug-Bedienelements 301 tritt. Auf diese Weise kann der komplizierte und einen Schlüssel 301e erfordernde Schlüsselschalter 301d des Fahrzeug-Bediengeräts 300 auf einfachere Weise nachgebildet werden. Der Drehschalter 5.1d weist hierbei einen fest mit ihm verbundenen Griff 5.1e auf, welcher an die Stelle des Schlüssels 301e zur Betätigung tritt.
Anders als das Fahrzeug-Bediengerät 300 mit seinen Fahrzeug-Anzeigeelementen 302 weist das reale Bediengerät 5 keine Anzeigeelemente auf. Derartige Anzeigeelemente bei dem realen Bediengerät 5 vorzusehen, ist für das erfindungsgemäße Verfahren nicht erforderlich, da das Besatzungsmitglied 100 durch die Anzeigevorrichtung 4 ohnehin lediglich die rein virtuelle Umgebung 2 wahrnimmt und somit etwaig an dem realen Bediengerät 5 vorhandene Anzeigevorrichtungen nicht wahrnehmen könnte.
Das reale Bediengerät 5 weist in der in der 2b dargestellten Ausführungsform zusätzlich einen als Markierung an ihm angebrachten Marker 14 auf, welcher hier nach Art eines QR-Codes ausgebildet ist. Über diesen Marker 14 kann das reale Bediengerät 5 bei der Durchführung des Verfahrens erkannt werden. Durch die zweidimensionale Ausgestaltung des Markers 14 kann dieser zusätzlich auch eine Bestimmung der Position und Lage des realen Bediengeräts 5 im Trainingsraum 200 ermöglichen.
In der einfachsten Ausgestaltung des realen Bediengeräts 5 weist dieses lediglich eine plane Oberfläche 21 auf, welche nicht der Oberfläche 303 des Fahrzeug-Bediengeräts 300 nachgebildet ist. Die ermöglicht eine konstruktiv einfache Nachbildung des Fahrzeug-Bediengeräts 300, in dem lediglich die in erster Linie für das Trainingsverfahren relevante relative Lage der Bedienelemente 5.1 gemäß jenen Fahrzeug-Bedienelementen 301 nachgebildet werden, welche durch die virtuellen Bediengeräte 3 simuliert werden. Hierbei können die realen Bedienelemente 5.1 und somit das gesamte reale Bediengerät 5 dem Besatzungsmitglied 100 ein haptisches Feedback geben, welches jenem Feedback entspricht, welches das Besatzungsmitglied 100 bei einer Betätigung der Fahrzeug-Bedienelemente 301 im realen Fahrzeug erfahren würde. Gleichwohl kann das reale Bediengerät 5 auch weitere Merkmale des Fahrzeug-Bediengeräts 300 insbesondere dessen Oberfläche 303 nachbilden, wie dies im Zusammenhang mit den 3 nachfolgend näher beschrieben wird. Um das reale Bediengerät 5 im Trainingsraum 200 positionieren zu können, weist dieses Anbindungselemente 6 auf, welche im dargestellten Ausführungsbeispiel nach Art von gelochten Laschen ausgebildet sind. Über diese Anbindungselemente 6 kann beispielsweise eine Schraubverbindung hergestellt werden, mit welcher das reale Bediengerät 5 im Trainingsraum 200 angeordnet werden kann.
Die 3a zeigt eine einfache Ausgestaltung des realen Bediengeräts 5 in einer Seitenansicht. Wie zu erkennen ist, weist das reale Bediengerät 5 einen Kippschalter 5.1a sowie einen Drehregler 5.1b auf. Diese beiden realen Bedienelemente sind auf einer Basisplatte 20 befestigt, bei welcher es sich beispielsweise um eine Holz- oder Metallplatte handeln kann, und die eine einfache Befestigung der realen Bedienelemente 5.1 ermöglicht. Die realen Bedienelemente sind hierbei nicht elektrisch verbunden, so dass diese dem Besatzungsmitglied 100 lediglich ein haptisches Feedback geben. Die einzelnen Bedienelemente 5.1 können hierbei entweder mechanisch betätigbar sein, beispielsweise kann es sich hier um funktionstüchtige 3D-Ausdrucke nach Art eines rein haptischen Dummys oder auch elektrische funktionstüchtige Bedienelemente handeln, welche lediglich in keinem Schaltkreis eingebunden sind. Alternativ kann es sich bei den realen Bedienelementen 5.1 auch um starre Nachbildungen der Fahrzeug-Bedienelemente 301 handeln, welche mechanisch nicht in ihrer Stellung veränderbar sind und dem Besatzungsmitglied 100 so als rein haptischer Dummy ein passives haptisches Feedback lediglich hinsichtlich der Position und Lage des realen Bedienelements 5.1 liefert. Ein derartiges, auch mechanisch nicht funktionstüchtiges reales Bediengerät 5 ermöglicht bei dem Training jedoch kein Feedback hinsichtlich einer Betätigungsstellung des dem Besatzungsmitglieds 100 dargestellten virtuellen Bedienelements 3.1 des virtuellen Bediengeräts 3.
Auf der den realen Bedienelementen 5.1 gegenüberliegenden Seite der Basisplatte 20 sind zwei Anbindungselemente 6 nach Art von Steckstiften ausgebildet, welche in korrespondierend ausgebildeten Anbindungsstellen im Trainingsraum 200 eingesteckt werden können, um so das reale Bediengerät 5 frei positionieren zu können.
In 3b ist ein aufwendigeres reales Bediengerät 5 gezeigt. Auch dieses weist Anbindungselemente 6 auf, welche zur Befestigung einer Basisplatte 20 im Trainingsraum 200 genutzt werden können. Wie auch das in 3a gezeigte einfache reale Bediengerät 5, weist auch dieses reale Bediengerät 5 reale Bedienelemente 5.1 auf, bei welchen es sich zum einen um einen Kippschalter 5.1a und eine Taste 5.1c handelt. Anders als bei dem konstruktiv einfachen Ausführungsbeispiel in 3a sind diese realen Bedienelemente 5.1 nicht nur mechanisch, sondern auch elektrisch funktionsfähig. So wird von dem in 3b gezeigten realen Bediengerät 5 ein elektrisches Signal bei Betätigung eines der realen Bedienelemente 5.1 erzeugt. Hierzu sind die realen Bedienelemente 5.1 über Schaltkreisbahnen 26 in einen Schaltkreis integriert. Von einer Energieversorgung 23 werden diese realen Bedienelemente 5.1 mit Energie versorgt. Durch Betätigung des realen Bedienelements 5.1, beispielsweise durch ein Umlegen des Kippschalters 5.1a, kann ein Stromkreis geschlossen und so ein elektrisches Signal erzeugt werden. Im dargestellten Ausführungsbeispiel wäre dies beispielsweise ein Schließen des Stromkreises zwischen der Energieversorgung 23 und einem Mikrocontroller 25 über den Kippschalter 5.1a.
In dem Mikrocontroller 25 können die einzelnen elektrischen Signale der realen Bedienelemente 5.1 zusammenlaufen und verarbeitet werden. Anschließend werden die Signale an ein WLAN-Modul 24 übermittelt, welche eine Datenübertragung von dem realen Bediengerät 5 zu einem hier nicht dargestellten Server oder Trainingsrechner ermöglicht. Über das elektrische Signal wird auf diese Weise die Veränderung des realen Bediengeräts 5 erfasst und zur Beeinflussung der virtuellen Umgebung 2 weiterverwendet.
In 3b ist eine kabellose Umsetzung dargestellt, wobei gleichwohl auch eine kabelgebundene Umsetzung des realen Bediengeräts 5 möglich ist, bei welchem sowohl die Energieversorgung als auch die Datenübertragung nicht über die hier als kapazitives Element dargestellte Energieversorgung 23 und das WLAN-Modul 24, sondern je über ein in das reale Bediengerät 5 hineinführendes Kabel erfolgt.
Hierüber hinaus weist das reale Bediengerät 5 der 3b eine Oberfläche 21 auf, welcher der Oberfläche des virtuellen Bediengeräts 3 nachgebildet ist. Da das virtuelle Bediengerät 3 selbst wiederum dem Fahrzeug-Bediengerät 300 nachgebildet ist, stellt somit auch die Oberfläche 21 des realen Bediengeräts 5 eine Nachbildung der Oberfläche 303 des Fahrzeug-Bediengeräts 300 dar. Die Oberfläche 21 kann dem Besatzungsmitglied 100 sowohl eine realitätsgetreue Auflage für seine Hand 101 bei der Betätigung der einzelnen Bedienelemente 5.1 des realen Bediengeräts 5 bieten als auch eine Haptik bereitstellen, welche jener des Fahrzeug-Bediengeräts 300 entspricht. Die Oberfläche 21 kann insbesondere hinsichtlich ihrer Rauigkeit, Glätte, Festigkeit und sonstiger Struktur jener Oberfläche 303 des Fahrzeug-Bediengeräts 300 nachgebildet sein.
Wie auch das Hindernis-Element 19 kann das sowohl in 3a als auch in 3b gezeigte reale Bediengerät 5 aus leicht zu bearbeitenden Materialien hergestellt sein, insbesondere aus Kunststoff. Insbesondere das in 3b dargestellte reale Bediengerät 5 kann mittels eines 3D-Druckverfahrens hergestellt werden, ohne dass ein späteres Zusammensetzen erforderlich ist. Bei diesem 3D-Druckverfahren können die elektrischen Schaltkreise von vornherein in das 3D-Druck-Stück während des Ausdruckens eingefügt werden. Insbesondere die realen Bedienelemente 5.1 können bei einem 3D-Druck-Stück mit mechanisch zusammenwirkenden und ineinandergreifenden beweglichen Teilen ohne die Notwendigkeit eines späteren Zusammenbaus ausgedruckt werden.
In 4 ist eine Trägerplatte 12 gezeigt, auf welche das reale Bediengerät 5 positioniert werden kann. Bei der Trägerplatte 12 kann sich um eine einfache Holzplatte handeln, auf welche ein reales Bediengerät 5, wie in 2b dargestellt, über laschenförmige Anbindungselemente 6 verschraubt werden kann. Hierbei ist das reale Bediengerät frei auf der Trägerplatte 12 positionierbar, welche wiederum frei im Trainingsraum 200 positioniert werden kann. Die Ausgestaltung der Trägerplatte 12, wie sie in 4 dargestellt ist, weist hierüber hinaus zusätzlich Anbindungsstellen 12.1 auf. Diese Anbindungsstellen 12.1 sind in einem regelmäßigen Muster auf der Trägerplatte 12 angeordnet. In diesen Anbindungsstellen 12.1 können Anbindungselemente 6 der realen Bediengeräte 5 zur Befestigung und somit zur Positionierung im Trainingsraum 200 eingreifen. Wie in den 3 und 4 dargestellt, sind die Anbindungselemente 6 und die Anbindungsstellen 12.1 derart ausgestaltet, dass sie nach Art einer Steckverbindung zusammenwirken. Gleichwohl können sie auch nach Art von Rastverbindungen, Klemmverbindungen oder Nutenführungen zusammenwirkend ausgebildet sein.
In 5 ist die Betätigung des realen Bediengeräts 5 sowie die Anpassung des virtuellen Bediengeräts 3 hieran dargestellt. Der Aufbau des in 5 dargestellten realen Bediengeräts 5 entspricht jenen des in 2b dargestellten realen Bediengeräts 5. Der mittlere Kippschalter 5.1a des realen Bediengeräts 5 befindet sich in 5a in seiner oberen Kippstellung. Während des Trainings sieht das Besatzungsmitglied 100 über die Anzeigevorrichtung 4 nicht das reale Bediengerät 5, sondern das in 5b dargestellte virtuelle Bediengerät 3. Dieses virtuelle Bediengerät 3 ist eine virtuelle Nachbildung des in 2a dargestellten Fahrzeug-Bediengeräts 300. Neben virtuellen Bedienelementen 3.1 weist dieses virtuelle Bediengerät 3 auch virtuelle Anzeigeelemente 3.2 auf, welche als Art von Lampen dargestellt sind. Die Betätigungsstellungen der virtuellen Bedienelemente 3.1 entsprechen jenen Betätigungsstellungen des realen Bediengeräts 5.
Will das Besatzungsmitglied 100 nun während des Trainings das virtuelle Bediengerät 3 betätigen, so streckt es seine Hand 101 aus, bis diese mit dem realen Bediengerät 5 in Kontakt kommt. Das reale Bediengerät 5 gibt dem Besatzungsmitglied 100 auf diese Weise ein haptisches Feedback, so dass dieser in seiner Wahrnehmung das real nicht vorhandene virtuelle Bediengerät 3 ertasten kann. Im hier dargestellten Beispiel erfolgt die Betätigung des realen Bediengeräts 5 durch das Umlegen des mittleren Kippschalters 5.1a von seiner oberen Kippstellung in eine untere Kippstellung, wie dies in 5c dargestellt ist. Diese Betätigung des realen Bediengeräts 5 führt zunächst lediglich zu einer Änderung des realen Bediengeräts 5, ohne dass dies dem Besatzungsmitglied 100 visuell über die Anzeigevorrichtung 4 dargestellt wird. Um dem Besatzungsmitglied 100 auch eine visuelle Rückmeldung über die durchgeführte Betätigung zu geben, wird die Betätigung des realen Bediengeräts 5 erfasst. Dies kann entweder über eine hier nicht dargestellte Gestenerkennung erfolgen, bei welcher die Handbewegung des Besatzungsmitglieds 100 bei der für die jeweilige Betätigung charakteristischen Bewegung verfolgt und als entsprechende Betätigung des realen Bediengeräts erkannt wird. Alternativ oder zusätzlich kann die Erfassung der Betätigung des realen Bediengeräts 5 durch die Erfassung der Veränderung des realen Bediengeräts 5 erfolgen. Dies kann beispielsweise, wie im Zusammenhang mit 3b beschrieben, mittels eines elektrischen Signals erfolgen, welches bei der Betätigung des realen Bediengeräts 5 erzeugt wird.
Die erfasste Betätigung des realen Bediengeräts 5, welche von 5a zur 5c in der Veränderung der Kippstellung des Kippschalters 5.1a liegt, wird durch einen hier nicht dargestellten Server oder Trainingsrechner verarbeitet. Hieran anschließend wird abhängig von der erfassten Betätigung die virtuelle Umgebung 2 verändert. Diese Veränderung entspricht in der 5d der Anpassung des virtuellen Bedienelements 3.1 an die geänderte Betätigungsstellung des realen Bedienelements 5.1a, so dass auch das als mittlerer Kippschalter dargestellte virtuelle Bedienelement 3.1 nunmehr in einer unteren Kippstellung dargestellt wird. Hierüber hinaus erfolgt mit dem Aufleuchten des virtuellen Anzeigeelements 3.2 eine weitere Veränderung der virtuellen Umgebung 2, was einer Reaktion auf die Betätigung entspricht, wie sie auch in einem realen Fahrzeug bei Betätigung eines Fahrzeug-Bedienelements 301 eines Fahrzeug-Bediengeräts 300 erfolgen würde.
In 6 ist eine mögliche Erfassung der Lage und Position der Hand 101 des Besatzungsmitglieds 100 dargestellt. 6a zeigt hierbei die Hand 101 des Besatzungsmitglieds 100, welche sich innerhalb der Grenzen des Sensorbereichs 7.1 des 3D-Sensorsystems 7 befindet. Um die Position und Lage der Hand 101 zu erfassen, misst das 3D-Sensorsystem 7 die Position einer Vielzahl einzelner Punkte auf der Hand 101. Die einzeln zu messenden Punkte werden in der virtuellen Umgebung 2, wie in 6b gezeigt, als Punkte 13.1 einer Punktwolke 13 dargestellt. Wenngleich die einzelnen Punkte 13.1 in 6b in einem unregelmäßigen Muster angeordnet sind, können die Punkte 13.1 sowie die mit ihnen korrespondierenden Messpunkte auf der Hand 101 des Besatzungsmitglieds 100 auch in einem regelmäßigen Muster angeordnet sein. Die in der virtuellen Umgebung 2 dargestellte Punktwolke 13 ermöglicht es, dem Besatzungsmitglied 100 seine Hand 101 in der virtuellen Umgebung 2 visuell wahrzunehmen, ohne diese unmittelbar zu sehen.
Zwei mögliche Ausführungsformen des 3D-Sensorsystems 7 sowie die Bestimmung der Position der Hand 101 mit diesen ist in den 7a und 7b dargestellt. Mit den dargestellten 3D-Sensorsystemen 7 lässt sich hierbei nicht nur die Position und Lage der Hand 101 des Besatzungsmitglieds 100 erfassen, sondern sie eignen sich auch vielmehr dazu, auch andere Objekte im Aktionsbereich 201, wie beispielsweise dessen Arme 102 oder gesamten den Körper oder das reale Bediengerät 5, zu erfassen.
Das in 7a dargestellte 3D-Sensorsystem 7 umfasst eine Farbkamera 9, welche zwischen zwei Teilkameras 8.1 einer stereo-optischen Tiefenkamera 8 angeordnet ist. Die Farbkamera 9 kann ein zweidimensionales Farbbild innerhalb der Grenzen des Sensorbereichs 7.1 erfassen. Mittels der Farbkamera 9 kann den Punkten 13.1 der Punktwolke 13 ein jeweiliger Farbwert zugeordnet werden, welcher jenem Farbwert der korrespondierenden Punkte im Trainingsraum 200 entspricht.
Mit den beiden Teilkameras 8.1 der stereo-optischen Tiefenkamera 8 lässt sich der Abstand A der Hand 101 zu dem 3D-Sensorsystem 7 messen. Hierzu nimmt jede der Teilkameras 8.1 simultan ein eigenständiges Bild der Hand 101 auf. Da die Hand 101 im Trainingsraum 200 von den beiden Teilkameras 8.1 jeweils in einem anderen Raumwinkel α, B relativ zu ihrer jeweiligen Geradeausrichtung R gesehen wird und der Abstand der beiden Teilkameras 8.1 zueinander konstruktiv bekannt ist, kann der Abstand A einzelner Punkte auf der Hand 101 und somit auch der gesamten Hand 101 durch Triangulation ermittelt werden.
In 7b ist ein weiteres 3D-Sensorsystem 7 gezeigt, welches ebenfalls eine Farbkamera 9 aufweist, welche die gleiche Funktion wie die in 7a gezeigte Farbkamera 9 erfüllt. Hierüber hinaus weist das in 7b dargestellte 3D-Sensorsystem 7 eine Tiefenkamera 8 nach Art einer time-of-flight-Kamera mit einem Sende-Modul 8.2 und einem Empfangs-Modul 8.3 auf. Anders als bei einer stereo-optischen Kamera erfolgt die Bestimmung des Abstands A der Hand 101 zum 3D-Sensorsystem 7 nicht über eine Triangulation mit mehreren Aufnahmen, sondern über die Laufzeit eines Lichtpulses 10. Hierbei emittiert das Sende-Modul 8.2 diesen Lichtpuls 10, welcher von der Hand 101 als reflektierter Puls 11 zurückgeworfen wird und auf einen Lichtsensor 8.4 des Empfangs-Moduls 8.3 trifft. Der vom Sende-Modul 8.2 emittierte Lichtpuls 10 kann als breitgefächerter Puls emittiert werden, welcher insbesondere zwischen den Grenzen des Sensorbereichs 7.1 liegenden Bereichs abdecken kann. Alternativ kann es sich bei dem Lichtpuls 10 um einen fokussierten Puls handeln, welchen das Sende-Modul 8.2 zur Abrasterung des sich zwischen den Grenzen des Sensorbereichs 7.1 erstreckenden Bereichs jeweils zeitlich versetzt entlang einer anderen Raumrichtung emittiert.
Um über die Laufzeit des Lichtpulses 10 und des reflektierten Pulses 11 den Abstand A der Hand von dem 3D-Sensorsystem 7 bestimmen zu können, sind das Sende-Modul 8.2 und das Empfangs-Modul 8.3 derart miteinander synchronisiert, dass die Zeit zwischen dem Emittieren des Lichtpulses 10 durch das Sende-Modul 8.2 und das Detektieren des reflektierten Pulses 11 durch den Lichtsensor 8.4 des Empfangs-Moduls 8.3 genau bestimmt werden kann. Aus dieser Zeitdifferenz sowie der bekannten Ausbreitungsgeschwindigkeit des Lichtpulses 10 sowie des reflektierten Pulses 11 lässt sich der Abstand A bestimmen. Hierbei werden insbesondere kurze Lichtpulse 10 im Bereich von wenigen Nanosekunden und darunter verwendet, welches vorzugsweise im Infrarotbereich liegen.
Wie im Zusammenhang mit 1 beschrieben, werden zur Steigerung der Genauigkeit mehrere 3D-Sensorsysteme 7 verwendet. Um mit diesen 3D-Sensorsystemen 7 eine möglichst genaue Erfassung der Position und Lage der Hände 101 des Besatzungsmitglieds 100 zu ermöglichen, werden die 3D-Sensorsysteme 7 vor dem Trainingsbeginn aufeinander kalibriert, wie dies in 8 dargestellt ist. Im oberen Teil der 8 ist der Trainingsraum 200 mit zwei darin angeordneten 3D-Sensorsystemen 7 gezeigt. Jedes der 3D-Sensorsysteme 7 weist ein eigenes Koordinatensystem B1, B2 auf, in welchem die Position eines durch das jeweilige 3D-Sensorsystem 7 gemessenen Raumpunktes P bestimmt wird. Hierüber hinaus ist in dem Trainingsraum 200 auch ein Koordinatenreferenzsystem B0 dargestellt, auf welches die 3D-Sensorsysteme 7 kalibriert werden sollen. Dieses Koordinatenreferenzsystem B0 kann hierbei ein Koordinatensystem eines dritten 3D-Sensorsystems 7 sein oder auch beispielsweise ein der Anzeigevorrichtung 4 zugeordnetes Koordinatensystem sein.
Einem einzelnen sich im Trainingsraum 200 befindenden Raumpunkt P werden in jedem der Koordinatensysteme B1, B2 sowie dem Koordinatenreferenzsystem B0 eigene, unterschiedliche Koordinate zugewiesen. So trägt der Raumpunkt P in dem Koordinatensystem B1 die kartesischen Koordinaten x₁, y₁ und z₁, in dem Koordinatensystem B2 die kartesischen Koordinaten x₂, y₂ und z₂ sowie im Koordinatenreferenzsystem B0 die kartesischen Koordinaten xo, yo, zo. Damit diesem einzelnen Raumpunkt P für das weitere Verfahren von sämtlichen 3D-Sensorsystemen 7 die gleichen Koordinaten zugewiesen werden, erfolgt eine Kalibrierung K auf das Koordinatenreferenzsystem B0. Bei dieser Kalibrierung K werden die Positionen und Lagen der 3D-Sensorsysteme 7 und somit ihrer jeweiligen Koordinatensysteme B1 und B2 relativ zu dem Koordinatenreferenzsystem B0 bestimmt. Aus diesen relativen Lagen und Positionen wird nun jeweils eine Transformationsfunktion, insbesondere in Form einer Transformationsmatrix für jedes der Koordinatensysteme B1, B2 bestimmt und auf diese Koordinatensysteme B1, B2 angewandt. Nach erfolgreicher Kalibrierung K wird dem Raumpunkt P von beiden 3D-Sensorsystemen 7 jeweils die übereinstimmenden kartesischen Koordinaten x₀, y₀, z₀ zugewiesen, welche der Position des Raumpunktes P, ausgehend von dem Koordinatenreferenzsystem B0, entsprechen. Wenngleich die vollständige Kalibrierung für ein kartesisches Koordinatensystem beschrieben wurde, kann eine derartige Kalibrierung aber auch in einem anderen Koordinatensystem, wie beispielsweise einem Kugelkoordinatensystem oder Zylinderkoordinatensystem erfolgen.
In der 9 sind verschiedene erfindungsgemäße Verfahrensabläufe von der Erfassung der Hand 101 des Besatzungsmitglieds 100 bis hin zu ihrer Darstellung in der virtuellen Umgebung 2 gezeigt. Zunächst wird mit dem 3D-Sensorsystem 7 die in den Grenzen des Sensorbereichs 7.1 liegende Hand 101 sowie der Arm 102 und das reale Bediengerät 5 hinsichtlich ihrer Positionen im Trainingsraum 200 gemessen. Wie bereits voranstehend beschrieben, werden durch das 3D-Sensorsystem 7 hierzu die Positionen ein- zelner Punkte gemessen. Die Positionen dieser gemessenen Punkte werden in einem nächsten Schritt zu Punktwolkendaten 13.2 zusammengefasst. Aus Gründen der Übersichtlichkeit der 9 werden die einzelnen Punkte 13.1 dieser Punktwolkendaten 13.2 nicht näher dargestellt, sondern lediglich die äußeren Konturen der sich aus den Punktwolkendaten 13.2 ergebenden Punktwolke 13 gestrichelt dargestellt.
Ausgehend von diesen Punktwolkendaten 13.2 kann in einem ersten, einfachen Darstellungsverfahren die Punktwolke 13 mit sämtlichen Punkten 13.1 in der virtuellen Umgebung 2 dargestellt werden. Da es durch die mit dem realen Bediengerät 5 korrespondierenden Punkten 13.1 der Punktwolkendaten 13.2 zu Irritierungen des Besatzungsmitglieds 100 kommen kann, da diese mit dem realen Bediengerät 5 korrespondierenden Punkte 13.1 sich mit dem virtuellen Bediengerät 3 überlagern würden, ist das virtuelle Bediengerät 3 bei dieser Darstellungsvariante derart gestaltet, dass es die mit dem realen Bediengerät 5 korrespondierenden Punkte 13.1 der Punktwolke 13 verdeckt. Hierzu ist das virtuelle Bediengerät 3 in seinen Abmessungen leicht größer ausgebildet als das ihm zugeordnete reale Bediengerät 5. Dies ist in dem links in 9 dargestellten Verfahrensablauf dieser Darstellungsvariante durch eine breitere Linienführung des virtuellen Bediengeräts 3 angedeutet.
Bei den beiden anderen Varianten der Darstellungsverfahren erfolgt zunächst eine Filterung F der Punktwolkendaten 13.2.
Bei der in 9 mittig dargestellten Darstellungsvariante erfolgt zunächst eine Filterung F hinsichtlich mit dem realen Bediengerät 5 korrespondierenden gemessenen Punkten. Die Punktwolkendaten 13.2 werden bei dieser Filterung F unterteilt in Punktwolkendaten von Punkten 15, welche dem realen Bediengerät 5 zugeordnet werden können, und jenen Punkten 16, welche der Hand 101 und dem Arm 102 des Besatzungsmitglieds 100 zugeordnet werden können. Die Zuordnung der Punkte 15 zum realen Bediengerät 5 kann hierbei beispielsweise über die Erkennung des in 2b dargestellten Markers 14 erfolgen, relativ zu welchem ein Aussonderungsbereich im Aktionsbereich 201 definiert ist und welcher das reale Bediengerät 5 umfasst. Alternativ kann ein Aussonderungsbereich über eine farbliche Markierung des realen Bediengeräts 5 definiert werden, welche durch die Farbkamera 9 erkannt werden kann. So wird beispielsweise das reale Bediengerät 5 flächig und einfarbig mit einer zuvor definierten Farbe bestrichen oder aus Material einer definierten Farbe gefertigt. Während des Darstellungsverfahrens können dann sämtliche Punkte der Punktwolkendaten 13.2, welche einen dieser Farbe entsprechenden Farbwert aufweisen, als zu diesem Aussonderungsbereich gehörend erkannt werden. Dieser Aussonderungsbereich kann nach Art eines no-draw-Volumens ausgebildet sein, welches angibt, dass sämtliche den in diesem Bereich liegenden Messpunkten zugeordneten Punkten 15 der Punktwolkendaten 13.2 nicht in der virtuellen Umgebung 2 dargestellt werden sollen.
Bei dieser zweiten Darstellungsvariante werden an die Filterung F anschließend, die dem realen Bediengerät 5 zugeordneten Punkte 15 der Punktwolkendaten 13.2 in der virtuellen Umgebung 2 nicht dargestellt. Lediglich die den Händen 101 und Armen 102 des Besatzungsmitglieds 100 zugeordneten Punkte 16 der Punktwolkendaten 13.2 werden in der virtuellen Umgebung 2 als Punktwolke 13 dargestellt.
Auch in der dritten Darstellungsvariante, welche in 9 auf der rechten Seite dargestellt ist, erfolgt zunächst eine Filterung F der Punktwolkendaten 13.2. Im Unterschied zur zweiten Darstellungsvariante erfolgt hierbei sowohl die Erfassung der Position und Lage der Hände 101 als auch die der Arme 102 des Besatzungsmitglieds 100 mittels eines Deep-Learning-Verfahrens 17. Das Deep-Learning-Verfahren 17 gestattet es, als selbstlernendes und sich selbst verbesserndes Verfahren die Erkennung der Hände 101 des Besatzungsmitglieds 100 in einem Bild. Hierbei wird das 2D-Bild der Farbkamera 9 verwendet, in welchem das Deep-Learning-Verfahren 17 jene Bildbereiche erkennt, welche die Hände 101 des Besatzungsmitglieds 100 enthalten. Anhand dieser Bildbereiche in dem 2D-Bild wird eine Maske 22 erstellt, welche die entsprechenden Bildbereiche mit den Händen 101 des Besatzungsmitglieds 100 umschließt. Mittels dieser Maske 22 werden die Punktwolkendaten 13.2 hinsichtlich der mit den Händen 101 des Besatzungsmitglieds 100 korrespondierenden Punkte gefiltert. Jene Punkte 16 der Punktwolkendaten 13.2, welche je einen sich innerhalb der Maske 22 liegendem Punkt entsprechen, werden der Hand 101 zugeordnet. Bei diesem Darstellungsverfahren werden lediglich diese den Händen 101 zugeordnete Punkte 16 der Punktwolkendaten 13.2 als Punktwolke 13 in der virtuellen Umgebung 2 dargestellt.
In 10 ist die Kalibrierung eines 3D-Sensorsystems 7 und eines Signalgebers 18 aufeinander dargestellt. Das Kalibrierungsverfahren des 3D-Sensorsystems 7 und des Signalgebers 18 aufeinander erfolgt im Wesentlichen analog zu der Kalibrierung mehrerer 3D-Sensorsysteme 7, wie dies im Zusammenhang mit 8 obenstehend beschrieben ist. 10a zeigt hierbei die Ausrichtung des Trainingsraums 200 sowie der hierin angeordneten realen Bediengeräte 5, des 3D-Sensorsysteme 7, des Besatzungsmitglieds 100 sowie der vom Besatzungsmitglied 100 am Kopf getragenen Anzeigevorrichtung 4 im Koordinatensystem B3 des Signalgebers 18. In 10b ist der gleiche Trainingsraum 200 mit den realen Bediengeräten 5, dem Besatzungsmitglied 100 und dem Signalgeber 18 gezeigt, jedoch ausgehend vom Koordinatensystem B1 des 3D-Sensorsystems 7.
Beim Vergleich der 10a und 10b ist zu erkennen, dass sich die Ausrichtungsposition des Trainingsraum 200 sowie sämtlicher hierin angeordneter Elemente, wie die realen Bediengeräte 5, das Besatzungsmitglied 100, das 3D-Sensorsystem 7 und der Signalgeber 18, ausgehend vom jeweiligen Koordinatensystem B1 oder B3, voneinander unterscheidet. Um die Gegebenheiten im Trainingsraum 200 und der virtuellen Umgebung 2 jedoch möglichst zur Deckung zu bringen, insbesondere hinsichtlich der Position und Ausrichtung der den virtuellen Bediengeräten 3 zugeordneten realen Bediengeräte 5, müssen die Koordinatensysteme B1 und B3 derart aufeinander kalibriert werden, dass ein und derselbe Punkt im Trainingsraum 200 sowohl vom 3D-Sensorsystem 7 als auch vom Signalgeber 18 als an der gleichen Position und Lage liegend erkannt wird.
Hierzu erfolgt ebenfalls eine Kalibrierung auf ein Koordinatenreferenzsystem B0, wie bereits im Zusammenhang mit 8 beschrieben. Dies ist in 10c dargestellt, wobei es sich bei dem Koordinatenreferenzsystem B0 um ein festes Koordinatensystem im Trainingsraum 200 handeln kann, wie in 10c gezeigt, und/oder dies mit einem der Koordinatensysteme B1 oder B3 übereinstimmen kann. Im letzten Fall kann der Kalibrierungsaufwand reduziert werden, da beispielsweise, wenn das Koordinatenreferenzsystem B0 mit dem Koordinatensystem B1 des 3D-Sensorsystems 7 übereinstimmt, eine Kalibrierung des 3D-Sensorsystems 7 auf dieses Koordinatenreferenzsystem B0 entfallen würde und lediglich der Signalgeber 18 und dessen Koordinatensystem B3 auf das Koordinatenreferenzsystem B0 kalibriert werden müsste.
Mit Hilfe des voranstehend beschriebenen Verfahrens sowie des Trainingssystems 1 kann die Übertragbarkeit des Trainings in der virtuellen Umgebung 2 auf den realen Einsatz verbessert werden.
Bezugszeichenliste

1: Trainingssystem
2: virtuelle Umgebung
2.1: Panzerturm
2.2: Waffe
2.3: virtuelles Hindernis
3: virtuelles Bediengerät
3.1: virtuelles Bedienelement
3.2: virtuelles Anzeigeelement
4: Anzeigevorrichtung
5: reales Bediengerät
5.1: reales Bedienelement
5.1a: Kippschalter
5.1b: Drehregler
5.1c: Taste
5.1d: Drehschalter
5.1e: Griff
6: Anbindungselement
7: 3D-Sensorsystem
7.1: Grenzen des Sensorbereichs
8: Tiefenkamera
8.1: Teilkamera
8.2: Sende-Modul
8.3: Empfangs-Modul
8.4: Lichtsensor
9: Farbkamera
10: Lichtpuls
11: reflektierter Puls
12: Trägerplatte
12.1: Anbindungsstelle
13: Punktwolke
13.1: Punkt
13.2: Punktwolkendaten
14: Marker
15: zugeordnete Punkte (zum Bediengerät)
16: zugeordnete Punkte (zur Hand)
17: Deep-Learning-Verfahren
18: Signalgeber
19: Hindernis-Element
20: Basisplatte
21: Oberfläche
22: Maske
23: Energieversorgung
24: WLAN-Modul
25: Mikrocontroller
26: Schaltkreisbahn
100: Besatzungsmitglied
101: Hand
102: Arm
200: Trainingsraum
201: Aktionsbereich
300: Fahrzeug-Bediengerät
301: Fahrzeug-Bedienelement
301a: Kippschalter
301b: Drehregler
301c: Taste
301d: Schlüsselschalter
301e: Schlüssel
302: Fahrzeug-Anzeigeelement
303: Oberfläche
A: Abstand
B0: Koordinatenreferenzsystem
B1: Koordinatensystem
B2: Koordinatensystem
B3: Koordinatensystem
F: Filterung
K: Kalibrierung
P: Raumpunkt
R: Geradeausrichtung
α, β: Raumwinkel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102010016113 A1 [0005]

Claims

Verfahren zum Training eines Besatzungsmitglieds (100) eines, insbesondere militärischen, Fahrzeugs in einem realen Trainingsraum (200), wobei eine rein virtuelle Umgebung (2) erzeugt wird, welche mindestens ein virtuelles Bediengerät (3) enthält, wobei das Besatzungsmitglied (100) eine kopffeste, im Sichtfeld des Besatzungsmitglieds (100) angeordnete Anzeigevorrichtung (4) trägt und wobei dem Besatzungsmitglied (100) die rein virtuelle Umgebung (2) auf der Anzeigevorrichtung (4) dargestellt wird, dadurch gekennzeichnet, dass die Hände (101) des Besatzungsmitglieds (100) positions- und lagerichtig in der virtuellen Umgebung (2) dargestellt werden, wobei ein dem virtuellen Bediengerät (3) zugeordnetes reales Bediengerät (5) im Trainingsraum (200) ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts (3) gibt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das reale Bediengerät (5) im Trainingsraum (200) in einer relativen Position und/oder Lage zum Besatzungsmitglied (100) angeordnet wird, welche der relativen Position und/oder Lage des virtuellen Bediengeräts (3) zum Besatzungsmitglied (100) in der virtuellen Umgebung (2) entspricht.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das reale Bediengerät (5), insbesondere frei, auf einer Trägerplatte (12) positioniert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein rein haptischer Dummy als reales Bediengerät (5) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Betätigung des realen Bediengeräts (5) erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Position und die Lage der Hände (101) des Besatzungsmitglieds (100) in einem Aktionsbereich (201) des Besatzungsmitglieds (100) mit einem 3D-Sensorsystem (7) erfasst wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Position einzelner Punkte (13.1) im Aktionsbereich (201) des Besatzungsmitglieds (100) im Trainingsraum (200) relativ zum 3D-Sensorsystem (7) gemessen wird.
Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass die Position der Hände (101), insbesondere einer Vielzahl einzelner Punkte (13.1) auf den Händen (101), zum 3D-Sensorsystem (7) gemessen wird.
Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass die gemessenen, insbesondere die mit den Händen (101) korrespondierenden, Positionen zu Punktwolkendaten (13.2) zusammengefasst und als Punktwolke (13) in der virtuellen Umgebung (2) dargestellt werden.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mit dem realen Bediengerät (5) korrespondierende Punkte der Punktwolke (13) durch das virtuelle Bediengerät (2) verdeckt werden.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Punktwolkendaten (13.2), insbesondere hinsichtlich den mit dem realen Bediengerät (5) korrespondierenden Punkte (15), gefiltert werden.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass eine Markierung auf dem realen Bediengerät (5) erkannt wird und dem realen Bediengerät (5) zugeordnete Punkte (15) in der virtuellen Umgebung (2) nicht dargestellt werden.
Verfahren nach einem der Ansprüche 6 bis 12, dadurch gekennzeichnet, dass zur Erfassung der Position und der Lage der Hände (101) des Besatzungsmitglieds (100) ein Deep-Learning-Verfahren (17) genutzt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass räumliche Beschränkungen des Fahrzeuginneren über positionierbare Hindernis-Elemente (19) nachgebildet werden.
Trainingssystem zur Durchführung eines Verfahrens nach Anspruch 1, gekennzeichnet dadurch ein reales Bediengerät (5) zur Erzielung eines haptischen Feedbacks und einen Sensor (7, 8, 9) zum Erkennen der Hände (101) des Besatzungsmitglieds (100).
Trainingssystem nach Anspruch 15, gekennzeichnet durch mehrere reale Bediengeräte (5) und/oder Hindernis-Elemente (19) nach Art eines Baukastens zur Nachbildung eines Fahrzeuginneren verschiedener Fahrzeugtypen.