EP4066227A1

EP4066227A1 - Kalibrierung eines trainingssystems

Info

Publication number: EP4066227A1
Application number: EP20824448.3A
Authority: EP
Inventors: Manuel Pabst; Michael Haubner
Original assignee: Krauss Maffei Wegmann GmbH and Co KG
Current assignee: KNDS Deutschland GmbH and Co KG
Priority date: 2019-11-28
Filing date: 2020-11-27
Publication date: 2022-10-05
Also published as: WO2021104582A1; DE102019132289A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Kalibrierung eines Trainingssystems (1) zum Trainieren eines Besatzungsmitglieds eines Fahrzeugs in einem realen Trainingsraum (200) durch einen Einrichter (100), wobei der Einrichter (100) eine kopffeste, im Sichtfeld des Einrichters (100) angeordnete Anzeigevorrichtung (4) eines VR-Anzeigesystems trägt, wobei ein Signalgeber (3) des VR-Anzeigesystems zur Positionsbestimmung der Anzeigevorrichtung (4) genutzt wird und wobei dem Einrichter (100) eine rein virtuelle Umgebung (2) auf der Anzeigevorrichtung (4) dargestellt wird, wobei ein Koordinatensystem (B2) eines 3D-Sensorsystems (7) zur Erkennung der Hände des Besatzungsmitglieds und ein Koordinatensystem (B1) des VR-Anzeigesystems während des Trainings auf ein gemeinsames Koordinatenreferenzsystem (B0) kalibriert werden.

Description

Kalibrierung eines Trainingssystems

Die vorliegende Erfindung betrifft ein Verfahren zur Kalibrierung eines Trainingssystems zum Trainieren eines Besatzungsmitglieds eines Fahrzeugs in einem realen Trainingsraum durch einen Einrichter, wobei der Einrichter eine kopffeste, im Sichtfeld des Einrichters angeordnete Anzeigevorrich tung eines VR-Anzeigesystems trägt, wobei ein Signalgeber des VR- Anzeigesystems zur Positionsbestimmung der Anzeigevorrichtung genutzt wird und wobei dem Einrichter eine rein virtuelle Umgebung auf der Anzei gevorrichtung dargestellt wird. Die Erfindung betrifft des Weiteren eine Vorrichtung zur Kalibrierung eines Trainingssystems zum Trainieren eines Besatzungsmitglieds eines Fahrzeugs in einem realen Trainingsraum durch einen Einrichter. Die Erfindung findet Einsatz bei der Einrichtung eines Trainingssystems zum Training von Besatzungsmitgliedern eines insbesondere militärischen Fahr zeugs. Derartige Trainingssysteme dienen zur initialen Erstausbildung oder zur Auffrischung und weiteren Einprägung bereits ausgebildeter Abläufe bei der Bedienung des Fahrzeugs. In den letzten Jahren halten hierzu vermehrt Trainingskonzepte unter Einsatz virtueller Realitäten (VR, Virtual Reality) Einzug. Bei diesen Trainingskonzepten findet das Training des Besatzungs mitglieds mit dem Trainingssystem in einem, verglichen mit dem Inneren einer Simulator-Kabine oder eines echten Fahrzeugs, einfach strukturierten realen Trainingsraum statt. Diese Trainingskonzepte lassen sich beispiels weise auch in einfachen Büro- oder Kasernenräumen umsetzen. Hierbei trägt das Besatzungsmitglied während des Trainings eine kopffeste, im Sichtfeld des Besatzungsmitglieds angeordnete Anzeigevorrichtung eines VR-Anzeigesystems, wie beispielsweise eine kommerziell erhältliche VR- Brille. Eine rein virtuelle Umgebung, welche das Fahrzeug und die Fahr zeugumgebung nachbildet, wird auf dieser Anzeigevorrichtung dargestellt.

Anderes als bei Trainingskonzepten unter Einsatz einer erweiterten Realität (AR, Augmented Reality), bei welchen das Besatzungsmitglied den ihn um gebenen realen Trainingsraum weiterhin durch ein AR- Anzeigesystem sehen kann und lediglich Teile des realen Trainingsraums mit künstlichen Objekte, wie z. B. Displayanzeigen oder Streckeninformationen, überlagert werden, kann der Träger des VR-Anzeigesystems den realen Trainingsraum nicht durch das VR-Anzeigesystem sehen. Visuell nimmt das Besatzungsmitglied durch das VR-Anzeigesystem daher lediglich die rein virtuelle Umgebung wahr.

Mit dieser rein virtuellen Umgebung kann das Besatzungsmitglied mittels eines Interaktionsgeräts, wie einer Maus, einer Tastatur, einem Gamepad oder einem VR-Controller, interagieren und sich bewegen. Über dieses In- teraktionsgerät kann das Besatzungsmitglied ein in der virtuellen Umgebung befindliches virtuelles Bediengerät bedienen. Das virtuelle Bediengerät ist hierbei eine virtuelle Nachbildung eines Fahrzeug- Bediengeräts, wie es in dem realen Fahrzeug vorhanden ist, an welchem das Besatzungsmitglied trainiert wird.

Damit sich das Besatzungsmitglied während des Trainings in der virtuellen Umgebung umsehen kann, muss die Position der Anzeigevorrichtung im Trainingsraum bestimmt werden, so dass auf dieser eine der Position der Anzeigevorrichtung entsprechende Perspektive der virtuellen Umgebung dargestellt werden kann. Hierzu wird ein zum VR- Anzeigesystem gehöriger Signalgeber zur Positionsbestimmung der Anzeigevorrichtung verwendet.

Der Signalgeber kann aktiv Positionssignale emittieren oder passiv Positi onssignale bereitstellen.

Bevor das Besatzungsmitglied trainieren kann, muss dieses Trainingssystem zunächst eingerichtet werden. Neben der Anbringung von Komponenten des VR- Anzeigesystems, wie beispielsweise einen Signalgeber, im Trainingsraum gehört hierzu auch die Kalibrierung des Trainingssystems. Mit der Kalibrie rung wird das Trainingssystem an die Gegebenheiten des Trainingsraums angepasst, so dass eine Positionsbestimmung der Anzeigevorrichtung im Trainingsraum ermöglicht wird. Bei dieser Kalibrierung trägt ein Einrichter, bei welchem es sich um das Besatzungsmitglied oder um einen Dritten han deln kann, die Anzeigevorrichtung, so dass ihm die rein virtuelle Umgebung auf der Anzeigevorrichtung dargestellt wird. Die virtuelle Umgebung über die Anzeigevorrichtung wahrnehmend, führt der Einrichter die Kalibrierung durch. Hierzu nutzt er einen VR-Controller des VR- Anzeigesystems, welchen er in ihm angezeigte Positionen bringt oder mit welchem er den zum Trai ning zu nutzenden Bereich des Trainingsraums markiert. Bei den bekannten Trainingssystemen ist es für das Training nachteilhafter Weise erforderlich, dass der VR-Controller des VR- Anzeigesystems, mit wel chem die Kalibrierung durchgeführt wurde, als Interaktionsgerät genutzt wird, über welches das Besatzungsmitglied mit der rein virtuellen Umge bung interagieren kann. Neben der Anzeigevorrichtung wird nur dessen Po sition von dem VR- Anzeigesystem in Trainingsraum erkannt. Dies führt je doch dazu, dass mit dem Interaktionsgerät Bewegungsabläufe eintrainiert werden, welche von den für die Bedienung des realen Fahrzeugs und dessen Fahrzeug- Bediengeräten erforderlichen Bewegungsabläufen abweichen. So werden beispielsweise Kipp-Schalter des virtuellen Bediengeräts durch An visieren mit dem VR-Controller und Betätigen einer entsprechenden Taste auf dem VR-Controller betätigt, während die Fahrzeug-Bediengeräte des realen Fahrzeugs ein Anheben oder Herunterdrücken des entsprechenden Kipp-Schalters mit einem Finger erfordern. Dies führt zu einem Bruch der Übertragbarkeit des Trainings auf den realen Einsatz.

Die A u f g a b e der vorliegenden Erfindung liegt daher darin, ein Kali brierverfahren anzugeben, welches für ein Trainingssystem geeignet ist, bei welchem kein Interaktionsgerät für die Interaktion des Besatzungsmitglieds mit der virtuellen Umgebung benötigt wird.

Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art dadurch g e l ö s t , dass ein Koordinatensystem eines 3D-Sensorsystems zur Erkennung der Hände des Besatzungsmitglieds während des Trainings und ein Koordinatensystem des VR-Anzeigesystems auf ein gemeinsames Koordi natenreferenzsystem kalibriert werden.

Das VR- Anzeigesystem dient dazu, dem Einrichter und später dem Besat zungsmitglied die virtuelle Umgebung darzustellen. Hierzu wird die Position und Lage der kopffesten zum VR- Anzeigesystem gehörenden Anzeigevor richtung bestimmt. Das 3D-Sensorsystem dient zur positions- und lagerichti- gen Erfassung der Hände des Besatzungsmitglieds während des Trainings. Diese positions- und lagerichtige Erfassung der Hände ermöglicht die Erken nung der Hände des Besatzungsmitglieds zur Interaktion mit der virtuellen Umgebung während des Trainings, ohne dass ein VR-Controller hierzu ver wendet wird. Zudem kann das 3D-Sensorsystem durch die Erfassung der Hände eine positions- und lagerichtige Darstellung der Hände in der virtuel len Umgebung ermöglichen. Damit beim Training ein Punkt im Trainings raum, insbesondere ein Punkt auf der Hand des Besatzungsmitglieds, von dem 3D-Sensorsystem und dem VR-Anzeigesystem als an der gleichen Posi tion befindlich erkannt wird, werden das Koordinatensystem des VR- Anzeigesystems und das Koordinatensystem des 3D-Sensorsystems auf ein Koordinatenreferenzsystem kalibriert. Bei der Kalibrierung der Koordina tensysteme werden ein Versatz zwischen den Koordinatenursprüngen der Koordinatensysteme und/oder eine unterschiedliche Ausrichtung der Koor dinatensysteme im Raum relativ zum Koordinatenreferenzsystem bestimmt und ausgeglichen. Einem jeden vom 3D-Sensorsystem erfassten Raumpunkt werden nach erfolgter Kalibrierung die gleichen Koordinaten im Koordina tenreferenzsystem zugewiesen, wie sie ihm das VR-Anzeigesystem zuweisen würde. Ebenso werden jedem vom VR-Anzeigesystem erfassten Raumpunkt nach erfolgter Kalibrierung die gleichen Koordinaten im Koordinaten refe- renzsystem zugewiesen, wie sie ihm das 3D-Sensorsystem zuweisen würde. Auch die Lage mehrere Raumpunkte zueinander wird nach der Kalibrierung vom Trainingssystem als gleich erkannt, unabhängig ob die Raumpunkte von dem 3D-Sensorsystem oder dem VR-Anzeigesystem erfasst werden.

Positions- und lagerichtig ist die oben genannte Erfassung oder Darstellung der Hände, wenn sie die Lage und die Position der realen Hände des Besat zungsmitglieds im Trainingsraum als auch relativ zum Besatzungsmitglied richtig erkennt bzw. wiedergibt. Die Position der Hand ist dabei jener Ort, an welchem sich die Hand relativ zum Besatzungsmitglied befindet. Die Position kann beispielsweise im Koordinatensystem des 3D-Sensorsystems angegeben werden. Die Lage der Hand entspricht hingegen ihrer Orientie rung im Raum, d. h. jener räumlichen Ausrichtung, welche sie an ihrer Posi tion einnimmt. Die positions- und lagerichtige Erfassung oder Darstellung beinhaltet auch die Handstellung, beispielsweise eine geballte Faust, eine gekrümmte Hand oder eine flach ausgestreckte Hand mit gespreizten oder zusammenliegenden Fingern. Insbesondere kann sich die positions- und la gerichtige Erkennung oder Darstellung der Hand auch auf die Position und Lager einzelner Finger der Hand erstrecken, so dass auch eine Krümmung einzelner Finger der Hand positions- und lagerichtig erkannt bzw. darge stellt wird.

Eine solche, sehr genaue Kalibrierung des Trainingssystems ist insbesondere von Bedeutung, wenn neben dem virtuellen Bediengerät auch ein reales Bediengerät eingesetzt wird, welches dem Besatzungsmitglied ein hapti sches Feedback beim Training gibt. Das haptische Feedback des realen Be diengeräts kann neben einem aktiven Feedback, wie ein Vibrieren oder ein vom Bediengerät ausgeübter Druck, auch ein passives Feedback, wie eine erfühlbare Oberfläche oder Struktur, welche vom Besatzungsmitglied mit tels seines Tastsinns wahrgenommen werden kann, oder eine Kombination aus aktiven und passiven Feedbacks sein. Bei einem solchen Trainingssys tem ist es entscheidend, dass die im Koordinatensystem des 3D- Sensorsystems bestimmte Position der Hände im Trainingsraum positions- und lagerichtig in der virtuellen Umgebung und damit im Koordinatensys tem des VR-Anzeigesystems dargestellt werden. Ansonsten kann das Besat zungsmitglied das reale Bediengerät, welches in seiner relativen Position und /oder Lage zum Besatzungsmitglied deckungsgleich mit dem virtuellen Bediengerät im realen Trainingsraum angeordnet ist, nicht richtig bedie nen, da die vom Besatzungsmitglied visuell über die Anzeigevorrichtung wahrgenommene Position seiner Hände nicht mit deren Position im Trai ningsraum übereinstimmt. Das VR- Anzeigesystem und das 3D-Sensorsystem sind vorzugsweise zwei, insbesondere baulich, separate Systeme. Das VR-Anzeigesystem und das 3D- Sensorsystem können mit einem gemeinsamen Trainingsrechner oder Server zur Datenverarbeitung und/oder Steuerung verbunden sein. Ferner kann das 3D-Sensorsystem im Trainingsraum in seiner Position und/oder Lage fixierbar sein, d. h. in seiner Position und/oder Lage im Trainingsraum fest, aber dennoch lösbar im Trainingsraum angeordnet werden.

Zur Positionsbestimmung der Anzeigevorrichtung kann ein aktiver Signalge ber Positionssignale emittieren, welche von der Anzeigevorrichtung zur Po sitionsbestimmung aufgenommen werden können. Der aktive Signalgeber ist vorzugsweise positionsfest im Trainingsraum angeordnet.

Ein passiver Signalgeber kann Positionssignale nach Art eines passiven Posi tionserfassungssystems zur Positionsbestimmung der Anzeigevorrichtung bereitstellen. Der passive Signalgeber kann beispielsweise eine oder mehre re Positionskameras umfassen, deren Positionsaufnahmen als Positionssig nale zur Positionsbestimmung mittels einer Bilderkennung weitergeleitet oder vom Signalgeber verarbeitet werden. Über die Positionssignale kann mittels der Bilderkennung auf die Position und Lage der Anzeigevorrichtung im Trainingsraum geschlossen werden, beispielsweise über eine optische Markierung der Anzeigevorrichtung. Der passive Signalgeber kann positions fest im Trainingsraum und/oder an der Anzeigevorrichtung angeordnet oder in die Anzeigevorrichtung integriert sein. Der passive Signalgeber kann die Anzeigevorrichtung im Trainingsraum erfassen, insbesondere in einer Posi tionsaufnahme. Ebenso kann der passive Signalgeber einen VR-Controller des VR-Anzeigesystems erfassen. Alternativ kann der passive Signalgeber den Trainingsraum von der Position der Anzeigevorrichtung aus erfassen.

Das Koordinatensystem des VR-Anzeigesystems kann bei der Einrichtung des VR-Anzeigesystem als insbesondere trainingsraumfestes Koordinatensystem mit einem eindeutigen Koordinatenursprung festgelegt werden. Die Anzeigevorrichtung kann Sensoren zur Lagebestimmung im Trainings raum umfassen, insbesondere ein Gyroskop und/oder Beschleunigungs sensoren.

Zum Ausgleich des Versatzes zwischen den Koordinatenursprüngen der Ko ordinatensysteme und/oder den unterschiedlichen Ausrichtungen der Koor dinatensysteme in Raum relativ zum Koordinatenreferenzsystem kann für das Koordinatensystem des VR- Anzeigesystems und/oder das Koordinaten system des 3D-Sensorsystems eine Transformationsfunktion erstellt werden. Bei der Transformationsfunktion kann es sich insbesondere um eine Trans formationsmatrix zur Umwandlung vom Koordinatensystem des VR- Anzeigesystems und/oder des 3D-Sensorsystems in das Koordinaten refe- renzsystem handeln. Für das Koordinatensystem des VR- Anzeigesystems und das Koordinatensystem des 3D-Sensorsystems kann je eine eigene Trans formationsfunktion erstellt werden.

Vorteilhafterweise ist das Koordinatenreferenzsystem das Koordinatensys tem des VR-Anzeigesystems oder das Koordinatensystem des 3D- Sensorsystems.

In einer Weiterbildung der Erfindung hat es sich als vorteilhaft erwiesen, wenn die Koordinatensysteme des VR-Anzeigesystems und des 3D- Sensorsystems mit einer Grobkalibrierung zunächst grob in Deckung ge bracht werden. Bei der Grobkalibrierung kann die Position des VR- Anzeigesystems, insbesondere des Signalgebers, im Koordinatensystem des 3D-Sensorsystems angegeben werden. Ebenso kann die Position des 3D- Sesorsystems im Koordinatensystem des VR-Anzeigesystems angegeben werden. Auch die Position des Koordinatenreferenzsystems kann im Koordi natensystem des VR-Anzeigesystems und/oder im Koordinatensystem des 3D-Sensorsystems angegeben werden. Durch die Grobkalibrierung kann ein Versatz zwischen den Koordinatenursprüngen der Koordinatensysteme des VR- Anzeigesystems und des 3D-Sensorsystems in einem ersten Schritt grob ausgeglichen werden. Zusätzlich oder alternativ kann der Versatz zwischen dem Koordinatenursprung des Koordinatensystems des 3D-Sensorsystems und/oder dem Koordinatenursprung des Koordinatensystems des VR- Anzeigesystems relativ zum Koordinaten referenzsystem ausgeglichen wer den. Mit der Grobkalibrierung lässt sich der Versatz zwischen den Koordina tenursprüngen der Koordinatensysteme des VR-Anzeigesystems und des 3D- Sensorsystems auf mehrere Zentimeter genau bestimmen. Die Grobkalibrie rung ermöglicht so einen Ausgleich des Versatzes bis zu einer Abweichung, d. h. einem verbleibenden Restversatz zwischen den Koordinatenursprün gen der Koordinatensysteme des VR-Anzeigesystems und des 3D- Sensorsystems von wenigen Zentimetern.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die Grobkalibrierung durch ein Anhalten eines VR-Controllers des VR- Anzeigesystems an das 3D-Sensorsystem erfolgt. Über das Anhalten des VR- Controllers, dessen Position im Trainingsraum durch das VR-Anzeigesystem im Koordinatensystem des VR-Anzeigesystems erfasst wird, lässt sich die Position des 3D-Sensorsystems und somit auch der Koordinatenursprung des Koordinatensystems des 3D-Sensorsystems in dem Koordinatensystem des VR-Anzeigesystems auf einfache Art und Weise bestimmen. Mit der im Ko ordinatensystem des VR-Anzeigesystems bestimmten Position des 3D- Sensorsystems kann auf einfache Weise ein Ausgleich hinsichtlich des Ver satzes zwischen den Koordinatenursprüngen der Koordinatensysteme des VR-Anzeigesystems und des 3D-Sensorsystems erfolgen.

Das 3D-Sensorsystem kann auf einfache Weise als 3D- Kamerasystem ausge bildet sein, insbesondere mit einer Tiefenkamera und/oder einer Farbka mera. Mit einer Tiefenkamera können die Position und die Lage der Hand des Besatzungsmitglieds während des Trainings auf einfache Weise auch in der Tiefe erfasst werden. Vorzugsweise liegt die Auflösung der Tiefenkame ra unterhalb 1 mm. Die Tiefenkamera kann eine stereo-optische Kamera mit zwei zueinander versetzten Teilkameras sein. Bei einer stereo optischen Kamera ergibt sich die Tiefeninformation über die Position und die Lage der Hand aus dem Unterschied der von den beiden Teilkameras aufgenommenen Bilder, analog zum menschlichen Sehapparat. Alternativ kann die Tiefenkamera eine Time-of-Flight-Kamera sein. Bei einer Time-of- Flight-Kamera ergibt sich die Tiefeninformation über die Position und die Lage der Hand über das Laufzeitverfahren, bei welchem die Zeit zwischen dem Aussenden eines Lichtpulses und dem Auftreffen des von der Hand re flektierten Pulses auf einen Lichtsensor in der Kamera gemessen wird. Die Time-of-Flight-Kamera kann hierzu ein Sendemodul zur Aussendung eines Lichtpulses und ein Empfangsmodul zum Empfang des reflektierten Licht pulses aufweisen. Weiter alternativ kann die Tiefenkamera eine Muster- Kamera sein, welche gemäß dem Projektionsverfahren arbeitet. Die Muster- Kamera kann hierzu ein Sende-Modul, welches nach Art eines Musterprojek tors zeitlich versetzt unterschiedliche geometrische Muster in den Trai ningsraum projiziert, und ein Empfangs-Modul, insbesondere eine Teilkame ra, aufweisen. Das Empfangs-Modul kann die in den Trainingsraum proji zierten geometrischen Muster aufnehmen, welche jedoch durch die sich im Trainingsraum befindlichen Objekte, wie die Hand des Besatzungsmitglieds, sowie den Trainingsraum selbst verzerrt werden. Aus diesen aufgenomme nen und für jedes Muster unterschiedlichen Verzerrungen können Tiefenin formation gewonnen werden. Mit der Farbkamera kann ein farbiges Bild der Hände aufgenommen werden. Insbesondere können die Hände anhand ihrer Farbe und/oder des Kontrastes zum Hintergrund in dem farbigen Bild er kannt und erfasst werden. Eine Kombination der Tiefenkamera und Farb kamera erlaubt eine Farbzuordnung zu jedem mit einer Tiefeninformation versehenen Bildpunkt des Bildes der Tiefenkamera. Mit dem 3D-Sensor- system werden die Positionen einzelner Punkte im Trainingsraum relativ zum 3D-Sensorsystem im Koordinatensystem des 3D-Sensorsystems gemes sen.

Vorzugsweise wird eine Feinkalibrierung, insbesondere im Anschluss an die Grobkalibrierung, vorgenommen. Mit der Feinkalibrierung kann eine gerin gere Abweichung zwischen den Koordinatenursprüngen der Koordinatensys teme des VR- Anzeigesystems und des 3D-Sensorsystems nach einem erfolg ten Ausgleich des Versatzes erzielt werden. Die Abweichung nach der Fein kalibrierung kann unterhalb von 5 mm, bevorzugt unterhalb von 3 mm und insbesondere bevorzugt unterhalb von 1 mm liegen. Im Rahmen der Feinka librierung kann eine bereits durch die Grobkalibrierung erstellte Transfor mationsfunktion angepasst werden, um den Versatz und/oder die unter schiedliche Ausrichtung der Koordinatensysteme des VR-Anzeigesystems und/oder des 3D-Sensorsystems relativ zum Koordinaten referenzsystem auszugleichen. Insbesondere kann bei der Feinkalibrierung eine weitere Transformationsmatrix zur Umwandlung vom Koordinatensystem des VR- Anzeigesystems und/oder des 3D-Sensorsystems in das Koordinaten refe renzsystem erstellt werden. Diese weitere Transformationsmatrix kann auf einfache Weise mit einer Transformationsmatrix, welche bereits im Rah men der Grobkalibrierung erstellt wurde, verrechnet werden.

Zur Feinkalibrierung kann die Position des VR-Controllers im noch nicht ab schließend, insbesondere nur grob, kalibrierten Koordinatensystem des 3D- Sensorsystems und/oder im noch nicht abschließend, insbesondere nur grob, kalibrierten Koordinatensystem des VR-Anzeigesystems erfasst wer den. Eine virtuelle Darstellung des VR-Controllers kann bei der Feinkalibrie rung hingegen im noch nicht abschließend, insbesondere nur grob, auf das Koordinatenreferenzsystem kalibrierten Koordinatensystem des VR- Anzeigesystems an den im Koordinatensystem des 3D-Sensorsystems und/oder des VR-Controllers gemessenen Koordinaten der Position des VR- Controllers erfolgen. Nach Abschluss der Feinkalibrierung kann der Versatz zwischen den Koordi natenursprüngen des Koordinatenreferenzsystems, des Koordinatensystems des 3D-Sensorsystems und des Koordinatensystems des VR-Controllers aus geglichen sein, so dass jedem Raumpunkt die im Wesentlichen gleichen Ko ordinaten in den Koordinatensystemen zugewiesen werden.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die Feinkalibrierung iterativ erfolgt, insbesondere unter Einsatz eines Iterative- Closest-Point-Algorithmus. Eine iterativ erfolgende Feinkalibrierung ermög licht es, den Versatz und/oder die unterschiedliche Ausrichtung der Koordi natensysteme relativ zum Koordinatenreferenzsystem auf einfache Weise auszugleichen. Bei jedem Iterationsschritt kann der auch nach dem Aus gleich im vorangegangenen Iterationsschritt noch bestehende Versatz, d. h. die Abweichung zwischen den Koordinatenursprüngen der Koordinatensys teme und/oder die unterschiedliche Ausrichtung der Koordinatensysteme im Raum relativ zum Koordinatenreferenzsystem bestimmt und ausgegli chen werden. In dem Iterationsschritt kann die Abweichung auf diese Weise zunehmend reduziert werden. Eine iterative Feinkalibrierung kann solange erfolgen, bis eine vorgegebene Abbruchbedingung erreicht wird. Diese Ab bruchbedingung kann insbesondere ein unterer Grenzwert für die Abwei chung zwischen den Koordinatenursprüngen und/oder den Ausrichtungen der Koordinatensysteme relativ zum Koordinatenreferenzsystem sein, bei deren Unterschreitung die Kalibrierung als abgeschlossen gelten kann. Ein Iterative-Closest-Point-Algorithmus ermöglicht eine besonders einfache ite rative Feinkalibrierung. Bei einem Iterative-Closest- Point-Algorithmus wer den Punktwolken mittels Rotation und Translation möglichst gut miteinan der in Deckung gebracht. Bei den Punktwolken handelt es sich um die Posi tionen einer Schar von Raumpunkten im Trainingsraum, jeweils bestimmt im Koordinatensystem des VR-Anzeigesystems, des 3D-Sensorsystems und/oder im Koordinaten referenzsystem. Für die Raumpunkteschar ergibt sich im Koordinatensystem des VR-Anzeigesystems und/oder des 3D- Sensorsystems und dem Koordinatenreferenzsystem eine eigene Punktwol ke. Beim Iterative-Closest-Point-Algorithmus wird für jeden Punkt einer Punktwolke der jeweils nächstliegende Punkt aus einer anderen Punktwolke bestimmt und die Summe der quadratischen Abstände über all diese Punk tepaare gebildet. In iterativen Schritten wird beim Iterative-Closest-Point- Algorithmus dann mittels Transformationen diese Summe der Ab standsquadrate minimiert.

In einer vorteilhaften Ausgestaltung der Erfindung wird die Position eines Raumpunktes, insbesondere einer Raumpunkteschar, im Trainingsraum in dem Koordinatensystem des VR-Anzeigesystems und dem Koordinatensys tem des 3D-Sensorsystems bestimmt. Anhand der in beiden Koordinatensys temen bestimmten Position ein und desselben Raumpunktes kann die Fein kalibrierung auf einfache Weise durchgeführt werden. Insbesondere können die Positionen mehrerer Punkte einer Raumpunkteschar in den Koordina tensystemen des VR-Anzeigesystems und des 3D-Sensorsysems bestimmt werden. Die Bestimmung der Positionen der Punkte der Raumpunkteschar kann insbesondere in einem gemeinsamen Schritt erfolgen, so dass die ent sprechenden Positionen in den einzelnen Koordinatensystemen in einem iterativen Verfahren zum Ausgleich des Versatzes zwischen den Koordina tensystemen und/oder einer unterschiedlichen Ausrichtung der Koordina tensysteme relativ zum Koordinatenreferenzsystem erfolgen kann. Insbe sondere können die im Koordinatensystem des VR-Anzeigesystems und dem Koordinatensystem des 3D-Sensorsystems bestimmten Positionen der Raum punkte der Raumpunkteschar als Punktwolken bei der Durchführung des Iterative-Closest-Point-Algorithmus genutzt werden.

Eine weitere Ausgestaltung der Erfindung sieht vor, dass der Raumpunkt zur Positionsbestimmung im Trainingsraum manuell gesampelt wird. Beim ma nuellen Sampeln führt der Einrichter händisch eine Messung durch, mit wel- eher die Position des Raumpunktes in einem oder mehreren der Koordina tensysteme und/oder des Koordinaten referenzsystems bestimmt werden kann. Zum manuellen Sampeln kann der Einrichter eine nach Art einer posi tionsbestimmbaren Messsonde ausgestaltete Sample-Vorrichtung nutzen. Diese Sample-Vorrichtung kann der Einrichter zum Sampeln des Raumpunk tes mit diesem in Kontakt oder zur Überlagerung bringen. Ist dieser Kontakt oder die Überlagerung mit dem Raumpunkt hergestellt, kann der Einrichter die Sample-Vorrichtung zum Sampeln des Raumpunktes auslösen, beispiels weise über Betätigung einer Taste der Sample-Vorrichtung.

Weiter vorteilhaft wird der Raumpunkt vom Einrichter frei gewählt. Der Einrichter kann insbesondere frei von Vorgaben durch das Trainingssystem oder eines Kalibrierungsalgorithmus des Trainingssystems sein. Es kann im Ermessen des Einrichters liegen, für welchen Raumpunkt im Trainingsraum die Position bestimmt wird. Hierbei kann der Einrichter beispielsweise leicht für ihn zugängliche Raumpunkte im Trainingsraum wählen. Dies kann ein einfacheres und schnelleres Kalibrieren ermöglichen, da sich der Ein richter beispielsweise nicht zum Erreichen eines zu sampelnden Raumpunk tes übermäßig strecken oder verrenken muss.

Alternativ kann der Raumpunkt dem Einrichter vorgegeben werden. Der Raumpunkt kann dem Einrichter, beispielsweise durch das Trainingssystem, insbesondere durch einen Kalibrierungsalgorithmus des Trainingssystems, vorgegeben werden. Derartige vorgegebene Raumpunkte können so positio- niert sein, dass sie ein möglichst effektives, d. h. schnelles und genaues, Kalibrieren ermöglichen. Beispielsweise kann dem Einrichter ein zum Sig nalgeber und/oder zum 3D-Sensorsystem weit entfernter Punkt im Trai ningsraum vorgegeben werden. Ebenso können dem Einrichter beispielswei se mehrere Raumpunkte in den Ecken des Trainingsraums vorgegeben wer- den. In Weiterbildung der Erfindung wird vorgeschlagen, dass ein vom 3D- Sensorsystem erfassbarer erster Controller, insbesondere mit einer erfass baren Tastspitze, genutzt wird. Ein vom 3D-Sensorsystem erfassbarer erster Controller ermöglicht es dem Einrichter auf einfache Weise, für das 3D- Sensorsystem in seinem Koordinatensystem bestimmbare Positionen vorzu geben. Die von dem 3D-Sensorsystem erfassbare Tastspitze kann eine hohe Präzision bei der Positionsbestimmung ermöglichen. Die Tastspitze kann das dünne Ende einer sich verjüngenden und/oder im Vergleich zum restlichen Controller dünneren Ausläufers des Controllers sein. Der erste Controller und insbesondere seine Tastspitze kann zur Positionsbestimmung eines Raumpunktes im Koordinatensystem des 3D-Sensorsystems genutzt werden. Der erste Controller kann insbesondere als Sample-Vorrichtung dienen, mit welcher Raumpunkte im Trainingsraum manuell gesampelt werden können. Vorzugsweise ist der erste Controller als tragbares, insbesondere in der Hand tragbares, Gerät ausgebildet. Zur Ermöglichung einer großen Bewe gungsfreiheit des Einrichters kann der erste Controller über eine interne Energieversorgung und/oder ein System zur drahtlosen Kommunikation ver fügen.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn der erste Controller von dem VR-Anzeigesystem erfasst wird. Durch die Erfas sung des ersten Controllers vom VR-Anzeigesystem kann mit dem ersten Controller zudem auch eine Position innerhalb des Trainingsraums im Koor dinatensystem des VR-Anzeigesystems bestimmt werden. Als besonders vor teilhaft hat es sich erwiesen, wenn der erste Controller als ein VR- Controller des VR-Anzeigesystems ausgebildet ist. Der erste Controller kann Sensoren umfassen, welche zusammenwirkend mit dem Signalgeber eine Positionsbestimmung des ersten Controllers im Koordinatensystem des VR- Anzeigesystems ermöglichen. Der erste Controller kann zudem oder alter nativ Sensoren zur Lagebestimmung im Raum umfassen, insbesondere ein Gyroskop und/oder Beschleunigungssensoren. Vorzugsweise wird in der Anzeigevorrichtung eine virtuelle Darstellung des ersten Controllers dargestellt. Die virtuelle Darstellung des ersten Control lers kann nach Art eines geschlossenen Polygons oder nach Art einer Punkt wolke mit mehreren die Position und die Umrisse des ersten Controllers darstellenden Punkten ausgebildet sein.

Ferner ist es vorteilhaft, wenn die virtuelle Darstellung des ersten Control lers anhand der im Koordinatensystem des 3D-Sensorsystems erfassten Posi tion des ersten Controllers erfolgt. Die virtuelle Darstellung des ersten Con trollers erfolgt so im Koordinatensystem des VR- Anzeigesystems, zu wel chem die Anzeigevorrichtung gehört, mit den im Koordinatensystem des 3D- Sensorsystems gemessenen Koordinaten der Position des ersten Controllers. Hierdurch kann der erste Controller in der Anzeigevorrichtung auch dann in der virtuellen Umgebung dargestellt werden, wenn dessen Position nicht durch das VR-Anzeigesystem erfasst wird. Bei einer Nutzung der im Koordi natensystem des 3D-Sensorsystems bestimmten Position des ersten Control lers zur Darstellung kommt es zu einer Abweichung zwischen der dem Ein richter über die Anzeigevorrichtung in der virtuellen Umgebung dargestell ten virtuellen Darstellung des ersten Controllers und der tatsächlichen Posi tion des ersten Controllers relativ zur Anzeigevorrichtung im realen Trai ningsraum. Diese Abweichung entspricht der Summe aus dem Versatz des Koordinatenursprungs des Koordinatensystems des 3D-Sensorsystems zum Koordinatenreferenzsystem und des Versatzes des Koordinatenursprungs des Koordinatensystems des VR-Anzeigesystems zum Koordinatenreferenz system sowie den jeweiligen unterschiedlichen Ausrichtungen der Koordina tensysteme des 3D-Sensorsystems und des VR-Anzeigesystems relativ zum Koordinatenreferenzsystem. Diese Summe der Versätze sowie der unter schiedlichen Ausrichtungen entspricht dem Versatz und der unterschiedli chen Ausrichtung des Koordinatensystems des 3D-Sensorsystems und des Koordinatensystems des VR-Anzeigesystems zueinander. Die Abweichung zwischen der virtuellen Darstellung des ersten Controllers in der Anzeige vorrichtung und der Position des ersten Controllers im Trainingsraum relativ zur Anzeigevorrichtung entspricht somit der Abweichung zwischen den Ko ordinatenursprüngen und der unterschiedlichen Ausrichtung der Koordina tensysteme des 3D-Sensorsystems und des VR- Anzeigesystems zueinander.

In vorteilhafter Weise wird mit der virtuellen Darstellung des ersten Con trollers, insbesondere der virtuellen Darstellung der Tastspitze, ein Raum punkt gesampelt. Die virtuelle Darstellung des ersten Controllers kann mit dem zu sampelnden Raumpunkt, wie ihn der Einrichter in der virtuellen Umgebung über die Anzeigevorrichtung wahrnimmt, in Kontakt oder zur Überlagerung gebracht werden. Der Raumpunkt kann dem Einrichter im Koordinatensystem des VR-Anzeigesystems über die Anzeigevorrichtung an gezeigt und insbesondere vorgegeben werden. Da die Position des ersten Controllers im Trainingsraum über das 3D-Sensorsystgem zusätzlich erfasst wird, ermöglicht das Sampeln des Raumpunktes mit der virtuellen Darstel lung des Controllers gleichzeitig eine Bestimmung der Position des Raum punktes im Koordinatensystem des 3D-Sensorsystems als auch des VR- Anzeigesystems.

Gemäß einer weiteren Ausführungsform der Erfindung wird in der Anzeige vorrichtung eine virtuelle Darstellung eines zweiten Controllers dargestellt. Diese virtuelle Darstellung des zweiten Controllers kann zur Vorgabe eines Raumpunktes oder einer Raumpunkteschar in der virtuellen Umgebung ge nutzt werden. Der virtuell dargestellte zweite Controller kann hierzu eine Sollposition vorgeben, in welcher die virtuelle Darstellung des ersten Con trollers durch den Einrichter gebracht werden soll. Der zweite Controller kann hierbei ein rein virtueller Controller sein, von welchem lediglich die virtuelle Darstellung in der virtuellen Umgebung existiert. Alternativ kann der zweite Controller auch ein real vorhandener Controller sein, welcher durch den Einrichter bewegt und/oder bedient werden kann. Wie auch der erste Controller kann auch der zweite Controller über eine Tastspitze ver fügen.

In vorteilhafter Weise wird der zweite Controller von dem VR-Anzeige- system erfasst. Bei dem zweiten Controller kann es sich hierbei auf einfa che Art und Weise um einen VR-Controller des VR- Anzeigesystems handeln. Durch die Erfassung des zweiten Controllers vom VR- Anzeigesystem kann mit dem zweiten Controller eine Position innerhalb des Trainingsraums im Koordinatensystem des VR-Anzeigesystems bestimmt werden. Als besonders vorteilhaft hat es sich erwiesen, wenn der zweite Controller als ein VR- Controller des VR-Anzeigesystems ausgebildet ist. Der zweite Controller kann Sensoren umfassen, welche zusammenwirkend mit dem Signalgeber eine Positionsbestimmung des zweiten Controllers im Koordinatensystem des VR-Anzeigesystems ermöglichen. Der zweite Controller kann zudem o- der alternativ Sensoren zur Lagebestimmung im Raum umfassen, insbeson dere ein Gyroskop und/oder Beschleunigungssensoren.

In diesem Zusammenhangt hat es sich als vorteilhaft erwiesen, wenn die virtuelle Darstellung des zweiten Controllers anhand der im Koordinatensys tem des VR-Anzeigesystems erfassten Position des zweiten Controllers er folgt. Die virtuelle Darstellung des zweiten Controllers anhand seiner im Koordinatensystem des VR-Anzeigesystems erfassten Position ermöglicht auf einfache Weise eine virtuelle Darstellung sowohl eines Controllers mit einer im Koordinatensystem des 3D-Sensorsystems als auch eines Control lers mit einer im Koordinatensystem des VR-Anzeigesystems bestimmten Position. Der Einrichter kann auf diese Weise in der ihm über die Anzeige vorrichtung dargestellten virtuellen Umgebung sowohl eine Referenz aus dem Koordinatensystem des 3D-Sensorsystems als auch eine Referenz aus dem Koordinatensystem des VR-Anzeigesystems erhalten. Ihm wird auf ein fache Weise ermöglicht, einen Raumpunkt in der virtuellen Umgebung in beiden Koordinatensystemen zu sampeln. Über die Position der beiden rea- len Controller im Trainingsraum sowie deren unterschiedlicher relativen Position zueinander im Trainingsraum und in der virtuellen Umgebung kann eine Abweichung im Koordinatenursprung und in der Ausrichtung der Koor dinatensysteme des 3D-Sensorsystems und des VR-Anzeigesystems ermittelt werden.

In Weiterbildung der Erfindung hat es sich als vorteilhaft erwiesen, wenn die virtuellen Darstellungen des ersten Controllers und des zweiten Control lers, insbesondere die virtuellen Darstellungen der Tastspitzen, in Kontakt und/oder in Deckung gebracht werden. Durch das In-Kontakt- und/oder In- Deckung-Bringen der virtuellen Darstellungen der beiden Controller kann auf einfache Weise ein Raumpunkt in dem Koordinatensystem des VR- Anzeigesystems und dem Koordinatensystem des 3D-Sensorsystems gesam pelt werden. Das In-Deckung-Bringen der beiden Controller beschränkt sich vorzugsweise auf den Fall, dass es sich bei dem zweiten Controller um ei nen rein virtuellen Controller handelt. Das In-Kontakt-Bringen kann sowohl mit einem realen zweiten Controller als auch mit einem rein virtuellen zweiten Controller erfolgen. Bei einem realen zweiten Controller, dessen virtuelle Darstellung anhand seiner im Koordinatensystem des VR- Anzeigesystems erfassten Position erfolgt, kommt es auch beim In-Kontakt- Bringen der virtuellen Darstellungen des ersten und des zweiten Controllers in der virtuellen Umgebung dennoch zu einer Abweichung zwischen den Positionen des ersten und des zweiten Controllers im Trainingsraum. Selbst bei einem Kontakt der virtuellen Darstellung der beiden Controller sind die se im realen Trainingsraum während der Kalibrierung daher voneinander beabstandet. Dieser Abstand der beiden Controller im Trainingsraum ent spricht der Abweichung, d. h. den Versatz der Koordinatenursprünge und der unterschiedlichen Ausrichtung, der Koordinatensysteme des VR- Anzeigesystems und des 3D-Sensorsystems voneinander. Diese Abweichung soll durch die Kalibrierung ausgeglichen werden. Durch den Abstand des ersten und des zweiten Controllers voneinander sowie deren relative Lage zueinander im Trainingsraum kann der Versatz und die unterschiedliche Ausrichtung der Koordinatensysteme auf einfache Weise bestimmt werden.

Gemäß einer weiteren Ausgestaltung der Erfindung wird der erste Control ler über eine Positionsmarkierung von dem 3D-Sensorsystem erfasst. Durch die Positionsmarkierung kann der erste Controller auf einfache Weise durch das 3D-Sensorsystem erfasst werden.

Die Positionsmarkierung kann vorteilhafterweise eine flächige und/oder einfarbige Positionsmarkierung sein, insbesondre die gesamte Oberfläche des Controllers bedecken. Insbesondere bei einer einfarbigen Positionsmar kierung kann eine einfache und schnelle Erfassung durch eine Filterung der vom 3D-Sensorsystem aufgenommenen Messdaten anhand der einzelner Messpunkte zugeordneten Farbinformationen erfolgen.

Bei der Positionsmarkierung kann es sich auch um einen oder mehrere am ersten Controller angeordnete Marker handeln, wie beispielsweise 2D- Marker, insbesondere nach Art eines QR-Codes, oder eine retroreflektie rende Kugel handeln. Die Positionsmarkierung kann am Controller ange bracht, aufgebracht oder ein integraler Bestandteil des Controllers, d. h. Teil eines konstruktiven Elements des Controllers, sein. Insbesondere kann die Positionsmarkierung Teil des Oberflächenmaterials des Controllers sein, wie beispielsweise eine Struktur, Textur oder Farbe des Oberflächenmate rials oder eines Bereichs des Oberflächenmaterials.

Mehrere Marker können in einem Muster angeordnet sein, welche die Er kennung durch das 3D-Sensorsystem erleichtern kann. Als insbesondere vor teilhaft hat es sich erwiesen, wenn mehrere Marker über die Oberfläche des ersten Controllers verteilt angeordnet sind. Über eine derart über den ersten Controller verteilte Anordnung der Marker können die Umrisse des ersten Controllers durch das 3 D- Sensorsystem auf einfache Weise erfasst werden. Mehrere Marker ermöglichen neben der Positionsbestimmung des ersten Controllers im Trainingsraum auch die Bestimmung seiner Lage im Trainingsraum.

Ein über die Positionsmarkierung vom 3 D- Sensorsystem erfassbarer, insbe sondere mehrere Marker aufweisender, erster Controller kann eine Raum punkteschar liefern, deren Position im Koordinatensystem des 3D- Sensorsystems auf einfache Weise zur Kalibrierung genutzt werden kann.

Ein mit einer Positionsmarkierung versehener und auch vom VR-Anzeige- system erfassbarer erster Controller, insbesondere ein nach Art eines VR- Controllers des VR- Anzeigesystems ausgebildeter erster Controller, kann sowohl im Koordinatensystem des 3D-Sensorsystems als auch im Koordina tensystem des VR-Anzeigesystems hinsichtlich seiner Position und Lage er fasst werden. Die Kalibrierung kann lediglich anhand der erfassten Positio nen der Raumpunkteschar dieses ersten Controllers durchgeführt werden, gleichwohl ist es auch möglich, die Positionen weiterer Punkte und/oder Punktescharen zu nutzen. Die Positionierung der Marker an dem ersten Controller erfolgt mit einer hohen Genauigkeit, so dass zwischen der Positi on des Markers an dem ersten Controller und einer im Trainingssystem hin terlegten Position dieses Markers am ersten Controller ein maximaler Un terschied besteht, welcher unterhalb der mit der Kalibrierung zu erzielen den maximalen Abweichung liegt, insbesondere unterhalb von 5 mm, be vorzugt unterhalb von 3 mm und insbesondere bevorzugt unterhalb von 1 mm.

Bei einer Vorrichtung zur Kalibrierung eines Trainingssystems der eingangs genannten Art wird zur Lösung der vorstehenden Aufgabe vorgeschlagen, dass diese einen vom 3D-Sensorsystem erfassbaren ersten Controller, insbe sondere mit einer erfassbaren Tastspitze, zum Sampeln eines Raumpunktes im Trainingsraum aufweist. Mit dem ersten Controller kann ein Raumpunkt im Trainingsraum auf einfa che Weise gesampelt und im Anschluss hieran für die Kalibrierung verwen det werden. Hierzu wird der erste Controller auf einfache Weise von dem 3D-Sensorsystem im Trainingsraum erfasst, welches während des Trainings zur Erkennung der Hände eines Besatzungsmitglieds genutzt wird.

Die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebe nen Merkmale können einzeln oder in Kombination auch bei der Vorrichtung zur Kalibrierung zur Anwendung kommen. Es ergeben sich die gleichen Vor teile, welche bereits beschrieben wurden.

In diesem Zusammenhang hat es sich als besonders vorteilhaft erwiesen, wenn die Vorrichtung zur Kalibrierung einen vom VR- Anzeigesystem erfass baren zweiten Controller zum Sampeln eines Raumpunktes im Trainings raum durch In-Kontakt-Bringen mit dem ersten Controller aufweist. Durch den ersten Controller und den zweiten Controller kann die Position eines Raumpunktes im Trainingsraum, bei welchem es sich insbesondere um je nen Raumpunkt handelt, an welchem der erste Controller und der zweite Controller miteinander in Kontakt stehen, d. h. sich gegenseitig berühren, sowohl mittels des ersten Controllers im Koordinatensystem des 3D- Sensorsystems als auch mit dem zweiten Controller im Koordinatensystem des VR-Anzeigesystems bestimmbar sein. Eine Kalibrierung anhand der Posi tion des Raumpunktes in den beiden Koordinatensystemen kann auf einfa che Art und Weise ermöglicht werden.

Weitere Einzelheiten und Vorteile eines erfindungsgemäßen Verfahrens zur Kalibrierung und einer Vorrichtung zur Kalibrierung sollen nachfolgend an hand der in den Figuren schematisch dargestellten Ausführungsbeispiele der Erfindung exemplarisch erläutert werden. Darin zeigt: Fig. 1a bis 1c ein Trainingsraum in den Koordinatensystemen ei nes VR- Anzeigesystems, eines 3D-Sensorsystems und einem Koordinatenreferenzsystem,

Fig. 2 die Kalibrierung des Koordinatensystems des VR- Anzeigesystems und des Koordinatensystems des 3D- Sensorsystems auf ein gemeinsames Koordinatenre ferenzsystem,

Fig. 3 eine Grobkalibrierung,

Fig. 4a bis 4c zwei Verfahren zum Sampeln eines Raumpunktes mit einem ersten Controller,

Fig. 5 ein Verfahren zum Sampeln eines Raumpunktes mit dem ersten und einem zweiten Controller,

Fig. 6 ein weiteres Verfahren zum Sampeln eines Raum punktes mit dem ersten und einem zweiten Control ler,

Fig. 7 eine erste Ausführungsform eines mit einer Positi onsmarkierung versehenen ersten Controllers,

Fig. 8 eine zweite Ausführungsform eines mit einer Positi onsmarkierung versehenen ersten Controllers, und

Fig. 9a und 9b zwei Ausführungsformen eines 3D-Sensorsystems. Bei einem Trainingssystem zum Trainieren eines Besatzungsmitglieds eines Fahrzeugs in einem realen Trainingsraum 200 kommt es bei der Kalibrierung K durch einen Einrichter 100 darauf an, dass sowohl das Koordinatensystem B2 eines 3D-Sensorsystems 7 als auch das Koordinatensystem B1 eines VR- Anzeigesystems auf ein gemeinsames Koordinatenreferenzsystem B0 kalib riert werden.

Der Trainingsraum 200 ist in Fig. 1a bis Fig. 1c jeweils in den noch unkalib- rierten Koordinatensystemen B1 , B2 bzw. dem Koordinatenreferenzsystem B0 dargestellt, wobei die gezeigten Koordinatenachsen in den einzelnen Figuren parallel zu den Rändern der Zeichnungsseite ausgerichtet sind. Das Training eines Besatzungsmitgliedes soll hierbei mittels einer virtuellen Umgebung 2 durchgeführt werden.

Um diese virtuelle Umgebung 2 dem Besatzungsmitglied während des Trai nings darstellen zu können, umfasst das Trainingssystem 1 u. a. ein VR- Anzeigesystem. Zu diesem VR-Anzeigesystem gehören u. a. ein in Fig. 1 dargestellter aktiver Signalgeber 3 sowie eine Anzeigevorrichtung 4. Über die Anzeigevorrichtung 4 wird dem Besatzungsmitglied während des Trai nings die virtuelle Umgebung 2 positions- und lagerichtig abhängig von der Position zur Lage der Anzeigevorrichtung 4 im Trainingsraum dargestellt.

Die Position und Lage der Anzeigevorrichtung 4 entspricht hierbei der Posi tion und Lage des Kopfes des Besatzungsmitglieds, da die Anzeigevorrich tung 4 kopffest und im Sichtfeld während des Trainings getragen wird. Zu dem Trainingssystem 1 gehört zusätzlich ein 3D-Sensorsystem 7, welches innerhalb der Grenzen des Sensorbereichs 7.1 während des Trainings die Hände des Besatzungsmitglieds erkennen kann. Dies ermöglicht es dem Be satzungsmitglied, während des Trainings unmittelbar über seine Hände mit der virtuellen Umgebung 2 zu interagieren, ohne dass hierzu ein Interakti onsgerät benötigt wird. In dem Trainingsraum 200 sind auch zum Trainingssystem 1 gehörende Be diengeräte 6 dargestellt. Bei diesen Bediengeräten 6 kann es sich im ein fachsten Fall um rein virtuelle Bediengeräte 6 handeln, so dass die in Fig. 1 gezeigten Positionen dieser virtuellen Bediengeräte 6 lediglich jenen Posi- tionen entsprechen würden, welche von dem Besatzungsmitglied während des Trainings über die Anzeigevorrichtung 4 wahrgenommen würden. Alter nativ kann es sich um reale Bediengeräte 6 handeln, welche physisch im Trainingsraum 200 vorhanden, in diesem fixiert sind und welche dem Besat zungsmitglied während des Trainings ein haptisches Feedback bei der Inter- aktion mit der virtuellen Umgebung 2 geben können. Da das Besatzungsmit glied über die Anzeigevorrichtung 4, welche keinen Blick auf die Umgebung innerhalb des Trainingsraums 200 ermöglicht, diese realen Bediengeräte 6 nicht sehen kann, werden ihm über die Anzeigevorrichtung 4 mit diesen realen Bediengeräten 6 in Position und Lage relativ zur Anzeigevorrichtung 4 übereinstimmende virtuelle Darstellungen dieser Bediengeräte 6 ange zeigt.

Da die Hände des Besatzungsmitglieds während der Betätigung der Bedien geräte von dem 3D-Sensorsystem erfasst werden, die Darstellung der Hände sowie der Bediengeräte 6 jedoch über die Anzeigevorrichtung 4 des VR- Anzeigesystems dargestellt werden, ist es für ein erfolgreiches und zuver lässiges Training des Besatzungsmitglieds erforderlich, dass das Koordina tensystem B1 des VR-Anzeigesystems und das Koordinatensystem B2 des 3D- Sensorsystems 7 auf ein gemeinsames Koordinatenreferenzsystem B0 kalib- riert werden.

Wie in Fig. 1a bis Fig. 1c dargestellt, wird das Innere des Trainingsraums 200 sowie sämtliche hierin angeordneten Objekte, wie beispielsweise die Bediengeräte 6 oder auch die Anzeigevorrichtung 4, als in dem jeweiligen Koordinatensystem B1 , B2 bzw. dem Koordinatenreferenzsystem B0 an un terschiedlichen Positionen befindlich erkannt. So zeigt Fig. 1a den Trainingsraum 200 in dem Koordinatensystem B1 des VR- Anzeigesystems, welches seinen Ursprung in dem Signalgeber 3 hat. Die ser Signalgeber 3 sendet Positionssignale in den Trainingsraum 200 aus, mit welchen die Position der Anzeigevorrichtung 4 innerhalb des Trainingsraums 200 bestimmt wird. Das Koordinatensystem B1 des VR-Anzeigesystems ist hierbei durch Koordinatenachsen eines zweidimensionalen kartesischen Ko ordinatensystems angedeutet. Dies ist jedoch nicht als eine Beschränkung der Koordinatensysteme auf zweidimensionale Koordinatensysteme zu ver stehen, da es sich bei dem Trainingsraum 200 um einen dreidimensionalen Raum und somit auch bei den Koordinatensystemen B1 , B2 und dem Koordi natenreferenzsystem B0 um dreidimensionale Koordinatensysteme handelt. Wenngleich die Koordinatensysteme B1 , B2 und das Koordinatenreferenz system B0 als kartesische Systeme dargestellt sind, kann es sich bei ihnen gleichwohl auch um andere Systeme handeln, beispielsweise Polykoordina tensysteme oder Zylinderkoordinatensysteme.

In dem Koordinatensystem B1 des VR-Anzeigesystems, wie es in Fig. 1a dar gestellt ist, wird die Anzeigevorrichtung 4 beispielsweise als entlang einer Koordinatenachse vom Ursprung des Koordinatensystems B1 aus liegend er kannt. Im Koordinatensystem B2 des 3D-Sensorsystems 7, wie es in Fig. 1b dargestellt ist, wird die Anzeigevorrichtung 4 vom Ursprung des Koordina tensystems B1 ausgehend jedoch als im oberen linken Quadranten liegend erkannt. Bereits anhand der unterschiedlichen Ausrichtung des Trainings raums 200 in den beiden Koordinatensystemen B1 , B2 lässt sich erkennen, dass in einem unkalibrierten Trainingssystem ein Versatz sowie eine unter schiedliche Ausrichtung relativ zum Koordinaten referenzsystem B0, wie es in Fig. 1c dargestellt ist, besteht. Bei einem solchen unkalibrierten Trai ningssystem 1 würde die Hand des Besatzungsmitglieds während des Trai nings daher vom 3D-Sensorsystem 7 an einer gänzlich anderen Position und in einer anderen Lage erkannt werden, als dies der Position und der Lage der Hand in dem Koordinaten referenzsystem BO entspricht.

Da bei dem Trainingssystem 1 der durch das 3D-Sensorsystem 7 erkannten Handposition Koordinaten im Koordinatensystem B2 des 3D-Sensorsystems 7 zugeordnet werden, diese Position der Hand jedoch dem Besatzungsmit glied über die Anzeigevorrichtung 4 an den wertemäßig gleichen Koordina ten, jedoch im Koordinatensystem B1 des VR- Anzeigesystems dargestellt wird, würde das Besatzungsmitglied seine Hand in der virtuellen Umgebung 2 an einer anderen Position sehen, als dies der tatsächlichen Position der Hand im Trainingsraum 200 relativ zum Körper des Besatzungsmitglieds ent sprechen würde. Folglich könnte das Besatzungsmitglied nicht zuverlässig einschätzen, an welcher Position im Trainingsraum 200 sich seine Hand be findet.

Um dieses Problem zu vermeiden, wird vor dem Start des Trainings eine Kalibrierung K durch einen Einrichter 100 des Trainingssystems 1 durchge führt. Hierbei genügt es, wenn die Kalibrierung K durch den Einrichter 100 bei der erstmaligen Einrichtung des Trainingssystems 1 im Trainingsraum 200 erfolgt. Auf eine Wiederholung der Kalibrierung vor jedem Training kann verzichtet werden, gleichwohl ist eine Wiederholung der Kalibrierung, insbesondere in regelmäßigen Zeitabständen, möglich und empfehlenswert. Bei dem Einrichter 100 kann es sich auch um das Besatzungsmitglied han deln, welches nach der Einrichtung mit dem Trainingssystem 1 trainiert werden soll. Der Einrichter 100 trägt bei der Kalibrierung K die Anzeigevor richtung 4 des VR-Anzeigesystems, so dass er die virtuelle Umgebung 2, welche im Koordinatensystem B2 des VR-Anzeigesystems wiedergegeben wird, während der Kalibrierung K wahrnehmen kann.

Der Ablauf der Kalibrierung ist in Fig. 2 schematisch dargestellt. Im oberen Teil der Fig. 2 sind die nicht übereinstimmenden Koordinatensysteme B1 und B2 des VR- Anzeigesystems bzw. des 3D-Sensorsystems 7 sowie das Ko ordinatenreferenzsystem BO dargestellt. Einem Raumpunkt P innerhalb des Trainingsraums 200 werden aufgrund der unterschiedlichen Ausrichtung der Koordinatensysteme B1 und B2 sowie den Versätzen zwischen den Koordina tenursprüngen der Koordinatensysteme B1, B2 und dem Koordinaten refe- renzsystem BO unterschiedliche Koordinaten in den einzelnen Koordinaten systemen zugewiesen. So trägt der Raumpunkt P im Koordinatensystem B1 die kartesischen Koordinaten xi, yi, zi, in dem Koordinatensystem B2 die kartesischen Koordinaten i, yi, zi sowie im Koordinaten referenzsystem BO die kartesischen Koordinaten xo, yo, zo.

Damit diesem Raumpunkt P während des Trainings vom 3D-Sensorsystem 7 und auch vom VR- Anzeigesystem die gleichen Koordinaten zugewiesen wer den, erfolgt eine Kalibrierung K auf das Koordinatenreferenzsystem BO. Bei dieser Kalibrierung K werden die Positionen und Lagen des 3D- Sensorsystems 7 sowie des VR-Anzeigesystems relativ zum Koordinatenrefe renzsystem BO bestimmt. Aus diesen relativen Lagen und Positionen wird nun jeweils eine Transformationsfunktion, insbesondere eine Transformati onsmatrix, bestimmt und auf die Koordinatensysteme B1 bzw. B2 ange wandt. Nach erfolgreicher Kalibrierung K werden, wie im unteren Teil der Fig. 2 dargestellt, dem Raumpunkt P von dem 3D-Koordinatensystem 7 so wie dem VR- Anzeigesystem jeweils die übereinstimmenden kartesischen Koordinaten xo, yo, zo zugewiesen, welche der Position des Raumpunktes P im Koordinaten referenzsystem BO entsprechen. Diese Kalibrierung kann ite rativ erfolgen, wobei jeweils ein Raumpunkt in dem Koordinatensystem B1 und B2 bestimmt wird und hieran anschließend ein Kalibrierungsschritt durchgeführt wird, um hieran anschließend erneut die Position eines neuen Raumpunktes in beiden Koordinatensystemen B1 und B2 zu bestimmen.

Ebenso kann zunächst eine Schar von Raumpunkten bestimmt werden, de ren Positionen in den beiden Koordinatensystemen B1 und B2 jeweils eine Punktwolke darstellen. Diese beiden Punktwolken können dann über itera tive Algorithmen, insbesondere über einen Iterative-Closest- Point- Algorithmus, in eine Transformationsmatrix überführt werden. Mit der Transformationsmatrix können die Koordinatensysteme B1 und B2 während der Kalibrierung derart transformiert werden, dass sie mit dem Koordina tenreferenzsystem BO zur Deckung gebracht werden. Diese Kalibrierung K eignet sich insbesondere als eine Feinkalibrierung, welche nach einer vorab erfolgten Grobkalibrierung durchgeführt wird. Gleichwohl kann die be schriebene Kalibrierung K auch unmittelbar auf ein noch unkalibriertes Trainingssystem angewandt werden.

Wenngleich in Fig. 2 das Koordinatenreferenzsystem als ein von den Koor dinatensystemen B1 und B2 unabhängiges und im Trainingsraum 200 raum festes Koordinatensystem dargestellt ist, kann es sich bei dem Koordinaten referenzsystem BO gleichwohl auch um eines der beiden Koordinatensyste me B1 oder B2 handeln. Die Wahl eines der beiden Koordinatensysteme B1 oder B2 als Koordinaten referenzsystem BO gestattet eine einfachere und schnellere Durchführung der Kalibrierung K.

In Fig. 3 ist eine Grobkalibrierung gezeigt, welche eine erste Ausrichtung der Koordinatensysteme B1 und B2 aufeinander ermöglicht. Ziel ist es hier bei, das Koordinatensystem B1 des VR-Anzeigesystems und das Koordinaten system B2 des 3D-Sensorsystems 7 zunächst in eine grobe Deckung zu brin gen, so dass der Versatz zwischen ihren Koordinatenursprüngen grob ausge glichen werden kann. Der Arbeitsaufwand für eine anschließende Feinkalib rierung kann durch die Grobkalibrierung so reduziert werden. Fig. 3 zeigt hierbei zwei mögliche Ausführungsformen der Grobkalibrierung, welche auch miteinander kombiniert werden können.

Bei der ersten Ausführungsform wird ein VR-Controller 5, welcher zum VR- Anzeigesystem gehört und dessen Position im Trainingsraum 200 mittels des Signalgebers 3 erkannt werden kann, an das 3D-Sensorsystem 7 angehalten. Wenngleich der Koordinatenursprung des Koordinatensystems B2 des 3D- Sensorsystems 7, welcher durch den innerhalb des 3D-Sensorsystems 7 be findlichen Kreis angedeutet ist, nicht an der Position liegt, an welcher der VR-Controller 5 an das 3 D- Sensorsystem 7 angehalten wird, gibt die Position des VR-Controllers 5 jedoch eine erste Näherung für den Koordinatenur sprung des Koordinatensystems B2 im Koordinatensystem B1 des VR- Anzeigesystems an. Mit diesem Näherungswert für den Koordinatenursprung des Koordinatensystems B2 im Koordinatensystem B1 kann eine erste grobe Transformation zur Kalibrierung zwischen dem Koordinatensystem B2 und dem Koordinatensystem B1 erfolgen.

Alternativ oder zusätzlich kann ein erster Controller 12 des Trainingssys tems 1, welcher von dem 3D-Sensorsystem erfasst werden kann und dessen Position im Trainingsraum 200 somit im Koordinatensystem B2 bestimmbar ist, an den Signalgeber 3 des VR-Anzeigesystems angehalten werden, in welchem der Ursprung des Koordinatensystems B1 des VR-Anzeigesystems liegt. Auch mit dieser Näherung für den Koordinatenursprung des Koordina tensystems B1 im Koordinatensystem B2 des 3D-Sensorsystems 7 kann eine erste grobe Kalibrierung durchgeführt werden, mit welcher die beiden Ko ordinatensysteme B1 und B2 zumindest grob aneinander angenähert werden können. Nach dieser Grobkalibrierung liegen die Abweichungen zwischen den Koordinatenursprüngen der beiden Koordinatensysteme B1 und B2 je doch auch weiterhin mit Abweichungen von typischerweise 5 mm und mehr jenseits der für die Durchführung des Trainings akzeptablen maximalen Ab weichungen. Anschließend an eine solche Grobkalibrierung muss daher zu sätzlich eine Feinkalibrierung durchgeführt werden, mit welcher maximale Abweichungen unterhalb von 5 mm erzielt werden können, welche insbe sondere im Sub-Millimeter-Bereich liegen, d. h. unterhalb 1 mm. In Fig. 4 werden zwei mögliche Verfahren zum manuellen Sampeln eines Raumpunktes P im Trainingsraum 200 mit dem ersten Controller 12 gezeigt. Dieser erste Controller 12 ist hierbei von dem 3D-Sensorsystem hinsichtlich seiner Position und/oder Lage im Trainingsraum 200 erfassbar. Wie in Fig. 4a gezeigt, weist der erste Controller 12 zudem eine ebenfalls durch das 3D-Sensorsystem 7 erfassbare Tastspitze 12.1 auf. Dieser nach Art eines Handheld-Controllers ausgebildete erste Controller 12 kann durch den Ein richter 100 gehalten und im Trainingsraum 200 zum Sampeln einzelner Raumpunkte P genutzt werden.

Für die hier dargestellten Verfahren zum Sampeln des Raumpunktes P ist der erste Controller 12 zudem auch durch das VR- Anzeigesystem erfassbar, so dass seine Position im Trainingsraum 200 auch im Koordinatensystem B1 des VR-Anzeigesystems erfasst und bestimmt wird.

In einer ersten Alternative dieses Sample-Verfahrens, wie es in Fig. 4b ge zeigt ist, wird eine virtuelle Darstellung 14 des ersten Controllers 12 in der virtuellen Umgebung 2 dargestellt. Diese virtuelle Darstellung 14 des ersten Controllers 12 erfolgt an den Koordinaten, wie sie im Koordinatensystem B2 des 3D-Sensorsystems 7 für den ersten Controller 12 ermittelt wurden. Je doch werden diese Koordinaten nicht im Koordinatensystem B2 des 3D- Sensorsystems 7 dargestellt, sondern im Koordinatensystem B1 des VR- Anzeigesystems, da die virtuelle Umgebung 2 dem Einrichter 100 über die Anzeigevorrichtung 4 des VR-Anzeigesystems angezeigt wird und folglich das Koordinatensystem des VR-Anzeigesystems verwendet. Im hier darge stellten Beispiel wird eine Punktwolke bestehend aus einzelnen dem ersten Controller 12 zugeordneten Messpunkten des 3D-Sensorsystems 7 zur virtu ellen Darstellung 14 des ersten Controllers und seiner Tastspitze über die Anzeigevorrichtung 4 genutzt, was in Fig. 4 durch die gestrichelte Linien führung der virtuellen Darstellung 14 angedeutet ist. Der Einrichter 100 kann den ersten Controller 12 händisch im Trainingsraum 200 positionieren, was ihm über das 3D-Sensorsystem 7 und die Anzeigevorrichtung 4 entspre chend als Änderung der virtuellen Darstellung 14 in der virtuellen Umge bung 2 dargestellt wird.

Zum Sampeln des Raumpunktes P bringt der Einrichter 100 den ersten Con trollers 12 nun in eine solche Position, in welcher er die virtuelle Darstel lung 14 des ersten Controllers 12 in der virtuellen Umgebung 2 als mit dem Raumpunkt P in Kontakt stehend wahrnimmt. Um hierbei ein möglichst ge naues Sampeln zu ermöglichen, wird die Tastspitze 14.1 der virtuellen Dar stellung des ersten Controllers 14 genutzt und diese in der virtuellen Um gebung 2 mit dem Raumpunkt P in eine übereinstimmende Position ge bracht. Stellt der Einrichter 100 fest, dass die virtuelle Darstellung der Tastspitze 14.1 der virtuellen Darstellung 14 des ersten Controllers 12 mit dem Raumpunkt P übereinstimmt, so kann er über Betätigung einer hier nicht dargestellten Taste des ersten Controllers 12 eine Messung auslösen. Auf diese Weise wird mit der virtuellen Darstellung der Tastspitze 14.1 der virtuellen Darstellung des ersten Controllers 14 ein Raumpunkt P gesam pelt.

Da die Koordinatensysteme B1 und B2 noch nicht abschließend kalibriert sind, entspricht zum Zeitpunkt dieser Messung die Position des ersten Con trollers 12 im Trainingsraum jedoch nicht jener Position in der virtuellen Umgebung 2, an welcher die virtuelle Darstellung 14 des ersten Controllers 12 dem Einrichter 100 über die Anzeigevorrichtung 4 gezeigt wird. So be steht eine Abweichung V zwischen dem ersten Controller 12 und dem Raumpunkt P, dessen Koordinaten im Koordinatensystem B1 des VR- Anzeigesystems angegeben sind, wie dies in Fig. 4a gezeigt ist. Da in der virtuellen Umgebung 2 die virtuelle Darstellung 14 des ersten Controllers 12 mit dessen im Koordinatensystem B2 bestimmten Koordinaten mit dem Raumpunkt P, dessen Koordinaten im Koordinatensystem B1 des VR- Anzeigesystems angegeben sind, zur Deckung gebracht wurde, entspricht diese Abweichung V dem Versatz zwischen den Koordinatensystemen B1 und B2. Da die Position des ersten Controllers 12 auch durch das VR- Anzeigesystem erfasst werden kann, lässt sich die Abweichung V im Koordi natensystem B1 durch einen Vergleich zwischen der Position des ersten Controllers 12, insbesondere dessen Tastspitze 12.1, wie sie durch das VR- Anzeigesystem in dessen Koordinatensystem B1 bestimmt wird, mit der Po sition des Raumpunktes P im Koordinatensystem B1 ermitteln. Aus dieser Abweichung V kann anschließend eine Transformationsfunktion ermittelt werden und zum Ausgleich des Versatzes zwischen den Koordinatenursprün gen und/oder Ausrichtung der Koordinatensysteme B1 und B2 genutzt wer den.

Der Raumpunkt P kann hierbei dem Einrichter von dem Trainingssystem 1 vorgegeben werden. Hierzu kann der Raumpunkt P, ähnlich wie in Fig. 4b dargestellt, nach Art eines Kreuzes oder einer anderen den Raumpunkt an gebenden Anzeige dem Einrichter 100 als Einblendung in der virtuellen Um gebung 2 angezeigt werden.

Alternativ kann der Raumpunkt P auch vom Einrichter 100 frei gewählt werden. Hierbei wird dem Einrichter 100 der Raumpunkt P dann nicht in der virtuellen Umgebung 2 als Punkt vorgegeben, sondern der Einrichter 100 kann über Positionierung des ersten Controllers 12 die Position der vir tuellen Darstellung 14 des ersten Controllers 12 frei wählen. Sobald er mit dem ersten Controller 12 eine Messung auslöst, wird an der Position der Tastspitze 14.1 der virtuellen Darstellung 14 des ersten Controllers 12 der gesampelte Raumpunkt festgelegt und dessen Koordinaten im Koordinaten system B1 des VR-Anzeigesystems ermittelt. Wie auch bei einem vorgege benen Raumpunkt P wird anhand der Abweichung V im Trainingsraum 200 zwischen diesem Raumpunkt P im Koordinatensystem B1 und dem über das VR- Anzeigesystem in seiner Position bestimmten ersten Controller 12 der Versatz zwischen den beiden Koordinatensystemen B1 und B2 zum anschlie ßenden Ausgleich bestimmt.

Fig. 4c zeigt eine alternative Möglichkeit, wie ein Raumpunkt P dem Ein richter 100 vorgegeben werden kann. Hierbei wird in der virtuellen Umge bung 2 eine virtuelle Darstellung 15 eines zweiten Controllers 13 darge stellt, dessen Tastspitze 15.1 die Position des Raumpunktes P vorgibt. Hier bei ist es nicht erforderlich, dass der zweite Controller 13 physisch im Trai ningsraum 200 vorhanden ist. Vielmehr kann es sich um einen rein virtuel len Controller handeln, welcher lediglich als virtuelle Darstellung 15 in der virtuellen Umgebung 2 existiert. Auch hierbei kann der Einrichter 100 durch Veränderung der Position und Lage des ersten Controllers 12 die Position und Lage der virtuellen Darstellung 14 des ersten Controllers 12 in der vir tuellen Umgebung 2 verändern. Ziel ist es, dass der Einrichter 100 den ers ten Controller 12 derart positioniert, dass dessen virtuelle Darstellung 14 mit der virtuellen Darstellung 15 des zweiten Controllers 13 zur Deckung gebracht wird, wie dies in Fig. 4c gezeigt ist.

Wenngleich in Fig. 4c die virtuellen Darstellungen 14 und 15 unterschiedlich groß erscheinen, so dient dies in erster Linie der Übersichtlichkeit der Fig. 4c, wobei die virtuellen Darstellungen 14 und 15 in der virtuellen Umge bung 2 auch die gleichen Abmessungen aufweisen können. Gleichwohl kann die virtuelle Darstellung 15 des zweiten Controllers 13, wie gezeigt, auch eine größere Abmessung als die virtuelle Darstellung 14 des ersten Control lers 12 aufweisen.

Sobald die virtuellen Darstellungen 14 und 15 durch den Einrichter 100 in Deckung gebracht wurden, kann dieser durch Betätigung einer Taste die Messung auslösen. Alternativ kann das Trainingssystem auch automatisiert eine Messung auslösen, sobald die virtuellen Darstellungen 14 und 15 in der virtuellen Umgebung 2 deckungsgleich sind. Zudem kann für die automati- sierte Messungsauslösung auch ein gewisses Spiel vorgesehen sein, so dass bereits bei einer annähernden Deckung zwischen den virtuellen Darstellun gen 14 und 15, jedoch unterhalb einer gänzlichen Deckung, die automati sche Messungsauslösung erfolgt. Dieses Spiel kann dem Einrichter 100 durch die leicht größere virtuelle Darstellung 15 im Vergleich zur virtuellen Dar stellung des ersten Controllers 14 dargestellt werden. Über das Spiel kann der naturgemäß vorhandenen Variation der Position des frei durch den Ein richter 100 im Trainingsraum 200 positionierbaren ersten Controllers 12 Rechnung getragen werden. Übermäßige Anforderungen an den Einrichter und die Ruhe seiner Hand bei der Positionierung des ersten Controllers 12 im Trainingsraum 200 können vermieden werden.

Die in Fig. 4c gezeigte Methode zum Sampeln des Raumpunktes über ein In- Deckung-Bringen der beiden virtuellen Darstellungen 14, 15 können neben dem Raumpunkt P an der Tastspitze 15.1 der virtuellen Darstellung des zweiten Controllers 15 auch weiter in der Figur nicht dargestellte Raum punkte auf der Oberfläche der virtuellen Darstellung 15 des zweiten Con trollers 13 gesampelt werden. Auf diese Weise kann eine Raumpunkteschar durch eine einzelne Messung mit dem ersten Controller 12 gesampelt wer den.

Im Übrigen erfolgt das Sampeln und die Bestimmung der Abweichung V und des Versatzes bei dem in Fig. 4c dargestellten Ausführungsbeispiel analog zu dem Ausführungsbeispiel des Sampelns, wie es in Zusammenhang mit Fig. 4a und 4b bereits beschrieben wurde.

In Fig. 5 ist eine andere Möglichkeit des Sampelns eines Raumpunktes P dargestellt. Bei diesem Ausführungsbeispiel des Sampelns wird neben dem ersten Controller 12 auch ein real im Trainingsraum 200 vorhandener zwei ter Controller 13 verwendet. Dieser zweite Controller 13 wird von dem VR- Anzeigesystem in seiner Position im Trainingsraum 200 erfasst. Wie auch der erste Controller 12 weist auch der zweite Controller 13 eine Tastspitze 13.1 auf, welche sich insbesondere für ein präzises Sampeln eines Raum punktes P eignet. Wie auch der erste Controller 12 kann auch der zweite Controller 13 durch einen Einrichter 10 während des Kalibrierung K in dem Trainingsraum 200 nach Art eines Handheld-Controllers frei positioniert werden. Bei diesem zweiten Controller 13 kann es sich beispielsweise auch um den VR-Controller 5 des VR-Anzeigesystems handeln, dessen Benutzung, beispielsweise im Zusammenhang mit der in Fig. 4 dargestellten Grobkalib rierung, bereits beschrieben wurde.

Während der Kalibrierung wird dem Einrichter 100 über die Anzeigevorrich tung 4 sowohl eine virtuelle Darstellung 15 des zweiten Controllers 13 als auch eine virtuelle Darstellung 14 des ersten Controllers 12 in der virtuellen Umgebung 2 angezeigt. Wie bereits oben stehend beschrieben, erfolgt die virtuelle Darstellung 14 des ersten Controllers 12 anhand der im Koordina tensystem B2 des 3D-Sensorsysems 7 erfassten Position des ersten Control lers 12. Die virtuelle Darstellung 15 des zweiten Controllers 13 erfolgt hin gegen anhand der im Koordinatensystem B1 des VR-Anzeigesystems erfass ten Position des zweiten Controllers 13. Zum Sampeln des Raumpunktes P positioniert der Einrichter 100 den ersten Controller 12 und den zweiten Controller 13 derart im Trainingsraum 200, dass die virtuellen Darstellun gen 14 und 15, insbesondere die Tastspitzen 14.1 und 15.1 dieser virtuellen Darstellungen 14 und 15, in der virtuellen Umgebung 2 miteinander in Kon takt gebracht werden. Durch Betätigung einer Taste des ersten Controllers 12 und/oder des zweiten Controllers 13 kann der Einrichter 100 nunmehr eine Messung auslösen. Bei dieser Messung wird der Raumpunkt P, dessen Position jener der Tastspitzen 14.1, 15.1 der virtuellen Darstellungen 14, 15 im Koordinatensystem B1 des VR-Anzeigesystems entspricht, gesampelt, d. h. hinsichtlich seiner Position erfasst. Da die beiden Koordinatensysteme B1 und B2 noch nicht abschließend auf einander kalibriert sind, kommt es, ähnlich wie bereits im Zusammenhang mit Fig. 4a für den ersten Controller 12 und den Raumpunkt P beschrieben, auch bei diesem Ausführungsbeispiel zu einer Abweichung V zwischen dem ersten Controller 12 und dem zweiten Controller 13 im Trainingsraum 200, insbesondere zwischen den Tastspitzen 12.1, 13.1. Diese Abweichung V lässt sich aus den Koordinaten der Position des ersten Controllers 12 und den Koordinaten der Position des zweiten Controllers 13 im Trainingsraum 200, jeweils im Koordinatensystem B1 des VR-Anzeigesystems gemessen, bestimmen. Durch den Kontakt der beiden Tastspitzen 14.1, 15.1 in der virtuellen Umgebung 2 wird erreicht, dass sich der erste Controller 12 und der zweite Controller 13 jeweils an wertemäßig gleichen Koordinaten be finden. Denn die virtuellen Darstellungen 14, 15 erfolgen in der virtuellen Umgebung 2 lediglich im Koordinatensystem B1. Diese Koordinaten werden im Trainingsraum 200 jedoch vom ersten Controller 12 im Koordinatensys tem B2 des 3D-Sensorsystems 7 und vom zweiten Controller 13 hingegen im Koordinatensystem B1 des VR-Anzeigesystems eingenommen. Die Position des ersten Controllers 12, insbesondere dessen Tastspitze 12.1 , im Trai ningsraum 200 wird nun zusätzlich auch im Koordinatensystem B1 des VR- Anzeigesystems bestimmt. Aus der Differenz der Koordinaten der Tastspit zen 12.1 und 13.1 im Koordinatensystem B1 des VR-Anzeigesystems wird die physische Abweichung V zwischen den beiden Controllern 12, 13 und somit auch der Versatz zwischen den Koordinatensystemen B1 und B2 ermittelt.

Wie im unteren Teil der Fig. 5 dargestellt, kann in der virtuellen Umgebung 2 neben der virtuellen Darstellung 14 des ersten Controllers 12 mit den Ko ordinaten, wie sie vom 3D-Sensorsystem 7 erfasst wurden, zusätzlich auch eine weitere virtuelle Darstellung 15 des ersten Controllers 12 erfolgen, wobei hier die Positionskoordinaten des ersten Controllers 12 genutzt wer den, wie sie im Koordinatensystem B1 des VR-Anzeigesystems erfasst wur den. Diese zweite virtuelle Darstellung 16 des ersten Controllers 12 zusam- men mit der ebenfalls dargestellten Tastspitze 16.1 ermöglicht es dem Ein richter 100, gleichzeitig die Position des ersten Controllers 12 wahrzuneh men, wie sie in den beiden noch nicht aufeinander abschließend kalibrier ten Koordinatensystemen B1 und B2 bestimmt werden. Hierdurch wird dem Einrichter 100 zusätzlich ermöglicht, eine Abschätzung der Güte der bishe rigen Kalibrierung zu treffen. So wird die Abweichung V2 zwischen den Dar stellungen der Position des ersten Controllers 12 durch die virtuelle Darstel lung 14 und die virtuelle Darstellung 16 umso kleiner, je besser die Kalib rierung K der beiden Koordinatensysteme B1 und B2 ist. Die Kalibrierung K ist für den Einrichter 100 hierbei ersichtlich abgeschlossen, wenn die virtu ellen Darstellungen 14 und 16 des ersten Controllers 12 in der virtuellen Umgebung im Wesentlichen deckungsgleich sind, insbesondere nur noch eine Abweichung V2 im Sub-Millimeter-Bereich besteht.

Wie in Fig. 6 gezeigt, kann die Kalibrierung alternativ auch derart erfolgen, dass die Tastspitzen 12.1 , 13.1 des ersten Controller 12 und des zweiten Controllers 13 im Trainingsraum 200 physisch miteinander in Kontakt ge bracht werden und durch Auslösung einer Messung der zwischen diesen bei den Tastspitzen 12.1 , 13.1 liegenden Raumpunktes P gesampelt wird. Über die Position der Tastspitze 12.1 , welche im Koordinatensystem B2 des 3D- Sensorsystems bestimmt wird, und der Position der Tastspitze 13.1 , welche im Koordinatensystem B1 des VR-Anzeigesystems bestimmt wird, kann durch Differenzierung ebenfalls der Versatz zwischen den beiden Koordina tensystemen B1 , B2 ermittelt werden. In der virtuellen Umgebung 2 ent spricht dieser Versatz der Abweichung V2 zwischen den virtuellen Darstel lungen 14, 15 der beiden Controller 12, 13. Bei diesem Ausführungsbeispiel kommt es zu einer Abweichung V2 zwischen den virtuellen Darstellungen 14 und 15 in der virtuellen Umgebung 2, während der erste Controller 12 und der zweite Controller 13 miteinander in Kontakt stehen. Dieses Ausfüh rungsbeispiel ermöglicht eine Kalibrierung mit einem ersten Controller 12, welcher nicht durch das VR- Anzeigesystem erfassbar ist. Fig. 7 zeigt eine Möglichkeit, wie der erste Controller 12 über eine Positi onsmarkierung von dem 3D-Sensorsystem 7 erfasst werden kann. Hierzu weist der erste Controller 12 eine zweidimensionale Positionsmarkierung nach Art eines Markers 17 auf, welcher auf dem ersten Controller 12 ange bracht oder als integraler Bestandteil dieses ersten Controllers 12 ausgebil det sein kann. Der Marker 17 ist als zweidimensionaler QR-Marker ausgebil det. Dieser Marker 17 kann durch das 3D-Sensorsystem 7 im Trainingsraum 200 erkannt werden. Dem Trainingssystem 1 , insbesondere einem Trainings rechner oder einem Server, sind zu diesem Marker 17 zugehörige Abmes sungen des ersten Controller 12 hinterlegt. Zu diesen hinterlegten Abmes sungen gehört insbesondere der relative Entfernungsvektor E der Tastspitze 12.1 des ersten Controllers 12 vom Marker 17 aus. Dies ermöglicht es, durch die Erfassung des Markers 17 mittels des 3D-Sensorsystems 7 die Position der Tastspitze 12.1 zu ermitteln. Hierzu wird die erkannte Position des Markers 17 mit dem hinterlegten relativen Entfernungsvektor E zur Tast spitze überlagert, so dass die Position der Tastspitze 12.1 über den Marker

17 durch das 3D-Sensorsystem 7 erfasst werden kann.

In Fig. 8 ist eine weitere Markierungsmöglichkeit für den ersten Controller 12 zur Erfassung durch das 3D-Sensorsystem 7 dargestellt. Hierzu sind an dem ersten Controller 12 retroreflektierende Kugeln 18 angeordnet oder als Bestandteile des ersten Controllers 12 ausgebildet. Diese retroreflektieren den Kugeln 18 sind in einem Muster angeordnet, welches es dem 3D- Sensorsystem 7 ermöglicht, die Position und Lage des ersten Controller 12 sowie dessen Kontur zu erfassen. Je nach Lage des ersten Controllers 12 im Trainingsraum 200 wird die Anordnung der retroreflektierenden Kugeln 18 durch das 3D-Sensorsystem 7 unterschiedlich erfasst. Aus dem Unterscheid dieser Erfassung der retroreflektierenden Kugeln 18 zu dem im Trainings system 1 hinterlegten Muster kann die Lage der retroreflektierenden Kugeln

18 und damit des ersten Controllers 12 bestimmt werden. Zudem kann jede der retroreflektierenden Kugeln 18 dazu genutzt werden, einen eigenen Raumpunkt P zu sampeln, so dass mit dem in Fig. 8 dargestellten ersten Controller während einer Messungsaktion eine Raumpunkteschar gesampelt werden kann.

In Fig. 9a und Fig. 9b sind zwei mögliche Ausführungsformen des 3D- Sensorsystems 7 sowie die Bestimmung der Position des ersten Controllers 12 mit diesen dargestellt. Mit den dargestellten 3D-Sensorsystemen 7 lässt sich hierbei nicht nur die Position und Lage des ersten Controllers 12 erfas sen, sondern sie eignen sich auch vielmehr dazu, auch andere Objekte im Trainingsraum 200, wie beispielsweise dessen Arme 102 oder gesamten den Körper oder das reale Bediengerät 5, zu erfassen, was vorteilhaft bei der Durchführung eines realitätsgetreuen Trainings ist.

Das in Fig. 9a dargestellte 3D-Sensorsystem 7 umfasst eine Farbkamera 9, welche zwischen zwei Teilkameras 8.1 einer stereo-optischen Tiefenkamera 8 angeordnet ist. Die Farbkamera 9 kann ein zweidimensionales Farbbild innerhalb der Grenzen des Sensorbereichs 7.1 erfassen. Mittels der Farbka mera 9 kann erfassten Punkten ein jeweiliger Farbwert zugeordnet werden, welcher jenem Farbwert der korrespondierenden Punkte im Trainingsraum 200 entspricht.

Mit den beiden Teilkameras 8.1 der stereo-optischen Tiefenkamera 8 lässt sich der Abstand A des ersten Controllers 12 zu dem 3D-Sensorsystem 7 messen. Hierzu nimmt jede der Teilkameras 8.1 simultan ein eigenständi ges Bild des ersten Controllers 12 auf. Da der erste Controller 12 im Trai ningsraum 200 von den beiden Teilkameras 8.1 jeweils in einem anderen Raumwinkel a, ß relativ zu ihrer jeweiligen Geradeausrichtung R gesehen wird und der Abstand der beiden Teilkameras 8.1 zueinander konstruktiv bekannt ist, kann der Abstand A einzelner Punkte auf dem ersten Control- lers 12 und somit auch der gesamte erste Controller 12 durch Triangulation ermittelt werden.

In Fig. 9b ist ein weiteres 3D-Sensorsystem 7 gezeigt, welches ebenfalls eine Farbkamera 9 aufweist, welche die gleiche Funktion wie die in Fig. 9a gezeigte Farbkamera 9 erfüllt. Hierüber hinaus weist das in Fig. 9b darge stellte 3D-Sensorsystem 7 eine Tiefenkamera 8 nach Art einer time-of- flight-Kamera mit einem Sende-Modul 8.2 und einem Empfangs-Modul 8.3 auf. Anders als bei einer stereo-optischen Kamera erfolgt die Bestimmung des Abstands A des ersten Controllers 12 zum 3D-Sensorsystem 7 nicht über eine Triangulation mit mehreren Aufnahmen, sondern über die Laufzeit ei nes Lichtpulses 10. Hierbei emittiert das Sende-Modul 8.2 diesen Lichtpuls 10, welcher von dem ersten Controller 12 als reflektierter Puls 11 zurück geworfen wird und auf einen Lichtsensor 8.4 des Empfangs-Moduls 8.3 trifft. Der vom Sende-Modul 8.2 emittierte Lichtpuls 10 kann als breitgefä cherter Puls emittiert werden, welcher insbesondere zwischen den Grenzen des Sensorbereichs 7.1 liegenden Bereichs abdecken kann. Alternativ kann es sich bei dem Lichtpuls 10 um einen fokussierten Puls handeln, welchen das Sende-Modul 8.2 zur Abrasterung des sich zwischen den Grenzen des Sensorbereichs 7.1 erstreckenden Bereichs jeweils zeitlich versetzt entlang einer anderen Raumrichtung emittiert.

Um über die Laufzeit des Lichtpulses 10 und des reflektierten Pulses 11 den Abstand A des ersten Controllers 12 von dem 3D-Sensorsystem 7 bestimmen zu können, sind das Sende-Modul 8.2 und das Empfangs-Modul 8.3 derart miteinander synchronisiert, dass die Zeit zwischen dem Emittieren des Lichtpulses 10 durch das Sende-Modul 8.2 und das Detektieren des reflek tierten Pulses 11 durch den Lichtsensor 8.4 des Empfangs-Moduls 8.3 genau bestimmt werden kann. Aus dieser Zeitdifferenz sowie der bekannten Aus breitungsgeschwindigkeit des Lichtpulses 10 sowie des reflektierten Pulses 11 lässt sich der Abstand A bestimmen. Hierbei werden insbesondere kurze Lichtpulse 10 im Bereich von wenigen Nanosekunden und darunter verwen det, welche vorzugsweise im Infrarotbereich liegen.

Mithilfe des vorstehend beschriebenen Verfahrens sowie der Vorrichtung zur Kalibrierung wird ein Kalibrierungsverfahren für ein Trainingssystem 1 angegeben, bei welchem keine Interaktionsgeräte für die Interaktion des Besatzungsmitglieds mit der virtuellen Umgebung 2 benötigt werden.

Bezugszeichen:

1 Trainingssystem

2 virtuelle Umgebung

3 Signalgeber

4 Anzeigevorrichtung

5 VR-Controller

6 Bediengerät

7 3D-Sensorsystem

7.1 Grenzen des Sensorbereichs

8 Tiefenkamera

8.1 Teilkamera

8.2 Sende-Modul

8.3 Empfangs-Modul

8.4 Lichtsensor

9 Farbkamera

10 Lichtpuls

11 reflektierter Puls

12 erster Controller

12.1 Tastspitze

13 zweiter Controller

13.1 Tastspitze

14 virtuelle Darstellung des ersten Controllers (3D-Sensorsystem)

14.1 virtuelle Darstellung der Tastspitze

15 virtuelle Darstellung des zweiten Controllers

15.1 virtuelle Darstellung der Tastspitze

16 virtuelle Darstellung des ersten Controllers (VR- Anzeigesystem)

16.1 virtuelle Darstellung der Tastspitze

17 Marker

18 retroreflektierende Kugel 100 Einrichter

200 Trainingsraum

300 Objekt

A Abstand

BO Koordinaten referenzsystem B1 Koordinatensystem

B2 Koordinatensystem E Entfernungsvektor

K Kalibrierung

P Raumpunkt

R Geradeausrichtung

V Abweichung V2 Abweichung a, ß Winkel

Claims

Patentansprüche:

1 . Verfahren zur Kalibrierung eines Trainingssystems (1 ) zum Trainieren eines Besatzungsmitglieds eines Fahrzeugs in einem realen Trainings raum (200) durch einen Einrichter (100), wobei der Einrichter (100) eine kopffeste, im Sichtfeld des Einrichters (100) angeordnete Anzei gevorrichtung (4) eines VR-Anzeigesystems trägt, wobei ein Signalge ber (3) des VR-Anzeigesystems zur Positionsbestimmung der Anzeige vorrichtung (4) genutzt wird und wobei dem Einrichter (100) eine rein virtuelle Umgebung (2) auf der Anzeigevorrichtung (4) darge stellt wird, d a d u r c h g e k e n n z e i c h n e t , dass ein Koordinatensystem (B2) eines 3D-Sensorsystems (7) zur Er kennung der Hände des Besatzungsmitglieds und ein Koordinatensys tem (B1 ) des VR-Anzeigesystems während des Trainings auf ein ge meinsames Koordinaten referenzsystem (B0) kalibriert werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Koor dinatensysteme (B1, B2) des VR-Anzeigesystems und des 3D- Sensorsystems (7) mit einer Grobkalibrierung zunächst grob in De ckung gebracht werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Grob kalibrierung durch ein Anhalten eines VR-Controllers (5) des VR- Anzeigesystems an das 3D-Sensorsystem (7) erfolgt.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass eine Feinkalibrierung, insbesondere im Anschluss an die Grobkalibrierung, vorgenommen wird.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Fein kalibrierungen iterativ erfolgt, insbesondere unter Einsatz eines Ite- rative-Closest-Point-Algorithmus.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die Position eines Raumpunktes (P), insbesondere einer Raumpunkteschar, im Trainingsraum (200) in dem Koordinaten system (B1 ) des VR-Anzeigesystems und dem Koordinatensystem (B2) des 3D-Sensorsystems (7) bestimmt wird.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Raumpunkt (P) zur Positionsbestimmung im Trainingsraum (200) ma nuell gesampelt wird.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass ein von dem 3D-Sensorsystem (7) erfassbarer ers ter Controller (12), insbesondere mit einer erfassbaren Tastspitze (12.1 ), genutzt wird.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der erste Controller (12) vom VR-Anzeigesystem erfasst wird.

10. Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeich net, dass in der Anzeigevorrichtung (4) eine virtuelle Darstellung (14, 16) des ersten Controllers (12) dargestellt wird.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die vir tuelle Darstellung (14) des ersten Controllers (12) anhand der im Ko ordinatensystem (B2) des 3D-Sensorsystems (7) erfassten Position des ersten Controllers (12) erfolgt.

12. Verfahren nach einem der Ansprüche 10 oder 11, dadurch gekenn zeichnet, dass mit der virtuellen Darstellung (14, 16) des ersten Con trollers (12), insbesondere der virtuellen Darstellung der Tastspitze (14.1, 16.1 ), ein Raumpunkt (P) gesampelt wird.

13. Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeich net, dass in der Anzeigevorrichtung (4) eine virtuelle Darstellung (15) eines zweiten Controllers (13) dargestellt wird.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass der zwei te Controller (13) von dem VR- Anzeigesystem erfasst wird.

15. Verfahren nach einem der Ansprüche 13 oder 14, dadurch gekenn zeichnet, dass die virtuellen Darstellungen (14, 15) des ersten Con trollers (12) und des zweiten Controllers (13), insbesondere die vir tuellen Darstellungen der Tastspitzen (14.1, 15.1 ), in Kontakt und/oder in Deckung gebracht werden.

16. Vorrichtung zur Kalibrierung eines Trainingssystems (1 ) zum Trainie ren eines Besatzungsmitglieds eines Fahrzeugs in einem realen Trai ningsraum (200) durch einen Einrichter (100) nach Anspruch 1, g e k e n n z e i c h n e t d a d u r c h , einen vom 3D-Sensorsystem (7) erfassbaren ersten Controller (12), insbesondere mit einer erfassbaren Tastspitze (12.1 ), zum Sampeln eines Raumpunktes (P) im Trainingsraum (200).