DE10307827A1

DE10307827A1 - Remote control system for a moving object, e.g. a radio-controlled aircraft, whereby the operator has a head up display which is supplied with real time images from a camera mounted in the model and linked to a control computer

Info

Publication number: DE10307827A1
Application number: DE2003107827
Authority: DE
Inventors: Birgit Rottenkolber; Eberhard Wahl; Silke Malzkorn-Edling; Roland Gischa; Rainer Voigt
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2003-02-24
Filing date: 2003-02-24
Publication date: 2004-09-02

Abstract

System for moving an object (1), e.g. a model aircraft, whereby the user has a remote control device (12) for controlling the object. A camera (4) is used to project the view from the object back to the user who can see the view from the camera in a head up display (10). A computer unit (6) processes the images from the camera in real time and in addition displays real time operating parameters. An independent claim is made for a method for moving an object using a real time remote control system and head up display.

Description

Die Erfindung betrifft ein System und ein Verfahren zum Bewegen eines Objekts.The invention relates to a system and a method for moving an object.

Es ist bekannt, zum Bewegen eines Objekts, wie z.B. eines Modellfahrzeugs, das Fahrzeug mit einer Kamera auszustatten, die aus dem Fahrzeug heraus die Umgebung in Bewegungsrichtung des Fahrzeugs aufnimmt, und das Fahrzeug anhand des zu einem Fernsehgerät übertragenen Kamerabildes zu steuern.It is known to move one Object, such as of a model vehicle, the vehicle with a Equip camera that out of the vehicle in the environment Direction of movement of the vehicle picks up, and based on the vehicle the one transmitted to a television To control the camera image.

Solche Systeme bilden aber keine komplette Simulation eines realen Fahr-/Flugerlebnisses, da der Betrachter nicht nur das Fernsehbild wahrnimmt, sondern auch noch die Bereiche neben dem Fernseher. Er befindet sich somit nicht in einer für ihn abgeschlossenen visuellen Umgebung, die ihm das Fahr-/Flugerlebnis möglichst authentisch vermittelt.However, such systems do not form complete simulation of a real driving / flight experience, as the Viewer not only perceives the television picture, but also the areas next to the TV. It is therefore not in one for completed visual environment giving him the driving / flying experience preferably authentically conveyed.

Ausgehend hiervon ist es Aufgabe der Erfindung, ein System zum Bewegen eines Objekts vorzusehen, mit dem dem Benutzer möglichst realitätsnah der visuelle Eindruck vermittelt wird, daß er sich zusammen mit dem Objekt bewegt, obwohl dies nicht der Fall ist. Ferner soll noch ein entsprechendes Verfahren zum Bewegen eines Objektes bereitgestellt werden.Based on this, it is task the invention to provide a system for moving an object, with the user if possible realistic the visual impression is given that he is together with the Object is moving, although it is not. Furthermore is said to still a corresponding method for moving an object can be provided.

Die erfindungsgemäße Ausgabe wird durch ein System zum Bewegen eines Objektes gelöst, das eine am Objekt befestigte Bildaufnahmeeinrichtung zur Aufnahme der Objektumgebung in Bewegungsrichtung des Objekts, eine Erfassungseinheit zum Erfassen von zumindest einer Betriebszustandsgröße des Objekts, einer von einem Benutzer zu tragende HMD-Vorrichtung, eine Fernsteuerung zum Steuern des Objekts und eine Übertragungseinheit aufweist, die eine Echtzeitaufnahme der Bildaufnahmeeinrichtung sowie ein Echtzeitwert der erfaßten Betriebszustandsgröße zu einer Recheneinheit überträgt, die die Echtzeitaufnahme und den Echtzeitwert so aufbereitet und zur HMD-Vorrichtung überträgt, daß mittels der HMD-Vorrichtung für den Benutzer eine Kombination aus Echtzeitumgebung auf der Basis der Echtzeitaufnahme und virtuell erzeugter Darstellung der Betriebszustandsgröße auf der Basis des Echtzeitwertes dargestellt wird.The output of the invention is through a system solved for moving an object, the one image recording device attached to the object for recording the object environment in the direction of movement of the object, a detection unit for recording at least one operating state variable of the object, an HMD device to be worn by a user, a remote control for controlling the object and having a transmission unit which a real-time recording of the image recording device and a real-time value the captured Operating state variable to a Computing unit that transmits the Real-time recording and the real-time value processed and transmitted to the HMD device that by means of the HMD device for the User a combination of real-time environment based on real-time recording and virtually generated representation of the operating state variable on the Based on the real-time value.

Durch den Einsatz der HMD-Vorrichtung (Head Mounted Display-Vorrichtung), die eine Kombination der realen Echtzeitumgebung des Objekts und der virtuell erzeugten Darstellung der Betriebszustandsgröße dem Benutzer als in sich abgeschlossene visuelle Umgebung präsentiert, wird dem Benutzer der Eindruck vermittelt, als ob er sich selbst im Modell befindet und sich zusammen mit dem Objekt bewegt.By using the HMD device (Head Mounted display device), which is a combination of the real-time environment of the object and the virtually generated representation of the operating state variable to the user presented to the user as a self-contained visual environment the impression conveys that it is in the model itself and moves with the object.

Anhand dieser visuellen Darstellung steuert der Benutzer über die Fernbedienung das Objekt. Dies führt zu der gewünschten Bewegung des Objekts und damit auch zu einer Änderung der realen Umgebung des Objekts, die mittels der Bildaufnahmeeinrichtung erneut aufgenommen und in gleicher Weise dem Benutzer in Echtzeit wieder dargestellt werden. Dies verstärkt den Eindruck, sich mit dem Objekt zu bewegen. Es können natürliche mehrere Echtzeitaufnahmen und -werte zur Recheneinheit übertragen werden.Based on this visual representation the user overrides the remote control the object. This leads to the desired one Movement of the object and thus also a change in the real environment of the object, which is recorded again by means of the image recording device and are displayed to the user in real time in the same way. This reinforces the impression of moving with the object. It can naturally take multiple real-time shots and values are transmitted to the computing unit become.

Die HMD-Vorrichtung erzeugt nur für den die HMD-Vorrichtung tragenden Benutzer wahrnehmbare Bilder. Insbesondere kann sie so ausgebildet sein, daß der Benutzer nur noch die von der HMD-Vorrichtung erzeugten Bilder wahrnehmen kann (in diesem Fall kann auch die Fernbedienung mittels der HMD-Vorrichtung dargestellt werden) oder daß der Benutzer neben den HMD-Bildern auch noch die Fernbedienung sehen kann. Auch eine augmentierte Darstellung ist möglich. Die HMD-Vorrichtung kann beispielsweise helmartig oder auch in Form einer abgeschlossenen Brille ausgebildet sein.The HMD device generates the HMD device only for that carrying user perceivable images. In particular, it can be trained that the Users only perceive the images generated by the HMD device can (in this case the remote control can also be operated using the HMD device are shown) or that the user in addition to the HMD images can also see the remote control. Also an augmented representation is possible. The HMD device can for example be helmet-like or in the form of a closed Glasses.

Insbesondere kann es sich bei dem Objekt um ein Fahrzeug mit einem Cockpit handeln, wobei die Bildaufnahmeeinrichtung den Blick aus dem Cockpit heraus aufnimmt. Das Fahrzeug kann ein Land-, Luft- oder Wasserfahrzeug sein, wobei das Cockpit immer der Bereich ist, in dem sich der Fahrzeugführer normalerweise bei Bewegung des Fahrzeugs aufhalten würde. Insbesondere kann das Objekt (bzw. das Fahrzeug) ein Modellobjekt sein, wie z.B. ein Modellflugzeug, ein Modellauto oder auch ein Modell-U-Boot.In particular, it can The object is a vehicle with a cockpit, the image recording device takes a look out of the cockpit. The vehicle can be a country, Air or watercraft, with the cockpit always the area is where the driver is would normally stop when the vehicle is moving. In particular the object (or the vehicle) can be a model object, e.g. a model airplane, a model car or a model submarine.

Wenn es sich um ein Modellobjekt handelt, kann mittels dem erfindungsgemäßen System eine ausgezeichnete Simulation des Bewegungsverhaltens des Originalobjekts realisieren. Wenn es sich bei dem Objekt selbst um das Originalobjekt handelt, kann man das erfindungsgemäße System insbesondere zur Steuerung des Objekts bei Notfällen einsetzen.If it is a model object can be excellent by means of the system according to the invention Realize the simulation of the movement behavior of the original object. If the object itself is the original object, can the system according to the invention use in particular to control the object in emergencies.

Besonders bevorzugt ist es, wenn die virtuelle Darstellung mittels der HMD-Vorrichtung die Darstellung des Cockpits umfaßt. Dadurch wird der visuelle Eindruck für den Benutzer noch realitätsnäher.It is particularly preferred if the virtual representation by means of the HMD device the representation of the cockpit. This makes the visual impression even more realistic for the user.

Insbesondere wird die virtuelle Cockpit-Darstellung ortsfest zu einem vorher festgelegten Punkt (beispielsweise ein Punkt am Boden) erzeugt, so daß eine Kopfdrehung des Benutzers dazu führt, daß dem Benutzer der Eindruck vermittelt wird, er schaue sich im Cockpit um.In particular, the virtual cockpit display stationary at a predetermined point (e.g. a Point on the ground), so that a Head rotation of the user causes that the Users are given the impression that they are looking in the cockpit around.

Eine besonders vorteilhafte Weiterbildung des erfindungsgemäßen Systems besteht darin, daß die HMD-Vorrichtung eine Abschaltvorrichtung aufweist, mit der die HMD-Vorrichtung auf volle Durchsicht schaltbar ist. Mittels dieser Abschaltvorrichtung kann man sehr schnell sicherstellen, daß der Benutzer seine reale Umgebung und nicht mehr die Darstellung mittels der HMD-Vorrichtung wahrnimmt. Dies ist besonders in Notfällen oder bei Störung der Darstellung wichtig.A particularly advantageous development of system according to the invention is that the HMD device has a shutdown device with which the HMD device can be switched to full transparency. By means of this switch-off device one very quickly make sure that the user is real Environment and no longer perceives the representation by means of the HMD device. This is especially in emergencies or in the event of a fault important to the presentation.

Insbesondere kann die Abschaltfunktion mittels der Fernbedienung ausgelöst werden. Damit läßt sich die Abschaltung durch den Benutzer selbst schnell durchführen.In particular, the shutdown function triggered by the remote control become. So that can carry out the shutdown quickly by the user himself.

Alternativ zu der Abschaltfunktion kann die HMD-Vorrichtung klappbar oder schwenkbar so vorgesehen sein, daß sie in einer ersten Stellung dem Benutzer die gewünschten Bilder darbietet, während sie in einer zweiten Stellung den Sichtbereich des Benutzers vollständig freigibt. Dies läßt sich beispielsweise wie bei einem Visier eines Motorradhelms realisieren, das geöffnet werden kann.As an alternative to the shutdown function the HMD device can be provided so that it can be pivoted or pivoted be them in a first position presents the desired images to the user while they are completely clears the user's field of vision in a second position. This can be done for example like realizing a visor of a motorcycle helmet, that opened can be.

Bei dem erfindungsgemäßen System kann ferner noch eine oder mehrere Betriebszustandsgrößen der Fernsteuerung mittels der HMD-Vorrichtung angezeigt werden. Dabei kann es sich beispielsweise um die Sender-/Empfängerspannung handeln.In the system according to the invention can also one or more operating state variables of Remote control can be displayed using the HMD device. there it can be, for example, the transmitter / receiver voltage.

Die Übertragung zwischen dem Objekt und der Recheneinheit einerseits und der Fernbedienung und dem Objekt andererseits kann über Kabel oder bevorzugt drahtlos durchgeführt werden. Die drahtlose Übertragung kann je nach Abstand beispielsweise über eine sogenannte WLAN-Verbindung (kürzere Abstände) oder auch über eine Mobilfunkverbindung oder eine Satellitenverbindung hergestellt werden.The transfer between the object and the computing unit on the one hand and the remote control and the object on the other hand, about Cables or preferably wireless. The wireless transmission can, depending on the distance, for example via a so-called WiFi connection (shorter distances) or also about established a cellular or satellite connection become.

Die Recheneinheit kann insbesondere so ausgebildet sein, daß die Zeitabstände zwischen den für die HMD-Vorrichtung aufbereiteten Echtzeitaufnahmen so groß gewählt sind, daß für den Benutzer ein deutlich wahrnehmbares Ruckeln erkennbar ist. Dies stört zwar das vermittelte Realitätsgefühl, führt aber zu einem deutlich seltener Auftreten von Übelkeit bei den Benutzern, die insbesondere auf die fehlende Übereinstimmung der visuellen Eindrücke mit den Eindrücken des Gleichgewichtsorgans des Benutzers zurückzuführen sind.The computing unit can in particular be designed so that the intervals between those for the HMD device processed real-time recordings are chosen so large that for the user clearly noticeable jerking is recognizable. This bothers the conveyed feeling of reality, but leads to a significantly lower incidence of nausea among users who especially the lack of agreement of visual impressions with the impressions of the user's balance organ.

Ferner kann das erfindungsgemäße System einen Sitz für den Benutzer aufweisen, wobei die Lage des Sitzes veränderbar ist und er entsprechend der Objektbewegung angesteuert wird. Dies erhöht den Realitätseindruck für den Benutzer deutlich, da er die Bewegungen des Objekts nicht nur sieht, sondern nun auch spürt.Furthermore, the system according to the invention can Fit for have the user, the position of the seat changeable and it is controlled according to the object movement. This increases the impression of reality for the User clearly, since he not only sees the movements of the object, but now also feels.

Zur Steuerung des Sitzes kann in dem zu bewegenden Objekt ein Gyrosensor vorgesehen sein, mit dem die Ausrichtung des Objekts zum Boden erfaßbar ist. Die von dem Gyrosensor abgegebenen Signale werden über die Übertragungseinheit zur Recheneinheit übertragen, die aufgrund dieser Signale den Sitz ansteuert.To control the seat can be in a gyro sensor can be provided with the object to be moved the orientation of the object to the floor is detectable. The one from the gyro sensor emitted signals are about the transmission unit transferred to the computing unit, which controls the seat based on these signals.

Das erfindungsgemäße System kann so weitergebildet werden, daß die Fernsteuerung nur möglich ist, wenn vorgegebene Randbedingungen eingehalten werden. Dabei kann es sich beispielsweise um einen maximalen Abstand zwischen dem zu bewegenden Objekt und dem Benutzer bzw. der Fernsteuerung und der Recheneinheit handeln. Dies ist insbesondere bei der Steuerung von Modellflugzeugen wichtig, da somit die gesetzlich vorgeschriebene maximale Sichtschutzenfternung eingehalten werden kann. Man kann dies beispielsweise dadurch realisieren, daß eine optische Verbindung (beispielsweise zwischen Infrarotleuchtdioden an der HMD-Vorrichtung und einem Empfänger am bewegten Objekt oder andersrum) vorhanden sein muß. Liegt eine längere Unterbrechung dieser optischen Verbindung vor, kann der Benutzer gewarnt werden (beispielsweise optisch oder auch akustisch) und/oder der automatische Rückflug kann eingeleitet werden. Natürlich kann statt der optischen Verbindung eine Funkverbindung genutzt werden. Auch kann man bei Modellflugzeugen z.B. eine maximale Flughöhe vorgeben, die das Modellflugzeug nicht übersteigen darf.The system according to the invention can thus be developed further be that the Remote control only possible is if the specified boundary conditions are met. there can be, for example, a maximum distance between the object to be moved and the user or remote control and act on the computing unit. This is particularly the case with the control system important for model airplanes, as this is the legally required maximum privacy protection can be maintained. One can realize this, for example, by an optical connection (for example between infrared light emitting diodes on the HMD device and a receiver must be present on the moving object or vice versa). Lies a longer one The user can interrupt this optical connection before be warned (for example optically or acoustically) and / or the automatic return flight can be initiated. Naturally can use a radio connection instead of the optical connection become. You can also use model aircraft e.g. specify a maximum flight altitude, that do not exceed the model aircraft may.

Bei der Betriebszustandsgröße des Objekts kann es sich, wenn das Objekt ein Modellflugzeug ist, um die Motordrehzahl, den künstlichen Horizont, die Höhe, die Geschwindigkeit, den Kompaß (mit Deviationstabelle) handeln. Auch kann man eine Anzeige für Einziehfahrwerke, Landeklappen und Restkraftstoffmenge vorsehen. Diese Betriebszustandsgrößen können so wie in einem echten Cockpit dargestellt werden und es ist auch möglich, freie Anzeigeleuchten eines echten Cockpits für Betriebszustandsgrößen zu verwenden, die üblicherweise nicht angezeigt werden.With the operating state size of the object can if the object is a model airplane, the engine speed, the artificial Horizon, the height, the speed, the compass (with Deviation table) act. You can also see a display for retractable undercarriages, Provide flaps and residual fuel quantity. These operating state variables can be so as shown in a real cockpit and it is also possible to be free Use indicator lights of a real cockpit for operating state variables, the usual not be displayed.

Die Betriebszustandsgrößen können entweder direkt erfaßt werden oder aus anderen erfaßten Größen abgeleitet werden. Die Erfassung und Ableitung können im Objekt selbst durchgeführt werden. Die Ableitung kann natürlich auch erst in der Recheneinheit erfolgen. Neben der visuellen Darstellung können auch noch akustische Signale erzeugt werden, um den Realitätseindruck noch zu verbessern. In diesem Fall weist die HMD-Vorrichtung entsprechende Lautsprecher (bevorzugt Kopfhörer) auf.The operating state variables can either directly captured are derived or derived from other recorded quantities become. The acquisition and derivation can be carried out in the object itself. The Derivation can of course also only take place in the computing unit. In addition to the visual representation, you can also still acoustic signals are generated to give the impression of reality still improve. In this case, the HMD device has corresponding Speakers (preferably headphones) on.

Am Objekt können weitere Bildaufnahmeeinrichtungen vorgesehen werden, um andere Aufnahmeperspektiven zu realisieren. Insbesondere kann eine 360° Kamera zur Orientierung eingesetzt werden. Die Aufnahmen dieser weiteren Kamera bzw. dieser weiteren Kameras werden in gleicher Weise über die Übertragungseinheit zur Recheneinheit übertragen, die diese auswertet und zusätzlich für den Benutzer noch darstellen kann. Alternativ kann der Benutzer beispielsweise an seiner Fernbedienung die gewünschte Perspektive auswählen. Wesentlich ist es, daß es sich bei den Aufnahmen jeweils um Echtzeitaufnahmen handelt.Additional image recording devices can be attached to the object can be provided to realize other recording perspectives. In particular, a 360 ° camera can be used for orientation. The recordings of these others Camera or these other cameras are in the same way via the transmission unit transferred to the computing unit, which evaluates them and additionally for the User can still represent. Alternatively, the user can, for example the desired one on his remote control Select perspective. It is essential that it the recordings are real-time recordings.

Die Fernsteuerung kann als klassische Fernsteuerung (wie zur Steuerung von Modellflugzeugen) oder auch zumindest teilweise als virtuelle Fernsteuerung ausgebildet sein. Im letzteren Fall ist noch eine Eingabeeinheit, wie z. B. ein oder mehrere Datenhandschuhe, vorgesehen, mittels der der virtuelle Teil der Fernsteuerung bedienbar ist. Bei Datenhandschuhen wird beispielsweise ihre Lage und Ausrichtung im Raum laufend bestimmt, so daß daraus Aktionen ableitbar sind (wie z. B. Betätigen eines virtuellen Schalters oder Bewegen eines virtuellen Steuerknüppels). Es kann somit ein virtuelles Cockpit mittels der HMD-Vorrichtung dargestellt und mittels der Eingabeeinheit bedient werden. Dies erhöht den Realitätseindruck. Natürlich kann die Eingabeeinheit, wie dies dem Fachmann aus dem Gebiet der virtuellen Realität bekannt ist, noch eine Rückkopplungsfunktion aufweisen, die beim (virtuellen) Betätigen eines Schalters, z. B. eine Kraft auf den Finger des Benutzers ausübt, wodurch der Eindruck für den Benutzer noch realistischer wird.The remote control can be designed as a classic remote control (such as for controlling model aircraft) or at least partially as a virtual remote control. In the latter case, an input unit, such as. B. one or more data gloves provided, by means of which the virtual part of the remote control can be operated. In the case of data gloves, for example, their position and orientation in space are continuously determined so that actions can be derived from them (such as actuating a virtual switch or moving a virtual joystick). A virtual cockpit can thus be represented by means of the HMD device and operated by means of the input unit. This increases the impression of reality. Of course, the input unit can, as is known to those skilled in the field of virtual len reality is known, still have a feedback function, which (virtual) actuation of a switch, for. B. exerts a force on the user's finger, which makes the impression even more realistic for the user.

Insbesondere ist das erfindungsgemäße System so ausgebildet, daß die HMD-Vorrichtung, die Recheneinheit und die Fernsteuerung tragbar bzw. mobil sind.In particular, the system according to the invention trained so that the HMD device, the computing unit and the remote control portable or are mobile.

Die Aufgabe wird auch gelöst durch ein Verfahren zum Bewegen eines Objekts, bei dem mit einer am Objekt befestigten Bildaufnahmeeinrichtung eine Echtzeitaufrahme der Objektumgebung in Bewegungsrichtung des Objekts durchgeführt wird, zumindest ein Echtzeitwert einer Betriebzustandsgröße des Objekts erfaßt wird, die Echtzeitaufnahme sowie der Echtzeitwert aufbereitet und zu einer von einem Benutzer zu tragenden HMD-Vorrichtung übertragen werden und mittels der HMD-Vorrichtung für den Benutzer eine Kombination aus Echtzeitumgebung auf der Basis der Echtzeitaufnahme und virtuell erzeugter Darstellung der Betriebszustandsgröße auf Basis des Echtzeitwertes dargestellt wird, so daß der Benutzer anhand der HMD-Darstellung mittels einer Fernsteuerung die Objektbewegung steuern kann.The task is also solved by a method of moving an object, with one on the object attached image recording device a real-time recording of the object environment is carried out in the direction of movement of the object, at least one real-time value an operating state quantity of the object detected is processed, the real-time recording and the real-time value and to an HMD device to be worn by a user and a combination for the user by means of the HMD device from real-time environment based on real-time recording and virtual generated representation of the operating state variable based on the real-time value is represented so that the Users based on the HMD display using a remote control can control object movement.

Mit dem erfindungsgemäßen Verfahren wird dem Benutzer aufgrund der Kombination der Echtzeitaufnahmen mit dem virtuell erzeugten Betriebzustandsgrößen eine möglichst realitätsnahe Simulation einer Bewegung mit dem Objekt vermittelt.With the method according to the invention is the user due to the combination of real-time recordings with the virtually generated operating state variables, a simulation that is as realistic as possible conveyed a movement with the object.

Insbesondere kann das Verfahren noch zusätzlich solche Schritte aufweisen, die mittels des erfindungsgemäßen Systems und seiner Weiterbildung realisierbar sind.In particular, the method can still additionally have such steps using the system according to the invention and its further training are feasible.

Die Erfindung wird nachfolgend beispielhalber anhand der einzigen Figur noch näher erläutert.The invention is illustrated below by way of example based on the single figure explained.

Wie aus der schematischen Darstellung der einzigen Figur ersichtlich ist, handelt es sich bei dem zu bewegenden Objekt um ein Modellflugzeug 1, in dem eine Kamera 2 angeordnet ist, die die Objektumgebung aus dem Cockpitfenster 3 des Flugzeugs 1 in Bewegungsrichtung A des Flugzeugs 1 aufnimmt.As can be seen from the schematic representation of the single figure, the object to be moved is a model airplane 1 in which a camera 2 is arranged, the object environment from the cockpit window 3 of the plane 1 in the direction of movement A of the aircraft 1 receives.

Diese Aufnahmen werden über eine Erfassungseinheit 4 und eine Übertragungseinheit 5 drahtlos zu einer am Boden angeordneten Recheneinheit 6 übertragen. Die drahtlose Übertragung über Antennen 8, 9 ist mit der Strichpunktlinie 7 angedeutet.These recordings are made via a registration unit 4 and a transmission unit 5 wireless to a computing unit located on the floor 6 transfer. Wireless transmission via antennas 8th . 9 is with the semicolon 7 indicated.

Die Erfassungseinheit 4 überträgt nicht nur sofort und laufend die Echtzeitaufnahmen der Kamera 2 zur Übertragungseinheit 5, sondern erfaßt auch noch Betriebszustandsgrößen des Flugzeugs 1, wie z.B. die Höhe des Flugzeugs, seine Geschwindigkeit und den künstlichen Horizont. Die Werte dieser Betriebszustandsgrößen werden wiederum sofort und laufend mittels der Übertragungseinheit 5 zur Recheneinheit 6 übertragen.The registration unit 4 not only transmits the real-time images of the camera immediately and continuously 2 to the transmission unit 5 , but also captures operating state variables of the aircraft 1 , such as the height of the aircraft, its speed and the artificial horizon. The values of these operating state variables are in turn immediately and continuously by means of the transmission unit 5 to the computing unit 6 transfer.

Das System enthält weiterhin eine HMD-Vorrichtung 10, die helmartig ausgebildet ist und die der Benutzer B auf seinem Kopf trägt. Die HMD-Vorrichtung 10 ist über ein Verbindungskabel 11 mit der Recheneinheit 6 verbunden. Natürlich kann statt einem Verbindungskabel zwischen der Recheneinheit 6 und der HMD-Vorrichtung 10 auch eine drahtlose Verbindung vorgesehen werden.The system also includes an HMD device 10 , which is designed like a helmet and which the user B wears on his head. The HMD device 10 is via a connecting cable 11 with the computing unit 6 connected. Of course, instead of a connection cable between the computing unit 6 and the HMD device 10 a wireless connection can also be provided.

Der Benutzer trägt ferner eine Fernsteuerung 12, mit der er über eine drahtlose Verbindung 13 (die wiederum durch eine Stichpunktlinie angedeutet ist) das Flugzeug 1 steuert.The user also carries a remote control 12 with which he has a wireless connection 13 (which is in turn indicated by a bullet line) the aircraft 1 controls.

Im Betrieb werden somit vom Flugzeug Echtzeitaufnahmen aus dem Cockpit heraus mittels der Kamera 2 aufgenommen und zusammen mit den erfaßten Betriebzustandsgrößen laufend zu der Recheneinheit 6 übertragen. Die Recheneinheit 6 bereitet diese Daten so auf, daß mittels der HMD-Vorrichtung 10 eine Kombination aus Echtzeitumgebung und virtuellem Cockpit für den Benutzer B dargestellt wird. Dem Benutzer wird somit der visuelle Eindruck vermittelt, als ob er selbst im Flugzeug 1 sitzt.In operation, real-time shots of the aircraft are taken from the cockpit using the camera 2 recorded and continuously together with the recorded operating state variables to the computing unit 6 transfer. The computing unit 6 prepares this data so that by means of the HMD device 10 a combination of real-time environment and virtual cockpit for user B is displayed. The user is thus given the visual impression of being on the plane himself 1 sitting.

Natürlich werden die Kameraaufnahmen und auch die Cockpitdarstellungen ständig aktualisiert, so daß ein äußerst realer Eindruck geschaffen wird.Of course, the camera shots and also the cockpit displays constantly updated, making it an extremely real one Impression is created.

Die Recheneinheit 6 muß nicht als separate Einheit ausgebildet sein, sie kann in die HMD-Vorrichtung 10 oder auch in die Fernsteuerung 12 integriert sein.The computing unit 6 need not be designed as a separate unit, it can be in the HMD device 10 or also in the remote control 12 be integrated.

Natürlich können im Flugzeugcockpit auch zwei Kameras im Augenabstand des Benutzers (bzw. in einem typischen Augenabstand) angeordnet sein, deren Aufnahmen für eine dreidimensionale Darstellung in der HMD-Vorrichtung benutzt werden.Of course, two can also be in the aircraft cockpit Cameras at the user's eye relief (or at a typical eye relief) be arranged, the recordings for a three-dimensional representation be used in the HMD device.

Claims

System for moving an object ( 1 ), with an image recording device attached to the object ( 2 ) to record the object surroundings in the direction of movement (A) of the object ( 1 ), a registration unit ( 4 ) for detecting at least one operating state variable of the object ( 1 ), an HMD device to be worn by a user (B) ( 10 ), a remote control ( 12 ) to control the object movement and a transmission unit ( 5 ), the real-time recording of the image recording device ( 2 ) and a real-time value of the recorded operating state variable to a computing unit ( 6 ) which processes the real-time recording and the real-time value and sends it to the HMD device ( 10 ) transmits that by means of the HMD device ( 10 ) for the user (B) a combination of real-time environment and a virtually generated representation of the operating state variable is shown on the basis of the real-time value.

The system of claim 1, wherein the object ( 1 ) is a vehicle with a cockpit and the image recording device ( 2 ) takes a look out of the cockpit.

System according to Claim 2, in which the computing unit ( 6 ) the real-time recording and the real-time value prepared so that the cockpit by means of the HMD device ( 10 ) is displayed virtually.

The system of claim 3, wherein the virtual cockpit representation stationary to a reference point regardless of the head movement of the User (B) is generated.

System according to one of the preceding claims, in which the HMD device ( 10 ) has a shutdown function with which the HMD device ( 10 ) can be switched to full view.

System according to Claim 5, in which the switch-off function by means of the remote control ( 12 ) can be triggered.

System according to one of the preceding claims, in which an operating state variable of the remote control ( 12 ) detected and by means of the HMD device ( 10 ) can be displayed.

System according to one of the above claims, in which the computing unit ( 6 ) the real-time recordings prepared so that changes in the real-time environment by means of the HMD device ( 10 ) are displayed abruptly.

System according to one of the above claims, in which at least one further image recording device is provided for recording the object environment in a direction other than the direction of movement (A), and the real-time recordings of the further image recording device via the transmission unit ( 5 ) to the computing unit ( 6 ) be transmitted.

System according to one of the above claims which is a seat for the user (B) is provided, the position of which can be changed and which is dependent on the Object movement is controlled.

Method of moving an object ( 1 ), with one on the object ( 1 ) attached image recording device ( 2 ) a real-time recording of the object movement in the direction of movement (A) of the object ( 1 ) is carried out, at least one real-time value of an operating state variable of the object ( 1 ) is recorded, the real-time recording and the real-time value are processed and sent to an HMD device to be worn by a user (B) ( 10 ) are transmitted and by means of the HMD device ( 10 ) a combination of a real-time environment and a virtually generated representation of the operating state variable is represented for the user on the basis of the real-time value, so that the user (B) using the HMD representation by means of a remote control ( 12 ) can control the movement of the object.