EP2929519A2 - Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system - Google Patents

Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system

Info

Publication number
EP2929519A2
EP2929519A2 EP13852371.7A EP13852371A EP2929519A2 EP 2929519 A2 EP2929519 A2 EP 2929519A2 EP 13852371 A EP13852371 A EP 13852371A EP 2929519 A2 EP2929519 A2 EP 2929519A2
Authority
EP
European Patent Office
Prior art keywords
vehicle
user
simulator
controlled
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP13852371.7A
Other languages
German (de)
French (fr)
Inventor
Olaf GÜHRING
Holger Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grenzebach Maschinenbau GmbH
Original Assignee
Grenzebach Maschinenbau GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grenzebach Maschinenbau GmbH filed Critical Grenzebach Maschinenbau GmbH
Publication of EP2929519A2 publication Critical patent/EP2929519A2/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/107—Simultaneous control of position or course in three dimensions specially adapted for missiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/12—Motion systems for aircraft simulators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/48—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer a model being viewed and manoeuvred from a remote point

Definitions

  • the invention relates to a method and a device for combined
  • Flight simulators or vehicle simulators increase safety and reduce the cost of training for a real flight.
  • the safety aspects are improved when inexperienced students learn to fly or when less experienced pilots are instructed in operations related to new vehicles or new techniques.
  • the device described there, or the corresponding method is based on the object of presenting a device and a method with which the operation of a simulator with a special realism impression for mastering the control of a vehicle moving in three-dimensional reality, in particular of an aircraft, can be achieved.
  • teachers should also be able to objectively supervise the learning progress and the level of stress of the student accompanying the learning process.
  • a device for operating a simulator with a special realism - appearance to learn the mastery of a moving in the three-dimensional reality vehicle claimed, wherein the simulated aircraft to be simulated
  • a support device which may be designed as a chassis connected to the ground, and wherein for the transmission of a simulated exterior view of the contours of the vehicle cabin replicated display is used.
  • This device is characterized by having the following features: a) the vehicle cabin (4) is in addition to the connection with the 6 - axis industrial robot (1) via a device (6) for translational transverse movement, which is mounted on a device (5) for translational longitudinal movement movable at right angles, with connected to the ground, allowing combined accelerated movements of the two devices (6,5), regardless of the movements of the
  • An autonomous safety system for the use of vehicle simulators or flight simulators in the form of a simulation pulpit (3) actuated by means of a 6 - axis robot comprising the following features: a) one, open only to authorized persons, multiple at all
  • a rescue unit (13) movable on a running track (14) to any location in the operating area of the vehicle simulator, comprising a rescue platform (25), a railing (24) and a safety platform
  • the operating data transmitted to the vehicle cabin for the respective simulation operation are different from the operating data even in the case of a very realistic appearance, as occurs in the case of a real operation of a vehicle.
  • a real pilot with his human senses consciously or unconsciously detects far more than is normally simulated in a vehicle cabin. This becomes particularly clear in cases in which autonomous missiles, known as drones, are controlled by pilots who actually cause real maneuvers.
  • the present invention is therefore based on the object to present a device and a method for simulating vehicle movements, with which, especially in actually occurring vehicle movements, for the respective pilot, the degree of reality - appearance by a
  • remotely controlled vehicles in a simulator with one to controlled vehicle with real controls with a 6 - axis industrial robot over a
  • Carrying device is connected to the ground, and wherein the
  • a sensor (8) is installed in the head area of the user for detecting the head position, the data of which influence the viewing direction and / or the image perspective displayed on the display.
  • Chassis is designed. Claim 4:
  • simulation or control is used for vehicles on land, on the water or in the air.
  • an AMOLED system adapted to a cockpit or a large screen is used as the visualization element.
  • a receiving unit for receiving olfactory and / or flavor-specific data or a corresponding method according to claim 7
  • a support device which may be designed as a chassis, is connected to the ground, and wherein for transmitting a simulated
  • the user of the simulator is provided with current, sensor-determined data from the fields of optics, kinematics of motion and acoustics from the vehicle to be controlled, b) the user of the simulator thus receives almost the same
  • a sensor is used to adjust the pair of eyes of the user with respect to the longitudinal axis of the vehicle pulpit when projected in the starting position of the vehicle, taking into account its loading
  • a device imperceptibly tracks the real position of the vehicle in the calculated position by means of a GPS system in the case of a real controlled vehicle.
  • a sensor (8) is installed in the head area of the user for detecting the head position, the data of which influence the viewing direction and / or the image perspective displayed on the display.
  • the simulation or control is used for vehicles on land, water and in the air, and that the transmission of olfactory and / or flavor-specific data from the vehicle is provided.
  • Machine-readable medium with the program code of a computer program for carrying out the method according to one of Claims 8 to 10 when the program is executed in a computer.
  • the invention is based on the idea to enable the user of the simulator by transmitting important data from a real moving vehicle in a position to feel as if he were actually the pilot of the respective vehicle.
  • Simulator arranged transmitting station quasi bidirectional way to the missile to be sent.
  • Such movement-relevant data are generated by means of mechanical signals which the user of the simulator generates by means of conventionally actuated pedals or sidesticks, and which are sent to the control organs of the respective vehicle by means of suitable mathematical models or operations, prepared.
  • the timely and correct generation of these signals reflects the
  • the data sent by the vehicle to be controlled which have optical, acoustic or situational character, require a bidirectional expression only insofar as in this way this type of data is requested at certain intervals or constantly.
  • FIG. 1 shows an overview of a missile representation.
  • the process of simulating a control operation of a moving vehicle is the same as the operation of controlling a vehicle actually moving in the known 3D world.
  • the control of a real moving vehicle is sketched in Fig. 1 as in accordance with the invention ensures that the position of the vehicle, here a missile, on the screen of the simulator with the position of a missile in reality in accordance is brought.
  • 1 denotes the real or real position of a missile and 2 denotes an assumed position on the screen of the simulator.
  • GPS system global positioning system
  • the projection surface of the simulator is marked in FIG. 1, while the stylistic representations 5 and 6 show a calculated positioning 5 of the missile shown and 6 a positioning corrected by the action of the GPS system. 7 indicates a connection with a simulator 's 6 - axis robot.
  • FIG. 2 shows an image of a projection situation, which represents another user-friendly feature of the system according to the invention.
  • 7 denotes the connection to a known 6-axis robot and 5 represents the positioning calculated in the simulator or the simulator itself.
  • a head sensor 8 is shown, which detects the current position of the head and thus not only indicates the viewing direction of the user, but also the distance of the head from the projection system, or the screen registered.
  • These data acquired by the head sensor 8 not only allow the spatial area shown on the screen to be adapted to the viewing direction of the user, but also additionally increase or decrease the size of the image section shown when the user's head is approaching or retreating from the screen.
  • Another, unspecified, sensor is used to adjust the pair of eyes with respect to the longitudinal axis of the vehicle's pulpit for projection at a standstill.
  • standstill here the starting position of a remote-controlled vehicle is called. This starting position differs depending on the position of the center of gravity of a vehicle, with the center of gravity shifting in the main with the loading of a vehicle.
  • a so-called simulation model 80/20 is used. This means that the impression of reality or the feeling of the genuineness of the overall impression, about 80% by the visualization and about 20% by the representation of the movement is achieved. In the representation of fast and large-scale movements, this ratio shifts accordingly in favor of the movement.
  • Conceivable are mathematical models for water, land and air.
  • the movements and the visualization are clocked at 60 Hz and can be replaced at any time by real-time data.
  • Superimposed images may also be generated by a method called a synthetic vision.
  • real-time images from the database can be overlaid with synthetic images.
  • Their resolution can be between 10cm / pixel and
  • the visualization in the simulator can be done via so - called AMOLED systems (activ - matrix organic light - emission diode), which is adapted to the size of the visible surface of a missile, or with a large screen which has an image area of up to 155 m 2 can.
  • AMOLED systems activate - matrix organic light - emission diode
  • the images from the vehicle are displayed in real time on the operator station
  • the system is controllable both from the vehicle pulpit and from an operator station.
  • a receiving unit for receiving olfactory and / or flavor-specific data is provided which simulate, for example, burning smell and / or the tasting of air particles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Toys (AREA)

Abstract

The invention relates to a device and a method for the combined simulation and control of remote-controlled vehicles in a simulator. A driver's/pilot's compartment comprising real operating elements and emulating the vehicle to be controlled is provided with a six-axis industrial robot connected to ground. A display emulating the contours of the driver's/pilot's compartment serves to convey a simulated view of the exterior. The invention is characterized by the following: a) the vehicle to be controlled transmits to the user of the simulator actual data that are captured by sensors, b) the user of the simulator thus has virtually the same impression of the motion of the vehicle as a real driver/pilot, c) the manner in which the user of the simulator reacts is converted to mechanically picked-up signals, d) a sensor unit mounted in the head region of the user is provided for adjusting the pair of eyes, and e) an apparatus corrects, with the aid of a GPS system in the case of a vehicle that is controlled in reality, the actual position of the vehicle to the calculated position.

Description

Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Proiektionssvstem  Method and apparatus for combined simulating and controlling remote control vehicles with a user friendly projection system
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum kombinierten The invention relates to a method and a device for combined
Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem. Simulate and control remote-controlled vehicles with a user-friendly projection system.
Flugsimulatoren oder Fahrzeugsimulatoren erhöhen die Sicherheit und verringern die Kosten der Ausbildung für einen echten Flug. Die Sicherheitsaspekte werden verbessert wenn unerfahrene Flugschüler fliegen lernen oder wenig erfahrene Piloten in Betriebsabläufe im Zusammenhang mit neuen Fahrzeugen oder neuen Techniken eingewiesen werden. Flight simulators or vehicle simulators increase safety and reduce the cost of training for a real flight. The safety aspects are improved when inexperienced students learn to fly or when less experienced pilots are instructed in operations related to new vehicles or new techniques.
Aus der, auf die Anmelderin selbst zurückgehenden, DE 10 2010 035 814 B3 sind eine Vorrichtung und ein Verfahren zum Betrieb eines Flugsimulators mit besonderer Realitäts - Anmutung bekannt. DE 10 2010 035 814 B3, which is based on the applicant himself, discloses a device and a method for operating a flight simulator with a special appearance of reality.
Der dort beschriebenen Vorrichtung, bzw. dem entsprechenden Verfahren liegt die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren vorzustellen, mit dem der Betrieb eines Simulators mit besonderer Realitäts - Anmutung zum Erlernen der Beherrschung eines sich in der dreidimensionalen Realität bewegenden Fahrzeugs, insbesondere eines Fluggeräts, erreicht werden kann. Zudem soll auch für den, den Lernvorgang begleitenden, Lehrer die Möglichkeit bestehen, die Lernfortschritte und den Belastungsgrad seines Schülers objektiv überwachen zu können.  The device described there, or the corresponding method, is based on the object of presenting a device and a method with which the operation of a simulator with a special realism impression for mastering the control of a vehicle moving in three-dimensional reality, in particular of an aircraft, can be achieved. In addition, teachers should also be able to objectively supervise the learning progress and the level of stress of the student accompanying the learning process.
Zur Lösung dieser Aufgabe wird gemäß dem Patentanspruch 1 eine Vorrichtung zum Betrieb eines Simulators mit besonderer Realitäts - Anmutung zum Erlemen der Beherrschung eines sich in der dreidimensionalen Realität bewegenden Fahrzeugs, beansprucht, wobei eine dem zu simulierenden Fluggerät nachgebildete To achieve this object, according to claim 1, a device for operating a simulator with a special realism - appearance to learn the mastery of a moving in the three-dimensional reality vehicle, claimed, wherein the simulated aircraft to be simulated
Fahrzeugkabine mit realen Bedienelementen mit einem 6 - achsigen Vehicle cabin with real controls with a 6 - axle
Industrieroboter, der über eine Tragvorrichtung, die als Fahrwerk ausgebildet sein kann, mit dem Boden verbunden ist, und wobei zur Übermittlung einer simulierten Außenansicht ein den Konturen der Fahrzeugkabine nachgebildetes Display dient. Diese Vorrichtung ist dadurch gekennzeichnet, dass sie die folgenden Merkmale aufweist: a) die Fahrzeugkabine ( 4 ) ist zusätzlich zu der Verbindung mit dem 6 - achsigen - Industrieroboter ( 1 ) über eine Einrichtung ( 6 ) für translatorische Querbewegung, die auf einer Einrichtung ( 5 ) für translatorische Längsbewegung im rechten Winkel verfahrbar montiert ist, mit dem Boden verbunden, wobei kombinierte beschleunigte Bewegungen der beiden Einrichtungen ( 6,5 ) ermöglicht werden, unabhängig von den Bewegungen des Industrial robot, which is connected via a support device, which may be designed as a chassis connected to the ground, and wherein for the transmission of a simulated exterior view of the contours of the vehicle cabin replicated display is used. This device is characterized by having the following features: a) the vehicle cabin (4) is in addition to the connection with the 6 - axis industrial robot (1) via a device (6) for translational transverse movement, which is mounted on a device (5) for translational longitudinal movement movable at right angles, with connected to the ground, allowing combined accelerated movements of the two devices (6,5), regardless of the movements of the
Industrieroboters ( 1 ),  Industrial robot (1),
b) das den Konturen der Fahrzeugkabine ( 4 ) nachgebildete Display ist auf der Basis der OLED - Technologie gefertigt, c) zur Simulation von in der Praxis vorkommender Gefahrensituationen sind steuerbare Anlagen zur künstlichen Raucherzeugung ( 12 ), Rüttelbewegungen, Schallerzeugung und Lichterscheinungen ( 14 ) vorgesehen,  b) the display modeled after the contours of the vehicle cabin (4) is manufactured on the basis of OLED technology, c) controllable systems for artificial smoke generation (12), shaking motions, sound generation and light phenomena (14) are used to simulate dangerous situations occurring in practice intended,
d) zur Erfassung von menschlichen Stressreaktionen sind steuerbare Anlagen zur Erfassung des Hautwiderstandes ( 10 ) und der  (d) for the detection of human stress reactions are controllable systems for measuring skin resistance (10) and
Detektion von Personenbewegungen und der Physiognomie ( 16 ) vorgesehen,  Detection of Person Movements and Physiognomy (16) Provided
e) einen Sensor (17 ) zur Erfassung der tatsächlichen Bewegungen der Fahrzeugkabine,  e) a sensor (17) for detecting the actual movements of the vehicle cabin,
f) eine Anlage zur externen Bedienung und Steuerung des Simulators, die auch die Reaktionen eines Flugschülers registriert.  f) a system for external operation and control of the simulator, which also registers the reactions of a pupil.
Weiter sind, ebenfalls aus dem Bestand der Anmelderin, aus der DE 10 2010 053 686 B3 ein autonomes Sicherheitssystem für die Benutzer von Fahrzeugsimulatoren oder Flugsimulatoren und ein Verfahren zur gefahrlosen Benutzung solcher Furthermore, from DE 10 2010 053 686 B3, also from the applicant's inventory, an autonomous security system for the users of vehicle simulators or flight simulators and a method for the safe use of such are known
Simulatoren bekannt. Diesen liegt die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren vorzustellen, mit denen, neben der Vermittlung betriebstechnischer Kenntnisse von Fahrzeugen oder Flugzeugen, auch die Sicherheit des Benutzers eines Fahrzeugsimulators bei einer technischen Störung oder einem Unfall im Simulators known. This is the object to present a device and a method with which, in addition to the mediation of operational knowledge of vehicles or aircraft, the safety of the user of a vehicle simulator in a technical disorder or accident in
Vordergrund steht. Foreground is.
Im Patentanspruch 1 wird diesbezüglich beansprucht Eine Autonomes Sicherheitssystem für die Benutzung von Fahrzeugsimulatoren oder Flugsimulatoren in der Form einer, mittels eines 6 - Achs - Roboters betätigten Simulations - Kanzel ( 3 ), mit den folgenden Merkmalen: a) einem, nur für Zugangsberechtigte geöffneten, mehrfach an allen In claim 1 is claimed in this regard An autonomous safety system for the use of vehicle simulators or flight simulators in the form of a simulation pulpit (3) actuated by means of a 6 - axis robot, comprising the following features: a) one, open only to authorized persons, multiple at all
Ecken einer Sicherheitsabgrenzung ( 9 ) mittels  Corners of a safety boundary (9) by means of
Überwachungssensoren ( 11 ) abgesicherten, Zugangsbereich, b) einer, auf einer Laufschiene ( 14 ) an jeden Ort des Operationsbereichs des Fahrzeugsimulators verfahrbaren Rettungseinheit ( 13 ), wobei diese eine Rettungsplattform ( 25 ), eine Reling ( 24 ) und eine  B) a rescue unit (13) movable on a running track (14) to any location in the operating area of the vehicle simulator, comprising a rescue platform (25), a railing (24) and a safety platform
Rettungsrutsche ( 26 ) aufweist,  Rescue chute (26),
c) einer im gesamten Operationsbereich installierten stoßabsorbierenden Oberfläche, wobei sich diese über den gesamten Operationsbereich der Kanzel ( 3 ) erstreckt,  c) a shock-absorbing surface installed throughout the operating area, extending over the entire operating range of the pulpit (3),
d) einer aus mehreren Ebenen zusammengesetzten Projektionsfläche ( 33, 34 )  d) a projection surface (33, 34) composed of several levels
Dennoch sind die, für den jeweiligen Simulationsbetrieb in die Fahrzeugkabine übermittelten, Betriebsdaten auch bei sehr realistischer Anmutung verschieden von den Betriebsdaten wie sie bei einem realen Betrieb eines Fahrzeugs auftreten. Denn ein realer Pilot erfasst mit seinen menschlichen Sinnen bewusst oder unbewusst weit mehr als normalerweise in einer Fahrzeugkabine simuliert wird. Besonders deutlich wird dies in den Fällen in denen autonome Flugkörper, so genannte Drohnen, von Piloten gesteuert werden, die tatsächlich echte Flugmanöver bewirken. Nevertheless, the operating data transmitted to the vehicle cabin for the respective simulation operation are different from the operating data even in the case of a very realistic appearance, as occurs in the case of a real operation of a vehicle. For a real pilot with his human senses consciously or unconsciously detects far more than is normally simulated in a vehicle cabin. This becomes particularly clear in cases in which autonomous missiles, known as drones, are controlled by pilots who actually cause real maneuvers.
Der vorliegenden Erfindung liegt deshalb die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zur Simulation von Fahrzeugenbewegungen vorzustellen, mit denen sich, vor allem bei tatsächlich stattfindenden Fahrzeugbewegungen, für den jeweiligen Piloten der Grad der Realitäts - Anmutung durch ein The present invention is therefore based on the object to present a device and a method for simulating vehicle movements, with which, especially in actually occurring vehicle movements, for the respective pilot, the degree of reality - appearance by a
anwenderfreundliches Projektionssystem deutlich erhöht. User-friendly projection system significantly increased.
Diese Aufgabe wird mit den Merkmalen des Anspruchs 1 , This object is achieved with the features of claim 1,
Vorrichtung zum kombinierten Simulieren und Steuern Device for combined simulation and control
ferngesteuerter Fahrzeuge in einem Simulator, wobei eine dem zu steuernden Fahrzeug nachgebildete Fahrzeugkabine mit realen Bedienelementen mit einem 6 - achsigen Industrieroboter über eine remotely controlled vehicles in a simulator, with one to controlled vehicle with real controls with a 6 - axis industrial robot over a
Tragvorrichtung mit dem Boden verbunden ist, und wobei zur  Carrying device is connected to the ground, and wherein the
Übermittlung einer simulierten Außenansicht ein den Konturen der  Transmission of a simulated external view of the contours of the
Fahrzeugkabine nachgebildetes Display dient,  Vehicle cabin simulated display,
dadurch gekennzeichnet, dass sie die folgenden Merkmale aufweist, a) eine Empfangseinheit zum Empfang optischer Daten des zu  characterized in that it comprises the following features: a) a receiving unit for receiving optical data of
steuernden Fahrzeugs, sowie eine Empfangseinheit zum Empfang akustischer Daten des zu steuernden Fahrzeugs, b) eine Sende - und Empfangseinheit zum bidirektionalen Übermitteln von bewegungsrelevanten Daten,  b) a transmitting and receiving unit for bidirectionally transmitting motion-relevant data
c) eine Steuerungseinheit, die vom Benutzer des Simulators  c) a control unit provided by the user of the simulator
mechanisch erzeugte Signale, mittels mathematischer Modelle aufbereitet, an die Steuerungs - Organe des Fahrzeugs übermittelt, d) ein Sensor für die Justierung des Augenpaares des Benutzers  mechanically generated signals, processed by means of mathematical models, transmitted to the control organs of the vehicle, d) a sensor for adjusting the pair of eyes of the user
hinsichtlich der Längsachse der Fahrzeugkanzel bei der Projektion in der Ausgangslage des zu steuernden Fahrzeugs, e) eine Vorrichtung zur unmerklichen Nachführung der mathematisch errechneten Position des Fahrzeugs auf die von einem GPS ermittelte Position.  with respect to the longitudinal axis of the vehicle pulpit when projected in the starting position of the vehicle to be controlled, e) a device for imperceptible tracking of the mathematically calculated position of the vehicle to the position determined by a GPS.
Anspruch 2: Claim 2:
Vorrichtung nach Anspruch 1 ,  Device according to claim 1,
dadurch gekennzeichnet,  characterized,
dass ein Sensor ( 8 ) im Kopfbereich des Benutzers zur Erfassung der Kopfposition installiert ist, wobei dessen Daten die auf dem Display angezeigte Blickrichtung und / oder die Bildperspektive beeinflussen.  in that a sensor (8) is installed in the head area of the user for detecting the head position, the data of which influence the viewing direction and / or the image perspective displayed on the display.
Anspruch 3: Claim 3:
Vorrichtung nach Anspruch 1 oder 2,  Apparatus according to claim 1 or 2,
dadurch gekennzeichnet,  characterized,
dass die Tragvorrichtung des 6 - achsigen Industrieroboters als  that the carrying device of the 6 - axis industrial robot as
Fahrwerk ausgebildet ist. Anspruch 4: Chassis is designed. Claim 4:
Vorrichtung nach Anspruch 1 2 oder 3,  Apparatus according to claim 1 2 or 3,
dadurch gekennzeichnet,  characterized,
dass die Simulation oder Steuerung für Fahrzeuge zu Land, auf dem Wasser oder in der Luft verwendet wird.  that the simulation or control is used for vehicles on land, on the water or in the air.
Vorrichtung nach Anspruch einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, Device according to one of the preceding claims, characterized in that
dass als Visualisierungselement ein, einem Cockpit angepasstes, AMOLED - System oder eine Großleinwand verwendet wird.  that an AMOLED system adapted to a cockpit or a large screen is used as the visualization element.
Anspruch 6: Claim 6:
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,  Device according to one of the preceding claims, characterized
dass eine Empfangseinheit zum Empfang olfaktorischer und / oder geschmacksspezifischer Daten vorgesehen bzw. einem entsprechenden Verfahren nach Anspruch 7  a receiving unit is provided for receiving olfactory and / or flavor-specific data or a corresponding method according to claim 7
Verfahren zum kombinierten Simulieren und Steuern  Method for combined simulation and control
ferngesteuerter Fahrzeuge in einem Simulator, wobei eine dem zu steuernden Fahrzeug nachgebildete Fahrzeugkabine mit realen  remotely controlled vehicles in a simulator, wherein a the vehicle to be controlled modeled vehicle cabin with real
Bedienelementen mit einem 6 - achsigen Industrieroboter über  Operating elements with a 6 - axis industrial robot via
eine Tragvorrichtung, die als Fahrwerk ausgebildet sein kann, mit dem Boden verbunden ist, und wobei zur Übermittlung einer simulierten  a support device, which may be designed as a chassis, is connected to the ground, and wherein for transmitting a simulated
Außenansicht ein den Konturen der Fahrzeugkabine nachgebildetes  Exterior view of the contours of the vehicle cabin modeled
Display dient,  Display serves,
dadurch gekennzeichnet, dass sie die folgenden Merkmale aufweist, a) dem Benutzer des Simulators werden von dem zu steuernden Fahrzeug aktuelle, von Sensoren ermittelte, Daten aus den Bereichen der Optik, der Kinematik der Bewegung und der Akustik übermittelt, b) der Benutzer des Simulators erhält somit nahezu den selben characterized in that it has the following features: a) the user of the simulator is provided with current, sensor-determined data from the fields of optics, kinematics of motion and acoustics from the vehicle to be controlled, b) the user of the simulator thus receives almost the same
Eindruck von dem Bewegungsvorgang des Fahrzeugs wie ein real existierender Pilot und kann auf eine aktuelle Situation gemäß seiner Erfahrung und / oder Intuition reagieren,  Impression of the movement of the vehicle as a real existing pilot and can respond to a current situation according to his experience and / or intuition,
c) die Art und Weise der Reaktion des Benutzers des Simulators wird in mechanisch abgenommene Signale umgesetzt, mittels mathematischer Modelle aufbereitet, dem zu steuernden Fahrzeug, im Falle einer realen Steuerung, übermittelt und dort in reale Steuerungsvorgänge umgesetzt,  c) the manner of the reaction of the user of the simulator is converted into mechanically removed signals, processed by means of mathematical models, the vehicle to be controlled, in the case of a real control, transmitted and implemented there in real control operations,
d) ein Sensor dient der Justierung des Augenpaares des Benutzers hinsichtlich der Längsachse der Fahrzeugkanzel bei der Projektion in der Ausgangslage des Fahrzeugs, wobei dessen Beladung berücksichtigt wird,  d) a sensor is used to adjust the pair of eyes of the user with respect to the longitudinal axis of the vehicle pulpit when projected in the starting position of the vehicle, taking into account its loading,
e) eine Vorrichtung führt mittels eines GPS - Systems im Fall eines real gesteuerten Fahrzeugs die reale Position des Fahrzeugs der errechneten Position unmerklich nach.  e) a device imperceptibly tracks the real position of the vehicle in the calculated position by means of a GPS system in the case of a real controlled vehicle.
Anspruch 8: Claim 8:
Verfahren nach Anspruch 7,  Method according to claim 7,
dadurch gekennzeichnet,  characterized,
dass ein Sensor ( 8 ) im Kopfbereich des Benutzers zur Erfassung der Kopfposition installiert ist, wobei dessen Daten die auf dem Display angezeigte Blickrichtung und / oder die Bildperspektive beeinflussen.  in that a sensor (8) is installed in the head area of the user for detecting the head position, the data of which influence the viewing direction and / or the image perspective displayed on the display.
Anspruch 9: Claim 9:
Verfahren nach Anspruch 8,  Method according to claim 8,
dadurch gekennzeichnet,  characterized,
dass die Simulation oder die Steuerung für Fahrzeuge zu Land, zu Wasser und in der Luft verwendet wird, und dass die Übermittlung olfaktorischer und / oder geschmacksspezifischer Daten aus dem Fahrzeug vorgesehen ist.  the simulation or control is used for vehicles on land, water and in the air, and that the transmission of olfactory and / or flavor-specific data from the vehicle is provided.
Anspruch 10: Verfahren nach Anspruch 8 oder 9, Claim 10: Method according to claim 8 or 9,
dadurch gekennzeichnet,  characterized,
dass die Darstellung der Bewegungen sowie die Visualisierung mit 60Hz getaktet werden, und  that the representation of the movements as well as the visualization are clocked with 60Hz, and
dass Echtzeitbilder aus einer Datenbank mit synthetischen Bildern überlagert werden, wobei deren Auflösung zwischen 10cm/Pixel und 15m/Pixel variieren kann.  superimposing real-time images from a database of synthetic images, the resolution of which may vary between 10cm / pixel and 15m / pixel.
Anspruch 11 : Claim 11:
Computerprogramm mit einem Programmcode zur Durchführung der Verfahrensschritte nach einem der Ansprüche 8 bis 10 wenn das Programm in einem Computer ausgeführt wird.  Computer program with a program code for performing the method steps according to one of claims 8 to 10 when the program is executed in a computer.
Anspruch 12: Claim 12:
Maschinenlesbarer Träger mit dem Programmcode eines Computerprogramms zur Durchführung des Verfahrens nach einem der Ansprüche 8 bis 10 wenn das Programm in einem Computer ausgeführt wird.  Machine-readable medium with the program code of a computer program for carrying out the method according to one of Claims 8 to 10 when the program is executed in a computer.
gelöst.  solved.
Der Erfindung liegt die Idee zugrunde, den Benutzer des Simulators durch die Übermittlung von wichtigen Daten aus einem real sich bewegenden Fahrzeug in die Lage zu versetzen sich so zu fühlen als wäre er tatsächlich der Pilot des jeweiligen Fahrzeugs. Als Fahrzeuge im Sinne der vorliegenden Erfindung gelten alle The invention is based on the idea to enable the user of the simulator by transmitting important data from a real moving vehicle in a position to feel as if he were actually the pilot of the respective vehicle. As vehicles in the context of the present invention, all apply
Fahrzeuge die an Land, auf See und in der Luft gebräuchlich sind. Vehicles in use on land, at sea and in the air.
Da Luftfahrzeuge ersichtlich am schwierigsten zu steuern und in der Luft zu halten sind, wird die Erfindung am Beispiel von Luftfahrzeugen beschrieben. Since aircraft are evidently the most difficult to control and to keep in the air, the invention will be described using the example of aircraft.
In zunehmendem Maß erobern unbemannte Luftfahrzeugssystem auch im zivilen Bereich den Luftraum. So sind solche Flugkörper sogar in der Endfassung des neuen Luftverkehrsgesetzes für Deutschland erwähnt. Diese, im militärischen Bereich meist Drohnen genannten Flugkörper, können Orte anfliegen, die der Mensch nur schwer erreicht und sind meist billiger und sicherer als Hubschrauber. Gegenüber Satelliten haben sie den Vorteil dass sie nicht nur bestimmte Orte direkt und näher anfliegen und untersuchen können, sondern dies auch mehrfach solange tun können bis das gewünschte Ergebnis erreicht ist. Increasingly, unmanned aircraft systems are also conquering the airspace in the civilian area. Thus, such missiles are even mentioned in the final version of the new air traffic law for Germany. These missiles, which are usually called drones in the military sector, can approach places that are difficult to reach and are usually cheaper and safer than helicopters. Compared to satellites, they have the advantage that they not only fly certain locations directly and closer and can do so several times until the desired result is achieved.
Die Traglast für gebräuchliche derartige Flugkörper ist jedoch beschränkt und deshalb deren Einsatzbereich noch etwas eingeschränkt.  However, the payload for conventional such missiles is limited and therefore their scope is still somewhat limited.
Größere derartige unbemannte Luftfahrzeugsysteme würden jedoch derzeit noch einen Piloten erfordern dessen Gewicht jedoch wiederum negativ zu Buche schlägt. Abgesehen davon gibt es auch im zivilen Bereich Einsätze die den Verlust von Menschenleben zur Folge haben können. However, larger such unmanned aerial vehicle systems would still require a pilot whose weight, however, again negatively impacts. Apart from that, there are also civilian missions that can result in the loss of life.
Dieses Problem wird erfindungsgemäß dadurch gelöst, dass schon vorhandene Flugsimulatoren, wie die in der Beschreibungseinleitung genannten, zusätzlich mit Einheiten versehen werden, die für den Empfang von Daten aus zu steuernden Fahrzeugen, beispielsweise von unbemannten Luftfahrzeugsystemen, ausgerüstet sind. Hierdurch wird der Benutzer eines solchen Simulators in die Lage versetzt, in nahezu Echtzeit, für die Steuerung eines Fahrzeugs in realer Bewegung benötigte Flugdaten zu erhalten. Um für eine solche aktive Steuerung jedoch notwendige Korrekturdaten an den zu steuernden Flugkörper zu senden ist zusätzlich This problem is inventively solved in that already existing flight simulators, such as those mentioned in the introduction, are additionally provided with units that are equipped for receiving data from vehicles to be controlled, for example, unmanned aerial vehicle systems. This enables the user of such a simulator to obtain, in near real-time, flight data needed for real-time vehicle control. However, in order to send necessary correction data to the missile to be controlled for such an active control is additional
vorgesehen, dass bewegungsrelevante Daten mittels einer im Bereich des provided that motion-related data by means of a in the field of
Simulators angeordneten Sendestation quasi auf bidirektionalem Weg zu dem Flugkörper gesendet werden. Simulator arranged transmitting station quasi bidirectional way to the missile to be sent.
Solche bewegungsrelevante Daten werden mittels mechanischer Signale erzeugt die der Benutzer des Simulators mittels konventionell betätigter Pedale oder Sidesticks erzeugt, und die mittels geeigneter mathematischer Modelle, bzw. Operationen, aufbereitet an die Steuerungs - Organe des jeweiligen Fahrzeugs gesendet werden. In der rechtzeitigen und richtigen Erzeugung dieser Signale spiegelt sich die  Such movement-relevant data are generated by means of mechanical signals which the user of the simulator generates by means of conventionally actuated pedals or sidesticks, and which are sent to the control organs of the respective vehicle by means of suitable mathematical models or operations, prepared. The timely and correct generation of these signals reflects the
Erfahrung eines Simulator - Piloten ebenso wie eine gewisse, aus Erfahrung gewonnene, Intuition. Experience of a simulator - pilot as well as a certain, gained experience, intuition.
Die vom zu steuernden Fahrzeug gesendeten Daten, die optischen, akustischen oder situationsbedingten Charakter haben, benötigen nur insofern eine bidirektionale Ausprägung als auf diesem Weg diese Art Daten in gewissen Abständen oder beständig angefordert werden.  The data sent by the vehicle to be controlled, which have optical, acoustic or situational character, require a bidirectional expression only insofar as in this way this type of data is requested at certain intervals or constantly.
Im Folgenden wird die Erfindung anhand von Figuren näher beschrieben. In the following the invention will be described in more detail with reference to figures.
Es zeigen im Einzelnen: Fig.1 : eine Übersicht einer Flugkörper - Darstellung They show in detail: 1: an overview of a missile - representation
Fig.2: ein Abbild einer Projektions - Situation  2: an image of a projection situation
In der Fig.1 ist eine Übersicht einer Flugkörper - Darstellung gezeigt. Für den Anwender ist der Vorgang der Simulation eines Steuerungsvorgangs eines sich bewegenden Fahrzeugs derselbe wie der Vorgang der Steuerung eines real sich in der bekannten 3D - Welt sich bewegenden Fahrzeugs. Für den Fall der Steuerung eines real sich bewegenden Fahrzeugs ist in der Fig. 1 skizzenartig dargestellt wie gemäß der Erfindung sichergestellt wird, dass die Position des Fahrzeugs, hier eines Flugkörpers, auf dem Bildschirm des Simulators mit der Position eines Flugkörpers in der Realität in Übereinstimmung gebracht wird. So ist mit 1 die reale oder echte Position eines Flugkörpers bezeichnet und mit 2 eine angenommene Position auf dem Bildschirm des Simulators. Mit 3 ist ein GPS - System ( global positioning System ) bezeichnet, das als Teil des erfindungsgemäßen Systems dafür sorgt, dass die reale, echte Position des gesteuerten Flugkörpers 1 mit der Position auf dem Bildschirm des Simulators 2 übereinstimmt. Dies ist besonders von Bedeutung wenn sich in der näheren Umgebung des Flugkörpers reale Gegenstände befinden die mit dem gesteuerten Flugkörper in Aktion treten können. Von solchen Vorgängen der Korrektur der auf dem Bildschirm angezeigten Position spürt der Benutzer des Simulators nichts. FIG. 1 shows an overview of a missile representation. For the user, the process of simulating a control operation of a moving vehicle is the same as the operation of controlling a vehicle actually moving in the known 3D world. In the case of the control of a real moving vehicle is sketched in Fig. 1 as in accordance with the invention ensures that the position of the vehicle, here a missile, on the screen of the simulator with the position of a missile in reality in accordance is brought. Thus, 1 denotes the real or real position of a missile and 2 denotes an assumed position on the screen of the simulator. 3 denotes a GPS system (global positioning system) which, as part of the system according to the invention, ensures that the real, real position of the controlled missile 1 coincides with the position on the screen of the simulator 2. This is particularly important when there are real objects in the immediate vicinity of the missile that can engage with the controlled missile. Of such operations of correction of the position displayed on the screen, the user of the simulator feels nothing.
Mit 4 ist in der Fig. 1 die Projektionsfläche des Simulators gekennzeichnet, während die stilistischen Darstellungen 5 und 6 eine berechnete Positionierung 5 des gezeigten Flugkörpers und 6 eine durch Einwirken des GPS - System korrigierte Positionierung zeigt. 7 deutet auf eine Verbindung mit einem 6 - Achs - Roboter des Simulators hin.  4, the projection surface of the simulator is marked in FIG. 1, while the stylistic representations 5 and 6 show a calculated positioning 5 of the missile shown and 6 a positioning corrected by the action of the GPS system. 7 indicates a connection with a simulator 's 6 - axis robot.
In der Fig. 2 ist ein Abbild einer Projektions - Situation wiedergegeben, die ein weiteres benutzfreundliches Merkmal des erfindungsgemäßen Systems darstellt. Mit 7 ist hierbei die Verbindung zu einem bekannten 6 - Achs - Roboter bezeichnet und mit 5 die im Simulator berechnete Positionierung, bzw. den Simulator selbst, darstellt. Im Headset des gezeigten Benutzers ist ein Kopfsensor 8 dargestellt, der die momentane Position des Kopfes erfasst und somit nicht nur die Blickrichtung des Benutzers anzeigt, sondern auch den Abstand des Kopfes vom Projektionssystem, bzw. dem Bildschirm, registriert. FIG. 2 shows an image of a projection situation, which represents another user-friendly feature of the system according to the invention. 7 denotes the connection to a known 6-axis robot and 5 represents the positioning calculated in the simulator or the simulator itself. In the headset of the user shown, a head sensor 8 is shown, which detects the current position of the head and thus not only indicates the viewing direction of the user, but also the distance of the head from the projection system, or the screen registered.
Diese vom Kopfsensor 8 erfassten Daten ermöglichen nicht nur eine Anpassung des auf dem Bildschirm gezeigten Raumbereichs an die Blickrichtung des Benutzers, sondern veranlassen zudem auch noch eine Vergrößerung oder Verkleinerung des gezeigten Bildausschnitts bei einer Annäherung oder bei einem Zurückweichen des Kopfes des Benutzers vom Bildschirm.  These data acquired by the head sensor 8 not only allow the spatial area shown on the screen to be adapted to the viewing direction of the user, but also additionally increase or decrease the size of the image section shown when the user's head is approaching or retreating from the screen.
Ein weiterer, nicht näher bezeichneter, Sensor dient der Justierung des Augenpaares hinsichtlich der Längsachse der Fahrzeugkanzel zur Projektion im Stillstand. Mit Stillstand ist hierbei die Ausgangslage eines ferngesteuerten Fahrzeugs bezeichnet. Diese Ausgangslage ist je nach der Lage des Schwerpunkts eines Fahrzeugs unterschiedlich, wobei sich der Schwerpunkt in der Hauptsache mit der Beladung eines Fahrzeugs verändert.  Another, unspecified, sensor is used to adjust the pair of eyes with respect to the longitudinal axis of the vehicle's pulpit for projection at a standstill. With standstill here the starting position of a remote-controlled vehicle is called. This starting position differs depending on the position of the center of gravity of a vehicle, with the center of gravity shifting in the main with the loading of a vehicle.
Weiterhin wird erfindungsgemäß ein so genanntes Simulationsmodell 80/20 verwendet. Das bedeutet, dass der Realitätseindruck bzw. das Empfinden der Echtheit des Gesamteindrucks, ca. zu 80% durch die Visualisierung und ca. zu 20% durch die Darstellung der Bewegung erreicht wird. Bei der Darstellung von schnellen und großräumigen Bewegungen verschiebt sich dieses Verhältnis entsprechend zu Gunsten der Bewegung. Furthermore, according to the invention, a so-called simulation model 80/20 is used. This means that the impression of reality or the feeling of the genuineness of the overall impression, about 80% by the visualization and about 20% by the representation of the movement is achieved. In the representation of fast and large-scale movements, this ratio shifts accordingly in favor of the movement.
Denkbar sind mathematische Modelle für Wasser, Land und Luft.  Conceivable are mathematical models for water, land and air.
Für extreme Bewegungen können mathematische Modelle geglättet werden. Die For extreme movements mathematical models can be smoothed. The
Belastungen für den Benutzer bleiben somit in gewohntem Rahmen. Burdens for the user thus remain within the usual scope.
Die Bewegungen sowie die Visualisierung sind mit 60 Hz getaktet und können jederzeit durch Echtzeitdaten ersetzt werden.  The movements and the visualization are clocked at 60 Hz and can be replaced at any time by real-time data.
Es können ferner überlagerte Bilder durch ein synthetic Vision genanntes Verfahren erzeugt werden. Hierbei können Echtzeitbilder aus der Datenbank mit synthetischen Bildern überlagert werden. Deren Auflösung kann zwischen 10cm/Pixel und Superimposed images may also be generated by a method called a synthetic vision. In this case, real-time images from the database can be overlaid with synthetic images. Their resolution can be between 10cm / pixel and
15m/Pixel variieren. Die Visualisierung bei der Darstellung im Simulator kann über so genannte AMOLED - Systeme erfolgen ( activ - matrix organic light - emission diode ) die der Größe der Sichtfläche aus einem Flugkörper angepasst ist, oder mit einer Großleinwand die eine Bildfläche von bis zu 155 m2 haben kann. 15m / pixel vary. The visualization in the simulator can be done via so - called AMOLED systems (activ - matrix organic light - emission diode), which is adapted to the size of the visible surface of a missile, or with a large screen which has an image area of up to 155 m 2 can.
Die Bilder aus dem Fahrzeug werden in Echtzeit auf der Bedienstation The images from the vehicle are displayed in real time on the operator station
wiedergegeben. Das System ist sowohl von der Fahrzeugkanzel aus als auch von einer Bedienstation aus steuerbar. played. The system is controllable both from the vehicle pulpit and from an operator station.
Hinsichtlich der Sicherheitsanforderungen sind sämtliche CE - Richtlinien erfüllt.  With regard to safety requirements, all CE directives are met.
Weiterhin kann auch eine Empfangseinheit zum Empfang olfaktorischer und / oder geschmacksspezifischer Daten vorgesehen ist die zum Beispiel Brandgeruch und / oder das Schmecken von Luftpartikeln simulieren. Furthermore, a receiving unit for receiving olfactory and / or flavor-specific data is provided which simulate, for example, burning smell and / or the tasting of air particles.
Die Steuerung der komplexen Bewegungsvorgänge und die Signalverarbeitung der verwendeten Sensoren erfordern ein spezielles Steuerungsprogramm. The control of the complex motion processes and the signal processing of the sensors used require a special control program.
Bezugszeichenliste Flugkörper, reale Position Flugkörper, berechnete Position Projektionsfläche List of missiles, real position of missile, calculated position of projection surface
im Simulator berechnete Position im Simulator korrigierte Position 6 - Achs - Roboter Position calculated in the simulator in the simulator corrected position 6 - axis - robot
Kopfsensor head sensor
Amoled - Projektionssystem Amoled - projection system

Claims

Patentansprüche claims
Anspruch 1 : Claim 1:
Vorrichtung zum kombinierten Simulieren und Steuern  Device for combined simulation and control
ferngesteuerter Fahrzeuge in einem Simulator, wobei eine dem zu steuernden Fahrzeug nachgebildete Fahrzeugkabine mit realen  remotely controlled vehicles in a simulator, wherein a the vehicle to be controlled modeled vehicle cabin with real
Bedienelementen mit einem 6 - achsigen Industrieroboter über eine Tragvorrichtung mit dem Boden verbunden ist, und wobei zur  Operating elements is connected to a 6 - axis industrial robot via a support device to the ground, and wherein the
Übermittlung einer simulierten Außenansicht ein den Konturen der Fahrzeugkabine nachgebildetes Display dient,  Transmission of a simulated external view is a display modeled on the contours of the vehicle cabin,
dadurch gekennzeichnet, dass sie die folgenden Merkmale aufweist, f) eine Empfangseinheit zum Empfang optischer Daten des zu  characterized in that it comprises the following features, f) a receiving unit for receiving optical data of
steuernden Fahrzeugs, sowie eine Empfangseinheit zum Empfang akustischer Daten des zu steuernden Fahrzeugs, g) eine Sende - und Empfangseinheit zum bidirektionalen Übermitteln von bewegungsrelevanten Daten,  g. a transmitting and receiving unit for the bidirectional transmission of motion-relevant data,
h) eine Steuerungseinheit, die vom Benutzer des Simulators  h) a control unit provided by the user of the simulator
mechanisch erzeugte Signale, mittels mathematischer Modelle aufbereitet, an die Steuerungs - Organe des Fahrzeugs übermittelt, i) ein Sensor für die Justierung des Augenpaares des Benutzers  mechanically generated signals, processed by means of mathematical models, transmitted to the control organs of the vehicle, i) a sensor for adjusting the pair of eyes of the user
hinsichtlich der Längsachse der Fahrzeugkanzel bei der Projektion in der Ausgangslage des zu steuernden Fahrzeugs, j) eine Vorrichtung zur unmerklichen Nachführung der mathematisch errechneten Position des Fahrzeugs auf die von einem GPS ermittelte Position.  with respect to the longitudinal axis of the vehicle pulpit when projected in the starting position of the vehicle to be controlled, j) a device for imperceptible tracking of the mathematically calculated position of the vehicle to the position determined by a GPS.
Anspruch 2: Claim 2:
Vorrichtung nach Anspruch 1 ,  Device according to claim 1,
dadurch gekennzeichnet,  characterized,
dass ein Sensor ( 8 ) im Kopfbereich des Benutzers zur Erfassung der Kopfposition installiert ist, wobei dessen Daten die auf dem Display angezeigte Blickrichtung und / oder die Bildperspektive beeinflussen. Anspruch 3: in that a sensor (8) is installed in the head area of the user for detecting the head position, the data of which influence the viewing direction and / or the image perspective displayed on the display. Claim 3:
Vorrichtung nach Anspruch 1 oder 2,  Apparatus according to claim 1 or 2,
dadurch gekennzeichnet,  characterized,
dass die Tragvorrichtung des 6 - achsigen Industrieroboters als Fahrwerk ausgebildet ist.  that the support device of the 6 - axis industrial robot is designed as a chassis.
Anspruch 4: Claim 4:
Vorrichtung nach Anspruch 1 2 oder 3,  Apparatus according to claim 1 2 or 3,
dadurch gekennzeichnet,  characterized,
dass die Simulation oder Steuerung für Fahrzeuge zu Land, auf dem Wasser oder in der Luft verwendet wird.  that the simulation or control is used for vehicles on land, on the water or in the air.
Anspruch 5: Claim 5:
Vorrichtung nach Anspruch einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,  Device according to one of the preceding claims, characterized in that
dass als Visualisierungselement ein, einem Cockpit angepasstes, AMOLED - System oder eine Großleinwand verwendet wird.  that an AMOLED system adapted to a cockpit or a large screen is used as the visualization element.
Anspruch 6: Claim 6:
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,  Device according to one of the preceding claims, characterized
dass eine Empfangseinheit zum Empfang olfaktorischer und / oder geschmacksspezifischer Daten vorgesehen ist.  a receiving unit is provided for receiving olfactory and / or flavor-specific data.
Anspruch 7: Claim 7:
Verfahren zum kombinierten Simulieren und Steuern  Method for combined simulation and control
ferngesteuerter Fahrzeuge in einem Simulator, wobei eine dem zu steuernden Fahrzeug nachgebildete Fahrzeugkabine mit realen Bedienelementen mit einem 6 - achsigen Industrieroboter über eine Tragvorrichtung, die als Fahrwerk ausgebildet sein kann, mit dem Boden verbunden ist, und wobei zur Übermittlung einer simulierten Außenansicht ein den Konturen der Fahrzeugkabine nachgebildetes Display dient, dadurch gekennzeichnet, dass sie die folgenden Merkmale aufweist, f) dem Benutzer des Simulators werden von dem zu steuernden remotely controlled vehicles in a simulator, wherein a vehicle cab simulated to the vehicle to be controlled is connected to the floor with real operating elements with a 6-axis industrial robot via a carrying device which can be designed as a chassis, and wherein the contours are transmitted to simulate an external view the vehicle cabin replicated display, characterized in that it has the following features: f) the user of the simulator is to be controlled by the user
Fahrzeug aktuelle, von Sensoren ermittelte, Daten aus den  Vehicle current, determined by sensors, data from the
Bereichen der Optik, der Kinematik der Bewegung und der Akustik übermittelt,  Areas of optics, kinematics of motion and acoustics,
g) der Benutzer des Simulators erhält somit nahezu den selben  g) the user of the simulator thus receives almost the same
Eindruck von dem Bewegungsvorgang des Fahrzeugs wie ein real existierender Pilot und kann auf eine aktuelle Situation gemäß seiner Erfahrung und / oder Intuition reagieren,  Impression of the movement of the vehicle as a real existing pilot and can respond to a current situation according to his experience and / or intuition,
h) die Art und Weise der Reaktion des Benutzers des Simulators wird in mechanisch abgenommene Signale umgesetzt, mittels mathematischer Modelle aufbereitet, dem zu steuernden Fahrzeug, im Falle einer realen Steuerung, übermittelt und dort in reale Steuerungsvorgänge umgesetzt,  h) the manner of the reaction of the user of the simulator is converted into mechanically removed signals, processed by means of mathematical models, the vehicle to be controlled, in the case of a real control, transmitted and implemented there in real control operations,
i) ein Sensor dient der Justierung des Augenpaares des Benutzers hinsichtlich der Längsachse der Fahrzeugkanzel bei der Projektion in der Ausgangslage des Fahrzeugs, wobei dessen Beladung berücksichtigt wird,  i) a sensor serves to adjust the pair of eyes of the user with respect to the longitudinal axis of the vehicle's pulpit when projected in the initial position of the vehicle, taking into account its loading,
j) eine Vorrichtung führt mittels eines GPS - Systems im Fall eines real gesteuerten Fahrzeugs die reale Position des Fahrzeugs der errechneten Position unmerklich nach.  j) a device imperceptibly tracks the real position of the vehicle in the calculated position by means of a GPS system in the case of a real controlled vehicle.
Anspruch 8: Claim 8:
Verfahren nach Anspruch 7,  Method according to claim 7,
dadurch gekennzeichnet,  characterized,
dass ein Sensor ( 8 ) im Kopfbereich des Benutzers zur Erfassung der Kopfposition installiert ist, wobei dessen Daten die auf dem Display angezeigte Blickrichtung und / oder die Bildperspektive beeinflussen.  in that a sensor (8) is installed in the head area of the user for detecting the head position, the data of which influence the viewing direction and / or the image perspective displayed on the display.
Anspruch 9: Claim 9:
Verfahren nach Anspruch 8,  Method according to claim 8,
dadurch gekennzeichnet, dass die Simulation oder die Steuerung für Fahrzeuge zu Land, zu Wasser und in der Luft verwendet wird, und dass die Übermittlung olfaktorischer und / oder geschmacksspezifischer Daten aus dem Fahrzeug vorgesehen ist. characterized, the simulation or control is used for vehicles on land, water and in the air, and that the transmission of olfactory and / or flavor-specific data from the vehicle is provided.
Anspruch 10: Claim 10:
Verfahren nach Anspruch 8 oder 9,  Method according to claim 8 or 9,
dadurch gekennzeichnet,  characterized,
dass die Darstellung der Bewegungen sowie die Visualisierung mit 60Hz getaktet werden, und  that the representation of the movements as well as the visualization are clocked with 60Hz, and
dass Echtzeitbilder aus einer Datenbank mit synthetischen Bildern überlagert werden, wobei deren Auflösung zwischen 10cm/Pixel und 15m/Pixel variieren kann.  superimposing real-time images from a database of synthetic images, the resolution of which may vary between 10cm / pixel and 15m / pixel.
Anspruch 11 : Claim 11:
Computerprogramm mit einem Programmcode zur Durchführung der Verfahrensschritte nach einem der Ansprüche 8 bis 10 wenn das Programm in einem Computer ausgeführt wird.  Computer program with a program code for performing the method steps according to one of claims 8 to 10 when the program is executed in a computer.
Anspruch 12: Claim 12:
Maschinenlesbarer Träger mit dem Programmcode eines Computerprogramms zur Durchführung des Verfahrens nach einem der Ansprüche 8 bis 10 wenn das Programm in einem Computer ausgeführt wird.  Machine-readable medium with the program code of a computer program for carrying out the method according to one of Claims 8 to 10 when the program is executed in a computer.
EP13852371.7A 2012-12-06 2013-11-19 Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system Ceased EP2929519A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012023925.4A DE102012023925A1 (en) 2012-12-06 2012-12-06 Method and apparatus for combined simulation and control of remotely controlled vehicles with a user-friendly projection system
PCT/IB2013/003244 WO2014102620A2 (en) 2012-12-06 2013-11-19 Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system

Publications (1)

Publication Number Publication Date
EP2929519A2 true EP2929519A2 (en) 2015-10-14

Family

ID=50680072

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13852371.7A Ceased EP2929519A2 (en) 2012-12-06 2013-11-19 Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system

Country Status (9)

Country Link
US (1) US20150302756A1 (en)
EP (1) EP2929519A2 (en)
JP (1) JP2016507762A (en)
AU (1) AU2013368987B2 (en)
CA (1) CA2891377C (en)
DE (1) DE102012023925A1 (en)
EA (1) EA201591071A1 (en)
IL (1) IL238905A0 (en)
WO (1) WO2014102620A2 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10051298B2 (en) 1999-04-23 2018-08-14 Monkeymedia, Inc. Wireless seamless expansion and video advertising player
US20140002582A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
US11266919B2 (en) 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
US9791897B2 (en) 2012-06-29 2017-10-17 Monkeymedia, Inc. Handheld display device for navigating a virtual environment
WO2016050099A1 (en) 2014-09-30 2016-04-07 SZ DJI Technology Co., Ltd. System and method for supporting simulated movement
JP6212788B2 (en) 2014-09-30 2017-10-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Method for operating unmanned aerial vehicle and unmanned aerial vehicle
WO2016065519A1 (en) 2014-10-27 2016-05-06 SZ DJI Technology Co., Ltd. Uav flight display
JP7069456B2 (en) 2017-03-17 2022-05-18 ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガン Methods and equipment for building useful results to guide multi-policy decision making
US10741084B2 (en) 2017-11-02 2020-08-11 Honeywell International Inc. System and method for enhancing the interactive transmission and visualization of flight data in real-time
CN108133633A (en) * 2017-12-11 2018-06-08 西安航天动力测控技术研究所 A kind of air-to-ground guided missile emission process simulator
CN108121871B (en) * 2017-12-21 2021-05-25 中国科学院遥感与数字地球研究所 Method and device for generating reachable range of indoor space
CN108228995A (en) * 2017-12-28 2018-06-29 中国电子科技集团公司第十四研究所 Radar mechanical electrical and hydraulic system associative simulation research/development platform
CN108629133A (en) * 2018-05-10 2018-10-09 华南理工大学 A kind of robot working space for 6R robot emulation systems determines method
JP7199545B2 (en) 2018-07-20 2023-01-05 メイ モビリティー，インコーポレイテッド A Multi-view System and Method for Action Policy Selection by Autonomous Agents
US10969470B2 (en) 2019-02-15 2021-04-06 May Mobility, Inc. Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent
CN111230862B (en) * 2020-01-10 2021-05-04 上海发那科机器人有限公司 Handheld workpiece deburring method and system based on visual recognition function
WO2022006418A1 (en) 2020-07-01 2022-01-06 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
WO2022132774A1 (en) 2020-12-14 2022-06-23 May Mobility, Inc. Autonomous vehicle safety platform system and method
EP4264181A1 (en) 2020-12-17 2023-10-25 May Mobility, Inc. Method and system for dynamically updating an environmental representation of an autonomous agent
JP2024512980A (en) 2021-04-02 2024-03-21 メイ モビリティー，インコーポレイテッド Method and system for operating autonomous agents with incomplete environmental information
JP2024526037A (en) 2021-06-02 2024-07-17 メイ モビリティー，インコーポレイテッド Method and system for remote assistance of autonomous agents - Patents.com
WO2023102098A1 (en) 2021-12-01 2023-06-08 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
WO2023154568A1 (en) 2022-02-14 2023-08-17 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
CN114596755A (en) * 2022-03-11 2022-06-07 昆明理工大学 Simulated flight simulated driving equipment controlled by driving simulator
GB2623383A (en) * 2022-10-11 2024-04-17 D&D Skunkworks Inc Systems of flight simulation and methods of operating same
WO2024129832A1 (en) 2022-12-13 2024-06-20 May Mobility, Inc. Method and system for assessing and mitigating risks encounterable by an autonomous vehicle

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5490784A (en) * 1993-10-29 1996-02-13 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
US5566073A (en) * 1994-07-11 1996-10-15 Margolin; Jed Pilot aid using a synthetic environment
JP3473117B2 (en) * 1994-08-31 2003-12-02 株式会社デンソー Current position detection device for vehicles
WO1999005580A2 (en) * 1997-07-23 1999-02-04 Duschek Horst Juergen Method for controlling an unmanned transport vehicle and unmanned transport vehicle system therefor
JP4721283B2 (en) * 2006-07-07 2011-07-13 国立大学法人 東京大学 Projection device and aircraft and aircraft simulator using the same
JP2010091955A (en) * 2008-10-10 2010-04-22 Toyota Motor Corp Image processing apparatus
US8634969B2 (en) * 2009-03-17 2014-01-21 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. Teleoperation method and human robot interface for remote control of a machine by a human operator
DE202009011377U1 (en) * 2009-04-02 2010-08-19 Drehtainer Gmbh Spezial Container- Und Fahrzeugbau Device for monitoring the environment and for controlling a vehicle
AT509399B1 (en) * 2010-01-22 2015-09-15 Wunderwerk Film Gmbh TRAINING ARRANGEMENT FOR TRAINING FLIGHT STATES OF A VERTICAL TRIP AND / OR PASSENGER AIRCRAFT
EP2572344B1 (en) * 2010-05-21 2015-08-05 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Motion simulator and corresponding method
DE102010035814B3 (en) 2010-08-30 2011-12-29 Grenzebach Maschinenbau Gmbh Device and method for operating a flight simulator with a special appearance of reality
DE102010053686B3 (en) 2010-12-08 2012-01-26 Grenzebach Maschinenbau Gmbh Autonomous safety system for the users of vehicle simulators or flight simulators, methods for the safe use of such simulators, a computer program for carrying out the method and a machine-readable carrier with the program code.

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2014102620A2 *

Also Published As

Publication number Publication date
IL238905A0 (en) 2015-07-30
AU2013368987B2 (en) 2016-05-12
CA2891377C (en) 2017-08-01
CA2891377A1 (en) 2014-07-03
JP2016507762A (en) 2016-03-10
AU2013368987A1 (en) 2015-07-02
US20150302756A1 (en) 2015-10-22
DE102012023925A1 (en) 2014-06-12
EA201591071A1 (en) 2015-09-30
WO2014102620A3 (en) 2014-10-30
WO2014102620A2 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
WO2014102620A2 (en) Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system
WO2014075655A2 (en) Method and device for the combined simulation and control of remote-controlled vehicles
EP2612311B1 (en) Apparatus and method for operating a flight simulator with a special impression of reality
AT511523B1 (en) DEVICE FOR SPATIAL MOVEMENT OF PERSONS
EP2235712A2 (en) Method for simulating flight statuses of a vertical take-off and/or vertical landing-capable aircraft
EP2678849A1 (en) Simulator for training a team, in particular for training a helicopter crew
DE10256612B3 (en) Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations
EP4066229A1 (en) Method for training a ship's crew on a ship
DE102019116713B4 (en) Method, device and means of locomotion for a kinetosis-avoiding display of a virtual liquid in data glasses in the means of locomotion
EP3687852A1 (en) Method for controlling a seating apparatus of a motor vehicle when operating a virtual reality application, and seating apparatus
DE202012011693U1 (en) Device for the combined simulation and control of remote-controlled vehicles with a user-friendly projection system
DE102019115522A1 (en) Method and system for avoiding kinetosis and / or boredom for a vehicle
DE102014208352A1 (en) System and method for instructing a subscriber of a driver training
EP2337005A1 (en) Simulator for centrifugal force for paragliding
DE102020111010A1 (en) Simulation device
DE102017201354B4 (en) Modular driving simulator
DE102018000968B4 (en) Device for simulating moving real or fictitious objects
DE19906244A1 (en) Virtual reality transmission system, relaying scene perceived by e.g. robot or telechir to operator, includes stereoscopic camera pair turning in sympathy with operators head movement
DE202012011015U1 (en) Device for the combined simulation and control of remotely controlled vehicles
DE202010011962U1 (en) Device for operating a flight simulator with a special appearance of reality
Kanki et al. Flight simulator research and technologies
WO2024074308A1 (en) Simulation system for combat training of crew members of a military watercraft
DE10307827A1 (en) Remote control system for a moving object, e.g. a radio-controlled aircraft, whereby the operator has a head up display which is supplied with real time images from a camera mounted in the model and linked to a control computer
DE102021128730A1 (en) bike simulator
WO2023081948A1 (en) Test environment for urban human-machine interaction

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150513

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20170717

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20171022