DE10256612B3 - Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations - Google Patents

Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations Download PDF

Info

Publication number
DE10256612B3
DE10256612B3 DE2002156612 DE10256612A DE10256612B3 DE 10256612 B3 DE10256612 B3 DE 10256612B3 DE 2002156612 DE2002156612 DE 2002156612 DE 10256612 A DE10256612 A DE 10256612A DE 10256612 B3 DE10256612 B3 DE 10256612B3
Authority
DE
Germany
Prior art keywords
driver
vehicle
control unit
head
scenario
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE2002156612
Other languages
German (de)
Inventor
Gregory Dr. BARATOFF
Klaus Buhl
Bernd Dipl.-Ing. Kounovsky
Wilhelm Dipl.-Ing. Wilke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE2002156612 priority Critical patent/DE10256612B3/en
Application granted granted Critical
Publication of DE10256612B3 publication Critical patent/DE10256612B3/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G09B19/167—Control of land vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/042—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance

Abstract

The driver training method has virtual 3-dimensional images of dangerous scenarios obtained from a storage medium (1) via a control unit (2) and imaged onto a projection surface (31) via a projection system (3), a bus interface (4) providing information relating to the velocity and steering angle of the vehicle and a head tracking system (6) providing information relating to the position and angle of the driver's head, for the control unit. An Independent claim for an automobile driver training device is also included.

Description

Erfindung betrifft eine Vorrichtung und ein Verfahren zum Fahrertraining mit einem Kraftfahrzeug. The invention relates to a device and a driver training method with a motor vehicle.

Die heute übliche Darstellung von Hindernissen oder gefährlichen Situationen auf Verkehrsübungsplätzen durch Pylone (Hütchen), Rutschmatten oder Wassersäulen zum gezielten Üben der Bewältigung von Gefahrensituationen bei einem Sicherheitstraining hat den Nachteil, dass. diese abstrakt in Szene gesetzten Hindernisse von den Übenden nicht als realistisch erlebt werden. Der Trainierende bekommt auf diese Weise bei solchen Übungssituationen zwar ein Gefühl für die Fahrzeugreaktionen, er hat aber durch die abstrakte Darstellungsform der Hindernisse immer vor Augen, dass die Situation an sich völlig gefahrlos ist.The usual representation of obstacles today or dangerous Situations on traffic training places through Pylons, Slip mats or water columns for targeted practice coping dangerous situations during safety training has the disadvantage that these abstractly set obstacles do not arise from the practitioners be experienced as realistic. The trainee gets on this Way in such practice situations though a feeling for the Vehicle reactions, but he has through the abstract form of representation the obstacles always in mind that the situation in itself is completely safe is.

Pylone, Rutschmatten und Wassersäulen sind zudem entweder von Weitem sichtbar oder örtlich gebunden, so dass der Ort ihrer Aufstellung dem Fahrer bekannt ist, und anstelle des eigentlich zu bewältigenden Überraschungseffekts ein Gewöhnungseffekt eintritt. Durch den Gewöhnungseffekt und durch den fehlenden visuellen Bezug zu realen Hindernissen oder Gefahrensituationen, fehlt dem Geschulten später in einer realen Gefahrensituation das Moment der frühzeitigen Wiedererkennung der Situation, und damit der Auslöser für die antrainierten, richtigen Reaktionen. Aus diesen Gründen kann beim Training mit abstrakten Gefahrendarstellungen kein so nachhaltiger Lerneffekt erzielt werden, wie er sich durch die Bewältigung realer Gefahrensituationen einstellt.Pylons, sliding mats and water columns are Moreover, either visible from a distance or bound locally, so that the Place of their installation is known to the driver, and instead of actually to master surprise effect a habituation effect entry. By the habituation effect and by the lack of visual reference to real obstacles or Hazardous situations, the trained missing later in a real danger situation the moment of the early Recognition of the situation, and thus the trigger for the trained, correct Reactions. For these reasons can not do that when training with abstract hazard representations sustainable learning effect can be achieved as he copes through real danger situations.

Die DE 100 33 442 C2 beschreibt einen Fahrsimulator und ein Verfahren zu dessen Betrieb. Damit sollen dem Fahranfänger Verkehrssituationen und Fahrzeuginstrumente möglichst wirklichkeitsnah dargestellt werden. Dem Fahrschüler stehen alle Bedienelemente eines Kraftfahrzeugs zur Verfügung, wobei ihm virtuelle Verkehrsszenen und die Anzeigen der Fahrzeuginstrumente über eine Datenbrille eingespielt werden, mit der Rundumsicht möglich ist. Das Verhalten des Fahrschülers wird über verschiedene Sensoren erfasst und für unterstützende Erläuterungen und Korrekturen des Fahrverhaltens ausgewertet. Dabei geht es vor allem um das Erlernen der grundlegenden Abläufe der Fahrzeugbedienung und das Bewältigen von Standard-Verkehrssituationen.The DE 100 33 442 C2 describes a driving simulator and a method for its operation. This should be the driving novice traffic situations and vehicle instruments as realistic as possible to be presented. The trainee are all controls of a motor vehicle available, with him virtual traffic scenes and the displays of the vehicle instruments are recorded on a data glasses, with all-round visibility is possible. The behavior of the student is recorded by various sensors and evaluated for supporting explanations and corrections of the driving behavior. It is all about learning the basic processes of vehicle operation and mastering standard traffic situations.

Bei dieser Art Training, die sich an Fahranfänger richtet, ist für den Übenden die Fahrzeugreaktion körperlich nicht erfahrbar. Für ein Sicherheitstraining zur Schulung von Reaktionsmustern in komplexen oder gefährlichen Fahrsituationen, das sich an bereits geübte Fahrer richtet, ist für den gewünschten Lerneffekt die unmittelbare Erfahrung der Fahrzeugreaktion jedoch unerlässlich.In this type of workout that is to novice drivers is, is for the practitioner the vehicle reaction physically not experienced. For a safety training to train reaction patterns in complex or dangerous Driving situations that are aimed at already experienced drivers, is for the desired learning effect However, the immediate experience of the vehicle response is essential.

Aus der EP 0399418 A2 sind ein Verfahren und eine Einrichtung zum Missionstraining von Fluggeräten bekannt, bei dem dem Piloten während eines Übungsfluges – bspw. über See – auf einem in das Sichtfeld des Piloten einschwenkbaren Sichtschirm ein virtuelles zu überfliegendes Gelände – bspw. ein Tieffluggelände mit bodennahen Hindernissen – eingeblendet wird.From the EP 0399418 A2 a method and a device for mission training of aircraft are known in which the pilot during a training flight - eg. Over the sea - on a swivel in the field of view of the pilot screen a virtual area to be overflight - eg. A low-altitude terrain with ground-level obstacles - is displayed ,

Aus der DE 19606685 A1 ist ein real in einem Gelände operierendes bewegliches Waffensystem bekannt, bei dem ein virtuelles Ziel-Objektbild lage-, größen- und positionsrichtig zum Waffensystem in die durch die Waffenoptik sichtbare Umgebung oder auf eine optronische Sichteinrichtung in ein Bild der sichtbaren Umgebung eingeblendet wird.From the DE 19606685 A1 is a real operating in a terrain moving weapon system is known in which a virtual target object image position, size and position correct to the weapon system in the visible by the gun optical environment or on an optronic viewing device is superimposed into an image of the visible environment.

Aufgabe der Erfindung ist es, eine kraftfahrzeugspezifische und ein kraftfahrzeugspezifisches Verfahren zum Fahrertraining mit einem Kraftfahrzeug zu schaffen, die es einem Trainierenden ermöglichen, seine Reaktionen in verschiedenen, möglichst realistisch simulierten Gefahrensituationen nachhaltig zu schulen.The object of the invention is to provide a vehicle-specific and a vehicle-specific method to create a driver training with a motor vehicle, it a Enable exercisers his reactions in different, as realistic as possible simulated To train dangerous situations sustainably.

Die Aufgabe wird durch ein Verfahren zum Fahrertraining mit einem Kraftfahrzeug nach Anspruch 1 und eine Vorrichtung zum Fahrertraining mit einem Kraftfahrzeug nach Anspruch 6 gelöst. Vorteilhafte weitere Ausführungen sind Gegenstand der Unteransprüche.The task is performed by a procedure for driver training with a motor vehicle according to claim 1 and a Device for driver training with a motor vehicle according to claim 6 solved. Advantageous further versions are the subject of the dependent claims.

Die erfindungsgemäße Verwendung von virtueller Realität für die Zwecke eines Fahrertrainings mit dem Fahrzeug, ermöglicht es, dass dem Fahrer während einer Trainingsfahrt über eine Projektionsfläche eine simulierte, gefahrenträchtige Verkehrssituation vorgespielt wird, auf die er reagieren soll.The inventive use of virtual reality for the Purpose of driver training with the vehicle, it allows that during the driver a training trip over a projection screen a simulated, dangerous one Traffic situation to which he is to respond.

Die simulierte, gefahrenträchtige Verkehrssituation ist erfindungsgemäß ein sogenanntes immersives Szenario, das mittels 3D-Modellierung erstellt wird. Immersive 3D-Szenarien sind im Zusammenhang mit Virtual-Reality-Anwendungen bekannt. Durch ein solches 3D-Szenario wird ein fiktiver Raum mit fiktiven Szenen darin durch geometrische, topologische und zeitabhängige Informationen über Anordnungen und Bewegungen von 3D-Objekten beschrieben. Immersiv heißt dabei, dass ein Betrachter in eine solche computer-generierte Umgebung hineinversetzt werden kann, und dass die räumliche Darstellung dieser simulierten Umgebung interaktiv durch die Wahl der Betrachterperspektive bestimmt wird.The simulated, dangerous traffic situation is a so-called according to the invention immersive scenario created using 3D modeling. Immersive 3D scenarios are related to virtual reality applications known. Such a 3D scenario becomes a fictional space with fictitious scenes in it by geometrical, topological and time-dependent information about arrangements and movements of 3D objects. Immersive means that a viewer is in such a computer-generated environment can be translated into, and that the spatial representation of this simulated environment interactively by choosing the viewer's perspective is determined.

Ein Betrachter kann sich „in" einem solchen Szenario bewegen, indem Position und Ausrichtung dieses Betrachters in der realen Umgebung unmittelbar vor Beginn seiner Fortbewegung „im" Szenario mit einer definierten Ansicht und einem definierten Betrachtungswinkel des Szenarios, das der Betrachter auf einer Projektionsfläche – beispielsweise einer Datenbrille – betrachtet, synchronisiert wird. Alle dem Betrachter im Folgenden präsentierten Ansichten des 3D-Szenarios werden gemäß seiner Fortbewegung im Verhältnis zu seiner Ausgangsposition und seiner ursprünglichen Ausrichtung gemäß seiner Geschwindigkeit aus dem 3D-Szenario errechnet. Die Fortbewegung des Betrachters wird technisch durch sogenannte Tracking-Verfahren bestimmt.An observer can move "in" such a scenario by position and orientation of that viewer in the real environment just prior to starting his or her "in" scenario with a defined view and viewing angle of the scenario that the viewer is on a screen - for example a smart phone - viewed, synchronized. All that Observers of the 3D scenario presented below are calculated according to their speed from the 3D scenario according to their locomotion relative to their starting position and their original orientation. The movement of the observer is technically determined by so-called tracking method.

Die visuelle Annäherung an die Objekte in einem 3D-Szenario durch den Betrachter erfolgt gemäß der relativen Geschwindigkeit des Betrachters zu diesen Objekten; d.h. lateral ausgerichtete Geschwindigkeitskomponenten von Objekten, wie z.B. ein den Weg des Betrachters querender Fußgänger, werden durch die Annäherungsgeschwindigkeit des Betrachters nicht beeinflusst. Die Bewegungen von Objekten im Szenario können dabei beispielsweise durch „Betreten" oder „Überschreiten" eines bestimmten Bereiches im Szenario durch den Betrachter oder auch nach zeitlichen Kriterien ausgelöst werden.The visual approach to the objects in one 3D scenario by the viewer is done according to the relative speed the viewer to these objects; i.e. laterally oriented velocity components objects, e.g. become a pedestrian crossing the path of the viewer by the approach speed not influenced by the viewer. The movements of objects in the Scenario doing so, for example, by "entering" or "crossing" a certain Range in the scenario by the viewer or even temporally Criteria triggered become.

Mit solchen 3D-Szenarien können Gefahrensituationen des Straßenverkehrs so modelliert werden, dass sie erfindungsgemäß mit dem Fahrzeug auf einem abgesperrten Gelände oder in einer auf andere Weise kontrollierten Verkehrsumgebung „durchfahren" werden können.Hazard situations can occur with such 3D scenarios of road traffic be modeled so that they according to the invention with the vehicle on a closed off terrain or "pass through" in a traffic environment controlled in another way.

Um den jeweiligen Ort und die Ausrichtung des Übungsfahrzeugs „im" 3D-Szenario, und damit die dem Fahrer darzustellende Ansicht des Szenarios, errechnen zu können, wird das reale Koordinatensystem der Umgebung, in der sich das Fahrzeug bewegt, mit dem virtuellen Koordinatensystem des Szenarios in Einklang gebracht. Dazu werden vor Beginn jeder Übungsfahrt die Ausgangsposition und die anfängliche Ausrichtung bzw. Ausgangslage des Fahrzeugs mit einem definierten Ort und einer definierten Ausrichtung des 3D-Szenarios synchronisiert.To the respective location and orientation of the exercise vehicle "in the" 3D scenario, and to calculate the driver's view of the scenario to be able to becomes the real coordinate system of the environment in which the vehicle is moving, reconciled with the virtual coordinate system of the scenario. This will be done before the start of each practice trip the starting position and the initial one Orientation or initial position of the vehicle with a defined Synchronized location and a defined orientation of the 3D scenario.

Während der Fahrt ist für eine Berechnung und Darstellung der Bildfolgen aus einem 3D-Szenario gemäß dem Bewegungszustand des Fahrzeugs Ort, Geschwindigkeit, Richtung sowie die Lage des Fahrzeugs ausschlaggebend. Dabei kann der jeweilige Auf enthaltsort des Fahrzeugs „im" Szenario beispielsweise in Bezug auf den definierten Ausgangspunkt des Szenarios aus den Fahrzeugparametern Geschwindigkeit und Richtung mit den Methoden der Odometrie errechnet werden. Ebenso kann die Lage des Fahrzeugs im Verhältnis zur Ausgangslage – bzw. das fahrzeugbezogene Koordinatensystem in Relation zum fixen Koordinatensystem der Umgebung, das durch die Ausgangslage bestimmt ist – anhand dieser beiden Fahrzeugparameter bestimmt werden. Für die Berechnung und Darstellung der Ansichten des 3D-Szenarios gemäß dem Bewegungsverlauf des Fahrzeugs genügt es daher, die Parameter Geschwindigkeit und Richtung des Fahrzeugs zu ermitteln.While the ride is for a calculation and presentation of the image sequences from a 3D scenario according to the state of motion the vehicle's location, speed, direction as well as the location of the vehicle decisive. In this case, the respective location of the vehicle can be "in the" scenario, for example in terms of the defined starting point of the scenario from the Vehicle parameters Speed and direction with the methods the odometry can be calculated. Likewise, the location of the vehicle in relation to to the starting position - or the vehicle-related coordinate system in relation to the fixed coordinate system the environment, which is determined by the starting position - by these two vehicle parameters are determined. For the calculation and representation of the views of the 3D scenario according to the course of movement of the Vehicle is enough it therefore, the parameters speed and direction of the vehicle to determine.

Da sich die Projektionsfläche im Fahrzeug befindet oder mit diesem verbunden ist; bspw. im Fall der Windschutzscheibe als Projektionsfläche, wird die Projektionsfläche gemäß der Straßenlage des Fahrzeugs bewegt. Für eine zufriedenstellende Darstellung sollte die Ansicht des Szenarios für den Betrachter – wie die reale Umgebung – von den Lageveränderungen des Fahrzeugs unberührt erscheinen.Since the projection surface is in the vehicle or connected to it; For example, in the case of the windshield as a projection surface, becomes the projection screen according to the roadholding of the vehicle moves. For A satisfactory presentation should be the view of the scenario for the Viewer - like the real environment - from the changes in the situation of the vehicle untouched appear.

Um eine zufriedenstellende Darstellung des zu durchfahrenden 3D-Szenarios auf der Projektionsfläche im Fahrzeug zu erhalten, wird die Abweichung des fahrzeugbezogenen Koordinatensystems vom Koordinatensystem der Umgebung, welches durch die Ausgangslage des Fahrzeugs definiert ist, bestimmt. Aus der Differenz zwischen Ausgangslage und aktueller Lage des Fahrzeugs ergeben sich die Korrekturbeträge für eine Ausrichtung der darzustellenden Bilder, die der Lage des Fahrzeugs gegenüber der realen Umgebung entspricht.To have a satisfactory presentation of the 3D scenario to be traveled on the projection surface in the vehicle to obtain the deviation of the vehicle-related coordinate system from Coordinate system of the environment, which by the starting position of Vehicle defined is determined. From the difference between starting position and current position of the vehicle, the correction amounts for an alignment the images to be displayed, the position of the vehicle relative to the real environment.

Die Parameter Geschwindigkeit und Richtung können mittels einer Abfrage der aktuellen Werte von Raddrehzahl und Lenkwinkel über eine Schnittstelle zum CAN-Busdes Fahrzeugs ermit telt werden. Darüber hinaus ist eine Auswertung weiterer Fahrparameter oder eine Verwendung spezieller Sensoren zu einer feineren Bestimmung des Bewegungszustandes des Fahrzeugs möglich.The parameters speed and Direction can by means of a query of the current values of wheel speed and steering angle via an interface be determined to the CAN bus of the vehicle. In addition, an evaluation further driving parameters or a use of special sensors to a finer determination of the state of motion of the vehicle possible.

Durch eine geeignet simulierte Streckenführung eines 3D-Szenarios und einer dementsprechenden Startposition des Übungsfahrzeugs ist es beispielsweise möglich, dass ein Fahrzeug vom Fahrer automatisch so über ein Übungsgelände geführt wird, dass auch in kritischen Übungssituationen genügend freie Fläche vorhanden ist, so dass keine Kollisionen des Fahrzeugs mit den Begrenzungen des Geländes auftreten oder das Fahrzeug die Fahrbahn verlässt.Through a suitably simulated route of a 3D scenarios and a corresponding starting position of the exercise vehicle, it is for example possible, The driver automatically guides a vehicle over an exercise area, even in critical exercise situations enough free area is present, so that no collisions of the vehicle with the limitations of ground occur or the vehicle leaves the road.

Für 3D-Szenarien, die Streckenlängen von wenigen hundert Metern modellieren, ist dabei eine Ortsbestimmung des Fahrzeugs durch Raddrehzahl und Lenkwinkel bzw. durch die Parameter Geschwindigkeit und Richtung in Bezug zum Ausgangspunkt ausreichend genau. Um auch für längere Fahrstrecken den Ort des Übungsfahrzeugs ausreichend genau bestimmen zu können, empfiehlt sich hierfür zusätzlich ein regelmäßiger Abgleich der durch Geschwindigkeit und Richtung berechneten Position mit den Daten eines satellitengestützten Positionsbestimmungssystems (beispielsweise GPS oder Galileo). Ein solcher Positionsabgleich, wie er üblicherweise bei Navigationssystemen verwendet wird, wird durch einen Filter geglättet vorgenommen, damit keine Unstetigkeiten in den angezeigten Bilddarstellungen auftreten. Eine noch feinere Positionsbestimmung ist durch zusätzlichen Einsatz eines elektronischen Kreisels als Sensor für eine genaue Richtungs- bzw. Lagebestimmung des Fahrzeugs möglich.For 3D scenarios, the track lengths Modeling of a few hundred meters, is a localization of the vehicle by wheel speed and steering angle or by the parameters Speed and direction in relation to the starting point is sufficient exactly. In order for too longer Routes the location of the exercise vehicle be able to determine with sufficient accuracy recommended for this additionally a regular match the position calculated by speed and direction with the Data of a satellite Positioning system (for example GPS or Galileo). On such position adjustment, as it usually in navigation systems is used, is made smoothed by a filter, so no Discontinuities occur in the displayed image representations. A even finer position determination is by additional use of an electronic Kreisels as a sensor for a precise direction or orientation of the vehicle possible.

Neben einer durchdachten Anpassung der virtuellen Szenarien an die Abmessungen und sonstigen Gegebenheiten des Übungsge ländes können weitere Sicherheitsvorkehrungen vorgesehen werden: Sollte der Fahrer während der Übungsfahrt beispielsweise in Gefahr kommen, die reale Fahrbahn zu verlassen oder sich zu nahe an die Begrenzungen des Geländes anzunähern, bekommt er von einem Ausbilder oder Übungsleiter, der das Geschehen auf dem Übungsplatz überwacht, über eine drahtlose Verbindung geeignete visuelle oder akustische Hinweise eingeblendet. Der Ausbilder kann aber auch als Beifahrer an der Übungsfahrt teilnehmen. Bei einer Ausführung des Übungsfahrzeugs als Fahrschulfahrzeug kann der Ausbilder während der Übungsfahrt die reale Fahrsituation beobachten und direkt in das Fahrgeschehen eingreifen.In addition to a well thought-out adaptation of the virtual scenarios to the dimensions and other circumstances of Übungsge country can If, for example, the driver is in danger of leaving the real lane or moving too close to the limits of the terrain during the exercise, he will be instructed by a trainer or instructor who oversees the activity on the practice site wireless connection visual or audible cues are displayed. The instructor can also participate as a passenger in the practice drive. In an embodiment of the exercise vehicle as a driving school vehicle, the instructor can observe the real driving situation during the exercise and directly intervene in the driving.

Die Darstellung von virtuellen Szenen des Straßenverkehrs im fahrenden Fahrzeug erlaubt es, dem Fahrer Notsituationen realistisch und unvorhersehbar darzustellen. Damit können Reaktionen situationsabhängig hervorgerufen und ein Wiedererkennungsmoment für entsprechende Gefahrensituationen beim Fahrer verankert werden. Ruf diese Weise ist es möglich ein nachhaltiges Sicherheitstraining zur Erhöhung der Verkehrssicherheit der Verkehrsteilnehmer durchzuführen. Die richtige Fahrerreaktion kann durch Wiederholung der Szenen geschult werden oder auch durch verschiedene Szenarien für die gleiche Gefahrensituation individuell vertieft werden.The representation of virtual scenes of road traffic in the moving vehicle it allows the driver emergency situations realistic and unpredictable. This can cause reactions depending on the situation and a recognition moment for corresponding dangerous situations are anchored at the driver. Reputation this way it is possible a sustainable safety training to increase traffic safety the road user. The correct driver reaction can be trained by repeating the scenes or by different scenarios for the same dangerous situation be individually deepened.

3D-Szenarien sind einfach zu erstellen und leicht zu verändern, so dass die verschiedensten kritischen Verkehrssituationen als virtuelle 3D-Verkehrsszenarien für das Sicherheitstraining dargestellt und variiert werden können. Da die virtuellen Szenarien als Dateien vorliegen, sind sie für das Training auch unkompliziert auswechselbar. Somit kann das Fahrertraining nicht nur realistischer, sondern auch effizienter, variantenreicher und individueller ausgestaltet wer den, als es mit bisher mit Pylonen oder Wasserhindernissen möglich war.3D scenarios are easy to create and easy to change, so that the most diverse critical traffic situations as virtual 3D traffic scenarios for the safety training can be presented and varied. There The virtual scenarios are available as files, they are for the training too easily replaceable. Thus, the driver training can not only more realistic, but also more efficient, more varied and made more individual than the one with so far with pylons or water hazards possible was.

Beim erfindungsgemäßen Fahrertraining bewegt der Fahrer ein Fahrzeug real in einer sicheren Verkehrsumgebung, beispielsweise auf einer abgesperrten Fläche (z.B. auf einem Flugplatzgelände ohne Flugbetrieb oder einem Verkehrsübungsplatz) oder in einer durch einen mitfahrenden Fahrlehrer gesicherten Verkehrssituation. Dabei nimmt er erfindungsgemäß auf einer Projektionsfläche eine virtuelle Verkehrsszene wahr, durch die er sich mit dem Fahrzeug bewegt.When driver training according to the invention the driver actually moves a vehicle in a safe traffic environment, For example, on a restricted area (e.g., on an airport site without Flight operations or a traffic training area) or in a secured by a driving instructor driving situation. He takes according to the invention on a projection a virtual traffic scene, through which he deals with the vehicle emotional.

Für die Trainingssituation auf einem abgesperrten Übungsgelände ist typischerweise ein Übungsszenario wie das Folgende durchführbar: Der Fahrer sieht sich im projizierten Szenario beispielsweise durch eine enge Straße mit geparkten Autos fahren, und es tauchen plötzlich Hindernisse auf; z.B. springt ein Kind zwischen geparkten Autos auf die Fahrbahn. Die reale Verkehrsfläche, auf der das Fahrzeug fährt, bietet genug Raum für Fehlreaktionen, ohne dass dabei Schäden am Fahrzeug oder an anderen Gegenständen befürchtet werden müssten. Die virtuellen Hindernisse werden bei einem „Crash" nicht in Mitleidenschaft gezogen, und umgekehrt können auch sie beim Fahrzeug des Fahrers keinen Schaden anrichten. Zur Verstärkung des Lerneffekts bei den Trainierenden ist es allerdings angezeigt, im Fall einer Kollision mit einem virtuellen Hindernis dem Fahrer eine entsprechende akustische Rückmeldung zu geben. Virtuelle Kollisionen des Übungsfahrzeugs mit Objekten des Szenarios können vorteilhaft aus den Koordinaten des Aufenthaltsorts des Fahrzeugs und den Koordinaten der Objekte im Szenario errechnet werden.For the training situation on a closed practice area is typically an exercise scenario as the following is feasible: The driver looks through the projected scenario, for example a narrow street drive with parked cars, and suddenly there are obstacles; e.g. jumps a child between parked cars on the road. The real traffic area, up who drives the vehicle, offers enough space for Faulty reactions without causing damage to the vehicle or to others objects feared would have to be. The virtual obstacles are not affected in a "crash", and vice versa they also do no damage to the driver's vehicle. to reinforcement of the learning effect among the exercisers, however, it is in the event of a collision with a virtual obstacle to the driver a corresponding acoustic feedback to give. Virtual collisions of the exercise vehicle with objects of the scenario advantageous from the coordinates of the location of the vehicle and the coordinates of the objects in the scenario are calculated.

Eine vorteilhafte Ausgestaltung der Erfindung ergibt sich durch den Einsatz von Augmented-Realitiy oder erweiterter Re alität. Bei dieser Methode werden einem Betrachter nicht ausschließlich virtuelle Informationen gezeigt, sondern die virtuellen Informationen werden zur optischen Wahrnehmung, die der Betrachter von seiner Warte aus von der realen Umgebung hat, auf der Projektionsfläche hinzugemischt. Diese Technik ermöglicht es dem Fahrer beim erfindungsgemäßen Sicherheitstraining während einer Übungsfahrt, neben dem simulierten Szenario auch sein reales Umfeld – die Fahrbahn und Begrenzungen des Übungsgeländes – auf der Projektionsfläche wahrzunehmen. Dies kann dazu beitragen, dass sich der Fahrer bei den Übungsfahrten sicherer fühlt, weil er bezüglich seiner realen Umgebung nicht völlig „blind" ist.An advantageous embodiment of Invention results from the use of augmented reality or extended reality. In this method, a viewer is not exclusively virtual Information shown but the virtual information for visual perception, the viewer from his point of view from the real environment has mixed in on the projection screen. This technique allows it to the driver during safety training according to the invention while an exercise trip, in addition to the simulated scenario, his real environment - the roadway and limits of the practice area - on the projection perceive. This can help keep the driver in place the practice trips safer feels, because he regards his real environment is not completely "blind".

Ein System für erweiterte Realität mit einem mobilen Endgerät ist beispielsweise in der DE 201 09 937 U1 beschrieben.An augmented reality system with a mobile terminal is, for example, in DE 201 09 937 U1 described.

Bei einer Realisierung des erfindungsgemäßen Systems mit erweiterter Realität ist es auch vorstellbar, das erfindungsgemäße Verfahren im Rahmen herkömmlicher Fahrstunden einzusetzen. Wenn der Fahrlehrer eine geeignete gefährdungsfreie Situation oder Umgebung sichergestellt hat, beispielsweise eine freie und gerade Autobahnstrecke, wäre für einen Fahrschüler beispielsweise folgendes Übungsszenario geeignet: Dem Fahrschüler wird ein virtuelles vorausfahrendes Fahrzeug mit einer autobahnüblichen, aber nicht zu hohen Geschwindigkeit – bei ansonsten transparenter Sicht – eingespielt, zu dem der Fahrschüler im Abstand von 1 Sekunde aufschließt. Damit könnte dem Fahrschüler bei einem plötzlichen Abbremsens des vorausfahrenden Fahrzeugs demonstriert werden, dass sein Abstand zu knapp ist. Dabei kann der Fahrschüler beispielsweise eine Datenbrille. tragen, so dass der Fahrlehrer die reale Fahrsituation verfolgen kann. Das vom Fahrschüler durchfahrene Szenario kann aufgezeichnet und zu einem späteren Zeitpunkt ausgewertet werden.In an implementation of the system according to the invention with augmented reality it is also conceivable, the inventive method in the context of conventional Use driving lessons. If the instructor is a suitable hazard-free Situation or environment has ensured, for example, a free and straight highway route, for example, would be for a learner following practice scenario suitable: the learner driver becomes a virtual vehicle in front with a customary, but not too high speed - otherwise transparent View - recorded, to the learner driver unlocked at intervals of 1 second. This could help the learner driver a sudden Braking the preceding vehicle to be demonstrated that his distance is too short. The learner can, for example, a Data glasses. wear, so that the driving instructor the real driving situation can pursue. That of the learner Passed scenario can be recorded and at a later date be evaluated.

Bei der Realisierung erweiterter Realität können die Projektionsflächen lichtdurchlässig oder lichtundurchlässig ausgeführt sein.In the realization of extended reality can the projection surfaces translucent or opaque accomplished his.

Lichtdurchlässige Projektionsflächen (See-Through-Technik) besitzen bei der Realisierung von Augmented-Reality-Systemen den Vorteil, dass die Sicht des Fahrers auf die reale Umgebung nicht eigens aufgenommen werden muss, um für die Darstellung der Umgebungsinformation zusammen mit den virtuellen Szenarien weiterverarbeitet zu werden. Diese Maßnahmen sind für die Darstellung einer erweiterten Realität mit lichtundurchlässigen Projektionsflächen erforderlich (Feed-Through-Technik).Translucent projection surfaces (see-through technique) have the advantage in the realization of augmented reality systems that the driver's view of the real environment need not be specifically recorded to be further processed for presentation of the environmental information along with the virtual scenarios. These measures are required for the presentation of an augmented reality with opaque projection surfaces (feed-through technique).

Als vorteilhafte Projektionsflächen für das erfindungsgemäße System und Verfahren kommen beispielsweise eine Datenbrille – auch Head-Mounted-Display genannt – oder die Windschutzscheibe in Verbindung beispielsweise mit einem Head-Up-Display als Projektionssystem in Frage, mit dem die virtuellen Bilder des Verkehrsszenarios in die Windschutzscheibe des Fahrzeuges eingespiegelt werden. Datenbrille wie Windschutzscheibe können als lichtdurchlässige Spiegel oder lichtundurchlässig ausgeführt sein.As advantageous projection surfaces for the system according to the invention and methods are for example a data glasses - even head-mounted display called - or the windshield in conjunction with, for example, a head-up display as a projection system with which the virtual images of the Traffic scenarios reflected in the windshield of the vehicle become. Data glasses like windshields can act as translucent mirrors or opaque.

Besonders vorteilhaft sind Projektionsflächen aus lichtdurchlässigem Spiegelmaterial, bei dem der Grad der Durchlässigkeit gesteuert werden kann. Der wählbare Bereich für die Lichtdurchlässigkeit liegt derzeit ungefähr in einem Bereich zwischen 5% und 55%. Für die Realisierung einer lichtundurchlässigen Windschutzscheibe kann beispielsweise eine entsprechende, als Projektionsfläche geeignete, Abdeckung vorgesehen werden.Particularly advantageous are projection surfaces translucent Mirror material in which the degree of permeability can be controlled. The selectable Area for the translucency is currently about in a range between 5% and 55%. For the realization of an opaque windshield For example, a suitable, suitable as a projection screen, cover be provided.

Gegenüber einer Projektion des virtuellen Verkehrsgeschehens durch ein Head-Up-Display auf die Windschutzscheibe, die nur einen beschränkten Betrachtungswinkel auf ein Szenario freigibt und die Blickrichtung des Fahrers im Wesentlichen nach vorne fixiert, ist mit einer Datenbrille für den Fahrer vorteilhaft eine volle Rundumsicht im virtuellen Szenario möglich. Eine Projektion auf die Windschutzscheibe bietet allerdings für Gefahrenszenarien, für die es auch auf die Beobachtung des rückwärtigen Verkehrs ankommt, den Vorteil, dass so auch die vorhandenen Rückspiegel unter Einsatz weiterer Head-Up-Displays als Projektionsfläche benutzt werden können. Natürlich ist mit erhöhtem technischen Aufwand auch eine Ausweitung der Projektionsfläche auf die Seitenfenster denkbar, wobei die Funktion der Außenspiegel simuliert werden müsste. Ebenso gut ist es möglich, die Funktion der Rückspiegel in Verbindung mit der Datenbrille zu simulieren.Opposite a projection of virtual traffic through a head-up display on the windshield, the only one limited viewing angle on a scenario releases and the line of sight of the driver in essence Fixed to the front, with a data glasses for the driver advantageous one full visibility in the virtual scenario possible. A projection on However, the windshield offers for risk scenarios, for it too on the observation of the rear traffic arrives, the advantage that so the existing rearview mirror using additional head-up displays as a projection surface can be used. Naturally is with elevated technical effort and an expansion of the projection surface the side windows are conceivable, with the function of the exterior mirrors would have to be simulated. It is equally possible the function of the rearview mirror in conjunction with the data goggles.

Bei entsprechend weiterentwickelter und ausgereifter Technik ist es weiterhin denkbar, die 3D-Szenarien mittels Laserprojektion darzustellen, wobei das Übungsfahrzeug mit entsprechenden Projektionsmitteln ausgerüstet wird, und die als Projektionsfläche vorgesehenen Fenster oder Spiegel mit einer entsprechenden Projektionsfolie belegt sind oder holographisch-optische Projektionsscheiben verwendet werden.If developed accordingly and mature technology, it is still conceivable, the 3D scenarios represent by laser projection, the exercise vehicle with appropriate Projection means equipped is, and as a projection screen provided window or mirror with a corresponding projection foil are occupied or used holographic-optical projection screens become.

Um für den Fahrer während der Fahrt eine möglichst ruhige Projektion des virtuellen 3D-Szenarios zu erhalten, oder auch um bei Verwendung einer Datenbrille eine Rundumsicht zu erhalten, ist es besonders vorteilhaft, die Darstellung des 3D-Szenarios lagerichtig zur Sicht des Fahrers auf die reale Umgebung vorzunehmen. Hierzu ist die Lage des Koordinatensystem der Blickrichtung des Fahrers im Verhältnis zur realen Umgebung zu ermitteln.In order for the driver during the Drive one as possible to get quiet projection of the virtual 3D scenario, or also to get an all-round view when using data glasses, It is particularly advantageous, the representation of the 3D scenario in the correct position to the driver's view of the real environment. For this is the position of the coordinate system of the driver's line of vision in relation to to determine the real environment.

Dies kann vorteilhaft so implementiert werden, dass die Blickrichtung des Fahrers bzw. das Koordinatensystem des Kopfes des Fahrers, in Relation zum Koordinatensystem des Fahrzeugs ermittelt wird. Die ermittelte Kopflage im Verhältnis zur Lage des Fahrzeugs und die Lage der Fahrzeugs im Verhältnis zur realen Umgebung bestimmen zusammen den Blickwinkel des Fahrers auf die reale Umgebung und damit die Abweichung von der Ausgangslage. Aus der Differenz zwischen dem kopfbezogenen Koordinatensystem und dem fahrzeugbezogenen Koordinatensystem ergeben sich – zusätzlich zur Anpassung der Bilddarstellung an die Fahrzeuglage – die Korrekturbeträge für eine der Fahrersicht entsprechenden Ansicht und Ausrichtung der Bildfolgen aus dem 3D-Szenario auf der Projektionsfläche.This can be implemented as advantageous be that the line of sight of the driver or the coordinate system of the driver's head, in relation to the coordinate system of the vehicle is determined. The determined head position in relation to the position of the vehicle and determine the location of the vehicle in relation to the real environment together the driver's perspective on the real environment and thus the deviation from the starting position. From the difference between the head-related coordinate system and the vehicle-related coordinate system arise - in addition to Adjusting the image representation to the vehicle position - the correction amounts for one of Driver view corresponding view and orientation of the image sequences from the 3D scenario on the projection screen.

Zur Feststellung der Blickrichtung bzw. des Koordinatensystems des Fahrerkopfes wird die Kopflage des Fahrers im Verhältnis zur Lage des Fahrzeugs ermittelt. Zur Bestimmung der Kopfposition (Head-Tracking) wird vorteilhaft ein sogenanntes Marker-Tracking eingesetzt. Dazu befindet sich am Kopf des Fahrers beispielsweise eine Video-Kamera und an definierten Punkten im Fahrzeug im Sichtfeld des Fahrers, z.B. im Bereich der Konsole, der Windschutzscheibe und der Seitenfenster, mindestens drei Marker. Die Lage der Marker zueinander ist dabei definiert. Das von der Kamera aufgenommene Bild wird vor Fahrtbeginn anhand dieser Marker kalibriert. Aus der Lage der Marker im fokussierten Bild der Kamera wird dann während der Übungsfahrt die 3D-Position und Orientierung des Kopfes des Betrachters ermittelt. Für eine Simulation von Rückspiegelfunktionen bei Verwendung einer Datenbrille können solche Marker beispielweise auch an den Rückspiegeln angebracht sein, um festzustellen, ob der Fahrer gerade auf einen solchen Spiegel blickt, und um dementsprechend die zugehörige „Rückspiegel-Ansicht" des 3D-Szenarios einzublenden.To determine the line of sight or the coordinate system of the driver's head is the head position of the Driver in proportion determined to the position of the vehicle. To determine the head position (head tracking) Advantageously, a so-called marker tracking is used. To is located at the head of the driver, for example, a video camera and at defined points in the vehicle in the driver's field of vision, e.g. in the area of the console, the windscreen and the side windows, at least three markers. The position of the markers to each other is here Are defined. The picture taken by the camera is made before the start of the journey calibrated using these markers. From the location of the markers in the focused Picture of the camera is then during the practice trip determines the 3D position and orientation of the viewer's head. For one Simulation of rearview mirror functions when using smart glasses, such markers may be, for example also at the rear-view mirrors be appropriate to determine if the driver is watching one looks at such a mirror, and accordingly the associated "rearview view" of the 3D scenario display.

Zur schnelleren und sichereren Bestimmung der Position und Orientierung des Kopfes des Fahrers im Fahrzeug ist es von Vorteil, das Marker-Tracking, bspw. im Fall wechselnder Lichtverhältnisse, durch die Signale eines Inertialsensors, der sich ebenfalls am Kopf des Fahrers befindet, zu einem sogenannten hybriden Head-Tracking zu ergänzen. Für ein vereinfachtes Tracking-Verfahren ist es auch denkbar, nur den Inertialsensor oder nur das Marker-Tracking einzusetzen.For faster and safer determination of Position and orientation of the driver's head in the vehicle is It is advantageous, the marker tracking, for example, in the case of changing light conditions, by the signals of an inertial sensor, which is also at the head of the The driver is to a so-called hybrid head tracking complete. For a simplified tracking method, it is also conceivable only the inertial sensor or just use the marker tracking.

Bei Verwendung einer Datenbrille als Projektionsfläche kann die beschriebene Sensorik, also Kamera und/oder Inertialsensor, vorteilhaft am Brillengestell befestigt werden. Zu einer stabileren und bequemeren Befestigung der Apparaturen am Kopf des Fahrers können Datenbrille und Sensorik auch an einem offenen Helm, bspw. einem Fahrradhelm, angebracht werden, worüber auch eine wirkungsvolle Zugentlastung der Kabelverbindungen zum angeschlossenen Rechnersystem möglich ist, sofern die Verbindungen in Zukunft nicht drahtlos realisiert werden.When using data goggles as a projection surface, the sensor system described, ie camera and / or inertial sensor, can advantageously be attached to the spectacle frame. For a more stable and convenient attachment of the equipment on the driver's head, data glasses and sensors can also be attached to an open helmet, for example a bicycle helmet be brought about what an effective strain relief of the cable connections to the connected computer system is possible, if the connections are not realized in the future wirelessly.

Zur Überwachung und Koordination des Fahrertrainings ist es von Vorteil, einen Ausbilderarbeitsplatz einzurichten. Der Ausbilderarbeitsplatz kann sich in oder außerhalb des Übungsfahrzeugs befinden, wobei letzteres für ein Training, an dem mehrere Fahrzeuge teilnehmen, von Vorteil ist.For monitoring and coordination of the driver training, it is an advantage, an instructor workstation to set up. The trainer workstation can be in or out of the training vehicle, the latter being for training in which multiple vehicles participate is beneficial.

Der Ausbilderarbeitsplatz umfasst einen Personal-Computer oder ein Laptop sowie ein Display und ein Speichermedium. Der Rechner ist zum Datenaustausch mit der Steuereinheit des erfindungsgemäßen Systems im Übungsfahrzeug verbunden. Für einen Ausbilderarbeitsplatz außerhalb des Fahrzeugs ist die Verbindung mit der Steuereinheit im Fahrzeug über eine drahtlose Verbindung, bspw. wireless LAN realisiert, und der Arbeitsplatz verfügt zusätzlich über eine Sprechfunk- oder Mo bilfunk-Einrichtung bspw. zur Einweisung des Fahrers durch den Ausbilder oder für Rückfragen seitens des Fahrers.The trainer workstation includes a personal computer or a laptop as well as a display and a Storage medium. The computer is for data exchange with the control unit of the system according to the invention in the exercise vehicle connected. For an instructor workstation outside the vehicle is the connection with the control unit in the vehicle via a Wireless connection, for example, realized wireless LAN, and the workplace additionally has one Radiotelephone or mobile radio equipment, for example, for briefing the Driver by the instructor or for questions from the driver.

Die Tonwiedergabe der Sprechfunk- oder Mobilfunk-Einrichtung im Übungsfahrzeug kann über das Sound-System des Fahrzeugs oder über Kopfhörer erfolgen. Bei Verwendung einer Datenbrille kann der Kopfhörer darin integriert sein.The sound reproduction of the radio or mobile device in the exercise vehicle can about that Sound system of the vehicle or over headphone respectively. When using data glasses, the headphones can be inside be integrated.

Bei einem Fahrertraining mit mehreren Fahrzeugen auf einem Übungsgelände kann vom Ausbilderarbeitsplatz aus zu jedem Übungsfahrzeug sowohl Daten- als auch Sprech-Verbindung aufgenommen werden.In a driver training with several Vehicles on an exercise area can from the trainer workstation to each training vehicle, both data and as well as speech connection are recorded.

Von seinem Arbeitsplatz aus kann der Ausbilder aus den 3D-Szenarien, die sich bspw. auf dem Speichermedium des Rechnersystems im Übungsfahrzeug befinden, dasjenige auswählen, das dem Fahrer dieses Fahrzeugs als nächste Übungsszenario dienen soll. Es ist auch denkbar, die Übungsszenarien vom Ausbilderarbeitsplatz aus auf das Speichermedium im Fahrzeug zu übertragen.From his workplace can the instructor from the 3D scenarios, which, for example, on the storage medium of the computer system in the exercise vehicle to choose the one which is to serve as the next exercise scenario for the driver of this vehicle. It is also conceivable, the exercise scenarios from the trainee workstation to the storage medium in the vehicle transferred to.

Bevor ein Fahrer mit der Übungsfahrt beginnt, wird er vom Ausbilder angewiesen, das Fahrzeug in eine für das ausgewählte Szenario geeignete Startposition zu bringen. Für den Fall dass sich der Ausbilder nicht im Übungsfahrzeug befindet, kann dies über die drahtlose Sprech-Verbindung und/oder über visuelle Informationen auf der Projektionsfläche erfolgen, die separat oder zusätzlich zum Szenario eingeblendet werden können. Hierauf können Position und Ausrichtung des Fahrzeugs mit dem in die Projektionsfläche eingeblendeten 3D-Szenario entweder direkt im Fahrzeug oder von außerhalb des Fahrzeugs synchronisiert werden.Before a driver with the practice drive begins, he is instructed by the instructor, the vehicle in one for the selected Scenario to bring suitable starting position. In the event that the instructor not in the exercise vehicle This can be over the wireless voice connection and / or visual information on the projection screen, the separately or additionally to the scenario can be shown. Hereon can position and orientation of the vehicle with the displayed in the projection surface 3D scenario either directly in the vehicle or from outside of the vehicle are synchronized.

Zur Überwachung des Geschehens auf einem Übungsgelände kann ein Ausbilder zwischen verschiedenen Sichten auf das Fahrzeug und das Gelände wählen. Eine vorteilhafte Sicht für den Ausbilder ist beispielsweise eine Sicht aus quasi Vogelperspektive auf das Übungsgelände und die darauf befindlichen Fahrzeuge. Dies wird realisiert, indem die Positionsdaten der Übungsfahrzeuge, von denen aus Sicherheitsgründen immer nur jeweils eines eine Übungsfahrt durchführen darf, an ein entsprechendes Darstellungsprogramm auf dem Ausbilder-PC übertragen werden, das die Daten in geeigneter Form visualisiert.To monitor the action a practice area can an instructor between different views of the vehicle and the site choose. An advantageous view for For example, the instructor is a bird's-eye view to the practice area and the vehicles on it. This is realized by the Position data of the exercise vehicles, for safety reasons only one each a practice trip carry out may be transferred to a corresponding presentation program on the instructor PC be visualized the data in a suitable form.

Eine andere vorteilhafte Sicht für den Ausbilder ist die Sicht aus dem fahrenden Fahrzeug auf die reale Umgebung. Zur Realisierung dieser Sicht können Bilder der Kamera am Kopf des Fahrers, die zur Bestimmung der Kopfposition dient, oder Bilder einer separaten Kamera an den Ausbilderarbeitsplatz übertragen werden.Another advantageous view for the instructor is the view from the moving vehicle to the real environment. To realize this view can Images of the camera on the driver's head, used to determine the head position serves, or transfers images of a separate camera to the instructor workstation become.

Eine weitere Sicht für den Ausbilder ist die Sicht des Übungsteilnehmers auf das 3D-Szenario. Diese Sicht bildet auch die Grundlage für eine vertiefende Nachbesprechung des Ausbilders mit dem Übungsteilnehmer, dessen Reaktionen während der Fahrt betreffend.Another view for the instructor is the point of view of the exercise participant on the 3D scenario. This view also forms the basis for a deepening Debriefing of the instructor with the exercise participant, his reactions while regarding the journey.

Zur Auswertung der einzelnen Übungsfahrten werden daher über die Steuereinheit beispielsweise CAN-Bus-Daten, wie Geschwindigkeit, Bremsdruck, Lenkwinkel und weitere Fahrparameter, z.B. die Positionsdaten des Fahrzeugs, sowie Fahrerparameter, bspw. Informationen über die Blickrichtung (Kopflage) des Fahrers, an den Ausbilderarbeitsplatz übertragen. Diese Daten werden koordiniert zu den fortlaufend übermittelten Positionsdaten der Übungsfahrt auf dem Speichermedium des Ausbilderarbeitsplatzes aufgezeichnet. Anhand dieser Positionsdaten, wird der Fahrtverlauf im Übungsszenario, das auch auf dem Ausbilder-Rechner abgespeichert ist, auf dem Ausbilder-Rechner berechnet, wobei der Ausbilder den Blickwinkel auf das Szenario (bspw. aus der Vogelperspektive oder aus Fahrersicht) wählen kann. Die Darstellung des Fahrtverlaufs durch das Übungsszenario kann gleichzeitig mit der Übungsfahrt erfolgen.For evaluation of the individual practice runs will therefore be over the control unit, for example, CAN bus data, such as speed, Brake pressure, steering angle and other driving parameters, e.g. the position data of the vehicle, as well as driver parameters, for example. Information about the Viewing direction (head position) of the driver, transferred to the instructor workstation. These data will be coordinated with the continuously transmitted ones Position data of the exercise drive recorded on the storage medium of the trainee workstation. Based on this position data, the course of the journey in the exercise scenario, that is also stored on the instructor's calculator, calculated on the instructor's calculator, the instructor's perspective on the scenario (eg the bird's eye view or from the driver's perspective). The representation the course of the journey through the exercise scenario can be simultaneously with the practice drive respectively.

Es sind noch andere Darstellungen zur Überwachung des Geschehens auf dem Übungsgelände denkbar, und es können auch mehrere Bildschirme für den Ausbilderarbeitsplatz zur Darstellung verschiedener Sichten vorgesehen werden oder mehrere Darstellungen auf einem Bildschirm gezeigt werden.There are other representations for monitoring the happenings on the practice area are conceivable, and it can also several screens for the trainer workstation to display different views be provided or multiple representations on a screen to be shown.

Im Folgenden wird die Erfindung anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die Zeichnungen beschrieben. Dabei werden die Bestandteile bzw. Verfahrensschritte des erfindungsgemäßen Verfahrens genauer erläutert.The invention is based on the following a preferred embodiment described with reference to the drawings. Here are the Components or method steps of the method according to the invention explained in more detail.

1 zeigt ein Blockschaltbild eines bevorzugten Ausführungsbeispiels des erfindungsgemäßen Systems. 1 shows a block diagram of a preferred embodiment of the system according to the invention.

2 zeigt ein Blockschaltbild eines bevorzugten Ausführungsbeispiels des erfindungsgemäßen Systems mit zusätzlicher Sensorik zur Bestimmung der Kopfposition des Fahrers. 2 shows a block diagram of a preferred embodiment of the inventive ßen system with additional sensors to determine the driver's head position.

Dabei zeigen die in beiden Figuren übereinstimmenden ZiffernHere are the matching in both figures digits

11
ein Speichermedium,on Storage medium,
22
eineSteuereinheit,a control unit,
33
eine Projektionssystem,a Projection system
3131
eine Projektionsfläche,a projection,
44
eine CAN-Bus Schnittstelle,a CAN bus interface,
5 5
ein Sound-System,on Sound system,
66
ein Head-Tracking-System,on Head-tracking system,
6161
eine Kamera,a Camera,
6262
einen Inertialsensor,one inertial sensor,
99
einen Ausbilder-Arbeitsplatz,one Instructor workplace,
9191
einen Personal-Computer sowieone Personal computer as well
92 und 93 92 and 93
Sprechfunk-Einrichtungen.Radiotelephone equipment.

Die Steuereinheit 2 dient erfindungsgemäß zur Berechnung einer den Fahrzeugbewegungen entsprechenden Folge von Ansichten aus einem 3D-Gefahrenszenario und ist

  • – mit dem Speichermedium 1 zum Abrufen von 3D-Szenarien,
  • – mit dem Projektionssystem 3 zur Darstellung der berechneten Ansichten eines 3D-Szenarios auf der Projektionsfläche 31,
  • – mit der CAN-Bus-Schnittstelle 4 zur Abfrage von-Fahrparametern,
  • – mit dem Sound-System 5 des Fahrzeugs zur Wiedergabe von akustischem Feedback im Falle einer errechneten virtuellen Kollision und
  • – mit dem Personal-Computer 91 am Ausbilderarbeitsplatz zur Synchronisation der Ausgangslage des Fahrzeugs mit dem 3D-Szenario und zum Start des Szenarios, sowie zur Übermittlung von Bilddaten, Fahr- und Fahrerparametern aus dem Fahrzeug an den Ausbilderarbeitsplatz,
verbunden.The control unit 2 serves according to the invention for calculating a sequence of views corresponding to the vehicle movements from a 3D hazard scenario and is
  • - with the storage medium 1 to retrieve 3D scenarios,
  • - with the projection system 3 to display the calculated views of a 3D scenario on the screen 31 .
  • - with the CAN bus interface 4 to query driving parameters,
  • - with the sound system 5 the vehicle for reproducing acoustic feedback in the case of a calculated virtual collision and
  • - with the personal computer 91 at the training workstation for the synchronization of the starting position of the vehicle with the 3D scenario and for the start of the scenario, as well as for the transmission of image data, driving and driving parameters from the vehicle to the training workstation,
connected.

Das Speichermedium 1 dient zur Speicherung virtueller 3D-Szenarien, die mittels 3D-Modellierung erstellt sind. Die Steuereinheit 2 kann 3D-Szenarien auf das Speichermedium 1 schreiben und auslesen.The storage medium 1 is used to store virtual 3D scenarios created by 3D modeling. The control unit 2 Can 3D scenarios on the storage medium 1 write and read.

Steuereinheit 2 und Speichermedium 1 befinden sich bei den beiden in 1 und 2 dargestellten Ausführungsbeispielen im Fahrzeug. Im Zusammenspiel mit dem Ausbilderarbeitsplatz 9 sind aber auch andere Anordnungen dieser Komponenten vorstellbar.control unit 2 and storage medium 1 are located at the two in 1 and 2 illustrated embodiments in the vehicle. In interaction with the trainer workstation 9 but other arrangements of these components are conceivable.

Das Projektionssystem 3 dient zur Darstellung der von der Steuereinheit berechneten Bilder auf der Projektionsfläche 31. Das Projektionssystem 3 empfängt die darzustellenden Bilddaten von der Steuereinheit 1. Als Projektionssystem 3 und Projektionsfläche 31 wird in den dargestellten Ausführungsbeispiel eine Datenbrille eingesetzt, die über eine Kabelverbindung an die Steuereinheit 2 angeschlossen ist. Es ist auch eine drahtlose Übertragung der Bilddaten auf die Projektionsfläche denkbar.The projection system 3 serves to display the images calculated by the control unit on the projection screen 31 , The projection system 3 receives the image data to be displayed from the control unit 1 , As a projection system 3 and projection surface 31 In the illustrated embodiment, a data goggles is used, which via a cable connection to the control unit 2 connected. It is also conceivable wireless transmission of the image data on the projection screen.

Die CAN-Bus-Schnittstelle 4 des Fahrzeugs ist, wie in 1 und 2 dargestellt mit der Steuereinheit 2. Die Steuereinheit 2 empfängt über die CAN-Bus-Schnittstelle 4 die Fahrparameter Raddrehzahl und Lenkwinkel vom CAN-Bus, aus denen sie Geschwindigkeit und Richtung des Fahrzeugs ermittelt. Auf Grundlage dieser Daten passt die Steuereinheit 2 die dargestellte Ansicht des virtuellen Szenarios für die Darstellung auf der Projektionsfläche 31 an den Bewegungszustand des Fahrzeugs an. Zur Auswertung der Fahrübungen überträgt die Steuereinheit 2 von der CAN-Bus-Schnittstelle die erwähnten und weitere Fahrparameter, wie z.B. den Bremsdruck, an den Personal-Computer 91 des Ausbilderarbeitsplatzes.The CAN bus interface 4 of the vehicle is as in 1 and 2 shown with the control unit 2 , The control unit 2 receives via the CAN bus interface 4 the driving parameters wheel speed and steering angle from the CAN bus, from which it determines the speed and direction of the vehicle. Based on this data, the control unit fits 2 The illustrated view of the virtual scenario for presentation on the screen 31 to the state of motion of the vehicle. The control unit transmits the evaluation of the driving exercises 2 from the CAN bus interface mentioned and other driving parameters, such as the brake pressure, to the personal computer 91 of the trainer workplace.

Das Sound-System 5 ist bei beiden Ausführungsbeispielen mit dem Sound-System des Fahrzeugs identisch. Es ist mit der Steuereinheit 2 und der Sprechfunk-Einrichtung 93 verbunden. Das Sound-System 5 empfängt im Falle einer virtuellen Kollision von der Steuereinheit 2 entsprechende akustische Signale zur Wiedergabe. Das Sound-System 5 dient auch der Wiedergabe der von der Sprechfunk-Einrichtung 93 empfangenen Nachrichten.The sound system 5 is identical in both embodiments with the sound system of the vehicle. It is with the control unit 2 and the radio facility 93 connected. The sound system 5 receives in the event of a virtual collision from the control unit 2 corresponding acoustic signals for playback. The sound system 5 is also used for playback of the radio equipment 93 received messages.

Der Ausbilderarbeitsplatz 9 dient der Überwachung, Koordination und Steuerung der Übungsfahrten von einem oder mehreren Fahrzeugen. Die Sprechfunk-Einrichtung 92 am Ausbilderarbeitsplatz und die Sprechfunk-Einrichtung 93 im Übungsfahrzeug dienen der Kommunikation zwischen dem Fahrer und dem Ausbilder. Der Personal-Computer 91 am Ausbilderarbeitsplatz ist drahtlos mit der Steuereinheit 2 im Fahrzeug verbunden. Über diese Verbindung kann der Ausbilder ein 3D-Szenario aus den Szenarien des mit der Steuereinheit 2 verbundenen Speichers 1 auswählen, die Ausgangslage des Fahrzeugs mit dem 3D-Szenario synchronisieren und das virtuelle Fahrszenario aktivieren.The trainer workstation 9 serves to monitor, coordinate and control the practice runs of one or more vehicles. The radio equipment 92 at the instructor workplace and the radio facility 93 in the training vehicle serve the communication between the driver and the instructor. The personal computer 91 at the instructor workstation is wireless with the control unit 2 connected in the vehicle. Through this connection, the instructor can create a 3D scenario from the scenarios with the control unit 2 connected memory 1 select, synchronize the starting position of the vehicle with the 3D scenario and activate the virtual driving scenario.

Über die Datenschnittstelle empfängt der Ausbilder-PC 91 von der Steuereinheit 2 Fahr- und Fahrerparameter, korreliert mit einer Aufzeichnung des Fahrszenarios, die der Ausbilder zur Auswertung der Fahrübung über ein mit dem Personal-Computer 91 verbundenes Display (nicht dargestellt) ansehen kann. Anhand der von der Steuereinheit 2 übermittelten Daten dient das mit dem Personal-Computer 91 verbundene Display zur Darstellung von verschiedenen Kontrollsichten auf das Übungsgelände.The instructor PC receives via the data interface 91 from the control unit 2 Driving and driving parameters, correlated with a record of the driving scenario, the instructor to evaluate the driving exercise over with the personal computer 91 connected display (not shown). On the basis of the control unit 2 The data transmitted with the personal computer 91 Connected display to show different control views of the practice area.

Das in 2 dargestellte Head-Tracking-System 6 dient einer genaueren Ausrichtung des auf der Projektionsfläche 31 dargestellten virtuellen Fahrszenarios hinsichtlich der Kopflage des Fahrers, indem die Lage des Kopfes des Fahrers im Verhältnis zur Lage des Fahrzeugs ermittelt wird. Dieser Ausgleich der projizierten Ansicht ist vor allem bei einer Datenbrille als Projektionsfläche 31 von Interesse.This in 2 illustrated head tracking system 6 serves a more precise alignment of the on the projection screen 31 illustrated virtual driving scenarios with respect to the head position of the driver by the position of the head of the driver is determined in relation to the position of the vehicle. This Balancing the projected view is especially for a data goggles as a projection screen 31 of interest.

Für das dargestellte Head-Tracking-System 6 dient die Kamera 61 des in 2 dargestellten Ausführungsbeispiels zur Erken nung von sieben Markern (nicht dargestellt), die im Fahrzeug im umgebenden Sichtfeld des Fahrers in zueinander definierter Lage angebracht sind. Die Kamera 61 wird mit diesen Markern kalibriert. Aus den im fokussierten Kamerabild erkannten Markern wird Position und Orientierung des Fahrerkopfes ermittelt. Die Kamera 61 ist mit der Steuereinheit 2 verbunden. Der Inertialsensor 62 dient zur schnellen Bestimmung von Kopfdrehungen des Fahrers und ist ebenfalls mit der Steuereinheit 2 verbunden.For the illustrated head tracking system 6 serves the camera 61 of in 2 illustrated embodiment for Erken tion of seven markers (not shown), which are mounted in the vehicle in the surrounding field of view of the driver in mutually defined position. The camera 61 is calibrated with these markers. The position and orientation of the driver's head are determined from the markers recognized in the focused camera image. The camera 61 is with the control unit 2 connected. The inertial sensor 62 is used to quickly determine head turns of the driver and is also with the control unit 2 connected.

Die Daten von Kamera 61 und Inertialsensor 62 werden an die Steuereinheit 2 übertragen, die anhand dieser Daten zusammen mit den Daten, die den Bewegungszustand des Fahrzeug beschreiben, die Ausrichtung der auf der Projektionsfläche 31 darzustellenden Ansicht des 3D-Szenarios so bestimmt, dass sie der Sicht des Fahrers auf die reale Umgebung entspricht. Zur Auswertung des Fahrverhaltens durch den Ausbilder werden sowohl die Daten der Kopflage als auch die zugehörigen Ansichten des 3D-Szenarios von der Steuereinheit 2 auf den Personal-Computer 91 übertragen.The data from camera 61 and inertial sensor 62 be to the control unit 2 transmitted, which, based on this data, together with the data describing the state of motion of the vehicle, the orientation of the on the screen 31 view of the 3D scenario to be displayed so as to correspond to the driver's view of the real environment. For the evaluation of the driving behavior by the instructor, both the data of the head position and the associated views of the 3D scenario of the control unit 2 on the personal computer 91 transfer.

Da die im Fahrzeug befindlichen Teilsysteme

  • – Projektionssystem 3 mit Projektionsfläche 31,
  • – Steuereinheit 2 mit Speicher 1 und das
  • – Head-Tracking-System 6, bestehend aus der Kamera 61 und dem Inertialsensor 62
nicht viel Strom benötigen, können sie über geeignete Netzteile an das 12-Volt-Bordnetz angeschlossen werden. Es ist aber auch ein Anschluss dieser Komponenten an eine separate 220-Volt-Spannungsversorgung möglich.Since the subsystems in the vehicle
  • - Projection system 3 with projection screen 31 .
  • - Control unit 2 with memory 1 and the
  • - Head tracking system 6 consisting of the camera 61 and the inertial sensor 62
do not need much power, they can be connected to the 12-volt electrical system via suitable power supply units. But it is also possible to connect these components to a separate 220 volt power supply.

Die zentralen Bestandteile des in 2 beschriebenen Ausführungsbeispiels, das eine einfache Erweiterung des in 1 dargestellten Ausführungsbeispiel ist, wurden mit folgenden Komponenten realisiert:
Die im Übungsfahrzeug befindliche Steuereinheit 2 – echtzeitfähig für eine Projektion von mindestens 15 Bildern pro Sekunde – umfasstThe central components of the in 2 described embodiment, which is a simple extension of the in 1 illustrated embodiment, were realized with the following components:
The control unit located in the training vehicle 2 - Real-time capable of a projection of at least 15 frames per second - includes

  • – einen graphikfähigen Laptop Dell Lattitude C840 mit- one graphicable Laptop Dell Lattitude C840 with
  • – einem speziellen Grafikprozessor GeForce4 toGo mit integriertem- one special graphics processor GeForce4 toGo with integrated
  • – nvidia Speicherchip mit 64 MB Graphikspeicher als Speichermedium 1,- nvidia memory chip with 64 MB graphics memory as storage medium 1 .
  • – einer CanCardX von vector Informatik mit PCMCIA-Schnittstelle als CAN-Bus-Schnittstelle, 4 - a CanCardX from vector Informatik with PCMCIA interface as CAN bus interface, 4
  • – eine wireless-LAN-Steckkarte mit PCMCIA-Schnittstelle für eine Verbindung mit dem Personal-Computer 91 am Ausbilderarbeitsplatz zum Empfang von Steuerkommandos und zur Übertragung von CAN-Bus- und Bilddaten an den Personal-Computer 91 am Ausbilderarbeitsplatz,- A wireless LAN card with PCMCIA interface for connection to the personal computer 91 at the training workstation to receive control commands and to transfer CAN bus and image data to the personal computer 91 at the trainer workplace,
  • – mit zusätzlicher Fahrzeugantenne für eine bessere Verbindungsqualität,- With additional Vehicle antenna for a better connection quality,
  • – einer VGA-Schnittstelle mit D-SUB15-Buchse zur Verbindung mit dem Projektionssystem, hier eine Datenbrille sony glasstron PLM-5700,- one VGA interface with D-SUB15 socket for connection to the projection system, here a data glasses sony glasstron PLM-5700,
  • – einer USB-Schnittstelle zur Verbindung mit einem Inertialsensor 62 Intertrax 2 von Intersense und- a USB interface for connection to an inertial sensor 62 Intertrax 2 from Intersense and
  • – einer FireWire Schnittstelle zur Verbindung mit einer FireWire-Kamera 61.- A FireWire interface for connecting to a FireWire camera 61 ,

Der Inertialsensor 62 kann alternativ durch einen InertiaCube 2 von Intersense mit serieller Schnittstelle realisiert werden. Die Kamera 61 zur Bestimmung der Blickrichtung des Fahrers sollte mindestens mit der gleichen Bildfrequenz arbeiten mit der die Bilddarstellung des 3D-Szenarios abläuft. Die beschriebene FireWire-Kamera arbeitet unsynchronisiert mit ei ner Auflösung von 640×480 Pixeln in Farbe mit 15 Bildern pro Sekunde.The inertial sensor 62 can alternatively by an InertiaCube 2 be realized by Intersense with serial interface. The camera 61 to determine the driver's line of sight should work at least with the same frame rate with which the image representation of the 3D scenario is running. The described FireWire camera works unsynchronized with a resolution of 640 × 480 pixels in color at 15 frames per second.

Der Personal-Computer 91 des Ausbilderarbeitsplatzes 9 ist ebenfalls ein graphikfähigen Laptop Dell Lattitude C840 mit dem gleichen Prozessor und Speicherchip wie die Steuereinheit 2 und mit einer wireless-LAN-Steckkarte mit PCMCIA-Schnittstelle für eine Verbindung mit der Steuereinheit im Übungsfahrzeug, zum Senden von Steuerkommandos und zum Empfang von CAN-Bus- und Bilddaten von der Steuereinheit im Übungsfahrzeug, mit zusätzlicher Fahrzeugantenne für eine bessere Verbindungsqualität Befindet sich der Ausbilderarbeitsplatz im Fahrzeug, können die Funktionen des Personal-Computers 91 direkt von bzw. mit den Komponenten des erfindungsgemäßen Systems durchgeführt werden, denen ein Display und ein Eingabemedium angeschlossen sind.The personal computer 91 of the trainer workplace 9 is also a graphics-capable laptop Dell Lattitude C840 with the same processor and memory chip as the control unit 2 and with a wireless LAN card with PCMCIA interface for connection to the control unit in the training vehicle, for sending control commands and for receiving CAN bus and image data from the control unit in the training vehicle, with additional vehicle antenna for better connection quality the instructor work station in the vehicle, can use the functions of the personal computer 91 be performed directly from or with the components of the system according to the invention, which are connected to a display and an input medium.

Claims (15)

Verfahren zum Fahrertraining mit einem Kraftfahrzeug, bei welchem dem Fahrer während einer Übungsfahrt durch ein Gelände auf einer Projektionsfläche (31) virtuelle 3D-Gefahrenszenarien aus einem Speichermedium (1) mittels eines Projektionssystems (3) fahrtbegleitend eingeblendet werden, wobei das 3D-Gefahrenszenario durch eine Steuereinheit (2) auf der Projektionsfläche (31) lagerichtig zur Sicht des Fahrers auf das Gelände dargestellt wird, indem die Steuereinheit – von einer CAN-Bus-Schnittstelle (4) Informationen über Geschwindigkeit und Lenkwinkel zur odometrischen Bestimmung des Bewegungszustands und der Position des Fahrzeugs in Bezug auf eine Ausgangsposition und – von einem Head-Tracking System (6) Informationen zu Kopfposition und Kopflage des Fahrers erhält.Method for driver training with a motor vehicle, in which the driver during an exercise drive through a terrain on a projection surface ( 31 ) 3D virtual hazard scenarios from a storage medium ( 1 ) by means of a projection system ( 3 ) while driving along, whereby the 3D hazard scenario is represented by a control unit ( 2 ) on the projection surface ( 31 ) is displayed in the correct position for the driver's view of the terrain by the control unit - from a CAN bus interface ( 4 ) Information on speed and steering angle for the odometric determination of the state of motion and the position of the vehicle with respect to a starting position and - by a head-tracking system ( 6 ) Information about head position and head position of the driver receives. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinheit von einem satellitengestützen Positionsbestimmungssystem Daten zum Positionsabgleich mit der odometrisch ermittelten Position des Fahrzeugs erhält.A method according to claim 1, characterized in that the control unit of a satellite supported positioning system receives data for position adjustment with the odometrically determined position of the vehicle. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass für den Fahrer neben dem virtuellen 3D-Gefahrenszenario auf der Projektionsfläche (31) zusätzlich die reale Fahrumgebung wahrnehmbar ist, indem eine lichtdurchlässige Projektionsfläche verwendet wird.Method according to one of claims 1 or 2, characterized in that for the driver in addition to the virtual 3D hazard scenario on the projection surface ( 31 ) In addition, the real driving environment is perceived by a translucent projection screen is used. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein das Fahrertraining leitender Ausbilder auf einem Personal-Computer (91) eine Aufzeichnung des vom Fahrer während einer Übungsfahrt durchfahrenen 3D-Gefahrenszenario, zeitlich korreliert mit Fahr- und Fahrerparametern dieser Fahrt, erhält.Method according to one of Claims 1 to 3, characterized in that a driver training instructor on a personal computer ( 91 ) receives a record of the 3D hazard scenario traveled by the driver during an exercise run, time correlated with driving and driver parameters of that ride. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Ausbilder sich auf einem Display seines Personal-Computers (91) einen Überblick – über das Übungsgelände und/oder – die reale Umgebung aus Fahrersicht und/oder – das vom Fahrer während der Übungsfahrt durchfahrene 3D-Gefahrenszenario, korreliert mit Fahr- und Fahrerparametern dieser Fahrt, darstellen lassen kann.A method according to claim 4, characterized in that the instructor is on a display of his personal computer ( 91 ) an overview - about the training area and / or - the real environment from the driver's perspective and / or - can be represented by the driver during the exercise trip traversed 3D hazard scenario, correlated with driving and driving parameters of this ride. Vorrichtung zum Fahrertraining mit einem Kraftfahrzeug, umfassend, ein Speichermedium (1) für 3D-Gefahrenszenarien sowie ein Projektionssystem (3) zur fahrtbegleitenden Einblendung von 3D-Gefahrenszenarien für den Fahrer auf einer Projektionsfläche (31), wobei eine mit dem Speichermedium und dem Projektionssystem verbundene Steuereinheit (2) zur gemäß der Sicht des Fahrers auf das Gelände lagerichtigen Ausrichtung der auf der Projektionsfläche (31) eingeblendeten 3D-Gefahrenszenarien vorhanden ist, und die Steuereinheit – von einer CAN-Bus-Schnittstelle (4) Informationen über Geschwindigkeit und Lenkwinkel des Fahrzeugs zur odometrischen Bestimmung des Bewegungszustandes des Kraftfahrzeugs bezüglich Lage und Geschwindigkeit erhält, – von einem Head-Tracking System (6) Informationen zu Kopfposition und Kopflage des Fahrers erhält.Device for driver training with a motor vehicle, comprising a storage medium ( 1 ) for 3D hazard scenarios and a projection system ( 3 ) for driving-accompanying display of 3D hazard scenarios for the driver on a projection surface ( 31 ), wherein a control unit connected to the storage medium and the projection system ( 2 ) to the orientation of the projection surface on the projection surface according to the driver's view of the terrain ( 31 ) is present, and the control unit - from a CAN bus interface ( 4 ) Information about speed and steering angle of the vehicle for odometrically determining the state of motion of the motor vehicle with respect to position and speed receives, - from a head-tracking system ( 6 ) Information about head position and head position of the driver receives. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Steuereinheit mit einem satellitengestützen Positionsbestimmungssystem in Verbindung steht zum Empfang von Daten für einen Positionsabgleich mit der odometrisch ermittelten Position des Fahrzeugs.Device according to claim 6, characterized in that that the control unit with a satellite positioning system in conjunction with receiving data for a position adjustment with the odometrically determined position of the vehicle. Vorrichtung nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass die Projektionsfläche (31) eine Datenbrille ist, in die das Projektionssystem (3) integriert ist.Device according to one of claims 6 or 7, characterized in that the projection surface ( 31 ) is a data goggles into which the projection system ( 3 ) is integrated. Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass das Projektionssystem (3) ein Head-Up-Display System in Verbindung mit der Fensterfläche des Fahrzeugs als Projektionsfläche (31) ist.Device according to one of claims 6 to 8, characterized in that the projection system ( 3 ) a head-up display system in conjunction with the window area of the vehicle as a projection surface ( 31 ). Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass zusätzlich die Flächen der Rückspiegel des Fahrzeugs als Projektionsfläche (31) dienen.Apparatus according to claim 9, characterized in that in addition the surfaces of the rearview mirror of the vehicle as a projection surface ( 31 ) serve. Vorrichtung nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass die Projektionsfläche (31) lichtdurchlässig ist, und die Lichtdurchlässigkeit regelbar ist.Device according to one of claims 6 to 10, characterized in that the projection surface ( 31 ) is translucent, and the light transmission is adjustable. Vorrichtung nach einem der Ansprüche 6 bis 11, dadurch gekennzeichnet, dass das Head-Tracking System (6) aus einem Inertialsensor (62) am Kopf des Fahrers besteht und/oder aus einer Kamera (61) am Kopf des Fahrers, die mit mindestens drei im Kraftfahrzeug adjustierten Markern im Blickfeld des Fahrers kalibriert ist.Device according to one of claims 6 to 11, characterized in that the head-tracking system ( 6 ) from an inertial sensor ( 62 ) at the driver's head and / or from a camera ( 61 ) at the head of the driver, which is calibrated with at least three adjusted in the motor vehicle markers in the field of view of the driver. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass Kamera (61) und/oder Inertialsensor (62) in die Datenbrille integriert sind.Apparatus according to claim 12, characterized in that camera ( 61 ) and / or inertial sensor ( 62 ) are integrated in the data glasses. Vorrichtung nach einem der Ansprüche 6 bis 13, dadurch gekennzeichnet, dass ein Ausbilderarbeitsplatz (9) mit folgenden Komponenten umfasst ist: – einem Personal-Computer (91) mit – einer Verbindung des Personal-Computers (91) zur Steuereinheit (2), – zum Senden von Signalen an die Steuereinheit (2) zur Synchronisation der Lage des Fahrzeugs mit dem 3D-Gefahrenszenario und – zur Aktivierung des Szenarios sowie – zum Empfangen von Fahr- und Fahrerparametern und Bilddaten einer Übungsfahrt, – einem Speichermedium zur Speicherung von 3D-Gefahrenszenarien und zur Speicherung der empfangenen Parameter und Bilddaten der Übungsfahrt und – mit einem Display zur Darstellung verschiedener Ansichten der Übungsfahrt anhand der von der Steuereinheit (2) empfangenen Parameter und Bilddaten.Device according to one of claims 6 to 13, characterized in that an instructor workstation ( 9 ) comprising the following components: - a personal computer ( 91 ) with - a connection of the personal computer ( 91 ) to the control unit ( 2 ), - to send signals to the control unit ( 2 ) for the synchronization of the position of the vehicle with the 3D hazard scenario and - for the activation of the scenario and - for receiving driving and driving parameters and image data of an exercise trip, - a storage medium for storing 3D hazard scenarios and for storing the received parameters and image data of Exercise drive and - with a display to show different views of the exercise on the basis of the control unit ( 2 ) received parameters and image data. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass der Ausbilderarbeitsplatz (9) über eine Sprechfunk-Einrichtung (92) zur Kommunikation mit dem Fahrer des Fahrzeugs mittels einer Sprechfunk-Einrichtung (93) verfügt, und dass die Verbindung des Personal-Computers (91) zur Steuereinheit (2) drahtlos ist.Apparatus according to claim 14, characterized in that the trainee workstation ( 9 ) via a radiotelephone equipment ( 92 ) for communication with the driver of the vehicle by means of a radio communication device ( 93 ) and that the connection of the personal computer ( 91 ) to the control unit ( 2 ) is wireless.
DE2002156612 2002-12-03 2002-12-03 Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations Expired - Fee Related DE10256612B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE2002156612 DE10256612B3 (en) 2002-12-03 2002-12-03 Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2002156612 DE10256612B3 (en) 2002-12-03 2002-12-03 Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations

Publications (1)

Publication Number Publication Date
DE10256612B3 true DE10256612B3 (en) 2004-07-08

Family

ID=32477423

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2002156612 Expired - Fee Related DE10256612B3 (en) 2002-12-03 2002-12-03 Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations

Country Status (1)

Country Link
DE (1) DE10256612B3 (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005018213A1 (en) * 2005-04-20 2006-11-02 Krauss-Maffei Wegmann Gmbh & Co. Kg Method for simulating fictitious system states of a central computer-controlled system, in particular a vehicle system or a weapon system
WO2009016357A2 (en) * 2007-08-01 2009-02-05 Airmax Group Plc Method and apparatus for providing information about a vehicle
EP2296124A1 (en) * 2008-06-06 2011-03-16 Yamashiro Driving School System for automatic evaluation of driving behavior
WO2011126379A1 (en) * 2010-04-04 2011-10-13 Driving Performance Solutions As A system and method for drivers training
EP2355072A3 (en) * 2009-12-16 2013-08-07 Audi AG Method for presenting and/or simulating at least one function of at least one driver assistance system for a motor vehicle to a customer and associated feed device
EP2418635A3 (en) * 2010-08-13 2015-04-01 Diehl BGT Defence GmbH & Co.KG Method and device for training, in particular in armoured military vehicles
DE102014004178A1 (en) 2014-03-22 2015-09-24 Audi Ag Method for displaying journey-related and / or vehicle-specific data
CN105788401A (en) * 2016-04-20 2016-07-20 公安部交通管理科学研究所 Defensive driving simulation, experience and training system based on real vehicle body
DE102015208343A1 (en) 2015-05-06 2016-11-10 Robert Bosch Gmbh Method for generating an overall image of a vehicle environment of a vehicle and corresponding device
WO2018000008A1 (en) * 2016-06-29 2018-01-04 Peterseil Thomas Driving safety training arrangement
DE102017107396A1 (en) 2017-04-06 2018-10-11 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Test method and test device for driver assistance systems
EP2478492B1 (en) 2009-09-16 2019-03-20 Sydac Pty Ltd Visual presentation system
US10407078B2 (en) 2016-04-26 2019-09-10 Sivalogeswaran Ratnasingam Dynamic learning driving system and method
DE102018216613A1 (en) * 2018-09-27 2020-04-02 Bayerische Motoren Werke Aktiengesellschaft Data glasses with automatic hiding of displayed content for vehicles
DE102019206358A1 (en) * 2019-05-03 2020-11-05 Audi Ag Camera device and method for generating an image of an environment
CN113129681A (en) * 2019-12-31 2021-07-16 比亚迪股份有限公司 Virtual driving system and vehicle
DE102020202291A1 (en) 2020-02-21 2021-08-26 Volkswagen Aktiengesellschaft Method and driver training system for raising awareness and training drivers of a vehicle with at least one vehicle assistance system
CN114512040A (en) * 2022-01-18 2022-05-17 黄艺 Virtual simulation driving school examination simulation system based on Internet of things
DE102021127984A1 (en) 2021-10-27 2023-04-27 Audi Aktiengesellschaft Method for simulating a course for a motor vehicle, control device, motor vehicle, storage medium, mobile terminal and server device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0399418A2 (en) * 1989-05-20 1990-11-28 Daimler-Benz Aerospace Aktiengesellschaft Method and device for mission-training for airborne vehicles
EP0537945A1 (en) * 1991-10-12 1993-04-21 British Aerospace Public Limited Company Computer generated images with real view overlay
DE19606685A1 (en) * 1996-01-26 1997-07-31 Industrieanlagen Betriebsges Method and device for combat simulation with at least one movable weapon system that actually operates in an environment or terrain and a quasi-stationary simulator
GB2347573A (en) * 1999-03-01 2000-09-06 Marconi Electronic Syst Ltd Head tracker system
DE20109937U1 (en) * 2001-06-15 2001-09-13 Daimler Chrysler Ag System for "augmented reality" with a mobile device
DE10033442A1 (en) * 2000-07-10 2002-01-31 Peter Schamboeck Driving simulator operating method for training learner drivers detects deviation from required behavior and alerts driver visually and acoustically

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0399418A2 (en) * 1989-05-20 1990-11-28 Daimler-Benz Aerospace Aktiengesellschaft Method and device for mission-training for airborne vehicles
EP0537945A1 (en) * 1991-10-12 1993-04-21 British Aerospace Public Limited Company Computer generated images with real view overlay
DE19606685A1 (en) * 1996-01-26 1997-07-31 Industrieanlagen Betriebsges Method and device for combat simulation with at least one movable weapon system that actually operates in an environment or terrain and a quasi-stationary simulator
GB2347573A (en) * 1999-03-01 2000-09-06 Marconi Electronic Syst Ltd Head tracker system
DE10033442A1 (en) * 2000-07-10 2002-01-31 Peter Schamboeck Driving simulator operating method for training learner drivers detects deviation from required behavior and alerts driver visually and acoustically
DE20109937U1 (en) * 2001-06-15 2001-09-13 Daimler Chrysler Ag System for "augmented reality" with a mobile device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
INDELN,W. u.a.: Windschutzscheibe mit holograph- ischem Spiegel für Head-Up Displays. In: Automo- biltechnische Zeitschrift 91/ (1989) 10, S. 538, 539, 540, 541, 544 *
NÜCHTER,P.: Ausbildungsgerät Gefechtssimulator für die Truppenausbildung der Panzertruppe. In: Wehrtechnischer Report 3/91, Ausbildungssimulato- ren in der Bundeswehr, Report Verlag, S. 16,17-22 *
WINDELN,W. u.a.: Windschutzscheibe mit holograph- ischem Spiegel für Head-Up Displays. In: Automo- biltechnische Zeitschrift 91/ (1989) 10, S. 538, 539, 540, 541, 544

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005018213A1 (en) * 2005-04-20 2006-11-02 Krauss-Maffei Wegmann Gmbh & Co. Kg Method for simulating fictitious system states of a central computer-controlled system, in particular a vehicle system or a weapon system
WO2009016357A2 (en) * 2007-08-01 2009-02-05 Airmax Group Plc Method and apparatus for providing information about a vehicle
WO2009016357A3 (en) * 2007-08-01 2009-04-02 Airmax Group Plc Method and apparatus for providing information about a vehicle
GB2464442A (en) * 2007-08-01 2010-04-21 Airmax Group Plc Method and apparatus for providing information about a vehicle
EP2296124A1 (en) * 2008-06-06 2011-03-16 Yamashiro Driving School System for automatic evaluation of driving behavior
EP2296124A4 (en) * 2008-06-06 2011-08-10 Yamashiro Driving School System for automatic evaluation of driving behavior
EP2478492B1 (en) 2009-09-16 2019-03-20 Sydac Pty Ltd Visual presentation system
EP2355072A3 (en) * 2009-12-16 2013-08-07 Audi AG Method for presenting and/or simulating at least one function of at least one driver assistance system for a motor vehicle to a customer and associated feed device
WO2011126379A1 (en) * 2010-04-04 2011-10-13 Driving Performance Solutions As A system and method for drivers training
EP2418635A3 (en) * 2010-08-13 2015-04-01 Diehl BGT Defence GmbH & Co.KG Method and device for training, in particular in armoured military vehicles
DE102014004178A1 (en) 2014-03-22 2015-09-24 Audi Ag Method for displaying journey-related and / or vehicle-specific data
DE102015208343A1 (en) 2015-05-06 2016-11-10 Robert Bosch Gmbh Method for generating an overall image of a vehicle environment of a vehicle and corresponding device
WO2016177506A1 (en) 2015-05-06 2016-11-10 Robert Bosch Gmbh Method for producing an overall image of a vehicle environment of a vehicle and corresponding device
DE102015208343B4 (en) 2015-05-06 2023-09-07 Robert Bosch Gmbh Method for generating an overall image of a vehicle environment of a vehicle and corresponding device
US10291846B2 (en) 2015-05-06 2019-05-14 Robert Bosch Gmbh Method for producing an overall image of surroundings of a vehicle, and corresponding device
CN105788401A (en) * 2016-04-20 2016-07-20 公安部交通管理科学研究所 Defensive driving simulation, experience and training system based on real vehicle body
US10407078B2 (en) 2016-04-26 2019-09-10 Sivalogeswaran Ratnasingam Dynamic learning driving system and method
WO2018000008A1 (en) * 2016-06-29 2018-01-04 Peterseil Thomas Driving safety training arrangement
DE102017107396A1 (en) 2017-04-06 2018-10-11 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Test method and test device for driver assistance systems
DE102017107396B4 (en) * 2017-04-06 2021-03-25 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Test procedure and test device for driver assistance systems
DE102018216613A1 (en) * 2018-09-27 2020-04-02 Bayerische Motoren Werke Aktiengesellschaft Data glasses with automatic hiding of displayed content for vehicles
DE102019206358A1 (en) * 2019-05-03 2020-11-05 Audi Ag Camera device and method for generating an image of an environment
DE102019206358B4 (en) 2019-05-03 2022-04-21 Audi Ag Camera device and method for generating an image of an environment
CN113129681A (en) * 2019-12-31 2021-07-16 比亚迪股份有限公司 Virtual driving system and vehicle
CN113129681B (en) * 2019-12-31 2023-02-10 比亚迪股份有限公司 Virtual driving system and vehicle
DE102020202291A1 (en) 2020-02-21 2021-08-26 Volkswagen Aktiengesellschaft Method and driver training system for raising awareness and training drivers of a vehicle with at least one vehicle assistance system
DE102021127984A1 (en) 2021-10-27 2023-04-27 Audi Aktiengesellschaft Method for simulating a course for a motor vehicle, control device, motor vehicle, storage medium, mobile terminal and server device
CN114512040A (en) * 2022-01-18 2022-05-17 黄艺 Virtual simulation driving school examination simulation system based on Internet of things

Similar Documents

Publication Publication Date Title
DE10256612B3 (en) Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations
EP2462577B1 (en) Method for training a crew member of, in particular, a military vehicle
EP1916154B1 (en) Method for displaying information
EP1916153B1 (en) Method for displaying information
DE102017200149B4 (en) Method for learning and checking driving behavior of a vehicle driver and vehicle
DE102015006612B4 (en) Method for operating data glasses in a motor vehicle and system with data glasses
DE102017107396B4 (en) Test procedure and test device for driver assistance systems
DE10236221C1 (en) Navigation information display method for vehicle with onboard navigation aid, has virtual representation of pilot vehicle superimposed on image of vehicle surrounding area
EP3454013A1 (en) Method, device and a computer readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
EP1916177A2 (en) Method for controlling a driving manoeuvre
EP2617022A1 (en) Visual driver information and warning system for a driver of a motor vehicle
EP1405124A1 (en) Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
DE102014219567A1 (en) THREE-DIMENSIONAL (3-D) NAVIGATION
DE102013016244A1 (en) Method and device for augmented presentation
US10713970B2 (en) Driver education system and method for training in simulated road emergencies
WO2004031692A1 (en) Navigation device
US20160321940A1 (en) Driver Education and Training System and Method for Training Drivers in Simulated Emergencies
DE10309934B4 (en) Driving simulator and method for simulating the driving condition of a vehicle
DE4236091A1 (en) Projection system for entertainment and play equipment
EP1586861B1 (en) Method and apparatus for displaying information for the driver taking into account other movable objects
EP3978294A1 (en) Operation of a head-up display device with displayable objects positioned outside a field of view
DE10256589A1 (en) Front page inconsistent with disclosure, abstract based on front page, Patent Office notified, brake disk for a motor vehicle has a polygonal inner shape for attachment to the wheel hub
DE102014208352A1 (en) System and method for instructing a subscriber of a driver training
EP3420539B1 (en) Method for operating a display device and system for displaying actual image contents of an actual environment overlayed with virtual image contents
DE102006050549A1 (en) Motor vehicle's driver assisting method, involves changing optical representation of position of vehicle with respect to its environment in decoupling phase, and changing physical position of vehicle in environment

Legal Events

Date Code Title Description
8100 Publication of the examined application without publication of unexamined application
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8327 Change in the person/name/address of the patent owner

Owner name: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee