DE60009057T2 - Trainingssystem für bediener - Google Patents
Trainingssystem für bediener Download PDFInfo
- Publication number
- DE60009057T2 DE60009057T2 DE60009057T DE60009057T DE60009057T2 DE 60009057 T2 DE60009057 T2 DE 60009057T2 DE 60009057 T DE60009057 T DE 60009057T DE 60009057 T DE60009057 T DE 60009057T DE 60009057 T2 DE60009057 T2 DE 60009057T2
- Authority
- DE
- Germany
- Prior art keywords
- operator
- information
- transport
- record
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/16—Control of vehicles or other craft
- G09B19/167—Control of land vehicles
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/042—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Entrepreneurship & Innovation (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Steroid Compounds (AREA)
- Buildings Adapted To Withstand Abnormal External Influences (AREA)
- Lubricants (AREA)
- Rehabilitation Tools (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
- Diese Erfindung ist allgemein auf Systeme und Verfahren zum Trainieren und Bewerten bzw. Auswerten von Bedienungspersonen von Transportmitteln wie Automobilen, Lastwagen, Flugzeugen, Zügen, Schiffen und ähnlichem bezogen.
- Gegenwärtig können Bedienungspersonen unter Verwendung von Simulatoren trainiert werden. Zum Beispiel sind Flugzeugtrainingssimulatoren bekannt, welche die Bedienungsperson einer Vielzahl verschiedener Bedingungen aussetzen und die Reaktion der Bedienungsperson auf diese Bedingungen bewerten. Zusätzlich können dem Fahrer oder der Fahrerin beim automatisierten Fahrertesten eine Serie von Fragen gestellt werden, und seine oder ihre Antworten werden dann mit den korrekten Antworten in einer Computerdatenbank verglichen. Alle diese Versuche entsprechen dem Bedarf, eine bessere und preisgünstigere Bewertung und Training von Transportmittelbedienungspersonen zu erzielen. Dies verbessert hoffentlich die Leistung dieser Bedienungspersonen und reduziert ihre Trainingskosten.
- Einige Eigenschaften einer guten Bedienungsperson sind möglicherweise nur schwer zu beurteilen. Ein Trainer kann die Bedienungsperson bezüglich bestimmter Eigenschaften wie dem Prüfen des Rückspiegels, dem Prüfen der Messgeräte und ähnlichem beobachten. Jedoch kann es schwierig sein, eine objektive Bewertung zu erzielen, ob die Person die Fähigkeiten besitzt, welche zum korrekten Bedienen des Transportmittels nötig sind. Zum Beispiel kann es schwierig sein, die Fähigkeiten eines Fahrers quantitativ mit denen anderer Fahrer zu vergleichen.
- Ein Bedienungspersontrainingssystem und ein Bedienungspersontrainingsverfahren nach dem Oberbegriff der Ansprüche 1 bzw. 9 ist in
EP 0 660 291 A offenbart. Spezieller bezieht sich das bekannte Verfahren zum Trainieren und Bewerten einer Transportmittelbedienungsperson auf das automatische Abtasten, worauf eine Bedienungsperson blickt, durch Verwendung von Mitteln zum Detektieren der Position des Kopfes der Bedienungsperson. Jedoch gibt es in dem bekannten System und Verfahren keine Vorkehrung, wie die Leistung des Fahrers zu bewerten ist. - Die europäische Patentanmeldung
EP 0 990 416 A , welche im Sinne von Art. 54 (3) EPÜ zum Stand der Technik gehört, bezieht sich ebenso auf ein ähnliches Transportmittelbedienungspersontrainingssystem und -verfahren. Spezieller offenbart die Anmeldung ein System zum Klassifizieren der Blickrichtung einer Bedie nungsperson, in welchem häufig auftretende Kopfhaltungen der Bedienungsperson automatisch ermittelt und gemäß ihrer Assoziation mit den umgebenden Objekten gekennzeichnet werden. Während einer Bedienungspersontrainingseinheit wird ein Histogramm aufgezeichnet, welches die Anzahl von Vorkommen von verschiedenen Kopfhaltungen über eine ausgedehnte Zeitperiode identifiziert. Das gekennzeichnete Histogramm wird dann zum Klassifizieren der Kopfhaltung der Bedienungsperson in allen nachfolgenden Aufnahmen verwendet. - Ferner offenbart
US 5 138 555 A ein System zum Vorhersagen von Kopfbewegungen unter Verwendung spezifischer Kopfbewegungsdetektoren. - Daher besteht ein kontinuierlicher Bedarf an besseren Techniken zum Trainieren und/oder Bewerten von Bedienungspersonen von Transportmitteln.
- Dementsprechend stellt die Erfindung ein System und ein Verfahren zum Trainieren einer Transportmittelbedienungsperson gemäß den unabhängigen Ansprüchen 1 bzw. 9 bereit. Ferner wird ein Gegenstand bereitgestellt, welcher ein Medium umfasst, das entsprechende Befehle speichert, nach dem unabhängigen Anspruch 16. Einige der bevorzugten Ausführungsbeispiele der vorliegenden Erfindung sind in den entsprechenden abhängigen Ansprüchen angegeben.
- Kurzbeschreibung der Zeichnung
-
1 ist eine Ansicht des vorderen Cockpitbereichs eines Transportmittels von vorne, wie er von der Bedienungsperson gesehen wird; -
2 ist ein Blockdiagramm einer Vorrichtung zum Erfassen, worauf ein Bedienungsperson im Verlauf des Bedienens eines Transportmittels blickt; -
3 ist ein Flussdiagramm zum Bestimmen, worauf die Bedienungsperson während des Bedienens eines Transportmittels blickt; -
4 zeigt ein Flussdiagramm zum Bewerten einer Bedienungsperson gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; -
5 ist ein Diagramm, welches ein Ausführungsbeispiel eines prozessorbasierten Systems zum Implementieren des in den vorherigen Figuren gezeigten Systems zeigt; und -
6 ist eine Bildschirmanzeige, welche eine simulierte Wiedergabedarstellung der Leistung eines Fahrers gemäß einem Ausführungsbeispiel der Erfindung zeigt. - Detaillierte Beschreibung
- Gemäß
1 kann eine Transportmittelbedienungsperson in einem Cockpit10 sitzen, welcher ein Simulator oder ein echtes Transportmittel wie zum Beispiel ein Automobil, Lastwagen, Flugzeug, Zug oder Schiff sein kann. Der Cockpit10 kann eine Windschutzscheibe12 , ein Armaturenbrett14 , ein Lenkrad16 , einen Rückspiegel18 und einen Seitenspiegel20 aufweisen. Er kann ebenso eine Blickkamera26 und eine Augenkamera28 aufweisen. - Die Blickkamera
26 kann durch eine Schwenk-/Neigeeinheit22 mit Infrarot-Leuchtdioden (LEDs)24 verbunden sein. Die Kameras26 und28 stellen die Eingabeinformation zum Bestimmen, worauf die Bedienungsperson im Verlauf des Bedienens des Transportmittels blickt, bereit. Dies kann verwendet werden, um zu bewerten, ob die Bedienungsperson Informationsquellen zum effektiven Bedienen des Transportmittels angemessen verwendet. - Zum Beispiel kann das System in einer Automobilanwendung bestimmen, ob die Bedienungsperson aus der Frontwindschutzscheibe
12 blickt, ob die Bedienungsperson auf die Frontwindschutzscheibe12 blickt, ob die Bedienungsperson den Seitenspiegel20 und den Rückspiegel18 prüft und ob die Bedienungsperson die verschiedenen, auf dem Armaturenbrett14 bereitgestellten Anzeigen prüft. - Die Augenkamera
28 kann eine kurze Brennweite aufweisen und zum Messen der dreidimensionalen Augenposition verwendet werden. Die Blickkamera26 kann zum Bestimmen einer Blickfunktion verwendet werden. Sie kann eine lange Brennweite aufweisen und geschwenkt und geneigt werden, um dem Auge zu folgen, wenn sich der Kopf bewegt. Das Infrarot-LED-Feld24 kann in geringer Entfernung von der optischen Achse der Blickkamera angebracht sein, um das Auge auszuleuchten und eine Reflexion auf dem Auge zu bewirken, die beim Aufspüren der Bewegung des Auges nützlich sein kann. - Im folgenden ist ein System beschrieben zum Bestimmen, worauf die Bedienungsperson blickt, unter Verwendung von Augen- und Blicktracking, Hauptkomponentenanalyse und einem Infrarot-LED-Feld. Jedoch ist die Erfindung in keinster Weise auf diese Technologie beschränkt. Stattdessen ist diese Technologie lediglich beschrieben, um eine Technik zum Bestimmen, worauf die Bedienungsperson während des Bedienens des Transportmittels blickt, zu veranschaulichen. Andere bekannte Techniken zum Bestimmen, worauf eine Person blickt, umfassen das Verwenden von auf dem Kopf angebrachten Kameras. Zum Beispiel kann ein Gitter von LEDs in Sequenzen zum Leuchten gebracht werden. Das Kamerabild kann verarbeitet werden, um Blitze zu erfassen. Ein anderen System verwendet eine Anzahl von Videokameras zum Einfangen simultaner Bilder, die zum Aufspüren eines Objekts koordiniert werden.
- Das veranschaulichte System ist weiter erläutert in „Determination of the Point of Fixation in a Head-fixed Coordinate System" von Jin Liu, präsentiert auf der 14th International Conference in Pattern Recognition (ICPR '98), abgehalten in Brisbane, Australien, am 17.–20. August 1998. Zusätzliche Information über das System kann ebenso in einem mit „Eye and Gaze Tracking for Visually Controlled Interactive Stereoscopic Displays" betitelten Artikel von Kay Talmi und Jin Liu gefunden werden, welcher aktuell unter http://www.hhi.de/~blick/paper/eyegaze 97/eye-gaze.html im Internet gefunden werden kann.
- Gemäß
2 empfangen der Augenaufspürer (eye tracker)34 und der Blickaufspürer (gaze tracker)38 Eingaben von den Kameras26 und28 . Und zwar empfängt der Augenaufspürer, wie in Bild32 veranschaulicht ist, ein digitales Bild von der Kamera26 , welches mit einer Gesichtsaufnahme der Bedienungsperson korrespondiert. Zur selben Zeit empfängt der Blickaufspürer38 ein Bild eines oder beider Augen der Bedienungsperson. Der Augenaufspürer analysiert das Videobild der Augenkamera28 und detektiert und spürt die dreidimensionale Augenposition auf. Zusätzlich können eine oder beide Pupillen detektiert und aufgespürt werden, um die Berechnung der dreidimensionalen Augenposition zu ermöglichen. - Der Augenaufspürer
34 kann unter Verwendung der Schwenk-/Neigeeinheit40 bewirken, dass die Augenkamera28 geschwenkt oder geneigt wird, um der Position der Augen zu folgen, wenn sich der Kopf der Bedienungsperson bewegt. Wie in Block42 indiziert ist, kann eine Bewegungskompensation bereitgestellt werden, um die Kopfbewegung der Bedienungsperson zu kompensieren. - Zu Beginn kann ein unbewegtes Kamerabild zur Analyse empfangen werden. Dunkle als "Täler" bezeichnete Regionen können identifiziert und eliminiert werden, um die folgende Analyse zu beschleunigen.
- Die Hauptkomponentenanalyse (Principal Component Analysis, PCA) kann verwendet werden, um die Augen der Bedienungsperson zu lokalisieren. In einer Trainingsphase können Eigenschaften menschlicher Augen zum Lokalisieren der Augenposition unter Verwendung von PCA aufgezeichnet werden. Diese Eigenschaften können als Referenzaugenmuster, bezeichnet als Eigenfaces, gespeichert werden. Das Bild der Kamera
26 kann dann analysiert und mit dem gespeicherten Augenmuster verglichen werden, um die Augen zu lokalisieren. In einem Ausführungsbeispiel können diese bestimmten Augenpositionen in einem anderen stereoskopischen Kamerabild gesucht werden (falls eine zusätzliche Kamera verwendet wird). Durch Stereovergleich können die dreidimensionalen Positionen beider Augen bestimmt werden. Diese Information kann dann verwendet werden, um die Schwenk- und Neigeeinheit22 der Augenkamera26 zu steuern. - Um die Blickrichtung zu bestimmen, kann ein Hornhautreflexverfahren verwendet werden. Niedrigenergieinfrarot-LEDs
24 können auf der Schwenk-/Neigeeinheit22 an einer Seite der Kamera26 angebracht sein, wobei die Normale der Feldoberfläche parallel zur optischen Achse der Kamera26 verläuft. Die LEDs24 können das Auge ausleuchten und ein Glanzlicht auf der Hornhaut erzeugen. Ein Hornhautreflexalgorithmus kann das Zentrum einer oder beider Pupillen und das Zentrum der Hornhautoberflächenreflexion identifizieren. Die Entfernung zwischen den beiden Zentren und ihre Orientierung kann verwendet werden, um die Blickrichtung zu bestimmen. Die Veränderung der Blickrichtung aufgrund von Kopfbewegung kann unter Verwendung von Information bezüglich der dreidimensionalen Kopfposition kompensiert werden. - Die PCA repräsentiert die allgemeinen Eigenschaften menschlicher Augen unter Verwendung relativ weniger Dimensionen. Die PCA transformiert eine Luminanzbeschreibung des Auges in ein davon verschiedenes Koordinatensystem. Dieses Koordinatensystem ist dergestalt ausgebildet, dass der aus dem Abschneiden von Basisvektoren des Koordinatensystems herrührende mittlere quadratische Fehler reduziert wird.
- Gemäß
3 kann nun die Eingabe von der Kamera28 verwendet werden, um die bei32 in2 gezeigte und wie in Block46 und3 indizierte Kopfansicht zu entwickeln. Während der in Block48 indizierten Vorverarbeitung kann das System einige anfängliche Eigenschaften von Gesichtsmerkmalen ableiten. Zum Beispiel können dunkle Bereiche eliminiert werden, da sie möglicherweise nicht so nützlich beim Lokalisieren von Gesichtsmerkmalen sind, die die Augenposition indi zieren. In Block50 kann die Gesichtsmerkmaldetektion unter Verwendung von PCA implementiert werden. In Block54 kann die dreidimensionale Augenposition unter Verwendung entweder einer einzelnen Kamera oder eines Paares von stereoskopischen Kameras bestimmt werden. Die Position der Pupille kann dann unter Verwendung von Mustererkennungs- und/oder Hornhautreflexionsanalyse wie in Block58 indiziert, unter Verwendung der Eingabe von Kamera26 , wie in36 in2 indiziert, detektiert werden. - Das durch die LED-Reflexion bewirkte Glanzlicht auf der Hornhaut kann wie in Block
60 indiziert detektiert und ein Verschiebungsfaktor wie in Block62 indiziert bestimmt werden. Der Verschiebungsfaktor korrigiert die Bewegung des Kopfes unter Verwendung von Information von der anderen Kamera28 . Schließlich wird die PCA-Analyse verwendet, um die Blickrichtung (Block64 ) zu bestimmen, wie in Block66 indiziert ist. - Eine Vielzahl von Kameras kann um den Cockpit herum verteilt sein, um die Gesichtslokalisierung zu ermöglichen, wenn sich der Nutzer herumdreht. Zum Beispiel können die Kameras
26 ,28 , wenn sich die Bedienungsperson dreht, um hinter das Transportmittel zu schauen, das Gesicht der Bedienungsperson „verlieren". Die über den Cockpit verteilten Kameras können verwendet werden, um die Position des Gesichts der Bedienungsperson zu detektieren. Diese Information kann dann analysiert werden, um zu bestimmen, ob die Handlungen der Bedienungsperson angemessen waren. - Die Blickrichtung kann verwendet werden, um die Bedienungsperson zu bewerten oder zu trainieren. Gemäß
4 kann die Software66 durch Empfangen von Augenbewegungsinformation starten, wie in Block68 indiziert. In einem Ausführungsbeispiel kann dies Information darüber sein, worauf das Auge zu jedem Zeitpunkt tatsächlich blickt. Diese Information kann dann in Blickkoordinaten zerlegt werden, wie in Block70 indiziert. - Die Blickkoordinaten können mit Zielen wie den Seiten- oder Rückspiegeln korrespondieren. In einem Ausführungsbeispiel können die Blickkoordinaten Information darüber, worauf das Auge zu jedem Zeitpunkt tatsächlich blickt, aufweisen. Zum Beispiel kann die Blickkoordinateninformation in betrachtete Ziele zerlegt werden, wie in Block
70 indiziert ist. Sind die Blickkoordinaten der Bedienungsperson und die Koordinaten von Blickzielen bekannt, kann das spezielle betrachtete Objekt be stimmt werden. Die betrachteten Ziele korrespondieren mit Zielen wie den Seiten- oder Rückspiegeln, dem Instrumentenpult oder der Frontwindschutzscheibe in einem Automobil. Die Koordinaten jedes dieser Objekte können mit einer gegebenen Blickrichtung verglichen werden, und wenn die vom System30 detektierte Blickrichtung allgemein mit den Koordinaten eines gegebenen Ziels korreliert, kann die Blockinformation zerlegt werden, um zu bestimmen, dass der Blick der Bedienungsperson auf eines der bekannten Blickziele gerichtet ist. - Als nächstes kann die Zielblickfrequenz durch Bestimmen, wie oft die Bedienungsperson auf ein gegebenes Blickziel oder Objekt blickt, bestimmt werden, wie in Block
72 indiziert. Auf diese Weise kann das System bei einem vordefinierten Verlauf der Fahrt bestimmen, wie oft die Bedienungsperson auf gegebene Objekte blickt. - Daher kann die Bedienungsperson in einem Beispiel das Transportmittel bedienen, wobei sie eine simulierte Richtung befährt, in welcher die Anzahl der Zeitpunkte, zu denen die Bedienungsperson jedes Ziel prüfen sollte, bekannt sein kann. Alternativ kann die Bedienungsperson das Transportmittel über einen bekannten Verlauf bedienen, wobei es bekannt ist, wie oft von der Bedienungsperson vernünftigerweise erwartet werden sollte, dass sie die verschiedenen Blickziele prüft. Alternativ kann die Zielblickfrequenzinformation mit Standardbereichen von Blickfrequenzen korreliert und verglichen werden. Zum Beispiel kann es bestimmt sein, dass die Bedienungsperson den Rückspiegel durchschnittlich X mal pro Stunde prüfen sollte. Unter Kenntnis der vorbestimmten Frequenz kann eine Analyse unternommen werden, um zu bestimmen, ob die Leistung der Bedienungsperson innerhalb etablierter Normen liegt.
- In Raute
74 bestimmt ein Test, ob die Bedienungsperson aufgefordert werden sollte, seine oder ihre Blickfrequenz zu ändern. Anstatt einfach den Nutzer zu bewerten, kann das System die Bedienungsperson trainieren, seine oder ihre Frequenz des Prüfens spezieller Quellen von Information zu erhöhen. Zum Beispiel kann die Bedienungsperson, falls es bestimmt ist, dass sie den Rückspiegel nicht oft genug prüft, wie in Block76 indiziert ist, aufgefordert werden, den Rückspiegel öfter zu prüfen. - Das System kann ebenso andere Information empfangen, welche die Geschwindigkeit des Transportmittels umfasst, wie in Block
78 indiziert ist. Die Ent wicklung der Geschwindigkeit kann aufgezeichnet und mit bekannten Geschwindigkeitsgrenzen oder bekannten Geschwindigkeitsempfehlungen für einen gegebenen Verlauf verglichen werden. Als nächstens kann das System Steuerinformation empfangen, wie in Block82 indiziert ist. Das System kann aufzeichnen, wann und wie oft die Bedienungsperson die Bremsen oder andere Steuerungen betätigt und wie oft die Bedienungsperson den Blinker oder andere Indikatoren verwendet. Wie zuvor kann diese Information mit Normen in anderen Fällen oder damit verglichen werden, was während eines vordefinierten Verlaufs erwartet wird. - Das System empfängt Transportmittelpositionsinformation, wie durch Block
83 angegeben. Eine Transportmittellokalisierungseinrichtung, wie ein Empfänger eines globalen Positionsbestimmungssystems (GPS) kann verwendet werden, um die Position des Transportmittels zu bestimmen und diese Information kann mit Blickzielinformation korreliert werden. Das System kann dann bei einer gegebenen Position, zum Beispiel in einem vordefinierten Trainings- oder Bewertungsverlauf, bewerten, ob die Bedienungsperson darauf blickt, worauf sie schauen sollte. - Gemäß Block
84 kann die Blickzielfrequenz der Bedienungsperson, die Geschwindigkeit, die Steuerungs-/Indikatorleistung bewertet werden. Dies kann durch Vergleichen der Leistung der Bedienungsperson mit einer Datenbank von Normalwerten über einen breiten Bereich verschiedener Bedienungspersonen über verschiedene Verläufe und unter verschiedenen Bedingungen geschehen. Alternativ kann dies durch Vergleichen der Leistung der Bedienungsperson über einen bekannten Verlauf mit einer erwarteten Leistung entwickelt werden. Der Bedienungsperson kann dann Information über seine oder ihre Bedienungsfähigkeiten, verglichen damit, was zu erwarten ist, bereitgestellt werden. Dies kann verwendet werden, um die Bedienungsperson im Falle des Bedienungspersonentestens zu bewerten oder um eine Rückmeldung darüber an die Bedienungsperson bereitzustellen, wie er oder sie seine oder ihre Leistung verbessern kann. - Ein prozessorbasiertes System
100 zum Implementieren eines Ausführungsbeispiels der Erfindung, welches in5 gezeigt ist, weist einen Prozessor102 auf. In einem Ausführungsbeispiel kann der Prozessor mit einem Chipsatz104 eines beschleunigten Grafikanschlusses (accelerated graphics port, AGP) (siehe Accelerated Graphics Port Interface Specification, version 1.0, veröffentlicht am 31. Juli 1996 von Intel Corporation, Santa Clara, Kalifornien, USA) zum Implementieren ei nes Ausführungsbeispiels eines beschleunigten Grafikanschlusses verbunden werden. Der Chipsatz104 kann mit dem AGP-Anschluss105 und dem Grafikbeschleuniger106 kommunizieren. Ein Bildschirm110 kann mit der Videoausgabe des Grafikbeschleunigers106 verbunden werden. Dann kann der Chipsatz104 ebenso mit dem Systemspeicher108 und mit einem Bus112 verbunden werden. - Der Bus
112 ist ebenso mit dem Bewegungskompensator42 verbunden. Er kann Eingabesignale von den Kameras26 und28 empfangen und Ausgabesignale an die Schwenk-/Neigeeinheit22 und das Feld24 bereitstellen. Der Bus112 kann ebenso mit einer Brücke116 verbunden sein, welche ein Festplattenlaufwerk118 verbindet. Die Software66 kann auf dem Festplattenlaufwerk118 zusammen mit Eigenface-Information116 und der Kalibrationsdatenbank114 gespeichert sein. Die Brücke116 kann ebenso mit einem anderen Bus132 verbunden sein. Der Bus132 kann mit einer seriellen Eingabe-/Ausgabeeinrichtung (engl., serial input/output, SIO)134 verbunden sein. Die Einrichtung134 kann serielle Eingaben von einer Steuerschnittstelle136 , einer Indikator-Schnittstelle138 und einer Geschwindigkeitsschnittstelle140 empfangen, von denen jede zum Empfangen von Information von dem Transportmittel und von einem Positionslokalisationssystem144 verbunden ist. Ebenso mit dem Bus132 verbunden ist ein grundlegendes Eingabe-/Ausgabesystem142 (basic input output system, BIOS). - Eine prozessorbasierte Wiedergabe einer Transportmittelbedienungssession kann ausgeführt werden, um einer gegebenen Bedienungsperson entweder eine Leistungsbewertung oder eine Rückmeldung bereitzustellen. Gemäß
6 kann der Bildschirm110 eine Darstellung aufweisen, welche ein Armaturenbrett86 , eine Lenksäule88 und einen Fahrer90 in einem simulierten Format aufweist. Die Blickrichtung des Fahrers ist durch die gestrichelte Linie92 indiziert. - Basierend auf der vom Bewegungskompensator
42 empfangenen Information kann die Blickrichtung des Fahrers im Zeitablauf und an speziellen Positionen als eine grafische Nutzerschnittstelle wie die in6 gezeigte gestrichelte Linie92 nachgebildet werden. Daher können der Trainierende und der Trainer zu gegebenen Zeitpunkten und in gegebenen Situationen sehen, worauf die Bedienungsperson blickt. Zum Beispiel kann der Bildschirmteil94 Information über den Sachstand zu jedem Zeitpunkt bereitstellen. Eine Landmarke eines Globalpositionierungssystems kann dann in einem Ausführungsbeispiel auf dem Bildschirm indiziert werden, um Information darüber, wo sich das Transportmittel befand, als die Bedienungsperson in eine gegebene Blickrichtung geblickt hat, bereitzustellen. - Die auf dem Bildschirm dargestellte Information kann, wie in
94 indiziert ist, für jeden Zeitpunkt Verlaufsbedingungen, Wetterhinweise, Geschwindigkeitshinweise, einen Bremsfaktor, welcher die Verwendung der Bremsen indiziert, und einen Toter-Winkel-Faktor, welcher indiziert, wie effektiv der Fahrer im Beobachten toter Winkel war, aufweisen. Auf diese Weise kann die trainierende Person seine oder ihre in regelmäßigen Zeitintervallen oder kontinuierlich während eines gegebenen Verlaufs wiedergegebene Leistung beobachten. Die Wiedergabe kann ebenso indizieren, wo sich das Transportmittel befand, als die Bedienungsperson in einer gegebenen Art und Weise reagiert hat. - Das System
30 kann ebenso äußere Ereignisse, welche durch das System ausgelöst werden können, bereitstellen, um entweder die Leistung der Bedienungsperson zu bewerten oder Trainingsübungen bereitzustellen. Die Erzeugung äußerer Umstände kann mit der Position des Transportmittels synchronisiert werden, wie sie vom Empfänger eines globalen Positionierungssystems bereitgestellt ist. Zum Beispiel kann ein anderes Transportmittel veranlasst werden, die Fahrtrichtung des Transportmittels zu kreuzen, wenn das Transportmittel eine gegebene Position erreicht. Die Reaktion der Bedienungsperson auf das Ereignis, einschließlich wie die Blickrichtung der Bedienungsperson das Ereignis detektiert und wie die Bedienungsperson reagiert, können durch das prozessorbasierte System bewertet werden. - Die äußeren Ereignisse können auf durch Globalpositionierungskoordinaten des Transportmittels ausgelösten festgelegten Abläufen basiert sein, um die Leistung der Bedienungsperson unter gegebenen Bedingungen zu testen. Die Reaktionszeit der Bedienungsperson auf ein gegebenes Ereignis kann ebenso bestimmt und aufgezeichnet werden.
- Zum Beispiel kann das System, falls die Bedienungsperson es kontinuierlich vermeidet, in eine gegebene Richtung oder auf ein gegebenes Element zu schauen, adaptiv Ereignisse erzeugen, welche es notwendig machen, in diesen Bereich zu schauen. Auf diese Weise kann die Bedienungsperson konditioniert werden, schlechte Angewohnheiten zu überwinden, nachdem sie die Konsequenzen dafür erkannt hat, es nicht zu schaffen, einen breiten Blickwinkel beizubehalten.
- Durch das Bestimmen von Globalpositionierungskoordinaten für das Transportmittel kann die Reaktion der Bedienungsperson auf auf Landmarkierungen verschlüsselte Bedingungen beurteilt werden. Zum Beispiel kann man, falls GPS-Koordinaten für die Fahrbahnmarkierungen bekannt sind, basierend auf Globalpositionierungssystemkoordinaten bestimmen, ob die Bedienungsperson eine zentrale Position innerhalb seiner oder ihrer Fahrbahn beibehält oder nach links oder rechts abdriftet.
- Das System kann ebenso Wetter- und Tageszeiteingaben empfangen, was beim Bewerten der Leistung der Bedienungsperson berücksichtigt werden kann. Wetter und Verkehrsbedingungen und andere Information kann aus dem Internet oder durch Sensoren entlang des Weges erfasst werden. Diese Information kann verwendet werden, um die Leistung der Bedienungsperson unter den bestehenden Bedingungen zu bewerten.
- Es kann wünschenswert sein, eine Kamera zum Aufzeichnen des Blickes durch die Windschutzscheibe bereitzustellen. Dann kann in einem Wiedergabemodus der tatsächlich aufgezeichnete Blick durch die Windschutzscheibe des Transportmittels wiedergegeben werden, um die Wiedergabe realistischer zu machen. Der Blickrichtungsindikator kann über das aufgezeichnete Bild gelegt werden. Zusätzlich kann die Videowiedergabe detailliertere Rückmeldungen darüber, was sich relativ zur Blickrichtung der Bedienungsperson ereignet hat, und über andere Reaktionen der Bedienungsperson bereitstellen.
- Während die Erfindung in Bezug auf eine beschränkte Anzahl von Ausführungsbeispielen offenbart worden ist, werden Fachleute eine Vielzahl von Modifikationen und Variationen davon kennen. Es ist beabsichtigt, dass die anhängigen Ansprüche alle solchen Modifikationen und Variationen, wie sie in den Schutzbereich der Erfindung fallen, umfassen.
Claims (18)
- Trainingssystem für eine Transportmittelbedienungsperson, umfassend: einen Sensor (
26 ;28 ) zum Ermitteln, worauf eine Bedienungsperson blickt; gekennzeichnet durch: eine Steuerung (102 ) zum Erstellen einer Aufzeichnung dessen, worauf die Bedienungsperson im Laufe einer Bedienungspersonbewertungssession blickt, eine Transportmittelpositionsbestimmungseinrichtung (144 ) zum Bereitstellen von Transportmittelpositionsinformation und zum Speichern der Information in der Aufzeichnung, und Mittel zum Vergleichen der Aufzeichnung mit einer vordefinierten Information. - System nach Anspruch 1, bei welchem der Sensor eine Kamera aufweist.
- System nach Anspruch 2, bei welchem die Kamera eine Digitalkamera ist.
- System nach Anspruch 3, welches eine erste Kamera (
26 ) zum Lokalisieren einer Kopfposition und eine zweite Kamera (28 ) zum Lokalisieren einer Augenposition aufweist. - System nach Anspruch 1, bei welchem die Positionsbestimmungseinrichtung ein Empfänger eines globalen Positionierungssystems ist.
- System nach Anspruch 1, aufweisend eine Schnittstelle (
136 ) zum Empfangen von Information von Transportmittelsteuerungen. - System nach Anspruch 1, aufweisend eine Schnittstelle (
140 ) zum Empfangen von Transportmittelgeschwindigkeitsinformation. - System nach Anspruch 1, aufweisend eine Schnittstelle (
138 ) zum Empfangen von Information über die Verwendung von Transportmittelindikatoren. - Verfahren zum Trainieren einer Transportmittelbedienungsperson, welches umfaßt: automatisches Erfassen, worauf die Bedienungsperson blickt; gekennzeichnet durch: Erstellen einer Aufzeichnung dessen, worauf die Bedienungsperson im Laufe einer Bedienungspersonbewertungssession blickte; Empfangen von Information über die aktuelle Position des Transportmittels und Speichern der Information in der Aufzeichnung; Vergleichen der Aufzeichnung mit einer vordefinierten Information.
- Verfahren nach Anspruch 9, bei welchem Information über die Bedienung von Transportmittelsteuerungen empfangen wird.
- Verfahren nach Anspruch 9, umfassend ein Vergleichen der Leistung der Bedienungsperson mit vordefinierten Standards.
- Verfahren nach Anspruch 9, umfassend ein Bestimmen der Frequenz, mit welcher die Bedienungsperson auf ein gegebenes Objekt blickt.
- Verfahren nach Anspruch 9, umfassend ein Aufzeichnen von Information über die Transportmittelgeschwindigkeit.
- Verfahren nach Anspruch 9, bei welchem der Bedienungsperson aufgefordert wird, die Frequenz, mit der sie auf ein oder mehrere Objekte blickt, zu erhöhen.
- Verfahren nach Anspruch 14, umfassend ein Korrelieren dessen, worauf die Bedienungsperson blickt, mit der Position, an der sich das Transport mittel befindet, wenn die Bedienungsperson auf das Objekt blickt.
- Gegenstand mit einem Medium, welches Befehle speichert, die ein prozessorbasiertes System zu folgenden Schritten veranlassen: Empfangen von Information darüber, worauf eine Transportmittelbedienungsperson bei einem Training blickt; Erstellen einer Aufzeichnung dessen, worauf die Bedienungsperson im Laufe einer Bedienungspersonbewertungssession blickte; Speichern von Befehlen, welche ein prozessorbasiertes System veranlassen, Information über die aktuelle Position des Transportmittels zum empfangen und sie in der Aufzeichnung zu speichern, und Vergleichen der Aufzeichnung mit einer vordefinierten Information.
- Gegenstand nach Anspruch 16, welcher Befehle speichert, welche ein prozessorbasiertes System veranlassen, die Bedienungsperson aufzufordern, die Frequenz, mit der die Bedienungsperson auf ein oder mehrere Objekte blickt, zu erhöhen.
- Gegenstand nach Anspruch 16, welcher Befehle speichert, welche ein prozessorbasiertes System veranlassen, dasjenige, worauf eine Bedienungsperson blickt, mit der Position, an der sich das Transportmittel befindet, wenn die Bedienungsperson auf das Objekt blickt, zu korrelieren.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US258848 | 1999-02-26 | ||
US09/258,848 US6200139B1 (en) | 1999-02-26 | 1999-02-26 | Operator training system |
PCT/US2000/000723 WO2000051097A2 (en) | 1999-02-26 | 2000-01-12 | Operator training system |
Publications (2)
Publication Number | Publication Date |
---|---|
DE60009057D1 DE60009057D1 (de) | 2004-04-22 |
DE60009057T2 true DE60009057T2 (de) | 2004-08-05 |
Family
ID=22982383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE60009057T Expired - Lifetime DE60009057T2 (de) | 1999-02-26 | 2000-01-12 | Trainingssystem für bediener |
Country Status (10)
Country | Link |
---|---|
US (1) | US6200139B1 (de) |
EP (1) | EP1177544B1 (de) |
JP (2) | JP3787493B2 (de) |
KR (1) | KR100416152B1 (de) |
CN (1) | CN1248174C (de) |
AT (1) | ATE262207T1 (de) |
AU (1) | AU2502800A (de) |
DE (1) | DE60009057T2 (de) |
TW (1) | TW440807B (de) |
WO (1) | WO2000051097A2 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012016765A1 (de) * | 2012-08-27 | 2014-02-27 | Dr. Ing. H.C. F. Porsche Ag | Kraftfahrzeugsimulationssystem |
DE102012220321A1 (de) * | 2012-11-08 | 2014-06-12 | Bayerische Motoren Werke Aktiengesellschaft | Demonstration von Fahrerassistenzsystemen |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7788008B2 (en) * | 1995-06-07 | 2010-08-31 | Automotive Technologies International, Inc. | Eye monitoring system and method for vehicular occupants |
US6200139B1 (en) * | 1999-02-26 | 2001-03-13 | Intel Corporation | Operator training system |
US8818647B2 (en) * | 1999-12-15 | 2014-08-26 | American Vehicular Sciences Llc | Vehicular heads-up display system |
US8686922B2 (en) * | 1999-12-15 | 2014-04-01 | American Vehicular Sciences Llc | Eye-location dependent vehicular heads-up display system |
US8032264B2 (en) * | 1999-12-15 | 2011-10-04 | Automotive Technologies International, Inc. | Vehicular heads-up display system |
US7565230B2 (en) * | 2000-10-14 | 2009-07-21 | Temic Automotive Of North America, Inc. | Method and apparatus for improving vehicle operator performance |
DE50014307D1 (de) * | 2000-11-14 | 2007-06-14 | Siemens Ag | Verfahren und system zum bestimmen der belegung des innenraums eines fahrzeugs |
DE10061038A1 (de) * | 2000-12-08 | 2002-06-13 | Daimler Chrysler Ag | Informationssystem zur Bereitstellung von erklärenden Informationen zu Funktions-oder Bedienelementen in Kraftfahrzeugen |
US6397137B1 (en) * | 2001-03-02 | 2002-05-28 | International Business Machines Corporation | System and method for selection of vehicular sideview mirrors via eye gaze |
US9400921B2 (en) * | 2001-05-09 | 2016-07-26 | Intel Corporation | Method and system using a data-driven model for monocular face tracking |
AU2003223488A1 (en) | 2002-04-05 | 2003-10-27 | Konstantin Sizov | Portable in-the-vehicle road simulator |
US20070271078A1 (en) * | 2002-06-25 | 2007-11-22 | New York Air Brake Corporation | Remote Control Locomotive Simulator |
NO317200B1 (no) * | 2002-08-09 | 2004-09-13 | Best Practice Deployment As | System for trafikkopplaering i et kjoretoy |
CN1294510C (zh) * | 2003-01-28 | 2007-01-10 | 中国南方航空股份有限公司 | 一种航空模拟机训练的计算机辅助教学系统及其方法 |
US6859144B2 (en) * | 2003-02-05 | 2005-02-22 | Delphi Technologies, Inc. | Vehicle situation alert system with eye gaze controlled alert signal generation |
DE10339314B3 (de) * | 2003-08-27 | 2005-04-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit |
JP2005208478A (ja) * | 2004-01-26 | 2005-08-04 | Ota Hiroo | 模擬運転装置 |
JP4565445B2 (ja) * | 2004-03-18 | 2010-10-20 | 国立大学法人 奈良先端科学技術大学院大学 | 顔情報計測システム |
JP4650028B2 (ja) * | 2005-03-02 | 2011-03-16 | 株式会社デンソー | 運転評価装置および運転評価システム |
JP4540507B2 (ja) * | 2005-03-07 | 2010-09-08 | 株式会社日立国際電気 | 行動訓練内容表示方法 |
JP4682714B2 (ja) * | 2005-06-14 | 2011-05-11 | トヨタ自動車株式会社 | 対話システム |
US20070047517A1 (en) * | 2005-08-29 | 2007-03-01 | Hua Xu | Method and apparatus for altering a media activity |
US20070150138A1 (en) | 2005-12-08 | 2007-06-28 | James Plante | Memory management in event recording systems |
US10878646B2 (en) * | 2005-12-08 | 2020-12-29 | Smartdrive Systems, Inc. | Vehicle event recorder systems |
US9201842B2 (en) | 2006-03-16 | 2015-12-01 | Smartdrive Systems, Inc. | Vehicle event recorder systems and networks having integrated cellular wireless communications systems |
US8996240B2 (en) | 2006-03-16 | 2015-03-31 | Smartdrive Systems, Inc. | Vehicle event recorders with integrated web server |
JP2007264490A (ja) * | 2006-03-29 | 2007-10-11 | National Univ Corp Shizuoka Univ | 情報提示評価システム |
US8314708B2 (en) * | 2006-05-08 | 2012-11-20 | Drivecam, Inc. | System and method for reducing driving risk with foresight |
US9792319B2 (en) | 2006-05-08 | 2017-10-17 | Lytx, Inc. | System and method for identifying non-event profiles |
US9836716B2 (en) | 2006-05-09 | 2017-12-05 | Lytx, Inc. | System and method for reducing driving risk with hindsight |
US7659827B2 (en) * | 2006-05-08 | 2010-02-09 | Drivecam, Inc. | System and method for taking risk out of driving |
CN100483478C (zh) * | 2006-09-06 | 2009-04-29 | 李宏 | 挖掘机模拟操作培训系统 |
US8649933B2 (en) | 2006-11-07 | 2014-02-11 | Smartdrive Systems Inc. | Power management systems for automotive video event recorders |
US8989959B2 (en) | 2006-11-07 | 2015-03-24 | Smartdrive Systems, Inc. | Vehicle operator performance history recording, scoring and reporting systems |
US8868288B2 (en) | 2006-11-09 | 2014-10-21 | Smartdrive Systems, Inc. | Vehicle exception event management systems |
JP2008139553A (ja) * | 2006-12-01 | 2008-06-19 | National Agency For Automotive Safety & Victim's Aid | 運転適性診断方法、運転適性診断の評価基準決定方法、運転適性診断プログラム |
US20080208646A1 (en) * | 2007-02-28 | 2008-08-28 | Thompson Ralph E | Method for increasing productivity and safety in the mining and heavy construction industries |
US8239092B2 (en) | 2007-05-08 | 2012-08-07 | Smartdrive Systems Inc. | Distributed vehicle event recorder systems having a portable memory data transfer system |
KR100898417B1 (ko) * | 2007-06-08 | 2009-06-19 | 샬롬엔지니어링 주식회사 | 열차 운행 시뮬레이션 시스템 |
WO2008151942A2 (en) * | 2007-06-14 | 2008-12-18 | Driving Performance Solutions As | System for performing driver education |
US10347153B2 (en) | 2007-07-13 | 2019-07-09 | Volvo Construction Equiptment AB | Method for providing an operator of a vehicle with operating information |
US8645001B2 (en) * | 2007-09-04 | 2014-02-04 | International Business Machines Corporation | Method and system for blind spot identification and warning utilizing visual indicators |
JP2009107373A (ja) * | 2007-10-26 | 2009-05-21 | Equos Research Co Ltd | 警報音出力装置 |
WO2009086308A1 (en) * | 2007-12-21 | 2009-07-09 | Booksync, Llc | Method and apparatus for integrating audio and/or video with a book |
EP2296124B1 (de) * | 2008-06-06 | 2015-05-13 | Yamashiro Driving School | System zur automatischen evaluierung des fahrverhaltens |
EP2189191B1 (de) * | 2008-11-25 | 2016-02-24 | Fox Factory, Inc. | Verfahren und Vorrichtung für virtuelle Wettbewerbe |
WO2011032217A1 (en) | 2009-09-16 | 2011-03-24 | Sydac Pty Ltd | Visual presentation system |
US11875707B2 (en) | 2009-09-29 | 2024-01-16 | Advanced Training Systems, Inc. | System, method and apparatus for adaptive driver training |
US9418568B2 (en) * | 2009-09-29 | 2016-08-16 | Advanced Training System Llc | System, method and apparatus for driver training system with dynamic mirrors |
US8894415B2 (en) | 2009-09-29 | 2014-11-25 | Advanced Training System Llc | System, method and apparatus for driver training |
KR101364080B1 (ko) | 2009-12-17 | 2014-02-20 | 한국전자통신연구원 | 안전 운전 평가 방법 및 장치 |
DE102010016113A1 (de) * | 2010-03-24 | 2011-09-29 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs |
WO2011126379A1 (en) * | 2010-04-04 | 2011-10-13 | Driving Performance Solutions As | A system and method for drivers training |
WO2011148455A1 (ja) * | 2010-05-25 | 2011-12-01 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
CH703735A2 (it) * | 2010-09-15 | 2012-03-15 | Erbicol Sa | Riflessometro per determinare la reattivita' di un guidatore e suo impiego. |
CN106125921B (zh) | 2011-02-09 | 2019-01-15 | 苹果公司 | 3d映射环境中的凝视检测 |
TWI491524B (zh) * | 2012-03-08 | 2015-07-11 | Ind Tech Res Inst | 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置 |
US9377863B2 (en) | 2012-03-26 | 2016-06-28 | Apple Inc. | Gaze-enhanced virtual touchscreen |
AU2013201418B2 (en) * | 2012-04-23 | 2014-09-11 | The Boeing Company | Aircrew training system |
US10102773B2 (en) | 2012-04-23 | 2018-10-16 | The Boeing Company | Methods for evaluating human performance in aviation |
JP5946349B2 (ja) * | 2012-07-24 | 2016-07-06 | 日本無線株式会社 | ドライビングシミュレータ |
US9728228B2 (en) | 2012-08-10 | 2017-08-08 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
CN103854539A (zh) * | 2012-12-07 | 2014-06-11 | 永泰软件有限公司 | 一种基于视频分析的电子路考监测系统 |
US9619695B2 (en) * | 2013-06-06 | 2017-04-11 | Visteon Global Technologies, Inc. | Gaze time indicator for a vehicle |
US9501878B2 (en) | 2013-10-16 | 2016-11-22 | Smartdrive Systems, Inc. | Vehicle event playback apparatus and methods |
US9610955B2 (en) | 2013-11-11 | 2017-04-04 | Smartdrive Systems, Inc. | Vehicle fuel consumption monitor and feedback systems |
US8892310B1 (en) | 2014-02-21 | 2014-11-18 | Smartdrive Systems, Inc. | System and method to detect execution of driving maneuvers |
US20150310758A1 (en) * | 2014-04-26 | 2015-10-29 | The Travelers Indemnity Company | Systems, methods, and apparatus for generating customized virtual reality experiences |
US20160107642A1 (en) * | 2014-10-15 | 2016-04-21 | Continental Automotive Systems, Inc. | Collision avoidance system using driver eye monitoring during gear change |
US9663127B2 (en) | 2014-10-28 | 2017-05-30 | Smartdrive Systems, Inc. | Rail vehicle event detection and recording system |
US11069257B2 (en) | 2014-11-13 | 2021-07-20 | Smartdrive Systems, Inc. | System and method for detecting a vehicle event and generating review criteria |
US9679420B2 (en) | 2015-04-01 | 2017-06-13 | Smartdrive Systems, Inc. | Vehicle event recording system and method |
CN105654808A (zh) * | 2016-02-03 | 2016-06-08 | 北京易驾佳信息科技有限公司 | 一种基于实际机动车的机动车驾驶人智能化训练系统 |
US9639804B1 (en) | 2016-03-22 | 2017-05-02 | Smartdrive Systems, Inc. | System and method to determine responsiveness of a driver of a vehicle to feedback regarding driving behaviors |
CN105788401B (zh) * | 2016-04-20 | 2018-09-28 | 公安部交通管理科学研究所 | 基于实车体的防御性驾驶模拟体验训练系统 |
US10083620B2 (en) * | 2016-07-29 | 2018-09-25 | Nissan North America, Inc. | Smart tutorial that learns and adapts |
JP6892244B2 (ja) * | 2016-11-02 | 2021-06-23 | 京セラドキュメントソリューションズ株式会社 | 表示装置及び表示方法 |
US11715387B2 (en) * | 2018-03-30 | 2023-08-01 | Cae Inc. | Standard operating procedures feedback during an interactive computer simulation |
JP7261370B2 (ja) * | 2018-08-07 | 2023-04-20 | 国立大学法人東海国立大学機構 | 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム |
CN109102194B (zh) * | 2018-08-20 | 2021-06-18 | 安徽佳略信息科技有限公司 | 一种基于全球定位系统与惯性传感器的驾驶行为评分方法 |
US10625745B1 (en) * | 2019-01-07 | 2020-04-21 | Sean Tremblay | Automated driver's exam system |
US10699556B1 (en) | 2019-03-01 | 2020-06-30 | Honeywell International Inc. | System and method for plant operation gap analysis and guidance solution |
SE2030301A1 (en) * | 2020-09-30 | 2022-03-31 | Chadalavada Ravi Teja | Method and system for driving skill feedback |
FR3123491A1 (fr) * | 2021-05-31 | 2022-12-02 | Psa Automobiles Sa | Simulateur de conduite automobile |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5016282A (en) | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
US5138555A (en) | 1990-06-28 | 1992-08-11 | Albrecht Robert E | Helmet mounted display adaptive predictive tracking |
JPH0431172U (de) * | 1990-07-11 | 1992-03-12 | ||
JPH04129173U (ja) * | 1991-05-13 | 1992-11-25 | 三菱重工業株式会社 | 視界目標の捕捉・追尾評価装置 |
JPH06189906A (ja) * | 1992-12-26 | 1994-07-12 | Nissan Motor Co Ltd | 視線方向計測装置 |
US5373857A (en) * | 1993-06-18 | 1994-12-20 | Forte Technologies, Inc. | Head tracking apparatus |
US5471542A (en) | 1993-09-27 | 1995-11-28 | Ragland; Richard R. | Point-of-gaze tracker |
JPH07141095A (ja) * | 1993-11-17 | 1995-06-02 | Matsushita Electric Ind Co Ltd | トレーニング装置 |
JPH0736299U (ja) * | 1993-12-03 | 1995-07-04 | 昌久 時山 | 車輌用居眠り防止装置 |
FR2714508B1 (fr) | 1993-12-23 | 1996-01-26 | Thomson Csf | Dispositif de simulation visuelle à parallaxe monoscopique pour un véhicule. |
JP2993345B2 (ja) * | 1993-12-29 | 1999-12-20 | 日産自動車株式会社 | 車両用表示装置 |
JP3119076B2 (ja) * | 1994-06-02 | 2000-12-18 | 日産自動車株式会社 | 車両用警報表示装置 |
JP3134667B2 (ja) * | 1994-06-02 | 2001-02-13 | 日産自動車株式会社 | 車両用表示装置 |
US5764291A (en) * | 1994-09-30 | 1998-06-09 | Apple Computer, Inc. | Apparatus and method for orientation-dependent camera exposure and focus setting optimization |
JP3257310B2 (ja) * | 1994-12-22 | 2002-02-18 | トヨタ自動車株式会社 | 漫然運転検出装置 |
US5583795A (en) * | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
JPH1097179A (ja) * | 1996-09-20 | 1998-04-14 | Sanyo Electric Works Ltd | 走行情報記録装置、走行情報解析装置及び両装置を用いた車両教習システム |
US5839000A (en) * | 1997-11-10 | 1998-11-17 | Sharp Laboratories Of America, Inc. | Automatic zoom magnification control using detection of eyelid condition |
US6154559A (en) | 1998-10-01 | 2000-11-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for classifying an individual's gaze direction |
US6200139B1 (en) * | 1999-02-26 | 2001-03-13 | Intel Corporation | Operator training system |
-
1999
- 1999-02-26 US US09/258,848 patent/US6200139B1/en not_active Expired - Lifetime
- 1999-12-28 TW TW088123109A patent/TW440807B/zh not_active IP Right Cessation
-
2000
- 2000-01-12 DE DE60009057T patent/DE60009057T2/de not_active Expired - Lifetime
- 2000-01-12 AU AU25028/00A patent/AU2502800A/en not_active Abandoned
- 2000-01-12 EP EP00903253A patent/EP1177544B1/de not_active Expired - Lifetime
- 2000-01-12 CN CNB008043183A patent/CN1248174C/zh not_active Expired - Fee Related
- 2000-01-12 JP JP2000601623A patent/JP3787493B2/ja not_active Expired - Fee Related
- 2000-01-12 AT AT00903253T patent/ATE262207T1/de not_active IP Right Cessation
- 2000-01-12 WO PCT/US2000/000723 patent/WO2000051097A2/en active IP Right Grant
- 2000-01-12 KR KR10-2001-7010227A patent/KR100416152B1/ko not_active IP Right Cessation
-
2005
- 2005-11-08 JP JP2005323273A patent/JP2006163375A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012016765A1 (de) * | 2012-08-27 | 2014-02-27 | Dr. Ing. H.C. F. Porsche Ag | Kraftfahrzeugsimulationssystem |
DE102012220321A1 (de) * | 2012-11-08 | 2014-06-12 | Bayerische Motoren Werke Aktiengesellschaft | Demonstration von Fahrerassistenzsystemen |
Also Published As
Publication number | Publication date |
---|---|
JP2002538498A (ja) | 2002-11-12 |
KR100416152B1 (ko) | 2004-01-24 |
TW440807B (en) | 2001-06-16 |
DE60009057D1 (de) | 2004-04-22 |
ATE262207T1 (de) | 2004-04-15 |
KR20010102090A (ko) | 2001-11-15 |
EP1177544B1 (de) | 2004-03-17 |
JP3787493B2 (ja) | 2006-06-21 |
AU2502800A (en) | 2000-09-14 |
JP2006163375A (ja) | 2006-06-22 |
CN1470044A (zh) | 2004-01-21 |
US6200139B1 (en) | 2001-03-13 |
WO2000051097A3 (en) | 2001-11-29 |
CN1248174C (zh) | 2006-03-29 |
WO2000051097A2 (en) | 2000-08-31 |
EP1177544A2 (de) | 2002-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60009057T2 (de) | Trainingssystem für bediener | |
DE102007031040B4 (de) | Prüfvorrichtung und -verfahren für ein Fahrerassistenzsystem eines Fahrzeugs | |
KR101867041B1 (ko) | 운전자의 안전한 운전상태 검측 방법 및 장치 | |
DE112017005143B4 (de) | Bewegungskrankheitseinschätzvorrichtung, bewegungskrankheitsverhinderungsvorrichtung und bewegungskrankheitseinschätzverfahren | |
AT505338B1 (de) | Verfahren zur wahrnehmungsmessung | |
DE102006010735B4 (de) | Fahrzeugumgebungsüberwachungsvorrichtung | |
DE112017005111T5 (de) | Bordanzeigesteuervorrichtung | |
DE19621435A1 (de) | Verfahren und Vorrichtung zum Überwachen von Augen für die Erfassung eines Schläfrigkeitszustands | |
WO2015192980A1 (de) | Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs | |
DE102008043200A1 (de) | Warnmeldungsanlage zum Warnen eines Fahrers vor dem Vorhandensein von Gegenständen | |
DE102014201036A1 (de) | Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens | |
DE102017202194A1 (de) | Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs | |
DE102014226185A1 (de) | Verfahren zum Bestimmen einer Blickrichtung einer Person | |
DE102017221253A1 (de) | Verfahren und Vorrichtung zum Überwachen eines Fahrerzustands | |
WO2021170421A1 (de) | Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug sowie system mit einem kraftfahrzeug und einer datenbrille | |
DE112019000605T5 (de) | Vorrichtung, fahrzeuginformationssystem und verfahren | |
DE102018222862A1 (de) | Verfahren und System zur Lokalisierung einer Akustikquelle relativ zu einem Fahrzeug | |
DE102016210088B3 (de) | Verfahren und Vorrichtung zur Darstellung einer Umgebung eines Kraftfahrzeugs | |
DE102014210481A1 (de) | Informationsanzeige zu durch Fenster sichtbaren, bewegten Objekten | |
DE112019007195T5 (de) | Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm | |
DE102016104578A1 (de) | Fahrersichtsensor-verhaltensstudienvorrichtung | |
WO2019091688A1 (de) | System und verfahren zum bestimmen einer pose einer augmented-reality-brille, system und verfahren zum einmessen einer augmented-reality-brille, verfahren zum unterstützen einer posenbestimmung einer augmented-reality-brille und für das verfahren geeignetes kraftfahrzeug | |
DE102020110417A1 (de) | Verfahren und System zur Assistenz eines Fahrers | |
Curry et al. | Seeing versus perceiving | |
DE102017200337A1 (de) | Kraftfahrzeug |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition |