DE60009057T2 - Trainingssystem für bediener - Google Patents

Trainingssystem für bediener Download PDF

Info

Publication number
DE60009057T2
DE60009057T2 DE60009057T DE60009057T DE60009057T2 DE 60009057 T2 DE60009057 T2 DE 60009057T2 DE 60009057 T DE60009057 T DE 60009057T DE 60009057 T DE60009057 T DE 60009057T DE 60009057 T2 DE60009057 T2 DE 60009057T2
Authority
DE
Germany
Prior art keywords
operator
information
transport
record
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60009057T
Other languages
English (en)
Other versions
DE60009057D1 (de
Inventor
O. Edward CLAPPER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE60009057D1 publication Critical patent/DE60009057D1/de
Application granted granted Critical
Publication of DE60009057T2 publication Critical patent/DE60009057T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • G09B19/167Control of land vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/042Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Steroid Compounds (AREA)
  • Buildings Adapted To Withstand Abnormal External Influences (AREA)
  • Lubricants (AREA)
  • Rehabilitation Tools (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Description

  • Diese Erfindung ist allgemein auf Systeme und Verfahren zum Trainieren und Bewerten bzw. Auswerten von Bedienungspersonen von Transportmitteln wie Automobilen, Lastwagen, Flugzeugen, Zügen, Schiffen und ähnlichem bezogen.
  • Gegenwärtig können Bedienungspersonen unter Verwendung von Simulatoren trainiert werden. Zum Beispiel sind Flugzeugtrainingssimulatoren bekannt, welche die Bedienungsperson einer Vielzahl verschiedener Bedingungen aussetzen und die Reaktion der Bedienungsperson auf diese Bedingungen bewerten. Zusätzlich können dem Fahrer oder der Fahrerin beim automatisierten Fahrertesten eine Serie von Fragen gestellt werden, und seine oder ihre Antworten werden dann mit den korrekten Antworten in einer Computerdatenbank verglichen. Alle diese Versuche entsprechen dem Bedarf, eine bessere und preisgünstigere Bewertung und Training von Transportmittelbedienungspersonen zu erzielen. Dies verbessert hoffentlich die Leistung dieser Bedienungspersonen und reduziert ihre Trainingskosten.
  • Einige Eigenschaften einer guten Bedienungsperson sind möglicherweise nur schwer zu beurteilen. Ein Trainer kann die Bedienungsperson bezüglich bestimmter Eigenschaften wie dem Prüfen des Rückspiegels, dem Prüfen der Messgeräte und ähnlichem beobachten. Jedoch kann es schwierig sein, eine objektive Bewertung zu erzielen, ob die Person die Fähigkeiten besitzt, welche zum korrekten Bedienen des Transportmittels nötig sind. Zum Beispiel kann es schwierig sein, die Fähigkeiten eines Fahrers quantitativ mit denen anderer Fahrer zu vergleichen.
  • Ein Bedienungspersontrainingssystem und ein Bedienungspersontrainingsverfahren nach dem Oberbegriff der Ansprüche 1 bzw. 9 ist in EP 0 660 291 A offenbart. Spezieller bezieht sich das bekannte Verfahren zum Trainieren und Bewerten einer Transportmittelbedienungsperson auf das automatische Abtasten, worauf eine Bedienungsperson blickt, durch Verwendung von Mitteln zum Detektieren der Position des Kopfes der Bedienungsperson. Jedoch gibt es in dem bekannten System und Verfahren keine Vorkehrung, wie die Leistung des Fahrers zu bewerten ist.
  • Die europäische Patentanmeldung EP 0 990 416 A , welche im Sinne von Art. 54 (3) EPÜ zum Stand der Technik gehört, bezieht sich ebenso auf ein ähnliches Transportmittelbedienungspersontrainingssystem und -verfahren. Spezieller offenbart die Anmeldung ein System zum Klassifizieren der Blickrichtung einer Bedie nungsperson, in welchem häufig auftretende Kopfhaltungen der Bedienungsperson automatisch ermittelt und gemäß ihrer Assoziation mit den umgebenden Objekten gekennzeichnet werden. Während einer Bedienungspersontrainingseinheit wird ein Histogramm aufgezeichnet, welches die Anzahl von Vorkommen von verschiedenen Kopfhaltungen über eine ausgedehnte Zeitperiode identifiziert. Das gekennzeichnete Histogramm wird dann zum Klassifizieren der Kopfhaltung der Bedienungsperson in allen nachfolgenden Aufnahmen verwendet.
  • Ferner offenbart US 5 138 555 A ein System zum Vorhersagen von Kopfbewegungen unter Verwendung spezifischer Kopfbewegungsdetektoren.
  • Daher besteht ein kontinuierlicher Bedarf an besseren Techniken zum Trainieren und/oder Bewerten von Bedienungspersonen von Transportmitteln.
  • Dementsprechend stellt die Erfindung ein System und ein Verfahren zum Trainieren einer Transportmittelbedienungsperson gemäß den unabhängigen Ansprüchen 1 bzw. 9 bereit. Ferner wird ein Gegenstand bereitgestellt, welcher ein Medium umfasst, das entsprechende Befehle speichert, nach dem unabhängigen Anspruch 16. Einige der bevorzugten Ausführungsbeispiele der vorliegenden Erfindung sind in den entsprechenden abhängigen Ansprüchen angegeben.
  • Kurzbeschreibung der Zeichnung
  • 1 ist eine Ansicht des vorderen Cockpitbereichs eines Transportmittels von vorne, wie er von der Bedienungsperson gesehen wird;
  • 2 ist ein Blockdiagramm einer Vorrichtung zum Erfassen, worauf ein Bedienungsperson im Verlauf des Bedienens eines Transportmittels blickt;
  • 3 ist ein Flussdiagramm zum Bestimmen, worauf die Bedienungsperson während des Bedienens eines Transportmittels blickt;
  • 4 zeigt ein Flussdiagramm zum Bewerten einer Bedienungsperson gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 5 ist ein Diagramm, welches ein Ausführungsbeispiel eines prozessorbasierten Systems zum Implementieren des in den vorherigen Figuren gezeigten Systems zeigt; und
  • 6 ist eine Bildschirmanzeige, welche eine simulierte Wiedergabedarstellung der Leistung eines Fahrers gemäß einem Ausführungsbeispiel der Erfindung zeigt.
  • Detaillierte Beschreibung
  • Gemäß 1 kann eine Transportmittelbedienungsperson in einem Cockpit 10 sitzen, welcher ein Simulator oder ein echtes Transportmittel wie zum Beispiel ein Automobil, Lastwagen, Flugzeug, Zug oder Schiff sein kann. Der Cockpit 10 kann eine Windschutzscheibe 12, ein Armaturenbrett 14, ein Lenkrad 16, einen Rückspiegel 18 und einen Seitenspiegel 20 aufweisen. Er kann ebenso eine Blickkamera 26 und eine Augenkamera 28 aufweisen.
  • Die Blickkamera 26 kann durch eine Schwenk-/Neigeeinheit 22 mit Infrarot-Leuchtdioden (LEDs) 24 verbunden sein. Die Kameras 26 und 28 stellen die Eingabeinformation zum Bestimmen, worauf die Bedienungsperson im Verlauf des Bedienens des Transportmittels blickt, bereit. Dies kann verwendet werden, um zu bewerten, ob die Bedienungsperson Informationsquellen zum effektiven Bedienen des Transportmittels angemessen verwendet.
  • Zum Beispiel kann das System in einer Automobilanwendung bestimmen, ob die Bedienungsperson aus der Frontwindschutzscheibe 12 blickt, ob die Bedienungsperson auf die Frontwindschutzscheibe 12 blickt, ob die Bedienungsperson den Seitenspiegel 20 und den Rückspiegel 18 prüft und ob die Bedienungsperson die verschiedenen, auf dem Armaturenbrett 14 bereitgestellten Anzeigen prüft.
  • Die Augenkamera 28 kann eine kurze Brennweite aufweisen und zum Messen der dreidimensionalen Augenposition verwendet werden. Die Blickkamera 26 kann zum Bestimmen einer Blickfunktion verwendet werden. Sie kann eine lange Brennweite aufweisen und geschwenkt und geneigt werden, um dem Auge zu folgen, wenn sich der Kopf bewegt. Das Infrarot-LED-Feld 24 kann in geringer Entfernung von der optischen Achse der Blickkamera angebracht sein, um das Auge auszuleuchten und eine Reflexion auf dem Auge zu bewirken, die beim Aufspüren der Bewegung des Auges nützlich sein kann.
  • Im folgenden ist ein System beschrieben zum Bestimmen, worauf die Bedienungsperson blickt, unter Verwendung von Augen- und Blicktracking, Hauptkomponentenanalyse und einem Infrarot-LED-Feld. Jedoch ist die Erfindung in keinster Weise auf diese Technologie beschränkt. Stattdessen ist diese Technologie lediglich beschrieben, um eine Technik zum Bestimmen, worauf die Bedienungsperson während des Bedienens des Transportmittels blickt, zu veranschaulichen. Andere bekannte Techniken zum Bestimmen, worauf eine Person blickt, umfassen das Verwenden von auf dem Kopf angebrachten Kameras. Zum Beispiel kann ein Gitter von LEDs in Sequenzen zum Leuchten gebracht werden. Das Kamerabild kann verarbeitet werden, um Blitze zu erfassen. Ein anderen System verwendet eine Anzahl von Videokameras zum Einfangen simultaner Bilder, die zum Aufspüren eines Objekts koordiniert werden.
  • Das veranschaulichte System ist weiter erläutert in „Determination of the Point of Fixation in a Head-fixed Coordinate System" von Jin Liu, präsentiert auf der 14th International Conference in Pattern Recognition (ICPR '98), abgehalten in Brisbane, Australien, am 17.–20. August 1998. Zusätzliche Information über das System kann ebenso in einem mit „Eye and Gaze Tracking for Visually Controlled Interactive Stereoscopic Displays" betitelten Artikel von Kay Talmi und Jin Liu gefunden werden, welcher aktuell unter http://www.hhi.de/~blick/paper/eyegaze 97/eye-gaze.html im Internet gefunden werden kann.
  • Gemäß 2 empfangen der Augenaufspürer (eye tracker) 34 und der Blickaufspürer (gaze tracker) 38 Eingaben von den Kameras 26 und 28. Und zwar empfängt der Augenaufspürer, wie in Bild 32 veranschaulicht ist, ein digitales Bild von der Kamera 26, welches mit einer Gesichtsaufnahme der Bedienungsperson korrespondiert. Zur selben Zeit empfängt der Blickaufspürer 38 ein Bild eines oder beider Augen der Bedienungsperson. Der Augenaufspürer analysiert das Videobild der Augenkamera 28 und detektiert und spürt die dreidimensionale Augenposition auf. Zusätzlich können eine oder beide Pupillen detektiert und aufgespürt werden, um die Berechnung der dreidimensionalen Augenposition zu ermöglichen.
  • Der Augenaufspürer 34 kann unter Verwendung der Schwenk-/Neigeeinheit 40 bewirken, dass die Augenkamera 28 geschwenkt oder geneigt wird, um der Position der Augen zu folgen, wenn sich der Kopf der Bedienungsperson bewegt. Wie in Block 42 indiziert ist, kann eine Bewegungskompensation bereitgestellt werden, um die Kopfbewegung der Bedienungsperson zu kompensieren.
  • Zu Beginn kann ein unbewegtes Kamerabild zur Analyse empfangen werden. Dunkle als "Täler" bezeichnete Regionen können identifiziert und eliminiert werden, um die folgende Analyse zu beschleunigen.
  • Die Hauptkomponentenanalyse (Principal Component Analysis, PCA) kann verwendet werden, um die Augen der Bedienungsperson zu lokalisieren. In einer Trainingsphase können Eigenschaften menschlicher Augen zum Lokalisieren der Augenposition unter Verwendung von PCA aufgezeichnet werden. Diese Eigenschaften können als Referenzaugenmuster, bezeichnet als Eigenfaces, gespeichert werden. Das Bild der Kamera 26 kann dann analysiert und mit dem gespeicherten Augenmuster verglichen werden, um die Augen zu lokalisieren. In einem Ausführungsbeispiel können diese bestimmten Augenpositionen in einem anderen stereoskopischen Kamerabild gesucht werden (falls eine zusätzliche Kamera verwendet wird). Durch Stereovergleich können die dreidimensionalen Positionen beider Augen bestimmt werden. Diese Information kann dann verwendet werden, um die Schwenk- und Neigeeinheit 22 der Augenkamera 26 zu steuern.
  • Um die Blickrichtung zu bestimmen, kann ein Hornhautreflexverfahren verwendet werden. Niedrigenergieinfrarot-LEDs 24 können auf der Schwenk-/Neigeeinheit 22 an einer Seite der Kamera 26 angebracht sein, wobei die Normale der Feldoberfläche parallel zur optischen Achse der Kamera 26 verläuft. Die LEDs 24 können das Auge ausleuchten und ein Glanzlicht auf der Hornhaut erzeugen. Ein Hornhautreflexalgorithmus kann das Zentrum einer oder beider Pupillen und das Zentrum der Hornhautoberflächenreflexion identifizieren. Die Entfernung zwischen den beiden Zentren und ihre Orientierung kann verwendet werden, um die Blickrichtung zu bestimmen. Die Veränderung der Blickrichtung aufgrund von Kopfbewegung kann unter Verwendung von Information bezüglich der dreidimensionalen Kopfposition kompensiert werden.
  • Die PCA repräsentiert die allgemeinen Eigenschaften menschlicher Augen unter Verwendung relativ weniger Dimensionen. Die PCA transformiert eine Luminanzbeschreibung des Auges in ein davon verschiedenes Koordinatensystem. Dieses Koordinatensystem ist dergestalt ausgebildet, dass der aus dem Abschneiden von Basisvektoren des Koordinatensystems herrührende mittlere quadratische Fehler reduziert wird.
  • Gemäß 3 kann nun die Eingabe von der Kamera 28 verwendet werden, um die bei 32 in 2 gezeigte und wie in Block 46 und 3 indizierte Kopfansicht zu entwickeln. Während der in Block 48 indizierten Vorverarbeitung kann das System einige anfängliche Eigenschaften von Gesichtsmerkmalen ableiten. Zum Beispiel können dunkle Bereiche eliminiert werden, da sie möglicherweise nicht so nützlich beim Lokalisieren von Gesichtsmerkmalen sind, die die Augenposition indi zieren. In Block 50 kann die Gesichtsmerkmaldetektion unter Verwendung von PCA implementiert werden. In Block 54 kann die dreidimensionale Augenposition unter Verwendung entweder einer einzelnen Kamera oder eines Paares von stereoskopischen Kameras bestimmt werden. Die Position der Pupille kann dann unter Verwendung von Mustererkennungs- und/oder Hornhautreflexionsanalyse wie in Block 58 indiziert, unter Verwendung der Eingabe von Kamera 26, wie in 36 in 2 indiziert, detektiert werden.
  • Das durch die LED-Reflexion bewirkte Glanzlicht auf der Hornhaut kann wie in Block 60 indiziert detektiert und ein Verschiebungsfaktor wie in Block 62 indiziert bestimmt werden. Der Verschiebungsfaktor korrigiert die Bewegung des Kopfes unter Verwendung von Information von der anderen Kamera 28. Schließlich wird die PCA-Analyse verwendet, um die Blickrichtung (Block 64) zu bestimmen, wie in Block 66 indiziert ist.
  • Eine Vielzahl von Kameras kann um den Cockpit herum verteilt sein, um die Gesichtslokalisierung zu ermöglichen, wenn sich der Nutzer herumdreht. Zum Beispiel können die Kameras 26, 28, wenn sich die Bedienungsperson dreht, um hinter das Transportmittel zu schauen, das Gesicht der Bedienungsperson „verlieren". Die über den Cockpit verteilten Kameras können verwendet werden, um die Position des Gesichts der Bedienungsperson zu detektieren. Diese Information kann dann analysiert werden, um zu bestimmen, ob die Handlungen der Bedienungsperson angemessen waren.
  • Die Blickrichtung kann verwendet werden, um die Bedienungsperson zu bewerten oder zu trainieren. Gemäß 4 kann die Software 66 durch Empfangen von Augenbewegungsinformation starten, wie in Block 68 indiziert. In einem Ausführungsbeispiel kann dies Information darüber sein, worauf das Auge zu jedem Zeitpunkt tatsächlich blickt. Diese Information kann dann in Blickkoordinaten zerlegt werden, wie in Block 70 indiziert.
  • Die Blickkoordinaten können mit Zielen wie den Seiten- oder Rückspiegeln korrespondieren. In einem Ausführungsbeispiel können die Blickkoordinaten Information darüber, worauf das Auge zu jedem Zeitpunkt tatsächlich blickt, aufweisen. Zum Beispiel kann die Blickkoordinateninformation in betrachtete Ziele zerlegt werden, wie in Block 70 indiziert ist. Sind die Blickkoordinaten der Bedienungsperson und die Koordinaten von Blickzielen bekannt, kann das spezielle betrachtete Objekt be stimmt werden. Die betrachteten Ziele korrespondieren mit Zielen wie den Seiten- oder Rückspiegeln, dem Instrumentenpult oder der Frontwindschutzscheibe in einem Automobil. Die Koordinaten jedes dieser Objekte können mit einer gegebenen Blickrichtung verglichen werden, und wenn die vom System 30 detektierte Blickrichtung allgemein mit den Koordinaten eines gegebenen Ziels korreliert, kann die Blockinformation zerlegt werden, um zu bestimmen, dass der Blick der Bedienungsperson auf eines der bekannten Blickziele gerichtet ist.
  • Als nächstes kann die Zielblickfrequenz durch Bestimmen, wie oft die Bedienungsperson auf ein gegebenes Blickziel oder Objekt blickt, bestimmt werden, wie in Block 72 indiziert. Auf diese Weise kann das System bei einem vordefinierten Verlauf der Fahrt bestimmen, wie oft die Bedienungsperson auf gegebene Objekte blickt.
  • Daher kann die Bedienungsperson in einem Beispiel das Transportmittel bedienen, wobei sie eine simulierte Richtung befährt, in welcher die Anzahl der Zeitpunkte, zu denen die Bedienungsperson jedes Ziel prüfen sollte, bekannt sein kann. Alternativ kann die Bedienungsperson das Transportmittel über einen bekannten Verlauf bedienen, wobei es bekannt ist, wie oft von der Bedienungsperson vernünftigerweise erwartet werden sollte, dass sie die verschiedenen Blickziele prüft. Alternativ kann die Zielblickfrequenzinformation mit Standardbereichen von Blickfrequenzen korreliert und verglichen werden. Zum Beispiel kann es bestimmt sein, dass die Bedienungsperson den Rückspiegel durchschnittlich X mal pro Stunde prüfen sollte. Unter Kenntnis der vorbestimmten Frequenz kann eine Analyse unternommen werden, um zu bestimmen, ob die Leistung der Bedienungsperson innerhalb etablierter Normen liegt.
  • In Raute 74 bestimmt ein Test, ob die Bedienungsperson aufgefordert werden sollte, seine oder ihre Blickfrequenz zu ändern. Anstatt einfach den Nutzer zu bewerten, kann das System die Bedienungsperson trainieren, seine oder ihre Frequenz des Prüfens spezieller Quellen von Information zu erhöhen. Zum Beispiel kann die Bedienungsperson, falls es bestimmt ist, dass sie den Rückspiegel nicht oft genug prüft, wie in Block 76 indiziert ist, aufgefordert werden, den Rückspiegel öfter zu prüfen.
  • Das System kann ebenso andere Information empfangen, welche die Geschwindigkeit des Transportmittels umfasst, wie in Block 78 indiziert ist. Die Ent wicklung der Geschwindigkeit kann aufgezeichnet und mit bekannten Geschwindigkeitsgrenzen oder bekannten Geschwindigkeitsempfehlungen für einen gegebenen Verlauf verglichen werden. Als nächstens kann das System Steuerinformation empfangen, wie in Block 82 indiziert ist. Das System kann aufzeichnen, wann und wie oft die Bedienungsperson die Bremsen oder andere Steuerungen betätigt und wie oft die Bedienungsperson den Blinker oder andere Indikatoren verwendet. Wie zuvor kann diese Information mit Normen in anderen Fällen oder damit verglichen werden, was während eines vordefinierten Verlaufs erwartet wird.
  • Das System empfängt Transportmittelpositionsinformation, wie durch Block 83 angegeben. Eine Transportmittellokalisierungseinrichtung, wie ein Empfänger eines globalen Positionsbestimmungssystems (GPS) kann verwendet werden, um die Position des Transportmittels zu bestimmen und diese Information kann mit Blickzielinformation korreliert werden. Das System kann dann bei einer gegebenen Position, zum Beispiel in einem vordefinierten Trainings- oder Bewertungsverlauf, bewerten, ob die Bedienungsperson darauf blickt, worauf sie schauen sollte.
  • Gemäß Block 84 kann die Blickzielfrequenz der Bedienungsperson, die Geschwindigkeit, die Steuerungs-/Indikatorleistung bewertet werden. Dies kann durch Vergleichen der Leistung der Bedienungsperson mit einer Datenbank von Normalwerten über einen breiten Bereich verschiedener Bedienungspersonen über verschiedene Verläufe und unter verschiedenen Bedingungen geschehen. Alternativ kann dies durch Vergleichen der Leistung der Bedienungsperson über einen bekannten Verlauf mit einer erwarteten Leistung entwickelt werden. Der Bedienungsperson kann dann Information über seine oder ihre Bedienungsfähigkeiten, verglichen damit, was zu erwarten ist, bereitgestellt werden. Dies kann verwendet werden, um die Bedienungsperson im Falle des Bedienungspersonentestens zu bewerten oder um eine Rückmeldung darüber an die Bedienungsperson bereitzustellen, wie er oder sie seine oder ihre Leistung verbessern kann.
  • Ein prozessorbasiertes System 100 zum Implementieren eines Ausführungsbeispiels der Erfindung, welches in 5 gezeigt ist, weist einen Prozessor 102 auf. In einem Ausführungsbeispiel kann der Prozessor mit einem Chipsatz 104 eines beschleunigten Grafikanschlusses (accelerated graphics port, AGP) (siehe Accelerated Graphics Port Interface Specification, version 1.0, veröffentlicht am 31. Juli 1996 von Intel Corporation, Santa Clara, Kalifornien, USA) zum Implementieren ei nes Ausführungsbeispiels eines beschleunigten Grafikanschlusses verbunden werden. Der Chipsatz 104 kann mit dem AGP-Anschluss 105 und dem Grafikbeschleuniger 106 kommunizieren. Ein Bildschirm 110 kann mit der Videoausgabe des Grafikbeschleunigers 106 verbunden werden. Dann kann der Chipsatz 104 ebenso mit dem Systemspeicher 108 und mit einem Bus 112 verbunden werden.
  • Der Bus 112 ist ebenso mit dem Bewegungskompensator 42 verbunden. Er kann Eingabesignale von den Kameras 26 und 28 empfangen und Ausgabesignale an die Schwenk-/Neigeeinheit 22 und das Feld 24 bereitstellen. Der Bus 112 kann ebenso mit einer Brücke 116 verbunden sein, welche ein Festplattenlaufwerk 118 verbindet. Die Software 66 kann auf dem Festplattenlaufwerk 118 zusammen mit Eigenface-Information 116 und der Kalibrationsdatenbank 114 gespeichert sein. Die Brücke 116 kann ebenso mit einem anderen Bus 132 verbunden sein. Der Bus 132 kann mit einer seriellen Eingabe-/Ausgabeeinrichtung (engl., serial input/output, SIO) 134 verbunden sein. Die Einrichtung 134 kann serielle Eingaben von einer Steuerschnittstelle 136, einer Indikator-Schnittstelle 138 und einer Geschwindigkeitsschnittstelle 140 empfangen, von denen jede zum Empfangen von Information von dem Transportmittel und von einem Positionslokalisationssystem 144 verbunden ist. Ebenso mit dem Bus 132 verbunden ist ein grundlegendes Eingabe-/Ausgabesystem 142 (basic input output system, BIOS).
  • Eine prozessorbasierte Wiedergabe einer Transportmittelbedienungssession kann ausgeführt werden, um einer gegebenen Bedienungsperson entweder eine Leistungsbewertung oder eine Rückmeldung bereitzustellen. Gemäß 6 kann der Bildschirm 110 eine Darstellung aufweisen, welche ein Armaturenbrett 86, eine Lenksäule 88 und einen Fahrer 90 in einem simulierten Format aufweist. Die Blickrichtung des Fahrers ist durch die gestrichelte Linie 92 indiziert.
  • Basierend auf der vom Bewegungskompensator 42 empfangenen Information kann die Blickrichtung des Fahrers im Zeitablauf und an speziellen Positionen als eine grafische Nutzerschnittstelle wie die in 6 gezeigte gestrichelte Linie 92 nachgebildet werden. Daher können der Trainierende und der Trainer zu gegebenen Zeitpunkten und in gegebenen Situationen sehen, worauf die Bedienungsperson blickt. Zum Beispiel kann der Bildschirmteil 94 Information über den Sachstand zu jedem Zeitpunkt bereitstellen. Eine Landmarke eines Globalpositionierungssystems kann dann in einem Ausführungsbeispiel auf dem Bildschirm indiziert werden, um Information darüber, wo sich das Transportmittel befand, als die Bedienungsperson in eine gegebene Blickrichtung geblickt hat, bereitzustellen.
  • Die auf dem Bildschirm dargestellte Information kann, wie in 94 indiziert ist, für jeden Zeitpunkt Verlaufsbedingungen, Wetterhinweise, Geschwindigkeitshinweise, einen Bremsfaktor, welcher die Verwendung der Bremsen indiziert, und einen Toter-Winkel-Faktor, welcher indiziert, wie effektiv der Fahrer im Beobachten toter Winkel war, aufweisen. Auf diese Weise kann die trainierende Person seine oder ihre in regelmäßigen Zeitintervallen oder kontinuierlich während eines gegebenen Verlaufs wiedergegebene Leistung beobachten. Die Wiedergabe kann ebenso indizieren, wo sich das Transportmittel befand, als die Bedienungsperson in einer gegebenen Art und Weise reagiert hat.
  • Das System 30 kann ebenso äußere Ereignisse, welche durch das System ausgelöst werden können, bereitstellen, um entweder die Leistung der Bedienungsperson zu bewerten oder Trainingsübungen bereitzustellen. Die Erzeugung äußerer Umstände kann mit der Position des Transportmittels synchronisiert werden, wie sie vom Empfänger eines globalen Positionierungssystems bereitgestellt ist. Zum Beispiel kann ein anderes Transportmittel veranlasst werden, die Fahrtrichtung des Transportmittels zu kreuzen, wenn das Transportmittel eine gegebene Position erreicht. Die Reaktion der Bedienungsperson auf das Ereignis, einschließlich wie die Blickrichtung der Bedienungsperson das Ereignis detektiert und wie die Bedienungsperson reagiert, können durch das prozessorbasierte System bewertet werden.
  • Die äußeren Ereignisse können auf durch Globalpositionierungskoordinaten des Transportmittels ausgelösten festgelegten Abläufen basiert sein, um die Leistung der Bedienungsperson unter gegebenen Bedingungen zu testen. Die Reaktionszeit der Bedienungsperson auf ein gegebenes Ereignis kann ebenso bestimmt und aufgezeichnet werden.
  • Zum Beispiel kann das System, falls die Bedienungsperson es kontinuierlich vermeidet, in eine gegebene Richtung oder auf ein gegebenes Element zu schauen, adaptiv Ereignisse erzeugen, welche es notwendig machen, in diesen Bereich zu schauen. Auf diese Weise kann die Bedienungsperson konditioniert werden, schlechte Angewohnheiten zu überwinden, nachdem sie die Konsequenzen dafür erkannt hat, es nicht zu schaffen, einen breiten Blickwinkel beizubehalten.
  • Durch das Bestimmen von Globalpositionierungskoordinaten für das Transportmittel kann die Reaktion der Bedienungsperson auf auf Landmarkierungen verschlüsselte Bedingungen beurteilt werden. Zum Beispiel kann man, falls GPS-Koordinaten für die Fahrbahnmarkierungen bekannt sind, basierend auf Globalpositionierungssystemkoordinaten bestimmen, ob die Bedienungsperson eine zentrale Position innerhalb seiner oder ihrer Fahrbahn beibehält oder nach links oder rechts abdriftet.
  • Das System kann ebenso Wetter- und Tageszeiteingaben empfangen, was beim Bewerten der Leistung der Bedienungsperson berücksichtigt werden kann. Wetter und Verkehrsbedingungen und andere Information kann aus dem Internet oder durch Sensoren entlang des Weges erfasst werden. Diese Information kann verwendet werden, um die Leistung der Bedienungsperson unter den bestehenden Bedingungen zu bewerten.
  • Es kann wünschenswert sein, eine Kamera zum Aufzeichnen des Blickes durch die Windschutzscheibe bereitzustellen. Dann kann in einem Wiedergabemodus der tatsächlich aufgezeichnete Blick durch die Windschutzscheibe des Transportmittels wiedergegeben werden, um die Wiedergabe realistischer zu machen. Der Blickrichtungsindikator kann über das aufgezeichnete Bild gelegt werden. Zusätzlich kann die Videowiedergabe detailliertere Rückmeldungen darüber, was sich relativ zur Blickrichtung der Bedienungsperson ereignet hat, und über andere Reaktionen der Bedienungsperson bereitstellen.
  • Während die Erfindung in Bezug auf eine beschränkte Anzahl von Ausführungsbeispielen offenbart worden ist, werden Fachleute eine Vielzahl von Modifikationen und Variationen davon kennen. Es ist beabsichtigt, dass die anhängigen Ansprüche alle solchen Modifikationen und Variationen, wie sie in den Schutzbereich der Erfindung fallen, umfassen.

Claims (18)

  1. Trainingssystem für eine Transportmittelbedienungsperson, umfassend: einen Sensor (26; 28) zum Ermitteln, worauf eine Bedienungsperson blickt; gekennzeichnet durch: eine Steuerung (102) zum Erstellen einer Aufzeichnung dessen, worauf die Bedienungsperson im Laufe einer Bedienungspersonbewertungssession blickt, eine Transportmittelpositionsbestimmungseinrichtung (144) zum Bereitstellen von Transportmittelpositionsinformation und zum Speichern der Information in der Aufzeichnung, und Mittel zum Vergleichen der Aufzeichnung mit einer vordefinierten Information.
  2. System nach Anspruch 1, bei welchem der Sensor eine Kamera aufweist.
  3. System nach Anspruch 2, bei welchem die Kamera eine Digitalkamera ist.
  4. System nach Anspruch 3, welches eine erste Kamera (26) zum Lokalisieren einer Kopfposition und eine zweite Kamera (28) zum Lokalisieren einer Augenposition aufweist.
  5. System nach Anspruch 1, bei welchem die Positionsbestimmungseinrichtung ein Empfänger eines globalen Positionierungssystems ist.
  6. System nach Anspruch 1, aufweisend eine Schnittstelle (136) zum Empfangen von Information von Transportmittelsteuerungen.
  7. System nach Anspruch 1, aufweisend eine Schnittstelle (140) zum Empfangen von Transportmittelgeschwindigkeitsinformation.
  8. System nach Anspruch 1, aufweisend eine Schnittstelle (138) zum Empfangen von Information über die Verwendung von Transportmittelindikatoren.
  9. Verfahren zum Trainieren einer Transportmittelbedienungsperson, welches umfaßt: automatisches Erfassen, worauf die Bedienungsperson blickt; gekennzeichnet durch: Erstellen einer Aufzeichnung dessen, worauf die Bedienungsperson im Laufe einer Bedienungspersonbewertungssession blickte; Empfangen von Information über die aktuelle Position des Transportmittels und Speichern der Information in der Aufzeichnung; Vergleichen der Aufzeichnung mit einer vordefinierten Information.
  10. Verfahren nach Anspruch 9, bei welchem Information über die Bedienung von Transportmittelsteuerungen empfangen wird.
  11. Verfahren nach Anspruch 9, umfassend ein Vergleichen der Leistung der Bedienungsperson mit vordefinierten Standards.
  12. Verfahren nach Anspruch 9, umfassend ein Bestimmen der Frequenz, mit welcher die Bedienungsperson auf ein gegebenes Objekt blickt.
  13. Verfahren nach Anspruch 9, umfassend ein Aufzeichnen von Information über die Transportmittelgeschwindigkeit.
  14. Verfahren nach Anspruch 9, bei welchem der Bedienungsperson aufgefordert wird, die Frequenz, mit der sie auf ein oder mehrere Objekte blickt, zu erhöhen.
  15. Verfahren nach Anspruch 14, umfassend ein Korrelieren dessen, worauf die Bedienungsperson blickt, mit der Position, an der sich das Transport mittel befindet, wenn die Bedienungsperson auf das Objekt blickt.
  16. Gegenstand mit einem Medium, welches Befehle speichert, die ein prozessorbasiertes System zu folgenden Schritten veranlassen: Empfangen von Information darüber, worauf eine Transportmittelbedienungsperson bei einem Training blickt; Erstellen einer Aufzeichnung dessen, worauf die Bedienungsperson im Laufe einer Bedienungspersonbewertungssession blickte; Speichern von Befehlen, welche ein prozessorbasiertes System veranlassen, Information über die aktuelle Position des Transportmittels zum empfangen und sie in der Aufzeichnung zu speichern, und Vergleichen der Aufzeichnung mit einer vordefinierten Information.
  17. Gegenstand nach Anspruch 16, welcher Befehle speichert, welche ein prozessorbasiertes System veranlassen, die Bedienungsperson aufzufordern, die Frequenz, mit der die Bedienungsperson auf ein oder mehrere Objekte blickt, zu erhöhen.
  18. Gegenstand nach Anspruch 16, welcher Befehle speichert, welche ein prozessorbasiertes System veranlassen, dasjenige, worauf eine Bedienungsperson blickt, mit der Position, an der sich das Transportmittel befindet, wenn die Bedienungsperson auf das Objekt blickt, zu korrelieren.
DE60009057T 1999-02-26 2000-01-12 Trainingssystem für bediener Expired - Lifetime DE60009057T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US258848 1999-02-26
US09/258,848 US6200139B1 (en) 1999-02-26 1999-02-26 Operator training system
PCT/US2000/000723 WO2000051097A2 (en) 1999-02-26 2000-01-12 Operator training system

Publications (2)

Publication Number Publication Date
DE60009057D1 DE60009057D1 (de) 2004-04-22
DE60009057T2 true DE60009057T2 (de) 2004-08-05

Family

ID=22982383

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60009057T Expired - Lifetime DE60009057T2 (de) 1999-02-26 2000-01-12 Trainingssystem für bediener

Country Status (10)

Country Link
US (1) US6200139B1 (de)
EP (1) EP1177544B1 (de)
JP (2) JP3787493B2 (de)
KR (1) KR100416152B1 (de)
CN (1) CN1248174C (de)
AT (1) ATE262207T1 (de)
AU (1) AU2502800A (de)
DE (1) DE60009057T2 (de)
TW (1) TW440807B (de)
WO (1) WO2000051097A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012016765A1 (de) * 2012-08-27 2014-02-27 Dr. Ing. H.C. F. Porsche Ag Kraftfahrzeugsimulationssystem
DE102012220321A1 (de) * 2012-11-08 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Demonstration von Fahrerassistenzsystemen

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788008B2 (en) * 1995-06-07 2010-08-31 Automotive Technologies International, Inc. Eye monitoring system and method for vehicular occupants
US6200139B1 (en) * 1999-02-26 2001-03-13 Intel Corporation Operator training system
US8818647B2 (en) * 1999-12-15 2014-08-26 American Vehicular Sciences Llc Vehicular heads-up display system
US8686922B2 (en) * 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
US8032264B2 (en) * 1999-12-15 2011-10-04 Automotive Technologies International, Inc. Vehicular heads-up display system
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
DE50014307D1 (de) * 2000-11-14 2007-06-14 Siemens Ag Verfahren und system zum bestimmen der belegung des innenraums eines fahrzeugs
DE10061038A1 (de) * 2000-12-08 2002-06-13 Daimler Chrysler Ag Informationssystem zur Bereitstellung von erklärenden Informationen zu Funktions-oder Bedienelementen in Kraftfahrzeugen
US6397137B1 (en) * 2001-03-02 2002-05-28 International Business Machines Corporation System and method for selection of vehicular sideview mirrors via eye gaze
US9400921B2 (en) * 2001-05-09 2016-07-26 Intel Corporation Method and system using a data-driven model for monocular face tracking
AU2003223488A1 (en) 2002-04-05 2003-10-27 Konstantin Sizov Portable in-the-vehicle road simulator
US20070271078A1 (en) * 2002-06-25 2007-11-22 New York Air Brake Corporation Remote Control Locomotive Simulator
NO317200B1 (no) * 2002-08-09 2004-09-13 Best Practice Deployment As System for trafikkopplaering i et kjoretoy
CN1294510C (zh) * 2003-01-28 2007-01-10 中国南方航空股份有限公司 一种航空模拟机训练的计算机辅助教学系统及其方法
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
DE10339314B3 (de) * 2003-08-27 2005-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit
JP2005208478A (ja) * 2004-01-26 2005-08-04 Ota Hiroo 模擬運転装置
JP4565445B2 (ja) * 2004-03-18 2010-10-20 国立大学法人 奈良先端科学技術大学院大学 顔情報計測システム
JP4650028B2 (ja) * 2005-03-02 2011-03-16 株式会社デンソー 運転評価装置および運転評価システム
JP4540507B2 (ja) * 2005-03-07 2010-09-08 株式会社日立国際電気 行動訓練内容表示方法
JP4682714B2 (ja) * 2005-06-14 2011-05-11 トヨタ自動車株式会社 対話システム
US20070047517A1 (en) * 2005-08-29 2007-03-01 Hua Xu Method and apparatus for altering a media activity
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
US10878646B2 (en) * 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
JP2007264490A (ja) * 2006-03-29 2007-10-11 National Univ Corp Shizuoka Univ 情報提示評価システム
US8314708B2 (en) * 2006-05-08 2012-11-20 Drivecam, Inc. System and method for reducing driving risk with foresight
US9792319B2 (en) 2006-05-08 2017-10-17 Lytx, Inc. System and method for identifying non-event profiles
US9836716B2 (en) 2006-05-09 2017-12-05 Lytx, Inc. System and method for reducing driving risk with hindsight
US7659827B2 (en) * 2006-05-08 2010-02-09 Drivecam, Inc. System and method for taking risk out of driving
CN100483478C (zh) * 2006-09-06 2009-04-29 李宏 挖掘机模拟操作培训系统
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
JP2008139553A (ja) * 2006-12-01 2008-06-19 National Agency For Automotive Safety & Victim's Aid 運転適性診断方法、運転適性診断の評価基準決定方法、運転適性診断プログラム
US20080208646A1 (en) * 2007-02-28 2008-08-28 Thompson Ralph E Method for increasing productivity and safety in the mining and heavy construction industries
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
KR100898417B1 (ko) * 2007-06-08 2009-06-19 샬롬엔지니어링 주식회사 열차 운행 시뮬레이션 시스템
WO2008151942A2 (en) * 2007-06-14 2008-12-18 Driving Performance Solutions As System for performing driver education
US10347153B2 (en) 2007-07-13 2019-07-09 Volvo Construction Equiptment AB Method for providing an operator of a vehicle with operating information
US8645001B2 (en) * 2007-09-04 2014-02-04 International Business Machines Corporation Method and system for blind spot identification and warning utilizing visual indicators
JP2009107373A (ja) * 2007-10-26 2009-05-21 Equos Research Co Ltd 警報音出力装置
WO2009086308A1 (en) * 2007-12-21 2009-07-09 Booksync, Llc Method and apparatus for integrating audio and/or video with a book
EP2296124B1 (de) * 2008-06-06 2015-05-13 Yamashiro Driving School System zur automatischen evaluierung des fahrverhaltens
EP2189191B1 (de) * 2008-11-25 2016-02-24 Fox Factory, Inc. Verfahren und Vorrichtung für virtuelle Wettbewerbe
WO2011032217A1 (en) 2009-09-16 2011-03-24 Sydac Pty Ltd Visual presentation system
US11875707B2 (en) 2009-09-29 2024-01-16 Advanced Training Systems, Inc. System, method and apparatus for adaptive driver training
US9418568B2 (en) * 2009-09-29 2016-08-16 Advanced Training System Llc System, method and apparatus for driver training system with dynamic mirrors
US8894415B2 (en) 2009-09-29 2014-11-25 Advanced Training System Llc System, method and apparatus for driver training
KR101364080B1 (ko) 2009-12-17 2014-02-20 한국전자통신연구원 안전 운전 평가 방법 및 장치
DE102010016113A1 (de) * 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs
WO2011126379A1 (en) * 2010-04-04 2011-10-13 Driving Performance Solutions As A system and method for drivers training
WO2011148455A1 (ja) * 2010-05-25 2011-12-01 富士通株式会社 映像処理装置、映像処理方法及び映像処理プログラム
CH703735A2 (it) * 2010-09-15 2012-03-15 Erbicol Sa Riflessometro per determinare la reattivita' di un guidatore e suo impiego.
CN106125921B (zh) 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
TWI491524B (zh) * 2012-03-08 2015-07-11 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
AU2013201418B2 (en) * 2012-04-23 2014-09-11 The Boeing Company Aircrew training system
US10102773B2 (en) 2012-04-23 2018-10-16 The Boeing Company Methods for evaluating human performance in aviation
JP5946349B2 (ja) * 2012-07-24 2016-07-06 日本無線株式会社 ドライビングシミュレータ
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
CN103854539A (zh) * 2012-12-07 2014-06-11 永泰软件有限公司 一种基于视频分析的电子路考监测系统
US9619695B2 (en) * 2013-06-06 2017-04-11 Visteon Global Technologies, Inc. Gaze time indicator for a vehicle
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US20150310758A1 (en) * 2014-04-26 2015-10-29 The Travelers Indemnity Company Systems, methods, and apparatus for generating customized virtual reality experiences
US20160107642A1 (en) * 2014-10-15 2016-04-21 Continental Automotive Systems, Inc. Collision avoidance system using driver eye monitoring during gear change
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
CN105654808A (zh) * 2016-02-03 2016-06-08 北京易驾佳信息科技有限公司 一种基于实际机动车的机动车驾驶人智能化训练系统
US9639804B1 (en) 2016-03-22 2017-05-02 Smartdrive Systems, Inc. System and method to determine responsiveness of a driver of a vehicle to feedback regarding driving behaviors
CN105788401B (zh) * 2016-04-20 2018-09-28 公安部交通管理科学研究所 基于实车体的防御性驾驶模拟体验训练系统
US10083620B2 (en) * 2016-07-29 2018-09-25 Nissan North America, Inc. Smart tutorial that learns and adapts
JP6892244B2 (ja) * 2016-11-02 2021-06-23 京セラドキュメントソリューションズ株式会社 表示装置及び表示方法
US11715387B2 (en) * 2018-03-30 2023-08-01 Cae Inc. Standard operating procedures feedback during an interactive computer simulation
JP7261370B2 (ja) * 2018-08-07 2023-04-20 国立大学法人東海国立大学機構 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム
CN109102194B (zh) * 2018-08-20 2021-06-18 安徽佳略信息科技有限公司 一种基于全球定位系统与惯性传感器的驾驶行为评分方法
US10625745B1 (en) * 2019-01-07 2020-04-21 Sean Tremblay Automated driver's exam system
US10699556B1 (en) 2019-03-01 2020-06-30 Honeywell International Inc. System and method for plant operation gap analysis and guidance solution
SE2030301A1 (en) * 2020-09-30 2022-03-31 Chadalavada Ravi Teja Method and system for driving skill feedback
FR3123491A1 (fr) * 2021-05-31 2022-12-02 Psa Automobiles Sa Simulateur de conduite automobile

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5138555A (en) 1990-06-28 1992-08-11 Albrecht Robert E Helmet mounted display adaptive predictive tracking
JPH0431172U (de) * 1990-07-11 1992-03-12
JPH04129173U (ja) * 1991-05-13 1992-11-25 三菱重工業株式会社 視界目標の捕捉・追尾評価装置
JPH06189906A (ja) * 1992-12-26 1994-07-12 Nissan Motor Co Ltd 視線方向計測装置
US5373857A (en) * 1993-06-18 1994-12-20 Forte Technologies, Inc. Head tracking apparatus
US5471542A (en) 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JPH07141095A (ja) * 1993-11-17 1995-06-02 Matsushita Electric Ind Co Ltd トレーニング装置
JPH0736299U (ja) * 1993-12-03 1995-07-04 昌久 時山 車輌用居眠り防止装置
FR2714508B1 (fr) 1993-12-23 1996-01-26 Thomson Csf Dispositif de simulation visuelle à parallaxe monoscopique pour un véhicule.
JP2993345B2 (ja) * 1993-12-29 1999-12-20 日産自動車株式会社 車両用表示装置
JP3119076B2 (ja) * 1994-06-02 2000-12-18 日産自動車株式会社 車両用警報表示装置
JP3134667B2 (ja) * 1994-06-02 2001-02-13 日産自動車株式会社 車両用表示装置
US5764291A (en) * 1994-09-30 1998-06-09 Apple Computer, Inc. Apparatus and method for orientation-dependent camera exposure and focus setting optimization
JP3257310B2 (ja) * 1994-12-22 2002-02-18 トヨタ自動車株式会社 漫然運転検出装置
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
JPH1097179A (ja) * 1996-09-20 1998-04-14 Sanyo Electric Works Ltd 走行情報記録装置、走行情報解析装置及び両装置を用いた車両教習システム
US5839000A (en) * 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US6200139B1 (en) * 1999-02-26 2001-03-13 Intel Corporation Operator training system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012016765A1 (de) * 2012-08-27 2014-02-27 Dr. Ing. H.C. F. Porsche Ag Kraftfahrzeugsimulationssystem
DE102012220321A1 (de) * 2012-11-08 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Demonstration von Fahrerassistenzsystemen

Also Published As

Publication number Publication date
JP2002538498A (ja) 2002-11-12
KR100416152B1 (ko) 2004-01-24
TW440807B (en) 2001-06-16
DE60009057D1 (de) 2004-04-22
ATE262207T1 (de) 2004-04-15
KR20010102090A (ko) 2001-11-15
EP1177544B1 (de) 2004-03-17
JP3787493B2 (ja) 2006-06-21
AU2502800A (en) 2000-09-14
JP2006163375A (ja) 2006-06-22
CN1470044A (zh) 2004-01-21
US6200139B1 (en) 2001-03-13
WO2000051097A3 (en) 2001-11-29
CN1248174C (zh) 2006-03-29
WO2000051097A2 (en) 2000-08-31
EP1177544A2 (de) 2002-02-06

Similar Documents

Publication Publication Date Title
DE60009057T2 (de) Trainingssystem für bediener
DE102007031040B4 (de) Prüfvorrichtung und -verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
KR101867041B1 (ko) 운전자의 안전한 운전상태 검측 방법 및 장치
DE112017005143B4 (de) Bewegungskrankheitseinschätzvorrichtung, bewegungskrankheitsverhinderungsvorrichtung und bewegungskrankheitseinschätzverfahren
AT505338B1 (de) Verfahren zur wahrnehmungsmessung
DE102006010735B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE112017005111T5 (de) Bordanzeigesteuervorrichtung
DE19621435A1 (de) Verfahren und Vorrichtung zum Überwachen von Augen für die Erfassung eines Schläfrigkeitszustands
WO2015192980A1 (de) Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs
DE102008043200A1 (de) Warnmeldungsanlage zum Warnen eines Fahrers vor dem Vorhandensein von Gegenständen
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102017202194A1 (de) Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs
DE102014226185A1 (de) Verfahren zum Bestimmen einer Blickrichtung einer Person
DE102017221253A1 (de) Verfahren und Vorrichtung zum Überwachen eines Fahrerzustands
WO2021170421A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug sowie system mit einem kraftfahrzeug und einer datenbrille
DE112019000605T5 (de) Vorrichtung, fahrzeuginformationssystem und verfahren
DE102018222862A1 (de) Verfahren und System zur Lokalisierung einer Akustikquelle relativ zu einem Fahrzeug
DE102016210088B3 (de) Verfahren und Vorrichtung zur Darstellung einer Umgebung eines Kraftfahrzeugs
DE102014210481A1 (de) Informationsanzeige zu durch Fenster sichtbaren, bewegten Objekten
DE112019007195T5 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
DE102016104578A1 (de) Fahrersichtsensor-verhaltensstudienvorrichtung
WO2019091688A1 (de) System und verfahren zum bestimmen einer pose einer augmented-reality-brille, system und verfahren zum einmessen einer augmented-reality-brille, verfahren zum unterstützen einer posenbestimmung einer augmented-reality-brille und für das verfahren geeignetes kraftfahrzeug
DE102020110417A1 (de) Verfahren und System zur Assistenz eines Fahrers
Curry et al. Seeing versus perceiving
DE102017200337A1 (de) Kraftfahrzeug

Legal Events

Date Code Title Description
8364 No opposition during term of opposition