DE112015003785T5 - System zur Überwachung der Ermüdung einer Bedienperson - Google Patents

System zur Überwachung der Ermüdung einer Bedienperson Download PDF

Info

Publication number
DE112015003785T5
DE112015003785T5 DE112015003785.3T DE112015003785T DE112015003785T5 DE 112015003785 T5 DE112015003785 T5 DE 112015003785T5 DE 112015003785 T DE112015003785 T DE 112015003785T DE 112015003785 T5 DE112015003785 T5 DE 112015003785T5
Authority
DE
Germany
Prior art keywords
operator
machine
fatigue
monitoring system
fatigue monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112015003785.3T
Other languages
English (en)
Inventor
Dennis John Melas
John David SEMPLE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Progress Rail Locomotive Inc
Original Assignee
Electro Motive Diesel Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electro Motive Diesel Inc filed Critical Electro Motive Diesel Inc
Publication of DE112015003785T5 publication Critical patent/DE112015003785T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Hospice & Palliative Care (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Offenbart wird ein Ermüdungsüberwachungssystem (26) zur Verwendung mit einer Maschine (10). Das Ermüdungsüberwachungssystem kann aufweisen: eine Eingabevorrichtung (24), die dazu ausgestaltet ist, ein erstes Signal zu erzeugen, das eine Aktivität anzeigt, die von einer Bedienperson der Maschine ausgeführt wird, eine Abtastvorrichtung (28), die dazu ausgestaltet ist, ein zweites Signal zu erzeugen, das ein erkanntes Merkmal der Maschinenbedienperson anzeigt, sowie eine Alarmvorrichtung (34). Das Ermüdungsüberwachungssystem kann auch ein Steuergerät (32) in Kommunikation mit der Eingabevorrichtung, der Abtastvorrichtung und der Alarmvorrichtung aufweisen. Das Steuergerät kann dazu ausgestaltet sein, eine Zeit zwischen Erzeugungen des ersten Signals zu bestimmen, einen Vergleich des erkannten Merkmals mit einem Schwellenmerkmal durchzuführen, und selektiv die Alarmvorrichtung auf der Grundlage der Zeit oder des Vergleichs zu aktivieren.

Description

  • Technisches Gebiet
  • Die vorliegende Offenbarung betrifft allgemein ein System zur Überwachung der Ermüdung einer Bedienperson und insbesondere ein System zur Überwachung der Ermüdung von Bedienpersonen in einer Maschine, wie etwa einer Eisenbahnlokomotive.
  • Hintergrund
  • Ermüdung ist ein bekanntes Problem im Transportwesen. Bedienpersonen können nach längeren Zeitperioden der Maschinensteuerung ermüden. Einige Maschinen erfordern ständig wiederholte Bewegungen von der Bedienperson, was sehr erschöpfend sein kann, während andere Maschinen nur wenig Bewegung der Bedienperson erfordern, was zu Schläfrigkeit führen kann. In beiden Situation kann die Bedienperson einen Teil ihrer Konzentrationsfähigkeit einbüßen, und die Aufmerksamkeit der Bedienperson kann nachlassen. Dies kann zu falscher Maschinensteuerung, verzögerter Maschinensteuerung oder gar zum Ausfall der Maschinensteuerung führen. Jedes dieser Ergebnisse kann zu einem Verlust von Produktivität, Profitabilität und Sicherheit führen.
  • Ein beispielhaftes System, um einer Bedienperson zu helfen, aufmerksam zu bleiben, ist als Wachsamkeitskontrollvorrichtung bekannt. Eine Wachsamkeitskontrollvorrichtung umfasst Leuchten und Schallgeber, die mit Zeitgebern verbunden sind. Die Bedienperson muss dann einen Typ von Eingabe mit einer Mindestfrequenz liefern, die durch den Zeitgeber gesteuert wird. Wird innerhalb einer bestimmten Zeitperiode keine Eingabe erhalten, wird eine Warnung in Form eines Blinklichts oder eines Sirenentons ausgelöst. Wenn die Bedienperson noch immer keine Eingabe liefert, setzt die Wachsamkeitskontrollvorrichtung automatisch eine Sanktionierung in Form einer Verringerung der Maschinengeschwindigkeit oder einer Aktivierung der Bremsen der Maschine um. Ein solches System ist in einer Veröffentlichung des Man Vehicle Laboratory am Massachusetts Institute of Technology mit dem Titel ”Locomotive In-Cab Alerter Technology Assessment” beschrieben, die am 20. November 2006 veröffentlicht wurde (die ”Alerter-Veröffentlichung”).
  • Zusätzlich zur Beschreibung herkömmlicher aktivitätsbasierter Alarmgeber beschreibt die Alerter-Veröffentlichung auch einen neuen Typ von Alarmgeber, der automatisch eine Ermüdung der Bedienperson ohne Eingaben von der Bedienperson erfasst. Insbesondere greift der automatische Alarmgeber auf Videobilder des Bedieners zurück und verwendet Computeralgorithmen für maschinelles Sehen, um spezifische Merkmale in den Videobildern (z. B. Kopfhaltung, Blickrichtung und Stellung der Augenlider) zu identifizieren. Auf der Grundlage dieser Merkmale erzeugt der automatische Alarmgeber dann die Warnungen oder die oben beschriebenen Strafmaßnahmen.
  • Während der herkömmliche Alarmgeber und der automatische Alarmgeber beide einen gewissen Nutzen haben, um eine Bedienperson wach und aufmerksam zu halten, weisen doch beide Nachteile auf. Zum Beispiel wurde gezeigt, dass der herkömmliche Alarmgeber bestimmte vorbeugende Maßnahmen fördert, durch die eine Aktivierung überraschender Warnungen vermieden werden soll. Darüber hinaus hat sich gezeigt, dass Zugführer sich mit der Zeit an die Eingabe in den Alarmgeber als eine reflexartige Tätigkeit gewöhnen, die keine Konzentration erfordert und sogar im Schlaf durchgeführt werden kann. Ferner kann der automatische Alarmgeber manchmal den Gesichtsausdruck einer Bedienperson fehlinterpretieren, insbesondere wenn die Lichtbedingungen schlecht sind, wenn die Bedienperson eine Brille trägt, oder unter anderen ähnlichen Bedingungen.
  • Die vorliegende Offenbarung zielt darauf ab, eines oder mehrere der oben dargelegten Nachteile und/oder andere Probleme im Stand der Technik zu überwinden.
  • Zusammenfassung
  • Gemäß einem Aspekt betrifft die vorliegende Offenbarung ein System zur Ermüdungsüberwachung für eine Maschine. Das Ermüdungsüberwachungssystem kann umfassen: eine Eingabevorrichtung, die dazu ausgestaltet ist, ein erstes Signal zu erzeugen, das eine Aktivität anzeigt, die von einer Bedienperson der Maschine ausgeführt wird, eine Abtastvorrichtung, die dazu ausgestaltet ist, ein zweites Signal zu erzeugen, das ein erkanntes Merkmal der Maschinenbedienperson anzeigt, sowie eine Alarmvorrichtung. Das Ermüdungsüberwachungssystem kann auch ein Steuergerät in Kommunikation mit der Eingabevorrichtung, der Abtastvorrichtung und der Alarmvorrichtung umfassen.
  • Das Steuergerät kann dazu ausgestaltet sein, eine Zeit zwischen Erzeugungen des ersten Signals zu bestimmen, einen Vergleich des erkannten Merkmals mit einem Schwellenmerkmal durchzuführen, und selektiv die Alarmvorrichtung auf der Grundlage der Zeit oder des Vergleichs zu aktivieren.
  • Gemäß einem weiteren Aspekt betrifft die vorliegende Offenbarung ein weiteres System zur Ermüdungsüberwachung für eine Maschine. Dieses Ermüdungsüberwachungssystem kann umfassen: eine Eingabevorrichtung, die dazu ausgestaltet ist, ein erstes Signal zu erzeugen, das eine Aktivität anzeigt, die von einer Bedienperson der Maschine ausgeführt wird, eine Abtastvorrichtung, die dazu ausgestaltet ist, ein zweites Signal zu erzeugen, das ein erkanntes Merkmal der Maschinenbedienperson anzeigt, eine Alarmvorrichtung, sowie ein Steuergerät in Kommunikation mit der Eingabevorrichtung, der Abtastvorrichtung und der Alarmvorrichtung. Das Steuergerät kann dazu ausgestaltet sein, eine Zeit zwischen Erzeugungen des ersten Signals zu bestimmen, selektiv eine Erststufenantwort zu implementieren, wenn die Zeit zwischen Erzeugungen des ersten Signals eine erste Schwellenzeit überschreitet, und selektiv eine Zweitstufenantwort zu implementieren, wenn die Zeit zwischen Erzeugungen des ersten Signals eine zweite Schwellenzeit überschreitet, die größer ist als die erste Schwellenzeit. Das Steuergerät kann auch dazu ausgestaltet sein, einen Vergleich des erkannten Merkmals mit einem Schwellenmerkmal durchzuführen, und selektiv auf der Grundlage des Vergleichs die Zweitstufenantwort zu implementieren.
  • Gemäß noch einem weiteren Aspekt bezieht sich die vorliegende Offenbarung auf ein Verfahren zur Überwachung der Ermüdung einer Maschinenbedienperson. Das Verfahren kann umfassen: Empfangen von Eingaben, die eine Aktivität anzeigen, die durch die Maschinenbedienperson ausgeführt wird, und Abtasten eines Gesichtsmerkmals der Maschinenbedienperson. Das Verfahren kann des Weiteren umfassen: Bestimmen einer Zeit zwischen dem Erhalt der Eingaben, und Durchführen eines Vergleichs des Merkmals mit einem Schwellenmerkmal. Das Verfahren kann des Weiteren das selektive Aktivieren einer Alarmvorrichtung auf der Grundlage der Zeit oder des Vergleichs umfassen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist eine isometrische Veranschaulichung einer beispielhaften offenbarten Lokomotive;
  • 2 ist eine isometrische Veranschaulichung einer beispielhaften offenbarten Kabine, die einen Teil der Lokomotive von 1 bilden kann;
  • 3 ist eine schematische Veranschaulichung eines beispielhaften offenbarten Ermüdungsüberwachungssystems, das in Verbindung mit der Lokomotive und Kabine von 1 und 2 verwendet werden kann; und
  • 4 ist ein Flussdiagramm, das ein beispielhaftes offenbartes Verfahren abbildet, das von dem Ermüdungsüberwachungssystem von 3 ausgeführt werden kann.
  • Detaillierte Beschreibung
  • 1 veranschaulicht eine beispielhafte mobile Maschine 10. In dem offenbarten Beispiel ist die Maschine 10 eine Lokomotive. Es wird jedoch in Betracht gezogen, dass die Maschine 10 falls gewünscht auch einen anderen Typ von Maschine verkörpern kann. Zum Beispiel kann die Maschine 10 einen straßen- oder geländegängigen Lastwagen, eine Baumaschine oder ein gewerblich genutztes Fahrzeug verkörpern. Alternativ könnte die Maschine 10 eine stationäre Maschine sein, etwa ein Generatoraggregat, eine Pumpe oder ein Bohrer, die ständige Aufmerksamkeit von einer Bedienperson erfordern. Auch andere Typen von Maschinen können möglich sein.
  • Als Lokomotive kann die Maschine 10 einen Wagenkörper 12 umfassen, der an gegenüberliegenden Enden durch eine Vielzahl von Drehgestellen 14 getragen wird (in 1 ist nur ein Drehgestell dargestellt). Jedes Drehgestell 14 kann dazu ausgebildet sein, in ein Gleis 15 (nur in 2 dargestellt) über eine Vielzahl von Rädern 16 einzugreifen und einen Rahmen 18 des Wagenkörpers 12 zu tragen. Eine oder mehrere Bremseinrichtungen 20 können einem oder allen Rädern 16 eines bestimmten Drehgestells 14 zugeordnet sein, und eine beliebige Anzahl Motoren (nicht dargestellt) kann an dem Rahmen 18 innerhalb des Wagenkörpers 12 montiert und antriebsmäßig mit Vortriebsrädern 16 verbunden sein. Die Steuerung über die Radbremsung und der Motorkraftstoffversorgung (sowie andere Lokomotivsteuerungen) können durch eine Bedienerkabine 22 bereitgestellt werden, die von dem Rahmen 18 getragen wird.
  • Der Innenraum einer beispielhaften Kabine 22 ist in 2 dargestellt. Wie in dieser Figur zu sehen ist, kann die Kabine 22 eine Vielzahl von Eingabeeinrichtungen 24 unterbringen. Die Eingabeeinrichtungen 24 können von der Bedienperson verwendet werden, um die Maschine 10 zu steuern, und einen beliebigen Typ von Vorrichtung umfassen, die im Stand der Technik bekannt ist. Zum Beispiel können die Eingabeeinrichtungen 24 umfassen, unter anderem eine Drosseleinrichtung, die dazu ausgestaltet ist, die Kraftstoffversorgung der Maschine 10 zu steuern, sowie einen Bremshebel, der dazu ausgestaltet ist, die Bremsung der Maschine 10 zu steuern. Die Eingabeeinrichtungen 24 können Hebel, Pedale, Räder, Knöpfe, Zugschalteinrichtungen, Berührungsbildschirmanzeigen etc. sein.
  • In der offenbarten Ausführungsform können die Bewegungen und weitere Aktivitäten einer Maschinenbedienperson von innerhalb der Kabine 22 verfolgt werden. Diese Bewegungen und/oder Aktivitäten können die Verwendung der Eingabeeinrichtungen 24 umfassen. Zum Beispiel können zusätzlich zur Erzeugung von Steuersignalen, die zur Steuerung von Maschinenoperationen verwendet werden, ein oder mehrere der Signale, die von den Eingabeeinrichtungen 24 erzeugt werden, ebenfalls überwacht und durch ein Ermüdungsüberwachungssystem 26 (”System” – in 3 dargestellt) als ein Weg verwendet werden, um zu bestimmen, ob die Bedienperson ermüdet ist. Insbesondere kann das System 26 auf der Grundlage einer Frequenz der Verwendung der Eingabevorrichtung in der Lage sein, zu bestimmen, ob die Bedienperson aufmerksam ist (z. B., wenn häufig eine Eingabe erhalten wird), geringfügig ermüdet ist (z. B. wenn die Eingabefrequenz verringert ist), beträchtlich ermüdet ist (z. B. wenn nur sporadisch ein Eingang erhalten wird), oder sogar schläft (z. B. wenn kein Eingang empfangen wird). In einigen Ausführungsformen kann zu diesem Zweck eine speziell vorgesehene Eingabevorrichtung 24 verwendet werden. Das heißt, es kann eine bestimmte Eingabevorrichtung 24 rein zu dem Zweck vorgesehen werden, die Aufmerksamkeit der Bedienperson nachzuweisen. Die Maschinenbedienperson muss diese speziell vorgesehene Eingabevorrichtung 24 mit einer Mindestfrequenz betätigen, um einen gewünschten Grad der Aufmerksamkeit zu zeigen.
  • Zusätzlich zum Einsatz der Frequenz der Verwendung der Eingabevorrichtung 24 als Weg, um einen Ermüdungsgrad der Maschinenbedienperson zu bestimmen, kann das System 26 Überwachungshardware zu diesem Zweck verwenden. Zum Beispiel kann das System 26 eine Abtastvorrichtung 28 allein oder zusammen mit einer oder mehreren Lichtquellen 30 umfassen. In dem offenbarten Beispiel ist die Abtastvorrichtung 28 eine IR-Abtastvorrichtung (z. B. eine Kamera), und die Lichtquellen 30 erzeugen IR-Licht, das nur für die Abtastvorrichtung 28 sichtbar ist, zur Verwendung durch die Abtastvorrichtung 28 unter Bedingungen mit schlechtem Licht. Andere Typen von Abtastvorrichtungen und/oder Lichtquellen können alternativ zu diesem Zweck eingesetzt werden, wenn dies gewünscht wird. Die Abtastvorrichtung 28 und die Lichtquellen 30 können sich innerhalb der Kabine 22 befinden, zum Beispiel innerhalb einer zentralen Steuertafel, die zu der Maschinenbedienperson weist.
  • Wie in 3 dargestellt kann das System 26 ein Steuergerät 32 einschließen, das in Kommunikation mit den Eingabeeinrichtungen 24, der Abtastvorrichtung 28 und den Lichtquellen 30 steht. Das Steuergerät 32 kann dazu ausgestaltet sein, Signale zu empfangen, die durch diese Komponenten erzeugt werden, einen Grad der Ermüdung der Bedienperson auf der Grundlage der Signale zu bestimmen, und selektiv eine oder mehrere Alarmvorrichtungen 34 und/oder eine Sanktionierungsvorrichtung 36 zu aktivieren. In dem offenbarten Beispiel sind zwei Alarmvorrichtungen 34 dargestellt, darunter eine akustische Alarmvorrichtung und eine visuelle Alarmvorrichtung. Es wird in Betracht gezogen, dass eine beliebige Anzahl und/oder ein beliebiger Typ von Alarmvorrichtung 34 verwendet werden und sich an beliebiger Stelle an der Maschine 10 befinden kann (z. B. innerhalb der Kabine 22). Die Sanktionsvorrichtung 36 kann eine Vorrichtung sein, die durch das Steuergerät 32 verwendet werden kann, um automatisch den Betrieb der Maschine 10 einzustellen, wenn bestimmt wird, dass die Bedienperson über einen Schwellengrad hinaus ermüdet ist (z. B. wenn die Bedienperson nicht reagiert). In dem offenbarten Beispiel ist die Sanktionsvorrichtung 36 ein Stellglied, das dazu fungiert, automatisch eine den Rädern 16 zugeordnete Bremsvorrichtung 20 zu aktivieren. In einigen Ausführungsformen kann dasselbe Stellglied (oder ein anderes Stellglied) dazu verwendet werden, um gleichzeitig (oder separat) die Kraftstoffzufuhr an den Motor der Maschine 10 zu verringern.
  • Das Steuergerät 32 kann einen einzelnen Mikroprozessor oder mehrere Mikroprozessoren umfassen, die ein Mittel zur Steuerung der Operationen der Maschine 10 (z. B. des Systems 26) in Ansprechen auf empfangene Signale umfassen. Zahlreiche kommerziell verfügbare Mikroprozessoren können dazu ausgebildet sein, die Funktionen des Steuergeräts 32 auszuführen. Es sollte klar sein, dass das Steuergerät 32 einfach einen allgemeinen Maschinenmikroprozessor verkörpern kann, der in der Lage ist, zahlreiche Maschinenfunktionen zu steuern.
  • Das Steuergerät 32 kann einen Speicher, eine Sekundärspeichereinrichtung, einen Prozessor, einen Zeitgeber und beliebige andere Komponenten zum Ausführen einer Anwendung aufweisen. Verschiedene andere Schaltungen können dem Steuergerät 32 zugeordnet sein, wie etwa Stromversorgungsschaltungen, Signalaufbereitungsschaltungen, Elektromagnet-Treiberschaltungen oder andere Typen von Schaltungen.
  • 4 veranschaulicht ein beispielhaftes Verfahren, das durch das Steuergerät 32 ausgeführt werden kann. 4 wird im folgenden Abschnitt detailliert beschrieben, um die offenbarten Konzepte noch weiter zu erläutern.
  • Gewerbliche Anwendbarkeit
  • Das Ermüdungsüberwachungssystem der vorliegenden Offenbarung kann auf eine beliebige Maschine anwendbar sein, bei der die Aufmerksamkeit der Bedienperson wichtig ist. Das offenbarte Ermüdungsüberwachungssystem kann helfen, die Bedienperson aufmerksam zu halten, indem ein Aktivitätsgrad der Bedienperson überwacht und indem auch Merkmale (z. B. Gesichtsmerkmale) der Bedienperson überwacht werden. Wenn das Ermüdungsüberwachungssystem bestimmt, dass die Bedienperson ermüdet ist, können ein Grad der Ermüdung beurteilt werden und mehrere unterschiedliche Maßnahmen ergriffen werden, um die Bedienperson zu alarmieren und/oder die Steuerung durch die Bedienperson zu korrigieren, und den sicheren Maschinenbetrieb sicherzustellen. Der Betrieb des Ermüdungsüberwachungssystem 26 wird nun im Detail beschrieben.
  • Während des Betriebs der Maschine 10 kann das System 26 verwendet werden, um einen Ermüdungsgrad der Bedienperson zu bestimmen und darauf zu reagieren. Das Steuergerät 32 kann dieses Verfahren initiieren, indem ein interner Zeitgeber gestartet wird und eine Abtastung der Bedienperson initiiert wird (Schritt 400). Die Abtastung kann initiiert werden, indem die Abtastvorrichtung 28 aktiviert wird, und in einigen Fällen auch die Lichtquellen 30 aktiviert werden. Auf der Grundlage der Bilder und/oder der Videodaten, die durch die Abtastvorrichtung 28 erzeugt werden, kann das Steuergerät 32 dann bestimmen, ob die Bedienperson ermüdet ist (Schritt 405). Insbesondere kann das Steuergerät 32 das abgetastete Bild der Bedienperson mit einem oder mehreren im Speicher gespeicherten Bildern vergleichen. Zum Beispiel kann das Steuergerät 32 eine tatsächliche Kopfhaltung aus dem abgetasteten Bild bestimmen und die tatsächliche Kopfhaltung mit einer oder mehreren Kopfhaltungen vergleichen, die unterschiedlichen Ermüdungsgraden der Bedienperson entsprechen. In einem weiteren Beispiel kann das Steuergerät 32 eine Augenstellung oder eine Lidschlagfrequenz aus dem abgetasteten Bild berechnen und die Augenstellung oder Lidschlagfrequenz mit Schwellenstellungen oder -frequenzen vergleichen. Weitere Merkmale der Bedienperson können ebenso oder alternativ in dem abgetasteten Bild erfasst und mit Informationen verglichen werden, die im Speicher gespeichert sind und den unterschiedlichen Ermüdungsgraden der Bedienperson entsprechen.
  • Auf der Grundlage dieser Vergleiche kann das Steuergerät 32 dann bestimmen, ob der Ermüdungsgrad der Bedienperson einem bestimmten Niveau entspricht, das eine Aktion durch das Steuergerät 32 erfordert. Zum Beispiel kann das Steuergerät 32 bestimmen, ob die Ermüdung der Bedienperson einen Grad 1, einen Grad 2, oder einen Grad 3 erreicht (Schritt 410). In der offenbarten Ausführungsform kann der Ermüdungsgrad 1 einer geringfügig ermüdeten Bedienperson entsprechen, wobei die Reaktionszeit und/oder das Urteilsvermögen etwas eingeschränkt ist. Der Ermüdungsgrad 2 kann einer beträchtlich ermüdeten Bedienperson entsprechen, wobei die Reaktionszeit und/oder das Urteilsvermögen beträchtlich eingeschränkt ist. Ermüdungsgrad 3 kann einer Bedienperson entsprechen, die nicht mehr reagiert (z. B. einer Bedienperson, die eingeschlafen ist). Es wird in Betracht gezogen, dass eine beliebige Anzahl von Ermüdungsgraden von dem System 26 eingesetzt werden kann, und/oder dass die Ermüdungsgrade falls gewünscht auch andere Bedeutungen haben können.
  • Wenn das Steuergerät 32 auf der Grundlage der Abtastung der Bedienperson bestimmt, dass die Bedienperson auf Grad 1 ermüdet ist, kann das Steuergerät 32 die Alarmvorrichtung 34 mit einer Ausgabe auf Stufe 1 aktivieren und auch einen entsprechenden Fehlerzustand protokollieren (Schritt 415). In der offenbarten Ausführungsform kann der Alarm auf Stufe 1 eine Aktivierung nur der visuellen Alarmvorrichtung 34 umfassen, mit der Absicht, die Bedienperson zu alarmieren und wieder aufmerksam zu machen.
  • Wenn das Steuergerät 32 auf der Grundlage der Abtastung der Bedienperson bestimmt, dass die Bedienperson auf Grad 2 ermüdet ist, kann das Steuergerät 32 die Alarmvorrichtung 34 mit einer Ausgabe auf Stufe 2 aktivieren und auch einen entsprechenden Fehlerzustand protokollieren (Schritt 420). In der offenbarten Ausführungsform kann der Alarm auf Stufe 2 eine Aktivierung nur der akustischen Alarmvorrichtung 34 oder die Aktivierung der akustischen und visuellen Alarmvorrichtungen 34 umfassen, mit der Absicht, die Bedienperson stärker zu alarmieren und wieder aufmerksam zu machen.
  • Wenn das Steuergerät 32 auf der Grundlage der Abtastung der Bedienperson bestimmt, dass die Bedienperson auf Grad 3 ermüdet ist, kann das Steuergerät 32 die Sanktionsvorrichtung 36 aktivieren und auch einen entsprechenden Fehlerzustand protokollieren (Schritt 425). In einigen Anwendungen kann das Steuergerät 32 zusätzlich (z. B. über drahtlose Kommunikationseinrichtungen) den Fehlerzustand an weiteres Personal an Bord der Maschine 10 und/oder an einer anderen Stelle (z. B. an eine zentrale Leitstelle) kommunizieren. In der offenbarten Ausführungsform kann die Aktivierung der Sanktionsvorrichtung 36 zu einer Verringerung der Kraftstoffzufuhr zum Motor, zur Aktivierung der Bremseinrichtungen 20, oder beides führen, mit der Absicht, die Bedienperson zu korrigieren und die Maschine 10 zu verlangsamen oder anzuhalten.
  • Auch wenn die Abtastung der Bedienperson nicht zeigt, dass die Bedienperson ermüdet ist, könnte die Bedienperson ermüdet sein, und die Ermüdung durch Abtasten einfach nicht erkennbar sein. Dementsprechend kann, wenn bei Schritt 405 bestimmt wird, dass die Bedienperson nicht ermüdet ist, das Steuergerät 32 das Aktivitätsniveau der Bedienperson überprüfen, um zu bestimmen, ob eine erste Zeitschwelle abgelaufen ist, seit eine Eingabe von der Bedienperson über die Einrichtungen 24 empfangen wurde (Schritt 430). Wenn die erste Zeitschwelle nicht abgelaufen ist, kann das Steuergerät 32 bestimmen, ob eine Eingabe von der Bedienperson empfangen wurde (Schritt 435). Wurde eine Eingabe der Bedienperson empfangen, kann der Zeitgeber zurückgesetzt werden und die Steuerung kann zu Schritt 400 zurückkehren. Die Steuerung kann zyklisch die Schritte 405, 430 und 435 durchlaufen, bis die Eingabe empfangen wurde, oder bis die erste Zeitschwelle abgelaufen ist. In der offenbarten Ausführungsform kann die erste Zeitschwelle etwa 45 Sekunden betragen, obwohl auch andere Zeitschwellen eingesetzt werden können.
  • Wenn die erste Zeitschwelle ohne weitere Eingabe der Bedienperson abläuft, kann das Steuergerät 32 den Alarm auf Stufe 1 aktivieren und den entsprechenden Fehlerzustand protokollieren (Schritt 415). Das Steuergerät 32 kann dann weiter die Eingaben der Bedienperson überwachen, um zu bestimmen, ob die Eingabe in der Folge empfangen (Schritt 440) wird, und auch weiter den Alarm auf Stufe 1 ausgeben. Wie oben in Verbindung mit Schritt 435 beschrieben, kann die Steuerung auf Schritt 400 übergeben und der Zeitgeber zurückgesetzt werden, sobald die Eingabe empfangen wird. Wenn jedoch bestimmt wird, dass eine zweite Zeitschwelle, die größer ist als die erste Zeitschwelle, ohne Eingabe durch die Bedienperson abgelaufen ist (Schritt 445), kann das Steuergerät 32 die Alarmvorrichtung(en) 34 auf Stufe 2 aktivieren und den entsprechenden Fehlerzustand protokollieren (Schritt 420).
  • Wieder kann das Steuergerät 32 die Eingaben der Bedienperson nach der Aktivierung der Alarmvorrichtungen 34 auf Stufe 2 weiter überwachen, um zu bestimmen, ob die Eingabe in der Folge empfangen wird (Schritt 450), weiter die Zeit überwachen und weiter die Alarmvorrichtungen 34 aktivieren. Wie oben in Verbindung mit den Schritten 435 und 440 beschrieben, kann die Steuerung auf Schritt 400 übergeben und der Zeitgeber zurückgesetzt werden, sobald die Eingabe empfangen wird. Wenn jedoch das Steuergerät 32 bestimmt, dass eine dritte Zeitschwelle, die größer als die erste Zeitschwelle ist, ohne Eingabe der Bedienperson abgelaufen ist (Schritt 455), kann das Steuergerät 32 die Sanktionsvorrichtung 36 aktivieren, den Fehlerzustand protokollieren und/oder das Fehlerprotokoll an anderes Personal oder an die nicht an Bord befindliche Leitstelle kommunizieren (Schritt 425).
  • In einer alternativen, nicht dargestellten Ausführungsform kann das Steuergerät 32 dazu ausgestaltet sein, einfach auf der Grundlage des abgetasteten Bilds der Bedienperson das Vorliegen eines Ermüdungsereignisses zu erfassen (d. h. ohne Quantifizierung des Ereignisses). und auf der Grundlage des Vorliegens des Ereignisses unmittelbar die Warnungen auf Stufe 2 und/oder 3 zu initiieren und/oder die Sanktionsvorrichtung 36 zu aktivieren. Auch andere Steuerungsstrategien können möglich sein.
  • Es wird auch in Betracht gezogen, dass das System 26 eine Kombination eines ermüdungsbasierten Systems mit einem bestehenden Alarmgebersystem sein kann, falls dies gewünscht wird. Zum Beispiel kann das bestehende Alarmgebersystem rein auf Grundlage der Frequenz der Eingaben, die von der Bedienperson erhalten werden, funktionieren, bis das System 26 visuell einen Mindestermüdungsgrad in der Bedienperson erfasst. In dieser Ausführungsform kann das System 26 den Betrieb des herkömmlichen Alarmgebersystems nur beeinflussen, nachdem der Mindestermüdungsgrad erfasst wurde. Und wenn der Mindestermüdungsgrad erfasst wird, kann das System 26 unmittelbar eine maximale Stufe akustischer und/oder visueller Alarme initiieren. Dies könnte helfen, die Bedienperson aus dem üblichen Ermüdungszyklus herauszureißen, der an Bord von Eisenbahnlokomotiven beobachtet wird, die mit herkömmlichen alten Systemen ausgestattet sind. Es wird auch in Betracht gezogen, dass die akustischen und/oder visuellen Alarme, die auf der Grundlage der Ermüdungserfassung implementiert werden, sich von den Alarmen unterscheiden könnten, die normalerweise durch die bestehenden Alarmgebersysteme implementiert werden (z. B. eine andere Lautstärke, ein anderer Ton etc.).
  • Es wird ferner in Betracht gezogen, dass das offenbarte System 26 einem Ereignisspeicher der Eisenbahnlokomotive (nicht dargestellt) zugeordnet sein könnte. Zum Beispiel könnten jedes Mal, wenn ein Alarm ausgegeben wird und/oder die Sanktionsvorrichtung 36 aktiviert wird, die entsprechenden Fehler in dem Ereignisspeicher protokolliert werden. Diese Informationen können dann selektiv von der Lokomotive auf ein entferntes Überwachungssystem heruntergeladen werden, wenn dies gewünscht wird.
  • Da das System 26 auf die Aktivität der überwachten Bedienperson und auch auf die abgetasteten Bilder der Bedienperson zurückgreifen kann, kann das System besser dazu geeignet sein, ein Ermüdungsereignis zu erfassen und korrekt zu erkennen. Diese verbesserte Fähigkeit kann helfen, sicherzustellen, dass rasch eine Reaktion auf solche Ereignisse implementiert wird.
  • Dem Fachmann wird klar sein, dass verschiedene Modifikationen und Abwandlungen an dem Ermüdungsüberwachungssystem der vorliegenden Offenbarung vorgenommen werden können, ohne von dem Schutzbereich der Offenbarung abzuweichen. Andere Ausführungsformen werden für den Fachmann aus einer Betrachtung der Beschreibung und einer praktischen Ausführung des darin offenbarten Ermüdungsüberwachungssystems klar sein. Die Beschreibung und die Beispiele sollen als rein beispielhaft betrachtet werden, wobei der wahre Schutzbereich der vorliegenden Offenbarung durch die folgenden Ansprüche und deren Äquivalente beschrieben wird.

Claims (10)

  1. Ermüdungsüberwachungssystem (26) für eine Maschine (10), das Folgendes umfasst: eine Eingabevorrichtung (24), die dazu ausgestaltet ist, ein erstes Signal zu erzeugen, das eine Aktivität anzeigt, die von einer Bedienperson der Maschine ausgeführt wird; eine Abtastvorrichtung (28), die dazu ausgestaltet ist, ein zweites Signal zu erzeugen, das ein erkanntes Merkmal der Maschinenbedienperson anzeigt; eine Alarmvorrichtung (34); und ein Steuergerät (32) in Kommunikation mit der Eingabevorrichtung, der Abtastvorrichtung und der Alarmvorrichtung, wobei das Steuergerät dazu ausgestaltet ist: eine Zeit zwischen Erzeugungen des ersten Signals zu bestimmen; einen Vergleich des erkannten Merkmals mit einem Schwellenmerkmal durchzuführen; und selektiv die Alarmvorrichtung auf der Grundlage der Zeit oder des Vergleichs zu aktivieren.
  2. Ermüdungsüberwachungssystem nach Anspruch 1, wobei die Aktivität eine Steuerungsaktivität umfasst, die einer Operation der Maschine zugeordnet ist.
  3. Ermüdungsüberwachungssystem nach Anspruch 1, wobei die Aktivität dem Zurücksetzen des Ermüdungsüberwachungssystems zugeordnet ist.
  4. Ermüdungsüberwachungssystem nach Anspruch 1, wobei die erkannte Eigenschaft ein Gesichtsmerkmal ist.
  5. Ermüdungsüberwachungssystem nach Anspruch 1, wobei: die Abtastvorrichtung eine IR-Kamera ist, die innerhalb einer Kabine der Maschine angeordnet ist; und das Ermüdungsüberwachungssystem des Weiteren zumindest eine IR-Quelle (30) umfasst, die ebenfalls innerhalb der Kabine der Maschine angeordnet ist.
  6. Ermüdungsüberwachungssystem nach Anspruch 1, wobei: die Alarmvorrichtung eine akustische Alarmvorrichtung ist; und das Ermüdungsüberwachungssystem des Weiteren eine visuelle Alarmvorrichtung umfasst.
  7. Ermüdungsüberwachungssystem nach Anspruch 6, des Weiteren umfassend eine Sanktionsvorrichtung (36), wobei das Steuergerät des Weiteren dazu ausgestaltet ist, selektiv die Sanktionsvorrichtung auf der Grundlage der Zeit und des Vergleichs zu aktivieren.
  8. Ermüdungsüberwachungssystem nach Anspruch 7, wobei die Sanktionsvorrichtung eine Bremse der Maschine umfasst.
  9. Ermüdungsüberwachungssystem nach Anspruch 8, wobei das Steuergerät des Weiteren dazu ausgestaltet ist, selektiv die Drosselstellung der Maschine zu verringern, wenn die Bremse der Maschine als Sanktion aktiviert wird.
  10. Ermüdungsüberwachungssystem nach Anspruch 9, wobei das Steuergerät dazu ausgebildet ist: einen Ermüdungsgrad der Maschinenbedienperson auf der Grundlage des Vergleichs zu bewerten; selektiv die visuelle Alarmvorrichtung zu aktivieren, wenn der Ermüdungsgrad auf einer ersten Stufe liegt oder die Zeit zwischen Erzeugungen des ersten Signals ein erstes Schwellenniveau überschreitet; selektiv die akustische Alarmvorrichtung zu aktivieren, wenn der Ermüdungsgrad auf einer zweiten Stufe liegt oder die Zeit zwischen Erzeugungen des ersten Signals ein zweites Schwellenniveau überschreitet, das größer ist als das erste Schwellenniveau; und selektiv die Sanktionsvorrichtung zu aktivieren, wenn der Ermüdungsgrad auf einer dritten Stufe liegt oder die Zeit zwischen Erzeugungen des ersten Signals ein drittes Schwellenniveau überschreitet, das größer ist als das zweite Schwellenniveau.
DE112015003785.3T 2014-09-21 2015-09-18 System zur Überwachung der Ermüdung einer Bedienperson Pending DE112015003785T5 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462053164P 2014-09-21 2014-09-21
US62/053,164 2014-09-21
US14/820,281 2015-08-06
US14/820,281 US9990552B2 (en) 2014-09-21 2015-08-06 Operator fatigue monitoring system
PCT/US2015/050829 WO2016044678A1 (en) 2014-09-21 2015-09-18 Operator fatigue monitoring system

Publications (1)

Publication Number Publication Date
DE112015003785T5 true DE112015003785T5 (de) 2017-06-08

Family

ID=55524980

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112015003785.3T Pending DE112015003785T5 (de) 2014-09-21 2015-09-18 System zur Überwachung der Ermüdung einer Bedienperson

Country Status (5)

Country Link
US (1) US9990552B2 (de)
CN (1) CN106714688B (de)
AU (1) AU2015317538B2 (de)
DE (1) DE112015003785T5 (de)
WO (1) WO2016044678A1 (de)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10457281B2 (en) 2017-01-23 2019-10-29 Ge Global Sourcing Llc Vehicle communication system
US10370012B2 (en) 2017-03-09 2019-08-06 Ge Global Sourcing Llc Adaptive vehicle control system
US9919712B1 (en) * 2015-08-10 2018-03-20 Rockwell Collins, Inc. Crew biometrics and aircraft data analysis with real-time and proactive actions
US9637133B1 (en) * 2015-08-10 2017-05-02 Rockwell Collins, Inc. Operator capacity monitor and engagement of emergency action system and method
US10279825B2 (en) 2017-01-10 2019-05-07 General Electric Company Transfer of vehicle control system and method
US11065958B2 (en) 2017-01-03 2021-07-20 Transportation Ip Holdings, Llc Control system and method
CN106934368A (zh) * 2017-03-13 2017-07-07 长安大学 一种基于眼动指标数据的驾驶疲劳检测系统及识别方法
CN107351842A (zh) * 2017-06-05 2017-11-17 广西荣中科技有限责任公司 一种安全驾驶系统
US10746112B2 (en) * 2018-10-18 2020-08-18 Ford Global Technologies, Llc Method and system for NVH control
CN112949345A (zh) * 2019-11-26 2021-06-11 北京四维图新科技股份有限公司 疲劳监测方法及系统、行车记录仪和智能座舱
CN113538852A (zh) * 2020-04-16 2021-10-22 上海擎感智能科技有限公司 一种疲劳驾驶的提醒方法和车载终端
US20220405518A1 (en) * 2021-06-18 2022-12-22 Honeywell International Inc. System for sensing an operator's capacitive state

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178367A (ja) * 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc 注意配分制御装置
US6946965B2 (en) 2002-12-30 2005-09-20 Young Thomas W Driver fatigue detector with automatic deactivation
DE10355221A1 (de) 2003-11-26 2005-06-23 Daimlerchrysler Ag Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法
JP2008242544A (ja) * 2007-03-26 2008-10-09 Hitachi Ltd 衝突回避装置および方法
SE532317C2 (sv) 2007-07-05 2009-12-15 Svenska Utvecklings Entrepreno Anordning för att väcka förare och operatörer
CN101100168A (zh) * 2007-07-20 2008-01-09 王继军 机动车防疲劳驾驶自动报警保护系统
CN100476894C (zh) * 2007-09-26 2009-04-08 曹明礼 汽车疲劳驾驶报警方法
US8576081B2 (en) * 2009-02-13 2013-11-05 Toyota Jidosha Kabushiki Kaisha Physiological condition estimation device and vehicle control device
US20120188376A1 (en) * 2011-01-25 2012-07-26 Flyvie, Inc. System and method for activating camera systems and self broadcasting
CN202142160U (zh) * 2011-07-13 2012-02-08 上海库源电气科技有限公司 一种疲劳驾驶预警系统
JP6366510B2 (ja) * 2012-03-09 2018-08-01 オキュスペクト オサケ ユキチュア 視覚系の機能を評価するためのシステムの作動方法および装置
JP2013235341A (ja) 2012-05-07 2013-11-21 Nikon Corp 疲労確認装置
CN203480649U (zh) * 2013-05-09 2014-03-12 大唐呼伦贝尔能源开发有限公司 一种疲劳驾驶告警装置及疲劳驾驶管理系统
CN104276085B (zh) * 2013-06-08 2015-09-23 江阴众和电力仪表有限公司 汽车驾驶员疲劳状态预判系统
GB201313986D0 (en) * 2013-08-05 2013-09-18 Biorics Nv Method and device for accurate realtime detection of drowsiness in operators using physiological responses

Also Published As

Publication number Publication date
CN106714688B (zh) 2023-09-29
US9990552B2 (en) 2018-06-05
US20160082838A1 (en) 2016-03-24
WO2016044678A1 (en) 2016-03-24
CN106714688A (zh) 2017-05-24
AU2015317538A1 (en) 2017-04-20
AU2015317538B2 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
DE112015003785T5 (de) System zur Überwachung der Ermüdung einer Bedienperson
DE102014212746B4 (de) Autonomes fahrzeug mit fahrer-anwesenheits- und physiologischer überwachung
EP2314489B1 (de) Verfahren zur Steuerung des Betriebs eines vollautomatischen, zur unabhängigen Fahrzeugführung ausgebildeten Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102014220759B4 (de) Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
DE102007046037B3 (de) Vorrichtung zur Erhöhung der Sicherheit im Straßenverkehr
DE112011105431B4 (de) Fahrzeug-Notfallevakuierungsvorrichtung
DE19983911B4 (de) Wachsamkeitsüberwachungssystem
DE102018220286A1 (de) Ablenkungserfassungssystem
DE112009004689T5 (de) Vorrichtung zum reagieren auf unangemessenes fahren
DE102019123635A1 (de) Fahrzeugausstiegsassistenzvorrichtung
DE112016001364T5 (de) Automatische fahrtsteuervorrichtung und automatisches fahrtsteuersystem
DE102014011264A1 (de) Verfahren zur Berechnung einer Rückholzeit
DE102016206126A1 (de) Verfahren und Vorrichtung zum Überwachen oder Regeln einer Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug und System für eine Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102013207369A1 (de) Verfahren und Vorrichtung zur Absicherung einer vollautomatischen Bewegung eines Fahrzeuges
DE112017007258T5 (de) Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
WO2015161992A1 (de) Verfahren zur bereitstellung einer diagnosenachricht bei einem schienenfahrzeug
DE112019000475T5 (de) Überwachung der aufmerksamkeit von fahrzeuginsassen für autonome fahrzeuge
DE102012023245A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102015001686A1 (de) Verfahren und Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren
DE102019107515A1 (de) Fahrzeugsteuervorrichtung und Computerprogramm
DE102023003034A1 (de) Beifahrer-Sicherheitswarnsystem und -verfahren für ein Fahrzeug, Computerprogrammprodukt und Fahrzeug
DE102014215461A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs, insbesondere Eisenbahnfahrzeugs
WO2020224985A1 (de) Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug
DE10257798A1 (de) Sicherheitsvorrichtung für nicht-spurgebundene Fahrzeuge

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: WAGNER & GEYER PARTNERSCHAFT MBB PATENT- UND R, DE

R081 Change of applicant/patentee

Owner name: PROGRESS RAIL LOCOMOTIVE INC., LA GRANGE, US

Free format text: FORMER OWNER: ELECTRO-MOTIVE DIESEL, INC., LA GRANGE, ILL., US

R082 Change of representative

Representative=s name: WAGNER & GEYER PARTNERSCHAFT MBB PATENT- UND R, DE

R081 Change of applicant/patentee

Owner name: PROGRESS RAIL LOCOMOTIVE INC., LA GRANGE, US

Free format text: FORMER OWNER: ELECTRO-MOTIVE DIESEL INC., LAGRANGE, ILL., US

R082 Change of representative

Representative=s name: WAGNER & GEYER PARTNERSCHAFT MBB PATENT- UND R, DE

R012 Request for examination validly filed