DE102013106347A1

DE102013106347A1 - Method and device for monitoring the eyes of the driver

Info

Publication number: DE102013106347A1
Application number: DE102013106347.0A
Authority: DE
Inventors: Peter Esser
Original assignee: Mulag Fahrzeugwerk Heinz Woessner GmbH and Co KG
Current assignee: Mulag Fahrzeugwerk Heinz Woessner GmbH and Co KG
Priority date: 2013-06-18
Filing date: 2013-06-18
Publication date: 2014-12-18

Abstract

Um sicherzustellen, dass bei einer selbstfahrenden Arbeitsmaschine der Fahrer etwa in Richtung der Gefahrrichtung (5), also eines sich annähernden Hindernisses, blickt, wird seine Blickrichtung (1) ständig indirekt überwacht durch Ermitteln, aus welchen Prüfrichtungen (7a, b, c) ein oder beide Augen (2a, b) des Fahrers (30) sichtbar sind, und ob sie nicht in unzulässiger Weise zu lange geschlossen bleiben. Widriger Weise wird ein Warnsignal abgegeben oder notfalls das Fahrzeug automatisch gestoppt.In order to ensure that the driver of a self-propelled working machine looks approximately in the direction of the danger direction (5), i.e. an approaching obstacle, his direction of view (1) is constantly indirectly monitored by determining which test directions (7a, b, c) or both eyes (2a, b) of the driver (30) are visible, and whether they do not remain closed for too long in an impermissible manner. A warning signal is embarrassingly given or, if necessary, the vehicle is stopped automatically.

Description

I. Anwendungsgebiet I. Field of application

Die Erfindung betrifft die Kollisionsverhinderung von fahrergeführten Fahrzeugen, insbesondere fahrbaren Arbeitsmaschinen, mit einem Hindernis in der Umgebung. The invention relates to the collision prevention of driver-driven vehicles, in particular mobile working machines, with an obstacle in the environment.

II. Technischer Hintergrund II. Technical background

Aus dem PKW-Bereich ist es bekannt, Sekundenschlaf des Fahrers zu verhindern durch Überwachung der Öffnungsstellung der Augen des Fahrers:
Eine im Innenraum angebrachte Kamera tastet das Gesicht des Fahrers ab, erkennt die Augen und erkennt auch, ob die Augen offen oder geschlossen sind. Sobald die Augen länger als die für einen normalen Wimpernschlag benötigte Zeit geschlossen bleiben, wird ein lautes Warnsignal abgegeben, um den mutmaßlich eingeschlafenen Fahrer wieder aufzuwecken. From the field of passenger cars, it is known to prevent the driver from sleeping in the driver's seat by monitoring the opening position of the driver's eyes:
An interior camera scans the driver's face, detects the eyes, and also detects whether the eyes are open or closed. As soon as the eyes remain closed for longer than the time required for a normal blink of an eye, a loud warning signal is given to wake up the presumed sleeper driver.

Bei Arbeitsmaschinen gibt es ein ähnliches Problem, wobei es dabei nicht nur um möglichen Sekundenschlaf geht, sondern auch darum, in bestimmten, kollisions-kritischen Fahrsituationen zu vermeiden, dass der Fahrer dabei nicht in die richtige Richtung blickt, nämlich auf die potentielle Gefahrenstelle. There is a similar problem with work machines, which is not only about possible microsleep, but also to avoid in certain, collision-critical driving situations that the driver does not look in the right direction, namely the potential danger spot.

Ein typischer Anwendungsfall sind dabei die Fahrer von Fahrzeugen auf dem Flughafenvorfeld, denn diese können im Fall einer Unaufmerksamkeit bei einem Flugzeug auch bei nur leichter Berührung und geringer Beschädigung dennoch einen hohen Schaden dadurch verursachen, dass zunächst das Flugzeug nicht mehr weiter in Betrieb bleiben darf, und zumindest durch einen Gutachter untersucht werden muss, ob die Verkehrssicherheit durch diese Beschädigung beeinträchtigt ist oder nicht. Auch die in der Folge notwendigen Reparaturen sind – auch bei sehr kleinen Beschädigungen – bei einem Flugzeug sehr teuer wegen der dabei anzuwendenden Sorgfalt und der anschließenden Überprüfungs- und Freigabeprozedur. A typical application case are the drivers of vehicles on the airport apron, because they can in the case of inattention in an aircraft even with light touch and minor damage nevertheless cause a high damage that initially the aircraft may not continue to operate, and at least by an appraiser must be examined whether the traffic safety is affected by this damage or not. Even the repairs that are necessary in the aftermath - even with very small damage - are very expensive for an aircraft because of the care that must be taken and the subsequent inspection and approval procedure.

Eines der kritischsten Vorfeld-Fahrzeuge sind dabei die selbstfahrenden Gepäckförderbänder, die quer seitlich neben das Flugzeug fahren, das vordere freie Ende des Förderbandes anheben und es an oder in die nur wenig breitere Ladeluke des Flugzeuges in ca. 5 bis 6 m Höhe hinein manövrieren. Dabei kann bei einer Unachtsamkeit leicht eine Berührung der Außenhaut des Flugzeuges durch Anfahren unterhalb oder seitlich neben der Ladeluke oder der geöffneten Tür der Ladeluke geschehen. One of the most critical apron vehicles is the self-propelled baggage conveyor belts, which run transversely laterally next to the aircraft, lift the front free end of the conveyor belt and maneuver it into or into the only slightly wider hatch of the aircraft at about 5 to 6 m height. In the event of carelessness, the outer skin of the aircraft can easily be touched by starting below or laterally next to the hatch or the open hatch of the hatch.

Um dies zu vermeiden, ist die wichtigste Voraussetzung, dass der Fahrer in den kritischen letzten Sekunden des Heranfahrens genau auf die potentielle Berührungsstelle blickt, also weder in eine andere Richtung blickt noch dabei die Augen geschlossen hat wegen z.B. Sekundenschlafs. To avoid this, the most important requirement is that the driver, in the critical last seconds of approaching, look closely at the potential point of contact, that is, neither looking in a different direction nor closing his eyes because of e.g. Seconds sleep.

Diese Gefahr eines Anfahrens, noch dazu weit entfernt über dem Kopf des Fahrers, wurde bisher zu vermeiden versucht, indem man direkt an dem vorderen freien Ende des Förderbandes oder des Traggestelles hierfür Sensoren angeordnet hat, die eine zu starke Annäherung anzeigen. This danger of starting, even far away over the head of the driver, has been tried to avoid by directly arranged at the front free end of the conveyor belt or the support frame for this purpose sensors that indicate too close approach.

Dies ist jedoch zum einen deshalb fehlerbehaftet, weil ja beim Einfahren des vorderen freien Endes des Förderbandes in die Ladeluke auch bei korrektem Einfahren die umgebenden Flugzeugteile nur wenige Zentimeter entfernt sind. Ein darauf ansprechender Sensor kann also erst ansprechen, wenn eine Annäherung auf weniger als einige Zentimeter erfolgt ist, und dann ist die verbleibende Reaktionszeit für die Abgabe des Warnsignals und Reaktion durch den Fahrer oft zu gering, um ein Anfahren noch zu verhindern. However, this is on the one hand therefore flawed, because yes when entering the front free end of the conveyor belt in the hatch, even with correct retraction, the surrounding aircraft parts are only a few inches away. A responsive sensor can thus respond only when approaching less than a few centimeters, and then the remaining reaction time for the delivery of the warning signal and response by the driver is often too low to prevent a start still.

Desweiteren befinden sich die besagten Sensoren dabei im Außenbereich, sind also zum einen Wind und Wetter ausgesetzt, und befinden sich an einer sehr exponierten Position, an der sie auch sehr leicht beschädigt werden können. Auch deshalb sind die Vor-Ort-Sensoren häufig nicht einsatzfähig und stellen keine sichere dauerhafte Lösung dar. Furthermore, the said sensors are located outdoors, so on the one hand exposed to wind and weather, and are in a very exposed position, where they can be easily damaged. This is one of the reasons why the on-site sensors are often inoperable and do not provide a safe, permanent solution.

III. Darstellung der Erfindung III. Presentation of the invention

a) Technische Aufgabe a) Technical task

Es ist daher die Aufgabe gemäß der Erfindung, vor allem bei Arbeitsmaschinen, insbesondere einem selbst fahrenden Gepäckförderband auf dem Flughafenvorfeld, ein Anfahren dieser Arbeitsmaschine an einem Hindernis in der Umgebung, insbesondere bei gezieltem Annähern an das Hindernis, mit geringem Aufwand und dennoch zuverlässig zu vermeiden. It is therefore the object of the invention, especially in work machines, especially a self-propelled baggage conveyor belt on the airport apron, a startup of this machine at an obstacle in the environment, especially when targeted approaching the obstacle to avoid with little effort and yet reliable ,

b) Lösung der Aufgabe b) Solution of the task

Diese Aufgabe wird durch die Merkmale der Ansprüche 1 und 9 gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den Unteransprüchen. This object is solved by the features of claims 1 and 9. Advantageous embodiments will be apparent from the dependent claims.

Die Vorgehensweise der Überwachung soll erst einsetzen, wenn sich das Fahrzeug einem Hindernis nähert, und sich bereits in einer Entfernung unterhalb einer festgelegten ersten Gefahrentfernung befindet. The monitoring procedure should only begin when the vehicle approaches an obstacle and is already at a distance below a specified first danger distance.

Sobald diese Voraussetzung erfüllt ist, wird die Überwachung automatisch in Gang gesetzt, indem als erstes Kriterium überwacht wird, ob beide Augen des Fahrers mit Blickrichtung in die Gefahrrichtung, also diejenige Richtung in der sich das annähernde Hindernis befindet, ausgerichtet sind. Once this condition is met, the monitoring is automatically initiated by monitoring as the first criterion whether both Eyes of the driver looking in the direction of danger, ie the direction in which the approaching obstacle is aligned.

Ist das Gesicht des Fahrers in diese Gefahrrichtung nicht ausgerichtet, so ist dies daran erkennbar, dass nur ein oder gar kein Auge aus der Gefahrrichtung zu erkennen ist. If the driver's face is not aligned in this danger direction, this is recognizable by the fact that only one or no eye can be seen from the danger direction.

Als zweites Kriterium wird überwacht, ob wenigstens ein oder besser beide Augen nie länger geschlossen sind als für einen normalen Wimpernschlag üblich. As a second criterion, it is monitored whether at least one or better both eyes are never closed longer than usual for a normal eyelash stroke.

Sobald eines der beiden Überwachungskriterien nicht erfüllt ist, also entweder das Gesicht nicht mit beiden Augen in Gefahrrichtung blickt, oder eines der Augen länger geschlossen wird als für einen normalen Wimpernschlag üblich, wird ein Alarm abgegeben, vorzugsweise ein akustisches Warnsignal im Inneren der Fahrerkabine, um den möglicherweise abgelenkten oder eingeschlafenen Fahrer sofort aufzuwecken. As soon as one of the two monitoring criteria is not fulfilled, ie either the face does not look with both eyes in the direction of danger, or one of the eyes is closed longer than usual for a normal blink of an eye, an alarm is given off, preferably an acoustic warning signal inside the driver's cab immediately wake up the driver who may have been distracted or asleep.

Hat sich dabei das Fahrzeug bereits auf mehr als eine zweite, geringere, Gefahrentfernung an das Hindernis angenähert, so wird zusätzlich die Geschwindigkeit des Fahrzeuges automatisch reduziert, und/oder bei Unterschreiten einer weiteren, insbesondere dritten, noch geringeren Gefahrentfernung das Fahrzeug automatisch gestoppt. If the vehicle has already approached the obstacle more than a second, lower, danger distance, the speed of the vehicle is additionally automatically reduced, and / or the vehicle is automatically stopped when falling below a further, in particular third, even lower danger distance.

Diese gesamte Überwachung wird vorzugsweise in Vorwärts-Fahrtrichtung durchgeführt, da dies die häufigste Bewegungsrichtung ist und vor allem bei dem gefährlichen gewollten Annähern des Fahrzeuges an ein Hindernis, z.B. zum Zwecke des Be- und Entladens, dieses Annähern immer in Vorwärts-Fahrtrichtung geschieht. This entire monitoring is preferably carried out in the forward direction of travel, since this is the most frequent direction of movement and, above all, in the dangerous intentional approach of the vehicle to an obstacle, e.g. For the purpose of loading and unloading, this approach always happens in the forward direction.

Bei Fahrzeugen, mit denen häufig auch rangiert werden muss, kann es jedoch auch eine zweite oder mehrere andere Gefahrrichtungen geben, wofür der Fahrer sich entweder in Gefahrrichtung wenigstens mit dem Kopf umdrehen sollte oder sogar seinen Fahrersitz in die Gefahrrichtung drehen kann, und dann wird vorzugsweise die gesamte beschriebene Überwachung auch in mehreren unterschiedlichen Gefahrrichtungen durchgeführt. However, in vehicles with which it is often necessary to maneuver, there may also be a second or several other danger directions, for which the driver should either turn his head around in the danger direction or even turn his driver's seat in the danger direction, and then preferably the entire monitoring described also performed in several different danger directions.

Bei der Überwachung, ob das Gesicht in Gefahrrichtung blickt, also beide Augen des Fahrers aus der Gefahrrichtung erkannt werden können, kann ein festgelegter Richtungs-Abweichungsbereich von der Gefahrrichtung akzeptiert werden. When monitoring whether the face is facing in the direction of danger, ie both eyes of the driver can be recognized from the danger direction, a defined direction deviation range from the danger direction can be accepted.

Dies kann auf einfache Art und Weise dadurch erreicht werden, dass die Überprüfung, ob beide Augen des Gesichts des Fahrers erkennbar sind, aus zwei auf unterschiedlichen Seiten der Gefahrrichtung liegenden Prüfrichtungen aus durchgeführt wird. This can be achieved in a simple manner in that the checking whether both eyes of the driver's face are recognizable is carried out from two test directions lying on different sides of the danger direction.

Falls dabei nur aus der einen Prüfrichtung die beiden Augen des Fahrers erkannt werden, wird die Überwachung des geschlossenen Zeitraumes der Augen ebenfalls nur aus dieser Prüfrichtung durchgeführt. If in this case only the two eyes of the driver are recognized from one test direction, the monitoring of the closed period of the eyes is likewise carried out only from this test direction.

Vorzugsweise werden die Prüfrichtungen nicht nur von unterschiedlichen Seiten bezüglich der Gefahrenrichtung – betrachtet in der Aufsicht – durchgeführt, sondern auch aus unterschiedlichen Höhenrichtungen, vorzugsweise wiederum – in der Seitenansicht betrachtet – beidseits der Gefahrrichtung. Preferably, the test directions are not only performed from different sides with respect to the danger direction - as viewed in the plan view - but also from different height directions, preferably again - viewed in the side view - on both sides of the danger direction.

Vorzugsweise zusätzlich kann in einer Querrichtung zur Gefahrrichtung das Kopfprofil des Kopfes des Fahrers hinsichtlich seiner Lage überwacht werden, um festzustellen, ob der Kopf sich prinzipiell an der vorgesehenen Position in der Fahrerkabine befindet, und falls dies nicht der Fall ist, führt dies ebenfalls zur Abgabe eines Alarms und in der Folge zur Verzögerung oder Anhalten des Fahrzeuges in Abhängigkeit des Erreichens der entsprechenden Gefahrentfernungen. Preferably additionally, in a direction transverse to the danger direction, the head profile of the driver's head can be monitored for its position in order to determine whether the head is in principle at the intended position in the driver's cab, and if this is not the case, this also leads to release an alarm and subsequently to delay or stop the vehicle in response to reaching the appropriate danger distances.

Ein Fahrzeug sollte daher zur Durchführung des beschriebenen Verfahrens folgende Ausstattungsmerkmale besitzen:

– mindestens einen Näherungssensor am Fahrzeug
– zum einen mindestens eine Kamera zum Aufnehmen des Kopfes, insbesondere des Gesichtes, des Fahrers,
– wenigstens eine Auswerteelektronik, die mit der Kamera gekoppelt ist, und die in der Lage ist, aus dem Kamerabild zu ermitteln, ob keines, ein oder beide Augen im Kamerabild enthalten sind und über wie lange Zeiträume dieses Auge geschlossen ist,
– einen Alarmgeber, insbesondere einen akustischen Alarmgeber, der mit der Auswerteelektronik wirkverbunden ist.
– ein Verbindungsglied von der Auswerteelektronik zur Antriebssteuerung des Fahrzeugs, um dieses zu Verlangsamen oder Anzuhalten.

A vehicle should therefore have the following features to carry out the described method:

- At least one proximity sensor on the vehicle
On the one hand at least one camera for picking up the head, in particular the face, of the driver,
At least one evaluation unit which is coupled to the camera and which is able to determine from the camera image whether none, one or both eyes are contained in the camera image and for how long periods of time this eye is closed,
- An alarm, in particular an acoustic alarm, which is operatively connected to the transmitter.
- A link from the transmitter to the drive control of the vehicle to slow this or stop.

c) Ausführungsbeispiele c) embodiments

Ausführungsformen gemäß der Erfindung sind im Folgenden beispielhaft näher beschrieben. Es zeigen: Embodiments according to the invention are described in more detail below by way of example. Show it:

1a: die Annäherungssituation eines fahrbaren Gepäckförderbandes an ein Flugzeug, 1a : the approaching situation of a mobile luggage conveyor belt to an aircraft,

1b: das fahrbare Gepäckförderband in der Aufsicht, 1b : the mobile luggage conveyor in the supervision,

2a: die Fahrerkabine des fahrbaren Gepäckförderbandes in der Seitenansicht, 2a : the driver's cabin of the mobile luggage conveyor belt in side view,

2b: die Fahrerkabine des fahrbaren Gepäckförderbandes in der Aufsicht mit einer ersten Kopfstellung des Fahrers und 2 B : the driver's cab of the mobile luggage conveyor in the supervision with a first head position of the driver and

3: die Fahrerkabine des fahrbaren Gepäckförderbandes in der Aufsicht mit einer zweiten Kopfstellung des Fahrers. 3 the driver's cabin of the mobile luggage conveyor belt in the supervision with a second head position of the driver.

1a zeigt – betrachtet in Längsrichtung eines stehenden Flugzeuges – die seitliche Annäherung eines fahrbaren Gepäckförderbandes 33, welches seitlich an das Flugzeug herangefahren wird und mit dem vorderen Ende seines Förderbandes 34 durch Anheben und/oder Teleskopieren des Förderbandes je nach Flugzeugtyp nahe an die Ladeluke heran oder in die Ladeluke hinein manövriert werden muss. 1a shows - viewed in the longitudinal direction of a stationary aircraft - the lateral approach of a mobile luggage conveyor belt 33 , which is moved laterally to the aircraft and with the front end of its conveyor belt 34 by lifting and / or telescoping the conveyor belt, depending on the type of aircraft, it must be maneuvered close to the hatch or into the hatch.

Dabei müssen unerwünschte Kollisionen des fahrbaren Gepäckförderbandes 33 mit einem Hindernis 9, insbesondere in Form eines Flugzeuges, zuverlässig vermieden werden, wie im Folgenden beschrieben. This must be unwanted collisions of the mobile luggage conveyor belt 33 with an obstacle 9 , in particular in the form of an aircraft, reliably avoided, as described below.

In 1b ist das Fahrzeug 32 in Form des fahrbaren Gepäckförderbandes 33 in der Aufsicht dargestellt. Dabei ist erkennbar, dass sich das Förderband 34 in Längsrichtung, der Vorwärtsfahrtrichtung 10 des Fahrzeuges 32, auf der einen Seite erstreckt und über dessen Vorderkante hinaus ausgefahren werden kann, während sich die Fahrerkabine 31 daneben in der anderen Hälfte des Fahrzeuges befindet. Der Fahrer 30 kann also bei hochgestelltem und ausgefahrenem vorderen Ende des Förderbandes 34 schräg nach oben und zur Seite auf die rechte Seite des vorderen Endes des Förderbandes 34 blicken, während für ihn die linke Seite des vorderen Endes ohnehin nicht einsehbar ist. In 1b is the vehicle 32 in the form of the mobile luggage conveyor belt 33 shown in the supervision. It can be seen that the conveyor belt 34 in the longitudinal direction, the forward direction 10 of the vehicle 32 , extends on the one side and can be extended beyond the front edge, while the driver's cab 31 next to it in the other half of the vehicle. The driver 30 So can with raised and extended front end of the conveyor belt 34 obliquely upwards and to the side on the right side of the front end of the conveyor belt 34 look, while for him the left side of the front end is not visible anyway.

Um das Maß der Annäherung des Fahrzeuges 32 an umgebende Hindernisse zu detektieren, sind Näherungssensoren 12a bis d an den vier Außenecken des Fahrgestells des fahrbaren Gepäckförderbandes 33 angeordnet, und vorzugsweise zusätzlich an den beiden Ecken des vorderen Endes des Förderbandes 34 zusätzlich ebenfalls jeweils ein Näherungssensor 12e, f. To the degree of approach of the vehicle 32 to detect surrounding obstacles are proximity sensors 12a to d at the four outer corners of the chassis of the mobile luggage conveyor belt 33 arranged, and preferably in addition to the two corners of the front end of the conveyor belt 34 In addition, each also a proximity sensor 12e , f.

Vorzugsweise registriert jeder der Näherungssensoren, zum Beispiel 12e, das Eindringen eines Hindernisses in drei unterschiedlich große Gefahrentfernungen 8a–c, wie aus Übersichtlichkeitsgründen nur am Näherungssensor 12e eingezeichnet. Das Eindringen in die unterschiedlichen Gefahrentfernungen bedingt unterschiedliche automatische Reaktionen der später beschriebenen Auswerteelektronik 14, nämlich zum Beispiel Abgabe eines akustischen Warnsignals bei Eindringen eines Hindernisses in die größte Gefahrentfernung 8a, automatisches Verlangsamen des Fahrzeuges bei Eindringen in die zweite Gefahrentfernung 8b und Stoppen des Fahrzeuges bei Eindringen des Hindernisses in die dritte Gefahrentfernung 8c. Preferably, each of the proximity sensors registers, for example 12e , the intrusion of an obstacle into three different danger distances 8a -C, as for clarity only on the proximity sensor 12e located. The penetration into the different danger distances requires different automatic reactions of the evaluation electronics described later 14 namely, for example, emitting an acoustic warning signal when an obstacle enters the largest danger distance 8a , Automatic slowing of the vehicle when entering the second danger distance 8b and stopping the vehicle when the obstacle enters the third danger zone 8c ,

Dementsprechend muss die dritte Gefahrentfernung 8c, bei der ein automatisches Stoppen des Fahrzeuges erfolgt, niedriger gewählt werden als die bei regulärem Annähern an das Hindernis erfolgende Entfernung. Der kleinstmögliche Abstand zu diesem Näherungssensor, oder diese geringste Gefahrentfernung 8c, wird bei Näherungssensoren, zum Beispiel 12b, f, bei denen eine solche reguläre geringste Annäherung an ein Hindernis sehr klein sein kann, nicht vorgesehen. Die 2a und b zeigen die Fahrerkabine 31 mit darin sitzendem Fahrer 30 in der Seitenansicht sowie in der Aufsicht, mit diversen darin installierten Kameras 13a–e, um die Haltung des Kopfes des Fahrers und damit indirekt dessen Blickrichtung 1 zu überwachen:
Wie 2a zeigt, sind im linken und rechten oberen Eckbereich der Fahrerkabine jeweils zwei Kameras 13a, b mit unterschiedlich steilen Prüfrichtungen 7a, b in Richtung des Gesichtes 3 des Fahrers 30 ausgerichtet, und etwa auf Brusthöhe des Fahrers in der linken und rechten Vorderkante der Fahrerkabine jeweils eine Kamera 13c mit einer Prüfrichtung 7c, die von unten nach oben ansteigt und ebenfalls auf das Gesicht 3 des Fahrers gerichtet ist. Accordingly, the third danger removal must 8c , in which an automatic stopping of the vehicle takes place, are chosen to be lower than those taking place during regular approach to the obstacle. The smallest possible distance to this proximity sensor, or this lowest danger distance 8c , is used with proximity sensors, for example 12b , f, where such a regular least approach to an obstacle can be very small, not provided. The 2a and b show the cab 31 with driver sitting in it 30 in the side view as well as in the top view, with various cameras installed in it 13a -E, to the attitude of the driver's head, and thus indirectly to his line of vision 1 to monitor:
As 2a shows, are in the left and right upper corner of the cab each two cameras 13a , b with different steep test directions 7a , b in the direction of the face 3 the driver 30 aligned, and approximately at chest height of the driver in the left and right front edge of the cab each have a camera 13c with a test direction 7c , which rises from the bottom up and also on the face 3 directed by the driver.

In 2c ist in der Aufsicht zu erkennen, dass sich Kameras 13a nicht nur in den Innen-Kanten der Fahrerkabine 31 befinden, sondern gegebenenfalls auch von dort etwa zurückversetzt, wodurch sich geringfügig andere Prüfrichtungen 7d statt 7a ergeben, wenn alle Kameras dennoch auf das Gesicht des Fahrers gerichtet sind. In 2c is in the supervision to recognize that cameras 13a not only in the inside edges of the cab 31 but possibly also set back from there, resulting in slightly different test directions 7d instead of 7a result if all the cameras are still aimed at the driver's face.

2b zeigt ferner, dass seitlich neben dem Kopf an den Seitenwänden der Fahrerkabine etwa in Kopfhöhe ebenfalls je eine Kamera 13e angeordnet ist, die von der Seite auf den Kopf des Fahrers mit einer Prüfrichtung 7e gerichtet ist und das Kopfprofil 4 des Kopfes abtastet. 2 B shows further that laterally next to the head on the side walls of the cab at about head height also each have a camera 13e is arranged, from the side to the driver's head with a test direction 7e is directed and the head profile 4 of the head.

Alle Kameras sind in der Lage, die Augen 2a, b des Fahrers zu detektieren, und darüber hinaus zu detektieren, ob das jeweilige detektierte Auge momentan geöffnet oder geschlossen ist. Da die Kameras, sobald sie in Aktion gesetzt sind, – was erfolgt, wenn ein Hindernis in die erste Gefahrentfernung 8a eingedrungen ist – permanent Aufnahmen anfertigen, und mit einer Auswerteelektronik 14 verbunden sind, kann die Auswerteelektronik 14 ermitteln, in welche Blickrichtung 1 das Gesicht 3 des Fahrers 30 gerichtet ist, aufgrund der Auswertung und des Vergleichs, welche der Kameras beide Augen sieht, welche nur ein Auge und welche gegebenenfalls gar kein Auge sieht. Von den Kameras, die entsprechende Augen sehen, kann gleichzeitig ausgewertet werden, ob dieses sichtbare Auge über mehr als einen festgelegten Zeitwert, wie er für einen Wimpernschlag benötigt wird, geschlossen ist oder nicht. All cameras are capable of seeing the eyes 2a , b of the driver, and also to detect whether the respective detected eye is currently open or closed. Because the cameras, once they are put into action, - what happens when an obstacle to the first danger removal 8a has penetrated - make permanent recordings, and with a transmitter 14 connected, the transmitter can 14 determine in which direction 1 the face 3 the driver 30 is directed, based on the evaluation and the comparison, which of the cameras sees both eyes, which only one eye and which possibly no eye sees. At the same time, the cameras that see corresponding eyes can evaluate whether or not this visible eye is closed for more than a fixed time value, which is required for a blink of an eye.

In 2b ist dabei als ein möglicher erschwerender Umstand dargestellt, dass der Fahrer eine Kopfbedeckung tragen kann, beispielsweise eine Kappe 16 mit einem Schild 17, die je nach Größe und Position verhindern kann, dass Kameras mit einer schräg von oben nach unten gerichteten Prüfrichtung ein Auge erkennen können. Für diesen Fall sind die schräg von unten nach oben gerichteten Kameras vorgesehen, und zusätzlich die von der Seite aus das Kopfprofil 4 abtastenden Kameras. In 2 B is shown as a possible aggravating circumstance that the driver can wear a headgear, such as a cap 16 with a sign 17 which, depending on its size and position, can prevent cameras from being able to detect an eye with a test direction directed obliquely from top to bottom. In this case, the obliquely from bottom to top cameras are provided, and in addition from the side of the head profile 4 scanning cameras.

Es ist dann ausreichend, wenn die von unten nach oben blickenden Kameras 13c eine korrekte Blickrichtung 1 ermitteln können und auch eine korrekte Öffnung der Augen, auch wenn die von oben nach unten gerichteten Kameras dies nicht bestätigen können. It is then sufficient if the cameras look from bottom to top 13c a correct viewing direction 1 and even a correct opening of the eyes, even if the top-down cameras can not confirm this.

Die von der Seite das Kopfprofil 4 abtastenden Kameras 13e können insbesondere dafür verwendet werden, zu überprüfen, die vertikale Neigung der Blickrichtung 1 des Fahrers festzustellen, also den vertikalen Richtungs-Abweichungsbereich 6 gegenüber der potentielle Gefahrrichtung 5. The from the side the head profile 4 scanning cameras 13e can be used in particular to check the vertical inclination of the viewing direction 1 determine the driver, so the vertical direction deviation range 6 towards the potential danger direction 5 ,

Wenn der Auswerteelektronik 14 dabei auch die Gefahrrichtung 5 vorgegeben ist, in der sich ein kritisches Hindernis 9 annähern könnte, so kann die Auswerteelektronik 14 auch – wie in 3 eingezeichnet – die Abweichung der Blickrichtung 1 der Kopfhaltung gegenüber der potentiellen Gefahrrichtung 5 als Richtungs-Abweichungsbereich 6 ermitteln, für die in der Auswerteelektronik ebenfalls ein zulässiger Maximalwert hinterlegt sein kann. When the transmitter 14 as well as the danger direction 5 is given, in which there is a critical obstacle 9 could approach, so can the transmitter 14 also - as in 3 drawn - the deviation of the viewing direction 1 the head attitude opposite the potential danger direction 5 as a direction deviation range 6 for which a permissible maximum value can also be stored in the evaluation electronics.

Wird der zulässige Maximalwert des Richtungs-Abweichungsbereiches 6 überschritten, so reagiert die Auswerteelektronik darauf in gleicher Weise wie auf ein zu lange geschlossenes Auge, denn bei einem zu starken Richtungsabweichungsbereich 6 ist die Wahrscheinlichkeit sehr groß, dass der Fahrer das sich annähernde potentielle Hindernis nicht ansieht. Becomes the allowable maximum value of the direction deviation range 6 exceeded, the transmitter responds to it in the same way as on a too long closed eye, because in a too strong direction deviation range 6 There is a high probability that the driver will not look at the approaching potential obstacle.

Dabei kann die potentielle Gefahrrichtung 5, aus der sich das Hindernis annähert, fest vorgegeben sein oder sich in Abhängigkeit vom Zustand des fahrbaren Gepäckförderbandes 33 ändern, beispielsweise kann davon ausgegangen werden, dass die potentielle Gefahrrichtung 5 die Verbindungslinie zwischen dem vorderen Ende des Förderbandes 34 und dem Kopf des Fahrers 30, also der Mitte der Fahrerkabine 31, sei, so dass sich die potentielle Gefahrrichtung 5 mit Anheben und Ausfahren des vorderen Endes des Förderbandes 34 ändert. In this case, the potential danger direction 5 from which the obstacle approaches, be fixed or depending on the condition of the mobile luggage conveyor belt 33 change, for example, it can be assumed that the potential danger direction 5 the connecting line between the front end of the conveyor belt 34 and the driver's head 30 So the center of the cab 31 , let, so that the potential danger direction 5 with lifting and extending the front end of the conveyor belt 34 changes.

Die Auswerteelektronik 14 muss dann von der Verstellvorrichtung für das Förderband 34 entsprechende Informationen erhalten und zu diesem Zweck mit dieser Verstellvorrichtung gekoppelt sein. The evaluation electronics 14 must then from the adjustment device for the conveyor belt 34 receive appropriate information and coupled for this purpose with this adjustment.

Wenn die Auswerteelektronik 14 nicht nur einen zum Beispiel akustischen Alarmgeber 15 ansteuern können soll, sondern den Fahrprozess des fahrbaren Gepäckförderbandes 34 beeinflussen können soll, ist auch ein Verbindungsglied 18 zwischen der Auswerteelektronik 14 und der Antriebseinrichtung für das fahrbare Gepäckförderband 34 nötig, um das Fahrzeug automatisch zu verlangsamen oder zu stoppen, wenn zum Beispiel die zweite und dritte Gefahrentfernung 8b, c bei einem der Näherungssensoren unterschritten wird. If the transmitter 14 not just an audible alarm, for example 15 should be able to control, but the driving process of the mobile luggage conveyor belt 34 is to be able to influence is also a connecting link 18 between the transmitter 14 and the drive device for the mobile luggage conveyor belt 34 necessary to automatically slow down or stop the vehicle, for example, when the second and third danger distance 8b , c is fallen below in one of the proximity sensors.

Falls bei einem entsprechenden Fahrzeug nicht nur eine typische Gefahrrichtung 5 existiert, sondern beispielsweise bei Rückwärtsfahrt eine entgegen gerichtete Gefahrrichtung auftreten kann, können die entsprechenden Kameras auch in Richtung der weiteren Gefahrrichtung zusätzlich angeordnet sein, um in allen möglichen auftretenden Gefahrrichtungen die gleiche Überwachung der Kopfhaltung und Augenöffnung des Fahrers durchführen zu können. If with a suitable vehicle not only a typical danger direction 5 exists but, for example, when reversing an opposite direction of danger may occur, the corresponding cameras may also be additionally arranged in the direction of the further danger direction to perform the same monitoring of the head posture and eye opening of the driver in all possible occurring danger directions.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Blickrichtung line of sight
2a, b 2a, b: Auge eye
3 3: Gesicht face
4 4: Kopfprofil head profile
5 5: Gefahrrichtung danger direction
6 6: Richtungs-Abweichungsbereich Direction deviation range
7a, b, c 7a, b, c: Prüfrichtung test direction
8a–c 8a-c: Gefahrentfernung hazard Distance
9 9: Hindernis obstacle
10 10: Vorwärtsfahrtrichtung Forward direction
11 11: Querrichtung transversely
12a 12a: Näherungssensor Proximity sensor
13a 13a: Kamera camera
14 14: Auswerteelektronik evaluation
15 15: Alarmgeber alarm device
16 16: Kappe cap
17 17: Schild sign
18 18: Verbindungsglied link
30 30: Fahrer driver
31 31: Fahrerkabine cab
32 32: Fahrzeug vehicle
33 33: fahrbares Gepäckförderband mobile luggage conveyor belt
34 34: Förderband conveyor belt

Claims

Method for monitoring the eyes ( 2a , b) the driver ( 30 ) of a vehicle ( 32 ), in particular a self-propelled working machine, in particular in critical driving situations, by a) monitoring whether in the danger direction ( 5 ), in particular the forward direction of travel ( 10 ), an obstacle ( 9 ) at a distance below a specified first hazard distance ( 8a b) monitoring whether both eyes ( 2a , b), so the face ( 3 ), facing ( 1 ) in the danger direction ( 5 ), in particular the forward direction of travel ( 10 c) it is monitored whether at least one, in particular both eyes ( 2a , b) are never closed longer than usual for a normal eyelash stroke, d) if the basic condition according to a), but negative test result in b) and / or c) automatically gives a warning signal or the driving process is affected, in particular slowed down or stopped ,

Method according to claim 1, characterized in that the monitoring in each of several danger directions ( 5 ) of the vehicle ( 32 ) is carried out.

Method according to one of the preceding claims, characterized in that in the monitoring according to a) an accepted direction deviation range ( 6 ) from the danger direction ( 5 ) is accepted.

Method according to one of the preceding claims, characterized in that in step d) the driving process is slowed down when an obstacle ( 9 ) at a distance within a second danger distance ( 8b ) is located.

Method according to one of the preceding claims, characterized in that in step d) the driving process is stopped when an obstacle ( 9 ) at a distance below a third danger distance ( 8c ) is located.

Method according to one of the preceding claims, characterized in that the check consists of two on different sides and / or heights of the danger direction ( 5 ) ( 7a , b) from.

Method according to one of the preceding claims, characterized in that when monitoring feature a) from two different test directions ( 7a , b) from the test direction ( 7a ), from which the two eyes ( 2a , b) are detected, the monitoring according to feature c) is performed.

Method according to one of the preceding claims, characterized in that in addition a monitoring of the head profile ( 4 ) in a test direction ( 7c ) in the transverse direction ( 11 ) to the danger direction ( 5 ) is carried out.

Device for monitoring the viewing direction ( 1 ) of the driver ( 30 ) of a vehicle ( 32 ), in particular a self-propelled work machine, in the driver's cab ( 31 ) of the vehicle - at least one camera ( 13a ) with a test direction ( 7a ) in the direction of the head, in particular of the face ( 3 ) of the driver ( 30 ) is arranged, - with the at least one camera ( 13a ) an evaluation electronics ( 14 ), which - on the one hand is able to detect whether this camera currently has no, one or both eyes ( 2a , b) the driver ( 2 ) and - on the other hand, is able to recognize over which period of time the recognized eye ( 2a ) is open or closed, - an alarm device ( 15 ) is present and - on the vehicle ( 32 ) at least one proximity sensor ( 12a ) is arranged.

Device according to claim 9, characterized in that the vehicle is a mobile luggage conveyor belt ( 33 ) and the at least one proximity sensor ( 12a ) at the front end of the baggage conveyor belt ( 33 ) is arranged.

Device according to one of the preceding device claims, characterized in that at least two, better at least four cameras ( 13a to d) from respectively different, in particular symmetrical to the danger direction ( 5 ), test directions ( 7a to d) in the driver's cab ( 31 ) are arranged.

Device according to one of the preceding device claims, characterized in that a camera ( 7e ) in the transverse direction to the forward direction of travel, preferably on each side of the driver's cab ( 31 ) is arranged.

Device according to one of the preceding device claims, characterized in that a proximity sensor ( 12a ) at each of the exposed ends, in particular the corners, of the vehicle ( 32 ) is arranged.