EP3583540A1 - System and method for detecting the fatigue of a vehicle driver - Google Patents

System and method for detecting the fatigue of a vehicle driver

Info

Publication number
EP3583540A1
EP3583540A1 EP17800733.2A EP17800733A EP3583540A1 EP 3583540 A1 EP3583540 A1 EP 3583540A1 EP 17800733 A EP17800733 A EP 17800733A EP 3583540 A1 EP3583540 A1 EP 3583540A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
pupil diameter
driver
fatigue
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP17800733.2A
Other languages
German (de)
French (fr)
Inventor
Elisabeth Schmidt
Stefan Wiedemann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP3583540A1 publication Critical patent/EP3583540A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver

Definitions

  • the present invention relates to a system and method for detecting the fatigue of a driver of a vehicle.
  • a system for accurately detecting the fatigue of a driver of a vehicle comprising:
  • At least one camera for detecting the pupil diameter of the leader of
  • At least one sensor for detecting a timely luminance in the vehicle
  • the vehicle may be, for example, a motor vehicle, a rail vehicle, an aircraft, a watercraft, etc.
  • at least one camera can be arranged, which is designed to recognize the pupil diameter of the driver of the vehicle (also referred to below as the driver).
  • the vehicle may include at least one sensor for detecting a timely luminance in the vehicle. The luminance of a surface determines with which surface brightness the eye of the driver perceives the surface and thus has a direct relation to the optical
  • the vehicle also includes a computing module configured to detect the fatigue of the driver of the vehicle by calculation. The calculation is based on the pupil diameter detected by the at least one camera and the detected, up-to-date luminance in the vehicle.
  • the at least one camera preferably comprises a high-resolution interior camera and / or a high-resolution infrared camera.
  • the at least one camera may include a high-resolution interior camera.
  • the at least one camera may comprise a high-resolution infrared camera.
  • the pupil diameter can still be determined very precisely even in very poor lighting conditions in the vehicle.
  • the high-resolution interior camera and the high-resolution infrared camera can be implemented in a camera module. In another example, these may be implemented in different camera modules.
  • the at least one camera can be any and / or suitable numerical combination
  • Indoor cameras and / or infrared cameras include.
  • the at least one sensor for detecting the up-to-date luminance in the vehicle comprises a sensor for the automatic driving light control, AFL sensor.
  • the luminance x [cd / m 2 ] is the quotient of light intensity I [cd] and the visible illuminated area [m 2 ].
  • the light intensity I [cd] is the product on the illuminance E [Ix] and the squared distance r [m] between the illuminated surface and the eye.
  • the conversion can be done for example by the computing module or any other suitable module with appropriate computing capacity in the vehicle.
  • such an AFL sensor already installed in the vehicle in addition to the automatic driving light control of the vehicle can be used for detecting the current luminance x, so that there is no need for an additional sensor for detecting the current luminance in the vehicle.
  • the detection of the fatigue of the driver of the vehicle by the computing module comprises:
  • Pupil diameter; and / or a sensor for high beam regulation can be corrected.
  • the calculation of the pupil diameter D x in [mm] with respect to the detected, current luminance x can be calculated, for example, by the following formula: ⁇ _ ⁇ Q 0.8558-0.000401 + 8.4) 3
  • the detected pupil diameter D xy indicates the pupil diameter of the driver with respect to the current luminance x and the fatigue of the driver y and can be represented as follows:
  • the calculation of the fatigue of the driver of the vehicle by the computing unit may include appropriate correction factors.
  • a correction factor with respect to the speed of reduction of the pupil diameter of the driver can be introduced or used, for example, by a temporal derivative of the pupil diameter of the driver. For example, if the pupil diameter of the driver decreases very rapidly, then the cause is a sudden incidence of light, and the detection of the
  • the pupil diameter of the driver slowly over time (see Figure 3 and Figure 4), then the detection of fatigue by the computing module.
  • the correction factor can result, for example, from the following formula:
  • is the constriction of the pupil diameter due to the incidence of light
  • the computing module may also be previously for the driver
  • the up-to-date luminance x can be corrected or regulated by the automatic high beam light sensor.
  • the sensor for automatic high beam light control for example, at night driving an oncoming vehicle with the light on. From this, a correction factor for influencing the pupil diameter of the driver by the light of oncoming vehicles can be taken into account.
  • the correction factor may include suspending the driver's fatigue calculation by the computing module when the oncoming vehicle is oncoming light detected by the automatic high beam light sensor.
  • the computing module may take into account other correction factors in the calculation of the driver's fatigue, e.g. Day and / or seasons and / or current weather conditions in connection with the vehicle orientation.
  • Vehicle orientation can be determined, for example, by a navigation system in the vehicle, with data relating to the daily and / or seasons and current
  • Weather conditions can be obtained from a storage unit in the vehicle and / or one or more (backend) servers.
  • the system further comprises:
  • the control unit is set up to initiate at least a corresponding countermeasure when the driver of the vehicle detects tiredness.
  • the countermeasure may be an optical (eg via a
  • Output unit in the vehicle and / or acoustic (for example via a speaker in the vehicle) and / or to reduce the interior temperature, for example by a
  • the underlying object is achieved by a method for accurately detecting the fatigue of a driver of a vehicle, comprising:
  • the at least one camera preferably comprises a high-resolution interior camera and / or a high-resolution infrared camera.
  • the at least one sensor for detecting the up-to-date luminance in the vehicle comprises a sensor for the automatic driving light control, AFL sensor.
  • the detection of the fatigue of the driver of the vehicle by the computing module comprises:
  • the method preferably includes initiating, by means of at least one control unit, a countermeasure when fatigue is detected.
  • Fig. 1 shows an exemplary system for the exact detection of fatigue of a
  • Fig. 2 shows an exemplary method for the exact detection of fatigue
  • Fig. 3 shows a decrease in the pupil diameter of subjects at
  • FIG. 4 shows an exemplary decrease of the pupil diameter of subjects during monotonous driving and constant light conditions with time as well as the positive influence of an external stimulus on the fatigue of the person
  • FIG. 1 shows an exemplary system 100 for the exact detection of the tiredness of a driver 120 of a vehicle 110 (hereinafter also referred to as driver 120).
  • the vehicle 110 may be, for example, a motor vehicle, a rail vehicle, an aircraft, a watercraft, etc.
  • the system 100 includes at least one camera 1 12 for detecting the pupil diameter of the driver 120.
  • the at least one camera 1 12 can include a high-resolution indoor camera.
  • the pupil diameter of the driver 120 can be determined very accurately by means of a high-resolution interior camera.
  • the at least one camera 12 may comprise a high-resolution infrared camera.
  • the pupil diameter of the driver 120 can still be determined very accurately even in very poor light conditions (eg darkness, tunnels, etc.) in the vehicle 110.
  • the high-resolution interior camera and the high-resolution infrared camera can be implemented in a camera module. In another example, these may be implemented in different camera modules.
  • the at least one camera 12 may comprise any desired and / or suitable numerical combination of interior cameras and / or infrared cameras.
  • the system 100 also includes at least one sensor 1 16 A for detecting a
  • the luminance (of a surface in the vehicle 1 10) determines the surface brightness with which the eye of the driver 120 perceives the surface and thus has a direct relation to the visual sensory perception.
  • the at least one sensor 1 16 A for detecting the timely luminance in the vehicle 1 10 may include a sensor for the automatic driving light control, AFL sensor 1 16 A.
  • the sensor for the automatic driving light control (AFL sensor) 1 16 A for example, a timely luminance x detect.
  • AFL sensor 1 16 A is configured to detect illuminance on the vehicle surroundings (ie, which luminous flux in lumens, Im, falls on a unit area surrounding the vehicle in m 2 , also Lux,
  • the luminance x [cd / m 2 ] is the quotient of light intensity I [cd] and the visible illuminated area [m 2 ].
  • the light intensity I [cd] is the product on the illuminance E [Ix] and the squared distance r [m] between the illuminated surface and the eye.
  • the conversion can for example be done by the computing module 1 14, see below, or any other suitable module (not shown) with corresponding computing capacity in the vehicle 1 10.
  • such an AFL sensor 1 16 A already installed in the vehicle 1 10 can be used for detecting the current luminance x, so that there is no additional sensor for detecting the timely luminance in the vehicle 1 10 needs.
  • the system 100 may further comprise at least one calculation module 1 14 for detecting the fatigue of the driver of the vehicle 120 by calculation, wherein the calculation based on the detected pupil diameter and the detected, timely luminance in the vehicle 1 10.
  • the computing module 1 14 may perform the calculation based on the detected by the at least one camera 1 12 pupil diameter of the driver 120 and the detected by the at least one sensor 1 16 A, timely luminance in the vehicle 1 10. In particular, the computing module 1 14, the calculation of the
  • the pupil diameter D xy detected by the at least one camera 12 indicates the pupil diameter of the driver 120 with reference to the current luminance x and the fatigue of the driver y and can be represented as follows:
  • a comparison of the pupil diameter detected by the at least one camera 12 with the pupil diameter calculated by the computing module 1 14 can be compared
  • the calculation of the fatigue of the driver 120 of the vehicle 1 10 by the computing unit 1 14 may include appropriate correction factors. For example, a
  • Correction factor with respect to the speed of reduction of the pupil diameter of the driver 120 may be introduced or used, for example, by taking a time derivative of the pupil diameter of the driver 120. For example, if the pupil diameter of the driver 120 decreases very rapidly, then the cause is a sudden one
  • the fatigue detection is performed by the computing module 1 14.
  • the correction factor can result, for example, from the following formula:
  • the computing module 1 14 can also be used for data previously stored for the driver 120 (for example in a memory unit 1 18 in the vehicle 1 10)
  • the up-to-the-minute luminance x can be corrected or regulated by the automatic highbeam control sensor 1 16 B
  • the sensor for automatic high beam regulation 1 16 B for example, a night driving
  • the correction factor may be detected by the sensor for automatic high beam regulation 1 16 B,
  • Oncoming vehicle with the light on the suspension of the calculation of the fatigue of the driver 120 by the computing module 1 14 include.
  • Calculation module 1 14 take into account further correction factors in the calculation of the driver's fatigue 120, e.g. Daily and / or seasons and / or current
  • the vehicle orientation can be determined, for example, by a navigation system in the vehicle, wherein data relating to the times of day and / or seasons and current weather conditions can be obtained from a memory unit 118 in the vehicle 110 and / or from one or more (backend) servers 130 ,
  • the system 100 may further comprise at least one control unit 118, wherein the
  • Control unit 1 18 is set to initiate at least recognized a corresponding countermeasure if fatigue of the driver 120 or driver 120 of the vehicle 1 10 detected.
  • the countermeasure may be an optical (e.g.
  • Vehicle 1 10 act, as exemplified below with reference to Figures 3 and 4 explained.
  • FIG. 2 shows an exemplary method 200 for the exact detection of the fatigue of a driver 120 of a vehicle 110 (hereinafter also referred to as driver 120), wherein the
  • Method steps can be performed by a system 100 as described with reference to Figure 1, and the method steps can be carried out as described with reference to Figure 1.
  • the method comprises:
  • Detecting 210 by at least one camera 1 12, the pupil diameter of the guide 120 of the vehicle 1 10, wherein the at least one camera 1 12 may include a high-resolution interior camera and / or a high-resolution infrared camera.
  • Detect 230 by calculation in a computing module 1 14, if there is fatigue of the driver 120 of the vehicle 1 10, wherein the calculation based on the at least one camera 1 12 detected pupil diameter and the detected, timely luminance in the vehicle 1 10.
  • Detecting 230 the fatigue of the driver 120 of the vehicle 1 10 (or driver 120) by the computing module 14 may include:
  • the method may also include initiating 240, by at least one control unit 118, a countermeasure of fatigue 236 detected by the computing module 1 14, as described with reference to FIGS. 3 and 4, for example.
  • FIG. 3 shows a decrease in the average pupil diameter in millimeters (mm) 310 of subjects during monotonous travel over time in minutes (min) 320, whereby the subjects were confronted with external stimuli at specific times, in particular in minutes 5, 10 and 27 ,
  • mm millimeters
  • min minutes
  • FIGS. 3 and 4 show a decrease in the average pupil diameter in millimeters (mm) 310 of subjects during monotonous travel over time in minutes (min) 320, whereby the subjects were confronted with external stimuli at specific times, in particular in minutes 5, 10 and 27 .
  • Pupil diameters in minutes 5, 10 and 27 were created in particular by verbal questioning of the subjects during the test drives in the simulator. In particular, this involves the evaluation or results of a driving simulator study. It thus turns out that a cognitive effort, such as the answer to questions, a widening of the pupil diameter and thus an increased alertness or an increased
  • Attention level includes.
  • FIG. 4 shows an exemplary decrease in the diameter of the pupil in mm 410 of subjects during monotonous driving with time in min 420.
  • the positive influence of an external stimulus on the fatigue of the subjects is shown as of minute 20 as the result of another driving simulator study.
  • the pupil diameter is very well suited as indicator for the tiredness or vigilance of drivers, as long as the lighting conditions are constant.
  • the system 100 and method 200 described with reference to FIGS. 1 and 2 now permit accurate detection of the fatigue of drivers 120 by taking into account non-constant lighting conditions related to the pupil diameter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

The invention relates to a system for the exact detection of the fatigue of a driver of a vehicle. The system comprises at least one camera for detecting the pupil diameter of the driver of the vehicle; at least one sensor for detecting a current luminance in the vehicle; and at least one computer module for detecting the fatigue of the driver of the vehicle by calculation, wherein the calculation is based on the detected pupil diameter and the detected, current luminance in the vehicle.

Description

System und Verfahren zur Erkennung der Müdigkeit eines Fahrzeugführers  System and method for detecting the fatigue of a driver
Die vorliegende Erfindung betrifft ein System und Verfahren zur Erkennung der Müdigkeit eines Führers eines Fahrzeugs. The present invention relates to a system and method for detecting the fatigue of a driver of a vehicle.
Es ist bekannt, dass Führer von Fahrzeugen bzw. Fahrzeugführer eine besonders hohe It is known that drivers of vehicles or drivers a particularly high
Daueraufmerksamkeit (Vigilanz) aufweisen müssen. Fällt die Höhe der Aufmerksamkeit des Fahrzeugführers, beispielsweise aufgrund von Müdigkeit durch Schlafmangel und/oder eine monotone Fahrsituation, so erhöht sich das Unfallrisiko und stellt somit für den Fahrzeugführer und andere Verkehrsteilnehmer ein Risiko dar. Dabei kann es Führern von Fahrzeugen selbst bei Tag-Fahrten schwerfallen, eine Daueraufmerksamkeit hinsichtlich des Fahrzeugführens aufrechtzuerhalten. Dies trifft insbesondere bei langen und monotonen Fahrstrecken wie z.B. Autobahnfahrten zu. Eine Herausforderung bei Systemen zur Müdigkeitserkennung eines Führers eines Fahrzeugs liegt darin, sicher zu erkennen, wann sich beim Fahrer eine Müdigkeit einstellt. Wird die Müdigkeit fälschlicher Weise erkannt (d.h. die Vigilanz des Führers desHave to have constant attention (vigilance). If the height of the driver's attention falls, for example as a result of tiredness due to lack of sleep and / or a monotonous driving situation, the risk of accidents increases and thus represents a risk for the driver and other road users. It may be drivers of vehicles even during day trips difficult to maintain a constant attention to the vehicle. This is especially true for long and monotonous routes such as. Motorway trips too. One challenge with fatigue detection systems for a driver of a vehicle is to be sure of when the driver is experiencing fatigue. If the fatigue is erroneously recognized (i.e., the vigilance of the leader of the
Fahrzeugs ist vorhanden), so sind entsprechende Maßnahmen für den Fahrzeugführer höchst unkomfortabel. Wird eine Müdigkeit bzw. eine Verringerung der Vigilanz hingegen fälschlicher Weise nicht erkannt, so stellt dies eine Gefahr für den Fahrzeugführer und die beteiligten Verkehrsteilnehmer dar. Vehicle is present), so appropriate measures for the driver are highly uncomfortable. If, however, fatigue or a reduction in vigilance is incorrectly not recognized, this represents a danger to the vehicle driver and the road users involved.
Die Aufgabe der Erfindung besteht darin, die vorstehend genannten Nachteile zu vermeiden und eine Lösung zu schaffen, die eine exakte Erkennung der Müdigkeit des Führers eines The object of the invention is to avoid the above-mentioned disadvantages and to provide a solution which provides an accurate detection of the fatigue of the leader
Fahrzeugs ermöglicht. Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche. Vehicle allows. This object is achieved by the features of the independent claims. Preferred embodiments are subject of the dependent claims.
Gemäß einem ersten Aspekt wird ein System zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs, umfassend: According to a first aspect, there is provided a system for accurately detecting the fatigue of a driver of a vehicle, comprising:
zumindest eine Kamera zur Erfassung des Pupillendurchmessers des Führers des at least one camera for detecting the pupil diameter of the leader of
Fahrzeugs; vehicle;
zumindest einen Sensor zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug; und  at least one sensor for detecting a timely luminance in the vehicle; and
l zumindest ein Rechenmodul zur Erkennung der Müdigkeit des Führers des Fahrzeugs durch Berechnung, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug basiert. Bei dem Fahrzeug kann es sich beispielsweise um ein Kraftfahrzeug, ein Schienenfahrzeug, ein Flugzeug, ein Wasserfahrzeug etc. handeln. Im Fahrzeug kann zumindest eine Kamera angeordnet sein, die ausgelegt ist, den Pupillendurchmesser des Führers des Fahrzeugs (im Folgenden auch Fahrer genannt) zu erkennen. Darüber hinaus kann das Fahrzeug zumindest einen Sensor zur Erkennung einer zeitaktuellen Leuchtdichte im Fahrzeug umfassen. Die Leuchtdichte einer Fläche bestimmt, mit welcher Flächenhelligkeit das Auge des Fahrers die Fläche wahrnimmt und hat somit einen unmittelbaren Bezug zur optischen l at least one calculation module for detecting the fatigue of the driver of the vehicle by calculation, wherein the calculation based on the detected pupil diameter and the detected, timely luminance in the vehicle. The vehicle may be, for example, a motor vehicle, a rail vehicle, an aircraft, a watercraft, etc. In the vehicle, at least one camera can be arranged, which is designed to recognize the pupil diameter of the driver of the vehicle (also referred to below as the driver). In addition, the vehicle may include at least one sensor for detecting a timely luminance in the vehicle. The luminance of a surface determines with which surface brightness the eye of the driver perceives the surface and thus has a direct relation to the optical
Sinneswahrnehmung. Das Fahrzeug umfasst zudem ein Rechenmodul, welches eingerichtet ist, die Müdigkeit des Führers des Fahrzeugs durch Berechnung zu erkennen. Die Berechnung basiert auf dem durch die zumindest eine Kamera erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug. Sensory perception. The vehicle also includes a computing module configured to detect the fatigue of the driver of the vehicle by calculation. The calculation is based on the pupil diameter detected by the at least one camera and the detected, up-to-date luminance in the vehicle.
Vorzugsweise umfasst die zumindest eine Kamera eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera. Die zumindest eine Kamera kann eine hochauflösende Innenraumkamera umfassen. The at least one camera preferably comprises a high-resolution interior camera and / or a high-resolution infrared camera. The at least one camera may include a high-resolution interior camera.
Vorteilhafter Weise kann durch eine hochauflösende Innenraumkamera der Advantageously, by a high-resolution interior camera of the
Pupillendurchmesser sehr exakt bestimmt werden. Zudem oder alternativ dazu kann die zumindest eine Kamera eine hochauflösende Infrarotkamera umfassen. Vorteilhafter Weise kann so der Pupillendurchmesser auch bei sehr schlechten Lichtverhältnissen im Fahrzeug immer noch sehr exakt bestimmt werden. Die hochauflösende Innenraumkamera und die hochauflösende Infrarotkamera können in einem Kameramodul realisiert sein. In einem anderen Beispiel können diese in verschiedenen Kameramodulen realisiert sein. Die zumindest eine Kamera kann eine beliebige und/oder geeignete, zahlenmäßige Kombination aus Pupil diameter can be determined very accurately. In addition, or alternatively, the at least one camera may comprise a high-resolution infrared camera. Advantageously, the pupil diameter can still be determined very precisely even in very poor lighting conditions in the vehicle. The high-resolution interior camera and the high-resolution infrared camera can be implemented in a camera module. In another example, these may be implemented in different camera modules. The at least one camera can be any and / or suitable numerical combination
Innen raumkameras und/oder Infrarotkameras umfassen. Indoor cameras and / or infrared cameras include.
Vorzugsweise umfasst der zumindest eine Sensor zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor. Der Sensor für die automatische Fahrlichtsteuerung (AFL-Sensor) kann beispielsweise eine zeitaktuelle Leuchtdichte x erfassen. Falls der AFL-Sensor beispielsweise eingerichtet ist, eine Beleuchtungsstärke E auf die Fahrzeugumgebung zu erfassen (d.h. welcher Lichtstrom in Lumen, Im, auf eine das Fahrzeug umgebene Flächeneinheit in m2 fällt, auch Lux, Ix, genannt: l lx = 1 ^), kann eine entsprechende Umrechnung zunächst in die Lichtstärke in cd und daraufhin in die (zeitaktuelle) Leuchtdichte x in cd/m2 erfolgen. Preferably, the at least one sensor for detecting the up-to-date luminance in the vehicle comprises a sensor for the automatic driving light control, AFL sensor. For example, the sensor for the automatic driving light control (AFL sensor) can detect a current luminance x. If the AFL sensor is for example arranged to detect an illumination intensity E on the vehicle environment (ie, which luminous flux in lumen, Im, to the vehicle surrounded unit area in m 2 falls, Lux, Ix, named: l lx = 1 ^) , a corresponding conversion can first be done in the light intensity in cd and then in the (current) luminance x in cd / m 2 .
/ E - r2 / E - r 2
X = Ä =— X = A = -
Hierbei ist die Leuchtdichte x [cd/m2] der Quotient aus Lichtstärke I [cd] und der sichtbaren beleuchteten Fläche [m2]. Die Lichtstärke I [cd] ist das Produkt auf der Beleuchtungsstärke E [Ix] und des quadrierten Abstands r [m] zwischen beleuchteter Fläche und dem Auge. Die Here, the luminance x [cd / m 2 ] is the quotient of light intensity I [cd] and the visible illuminated area [m 2 ]. The light intensity I [cd] is the product on the illuminance E [Ix] and the squared distance r [m] between the illuminated surface and the eye. The
Parameter A und r sind maßgeblich bestimmt von der Größe der Windschutzscheibe und des Abstands zwischen Auge und Windschutzscheiben und bewegen sich im Bereich A=1 ,5m-2,5m und r=0,5m-0,9m. Die Umrechnung kann beispielsweise durch das Rechenmodul oder jedes andere geeignete Modul mit entsprechender Rechenkapazität im Fahrzeug erfolgen. Vorteilhafter Weise kann so ein bereits im Fahrzeug verbauter AFL-Sensor (zusätzlich zur automatischen Fahrlichtsteuerung des Fahrzeugs) zur Erfassung der zeitaktuellen Leuchtdichte x verwendet werden, so dass es keines zusätzlichen Sensors zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug bedarf.  Parameters A and r are mainly determined by the size of the windshield and the distance between the eye and the windshields and are in the range A = 1, 5m-2.5m and r = 0.5m-0.9m. The conversion can be done for example by the computing module or any other suitable module with appropriate computing capacity in the vehicle. Advantageously, such an AFL sensor already installed in the vehicle (in addition to the automatic driving light control of the vehicle) can be used for detecting the current luminance x, so that there is no need for an additional sensor for detecting the current luminance in the vehicle.
Vorzugsweise umfasst die Erkennung der Müdigkeit des Führers des Fahrzeugs durch das Rechenmodul: Preferably, the detection of the fatigue of the driver of the vehicle by the computing module comprises:
Berechnung des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle  Calculation of the pupil diameter with reference to the detected, up-to-the-minute
Leuchtdichte; Luminance;
Vergleich des erfassten Pupillendurchmessers mit dem berechneten  Comparison of the recorded pupil diameter with the calculated one
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und  Pupil diameter with respect to the detected luminance; and
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3mm; k+1 ,4mm] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:  if the detected pupil diameter is more than a constant range [k-0.3mm; k + 1, 4mm] is a constant k = 0.6mm less than the calculated pupil diameter:
Erkennung der Müdigkeit des Führers des Fahrzeugs,  Detecting the fatigue of the driver of the vehicle,
wobei die Erkennung der Müdigkeit des Führers des Fahrzeugs durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des  wherein the detection of the fatigue of the driver of the vehicle by a temporal correction factor with respect to the speed of reduction of the
Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung korrigiert werden kann. Die Berechnung des Pupillendurchmessers Dx in [mm] mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte x kann beispielsweise durch die folgende Formel berechnet werden: ß _ ^Q 0,8558-0,000401 +8,4)3 Pupil diameter; and / or a sensor for high beam regulation can be corrected. The calculation of the pupil diameter D x in [mm] with respect to the detected, current luminance x can be calculated, for example, by the following formula: β _ ^ Q 0.8558-0.000401 + 8.4) 3
Diese Berechnung gilt allerdings lediglich den Pupillendurchmesser mit Bezug auf die zeitaktuelle Leuchtdichte x (d.h. ohne weitere Einflussfaktoren) an. However, this calculation applies only to the pupil diameter with respect to the current luminance x (that is, without further influencing factors).
Der erfasste Pupillendurchmesser Dx y hingegen gibt den Pupillendurchmesser des Fahrers mit Bezug auf die zeitaktuelle Leuchtdichte x und die Müdigkeit des Fahrers y an und kann folgendermaßen dargestellt werden: The detected pupil diameter D xy, on the other hand, indicates the pupil diameter of the driver with respect to the current luminance x and the fatigue of the driver y and can be represented as follows:
Γ) _ -^ g0,8558-0,00040l(iO5X+8,4)3 _ . y Γ) _ - ^ g0,8558-0,00040l (iO5X + 8,4) 3 _. y
Es gilt nun Folgendes: The following now applies:
Falls If
Dx— Dx y > [k— 0,3mm; k + 1,4mm], wobei k = 0,6mm; dann liegt eine Müdigkeit des Fahrers vor. Um eine besonders exakte Feststellung der Müdigkeit zu erzielen und somit einen Fehlalarm bei der Müdigkeitserkennung zu vermeiden, kann bevorzugt die Müdigkeit für [k - 0,1mm; k + 1,4mm] ermittelt werden. D x -D xy > [k- 0.3mm; k + 1.4mm], where k = 0.6mm; then there is a tiredness of the driver. In order to achieve a particularly accurate determination of fatigue and thus avoid a false alarm in the detection of fatigue, preferably the fatigue for [k - 0.1mm; k + 1.4mm].
Die Berechnung der Müdigkeit des Fahrers des Fahrzeugs durch die Recheneinheit kann dabei angemessene Korrekturfaktoren umfassen. Beispielsweise kann ein Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers des Fahrers eingeführt bzw. verwendet werden, indem beispielsweise eine zeitliche Ableitung des Pupillendurchmessers des Fahrers erfolgt. Verringert sich der Pupillendurchmesser des Fahrers beispielsweise sehr schnell, dann liegt die Ursache an einem plötzlichen Lichteinfall, und die Erkennung der The calculation of the fatigue of the driver of the vehicle by the computing unit may include appropriate correction factors. For example, a correction factor with respect to the speed of reduction of the pupil diameter of the driver can be introduced or used, for example, by a temporal derivative of the pupil diameter of the driver. For example, if the pupil diameter of the driver decreases very rapidly, then the cause is a sudden incidence of light, and the detection of the
Müdigkeit durch das Rechenmodul erfolgt nicht. Reduziert sich hingegen der Fatigue caused by the calculation module does not occur. Reduced, however, the
Pupillendurchmesser des Fahrers langsam im Laufe der Zeit (vgl. Figur 3 und Figur 4), dann erfolgt die Erkennung der Müdigkeit durch das Rechenmodul. The pupil diameter of the driver slowly over time (see Figure 3 and Figure 4), then the detection of fatigue by the computing module.
Der Korrekturfaktor kann sich beispielsweise aus folgender Formel ergeben: The correction factor can result, for example, from the following formula:
AD mm  AD mm
wenn—— > —0,05 , dann ist die Verengung des Pupillendurchmessers müdigkeitsbedingt AD mm if -> -0.05, then the narrowing of the pupil diameter is fatigued AD mm
wenn— < —0,05 , άαηη ist die Verengung des Pupillendurchmessers bedingt durch Lichteinfall wobei  if- <-0.05, άαηη is the constriction of the pupil diameter due to the incidence of light
D = erfasster Pupillendurchmesser des Fahrers 120 ;  D = detected pupil diameter of the driver 120;
t = Zeit(punkt); t = time (point);
AD _ D2 - £>! AD _ D 2 - £> !
At ~ t2 - t ' At ~ t 2 - t '
also die Differenz des durch die Kamera erfassten Pupillendurchmesser D2 zum Zeitpunkt t2 und des durch die Kamera erfassten Pupillendurchmessers Di zum Zeitpunkt ti im Verhältnis zum Abstand des Zeitpunktes t2 zum Zeitpunkt ti . In einem weiteren Beispiel kann das Rechenmodul zudem auf vorher für den Fahrer ie the difference of the pupil diameter D 2 detected by the camera at time t 2 and the pupil diameter Di recorded by the camera at time ti in relation to the distance of time t 2 at time ti. In another example, the computing module may also be previously for the driver
(beispielsweise in einer Speichereinheit im Fahrzeug) hinterlegte Daten zum (For example, in a storage unit in the vehicle) stored data for
Pupillendurchmesser bei Wachheit und/oder bei Müdigkeit zugreifen, um die Berechnung der Müdigkeit des Fahrers weiter zu präzisieren. Zusätzlich oder alternativ dazu kann die zeitaktuelle Leuchtdichte x durch den Sensor zur automatischen Fernlichtregulierung korrigiert bzw. reguliert werden. Vorteilhafter Weise kann durch die Verwendung des Sensors zur automatischen Fernlichtregulierung beispielsweise bei Nachtfahrten ein entgegenkommendes Fahrzeug mit eingeschaltetem Licht erkannt werden. Daraus kann ein Korrekturfaktor zur Beeinflussung des Pupillendurchmessers des Fahrers durch das Licht entgegenkommender Fahrzeuge berücksichtigt werden. Bei dem Korrekturfaktor kann es sich bei durch den Sensor zur automatischen Fernlichtregulierung erkanntem, entgegenkommendem Fahrzeug mit eingeschaltetem Licht die Aussetzung der Berechnung der Müdigkeit des Fahrers durch das Rechenmodul umfassen. Optional kann das Rechenmodul noch weitere Korrekturfaktoren bei der Berechnung der Müdigkeit des Fahrers berücksichtigen, z.B. Tages- und/oder Jahreszeiten und/oder aktuelle Wetterbedingungen in Verbindung mit der Fahrzeugorientierung. Die Gain pupil diameter on alertness and / or fatigue to further refine driver fatigue calculations. Additionally or alternatively, the up-to-date luminance x can be corrected or regulated by the automatic high beam light sensor. Advantageously, can be detected by the use of the sensor for automatic high beam light control, for example, at night driving an oncoming vehicle with the light on. From this, a correction factor for influencing the pupil diameter of the driver by the light of oncoming vehicles can be taken into account. The correction factor may include suspending the driver's fatigue calculation by the computing module when the oncoming vehicle is oncoming light detected by the automatic high beam light sensor. Optionally, the computing module may take into account other correction factors in the calculation of the driver's fatigue, e.g. Day and / or seasons and / or current weather conditions in connection with the vehicle orientation. The
Fahrzeugorientierung kann beispielsweise durch ein Navigationssystem im Fahrzeug ermittelt werden, wobei Daten hinsichtlich der Tages- und/oder Jahreszeiten sowie aktuelle Vehicle orientation can be determined, for example, by a navigation system in the vehicle, with data relating to the daily and / or seasons and current
Wetterbedingungen aus einer Speichereinheit im Fahrzeug und/oder von ein oder mehreren (Backend-) Servern bezogen werden können. Vorzugsweise umfasst das System zudem: Weather conditions can be obtained from a storage unit in the vehicle and / or one or more (backend) servers. Preferably, the system further comprises:
zumindest eine Steuereinheit, wobei die Steuereinheit eingerichtet ist, bei erkannter Müdigkeit des Führers des Fahrzeugs zumindest eine entsprechende Gegenmaßnahme einzuleiten. Beispielsweise kann es sich bei der Gegenmaßnahme um ein optisches (z.B. über eine at least one control unit, wherein the control unit is set up to initiate at least a corresponding countermeasure when the driver of the vehicle detects tiredness. For example, the countermeasure may be an optical (eg via a
Ausgabeeinheit im Fahrzeug) und/oder akustisches (z.B. über einen Lautsprecher im Fahrzeug) und/oder um eine Verringerung der Innenraumtemperatur beispielsweise durch eine Output unit in the vehicle) and / or acoustic (for example via a speaker in the vehicle) and / or to reduce the interior temperature, for example by a
entsprechende Temperaturregelung über die Klimaanlage im Fahrzeug handeln. appropriate temperature control via the air conditioning in the vehicle act.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird die zugrunde liegende Aufgabe durch ein Verfahren zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs gelöst, umfassend: According to a second aspect of the present invention, the underlying object is achieved by a method for accurately detecting the fatigue of a driver of a vehicle, comprising:
Erfassen, durch zumindest eine Kamera, des Pupillendurchmessers des Führers des Detecting, by at least one camera, the pupil diameter of the leader of the
Fahrzeugs; vehicle;
Erfassen, durch zumindest einen Sensor, einer zeitaktuellen Leuchtdichte im Fahrzeug; und  Detecting, by at least one sensor, a timely luminance in the vehicle; and
Erkennen, durch Berechnung in einem Rechenmodul, ob eine Müdigkeit des Führers des Fahrzeugs vorliegt, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug basiert.  Recognizing, by calculation in a calculation module, whether the driver of the vehicle is fatigued, the calculation being based on the detected pupil diameter and the detected, up-to-date luminance in the vehicle.
Vorzugsweise umfasst die zumindest eine Kamera eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera. The at least one camera preferably comprises a high-resolution interior camera and / or a high-resolution infrared camera.
Vorzugsweise umfasst der zumindest eine Sensor zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor. Preferably, the at least one sensor for detecting the up-to-date luminance in the vehicle comprises a sensor for the automatic driving light control, AFL sensor.
Vorzugsweise umfasst die Erkennung der Müdigkeit des Führers des Fahrzeugs durch das Rechenmodul: Preferably, the detection of the fatigue of the driver of the vehicle by the computing module comprises:
Berechnen des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle  Calculate the pupil diameter with reference to the detected, timely
Leuchtdichte; Luminance;
Vergleichen des erfassten Pupillendurchmessers mit dem berechneten  Comparing the detected pupil diameter with the calculated one
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und Pupil diameter with respect to the detected luminance; and
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1 ,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:  if the detected pupil diameter is more than a constant range [k-0.3; k + 1, 4] is a constant k = 0.6 mm less than the calculated pupil diameter:
Erkennen der Müdigkeit des Führers des Fahrzeugs; wobei das Erkennen der Müdigkeit des Führers des Fahrzeugs durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Recognizing the fatigue of the driver of the vehicle; wherein detecting the fatigue of the driver of the vehicle by a temporal correction factor with respect to the speed of reduction of the
Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung korrigiert werden kann. Vorzugsweise umfasst das Verfahren Zudem ein Einleiten, durch zumindest eine Steuereinheit, einer Gegenmaßnahme bei erkannter Müdigkeit. Pupil diameter; and / or a sensor for high beam regulation can be corrected. In addition, the method preferably includes initiating, by means of at least one control unit, a countermeasure when fatigue is detected.
Diese und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus dem Studium der folgenden detaillierten Beschreibung bevorzugter Ausführungsformen und der beiliegenden Figuren verdeutlicht. Es ist ersichtlich, dass - obwohl Ausführungsformen separat beschrieben werden - einzelne Merkmale daraus zu zusätzlichen Ausführungsformen kombiniert werden können. These and other objects, features and advantages of the present invention will become more apparent from a study of the following detailed description of preferred embodiments and the accompanying drawings. It will be appreciated that although embodiments are described separately, individual features thereof may be combined to form additional embodiments.
Fig. 1 zeigt ein beispielhaftes System zur exakten Erkennung der Müdigkeit eines Fig. 1 shows an exemplary system for the exact detection of fatigue of a
Führers eines Fahrzeugs;  Leader of a vehicle;
Fig. 2 zeigt ein beispielhaftes Verfahren zur exakten Erkennung der Müdigkeit Fig. 2 shows an exemplary method for the exact detection of fatigue
eines Führers eines Fahrzeugs;  a driver of a vehicle;
Fig. 3 zeigt eine Abnahme des Pupillendurchmessers von Probanden bei Fig. 3 shows a decrease in the pupil diameter of subjects at
monotoner Fahrt mit der Zeit bei konstanten Lichtverhältnissen, wobei die Probanden zu bestimmten Zeitpunkten mit äußeren Reizen konfrontiert waren;  monotonous driving with time in constant light conditions, whereby the subjects were confronted with external stimuli at certain times;
Fig. 4 zeigt eine beispielhafte Abnahme des Pupillendurchmessers von Probanden bei monotoner Fahrt und konstanten Lichtverhältnissen mit der Zeit sowie den positiven Einfluss eines äußeren Reizes auf die Müdigkeit der FIG. 4 shows an exemplary decrease of the pupil diameter of subjects during monotonous driving and constant light conditions with time as well as the positive influence of an external stimulus on the fatigue of the person
Probanden.  Volunteers.
Figur 1 zeigt ein beispielhaftes System 100 zur exakten Erkennung der Müdigkeit eines Führers 120 eines Fahrzeugs 1 10 (im Folgenden auch Fahrer 120 genannt). Bei dem Fahrzeug 1 10 kann es sich beispielsweise um ein Kraftfahrzeug, ein Schienenfahrzeug, ein Flugzeug, ein Wasserfahrzeug etc. handeln. Das System 100 umfasst zumindest eine Kamera 1 12 zur Erfassung des Pupillendurchmessers des Fahrers 120. Die zumindest eine Kamera 1 12 kann eine hochauflösende Innenraumkamera umfassen. Vorteilhafter Weise kann durch eine hochauflösende Innenraumkamera der Pupillendurchmesser des Fahrers 120 sehr exakt bestimmt werden. Zudem oder alternativ dazu kann die zumindest eine Kamera 1 12 eine hochauflösende Infrarotkamera umfassen. Vorteilhafter Weise kann so der Pupillendurchmesser des Fahrers 120 auch bei sehr schlechten Lichtverhältnissen (z.B. Dunkelheit, Tunnel, ...) im Fahrzeug 1 10 immer noch sehr exakt bestimmt werden. Die hochauflösende Innenraumkamera und die hochauflösende Infrarotkamera können in einem Kameramodul realisiert sein. In einem anderen Beispiel können diese in verschiedenen Kameramodulen realisiert sein. Die zumindest eine Kamera 1 12 kann eine beliebige und/oder geeignete, zahlenmäßige Kombination aus Innenraumkameras und/oder Infrarotkameras umfassen. FIG. 1 shows an exemplary system 100 for the exact detection of the tiredness of a driver 120 of a vehicle 110 (hereinafter also referred to as driver 120). The vehicle 110 may be, for example, a motor vehicle, a rail vehicle, an aircraft, a watercraft, etc. The system 100 includes at least one camera 1 12 for detecting the pupil diameter of the driver 120. The at least one camera 1 12 can include a high-resolution indoor camera. Advantageously, the pupil diameter of the driver 120 can be determined very accurately by means of a high-resolution interior camera. In addition, or alternatively, the at least one camera 12 may comprise a high-resolution infrared camera. Advantageously, the pupil diameter of the driver 120 can still be determined very accurately even in very poor light conditions (eg darkness, tunnels, etc.) in the vehicle 110. The high-resolution interior camera and the high-resolution infrared camera can be implemented in a camera module. In another example, these may be implemented in different camera modules. The at least one camera 12 may comprise any desired and / or suitable numerical combination of interior cameras and / or infrared cameras.
Das System 100 umfasst zudem zumindest einen Sensor 1 16 A zur Erfassung einer The system 100 also includes at least one sensor 1 16 A for detecting a
zeitaktuellen Leuchtdichte im Fahrzeug 100. Die Leuchtdichte (einer Fläche im Fahrzeug 1 10) bestimmt, mit welcher Flächenhelligkeit das Auge des Fahrers 120 die Fläche wahrnimmt und hat somit einen unmittelbaren Bezug zur optischen Sinneswahrnehmung. Der zumindest eine Sensor 1 16 A zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug 1 10 kann einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor 1 16 A umfassen. Timing luminance in the vehicle 100. The luminance (of a surface in the vehicle 1 10) determines the surface brightness with which the eye of the driver 120 perceives the surface and thus has a direct relation to the visual sensory perception. The at least one sensor 1 16 A for detecting the timely luminance in the vehicle 1 10 may include a sensor for the automatic driving light control, AFL sensor 1 16 A.
Der Sensor für die automatische Fahrlichtsteuerung (AFL-Sensor) 1 16 A kann beispielsweise eine zeitaktuelle Leuchtdichte x erfassen. Falls der AFL-Sensor 1 16 A beispielsweise eingerichtet ist, eine Beleuchtungsstärke auf die Fahrzeugumgebung zu erfassen (d.h. welcher Lichtstrom in Lumen, Im, auf eine das Fahrzeug umgebene Flächeneinheit in m2 fällt, auch Lux,The sensor for the automatic driving light control (AFL sensor) 1 16 A, for example, a timely luminance x detect. For example, if the AFL sensor 1 16 A is configured to detect illuminance on the vehicle surroundings (ie, which luminous flux in lumens, Im, falls on a unit area surrounding the vehicle in m 2 , also Lux,
Ix, genannt: l lx = 1 ^), kann eine entsprechende Umrechnung zunächst in die Lichtstärke in cd und schließlich in die (zeitaktuelle) Leuchtdichte x in cd/m2 erfolgen. Ix, called: l lx = 1 ^), a corresponding conversion can be made first in the light intensity in cd and finally in the (current) luminance x in cd / m 2 .
/ E - r2 / E - r 2
=— =——  = - = -
A A  A A
Hierbei ist die Leuchtdichte x [cd/m2] der Quotient aus Lichtstärke I [cd] und der sichtbaren beleuchteten Fläche [m2]. Die Lichtstärke I [cd] ist das Produkt auf der Beleuchtungsstärke E [Ix] und des quadrierten Abstands r [m] zwischen beleuchteter Fläche und dem Auge. Die Here, the luminance x [cd / m 2 ] is the quotient of light intensity I [cd] and the visible illuminated area [m 2 ]. The light intensity I [cd] is the product on the illuminance E [Ix] and the squared distance r [m] between the illuminated surface and the eye. The
Parameter A und r sind maßgeblich bestimmt von der Größe der Windschutzscheibe und des Abstands zwischen Auge und Windschutzscheiben und bewegen sich im Bereich A=1 ,5m-2,5m und r=0,5m-0,9m. Die Umrechnung kann beispielsweise durch das Rechenmodul 1 14, siehe unten, oder jedes andere geeignete Modul (nicht gezeigt) mit entsprechender Rechenkapazität im Fahrzeug 1 10 erfolgen. Vorteilhafter Weise kann so ein bereits im Fahrzeug 1 10 verbauter AFL-Sensor 1 16 A (zusätzlich zur automatischen Fahrlichtsteuerung des Fahrzeugs 1 10) zur Erfassung der zeitaktuellen Leuchtdichte x verwendet werden, so dass es keines zusätzlichen Sensors zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug 1 10 bedarf. Parameters A and r are mainly determined by the size of the windshield and the distance between the eye and the windshields and are in the range A = 1, 5m-2.5m and r = 0.5m-0.9m. The conversion can for example be done by the computing module 1 14, see below, or any other suitable module (not shown) with corresponding computing capacity in the vehicle 1 10. Advantageously, such an AFL sensor 1 16 A already installed in the vehicle 1 10 (in addition to the automatic driving light control of the vehicle 1 10) can be used for detecting the current luminance x, so that there is no additional sensor for detecting the timely luminance in the vehicle 1 10 needs.
Das System 100 kann zudem zumindest ein Rechenmodul 1 14 zur Erkennung der Müdigkeit des Führers des Fahrzeugs 120 durch Berechnung umfassen, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 1 10 basiert. Das Rechenmodul 1 14 kann die Berechnung basierend auf dem durch die zumindest eine Kamera 1 12 erfassten Pupillendurchmesser des Fahrers 120 sowie der durch den zumindest einen Sensor 1 16 A erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 1 10 durchführen. Insbesondere kann das Rechenmodul 1 14 die Berechnung des The system 100 may further comprise at least one calculation module 1 14 for detecting the fatigue of the driver of the vehicle 120 by calculation, wherein the calculation based on the detected pupil diameter and the detected, timely luminance in the vehicle 1 10. The computing module 1 14 may perform the calculation based on the detected by the at least one camera 1 12 pupil diameter of the driver 120 and the detected by the at least one sensor 1 16 A, timely luminance in the vehicle 1 10. In particular, the computing module 1 14, the calculation of the
Pupillendurchmessers Dx in [mm] mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte x beispielsweise unter Bezugnahme der folgenden Formel durchführen: Pupil diameter D x in [mm] with respect to the detected timely luminance x, for example, by referring to the following formula:
ß _ ^Q 0,8558-0,000401 +8,4)3 ß _ ^ Q 0,8558-0,000401 +8,4) 3
Diese Berechnung gilt allerdings lediglich den Pupillendurchmesser mit Bezug auf die zeitaktuelle Leuchtdichte x (d.h. ohne weitere Einflussfaktoren wie die Müdigkeit des Fahrers 120) an.  However, this calculation applies only to the pupil diameter with respect to the timely luminance x (i.e., without other influencing factors such as the tiredness of the driver 120).
Der durch die zumindest eine Kamera 1 12 erfasste Pupillendurchmesser Dx y hingegen gibt den Pupillendurchmesser des Fahrers 120 mit Bezug auf die zeitaktuelle Leuchtdichte x und die Müdigkeit des Fahrers y an und kann folgendermaßen dargestellt werden: The pupil diameter D xy detected by the at least one camera 12, on the other hand, indicates the pupil diameter of the driver 120 with reference to the current luminance x and the fatigue of the driver y and can be represented as follows:
D = - Q0,8558-0,00040l +8,4)3 _ . y D = - Q0,8558-0,00040l +8,4) 3 _. y
In einem nächsten Schritt kann ein Vergleich des durch die zumindest eine Kamera 1 12 erfassten Pupillendurchmessers mit dem durch das Rechenmodul 1 14 berechneten  In a next step, a comparison of the pupil diameter detected by the at least one camera 12 with the pupil diameter calculated by the computing module 1 14 can be compared
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte erfolgen. Falls der durch die zumindest eine Kamera 1 12 erfasste Pupillendurchmesser mehr als einen Bereich [k-0,3mm; k+1 ,4mm] einer konstante k=0,6mm geringer ist als der berechnete Pupil diameter with respect to the detected luminance done. If the pupil diameter detected by the at least one camera 12 is more than a range [k-0.3 mm; k + 1, 4mm] is a constant k = 0.6mm less than the calculated one
Pupillendurchmesser, d.h. falls Pupil diameter, i. if
Dx— Dx y > [k— 0,3mm; k + 1,4mm], wobei k = 0,6mm; Dann wird die Müdigkeit des Fahrers 120 des Fahrzeugs 1 10 erkannt. Um eine besonders exakte Feststellung der Müdigkeit zu erhalten und somit einen Fehlalarm bei der D x -D xy > [k- 0.3mm; k + 1.4mm], where k = 0.6mm; Then, the tiredness of the driver 120 of the vehicle 110 is detected. To obtain a particularly accurate determination of fatigue and thus a false alarm in the
Müdigkeitserkennung zu vermeiden, kann bevorzugt die Müdigkeit für [k - 0,1mm; k + To avoid fatigue detection, fatigue for [k - 0,1mm; k +
1,4mm], wobei k = 0,6mm ermittelt werden. 1.4mm], where k = 0.6mm are determined.
Die Berechnung der Müdigkeit des Fahrers 120 des Fahrzeugs 1 10 durch die Recheneinheit 1 14 kann dabei angemessene Korrekturfaktoren umfassen. Beispielsweise kann ein The calculation of the fatigue of the driver 120 of the vehicle 1 10 by the computing unit 1 14 may include appropriate correction factors. For example, a
Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers des Fahrers 120 eingeführt bzw. verwendet werden, indem beispielsweise eine zeitliche Ableitung des Pupillendurchmessers des Fahrers 120 erfolgt. Verringert sich der Pupillendurchmesser des Fahrers 120 beispielsweise sehr schnell, dann liegt die Ursache an einem plötzlichen Correction factor with respect to the speed of reduction of the pupil diameter of the driver 120 may be introduced or used, for example, by taking a time derivative of the pupil diameter of the driver 120. For example, if the pupil diameter of the driver 120 decreases very rapidly, then the cause is a sudden one
Lichteinfall, und die Erkennung der Müdigkeit durch das Rechenmodul 1 14 erfolgt nicht. Light incidence, and the detection of fatigue by the computing module 1 14 does not take place.
Reduziert sich hingegen der Pupillendurchmesser des Fahrers 120 langsam im Laufe der Zeit (vgl. Figur 3 und Figur 4), dann erfolgt die Erkennung der Müdigkeit durch das Rechenmodul 1 14. If, on the other hand, the pupil diameter of the driver 120 reduces slowly over time (cf., FIGS. 3 and 4), then the fatigue detection is performed by the computing module 1 14.
Der Korrekturfaktor kann sich beispielsweise aus folgender Formel ergeben: The correction factor can result, for example, from the following formula:
AD mm  AD mm
wenn— > —0,05 , dann ist die Verengung des Pupillendurchmessers müdigkeitsbedingt if-> -0.05, then the narrowing of the pupil diameter is fatigued
AD mm AD mm
wenn— < —0,05 , dann ist die Verengung des Pupillendurchmessers bedingt durch Lichteinfall wobei  if <-0.05, then the constriction of the pupil diameter is due to the incidence of light
D = erfasster Pupillendurchmesser des Fahrers 120;  D = detected pupil diameter of the driver 120;
t = Zeit(punkt); t = time (point);
AD D2 - D1 AD D 2 - D 1
~Ät ~ t2 - tt ' ~ Et ~ t 2 - t t '
also die Differenz des durch die Kamera erfassten Pupillendurchmesser D2 zum Zeitpunkt .2 und des durch die Kamera erfassten Pupillendurchmessers Di zum Zeitpunkt ti im Verhältnis zum Abstand des Zeitpunktes t2 zum Zeitpunkt ti. ie the difference of the pupil diameter D 2 detected by the camera at time .2 and the pupil diameter Di detected by the camera at time ti in relation to the distance of time t 2 at time ti.
In einem weiteren Beispiel kann das Rechenmodul 1 14 zudem auf vorher für den Fahrer 120 (beispielsweise in einer Speichereinheit 1 18 im Fahrzeug 1 10) hinterlegte Daten zum In a further example, the computing module 1 14 can also be used for data previously stored for the driver 120 (for example in a memory unit 1 18 in the vehicle 1 10)
Pupillendurchmesser bei Wachheit und/oder bei Müdigkeit zugreifen, um die Berechnung der Müdigkeit des Fahrers 120 weiter zu präzisieren. Zusätzlich oder alternativ dazu kann die zeitaktuelle Leuchtdichte x durch den Sensor zur automatischen Fernlichtregulierung 1 16 B korrigiert bzw. reguliert werden. Vorteilhafter Weise kann durch die Verwendung des Sensors zur automatischen Fernlichtregulierung 1 16 B beispielsweise bei Nachtfahrten ein Pupil diameter on wakefulness and / or fatigue to further clarify the driver's fatigue calculation. Additionally or alternatively, the up-to-the-minute luminance x can be corrected or regulated by the automatic highbeam control sensor 1 16 B Advantageously, by using the sensor for automatic high beam regulation 1 16 B, for example, a night driving
entgegenkommendes Fahrzeug mit eingeschaltetem Licht erkannt werden. Daraus kann ein Korrekturfaktor zur Beeinflussung des Pupillendurchmessers des Fahrers 120 durch das Licht entgegenkommender Fahrzeuge berücksichtigt werden. Bei dem Korrekturfaktor kann es sich bei durch den Sensor zur automatischen Fernlichtregulierung 1 16 B erkanntem, oncoming vehicle are detected with the light on. From this, a correction factor for influencing the pupil diameter of the driver 120 by the light of oncoming vehicles can be considered. The correction factor may be detected by the sensor for automatic high beam regulation 1 16 B,
entgegenkommendem Fahrzeug mit eingeschaltetem Licht die Aussetzung der Berechnung der Müdigkeit des Fahrers 120 durch das Rechenmodul 1 14 umfassen. Optional kann das Oncoming vehicle with the light on the suspension of the calculation of the fatigue of the driver 120 by the computing module 1 14 include. Optionally, that can
Rechenmodul 1 14 noch weitere Korrekturfaktoren bei der Berechnung der Müdigkeit des Fahrers 120 berücksichtigen, z.B. Tages- und/oder Jahreszeiten und/oder aktuelle Calculation module 1 14 take into account further correction factors in the calculation of the driver's fatigue 120, e.g. Daily and / or seasons and / or current
Wetterbedingungen in Verbindung mit der Fahrzeugorientierung. Die Fahrzeugorientierung kann beispielsweise durch ein Navigationssystem im Fahrzeug ermittelt werden, wobei Daten hinsichtlich der Tages- und/oder Jahreszeiten sowie aktuelle Wetterbedingungen aus einer Speichereinheit 1 18 im Fahrzeug 1 10 und/oder von ein oder mehreren (Backend-) Servern 130 bezogen werden können. Weather conditions in connection with the vehicle orientation. The vehicle orientation can be determined, for example, by a navigation system in the vehicle, wherein data relating to the times of day and / or seasons and current weather conditions can be obtained from a memory unit 118 in the vehicle 110 and / or from one or more (backend) servers 130 ,
Das System 100 kann zudem zumindest eine Steuereinheit 1 18 umfassen, wobei die The system 100 may further comprise at least one control unit 118, wherein the
Steuereinheit 1 18 eingerichtet ist, bei erkannter Müdigkeit des Führers 120 bzw. Fahrers 120 des Fahrzeugs 1 10 zumindest eine entsprechende Gegenmaßnahme einzuleiten. Control unit 1 18 is set to initiate at least recognized a corresponding countermeasure if fatigue of the driver 120 or driver 120 of the vehicle 1 10 detected.
Beispielsweise kann es sich bei der Gegenmaßnahme um ein optisches (z.B. über eine  For example, the countermeasure may be an optical (e.g.
Ausgabeeinheit im Bordcomputer des Fahrzeugs 1 10) und/oder akustisches (z.B. über einen Lautsprecher im Fahrzeug 1 10) und/oder um eine Verringerung der Innenraumtemperatur beispielsweise durch eine entsprechende Temperaturregelung über die Klimaanlage im Output unit in the on-board computer of the vehicle 1 10) and / or acoustic (for example via a speaker in the vehicle 1 10) and / or a reduction in the interior temperature, for example by a corresponding temperature control via the air conditioning in
Fahrzeug 1 10 handeln, wie beispielhaft weiter unten mit Bezug auf Figuren 3 und 4 erläutert. Vehicle 1 10 act, as exemplified below with reference to Figures 3 and 4 explained.
Figur 2 zeigt ein beispielhaftes Verfahren 200 zur exakten Erkennung der Müdigkeit eines Führers 120 eines Fahrzeugs 1 10 (im Folgenden auch Fahrer 120 genannt), wobei die FIG. 2 shows an exemplary method 200 for the exact detection of the fatigue of a driver 120 of a vehicle 110 (hereinafter also referred to as driver 120), wherein the
Verfahrensschritte durch ein System 100 wie mit Bezug auf Figur 1 beschrieben, ausgeführt werden kann und die Verfahrensschritte wie mit Bezug auf Figur 1 beschrieben erfolgen können. Das Verfahren umfasst dabei: Method steps can be performed by a system 100 as described with reference to Figure 1, and the method steps can be carried out as described with reference to Figure 1. The method comprises:
Erfassen 210, durch zumindest eine Kamera 1 12, des Pupillendurchmessers des Führers 120 des Fahrzeugs 1 10, wobei die zumindest eine Kamera 1 12 eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfassen kann. Erfassen 220, durch zumindest einen Sensor 1 16 A, einer zeitaktuellen Leuchtdichte im Fahrzeug 1 10, wobei der zumindest eine Sensor 1 16 A einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor 1 16 A, umfassen kann; und Detecting 210, by at least one camera 1 12, the pupil diameter of the guide 120 of the vehicle 1 10, wherein the at least one camera 1 12 may include a high-resolution interior camera and / or a high-resolution infrared camera. Detecting 220, by at least one sensor 1 16 A, a timely luminance in the vehicle 1 10, wherein the at least one sensor 1 16 A may include a sensor for the automatic driving light control, AFL sensor 1 16 A; and
Erkennen 230, durch Berechnung in einem Rechenmodul 1 14, ob eine Müdigkeit des Führers 120 des Fahrzeugs 1 10 vorliegt, wobei die Berechnung auf dem durch die zumindest eine Kamera 1 12 erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 1 10 basiert.  Detect 230, by calculation in a computing module 1 14, if there is fatigue of the driver 120 of the vehicle 1 10, wherein the calculation based on the at least one camera 1 12 detected pupil diameter and the detected, timely luminance in the vehicle 1 10.
Das Erkennen 230 der Müdigkeit des Führers 120 des Fahrzeugs 1 10 (bzw. Fahrers 120) durch das Rechenmodul 1 14 kann dabei umfassen: Detecting 230 the fatigue of the driver 120 of the vehicle 1 10 (or driver 120) by the computing module 14 may include:
Berechnen 232 des Pupillendurchmessers mit Bezug auf die durch den zumindest einen Sensor 1 16 A erfasste, zeitaktuelle Leuchtdichte;  Calculating 232 the pupil diameter with respect to the, by the at least one sensor 1 16 A detected, timely luminance;
Vergleichen 234 des durch die zumindest eine Kamera 1 12 erfassten  Compare 234 of the detected by the at least one camera 1 12
Pupillendurchmessers mit dem durch das Rechenmodul 1 14 berechneten Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und Pupil diameter with the pupil diameter calculated by the calculation module 1 14 with respect to the detected luminance; and
falls der durch die zumindest eine Kamera 1 12 erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1 ,4] einer konstante k=0,6mm geringer ist als der durch das Rechenmodul 1 14 berechnete Pupillendurchmesser:  if the pupil diameter detected by the at least one camera 12 is more than a constant range [k-0.3; k + 1, 4] is a constant k = 0.6 mm smaller than the pupil diameter calculated by the calculation module 1 14:
Erkennen 236 der Müdigkeit des Führers 120 des Fahrzeugs 122;  Recognizing 236 the fatigue of the driver 120 of the vehicle 122;
wobei das Erkennen 236 der Müdigkeit des Führers 120 des Fahrzeugs 1 10 durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des  wherein the recognition 236 of the fatigue of the driver 120 of the vehicle 1 10 by a temporal correction factor with respect to the speed of reduction of the
Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung 1 16 B korrigiert werden kann. Das Verfahren kann zudem ein Einleiten 240, durch zumindest eine Steuereinheit 1 18, einer Gegenmaßnahme bei durch das Rechenmodul 1 14 erkannter Müdigkeit 236 umfassen, wie beispielsweise mit Bezug auf Figuren 3 und 4 beschrieben. Pupil diameter; and / or a sensor for high beam regulation 1 16 B can be corrected. The method may also include initiating 240, by at least one control unit 118, a countermeasure of fatigue 236 detected by the computing module 1 14, as described with reference to FIGS. 3 and 4, for example.
Figur 3 zeigt eine Abnahme des gemittelten Pupillendurchmessers in Millimetern (mm) 310 von Probanden bei monotoner Fahrt im Laufe der Zeit in Minuten (min) 320, wobei die Probanden zu bestimmten Zeitpunkten, insbesondere in Minuten 5, 10 und 27 mit äußeren Reizen konfrontiert wurden. Es handelt sich um Durchschnittswerte zweier monotoner Fahrten einer Vielzahl von Probanden, die deutlich aufzeigen, dass bei Monotonen Fahrten die Müdigkeit der Probanden kontinuierlich steigt und sich somit der Pupillendurchmesser kontinuierlich verringert. Insbesondere konnte dabei festgestellt werden, dass sich bereits bei halbstündigen Fahrten wie in Figuren 3 und 4 dargestellt der Pupillendurchmesser der Probanden aufgrund von FIG. 3 shows a decrease in the average pupil diameter in millimeters (mm) 310 of subjects during monotonous travel over time in minutes (min) 320, whereby the subjects were confronted with external stimuli at specific times, in particular in minutes 5, 10 and 27 , These are average values of two monotonous rides of a large number of subjects, which clearly show that the monotone rides continuously increase the tiredness of the subjects and thus continuously reduce the pupil diameter. In particular, it was possible to establish that the pupil diameter of the test persons already appears at half-hourly journeys as shown in FIGS. 3 and 4 on the basis of
entstehender Müdigkeit bereits um ca. 0,6 mm verringert. Die Vergrößerung des Fatigue already reduced by about 0.6 mm. The enlargement of the
Pupillendurchmessers in Minuten 5, 10 und 27 sind insbesondere durch verbale Befragungen der Probanden während den Probefahrten im Simulator entstanden. Es handelt sich dabei insbesondere um die Auswertung bzw. Ergebnisse einer Fahrsimulator-Studie. Es zeigt sich somit, dass eine kognitive Anstrengung wie z.B. die Beantwortung von Fragen, eine Weitung des Pupillendurchmessers und somit eine erhöhte Wachheit bzw. einen erhöhten Pupil diameters in minutes 5, 10 and 27 were created in particular by verbal questioning of the subjects during the test drives in the simulator. In particular, this involves the evaluation or results of a driving simulator study. It thus turns out that a cognitive effort, such as the answer to questions, a widening of the pupil diameter and thus an increased alertness or an increased
Aufmerksamkeitsgrad umfasst. Attention level includes.
Figur 4 zeigt eine beispielhafte Abnahme des Pupillendurchmessers in mm 410 von Probanden bei monotoner Fahrt mit der Zeit in min 420. Insbesondere Zeigt sich ab Minute 20 der positive Einfluss eines äußeren Reizes auf die Müdigkeit der Probanden als Ergebnis einer weiteren Fahrsimulator-Studie. Eine erste Fahrt wurde ähnlich wie mit Bezug auf Figur 3 beschrieben, durchgeführt (=monotone Fahrt) mit Befragungen in Minuten 6 und 16 (=monotone Fahrt 430). In einer zweiten monotonen Fahrt (=Gegenmaßnahme 440) wurde ab Minute 20 eine FIG. 4 shows an exemplary decrease in the diameter of the pupil in mm 410 of subjects during monotonous driving with time in min 420. In particular, the positive influence of an external stimulus on the fatigue of the subjects is shown as of minute 20 as the result of another driving simulator study. A first trip was performed similar to that described with reference to FIG. 3 (= monotone drive) with polls in minutes 6 and 16 (= monotonous drive 430). In a second monotonous journey (= countermeasure 440), a minute from 20 minutes
Gegenmaßnahme eingeleitet, in diesem Fall durch Aktivierung der jeweiligen Probanden durch einen thermischen Reiz. Es ist deutlich zu erkennen, dass sich der thermische Reiz in der Vergrößerung des Pupillendurchmessers der Probanden auswirkt. Dabei stellte sich heraus, dass der Unterschied der Pupillendurchmesser zwischen der monotonen Fahrt 430 und der Fahrt mit Gegenmaßnahme 440 die gekennzeichneten Minuten mit * bzw. ** einen statistisch signifikanten Unterschied aufzeigt, bei der sich die Unterschiede der Pupillendurchmesser der Probanden sich nicht mehr durch aus einer Streuung bzw. durch Zufall ergeben, wobei bei * ein signifikanter Unterschied mit p<0.05 vorliegt und bei ** eine hoch signifikanter Unterschied mit p<0.001 . Countermeasure initiated, in this case by activation of the respective subjects by a thermal stimulus. It can be clearly seen that the thermal stimulus affects the enlargement of the pupil diameter of the subjects. It turned out that the difference of the pupil diameter between the monotone drive 430 and the drive with countermeasure 440 the marked minutes with * or ** shows a statistically significant difference, in which the differences of the pupil diameter of the subjects are no longer due to scattering or by chance, with * a significant difference with p <0.05 and ** a highly significant difference with p <0.001.
Es wird somit gezeigt, dass der Pupillendurchmesser sich sehr gut als Indikator für die Müdigkeit bzw. Vigilanz von Fahrern eignet, so lange die Lichtverhältnisse konstant sind. Das System 100 und Verfahren 200 wie mit Bezug auf Figuren 1 und 2 beschrieben erlauben nun eine exakte Erfassung der Müdigkeit von Fahrern 120 durch Berücksichtigung nicht konstanter Lichtverhältnisse bezogen auf den Pupillendurchmesser. It is thus shown that the pupil diameter is very well suited as indicator for the tiredness or vigilance of drivers, as long as the lighting conditions are constant. The system 100 and method 200 described with reference to FIGS. 1 and 2 now permit accurate detection of the fatigue of drivers 120 by taking into account non-constant lighting conditions related to the pupil diameter.

Claims

Patentansprüche claims
1 . System (100) zur exakten Erkennung der Müdigkeit eines Führers (120) eines Fahrzeugs (1 10), umfassend: 1 . A system (100) for accurately detecting the fatigue of a driver (120) of a vehicle (110), comprising:
zumindest eine Kamera (1 12) zur Erfassung des Pupillendurchmessers des Führers (120) des Fahrzeugs (1 10);  at least one camera (1 12) for detecting the pupil diameter of the driver (120) of the vehicle (1 10);
zumindest einen Sensor (1 16 A) zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug (1 10); und  at least one sensor (1 16 A) for detecting a timely luminance in the vehicle (1 10); and
zumindest ein Rechenmodul (1 14) zur Erkennung der Müdigkeit des Führers (120) des at least one computing module (1 14) for detecting the tiredness of the driver (120) of the
Fahrzeugs (1 10) durch Berechnung, wobei die Berechnung auf dem erfassten Vehicle (1 10) by calculation, with the calculation on the recorded
Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug (1 10) basiert. Pupil diameter and the detected, timely luminance in the vehicle (1 10) based.
2. System (100) gemäß Anspruch 1 , wobei die zumindest eine Kamera (1 12) eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfasst. 2. System (100) according to claim 1, wherein the at least one camera (1 12) comprises a high-resolution interior camera and / or a high-resolution infrared camera.
3. System (100) gemäß einem der vorangehenden Ansprüche, wobei der zumindest eine Sensor (1 16 A) zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug (1 10) einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor (1 16 A), umfasst. 3. System (100) according to one of the preceding claims, wherein the at least one sensor (1 16 A) for detecting the timely luminance in the vehicle (1 10) comprises a sensor for the automatic driving light control, AFL sensor (1 16 A) ,
4. System (100) gemäß einem der vorangehenden Ansprüche, wobei die Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (1 10) durch das Rechenmodul (1 14) umfasst: 4. System (100) according to one of the preceding claims, wherein the detection of the fatigue of the driver (120) of the vehicle (1 10) by the computing module (1 14) comprises:
Berechnung des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle  Calculation of the pupil diameter with reference to the detected, up-to-the-minute
Leuchtdichte; Luminance;
Vergleich des erfassten Pupillendurchmessers mit dem berechneten  Comparison of the recorded pupil diameter with the calculated one
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und  Pupil diameter with respect to the detected luminance; and
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1 ,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:  if the detected pupil diameter is more than a constant range [k-0.3; k + 1, 4] is a constant k = 0.6 mm less than the calculated pupil diameter:
Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (1 10);  Detecting the fatigue of the driver (120) of the vehicle (1 10);
wobei die Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (1 10) durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des  wherein the detection of the fatigue of the driver (120) of the vehicle (1 10) by a temporal correction factor with respect to the speed of reduction of the
Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung (1 16 B) korrigiert werden kann. Pupil diameter; and / or a sensor for high beam regulation (1 16 B) can be corrected.
5. System (100) gemäß einem der vorangehenden Ansprüche, zudem umfassend: The system (100) of any one of the preceding claims, further comprising:
zumindest eine Steuereinheit (1 18), wobei die Steuereinheit (1 18) eingerichtet ist, bei erkannter Müdigkeit des Führers (120) des Fahrzeugs (1 10) zumindest eine entsprechende Gegenmaßnahme einzuleiten.  at least one control unit (1 18), wherein the control unit (1 18) is arranged to initiate at least one corresponding countermeasure when fatigue of the driver (120) of the vehicle (1 10) is detected.
6. Verfahren (200) zur exakten Erkennung der Müdigkeit eines Führers (120) eines 6. A method (200) for accurately detecting the fatigue of a leader (120) of a
Fahrzeugs (1 10), umfassend: Vehicle (1 10), comprising:
Erfassen (210), durch zumindest eine Kamera (1 12), des Pupillendurchmessers des Führers (120) des Fahrzeugs (1 10);  Detecting (210), by at least one camera (1 12), the pupil diameter of the driver (120) of the vehicle (1 10);
Erfassen (220), durch zumindest einen Sensor (1 16 A), einer zeitaktuellen Leuchtdichte im Fahrzeug (1 10); und  Detecting (220), by at least one sensor (1 16 A), a timely luminance in the vehicle (1 10); and
Erkennen (230), durch Berechnung in einem Rechenmodul (1 14), ob eine Müdigkeit des Führers (120) des Fahrzeugs (1 10) vorliegt, wobei die Berechnung auf dem erfassten  Detecting (230), by calculation in a computing module (1 14), if there is fatigue of the driver (120) of the vehicle (1 10), wherein the calculation on the detected
Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug (1 10) basiert. Pupil diameter and the detected, timely luminance in the vehicle (1 10) based.
7. Verfahren (200) gemäß Anspruch 6, wobei die zumindest eine Kamera (1 12) eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfasst. 7. The method (200) according to claim 6, wherein the at least one camera (1 12) comprises a high-resolution interior camera and / or a high-resolution infrared camera.
8. Verfahren (200) gemäß Anspruch 6 oder 7, wobei der zumindest eine Sensor (1 16 A) zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug (1 10) einen Sensor für die automatische8. The method (200) according to claim 6 or 7, wherein the at least one sensor (1 16 A) for detecting the timely luminance in the vehicle (1 10) has a sensor for automatic
Fahrlichtsteuerung, AFL-Sensor (1 16 A) AFL-Sensor, umfasst. Driving light control, AFL sensor (1 16 A) AFL sensor, includes.
9. Verfahren (200) gemäß einem der Ansprüche 6 bis 8, wobei die Erkennung der 9. Method (200) according to one of claims 6 to 8, wherein the recognition of the
Müdigkeit des Führers (120) des Fahrzeugs (1 10) durch das Rechenmodul (1 14) umfasst: Fatigue of the driver (120) of the vehicle (1 10) by the computing module (1 14) comprises:
Berechnen (232) des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle Calculating (232) the pupil diameter with reference to the detected, timely
Leuchtdichte; Luminance;
Vergleichen (234) des erfassten Pupillendurchmessers mit dem berechneten  Comparing (234) the detected pupil diameter with the calculated one
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und Pupil diameter with respect to the detected luminance; and
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1 ,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:  if the detected pupil diameter is more than a constant range [k-0.3; k + 1, 4] is a constant k = 0.6 mm less than the calculated pupil diameter:
Erkennen (236) der Müdigkeit des Führers des Fahrzeugs (1 10),  Recognizing (236) the fatigue of the driver of the vehicle (1 10),
wobei das Erkennen (236) der Müdigkeit des Führers (120) des Fahrzeugs (1 10) durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung (1 16 B) korrigiert werden kann. wherein recognizing (236) the fatigue of the driver (120) of the vehicle (110) by a time related correction factor with respect to the speed of reduction of the vehicle Pupil diameter; and / or a sensor for high beam regulation (1 16 B) can be corrected.
10. Verfahren (200) gemäß einem der Ansprüche 6 bis 9, zudem umfassend: The method (200) of any one of claims 6 to 9, further comprising:
Einleiten (240), durch zumindest eine Steuereinheit (1 18), einer Gegenmaßnahme bei erkannter Müdigkeit.  Initiate (240), by at least one control unit (1 18), a countermeasure when detected fatigue.
EP17800733.2A 2017-02-20 2017-11-02 System and method for detecting the fatigue of a vehicle driver Pending EP3583540A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017202659.6A DE102017202659A1 (en) 2017-02-20 2017-02-20 System and method for detecting the fatigue of a driver
PCT/EP2017/078018 WO2018149519A1 (en) 2017-02-20 2017-11-02 System and method for detecting the fatigue of a vehicle driver

Publications (1)

Publication Number Publication Date
EP3583540A1 true EP3583540A1 (en) 2019-12-25

Family

ID=60387991

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17800733.2A Pending EP3583540A1 (en) 2017-02-20 2017-11-02 System and method for detecting the fatigue of a vehicle driver

Country Status (5)

Country Link
US (1) US10832068B2 (en)
EP (1) EP3583540A1 (en)
CN (1) CN110313007B (en)
DE (1) DE102017202659A1 (en)
WO (1) WO2018149519A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021111465A1 (en) 2021-05-04 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft DETERMINING A PERSON'S FATIGUE BASED ON AN ANALYSIS OF AN EYE BLINK
CN113925512B (en) * 2021-10-14 2023-10-20 东风汽车集团股份有限公司 Fatigue detection method and device based on visual field focus

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19803158C1 (en) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Arrangement for determining the state of vigilance, esp. for machinery operator or vehicle driver
US6926429B2 (en) * 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
AUPS254302A0 (en) 2002-05-24 2002-06-13 Resmed Limited A sleepiness test
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
DE10359125A1 (en) 2003-12-17 2005-07-14 Volkswagen Ag Motor vehicle driver`s reflex action recognizing method, involves measuring brightness of ambient light and reflex time taken by pupil of driver against light, and generating threshold value for automatic tiredness estimate of driver
DE102004005163B3 (en) 2004-02-02 2005-06-02 Braun, Uwe Peter, Dipl.-Ing. Alertness detection device for vehicle driver using intermittent illumination of eye and evaluation of pupil reaction
CN1960670B (en) 2004-04-01 2011-02-23 威廉·C·托奇 Biosensors, communicators, and controllers for monitoring eye movement and methods for using them
US7438418B2 (en) * 2005-02-23 2008-10-21 Eyetracking, Inc. Mental alertness and mental proficiency level determination
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
US7972045B2 (en) * 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
WO2010032424A1 (en) 2008-09-18 2010-03-25 学校法人中部大学 Sleepiness signal detector
US8810642B2 (en) 2010-02-26 2014-08-19 Panasonic Intellectual Property Corporation Of America Pupil detection device and pupil detection method
US9468372B2 (en) 2013-02-28 2016-10-18 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with rear-facing pupil diameter sensor
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
DE102013212877A1 (en) 2013-07-02 2015-01-08 Volkswagen Aktiengesellschaft Method and device for determining the condition of a motor vehicle driver
WO2015106202A1 (en) 2014-01-10 2015-07-16 Carleton Life Support Systems, Inc. Reduced cognitive function detection and alleviation system for a pilot
US10845620B2 (en) * 2014-12-08 2020-11-24 Aleksandr Shtukater Smart contact lens

Also Published As

Publication number Publication date
US20190370582A1 (en) 2019-12-05
DE102017202659A1 (en) 2018-08-23
WO2018149519A1 (en) 2018-08-23
US10832068B2 (en) 2020-11-10
CN110313007A (en) 2019-10-08
CN110313007B (en) 2023-08-04

Similar Documents

Publication Publication Date Title
DE102004022581B4 (en) Driver assistance system
DE102011016772B4 (en) 12.04.2021Method and device for monitoring at least one vehicle occupant and method for operating at least one assistance device
DE102018207069B4 (en) Method and control unit for operating an autonomous vehicle
DE102011109564A1 (en) Method and device for monitoring at least one vehicle occupant and method for operating at least one assistance device
DE102015216143A1 (en) A system and method for generating an environmental condition in or about a vehicle in response to a detected mood
DE112014000591T5 (en) Attention-level detection device and attention-level detection method
DE102019208663B4 (en) Method for supporting a driver with regard to objects and motor vehicle relevant to a traffic situation
DE102019003429A1 (en) Method for the prediction and reduction of kinetosis-related disorders
DE102011110486A1 (en) Method and device for monitoring at least one vehicle occupant and method for operating at least one assistance device
DE102012020901A1 (en) Method for operating assistance device of vehicle using mobile communication device, involves controlling and/or regulating function of assistance device of vehicle based on determined personal parameters of vehicle occupant
DE102019109505A1 (en) DATA PROCESSING DEVICE, MONITORING SYSTEM, WECKSYSTEM, DATA PROCESSING METHOD AND DATA PROCESSING PROGRAM
DE112017007267T5 (en) Concentration determining apparatus, concentration degree determination method, and concentration degree determination program
DE102012105285A1 (en) Method for assisting rider of motor car, involves defining a warning strategy based on the derived rider intention of current rider, and adjusting motor car rider assistance system if necessary
DE102014216208A1 (en) Method and device for determining a reaction time of a vehicle driver
DE102011085825A1 (en) Method and device for warning the driver of a motor vehicle in case of lack of attention
DE102018213230A1 (en) Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device
DE102019201407A1 (en) Method and device for controlling a driver&#39;s attention
EP3583540A1 (en) System and method for detecting the fatigue of a vehicle driver
DE102017103391A1 (en) Method for improving the user-friendliness of a vehicle
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle
DE102020110417A1 (en) Method and system for assisting a driver
DE102014019246B4 (en) Driver assistance device for a motor vehicle and a method for operating such
DE102020110496A1 (en) Method and system for determining a driver profile of a driver of a vehicle
DE102017206585B4 (en) Occupant support method, occupant support system and vehicle
DE112019007484T5 (en) INFORMATION PROCESSING DEVICE, PROGRAM AND INFORMATION PROCESSING METHOD

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190730

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210728

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230502