DE102017202659A1

DE102017202659A1 - System und Verfahren zur Erkennung der Müdigkeit eines Fahrzeugführers

Info

Publication number: DE102017202659A1
Application number: DE102017202659.6A
Authority: DE
Inventors: Elisabeth Schmidt; Stefan Wiedemann
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2017-02-20
Filing date: 2017-02-20
Publication date: 2018-08-23
Also published as: CN110313007B; US10832068B2; US20190370582A1; CN110313007A; WO2018149519A1; EP3583540A1

Abstract

Die vorliegende Erfindung umfasst ein System zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs. Das System umfasst zumindest eine Kamera zur Erfassung des Pupillendurchmessers des Führers des Fahrzeugs; zumindest einen Sensor zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug; und zumindest ein Rechenmodul zur Erkennung der Müdigkeit des Führers des Fahrzeugs durch Berechnung, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug basiert.

Description

Die vorliegende Erfindung betrifft ein System und Verfahren zur Erkennung der Müdigkeit eines Führers eines Fahrzeugs.
Es ist bekannt, dass Führer von Fahrzeugen bzw. Fahrzeugführer eine besonders hohe Daueraufmerksamkeit (Vigilanz) aufweisen müssen. Fällt die Höhe der Aufmerksamkeit des Fahrzeugführers, beispielsweise aufgrund von Müdigkeit durch Schlafmangel und/oder eine monotone Fahrsituation, so erhöht sich das Unfallrisiko und stellt somit für den Fahrzeugführer und andere Verkehrsteilnehmer ein Risiko dar. Dabei kann es Führern von Fahrzeugen selbst bei Tag-Fahrten schwerfallen, eine Daueraufmerksamkeit hinsichtlich des Fahrzeugführens aufrechtzuerhalten. Dies trifft insbesondere bei langen und monotonen Fahrstrecken wie z.B. Autobahnfahrten zu. Eine Herausforderung bei Systemen zur Müdigkeitserkennung eines Führers eines Fahrzeugs liegt darin, sicher zu erkennen, wann sich beim Fahrer eine Müdigkeit einstellt. Wird die Müdigkeit fälschlicher Weise erkannt (d.h. die Vigilanz des Führers des Fahrzeugs ist vorhanden), so sind entsprechende Maßnahmen für den Fahrzeugführer höchst unkomfortabel. Wird eine Müdigkeit bzw. eine Verringerung der Vigilanz hingegen fälschlicher Weise nicht erkannt, so stellt dies eine Gefahr für den Fahrzeugführer und die beteiligten Verkehrsteilnehmer dar.
Die Aufgabe der Erfindung besteht darin, die vorstehend genannten Nachteile zu vermeiden und eine Lösung zu schaffen, die eine exakte Erkennung der Müdigkeit des Führers eines Fahrzeugs ermöglicht.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt wird ein System zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs, umfassend:

zumindest eine Kamera zur Erfassung des Pupillendurchmessers des Führers des Fahrzeugs;
zumindest einen Sensor zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug; und
zumindest ein Rechenmodul zur Erkennung der Müdigkeit des Führers des Fahrzeugs durch Berechnung, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug basiert.

Bei dem Fahrzeug kann es sich beispielsweise um ein Kraftfahrzeug, ein Schienenfahrzeug, ein Flugzeug, ein Wasserfahrzeug etc. handeln. Im Fahrzeug kann zumindest eine Kamera angeordnet sein, die ausgelegt ist, den Pupillendurchmesser des Führers des Fahrzeugs (im Folgenden auch Fahrer genannt) zu erkennen. Darüber hinaus kann das Fahrzeug zumindest einen Sensor zur Erkennung einer zeitaktuellen Leuchtdichte im Fahrzeug umfassen. Die Leuchtdichte einer Fläche bestimmt, mit welcher Flächenhelligkeit das Auge des Fahrers die Fläche wahrnimmt und hat somit einen unmittelbaren Bezug zur optischen Sinneswahrnehmung. Das Fahrzeug umfasst zudem ein Rechenmodul, welches eingerichtet ist, die Müdigkeit des Führers des Fahrzeugs durch Berechnung zu erkennen. Die Berechnung basiert auf dem durch die zumindest eine Kamera erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug.
Vorzugsweise umfasst die zumindest eine Kamera eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera.
Die zumindest eine Kamera kann eine hochauflösende Innenraumkamera umfassen. Vorteilhafter Weise kann durch eine hochauflösende Innenraumkamera der Pupillendurchmesser sehr exakt bestimmt werden. Zudem oder alternativ dazu kann die zumindest eine Kamera eine hochauflösende Infrarotkamera umfassen. Vorteilhafter Weise kann so der Pupillendurchmesser auch bei sehr schlechten Lichtverhältnissen im Fahrzeug immer noch sehr exakt bestimmt werden. Die hochauflösende Innenraumkamera und die hochauflösende Infrarotkamera können in einem Kameramodul realisiert sein. In einem anderen Beispiel können diese in verschiedenen Kameramodulen realisiert sein. Die zumindest eine Kamera kann eine beliebige und/oder geeignete, zahlenmäßige Kombination aus Innenraumkameras und/oder Infrarotkameras umfassen.
Vorzugsweise umfasst der zumindest eine Sensor zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor.
Der Sensor für die automatische Fahrlichtsteuerung (AFL-Sensor) kann beispielsweise eine zeitaktuelle Leuchtdichte x erfassen. Falls der AFL-Sensor beispielsweise eingerichtet ist, eine Beleuchtungsstärke E auf die Fahrzeugumgebung zu erfassen (d.h. welcher Lichtstrom in Lumen, Im, auf eine das Fahrzeug umgebene Flächeneinheit in m² fällt, auch Lux, Ix, genannt: $1 l x = 1 \frac{l m}{m^{2}}),$
kann eine entsprechende Umrechnung zunächst in die Lichtstärke in cd und daraufhin in die (zeitaktuelle) Leuchtdichte x in cd/m² erfolgen. $x = \frac{I}{A} = \frac{E \cdot r^{2}}{A}$
Hierbei ist die Leuchtdichte x [cd/m²] der Quotient aus Lichtstärke I [cd] und der sichtbaren beleuchteten Fläche [m²]. Die Lichtstärke I [cd] ist das Produkt auf der Beleuchtungsstärke E [Ix] und des quadrierten Abstands r [m] zwischen beleuchteter Fläche und dem Auge. Die Parameter A und r sind maßgeblich bestimmt von der Größe der Windschutzscheibe und des Abstands zwischen Auge und Windschutzscheiben und bewegen sich im Bereich A=1,5m-2,5m und r=0,5m-0,9m.
Die Umrechnung kann beispielsweise durch das Rechenmodul oder jedes andere geeignete Modul mit entsprechender Rechenkapazität im Fahrzeug erfolgen. Vorteilhafter Weise kann so ein bereits im Fahrzeug verbauter AFL-Sensor (zusätzlich zur automatischen Fahrlichtsteuerung des Fahrzeugs) zur Erfassung der zeitaktuellen Leuchtdichte x verwendet werden, so dass es keines zusätzlichen Sensors zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug bedarf.
Vorzugsweise umfasst die Erkennung der Müdigkeit des Führers des Fahrzeugs durch das Rechenmodul:

Berechnung des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte;
Vergleich des erfassten Pupillendurchmessers mit dem berechneten Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3mm; k+1,4mm] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:
Erkennung der Müdigkeit des Führers des Fahrzeugs,
wobei die Erkennung der Müdigkeit des Führers des Fahrzeugs durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung korrigiert werden kann.

Die Berechnung des Pupillendurchmessers D_x in [mm] mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte x kann beispielsweise durch die folgende Formel berechnet werden: $D_{x} = 10^{0,8558 - 0,000401 {(l o g x + 8,4)}^{3}}$
Diese Berechnung gilt allerdings lediglich den Pupillendurchmesser mit Bezug auf die zeitaktuelle Leuchtdichte x (d.h. ohne weitere Einflussfaktoren) an.
Der erfasste Pupillendurchmesser D_{x y} hingegen gibt den Pupillendurchmesser des Fahrers mit Bezug auf die zeitaktuelle Leuchtdichte x und die Müdigkeit des Fahrers y an und kann folgendermaßen dargestellt werden: $D_{x, y} = 10^{0,8558 - 0,000401 {(l o g x + 8,4)}^{3}} - k \cdot y$
Es gilt nun Folgendes: Falls $D_{x} - D_{x, y} > [k - 0,3 m m; k + 1,4 m m], w o b e i k = 0,6 m m;$
dann liegt eine Müdigkeit des Fahrers vor. Um eine besonders exakte Feststellung der Müdigkeit zu erzielen und somit einen Fehlalarm bei der Müdigkeitserkennung zu vermeiden, kann bevorzugt die Müdigkeit für [k - 0,1mm; k + 1,4mm] ermittelt werden.
Die Berechnung der Müdigkeit des Fahrers des Fahrzeugs durch die Recheneinheit kann dabei angemessene Korrekturfaktoren umfassen. Beispielsweise kann ein Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers des Fahrers eingeführt bzw. verwendet werden, indem beispielsweise eine zeitliche Ableitung des Pupillendurchmessers des Fahrers erfolgt. Verringert sich der Pupillendurchmesser des Fahrers beispielsweise sehr schnell, dann liegt die Ursache an einem plötzlichen Lichteinfall, und die Erkennung der Müdigkeit durch das Rechenmodul erfolgt nicht. Reduziert sich hingegen der Pupillendurchmesser des Fahrers langsam im Laufe der Zeit (vgl. 3 und 4), dann erfolgt die Erkennung der Müdigkeit durch das Rechenmodul.
Der Korrekturfaktor kann sich beispielsweise aus folgender Formel ergeben: wenn $\frac{Δ D}{Δ t} > - 0,05 \frac{m m}{s},$
dann ist die Verengung des Pupillendurchmessers müdigkeitsbedingt wenn $\frac{Δ D}{Δ t} < - 0,05 \frac{m m}{s},$
dann ist die Verengung des Pupillendurchmessers bedingt durch Lichteinfall wobei
D = erfasster Pupillendurchmesser des Fahrers 120;
t = Zeit(punkt); $\frac{Δ D}{Δ t} = \frac{D_{2} - D_{1}}{t_{2} - t_{1}};$
also die Differenz des durch die Kamera erfassten Pupillendurchmesser D₂ zum Zeitpunkt t₂ und des durch die Kamera erfassten Pupillendurchmessers D₁ zum Zeitpunkt t₁ im Verhältnis zum Abstand des Zeitpunktes t₂ zum Zeitpunkt t₁.
In einem weiteren Beispiel kann das Rechenmodul zudem auf vorher für den Fahrer (beispielsweise in einer Speichereinheit im Fahrzeug) hinterlegte Daten zum Pupillendurchmesser bei Wachheit und/oder bei Müdigkeit zugreifen, um die Berechnung der Müdigkeit des Fahrers weiter zu präzisieren. Zusätzlich oder alternativ dazu kann die zeitaktuelle Leuchtdichte x durch den Sensor zur automatischen Fernlichtregulierung korrigiert bzw. reguliert werden. Vorteilhafter Weise kann durch die Verwendung des Sensors zur automatischen Fernlichtregulierung beispielsweise bei Nachtfahrten ein entgegenkommendes Fahrzeug mit eingeschaltetem Licht erkannt werden. Daraus kann ein Korrekturfaktor zur Beeinflussung des Pupillendurchmessers des Fahrers durch das Licht entgegenkommender Fahrzeuge berücksichtigt werden. Bei dem Korrekturfaktor kann es sich bei durch den Sensor zur automatischen Fernlichtregulierung erkanntem, entgegenkommendem Fahrzeug mit eingeschaltetem Licht die Aussetzung der Berechnung der Müdigkeit des Fahrers durch das Rechenmodul umfassen. Optional kann das Rechenmodul noch weitere Korrekturfaktoren bei der Berechnung der Müdigkeit des Fahrers berücksichtigen, z.B. Tages- und/oder Jahreszeiten und/oder aktuelle Wetterbedingungen in Verbindung mit der Fahrzeugorientierung. Die Fahrzeugorientierung kann beispielsweise durch ein Navigationssystem im Fahrzeug ermittelt werden, wobei Daten hinsichtlich der Tages- und/oder Jahreszeiten sowie aktuelle Wetterbedingungen aus einer Speichereinheit im Fahrzeug und/oder von ein oder mehreren (Backend-) Servern bezogen werden können.
Vorzugsweise umfasst das System zudem:

zumindest eine Steuereinheit, wobei die Steuereinheit eingerichtet ist, bei erkannter Müdigkeit des Führers des Fahrzeugs zumindest eine entsprechende Gegenmaßnahme einzuleiten.

Beispielsweise kann es sich bei der Gegenmaßnahme um ein optisches (z.B. über eine Ausgabeeinheit im Fahrzeug) und/oder akustisches (z.B. über einen Lautsprecher im Fahrzeug) und/oder um eine Verringerung der Innenraumtemperatur beispielsweise durch eine entsprechende Temperaturregelung über die Klimaanlage im Fahrzeug handeln.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird die zugrunde liegende Aufgabe durch ein Verfahren zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs gelöst, umfassend:

Erfassen, durch zumindest eine Kamera, des Pupillendurchmessers des Führers des Fahrzeugs;
Erfassen, durch zumindest einen Sensor, einer zeitaktuellen Leuchtdichte im Fahrzeug; und
Erkennen, durch Berechnung in einem Rechenmodul, ob eine Müdigkeit des Führers des Fahrzeugs vorliegt, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug basiert.

Vorzugsweise umfasst die zumindest eine Kamera eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera.
Vorzugsweise umfasst der zumindest eine Sensor zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor.
Vorzugsweise umfasst die Erkennung der Müdigkeit des Führers des Fahrzeugs durch das Rechenmodul:

Berechnen des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte;
Vergleichen des erfassten Pupillendurchmessers mit dem berechneten Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:
- Erkennen der Müdigkeit des Führers des Fahrzeugs;
- wobei das Erkennen der Müdigkeit des Führers des Fahrzeugs durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung korrigiert werden kann.

Vorzugsweise umfasst das Verfahren Zudem ein Einleiten, durch zumindest eine Steuereinheit, einer Gegenmaßnahme bei erkannter Müdigkeit.
Diese und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus dem Studium der folgenden detaillierten Beschreibung bevorzugter Ausführungsformen und der beiliegenden Figuren verdeutlicht. Es ist ersichtlich, dass - obwohl Ausführungsformen separat beschrieben werden - einzelne Merkmale daraus zu zusätzlichen Ausführungsformen kombiniert werden können.

1 zeigt ein beispielhaftes System zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs;
2 zeigt ein beispielhaftes Verfahren zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs;
3 zeigt eine Abnahme des Pupillendurchmessers von Probanden bei monotoner Fahrt mit der Zeit bei konstanten Lichtverhältnissen, wobei die Probanden zu bestimmten Zeitpunkten mit äußeren Reizen konfrontiert waren;
4 zeigt eine beispielhafte Abnahme des Pupillendurchmessers von Probanden bei monotoner Fahrt und konstanten Lichtverhältnissen mit der Zeit sowie den positiven Einfluss eines äußeren Reizes auf die Müdigkeit der Probanden.

1 zeigt ein beispielhaftes System 100 zur exakten Erkennung der Müdigkeit eines Führers 120 eines Fahrzeugs 110 (im Folgenden auch Fahrer 120 genannt). Bei dem Fahrzeug 110 kann es sich beispielsweise um ein Kraftfahrzeug, ein Schienenfahrzeug, ein Flugzeug, ein Wasserfahrzeug etc. handeln. Das System 100 umfasst zumindest eine Kamera 112 zur Erfassung des Pupillendurchmessers des Fahrers 120. Die zumindest eine Kamera 112 kann eine hochauflösende Innenraumkamera umfassen. Vorteilhafter Weise kann durch eine hochauflösende Innenraumkamera der Pupillendurchmesser des Fahrers 120 sehr exakt bestimmt werden. Zudem oder alternativ dazu kann die zumindest eine Kamera 112 eine hochauflösende Infrarotkamera umfassen. Vorteilhafter Weise kann so der Pupillendurchmesser des Fahrers 120 auch bei sehr schlechten Lichtverhältnissen (z.B. Dunkelheit, Tunnel, ...) im Fahrzeug 110 immer noch sehr exakt bestimmt werden. Die hochauflösende Innenraumkamera und die hochauflösende Infrarotkamera können in einem Kameramodul realisiert sein. In einem anderen Beispiel können diese in verschiedenen Kameramodulen realisiert sein. Die zumindest eine Kamera 112 kann eine beliebige und/oder geeignete, zahlenmäßige Kombination aus Innenraumkameras und/oder Infrarotkameras umfassen.
Das System 100 umfasst zudem zumindest einen Sensor 116 A zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug 100. Die Leuchtdichte (einer Fläche im Fahrzeug 110) bestimmt, mit welcher Flächenhelligkeit das Auge des Fahrers 120 die Fläche wahrnimmt und hat somit einen unmittelbaren Bezug zur optischen Sinneswahrnehmung. Der zumindest eine Sensor 116 A zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug 110 kann einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor 116 A umfassen.
Der Sensor für die automatische Fahrlichtsteuerung (AFL-Sensor) 116 A kann beispielsweise eine zeitaktuelle Leuchtdichte x erfassen. Falls der AFL-Sensor 116 A beispielsweise eingerichtet ist, eine Beleuchtungsstärke auf die Fahrzeugumgebung zu erfassen (d.h. welcher Lichtstrom in Lumen, Im, auf eine das Fahrzeug umgebene Flächeneinheit in m² fällt, auch Lux, lx, genannt: $1 l x = 1 \frac{l m}{m^{2}}),$
kann eine entsprechende Umrechnung zunächst in die Lichtstärke in cd und schließlich in die (zeitaktuelle) Leuchtdichte x in cd/m² erfolgen. $x = \frac{I}{A} = \frac{E \cdot r^{2}}{A}$
Hierbei ist die Leuchtdichte x [cd/m²] der Quotient aus Lichtstärke I [cd] und der sichtbaren beleuchteten Fläche [m²]. Die Lichtstärke I [cd] ist das Produkt auf der Beleuchtungsstärke E [Ix] und des quadrierten Abstands r [m] zwischen beleuchteter Fläche und dem Auge. Die Parameter A und r sind maßgeblich bestimmt von der Größe der Windschutzscheibe und des Abstands zwischen Auge und Windschutzscheiben und bewegen sich im Bereich A=1,5m-2,5m und r=0,5m-0,9m.
Die Umrechnung kann beispielsweise durch das Rechenmodul 114, siehe unten, oder jedes andere geeignete Modul (nicht gezeigt) mit entsprechender Rechenkapazität im Fahrzeug 110 erfolgen. Vorteilhafter Weise kann so ein bereits im Fahrzeug 110 verbauter AFL-Sensor 116 A (zusätzlich zur automatischen Fahrlichtsteuerung des Fahrzeugs 110) zur Erfassung der zeitaktuellen Leuchtdichte x verwendet werden, so dass es keines zusätzlichen Sensors zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug 110 bedarf.
Das System 100 kann zudem zumindest ein Rechenmodul 114 zur Erkennung der Müdigkeit des Führers des Fahrzeugs 120 durch Berechnung umfassen, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 110 basiert. Das Rechenmodul 114 kann die Berechnung basierend auf dem durch die zumindest eine Kamera 112 erfassten Pupillendurchmesser des Fahrers 120 sowie der durch den zumindest einen Sensor 116 A erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 110 durchführen. Insbesondere kann das Rechenmodul 114 die Berechnung des Pupillendurchmessers D_x in [mm] mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte x beispielsweise unter Bezugnahme der folgenden Formel durchführen: $D_{x} = 10^{0,8558 - 0,000401 {(l o g x + 8,4)}^{3}}$
Diese Berechnung gilt allerdings lediglich den Pupillendurchmesser mit Bezug auf die zeitaktuelle Leuchtdichte x (d.h. ohne weitere Einflussfaktoren wie die Müdigkeit des Fahrers 120) an.
Der durch die zumindest eine Kamera 112 erfasste Pupillendurchmesser D_{x y} hingegen gibt den Pupillendurchmesser des Fahrers 120 mit Bezug auf die zeitaktuelle Leuchtdichte x und die Müdigkeit des Fahrers y an und kann folgendermaßen dargestellt werden: $D_{x, y} = 10^{0,8558 - 0,000401 {(l o g x + 8,4)}^{3}} - k \cdot y$
In einem nächsten Schritt kann ein Vergleich des durch die zumindest eine Kamera 112 erfassten Pupillendurchmessers mit dem durch das Rechenmodul 114 berechneten Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte erfolgen.
Falls der durch die zumindest eine Kamera 112 erfasste Pupillendurchmesser mehr als einen Bereich [k-0,3mm; k+1,4mm] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser, d.h. falls $D_{x} - D_{x, y} > [k - 0,3 m m; k + 1,4 m m], w o b e i k = 0,6 m m;$
Dann wird die Müdigkeit des Fahrers 120 des Fahrzeugs 110 erkannt. Um eine besonders exakte Feststellung der Müdigkeit zu erhalten und somit einen Fehlalarm bei der Müdigkeitserkennung zu vermeiden, kann bevorzugt die Müdigkeit für [k - 0,1mm; k + 1,4mm], wobei k = 0,6mm ermittelt werden.
Die Berechnung der Müdigkeit des Fahrers 120 des Fahrzeugs 110 durch die Recheneinheit 114 kann dabei angemessene Korrekturfaktoren umfassen. Beispielsweise kann ein Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers des Fahrers 120 eingeführt bzw. verwendet werden, indem beispielsweise eine zeitliche Ableitung des Pupillendurchmessers des Fahrers 120 erfolgt. Verringert sich der Pupillendurchmesser des Fahrers 120 beispielsweise sehr schnell, dann liegt die Ursache an einem plötzlichen Lichteinfall, und die Erkennung der Müdigkeit durch das Rechenmodul 114 erfolgt nicht. Reduziert sich hingegen der Pupillendurchmesser des Fahrers 120 langsam im Laufe der Zeit (vgl. 3 und 4), dann erfolgt die Erkennung der Müdigkeit durch das Rechenmodul 114.
Der Korrekturfaktor kann sich beispielsweise aus folgender Formel ergeben:
wenn $\frac{Δ D}{Δ t} > - 0,05 \frac{m m}{s},$
dann ist die Verengung des Pupillendurchmessers müdigkeitsbedingt
wenn $\frac{Δ D}{Δ t} < - 0,05 \frac{m m}{s},$
dann ist die Verengung des Pupillendurchmessers bedingt durch Lichteinfall wobei
D = erfasster Pupillendurchmesser des Fahrers 120;
t = Zeit(punkt); $\frac{Δ D}{Δ t} = \frac{D_{2} - D_{1}}{t_{2} - t_{1}};$
also die Differenz des durch die Kamera erfassten Pupillendurchmesser D₂ zum Zeitpunkt t₂ und des durch die Kamera erfassten Pupillendurchmessers D₁ zum Zeitpunkt t₁ im Verhältnis zum Abstand des Zeitpunktes t₂ zum Zeitpunkt t₁.
In einem weiteren Beispiel kann das Rechenmodul 114 zudem auf vorher für den Fahrer 120 (beispielsweise in einer Speichereinheit 118 im Fahrzeug 110) hinterlegte Daten zum Pupillendurchmesser bei Wachheit und/oder bei Müdigkeit zugreifen, um die Berechnung der Müdigkeit des Fahrers 120 weiter zu präzisieren. Zusätzlich oder alternativ dazu kann die zeitaktuelle Leuchtdichte x durch den Sensor zur automatischen Fernlichtregulierung 116 B korrigiert bzw. reguliert werden. Vorteilhafter Weise kann durch die Verwendung des Sensors zur automatischen Fernlichtregulierung 116 B beispielsweise bei Nachtfahrten ein entgegenkommendes Fahrzeug mit eingeschaltetem Licht erkannt werden. Daraus kann ein Korrekturfaktor zur Beeinflussung des Pupillendurchmessers des Fahrers 120 durch das Licht entgegenkommender Fahrzeuge berücksichtigt werden. Bei dem Korrekturfaktor kann es sich bei durch den Sensor zur automatischen Fernlichtregulierung 116 B erkanntem, entgegenkommendem Fahrzeug mit eingeschaltetem Licht die Aussetzung der Berechnung der Müdigkeit des Fahrers 120 durch das Rechenmodul 114 umfassen. Optional kann das Rechenmodul 114 noch weitere Korrekturfaktoren bei der Berechnung der Müdigkeit des Fahrers 120 berücksichtigen, z.B. Tages- und/oder Jahreszeiten und/oder aktuelle Wetterbedingungen in Verbindung mit der Fahrzeugorientierung. Die Fahrzeugorientierung kann beispielsweise durch ein Navigationssystem im Fahrzeug ermittelt werden, wobei Daten hinsichtlich der Tages- und/oder Jahreszeiten sowie aktuelle Wetterbedingungen aus einer Speichereinheit 118 im Fahrzeug 110 und/oder von ein oder mehreren (Backend-) Servern 130 bezogen werden können.
Das System 100 kann zudem zumindest eine Steuereinheit 118 umfassen, wobei die Steuereinheit 118 eingerichtet ist, bei erkannter Müdigkeit des Führers 120 bzw. Fahrers 120 des Fahrzeugs 110 zumindest eine entsprechende Gegenmaßnahme einzuleiten. Beispielsweise kann es sich bei der Gegenmaßnahme um ein optisches (z.B. über eine Ausgabeeinheit im Bordcomputer des Fahrzeugs 110) und/oder akustisches (z.B. über einen Lautsprecher im Fahrzeug 110) und/oder um eine Verringerung der Innenraumtemperatur beispielsweise durch eine entsprechende Temperaturregelung über die Klimaanlage im Fahrzeug 110 handeln, wie beispielhaft weiter unten mit Bezug auf 3 und 4 erläutert.
2 zeigt ein beispielhaftes Verfahren 200 zur exakten Erkennung der Müdigkeit eines Führers 120 eines Fahrzeugs 110 (im Folgenden auch Fahrer 120 genannt), wobei die Verfahrensschritte durch ein System 100 wie mit Bezug auf 1 beschrieben, ausgeführt werden kann und die Verfahrensschritte wie mit Bezug auf 1 beschrieben erfolgen können. Das Verfahren umfasst dabei:

Erfassen 210, durch zumindest eine Kamera 112, des Pupillendurchmessers des Führers 120 des Fahrzeugs 110, wobei die zumindest eine Kamera 112 eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfassen kann.
Erfassen 220, durch zumindest einen Sensor 116 A, einer zeitaktuellen Leuchtdichte im Fahrzeug 110, wobei der zumindest eine Sensor 116 A einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor 116 A, umfassen kann; und
Erkennen 230, durch Berechnung in einem Rechenmodul 114, ob eine Müdigkeit des Führers 120 des Fahrzeugs 110 vorliegt, wobei die Berechnung auf dem durch die zumindest eine Kamera 112 erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 110 basiert.

Das Erkennen 230 der Müdigkeit des Führers 120 des Fahrzeugs 110 (bzw. Fahrers 120) durch das Rechenmodul 114 kann dabei umfassen:

Berechnen 232 des Pupillendurchmessers mit Bezug auf die durch den zumindest einen Sensor 116 A erfasste, zeitaktuelle Leuchtdichte;
Vergleichen 234 des durch die zumindest eine Kamera 112 erfassten Pupillendurchmessers mit dem durch das Rechenmodul 114 berechneten Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und
falls der durch die zumindest eine Kamera 112 erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1,4] einer konstante k=0,6mm geringer ist als der durch das Rechenmodul 114 berechnete Pupillendurchmesser:
- Erkennen 236 der Müdigkeit des Führers 120 des Fahrzeugs 122;
- wobei das Erkennen 236 der Müdigkeit des Führers 120 des Fahrzeugs 110 durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung 116 B korrigiert werden kann.

Das Verfahren kann zudem ein Einleiten 240, durch zumindest eine Steuereinheit 118, einer Gegenmaßnahme bei durch das Rechenmodul 114 erkannter Müdigkeit 236 umfassen, wie beispielsweise mit Bezug auf 3 und 4 beschrieben.
3 zeigt eine Abnahme des gemittelten Pupillendurchmessers in Millimetern (mm) 310 von Probanden bei monotoner Fahrt im Laufe der Zeit in Minuten (min) 320, wobei die Probanden zu bestimmten Zeitpunkten, insbesondere in Minuten 5, 10 und 27 mit äußeren Reizen konfrontiert wurden. Es handelt sich um Durchschnittswerte zweier monotoner Fahrten einer Vielzahl von Probanden, die deutlich aufzeigen, dass bei Monotonen Fahrten die Müdigkeit der Probanden kontinuierlich steigt und sich somit der Pupillendurchmesser kontinuierlich verringert.
Insbesondere konnte dabei festgestellt werden, dass sich bereits bei halbstündigen Fahrten wie in 3 und 4 dargestellt der Pupillendurchmesser der Probanden aufgrund von entstehender Müdigkeit bereits um ca. 0,6 mm verringert. Die Vergrößerung des Pupillendurchmessers in Minuten 5, 10 und 27 sind insbesondere durch verbale Befragungen der Probanden während den Probefahrten im Simulator entstanden. Es handelt sich dabei insbesondere um die Auswertung bzw. Ergebnisse einer Fahrsimulator-Studie. Es zeigt sich somit, dass eine kognitive Anstrengung wie z.B. die Beantwortung von Fragen, eine Weitung des Pupillendurchmessers und somit eine erhöhte Wachheit bzw. einen erhöhten Aufmerksamkeitsgrad umfasst.
4 zeigt eine beispielhafte Abnahme des Pupillendurchmessers in mm 410 von Probanden bei monotoner Fahrt mit der Zeit in min 420. Insbesondere Zeigt sich ab Minute 20 der positive Einfluss eines äußeren Reizes auf die Müdigkeit der Probanden als Ergebnis einer weiteren Fahrsimulator-Studie. Eine erste Fahrt wurde ähnlich wie mit Bezug auf 3 beschrieben, durchgeführt (=monotone Fahrt) mit Befragungen in Minuten 6 und 16 (=monotone Fahrt 430). In einer zweiten monotonen Fahrt (=Gegenmaßnahme 440) wurde ab Minute 20 eine Gegenmaßnahme eingeleitet, in diesem Fall durch Aktivierung der jeweiligen Probanden durch einen thermischen Reiz. Es ist deutlich zu erkennen, dass sich der thermische Reiz in der Vergrößerung des Pupillendurchmessers der Probanden auswirkt. Dabei stellte sich heraus, dass der Unterschied der Pupillendurchmesser zwischen der monotonen Fahrt 430 und der Fahrt mit Gegenmaßnahme 440 die gekennzeichneten Minuten mit * bzw. ** einen statistisch signifikanten Unterschied aufzeigt, bei der sich die Unterschiede der Pupillendurchmesser der Probanden sich nicht mehr durch aus einer Streuung bzw. durch Zufall ergeben, wobei bei * ein signifikanter Unterschied mit p<0.05 vorliegt und bei ** eine hoch signifikanter Unterschied mit p<0.001.
Es wird somit gezeigt, dass der Pupillendurchmesser sich sehr gut als Indikator für die Müdigkeit bzw. Vigilanz von Fahrern eignet, so lange die Lichtverhältnisse konstant sind.
Das System 100 und Verfahren 200 wie mit Bezug auf 1 und 2 beschrieben erlauben nun eine exakte Erfassung der Müdigkeit von Fahrern 120 durch Berücksichtigung nicht konstanter Lichtverhältnisse bezogen auf den Pupillendurchmesser.

Claims

System (100) zur exakten Erkennung der Müdigkeit eines Führers (120) eines Fahrzeugs (110), umfassend: zumindest eine Kamera (112) zur Erfassung des Pupillendurchmessers des Führers (120) des Fahrzeugs (110); zumindest einen Sensor (116 A) zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug (110); und zumindest ein Rechenmodul (114) zur Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (110) durch Berechnung, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug (110) basiert.
System (100) gemäß Anspruch 1, wobei die zumindest eine Kamera (112) eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfasst.
System (100) gemäß einem der vorangehenden Ansprüche, wobei der zumindest eine Sensor (116 A) zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug (110) einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor (116 A), umfasst.
System (100) gemäß einem der vorangehenden Ansprüche, wobei die Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (110) durch das Rechenmodul (114) umfasst: Berechnung des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte; Vergleich des erfassten Pupillendurchmessers mit dem berechneten Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser: Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (110); wobei die Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (110) durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung (116 B) korrigiert werden kann.
System (100) gemäß einem der vorangehenden Ansprüche, zudem umfassend: zumindest eine Steuereinheit (118), wobei die Steuereinheit (118) eingerichtet ist, bei erkannter Müdigkeit des Führers (120) des Fahrzeugs (110) zumindest eine entsprechende Gegenmaßnahme einzuleiten.
Verfahren (200) zur exakten Erkennung der Müdigkeit eines Führers (120) eines Fahrzeugs (110), umfassend: Erfassen (210), durch zumindest eine Kamera (112), des Pupillendurchmessers des Führers (120) des Fahrzeugs (110); Erfassen (220), durch zumindest einen Sensor (116 A), einer zeitaktuellen Leuchtdichte im Fahrzeug (110); und Erkennen (230), durch Berechnung in einem Rechenmodul (114), ob eine Müdigkeit des Führers (120) des Fahrzeugs (110) vorliegt, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug (110) basiert.
Verfahren (200) gemäß Anspruch 6, wobei die zumindest eine Kamera (112) eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfasst.
Verfahren (200) gemäß Anspruch 6 oder 7, wobei der zumindest eine Sensor (116 A) zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug (110) einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor (116 A) AFL-Sensor, umfasst.
Verfahren (200) gemäß einem der Ansprüche 6 bis 8, wobei die Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (110) durch das Rechenmodul (114) umfasst: Berechnen (232) des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte; Vergleichen (234) des erfassten Pupillendurchmessers mit dem berechneten Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser: Erkennen (236) der Müdigkeit des Führers des Fahrzeugs (110), wobei das Erkennen (236) der Müdigkeit des Führers (120) des Fahrzeugs (110) durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung (116 B) korrigiert werden kann.
Verfahren (200) gemäß einem der Ansprüche 6 bis 9, zudem umfassend: Einleiten (240), durch zumindest eine Steuereinheit (118), einer Gegenmaßnahme bei erkannter Müdigkeit.