-
Stand der Technik
-
Der Ansatz geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
-
Zur Ermittlung einer Müdigkeit eines Fahrzeugfahrers gibt es unterschiedliche Methoden.
-
Die
US 2016/0104486 A1 und die
DE 10 2015 010 284 A1 beschreiben je ein Verfahren zum Betrieb einer Assistenzvorrichtung eines Fahrzeugs.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug, ein Steuergerät, das dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass eine besonders verlässliche Müdigkeitserkennung eines Fahrers geschaffen wird.
-
Es wird ein Verfahren zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug vorgestellt. Das Verfahren umfasst einen Schritt des Einlesens, einen Schritt des Ermittelns und einen Schritt des Bestimmens eines Müdigkeitssignals. Im Schritt des Einlesens werden zumindest ein erstes Indikatorsignal, das einen von einer ersten Müdigkeitserkennungsvorrichtung des Fahrzeugs bestimmten ersten Müdigkeitsparameter des Fahrers repräsentiert, ein zweites Indikatorsignal, das einen von einer zweiten Müdigkeitserkennungsvorrichtung des Fahrzeugs bestimmten zweiten Müdigkeitsparameter des Fahrers repräsentiert, und optional ein drittes Indikatorsignal, das einen von einer dritten Müdigkeitserkennungsvorrichtung des Fahrzeugs bestimmten dritten Müdigkeitsparameter des Fahrers repräsentiert, eingelesen. Im Schritt des Ermittelns werden eine erste Validität des ersten Indikatorsignals, eine zweite Validität des zweiten Indikatorsignals und optional eine dritte Validität des dritten Indikatorsignals ermittelt. Im Schritt des Bestimmens wird das Müdigkeitssignal bestimmt, das die erkannte Müdigkeit des Fahrers repräsentiert, unter Verwendung des ersten Indikatorsignals, des zweiten Indikatorsignals, optional des dritten Indikatorsignals, der ersten Validität, der zweiten Validität und optional der dritten Validität.
-
Ein Müdigkeitsparameter kann beispielsweise einen Müdigkeitszustand oder Müdigkeitsgrad des Fahrers anzeigen. Beispielsweise kann ein Müdigkeitsparameter anzeigen, ob der Fahrer als sehr müde, etwas müde oder nicht müde eingeschätzt wird. Eine Validität eines Indikatorsignals kann eine Wahrscheinlichkeit für eine Korrektheit des von dem Indikatorsignal repräsentierten Müdigkeitsparameter anzeigen. Die einzelnen Müdigkeitsparameter können sich unterscheiden, da sie auf unterschiedliche Art und Weise bestimmt werden können. Entsprechend können den Müdigkeitsparametern unterschiedliche Validitäten zugeordnet sein. Im Schritt des Ermittelns kann die erste Validität, die zweite Validität und zusätzlich oder alternativ die dritte Validität beispielsweise unter Verwendung eines Funktionstests der ersten, zweiten und zusätzlich oder alternativ dritten Müdigkeitserkennungsvorrichtung ermittelt werden. So kann beispielsweise dann, wenn der Funktionstest eine Fehlfunktion einer der Müdigkeitserkennungsvorrichtungen anzeigt, die Validität des Indikatorsignals dieser Müdigkeitserkennungsvorrichtung entsprechend ermittelt, beispielsweise als niedrig eingestuft, werden. In dem Funktionstest kann beispielsweise eine Betriebsfunktion einer Kamera einer Müdigkeitserkennungsvorrichtung getestet und zusätzlich oder alternativ eine Qualität eines Kamerabilds der Kamera überprüft werden. Durch einen solchen Funktionstest kann vorteilhafterweise sehr genau auf eine Gültigkeit der einzelnen Müdigkeitsparameter geschlossen werden.
-
Das hier vorgestellte Verfahren nutzt vorteilhafterweise eine Kombination mehrerer Ergebnisse unterschiedlicher Müdigkeitserkennungsvorrichtungen sowie eine Validierung der Ergebnisse, also eine Überprüfung einer Gültigkeit dieser Ergebnisse, bevor im Schritt des Bestimmens des Müdigkeitssignals eine endgültige Entscheidung über die Müdigkeit des Fahrers getroffen wird. Die im Schritt des Bestimmens des Müdigkeitssignals erkannte Müdigkeit des Fahrers ist somit als ein validiertes Gesamtergebnis sehr aussagekräftig und verlässlich. Dabei werden zumindest zwei, beispielsweise aber auch drei, vier oder mehr Methoden miteinander kombiniert.
-
Das Verfahren kann zudem einen Schritt des Bestimmens des ersten Indikatorsignals und zusätzlich oder alternativ des zweiten Indikatorsignals und zusätzlich oder alternativ des dritten Indikatorsignals aufweisen. Dabei kann ein erstes der Indikatorsignale unter Verwendung eines Kopfsignals bestimmt werden, das sich auf die Augen, das Gesicht und/oder die Stellung des Kopfes des Fahrers beziehen kann. Beispielsweise kann das Kopfsignal eine Augenbewegung, eine Augenlidöffnung, Blinzel-Events, eine Kopfposition, eine Blickrichtung und/oder eine Kopforientierung des Fahrers repräsentieren. Zusätzlich oder alternativ kann ein zweites der Indikatorsignale unter Verwendung eines Lenksignals bestimmt werden, das ein Lenkverhalten des Fahrers oder Fahrzeugs repräsentiert. Zusätzlich oder alternativ kann ein drittes der Indikatorsignale unter Verwendung eines Umfeldsignals, das eine Umfeldsituation repräsentiert, bestimmt werden. Der Schritt des Bestimmens des ersten Indikatorsignals und zusätzlich oder alternativ zweiten Indikatorsignals und zusätzlich oder alternativ dritten Indikatorsignals kann vor dem Schritt des Einlesens durchgeführt werden, beispielsweise von der jeweiligen Müdigkeitserkennungsvorrichtung. Die erste Müdigkeitserkennungsvorrichtung kann demnach dazu ausgebildet sein, um den ersten Müdigkeitsparameter, welcher als ein Sensorwert oder ein Ergebnis einer Auswertung der ersten Müdigkeitserkennungsvorrichtung verstanden werden kann, unter Verwendung von Augenbewegungen des Fahrers zu bestimmen. Hierzu kann die erste Müdigkeitserkennungsvorrichtung eine Kamera aufweisen. Die zweite Müdigkeitserkennungsvorrichtung kann dazu ausgebildet sein, um den zweiten Müdigkeitsparameter, welcher als ein Sensorwert oder Ergebnis einer Auswertung der zweiten Müdigkeitserkennungsvorrichtung verstanden werden kann, unter Verwendung von Lenkeinstellungen, beispielsweise zumindest eines eingestellten Lenkwinkels oder einer Lenkwinkelgeschwindigkeit, zu bestimmen. Die dritte Müdigkeitserkennungsvorrichtung kann dazu ausgebildet sein, um den dritten Müdigkeitsparameter, welcher als ein Sensorwert oder Ergebnis einer Auswertung der dritten Müdigkeitserkennungsvorrichtung verstanden werden kann, unter Verwendung einer Umfeldsituation und/oder einer Fahreraktivität zu bestimmen. Beispielsweise kann der dritte Müdigkeitsparameter unter Verwendung von Umfeldsituationen wie Umweltfaktoren und zusätzlich oder alternativ einer Fahrtdauer und zusätzlich oder alternativ einer Fahreraktivität bestimmt werden. Eine Fahreraktivität kann dabei Lenken, Bremsen, Gas geben, Schalter betätigen, Knöpfe drücken oder Telefonieren umfassen.
-
Gemäß einer Ausführungsform weist das Verfahren einen Schritt des Empfangens auf, in dem ein Fahrsituationssignal empfangen wird, das einen automatisierten Fahrbetrieb und zusätzlich oder alternativ eine aktuelle Fahrgeschwindigkeit und zusätzlich oder alternativ einen Straßentyp anzeigt, wobei der Schritt des Bestimmens des Müdigkeitssignals abhängig von dem Fahrsituationssignal ausgeführt wird. So wird sichergestellt, dass die Müdigkeit nur dann bestimmt wird, wenn es erforderlich ist.
-
Im Schritt des Bestimmens des Müdigkeitssignals kann das Müdigkeitssignal unter Verwendung des ersten Indikatorsignals bestimmt werden, wenn die erste Validität eine erste Bedingung erfüllt, und unter Verwendung des zweiten Indikatorsignals bestimmt werden, wenn die zweite Validität eine zweite Bedingung erfüllt, und unter Verwendung des dritten Indikatorsignals bestimmt werden, wenn die dritte Validität eine dritte Bedingung erfüllt. Als die erste und zusätzlich oder alternativ zweite und zusätzlich oder alternativ dritte Bedingung kann ein Sollwert oder ein Schwellenwert für die erste und zusätzlich oder alternativ zweite und zusätzlich oder alternativ dritte Validität verstanden werden. Dieser Sollwert oder Schwellenwert kann im Schritt des Bestimmens des Müdigkeitssignals für einen Vergleich mit den Validitäten herangezogen werden. So kann ein Indikatorsignal, dessen Validität von dem Sollwert abweicht oder über oder unter dem Schwellenwert liegt, beispielsweise im Schritt des Bestimmens des Müdigkeitssignals vernachlässigt werden. Anders ausgedrückt können im Schritt des Bestimmens des Müdigkeitssignals lediglich jene Indikatorsignale berücksichtigt werden, welche ihre jeweilige Bedingung erfüllen, beispielsweise in einem für sie bestimmten Sollbereich liegen oder ihren Schwellenwert nicht über- oder unterschreiten. Wenn somit gemäß einer Ausführungsform lediglich verlässliche Indikatorsignale sowie Validitäten im Schritt des Bestimmens des Müdigkeitssignals berücksichtigt werden, kann ein verfälschtes Gesamtergebnis vermieden werden.
-
Im Schritt des Bestimmens des Müdigkeitssignals kann das Müdigkeitssignal unter Verwendung des abhängig von der ersten Validität gewichteten ersten Indikatorsignals und unter Verwendung des abhängig von der zweiten Validität gewichteten zweiten Indikatorsignals und unter Verwendung des abhängig von der dritten Validität gewichteten dritten Indikatorsignals bestimmt werden. So können beim Bestimmen des Müdigkeitssignals jene Müdigkeitsparameter, welche als weniger valide eingestuft wurden, auch weniger gewichtet werden, als jene Müdigkeitsparameter, welche als höher valide eingestuft wurden. Die erkannte Müdigkeit kann somit vorteilhafterweise als ein nach Validitäten gewichtetes Gesamtergebnis sehr aussagekräftig sein.
-
Es kann aber auch im Schritt des Bestimmens des Müdigkeitssignals ein Mittelwert aus dem ersten Indikatorsignal und dem zweiten Indikatorsignal und dem dritten Indikatorsignal gebildet werden, um das Müdigkeitssignal zu bestimmen. Dieser Mittelwert kann unter Verwendung der gewichteten Indikatorsignale bestimmt werden. Die Bestimmung des Mittelwerts kann aber auch in einer Ausführungsform des Verfahrens erfolgen, in der die Validitäten der Indikatorsignale nicht gewichtet, sondern die Indikatorsignale nach Überprüfung ihrer Validitäten für die Bestimmung des Müdigkeitssignals entweder verwendet oder ausgeschlossen werden.
-
Zusätzlich oder alternativ kann im Schritt des Bestimmens des Müdigkeitssignals das Müdigkeitssignal unter Verwendung einer maschinell angelernten Bestimmvorschrift bestimmt werden.
-
Von Vorteil ist es weiterhin, wenn das Verfahren einen Schritt des Sendens aufweist, in dem ein Warnsignal an den Fahrer ausgegeben wird, wenn im Schritt des Bestimmens des Müdigkeitssignals die erkannte Müdigkeit des Fahrers erkannt wird, welche als kritisch eingestuft ist oder wurde. Hierbei kann die erkannte Müdigkeit des Fahrers, beispielsweise in Form eines validierten Müdigkeitsparameters mit einem Sollmüdigkeitsparameter oder einem Sollmüdigkeitsschwellenwert verglichen werden und das Warnsignal abhängig von einem Vergleichsergebnis ausgegeben werden. So kann ein Fahrer bereits rechtzeitig vor dem Einnicken alarmiert werden.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner ein Steuergerät, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form eines Steuergeräts kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann das Steuergerät zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Steuersignalen an den Aktor und zusätzlich oder alternativ zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und zusätzlich oder alternativ leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und zusätzlich oder alternativ Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und zusätzlich oder alternativ softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
In einer vorteilhaften Ausgestaltung erfolgt durch das Steuergerät eine Steuerung eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug. Hierzu kann das Steuergerät beispielsweise auf Sensorsignale wie ein erstes Indikatorsignal, ein zweites Indikatorsignal und ein drittes Indikatorsignal zugreifen. Die Ansteuerung erfolgt über Aktoren wie eine Einleseeinrichtung zum Einlesen der Indikatorsignale, eine Ermittlungseinrichtung zum Ermitteln von jeweiligen Validitäten der genannten Indikatorsignale und eine Bestimmeinrichtung zum Bestimmen eines Müdigkeitssignals, das die erkannte Müdigkeit des Fahrers repräsentiert, unter Verwendung der genannten Indikatorsignale und deren Validitäten.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und zusätzlich oder alternativ Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 ein Blockschaltbild eines Steuergeräts zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug gemäß einem Ausführungsbeispiel;
- 2 ein Blockschaltbild eines Steuergerät gemäß einem Ausführungsbeispiel;
- 3 ein Blockschaltbild eines Steuergeräts gemäß einem Ausführungsbeispiel; und
- 4 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Blockschaltbild eines Steuergeräts 100 zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem 105 für ein Fahrzeug 110 gemäß einem Ausführungsbeispiel.
-
Lediglich beispielhaft ist das Steuergerät 100 gemäß diesem Ausführungsbeispiel in dem Fahrassistenzsystem 105 des Fahrzeugs 110 aufgenommen oder in das Fahrassistenzsystem 105 implementiert. Das Steuergerät 100 ist dazu ausgebildet, um die Müdigkeit des Fahrers des Fahrzeugs 110 zu erkennen. Hierzu weist das Steuergerät 100 zumindest eine Einleseeinrichtung 115, eine Ermittlungseinrichtung 120 und eine Bestimmeinrichtung 125 auf. Die Einleseeinrichtung 115 ist dazu ausgebildet, um ein erstes Indikatorsignal 130 einzulesen, das einen von einer ersten Müdigkeitserkennungsvorrichtung 135 des Fahrzeugs 110 bestimmten ersten Müdigkeitsparameter des Fahrers repräsentiert. Weiterhin ist die Einleseeinrichtung 115 dazu ausgebildet, um ein zweites Indikatorsignal 140 einzulesen, das einen von einer zweiten Müdigkeitserkennungsvorrichtung 145 des Fahrzeugs 110 bestimmten zweiten Müdigkeitsparameter des Fahrers repräsentiert. Ferner ist die Einleseeinrichtung 115 dazu ausgebildet, um ein drittes Indikatorsignal 150 einzulesen, das einen von einer dritten Müdigkeitserkennungsvorrichtung 155 des Fahrzeugs 110 bestimmten dritten Müdigkeitsparameter des Fahrers repräsentiert. Die Ermittlungseinrichtung 120 ist dazu ausgebildet, um eine erste Validität 160 des ersten Indikatorsignals 130 und eine zweite Validität 165 des zweiten Indikatorsignals 140 und eine dritte Validität 170 des dritten Indikatorsignals 150 zu ermitteln. Die Bestimmeinrichtung 125 ist dazu ausgebildet, um ein Müdigkeitssignal 175 zu bestimmen, das die erkannte Müdigkeit des Fahrers repräsentiert, unter Verwendung des ersten Indikatorsignals 130, des zweiten Indikatorsignals 140, des dritten Indikatorsignals 150, der ersten Validität 160, der zweiten Validität 165 und der dritten Validität 170. Gemäß diesem Ausführungsbeispiel werden drei Müdigkeitserkennungsvorrichtungen 135, 145, 155 miteinander kombiniert.
-
Alternativ können auch nur zwei der genannten Müdigkeitserkennungsvorrichtungen 135, 145, 155 oder mehr als drei Müdigkeitserkennungsvorrichtungen 135, 145, 155 miteinander kombiniert werden.
-
Die erste Müdigkeitserkennungsvorrichtung 135 ist gemäß einem Ausführungsbeispiel dazu ausgebildet, um eine Müdigkeit des Fahrers unter Verwendung zumindest eines Kopfsignals 180, das eine Augenbewegung des Fahrers repräsentiert, zu erkennen, und in Form des ersten Indikatorsignals 130 bereitzustellen. Das Kopfsignal 180 kann aus Merkmalen abgeleitet sein, die sich auf die Augen, das Gesicht und/oder die Stellung des Kopfes des Fahrers beziehen. Beispielsweise zeigt das Kopfsignal 180 eine Augenbewegung, eine Augenlidöffnung, eine Blickrichtung oder Blinzel-Events des Fahrers an. Zusätzlich oder alternativ zeigt das Kopfsignal 180 eine Kopfposition, und/oder eine Kopforientierung des Fahrers an, Die zweite Müdigkeitserkennungsvorrichtung 145 ist gemäß einem Ausführungsbeispiel dazu ausgebildet, um eine Müdigkeit des Fahrers unter Verwendung zumindest eines Lenksignals 185, das ein Lenkverhalten des Fahrers oder Fahrzeugs 110 repräsentiert, zu erkennen, und in Form des zweiten Indikatorsignals 140 bereitzustellen. Die dritte Müdigkeitserkennungsvorrichtung 155 ist gemäß diesem Ausführungsbeispiel dazu ausgebildet, um eine Müdigkeit des Fahrers unter Verwendung zumindest eines Umfeldsignals 190, das eine Umfeldsituation repräsentiert, zu erkennen, und in Form des dritten Indikatorsignals 150 bereitzustellen. Zusätzlich oder alternativ können andere Müdigkeitserkennungsvorrichtungen eingesetzt werden. Alle oder zumindest eine der Müdigkeitserkennungsvorrichtungen 135, 145,155 sind Teil des Steuergeräts 100.
-
Die erste Müdigkeitserkennungsvorrichtung 135 ist demnach gemäß diesem Ausführungsbeispiel dazu ausgebildet, um den ersten Müdigkeitsparameter unter Verwendung von sich auf den Kopf des Fahrers beziehende Merkmale zu bestimmen. Gemäß einem Ausführungsbeispiel weist die erste Müdigkeitserkennungsvorrichtung 135 hierzu zumindest eine Kamera oder einen anderen geeigneten Sensor auf oder ist dazu ausgebildet, um Signale von einer Kamera einzulesen. Die zweite Müdigkeitserkennungsvorrichtung 145 ist gemäß diesem Ausführungsbeispiel dazu ausgebildet, um den zweiten Müdigkeitsparameter unter Verwendung von Lenkeinstellungen, beispielsweise zumindest eines eingestellten Lenkwinkels oder einer Lenkwinkelgeschwindigkeit des Fahrzeugs 110, zu bestimmen. Die dritte Müdigkeitserkennungsvorrichtung 155 ist gemäß diesem Ausführungsbeispiel dazu ausgebildet, um den dritten Müdigkeitsparameter unter Verwendung von Umfeldsituationen wie Umweltfaktoren und/oder einer Tageszeit und/oder einer Fahrtdauer und/oder einer Fahreraktivität zu bestimmen.
-
Gemäß diesem Ausführungsbeispiel ist die Bestimmeinrichtung 125 dazu ausgebildet, um das Müdigkeitssignal 175 unter Verwendung des ersten Indikatorsignals 130 zu bestimmen, wenn die erste Validität 160 eine erste Bedingung erfüllt und unter Verwendung des zweiten Indikatorsignals 140 zu bestimmen, wenn die zweite Validität 165 eine zweite Bedingung erfüllt, und unter Verwendung des dritten Indikatorsignals 150 zu bestimmen, wenn die dritte Validität 170 eine dritte Bedingung erfüllt. Gemäß diesem Ausführungsbeispiel ist die Bestimmeinrichtung 125 hierzu dazu ausgebildet, um die erste Validität 160 mit einem Soll- oder Schwellenwert zu vergleichen und die zweite Validität 165 mit einem Soll- oder Schwellenwert zu vergleichen und die dritte Validität 170 mit einem Soll- oder Schwellenwert zu vergleichen. Die Soll- oder Schwellenwerte sind gemäß einem Ausführungsbeispiel in dem Steuergerät 100 gespeichert oder von dem Steuergerät 100 einlesbar. Gemäß einem optionalen Ausführungsbeispiel verwendet die Bestimmeinrichtung 125 zum Bestimmen des Müdigkeitssignals 175 lediglich jene Indikatorsignale 130, 140, 150, deren Validitäten 160, 165, 170 ihre jeweilige Bedingung erfüllen, beispielsweise in einem für sie bestimmten Sollbereich liegen oder ihren Schwellenwert nicht über- oder unterschreiten.
-
Zusätzlich oder alternativ ist die Bestimmeinrichtung 125 gemäß diesem Ausführungsbeispiel dazu ausgebildet, um das Müdigkeitssignal 175 unter Verwendung des abhängig von der ersten Validität 160 gewichteten ersten Indikatorsignals 130 und unter Verwendung des abhängig von der zweiten Validität 165 gewichteten zweiten Indikatorsignals 140 und unter Verwendung des abhängig von der dritten Validität 170 gewichteten dritten Indikatorsignals 150 zu bestimmen. Gemäß einem optionalen Ausführungsbeispiel ist das Steuergerät 100 hierzu dazu ausgebildet, um die erste Validität 160 und/oder die zweite Validität 165 und/oder die dritte Validität 170 zu gewichten, beispielsweise abhängig von einem Ergebnis der jeweils ermittelten Validität 160, 165, 170. Gemäß einem Ausführungsbeispiel gewichtet das Steuergerät 100 hierbei jene Indikatorsignale 130, 140, 150, deren Validitäten 160, 165, 170 von der Ermittlungseinrichtung 120 als höher valide ermittelt wurden, stärker, als jene Indikatorsignale 130, 140, 150, deren Validitäten 160, 165, 170 als niedriger valide ermittelt wurden.
-
Zusätzlich oder alternativ ist die Bestimmeinrichtung 125 gemäß einem Ausführungsbeispiel dazu ausgebildet, um einen Mittelwert aus dem ersten Indikatorsignal 130 und dem zweiten Indikatorsignal 140 und dem dritten Indikatorsignal 150 zu bilden, um das Müdigkeitssignal 175 zu bestimmen. Dazu kann eine geeignete Mittelungsvorschrift umgesetzt werden.
-
Zusätzlich oder alternativ ist die Bestimmeinrichtung 125 gemäß diesem Ausführungsbeispiel dazu ausgebildet, um das Müdigkeitssignal 175 unter Verwendung einer maschinell angelernten Bestimmvorschrift zu bestimmten. Dazu kann auf bekannte Verfahren der Künstlichen Intelligenz zurückgegriffen werden.
-
Im Folgenden werden Details sowie Funktionen des Steuergeräts 100 anhand einiger Ausführungsbeispiel beschrieben:
- Das hier vorgestellte Steuergerät 100 kombiniert eine situationsabhängige Müdigkeitseinschätzung und eine Müdigkeitseinschätzung basierend auf Augenbewegungen. Falls ein Kamerabild einer auf das Fahrergesicht des Fahrers gerichteten Kamera nicht vertrauenswürdig ist, wird gemäß einem Ausführungsbeispiel von dem Steuergerät 100 eine Müdigkeitseinschätzung basierend auf einem Lenkverhalten einbezogen.
-
Es werden gemäß einem Ausführungsbeispiel zumindest zwei beliebige Kombination der nachstehend aufgeführten Methoden einer Müdigkeitserkennungsvorrichtung von dem Steuergerät 100 miteinbezogen:
- - eine Müdigkeitseinschätzung basierend auf einem Lenkverhalten des Fahrers, beispielsweise mittels einer Auswertung von Lenkradwinkeln,
- - eine Müdigkeitseinschätzung basierend auf Kamerabildern, beispielsweise mittels einer Auswertung von Gesichtszügen oder Gesichtsmerkmalen wie beispielsweise einem Öffnungszustand eines Augenlids und/oder einer Kopfhaltung und/oder einer Blickrichtung des Fahrers,
- - eine Müdigkeitseinschätzung basierend auf der Fahrsituation, beispielsweise unter Berücksichtigung einer Tageszeit und/oder einer Fahrtdauer,
- - eine Müdigkeitseinschätzung basierend auf einer Fahrspur-Positionserkennung, beispielsweise unter Verwendung einer an dem Fahrzeug nach vorne ausgerichteten Frontkamera,
- - eine Müdigkeitseinschätzung basierend auf anderen Messmethoden wie Elektroenzephalografie (EEG) und/oder einer Hauttemperatur des Fahrers.
-
Anders als bei bekannten Müdigkeitserkennungsvorrichtungen, kombiniert das hier vorgestellte Steuergerät 100 nicht nur Ergebnisse verschiedener Müdigkeitseinschätzungen, sondern bezieht in die endgültige Einschätzung auch eine Bewertung einer Gültigkeit der einzelnen Ergebnisse mit ein. Dies ist deshalb wichtig, da die einzelnen Müdigkeitserkennungsvorrichtungen nicht in allen möglichen Szenarien gleich gut funktionieren. Jede der genannten Methoden hat Schwächen. Lenkwinkelbasierte Lösungen zur Müdigkeitserkennung sind beispielsweise nicht aussagekräftig, wenn eine Fahrassistenzvorrichtung zum teil- oder hochautomatisierten Fahren aktiv ist, da der Fahrer das Fahrzeug in einem solchen Fall gar nicht selbst kontrolliert oder lenkt. So kann er entweder von der Fahrassistenzvorrichtung unterstützt werden, das dann Unstimmigkeiten in der Müdigkeitserkennung verursachen kann, oder er ist unter Umständen auch gar nicht am Fahrgeschehen beteiligt. So kann ein schlechtes oder verfälschtes Ergebnis entstehen. Kameras, die auf das Gesicht des Fahrers gerichtet sind, können in bestimmten Situationen schlechte Bilder aufnehmen oder Probleme in der Bildverarbeitung haben, beispielsweise aufgrund von Sonneneinstrahlung, Reflexionen, individuellen Gesichtszügen, einer Verdeckung einer im Innenraum angeordneten Kamera oder des Gesichts hinzufügen, Fahrergröße, Sitzposition. Auch so kann ein schlechtes oder verfälschtes Ergebnis entstehen. Situationsbasierte Müdigkeitseinschätzungen können fehlerhaft sein, wenn die Müdigkeit des Fahrers von einem statistischen Durchschnitt abweicht, beispielsweise wenn der Fahrer Nachtarbeiter ist oder Berufskraftfahrer. Auch so kann ein schlechtes oder verfälschtes Ergebnis entstehen. Fahrspurbasierte Müdigkeitseinschätzungen haben Probleme, wenn keine Fahrbahnmarkierung vorhanden ist. Auch so kann ein schlechtes oder verfälschtes Ergebnis entstehen.
-
Aus diesem Grund ist das Steuergerät 100 vorteilhafterweise dazu ausgebildet, um die Validitäten der Ergebnisse festzustellen, um derartige schlechte oder verfälschte Ergebnisse beim Bestimmen eines Endergebnisses weniger zu gewichten oder sogar auszuschließen.
-
Das Steuergerät 100 kombiniert also zusammengefasst die Müdigkeitseinschätzungen mehrerer Müdigkeitserkennungsvorrichtungen 135, 145, 155 unter Berücksichtigung der einzelnen Gültigkeiten der Müdigkeitseinschätzungen, um Schwächen der einzelnen Müdigkeitserkennungsvorrichtungen 135, 145, 155 auszubalancieren und ein Gesamtergebnis der Müdigkeitseinschätzung in Form des Müdigkeitssignals 175 zu verbessern.
-
Das Steuergerät 100 kombiniert zumindest zwei Methoden zur Müdigkeitserkennung der Müdigkeitserkennungsvorrichtungen 135, 145, 155 basierend auf den individuellen Validitäten 160, 165, 170 der einzelnen Indikatorsignale 130, 140, 150. In einem Ausführungsbeispiel wird, wenn das Kamerabild der Kamera nicht gut ist, das entsprechende erste und/oder zweite Indikatorsignal 130, 150 zum Bestimmen des Müdigkeitssignals 175 nicht berücksichtigt und/oder wenn eine Fahrassistenzvorrichtung aktiv ist, das dann nicht mehr aussagekräftige zweite Indikatorsignal 140 zum Bestimmen des Müdigkeitssignals 175 nicht berücksichtigt (siehe hierzu auch 2). Dies ermöglicht ein besonders gutes Endergebnis, da lediglich jene Ergebnisse der Müdigkeitserkennungsvorrichtungen 135, 145, 155 kombiniert werden, welche die höchsten Validitäten aufweisen.
-
2 zeigt ein Blockschaltbild eines Steuergeräts 100 gemäß einem Ausführungsbeispiel. Dabei kann es sich um das anhand von 1 beschriebene Steuergerät 100 handeln.
-
Gemäß diesem Ausführungsbeispiel ist das Steuergerät 100 dazu ausgebildet, um ein Fahrsituationssignal 200 zu empfangen, das einen automatisierten Fahrbetrieb und/oder eine aktuelle Fahrgeschwindigkeit und/oder einen Straßentyp anzeigt. Die Bestimmeinrichtung 125 ist dazu ausgebildet, um das Müdigkeitssignal 175 abhängig von dem Fahrsituationssignal 200 zu bestimmen. Das Steuergerät 100 empfängt das Fahrsituationssignal 200 gemäß einem Ausführungsbeispiel von einer Fahrassistenzvorrichtung 205 des Fahrzeugs.
-
Gemäß einem Ausführungsbeispiel ist auch die Fahrassistenzvorrichtung 205 Teil des Steuergeräts 100.
-
Gemäß einem Ausführungsbeispiel berücksichtigt die Bestimmeinrichtung 125 beim Bestimmen des Müdigkeitssignals 175 das zweite Indikatorsignal 140 (Lenkverhalten) nicht, wenn das Fahrsituationssignal 200 einen teil- oder hochautomatisierten Fahrbetrieb des Fahrzeugs anzeigt. Zusätzlich oder alternativ berücksichtigt die Bestimmeinrichtung 125 beim Bestimmen des Müdigkeitssignals 175 das zweite Indikatorsignal 140 nicht, wenn das Fahrsituationssignal 200 eine unterhalb eines Schwellenwerts liegende Geschwindigkeit anzeigt. Somit kann das zweite Indikatorsignal 140 beispielsweise nicht berücksichtigt werden, wenn die Fahrgeschwindigkeit einer Schrittgeschwindigkeit entspricht. Es erfolgt also gemäß diesem Ausführungsbeispiel das Bestimmen des Müdigkeitssignals 175 basierend auf der Fahrsituation und den Validitäten 160, 165, 170 aller Indikatorsignale 130, 140, 150. Die Kombination erfolgt gemäß einem Ausführungsbeispiel unter Verwendung eines linearen Modells, beispielsweise indem von der Bestimmeinrichtung 125 ein Durchschnittswert oder ein gewichteter Durchschnittswert bestimmt wird. Gemäß einem Ausführungsbeispiel erfolgt die Kombination unter Verwendung einer oder mehrerer Selektionsmethoden, beispielsweise indem von der Bestimmeinrichtung 125 ein Warnsignal 210 ausgegeben wird, das eine wahrnehmbare Warnung an den Fahrer erzeugt, wenn zwei der Indikatorsignale 130, 140, 150 als valide ermittelt werden. Gemäß einem Ausführungsbeispiel erfolgt die Kombination unter Verwendung zumindest eines maschinellen Lernverfahrens zur Kombination der Methoden. Hierbei lernt das Steuergerät 100 gemäß einem Ausführungsbeispiel, dass oder wie die Fahrsituation das Gesamtergebnis beeinflusst.
-
In einer weiteren beispielhaften Anwendung liest das Steuergerät 100 das erste Indikatorsignal 130 und das dritte Indikatorsignal 150 ein. Erst wenn von der Ermittlungseinrichtung 120 ermittelt wird, dass die Kamera keine vertrauenswürdigen Informationen bereitstellt, wird das zweite Indikatorsignal 140 eingelesen und zum Bestimmen des Müdigkeitssignals 175 verwendet. Das zweite Indikatorsignal 140 wird gemäß einem Ausführungsbeispiel aber nur dann eingelesen, wenn der Fahrer das Fahrzeug 110 selbst aktiv steuert, also kein teil- oder hochautomatisierter Fahrbetrieb eingestellt ist. Die Müdigkeitserkennung basierend auf dem Lenkverhalten dient in diesem Anwendungsfall als eine Reserve-Müdigkeitserkennung. Dies ermöglicht eine stabilere Müdigkeitserkennung in Situationen, in denen der die Augenbewegungen des Fahrers repräsentierende Müdigkeitsparameter der ersten Müdigkeitserkennungsvorrichtung 135 und/oder der die Situation repräsentierende Müdigkeitsparameter der dritten Müdigkeitserkennungsvorrichtung 155 als nicht valide ermittelt wird. Es wird also in dieser Anwendung nur in bestimmten Fahrsituationen das zweite Indikatorsignal 140 in die endgültige Müdigkeitsbestimmung miteinbezogen, nur wenn die Kamera Probleme hat.
-
Eine Funktion des hier vorgestellten Steuergeräts 100 kann mittels einer Analyse des von dem Müdigkeitssignal 175 bereitgestellten Endergebnisses erkannt werden, wenn eine der Müdigkeitserkennungsvorrichtungen 135, 145, 155 manipuliert wurde, beispielsweise die Kamera deaktiviert oder blockiert wurde.
-
3 zeigt ein Blockschaltbild eines Steuergeräts 100 gemäß einem Ausführungsbeispiel. Dabei kann es sich um das anhand von 1 oder 2 beschriebene Steuergerät 100 handeln. Schematisch dargestellt sind außerdem der Fahrer 300 des Fahrzeugs, die Umwelt 305, die Kamera 310 des Fahrzeugs, ein Lenksystem 315 des Fahrzeugs sowie eine Warneinrichtung 320 des Fahrzeugs. 3 zeigt eine Übersicht über einen Signalfluss zum Erkennen der Müdigkeit des Fahrers 300.
-
Die Kamera 310 ist gemäß diesem Ausführungsbeispiel auf das Gesicht des Fahrers 300 gerichtet und dazu ausgebildet, um Gesichtssignale 325 zu erfassen, welche dann in Form der Kopfsignale 180 von der ersten Müdigkeitsvorrichtung 135 einlesbar sind. Das Lenksystem 315 ist dazu ausgebildet, um Lenkverhaltenssignale 330 des Fahrers zu erfassen, welche dann in Form der Lenksignale 185 von der zweiten Müdigkeitsvorrichtung 145 einlesbar sind. Die dritte Müdigkeitsvorrichtung 155 ist dazu ausgebildet, um Umfeldsignale 190 von dem Fahrer 300 zu erfassen, welche beispielsweise eine Fahreraktivität repräsentieren und/oder um Umfeldsignale 190 von der Umwelt 305 zu erfassen, welche beispielsweise eine Tageszeit und/oder eine Fahrtdauer repräsentieren.
-
Das Steuergerät 100 ist gemäß diesem Ausführungsbeispiel dazu ausgebildet, um das Warnsignal 210 an die Warneinrichtung 320 auszugeben, die dazu ausgebildet ist, um ansprechend auf das Warnsignal 320 den Fahrer 300 zu warnen, wenn das Müdigkeitssignal die erkannte Müdigkeit des Fahrers anzeigt, die als kritisch eingestuft ist oder wurde. Hierzu ist das Steuergerät 100 dazu ausgebildet, um die erkannte Müdigkeit des Müdigkeitssignals mit einem kritischen Müdigkeitswert und/oder einem kritischen Schwellenwert zu vergleichen, der gemäß einem Ausführungsbeispiel gespeichert ist oder eingelesen wird.
-
4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug gemäß einem Ausführungsbeispiel. Dabei kann es sich um ein Verfahren 400 handeln, das von einem der anhand einer der vorangegangenen Figuren beschriebenen Steuergeräte ausführbar oder ansteuerbar ist.
-
Das Verfahren 400 umfasst einen Schritt 405 des Einlesens, einen Schritt 410 des Ermittelns und einen Schritt 415 des Bestimmens eines Müdigkeitssignals. Im Schritt 405 des Einlesens werden zumindest ein erstes Indikatorsignal, das einen von einer ersten Müdigkeitserkennungsvorrichtung des Fahrzeugs bestimmten ersten Müdigkeitsparameter des Fahrers repräsentiert, ein zweites Indikatorsignal, das einen von einer zweiten Müdigkeitserkennungsvorrichtung des Fahrzeugs bestimmten zweiten Müdigkeitsparameter des Fahrers repräsentiert, und ein drittes Indikatorsignal, das einen von einer dritten Müdigkeitserkennungsvorrichtung des Fahrzeugs bestimmten dritten Müdigkeitsparameter des Fahrers repräsentiert, eingelesen. Im Schritt 410 des Ermittelns werden eine erste Validität des ersten Indikatorsignals und eine zweite Validität des zweiten Indikatorsignals und eine dritte Validität des dritten Indikatorsignals ermittelt. Im Schritt 415 des Bestimmens wird ein Müdigkeitssignal bestimmt, das die erkannte Müdigkeit des Fahrers repräsentiert, unter Verwendung des ersten Indikatorsignals, des zweiten Indikatorsignals, des dritten Indikatorsignals, der ersten Validität, der zweiten Validität und der dritten Validität.
-
Das Verfahren 400 weist gemäß diesem Ausführungsbeispiel zudem einen optionalen Schritt 420 des Bestimmens des ersten und/oder zweiten und/oder dritten Indikatorsignals und/oder einen optionalen Schritt 425 des Empfangens und/oder einen optionalen Schritt 430 des Sendens auf. Im Schritt 420 des Bestimmens des ersten und/oder zweiten und/oder dritten Indikatorsignals wird das erste Indikatorsignal unter Verwendung eines Kopfsignals, das eine Augenbewegung des Fahrers repräsentiert, und/oder das zweite Indikatorsignal unter Verwendung eines Lenksignals, das ein Lenkverhalten des Fahrers oder Fahrzeugs repräsentiert, und/oder das dritte Indikatorsignal unter Verwendung eines Umfeldsignals, das eine Umfeldsituation repräsentiert, bestimmt. Im Schritt 425 des Empfangens wird ein Fahrsituationssignal empfangen, das einen automatisierten Fahrbetrieb und/oder eine aktuelle Fahrgeschwindigkeit und/oder einen Straßentyp anzeigt, wobei der Schritt 415 des Bestimmens des Müdigkeitssignals abhängig von dem Fahrsituationssignal ausgeführt wird. Im Schritt 430 des Sendens wird ein Warnsignal an den Fahrer ausgegeben, wenn im Schritt 415 des Bestimmens des Müdigkeitssignals die erkannte Müdigkeit des Fahrers erkannt wird, welche als kritisch eingestuft ist.
-
Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2016/0104486 A1 [0003]
- DE 102015010284 A1 [0003]