DE102022132175A1

DE102022132175A1 - Verfahren und system zum erkennen von müdigkeit eines fahrers eines fahrzeugs

Info

Publication number: DE102022132175A1
Application number: DE102022132175.4A
Authority: DE
Inventors: Foti Coleca; Josephine Zillmann
Original assignee: Gestigon GmbH
Current assignee: Gestigon GmbH
Priority date: 2022-12-05
Filing date: 2022-12-05
Publication date: 2024-06-06

Abstract

Ein Verfahren (100) zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs umfasst die folgenden Schritte. Mindestens zwei im Laufe der Zeit während der Fahrt beobachtete Merkmale (11) des Fahrers werden erlangt. Die Merkmale (11) des Fahrers geben einen Zustand mindestens eines von dem Gesicht des Fahrers, insbesondere der Augen des Fahrers, und des Kopfes des Fahrers an. Die erlangten Merkmale (11) des Fahrers werden einem Bewertungsmodell (1) zugeführt, wobei das Bewertungsmodell (1) eine Modellarchitektur für maschinelles Lernen aufweist, die mindestens zwei Streams (10) bereitstellt, die dazu konfiguriert sind, parallel verarbeitet zu werden, wobei die Merkmale (11) des Fahrers jeweils einem der Streams (10) zugeführt werden. Jeder der Streams (10) in dem Bewertungsmodell (1) wird verarbeitet, um eine jeweilige Merkmalsbewertung zu erlangen, die den Merkmalen (11) des Fahrers entspricht. Die Merkmalsbewertungen werden verkettet, und die verketteten Merkmalsbewertungen werden in einem einzelnen Stream (13) weiterverarbeitet, um ein Bewertungsergebnis zu erlangen. Aus dem Bewertungsergebnis wird eine Klassifizierung einer Müdigkeit des Fahrers in mindestens zwei Müdigkeitsgraden bestimmt, insbesondere beinhaltend mindestens „müde“ und „wach“.

Description

Die vorliegende Erfindung betrifft das Gebiet der fahrzeuginternen Sensorsysteme. Insbesondere bezieht sich die Erfindung auf ein Verfahren und ein System zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs. Insbesondere wird ein Verfahren zur Müdigkeitserkennung bereitgestellt, das ein Modell für maschinelles Lernen anwendet.
Müdigkeit des Fahrers (auch als Ermüdung oder Schläfrigkeit bezeichnet) ist ein wesentlicher Risikofaktor in Bezug auf die Fahrsicherheit. Müdigkeit aufgrund einer Kombination aus Schlafmangel, Nachtfahrten und verlängerter Arbeitszeit oder einfach durch langes Fahren, insbesondere Fahrten, die wenig Aufmerksamkeit erfordern, wie etwa lange Fahrten auf einer Autobahn mit wenig Verkehr bei im Wesentlichen gleicher Geschwindigkeit, kann wesentlich zu der Anzahl von Verkehrsunfällen beitragen. Daher besteht ein Bedarf, ein Müdigkeitserkennungssystem in einem Fahrzeug zu implementieren, das verhindern kann, dass ein Fahrer einschläft.
Moderne Fahrzeuge, wie etwa Autos, sind häufig mit einer Vielzahl von Komfort-, Assistenz- und Sicherheitsmerkmalen ausgestattet und können Innenraumüberwachungssysteme beinhalten. Solche Systeme können auch zum Erkennen eines Müdigkeitsgrads eines Fahrers eines Fahrzeugs verwendet werden. Zur Überwachung von Aktivitäten des Fahrers, insbesondere auch des Gesichts des Fahrers, können Sensoren, insbesondere Kameras eines Fahrerüberwachungssystems (driver monitoring system - DMS) bereitgestellt sein. Verschiedene Gesichtsmerkmale können durch das DMS aus Bilddaten, die das Gesicht des Fahrers darstellen, erkannt und extrahiert werden. Gesichtsmerkmale, die für die Überwachung, ob der Fahrer wach oder müde ist, relevant sein können, können Merkmale beinhalten, die die Augen des Fahrers berücksichtigen, wie etwa Augenbewegung, Augenschließen, Blinzelrate oder dergleichen. Außerdem können Kopfbewegungen des Fahrers beobachtet werden, um einen Müdigkeitsgrad des Fahrers zu bewerten.
Einige bekannte Verfahren zum Erkennen eines Müdigkeitsgrads eines Fahrers beinhalten Algorithmen, die auf maschinellem Lernen (ML) basieren. Falls Müdigkeit erkannt wird, kann ein Warnsignal ausgegeben werden, um den Fahrer zu warnen oder eine Ruhepause zu empfehlen. Um einen Müdigkeitsgrad eines Fahrers zu erkennen, können gängige ML-Modelle ein erfasstes Bild des Fahrers als Eingabe für das Modell verwenden, wobei eine zeitabhängige Reihe von Bildern unter Verwendung bekannter Computer-Vision-Verfahren analysiert wird. Für die Verarbeitung eines 2D-Faltungsnetzes (2D-CNN), insbesondere mit Zeitabhängigkeit, können jedoch große Rechenkapazitäten erforderlich sein. Darüber hinaus können bei der Verarbeitung der erlangten Bilder als Ganzes die verschiedenen Merkmale, die für die Müdigkeitserkennung relevant sein können, nicht unabhängig berücksichtigt (oder gewichtet) werden, und somit kann eine mögliche Beziehung nicht richtig berücksichtigt werden. Dasselbe gilt für ein jeweiliges Trainingsverfahren zum Trainieren eines ML-Modells, das in einem Verfahren und System zum Erkennen von Müdigkeit eines Fahrers verwendet wird.
Abgesehen davon muss die Müdigkeit eines Fahrers zuverlässig erkannt werden, um von einem solchen Merkmal in einem Fahrzeug zu profitieren. Insbesondere eine zu große Anzahl von Fehlalarmen (d. h. eine hohe Anzahl von Falsch-Positiven), d. h. wenn Müdigkeit erkannt wird, obwohl der Fahrer vollständig wach oder zumindest nicht müde ist, kann zu einer geringen Akzeptanz bei den Benutzern führen. Daher ist es wichtig, das richtige Gleichgewicht zwischen der Anzahl Falsch-Positiver und Falsch-Negativer zu finden.
Es ist eine Aufgabe der vorliegenden Erfindung, einen verbesserten Ansatz zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs bereitzustellen. Insbesondere ist es wünschenswert, die Genauigkeit und Zuverlässigkeit der Müdigkeitserkennung eines Fahrers unter Verwendung eines auf maschinellem Lernen basierenden Ansatzes zu verbessern.
Eine Lösung dieses Problems ist durch die Lehre der unabhängigen Ansprüche bereitgestellt. Verschiedene bevorzugte Ausführungsformen der vorliegenden Erfindung werden durch die Lehren der abhängigen Ansprüche bereitgestellt.
Ein erster Aspekt der Erfindung ist auf ein, insbesondere computerimplementiertes, Verfahren zum Trainieren eines Bewertungsmodells zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs gerichtet. Trainingsdaten werden erlangt, die mindestens zwei Merkmale des Fahrers darstellen. Die Merkmale des Fahrers geben einen Zustand von mindestens einem der Fahrer- oder Gesichtsmerkmale an, insbesondere der Augen des Fahrers und des Kopfes des Fahrers, und sind einem Müdigkeitsgrad des Fahrers zugeordnet. Die Trainingsdaten werden einem Bewertungsmodell zugeführt, wobei das Bewertungsmodell eine Modellarchitektur für maschinelles Lernen aufweist, die mindestens zwei Streams bereitstellt, die dazu konfiguriert sind, parallel verarbeitet zu werden, wobei die Merkmale des Fahrers jeweils einem der Streams zugeführt werden. Jeder der Streams in dem Bewertungsmodell wird verarbeitet, um eine jeweilige Merkmalsbewertung zu erlangen, die den Merkmalen des Fahrers entspricht. Die Merkmalsbewertungen werden verkettet, und die verketteten Merkmalsbewertungen werden in einem einzelnen Stream weiterverarbeitet, um ein Bewertungsergebnis zu erhalten. Eine Klassifizierung einer Müdigkeit des Fahrers wird aus dem Bewertungsergebnis bestimmt, das dem Müdigkeitsgrad des Fahrers entspricht, der den Trainingsdaten zugeordnet ist.
Dementsprechend kann das Verfahren als verbessertes Müdigkeitserkennungsverfahren angesehen werden. Insbesondere die in dem Verfahren angewendete Multi-Stream-Architektur des Modells für maschinelles Lernen kann die Bewertung der Merkmale des Fahrers zum Bestimmen einer Müdigkeitsklassifikation des Fahrers dadurch verbessern, dass die Merkmale des Fahrers in parallelen Streams statt zusammen in einem großen und komplexen Netz verarbeitet werden. Das Modell kann als Multi-Stream-Netz bezeichnet werden.
Die bestimmte Klassifizierung kann dazu verwendet werden, geeignete Anwendungen im Fahrzeug zu steuern, um den Fahrer über eine mögliche oder bevorstehende Müdigkeit zu informieren. Es kann auch in Betracht gezogen werden, geeignete Anwendungen zu steuern, um einen Müdigkeitsgrad zu reduzieren, oder mit anderen Worten, um einen Grad der Aufmerksamkeit eines Fahrers zu erhöhen. Während also insbesondere im Hinblick auf die Fahrsicherheit zwei Müdigkeitsgrade ausreichend sein können, könnten mehr Grade verwendet werden, um die Steuerung von Fahrzeugfunktionen einzustellen, um sicherzustellen, dass der Fahrer während der Fahrt nicht einschläft. Das Verfahren kann beispielsweise einen Müdigkeitsgrad ausgeben, der für eine der Standard-Müdigkeitsskalen, z. B. Karolinska Sleepiness Scale (KSS), kalibriert wurde. Das Verfahren kann bestimmen, dass der Fahrer müde ist, wenn der Müdigkeitsgrad einen gewissen Schwellenwert überschreitet, und kann bestimmen, dass der Fahrer wach ist, wenn der Müdigkeitsgrad unter einem gewissen Schwellenwert auf einer geeigneten Müdigkeitsskala, z. B. der KSS, liegt.
Der Begriff „Müdigkeit“ im hierin verwendeten Sinne bezieht sich insbesondere auf einen Zustand des Fahrers, der einem gewissen „Müdigkeitsgrad“ (oder umgekehrt: „Aufmerksamkeitsgrad“ oder „Wachheitsgrad“) entspricht. Das Verfahren kann je nach Anwendungsfall zwei oder mehr Grade ausgeben, wie etwa „müde“ und „wach“. Die Werte können von einer Müdigkeitsskala abgeleitet werden. Das Verfahren kann beispielsweise einen Müdigkeitsgrad bestimmen (ausgeben), der möglicherweise für eine der bekannten Standard-Müdigkeitsskalen, z. B. Karolinska Sleepiness Scale (KSS), kalibriert wurde. Die KSS ist eine 9-Punkte-Skala (1 = extrem aufmerksam, 2 = sehr aufmerksam, 3 = aufmerksam, 4 = ziemlich aufmerksam, 5 = weder aufmerksam noch schläfrig, 6 = einige Anzeichen von Schläfrigkeit, 7 = schläfrig, aber keine Schwierigkeit, wach zu bleiben, 8 = schläfrig, aber mit einiger Anstrengung, wach zu bleiben, und 9 = extrem schläfrig, große Anstrengung, wach zu bleiben / Kampf gegen den Schlaf).
Insbesondere im Hinblick auf die Fahrsicherheit kann das Verfahren bestimmen, dass der Fahrer müde ist, wenn der Müdigkeitsgrad einen gewissen Schwellenwert überschreitet, und kann bestimmen, dass der Fahrer wach ist, wenn der Müdigkeitsgrad unter einem gewissen Schwellenwert auf einer geeigneten Müdigkeitsskala, z. B. der KSS, liegt. Jedoch kann, wie vorstehend erwähnt, das Bestimmen von zwei Graden ausreichend sein, insbesondere zum Steuern gewisser Fahrzeugfunktionen, um den Fahrer zu warnen.
Der Begriff „Fahrzeug“ im hierin verwendeten Sinne bezieht sich insbesondere auf ein Auto, einschließlich aller Arten von Kraftfahrzeugen, Hybrid-Elektrofahrzeugen und batterieelektrischen Fahrzeugen sowie anderen Fahrzeugen wie Lastwagen, Lieferwagen oder Bussen.
Der Begriff „erlangen“, insbesondere der Merkmale des Fahrers, bezieht sich insbesondere auf das Empfangen dieser Merkmale von einem vorherigen Berechnungsblock, was nicht notwendigerweise Teil des Verfahrens der vorliegenden Erfindung ist. Die Merkmale des Fahrers, insbesondere Gesichtsmerkmale des Fahrers, die Merkmale in Bezug auf das Gesicht des Fahrers sowie den Kopf des Fahrers beinhalten können (z. B. Augenschließungswert, Kopfausrichtung usw.), die im Folgenden alle als „Gesichtsmerkmale“ bezeichnet werden können, können in einem vorherigen Schritt unter Verwendung bekannter (Gesichts-) Merkmalsextraktionsalgorithmen berechnet werden. Das Verfahren der vorliegenden Erfindung verwendet diese extrahierten Merkmale als Eingabemerkmale, wobei die Eingabemerkmale nicht vorverarbeitet werden müssen. Insbesondere muss kein Mittelwert, keine Standardabweichung oder kein exponentieller gleitender Durchschnitt berechnet werden. Dies kann eine effizientere Ausführung des Verfahrens der vorliegenden Erfindung bereitstellen.
Die Begriffe „erster“, „zweiter“, „dritter“ und dergleichen in der Beschreibung und in den Ansprüchen werden, sofern vorhanden, zum Unterscheiden zwischen ähnlichen Elementen und nicht zwingend zum Beschreiben einer sequentiellen oder chronologischen Abfolge verwendet. Es versteht sich, dass die so verwendeten Begriffe unter geeigneten Umständen austauschbar sind und dass die hierin beschriebenen Ausführungsformen der Erfindung in anderen Sequenzen als den hierin beschriebenen oder veranschaulichten betrieben werden können.
Wenn der Begriff „umfassend“ oder „beinhaltend“ in der vorliegenden Beschreibung und den Ansprüchen verwendet wird, schließt er andere Elemente oder Schritte nicht aus. Wenn ein unbestimmter oder bestimmter Artikel verwendet wird, wenn auf ein Substantiv im Singular Bezug genommen wird, z. B. „ein“ oder „eine“, „der/die/das“, beinhaltet dies einen Plural dieses Substantivs, sofern nicht spezifisch etwas anderes angegeben ist.
Ferner bezieht sich, sofern nicht ausdrücklich das Gegenteil angegeben ist, „oder“ auf ein einschließendes oder und nicht auf ein ausschließliches oder. Zum Beispiel wird eine Bedingung A oder B durch ein beliebiges des Folgenden erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).
Im Folgenden werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die beliebig miteinander oder mit anderen Aspekten der vorliegenden Erfindung kombiniert werden können, sofern eine solche Kombination nicht ausdrücklich ausgeschlossen oder technisch unmöglich ist.
In einigen Ausführungsformen ist jeder der Streams in dem Bewertungsmodell als eindimensionales neuronales Faltungsnetz (1 D-CNN oder Conv1D) konfiguriert. Mit anderen Worten, anstatt einen End-to-End-Ansatz mit einem höherdimensionalen neuronalen Faltungsnetz (convolutional neural network - CNN) wie einem 2D-CNN oder 3D-CNN zu verwenden, werden berechnete Merkmale in mehreren parallelen Streams verarbeitet, wobei jeder der Streams ein 1 D-CNN ist. Durch diesen Ansatz können Rechenkapazitäten eingespart werden, da ein 1 D-CNN typischerweise weniger Rechenleistung benötigt als ein höherdimensionales neuronales Faltungsnetz (CNN), insbesondere im Hinblick auf eine Zeitabhängigkeit. Abgesehen davon kann ein typisches DMS bereits extrahierte Gesichtsmerkmale für andere Zwecke bereitstellen, die dann als Eingaben für das Multi-Stream-Netz der vorliegenden Erfindung verwendet werden können.
In einigen Ausführungsformen werden den Gesichtsmerkmalen zugeordnete Qualitätsmerkmale erlangt, wobei die Qualitätsmerkmale eine Wahrscheinlichkeit angeben, dass das jeweilige Gesichtsmerkmal korrekt beobachtet (insbesondere in einem vorherigen Schritt extrahiert) wurde, wobei die Qualitätsmerkmale dem jeweiligen Stream des zugehörigen Gesichtsmerkmals in dem Bewertungsmodell zugeführt werden. Die Qualitätsmerkmale können als Konfidenzwerte bezeichnet werden. Die Berücksichtigung des entsprechenden Qualitätsmerkmals in jedem Stream des Multi-Stream-Netzes kann die Genauigkeit und Zuverlässigkeit des Verfahrens verbessern. Beispielsweise können Merkmale des Fahrers mit geringer Konfidenz in dem Verfahren weniger berücksichtigt werden, während Merkmale des Fahrers mit hoher Konfidenz mit einer höheren Gewichtung berücksichtigt werden können.
In einigen Ausführungsformen werden mindestens einige der Merkmale des Fahrers gruppiert, wobei gruppierte Merkmale des Fahrers gemeinsam einem der Streams in dem Bewertungsmodell zugeführt werden. Mit anderen Worten verwendet das Verfahren eine Architektur des maschinellen Lernens, die entsprechende Eingabemerkmale in separate Streams des Multi-Stream-Netzes gruppiert. Insbesondere kann es vorteilhaft sein, ähnliche Merkmale zu gruppieren, d. h. Merkmale mit einer gewissen Korrelation, wie etwa die Richtungskomponenten der Blickrichtung des Fahrers (Gieren, Nicken), die Richtungskomponenten der Kopfhaltung des Fahrers (Gieren, Nicken, Rollen). Ebenso können Merkmale bezüglich des Augenblinzelns zusammen berücksichtigt werden, da sie ohnehin nicht unabhängig voneinander sind, wie Lidschlagdauer, Lidschlagzahl, Lidschlagöffnungsdauer und Lidschlagschließungsdauer sowie prozentuale Augenschließung (percentage eye closure - PERCLOS). Einzelheiten der Merkmale werden nachstehend näher erläutert. Somit kann das Netz aufgebaut werden, um Vorteil aus der Korrelation zwischen den Eingabemerkmalen zu ziehen. Außerdem können ähnliche Merkmale und ihre Konfidenzwerte (siehe oben) zusammen gruppiert werden.
In einigen Ausführungsformen beinhalten die Merkmale des Fahrers ein Augenschließungsmerkmal. Die Augenschließung kann für beide Augen oder separat für das linke Auge und das rechte Auge bestimmt werden. Eine Person, die müde ist, schließt die Augen meistens häufiger und die Zeit mit geschlossenen Augen wird länger dauern, je stärker der Müdigkeitszustand ist. Bei stärkeren Müdigkeitszuständen schließt ein Fahrer die Augen länger als eine Sekunde, was als Sekundenschlaf bezeichnet wird.
In einigen Ausführungsformen beinhalten die Merkmale des Fahrers eine Blickrichtung des Fahrers. Während ein Fahrer wach ist, schaut er zum Beispiel auf unterschiedliche Straßenschilder, die Spiegel, die Mittelkonsole und in andere Richtungen. Wenn er müde wird, wird sich der Fahrer nicht so oft umsehen wie im wachen Zustand und kann sich nur auf die Straße fixieren. Somit können weniger Änderungen im Blick des Fahrers auf eine zunehmende Müdigkeit hinweisen. Die Blickrichtung kann beobachtet werden, indem die Augen des Fahrers, insbesondere die Pupillen, verfolgt werden. Die Blickrichtung kann insbesondere ein Nicken und Gieren beinhalten, d. h. eine Bewegung der Augen nach oben und unten sowie nach links und rechts.
In einigen Ausführungsformen beinhalten die Merkmale des Fahrers eine Kopfhaltung des Fahrers. Ein aufmerksamer Fahrer wird seinen Kopf mehr bewegen als ein müder. Außerdem kann es bei starker Müdigkeit zu kurzen Kopfnickbewegungen kommen. Die Kopfhaltung kann insbesondere ein Nicken und Gieren, d. h. eine Auf- und Abwärtsbewegung des Kopfes und eine Drehung nach links und rechts, sowie ein Rollen, d. h. ein Neigen zur Seite, beinhalten.
In einigen Ausführungsformen beinhalten die Merkmale des Fahrers einen Prozentsatz der Augenschließung (PERCLOS) des Fahrers. Der PERCLOS-Wert gibt insbesondere einen Zeitanteil an, in dem ein Augenlid des Fahrers zu 80 % oder mehr geschlossen ist. Dieses Merkmal korreliert sehr gut mit der KSS. Das Hinzufügen dieses Merkmals als Eingabe zeigt signifikante Verbesserungen für das vorstehend erwähnte Modell.
In einigen Ausführungsformen beinhalten die Merkmale des Fahrers eine Lidschlagdauer. Die Dauer des Augenschließens wird größer, wenn der Fahrer immer müder wird.
In einigen Ausführungsformen beinhalten die Merkmale des Fahrers eine Lidschlaganzahl. Die Lidschlaganzahl gibt eine Anzahl von Lidschlägen in einem gewissen Zeitraum an. Wenn ein Fahrer schläfrig wird, werden die Lidschläge häufiger, bei sehr hoher Schläfrigkeit nehmen sie jedoch deutlich ab.
In einigen Ausführungsformen beinhalten die Merkmale des Fahrers eine Lidschlagöffnungs- und -schließdauer. Das Öffnen oder Schließen des Augenlids dauert länger, je müder der Fahrer wird.
Es versteht sich, dass die vorstehenden Merkmale beispielhaft erläutert sind. Sie haben sich als geeignet zum Erkennen von Müdigkeit eines Fahrers erwiesen. Während diese Merkmale bekannt sind und bevorzugte Eingaben für das Verfahren sein können, versteht es sich, dass andere Merkmale des Fahrers als geeignete Eingaben zum Erkennen des Müdigkeitsgrads eines Fahrers dienen können, insbesondere auch andere Gesichtsmerkmale, andere Kopfmerkmale oder sogar andere Merkmale, wie etwa das Fahrerverhalten. Im Allgemeinen können Merkmale, die mittels nicht-invasiver Verfahren beobachtet werden, für Anwendungen in der realen Welt geeignet und angemessen sein, d. h. Verfahren, die einen Müdigkeitsgrad indirekt erkennen. Diese können die vorstehend genannten Merkmale beinhalten, bei denen der Fahrer überwacht wird, z. B. mittels einer Bilderfassungsvorrichtung und/oder anderer fahrzeuginternen Sensoren. Außerdem kann das Fahrzeugverhalten beobachtet werden, um auf einen Müdigkeitsgrad eines Fahrers zu schließen. Die jeweiligen Daten können über ein Controller Area Network (CAN-Bus) des Fahrzeugs erlangt werden. Abgesehen davon kann es invasive Verfahren zum Erkennen eines Müdigkeitsgrads des Fahrers geben, wie etwa das Tragen einer EEG-Haube durch den Fahrer. Während derartige Verfahren verwendet werden könnten, um Trainingsdaten zu erlangen, sind invasive Verfahren jedoch nicht für Anwendungsfälle in der realen Welt geeignet.
Ein zweiter Aspekt der Erfindung ist auf ein, insbesondere computerimplementiertes, Verfahren zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs gerichtet. Es werden mindestens zwei im Zeitverlauf während der Fahrt beobachtete Merkmale des Fahrers erlangt. Die Merkmale des Fahrers geben einen Zustand mindestens eines der Gesichtsmerkmale des Fahrers, insbesondere der Augen des Fahrers, und des Kopfes des Fahrers an. Die erlangten Merkmale des Fahrers werden einem Bewertungsmodell zugeführt, das gemäß dem Verfahren des ersten Aspekts trainiert wurde, wobei das Bewertungsmodell eine Modellarchitektur für maschinelles Lernen aufweist, die mindestens zwei Streams bereitstellt, die dazu konfiguriert sind, parallel verarbeitet zu werden, wobei die Merkmale des Fahrers jeweils einem der Streams zugeführt werden. Jeder der Streams in dem Bewertungsmodell wird verarbeitet, um eine jeweilige Merkmalsbewertung zu erlangen, die den Merkmalen des Fahrers entspricht. Die Merkmalsbewertungen werden verkettet, und die verketteten Merkmalsbewertungen werden in einem einzelnen Stream weiterverarbeitet, um ein Bewertungsergebnis zu erlangen. Aus dem Bewertungsergebnis wird eine Klassifizierung einer Müdigkeit des Fahrers in mindestens zwei Müdigkeitsgraden bestimmt, insbesondere beinhaltend mindestens „müde“ und „wach“ (bzw. „nicht müde“).
In einigen Ausführungsformen des Verfahrens des zweiten Aspekts wird ein Steuersignal ausgegeben, wenn die Müdigkeit des Fahrers so klassifiziert wurde, dass sie einen schläfrigen Fahrer angibt. Das Steuersignal kann eine Fahrzeugfunktion steuern, wie etwa eine Warnung oder eine andere Maßnahme zum Reduzieren des Müdigkeitsgrads des Fahrers. Es können geeignete Fahrzeugfunktionen gewählt werden, um ein Einschlafen des Fahrers während der Fahrt zu verhindern. Wie vorstehend erwähnt, können im Hinblick auf die Fahrsicherheit zwei Müdigkeitsgrade ausreichend sein, es könnten aber mehr Grade verwendet werden, um die Steuerung von Fahrzeugfunktionen einzustellen, um sicherzustellen, dass der Fahrer während der Fahrt nicht einschläft. Im Hinblick auf die Müdigkeitsskala kann das Verfahren bestimmen, dass der Fahrer müde ist, wenn der Müdigkeitsgrad einen gewissen Schwellenwert überschreitet, und kann bestimmen, dass der Fahrer wach ist, wenn der Müdigkeitsgrad unter einem gewissen Schwellenwert auf einer geeigneten Müdigkeitsskala liegt.
Ein dritter Aspekt der vorliegenden Erfindung ist auf ein Datenverarbeitungssystem gerichtet, das dazu konfiguriert ist, das Verfahren des ersten und/oder zweiter Aspekts durchzuführen. Das Datenverarbeitungssystem könnte insbesondere mittels eines oder mehrerer Computerprogramme konfiguriert sein, um das Verfahren des ersten und/oder zweiten Aspekts durchzuführen. Zusätzlich oder alternativ kann die Konfiguration ganz oder teilweise durch jeweilige Hardware implementiert sein.
Ein vierter Aspekt der vorliegenden Erfindung ist auf ein System gerichtet, insbesondere ein Müdigkeitserkennungssystem, umfassend ein Datenverarbeitungssystem gemäß dem dritten Aspekt und mindestens eine Sensorvorrichtung, insbesondere eine Bilderfassungsvorrichtung, wie etwa eine Kamera, die dazu konfiguriert ist, in einem Fahrzeug montiert zu sein, um einen Fahrgastraum des Fahrzeugs zu überwachen, insbesondere einen Bereich des Fahrersitzes, genauer gesagt einen Bereich, in dem der Kopf des Fahrers zu erwarten ist. Ein Merkmalsextraktionsmodul ist bereitgestellt, insbesondere in dem Datenverarbeitungssystem, das dazu konfiguriert ist, die Merkmale des Fahrers aus dem erlangten Bild zu extrahieren, um die Merkmale des Fahrers bereitzustellen, die dem Bewertungsmodell zugeführt werden sollen. In dem Datenverarbeitungssystem kann ein Bewertungsmodul bereitgestellt sein, das zum Ausführen des Bewertungsmodells konfiguriert ist.
Die Bilderfassungsvorrichtung kann eine Kamera eines Fahrerüberwachungssystems (DMS) sein, die ein Infrarot(IR)-Bild, insbesondere ein Nahinfrarot(NIR)-Bild, ausgeben kann. Während ein Bild im Bereich des sichtbaren Lichts verwendet werden kann, ist ein NIR-Bild geeignet, um den Fahrer auch im Dunkeln oder bei schlechten Lichtverhältnissen zu überwachen. Wie vorstehend erwähnt, kann eine DMS-Kamera mindestens einen Bereich des Fahrersitzes überwachen, genauer gesagt einen Bereich, in dem der Kopf des Fahrers zu erwarten ist, um mindestens die Gesichtsmerkmale des Fahrers überwachen zu können. Die DMS-Kamera kann jedoch auch dazu konfiguriert sein, einen größeren Bereich des Fahrzeuginnenraums zu überwachen, einschließlich z. B. des Körpers des Fahrers oder des Cockpits. Es versteht sich, dass jeweils eine geeignete Infrarotlichtquelle bereitgestellt sein kann.
Ein fünfter Aspekt der vorliegenden Erfindung ist auf ein Computerprogramm oder ein Computerprogrammprodukt gerichtet, das Anweisungen umfasst, die bei Ausführung auf einem Datenverarbeitungssystem gemäß dem dritten Aspekt der Erfindung das System dazu veranlassen, das Verfahren gemäß dem ersten und/oder zweiten Aspekt der Erfindung durchzuführen.
Das Computerprogramm(-produkt) kann insbesondere in der Form eines Datenträgers implementiert sein, auf dem ein oder mehrere Programme zum Durchführen des Verfahrens gespeichert sind. Vorzugsweise handelt es sich dabei um einen Datenträger, wie etwa eine CD, eine DVD oder ein anderes optisches Medium, oder ein Flash-Speichermodul. Dies kann von Vorteil sein, wenn das Computerprogrammprodukt als Einzelprodukt unabhängig von der Prozessorplattform, auf der das eine oder die mehreren Programme ausgeführt werden sollen, gehandelt werden soll. In einer weiteren Implementierung ist das Computerprogrammprodukt als Datei auf einer Datenverarbeitungseinheit bereitgestellt, insbesondere auf einem Server, und kann über eine Datenverbindung, z. B. das Internet oder eine dedizierte Datenverbindung, wie ein proprietäres oder lokales Netzwerk, heruntergeladen werden.
Das System des dritten Aspekts kann dementsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm gespeichert ist. Alternativ kann das System auch eingerichtet sein, um auf ein Computerprogramm, das extern verfügbar ist, zum Beispiel auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten, über eine Kommunikationsverbindung zuzugreifen, insbesondere, um damit Daten auszutauschen, die während des Verlaufs der Ausführung des Computerprogramms verwendet werden oder Ausgaben des Computerprogramms darstellen.
Die Erläuterungen, Ausführungsformen und Vorteile, die vorstehend im Zusammenhang mit dem Verfahren des ersten und/oder zweiten Aspekts beschrieben wurden, gelten gleichermaßen für die anderen Aspekte der Erfindung.
Weitere Vorteile, Merkmale und Anwendungen der vorliegenden Erfindung werden in der folgenden detaillierten Beschreibung und den beigefügten Zeichnungen bereitgestellt, wobei:

1 schematisch ein Verfahren zum Erkennen von Müdigkeit eines Fahrers veranschaulicht;
2 schematisch ein System zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs veranschaulicht; und
3 schematisch eine Modellarchitektur für maschinelles Lernen veranschaulicht.

In den Figuren bezeichnen dieselben Bezugszeichen identische, ähnliche oder einander entsprechende Elemente. Die in den Figuren gezeigten Elemente sind nicht unbedingt maßstabsgetreu. Vielmehr sind die verschiedenen in den Figuren gezeigten Elemente so wiedergegeben, dass ihre Funktion und ihr allgemeiner Zweck von einem Fachmann verstanden werden können. Verbindungen und Kopplungen zwischen Funktionseinheiten und Elementen, die in den Figuren gezeigt sind, können auch als indirekte Verbindungen oder Kopplungen implementiert werden, sofern nicht explizit anders angegeben. Funktionseinheiten können insbesondere als Hardware, Software oder eine Kombination aus Hardware und Software implementiert sein.
1 veranschaulicht schematisch ein Verfahren 100 zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs. Das Müdigkeitserkennungsverfahren 100 wird auch unter Bezugnahme auf 2 erläutert, die schematisch eine beispielhafte technische Implementierung eines jeweiligen Müdigkeitserkennungssystems 12 veranschaulicht. Während 1 und 2 verschiedene Komponenten eines Verfahrens bzw. Systems zeigen, insbesondere einschließlich Vorverarbeitungsschritten, sei angemerkt, dass sich die vorliegende Erfindung auf das Modell 1 für maschinelles Lernen (bzw. dessen Ausführung) konzentriert, das nachstehend ausführlicher unter Bezugnahme auf 3 beschrieben wird.
Bevor die eigentliche Müdigkeitserkennung stattfindet, werden in einem Schritt S0 Gesichtsmerkmale erlangt. Der Fahrer kann durch eine geeignete Kamera 2 des Fahrerüberwachungssystems (DMS) überwacht werden, die insbesondere auf das Gesicht des Fahrers gerichtet ist. Die DMS-Kamera kann Bilddaten ausgeben, insbesondere ein NIR-Bild 3. Es kann eine Einzelbildrate gewählt werden, die geeignet ist, um eine ausreichende Auflösung des Bildes des Fahrers in Zeitverlauf zu liefern, wie etwa 30 bis 60 Hz (d. h. 1800 bis 3600 Einzelbilder pro Minute). Dies erlaubt es, Veränderungen im Laufe der Zeit, d. h. Bewegungen des Gesichts des Fahrers, aufzuzeichnen und eignet sich z. B. zur Augennachverfolgung. Unter Verwendung bekannter Computer-Vision-Techniken wird an dem erfassten Bild 3 eine Gesichtsbezugspunkterkennung 4 durchgeführt. Gesichtsmerkmale und eine Kopfhaltung des Fahrers können dann berechnet oder geschätzt werden (siehe Blöcke 5 und 6 in 2). Diese können in einen Verlaufspuffer 7 eingegeben werden. Vor dem Zuführen der Daten in das Modell 1 für maschinelles Lernen kann eine Merkmalsvorverarbeitung 8 stattfinden.
In Schritt S0 werden die Gesichtsmerkmale zusammen mit jeweiligen Qualitätsmerkmalen erlangt. Die Qualitätsmerkmale geben für jedes Gesichtsmerkmal einen Konfidenzwert an, d. h. eine Wahrscheinlichkeit, dass das jeweilige Qualitätsmerkmal richtig beobachtet wurde, z. B. bereitgestellt durch einen Wert von 0 bis 1. Es hat sich herausgestellt, dass die Zuverlässigkeit des Müdigkeitserkennungsergebnisses durch Berücksichtigung der den Gesichtsmerkmalen zugeordneten Qualitätsmerkmale verbessert werden kann. Genauer gesagt wird jedes Gesichtsmerkmal zusammen mit seinem jeweiligen Qualitätsmerkmal verarbeitet. Dadurch kann das Modell 1 für maschinelles Lernen die Relevanz des jeweiligen Gesichtsmerkmals bestimmen. Insbesondere kann ein Gesichtsmerkmal, das mit niedriger Qualität beobachtet wurde (niedriger Konfidenzwert), z. B. weil es in dem erfassten Bild nicht deutlich sichtbar ist, weniger berücksichtigt werden als ein Gesichtsmerkmal, das mit hoher Qualität beobachtet wurde (hoher Konfidenzwert). Die Multi-Stream-Architektur stellt sicher, dass das Modell eine Korrelation zwischen Merkmalen und deren entsprechendem Qualitätsmerkmal lernt.
Im Hinblick auf die nachstehend näher erläuterte Parallelverarbeitung der Gesichtsmerkmale werden in einem Schritt S1 ähnliche Merkmale gruppiert. Mit anderen Worten, ähnliche Merkmale, die gruppiert sind, werden in einem Stream der mehreren parallelen Streams verarbeitet. Dies kann die vorgenannte Zuordnung zu dem jeweiligen Qualitätsmerkmal beinhalten. Genauer gesagt werden jedoch Gesichtsmerkmale dann als ähnlich angesehen, wenn sie unterschiedliche Aspekte eines gewissen Verhaltens des Fahrers beschreiben, z. B. die unterschiedlichen Richtungskomponenten der Blickrichtung oder Kopfhaltung. Sie gelten auch dann als ähnlich, wenn sie natürlicherweise zusammen vorkommen. Während es beispielsweise möglich ist, nur ein Auge zu schließen, tritt das Blinzeln immer mit beiden Augen auf, sodass Werte wie Lidschlaganzahl oder Lidschlagdauer vorzugsweise gruppiert und somit in einem Stream der mehreren Streams verarbeitet werden. Dadurch kann somit ein Netz aufgebaut werden, um einen Vorteil aus der Korrelation zwischen den Eingabemerkmalen zu ziehen.
In Schritt S3 werden die (gruppierten) Gesichtsmerkmale (zusammen mit ihrem zugeordneten Qualitätsmerkmal) dem Modell 1 für maschinelles Lernen zugeführt. Das Modell 1 wird nachfolgend unter Bezugnahme auf 3 näher beschrieben. Das ML-Modell 1 weist eine Architektur für maschinelles Lernen auf, die mehrere Streams bereitstellt, die dazu konfiguriert sind, parallel verarbeitet zu werden. Die Gesichtsmerkmale werden jeweils einem der Streams zugeführt (d. h. in diesen eingegeben). Das Modell wird verarbeitet (Schritt S3), um ein Bewertungsergebnis zu bestimmen (Schritt S4). Insbesondere wird zunächst jeder der Streams in dem Modell 1 verarbeitet, um eine jeweilige Merkmalsbewertung zu erlangen, die den Gesichtsmerkmalen entspricht. Die Netzschichtstruktur selbst kann bereits ohne Multi-Stream-Eingabe gute Ergebnisse liefern. Die Multi-Stream-Eingabe stellt jedoch auch bei Merkmalen mit geringer Qualität zuverlässige Ergebnisse sicher. Die mehreren Streams werden dann so verkettet, dass die Verarbeitung in einem einzelnen Stream fortgesetzt wird, um das Bewertungsergebnis zu empfangen, aus dem eine Klassifizierung eines Müdigkeitsgrads des Fahrers bestimmt wird.
Das beschriebene Verfahren ist dazu konfiguriert, zwischen müden und wachen Fahrern zu klassifizieren. Während es für praktische Zwecke ausreichend sein kann, nur zwischen diesen zwei Müdigkeitsgraden zu unterscheiden, kann das Verfahren je nach Anwendungsfall eine Müdigkeit in mehr als zwei Graden ausgeben. Beispielsweise kann die Müdigkeit in mehr als zwei Graden gemäß einer Standard-Müdigkeitsskala, z. B. Karolinska Sleepiness Scale (KSS), klassifiziert werden. Das Verfahren kann auch einen Konfidenzwert zwischen 0 und 1 ausgeben, der angibt, wie wahrscheinlich das aktuelle Ausgabeniveau angesichts der aktuellen Eingaben und des Verlaufs ist.
In einem abschließenden Schritt S5 bildet der erlangte Müdigkeitsgrad eine Grundlage für die Ausgabe eines Steuersignals, das mindestens eine Fahrzeugfunktion steuern kann, z. B. Ausgabe einer Warnung, bevor der Fahrer einen kritischen Müdigkeitszustand erreicht, um den Fahrer wach zu halten, oder eine Erinnerung an eine Ruhepause. Genauer gesagt, wenn der Müdigkeitsgrad des Fahrers als „müde“ klassifiziert wurde (oder als unter einem Wachsamkeitsgrad liegend klassifiziert wurde, das für sicheres Fahren als notwendig erachtet wird), kann eine entsprechende Warnung oder Erinnerung ausgegeben werden. Dies kann durch eine geeignete Zustandsmaschine 9 implementiert werden, die den erlangten Ausgabevektor des ML-Modells 1 empfängt.
3 veranschaulicht schematisch eine Ausführungsform eines Modells 1 für maschinelles Lernen, das in dem vorstehenden Verfahren 100 und System 12 verwendet werden kann. Die Netzarchitektur stellt mehrere Streams 10 bereit, von denen jeder als ein 1D-CNN konfiguriert ist und die nachstehend beschriebenen Eingabemerkmale 11 aufweist. Der Vorteil dieses Modells besteht darin, dass das 1 D-CNN keine umfangreiche Vorverarbeitung benötigt, die für andere Klassifizierungs- und Regressionsverfahren, wie Random Forest oder Support Vector Machine, erforderlich ist. Insbesondere muss kein Mittelwert, keine Standardabweichung oder kein exponentieller gleitender Durchschnitt berechnet werden. Das in 3 gezeigte Modell erhält die Merkmale 11 als Eingabe mit 3433 Einzelbildern pro Minute. Es versteht sich, dass andere Einzelbildraten geeignet sein können, z. B. niedrigere Einzelbildraten, wie etwa 1800 Einzelbilder pro Minute (30 Hz).
Wie vorstehend erwähnt, werden ähnliche Merkmale gruppiert und zusammen mit ihrem jeweiligen Qualitätsmerkmal in einen der Streams 10 eingespeist. Während es sich versteht, dass verschiedene Merkmale geeignet sein können, auf Müdigkeit eines Fahrers zu schließen, einschließlich Fahrerverhalten und Fahrverhalten des Fahrzeugs, beziehen sich die folgenden Merkmale auf die häufigsten Gesichtsmerkmale. Zur Müdigkeitserkennung eignen sich insbesondere Eigenschaften der Augen des Fahrers, aber auch Eigenschaften des Kopfes des Fahrers, wie nachstehend näher erläutert wird.
Die Merkmale werden von links nach rechts beschrieben, wie sie in 3 erscheinen. Es versteht sich jedoch, dass diese Reihenfolge nicht notwendigerweise eine Sortierreihenfolge nach Wichtigkeit oder Relevanz der Merkmale widerspiegelt. Die Merkmale werden in einem vorangehenden Schritt, wie vorstehend erläutert, durch Extrahieren von Gesichtsbezugspunkten aus einem erlangten (NIR)-Bild des Kopfes und des Gesichts des Fahrers erlangt, die dann verwendet werden, um die Gesichtsmerkmale zu berechnen oder zu schätzen. Es wird also nicht das Bild in das Modell eingegeben, sondern die Merkmale werden als im Zeitverlauf veränderliche eindimensionale Werte bereitgestellt.
Die Eingabemerkmale 11 beinhalten Augenschließmerkmale, wobei das linke Auge und das rechte Auge separat betrachtet und somit in separate Streams eingegeben werden können. Eine müde Person neigt dazu, die Augen häufiger zu schließen, und die Zeit mit geschlossenen Augen wird länger dauern, je stärker der Müdigkeitszustand ist. Außerdem kann Sekundenschlaf bei sehr müden Fahrern auftreten. Wenn ein Autofahrer die Augen länger als eine Sekunde schließt, spricht man von Sekundenschlaf.
Die Blickrichtung des Fahrers kann ebenfalls einen Müdigkeitszustand angeben. Ein aufmerksamer Fahrer neigt dazu, die Blickrichtung häufig zu ändern, indem er z. B. auf unterschiedliche Straßenschilder, die Spiegel, die Mittelkonsole und in andere Richtungen blickt. Wenn er müde wird, wird der Fahrer nicht so oft umhersehen wie im wachen Zustand, und er neigt dazu, nur die Straße zu fixieren oder auf diese zu starren. Die Blickrichtung kann durch Nachverfolgen der Augen des Fahrers erlangt werden, d. h. auch in Fällen, in denen der Fahrer den Kopf nicht bewegt. Natürlich können sich auch Kopfbewegungen auf die Blickrichtung beziehen. Die Blickrichtung kann durch ihre Richtungskomponenten, insbesondere Gieren und Nicken, beschrieben werden, die gruppiert und in einem einzelnen Stream verarbeitet werden können.
Neben der Blickrichtung kann auch die Kopfhaltung auf einen Müdigkeitszustand des Fahrers hinweisen. Ähnlich wie bei der Blickrichtung neigt ein aufmerksamer Fahrer dazu, seinen Kopf häufiger zu bewegen, indem er im Auto und im Verkehr umherschaut, während ein müder Fahrer dazu neigt, den Kopf die meiste Zeit in eine Richtung zu halten. Darüber hinaus können in Zuständen starker Müdigkeit, wie Sekundenschlaf, kurze Kopfnickbewegungen auftreten. Die Kopfhaltung kann durch ihre Richtungskomponenten Gieren, Nicken und Rollen beschrieben werden.
In einem letzten Stream der gezeigten Ausführungsform des Modells 1 werden Merkmale bezüglich des Augenblinzelns gruppiert. Ein Blinzeln ist ein schnelles, meist unwillkürliches und unbemerktes Schließen und Öffnen der Augenlider (Lidschlussreflex) und ist ein geeignetes Gesichtsmerkmal, um eine Müdigkeit eines Fahrers anzugeben. Das Blinzeln kann durch die Lidschlagdauer, die Lidschlaganzahl, die LidschlagÖffnungsdauer und die Lidschlag-Schließdauer gekennzeichnet werden. Die Dauer des Augenschließens verlängert sich, wenn ein Fahrer müde wird. Die Lidschlaganzahl, d. h. die Anzahl der Lidschläge in einer gewissen Zeit, kann sich ebenfalls erhöhen, wenn ein Fahrer müde wird. Bei sehr starker Müdigkeit nimmt die Lidschlaganzahl jedoch tendenziell deutlich ab. Ferner dauert das Öffnen oder Schließen des Augenlids länger, je müder der Fahrer wird. Ein weiteres Merkmal bezüglich des Blinzelns ist die sogenannte prozentuale Augenschließung (PERCLOS). Die PERCLOS wird durch Vorverarbeitung der direkt erlangten Blinzelmerkmale erlangt und stellt den Anteil der Gesamtzeit dar, in der das Augenlid eines Fahrers zu 80 % oder mehr geschlossen ist.
In jedem Stream 10 können die Eingabemerkmale 11 zuerst normalisiert werden, bevor sie in das jeweilige 1D-CNN eingegeben werden. Dies kann durch einen bekannten Batch-Normalisierungsalgorithmus implementiert sein. Die normalisierten Merkmale werden dann in den mehreren parallelen Streams 11 verarbeitet, die jeweils als 1D-CNN (auch als „Conv1 D“ bezeichnet) konfiguriert sind. In der gezeigten Ausführungsform wird eine erste Conv1D-Netzschichtstruktur mit 64 Filtern und fünf Kerneln angewendet. Wie im Zusammenhang mit künstlichen neuronalen Netzen bekannt ist, wird eine Aktivierungsfunktion für einen Gleichrichter oder eine gleichgerichtete lineare Einheit (Rectified Linear Unit - ReLU) angewendet, die eine Aktivierungsfunktion ist, die als positiver Teil ihres Arguments definiert ist. Dann wird in jedem Stream 10 ein weiteres Conv1D verarbeitet, das 32 Filter und fünf Kernel (sowie eine ReLU) aufweist.
Die erlangten Ergebnisse jedes Streams 10 werden dann verkettet und in einem einzelnen Stream 13 weiterverarbeitet, der ebenfalls als Conv1D konfiguriert ist (mit 32 Filtern, fünf Kerneln und einer ReLU). Die bereitgestellte Netzschichtstruktur ist in der Lage, von einer Korrelation zwischen den Eingabemerkmalen 11 zu profitieren, da sie zuerst separat in mehreren parallelen Streams 10 verarbeitet werden, anstatt von Anfang an in einen einzelnen Stream eingegeben zu werden.
Es wird ein Klassifikator angewendet, der als bekannter Dense Layer (80 Filter und ReLU) implementiert ist. Dann wird eine sogenannte globale Max-Pooling-Operation auf die zeitlichen 1D-Daten angewendet. Dies ermöglicht ein Downsampling der eingegebenen Darstellung, indem der Maximalwert über die Zeitdimension herangezogen wird. Generell ist Max-Pooling ein bekanntes Verfahren, um die Anzahl der zu lernenden Parameter und damit den Rechenaufwand zu reduzieren. Um eine Überanpassung des Netzes zu vermeiden, wird ein Dropout angewendet, was dem Fachmann ebenfalls hinlänglich bekannt ist. Ein weiterer Dense Layer (16 Filter und ReLU) wird angewendet. Als letzte Schicht des gezeigten Modells 1 wird eine bekannte SoftMax-Schicht auf den (nicht normalisierten) Ausgabevektor angewendet. Die SoftMax-Schicht gibt eine Wahrscheinlichkeitsverteilung aus, d. h. die Werte der ausgegebenen Summe auf 1. Genauer gesagt wird ein normalisierter Ausgabevektor erlangt, der zwei oder mehr Müdigkeitsgrade mit ihrer jeweiligen Wahrscheinlichkeit darstellt. Wie vorstehend erläutert, kann dieses Bewertungsergebnis des ML-Modells 1 dann einer Zustandsmaschine 9 zur Ausgabenachverarbeitung zugeführt werden.
Während vorstehend mindestens eine beispielhafte Ausführungsform der vorliegenden Erfindung beschrieben wurde, sei angemerkt, dass eine große Anzahl von Variationen dazu existiert. Darüber versteht es sich, dass die beschriebenen beispielhaften Ausführungsformen nur nicht einschränkende Beispiele dafür veranschaulichen, wie die vorliegende Erfindung implementiert werden kann, und dass es nicht beabsichtigt ist, den Umfang, die Anwendung oder die Konfiguration der hierin beschriebenen Vorrichtungen und Verfahren zu begrenzen. Vielmehr stellt die vorangehende Beschreibung dem Fachmann Konstruktionen zum Implementieren mindestens einer beispielhaften Ausführungsform der Erfindung bereit, wobei es sich versteht, dass verschiedene Änderungen der Funktionalität und der Anordnung der Elemente der beispielhaften Ausführungsform vorgenommen werden können, ohne von dem durch die beigefügten Ansprüche und ihre rechtlichen Äquivalente definierten Gegenstand abzuweichen.
BEZUGSZEICHENLISTE

100: Müdigkeitserkennungsverfahren
1: ML-Modell
2: DMS-Kamera
3: NIR-Bild
4: Gesichtsbezugspunkterkennung
5: Gesichtsmerkmalsberechnung
6: Kopfhaltungsschätzung
7: Verlaufspuffer
8: Merkmalsvorverarbeitung
9: Zustandsmaschine
10: Streams
11: Eingabemerkmale
12: Müdigkeitserkennungssystem
13: Verketteter Stream

Claims

Verfahren zum Trainieren eines Bewertungsmodells zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: - Erlangen von Trainingsdaten, die mindestens zwei Merkmale (11) des Fahrers darstellen, wobei die Merkmale (11) des Fahrers einen Zustand mindestens eines der Gesichtsmerkmale des Fahrers und des Kopfes des Fahrers angeben und einem Müdigkeitsgrad des Fahrers zugeordnet sind; - Zuführen der Trainingsdaten in ein Bewertungsmodell (1), wobei das Bewertungsmodell (1) eine Modellarchitektur für maschinelles Lernen aufweist, die mindestens zwei Streams (10) bereitstellt, die dazu konfiguriert sind, parallel verarbeitet zu werden, wobei die Merkmale (11) des Fahrers jeweils einem der Streams (10) zugeführt werden; - Verarbeiten jedes der Streams (10) in dem Bewertungsmodell (1), um eine jeweilige Merkmalsbewertung zu erlangen, die den Merkmalen (11) des Fahrers entspricht; - Verketten der Merkmalsbewertungen und Weiterverarbeiten der verketteten Merkmalsbewertungen in einem einzelnen Stream (13), um ein Bewertungsergebnis zu erlangen; und - Bestimmen einer Klassifizierung einer Müdigkeit des Fahrers aus dem Bewertungsergebnis entsprechend dem Müdigkeitsgrad des Fahrers, der den Trainingsdaten zugeordnet ist.
Verfahren nach Anspruch 1, wobei jeder der Streams (10) in dem Bewertungsmodell (1) als ein eindimensionales neuronales Faltungsnetz (1D-CNN) konfiguriert ist.
Verfahren nach Anspruch 1 oder 2, ferner umfassend Erlangen von Qualitätsmerkmalen, die den Merkmalen des Fahrers zugeordnet sind, wobei die Qualitätsmerkmale eine Wahrscheinlichkeit angeben, dass das jeweilige Merkmal des Fahrers richtig beobachtet wurde, wobei die Qualitätsmerkmale dem jeweiligen Stream des zugeordneten Merkmals des Fahrer in dem Bewertungsmodell (1) zugeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens einige der Merkmale (11) des Fahrers gruppiert werden, wobei gruppierte Merkmale des Fahrers gemeinsam einem der Streams (10) in dem Bewertungsmodell (1) zugeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Merkmale (11) des Fahrers ein Augenschließmerkmal beinhalten.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Merkmale (11) des Fahrers eine Blickrichtung des Fahrers umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Merkmale (11) des Fahrers eine Kopfhaltung des Fahrers umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Merkmale (11) des Fahrers einen Prozentsatz einer Augenschließung des Fahrers umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Merkmale (11) des Fahrers mindestens eines von einer Lidschlagdauer, einer Lidschlaganzahl und einer Lidschlagöffnungs- und -schließdauer umfassen.
Verfahren zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: - Erlangen von mindestens zwei Merkmalen (11) des Fahrers, die im Zeitverlauf während des Fahrens beobachtet werden, wobei die Merkmale (11) des Fahrers einen Zustand mindestens eines der Gesichtsmerkmale des Fahrers und des Kopfes des Fahrers angeben; - Zuführen der Merkmale des Fahrers in ein Bewertungsmodell (1), das gemäß dem Verfahren nach einem der vorhergehenden Ansprüche trainiert wurde, wobei das Bewertungsmodell (1) eine Modellarchitektur für maschinelles Lernen aufweist, die mindestens zwei Streams (10) bereitstellt, die dazu konfiguriert sind, parallel verarbeitet zu werden, wobei die Merkmale (11) des Fahrers jeweils einem der Streams (10) zugeführt werden; - Verarbeiten jedes der Streams (10) in dem Bewertungsmodell (1), um eine jeweilige Merkmalsbewertung zu erlangen, die den Merkmalen (11) des Fahrers entspricht; - Verketten der Merkmalsbewertungen und Weiterverarbeiten der verketteten Merkmalsbewertungen in einem einzelnen Stream (13), um ein Bewertungsergebnis zu erlangen; und - Bestimmen einer Klassifizierung einer Müdigkeit des Fahrers in mindestens zwei Müdigkeitsgraden aus dem Bewertungsergebnis.
Verfahren nach Anspruch 10, ferner umfassend Ausgeben eines Steuersignals, wenn die Müdigkeit des Fahrers als ein Müdigkeitsgrad klassifiziert wurde, der einen „müden“ Fahrer angibt.
Verfahren nach Anspruch 11, ferner umfassend Steuern einer Fahrzeugfunktion mittels des Steuersignals, um eine Warnung an den Fahrer auszugeben, die die Müdigkeit des Fahrers angibt.
Datenverarbeitungssystem, wobei das System dazu konfiguriert ist, das Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
System (1) zum Erkennen von Müdigkeit eines Fahrers eines Fahrzeugs, umfassend ein Datenverarbeitungssystem nach Anspruch 13, mindestens eine Bilderfassungsvorrichtung (2), die dazu konfiguriert ist, in einem Fahrzeug montiert zu sein, um mindestens ein Bild (3) eines Kopfes und/oder Gesichts eines Fahrers des Fahrzeugs zu erlangen, und ein Merkmalsextraktionsmodul, das dazu konfiguriert ist, Merkmale (11) des Fahrers aus dem erlangten Bild (3) zu extrahieren, um die Merkmale (11) des Fahrers bereitzustellen, die dem Bewertungsmodell (1) zuzuführen sind.
Computerprogramm oder Computerprogrammprodukt mit Anweisungen, die bei Ausführung auf einem oder mehreren Prozessoren eines Datenverarbeitungssystems nach Anspruch 13 das System dazu veranlassen, das Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.