-
Technisches Gebiet
-
Die Erfindung betrifft Kraftfahrzeuge, und insbesondere Verfahren zur Überwachung eines Insassenzustands, insbesondere für eine Fahrermüdigkeitserkennung.
-
Technischer Hintergrund
-
Zusehends werden in Kraftfahrzeugen Systeme zur Innenraumüberwachung genutzt, um einen Fahrerzustand, wie z.B. eine Ermüdung des Fahrers, aber auch das Auftreten von Rauch, Schmutz, oder zum Erkennen von aggressivem Verhalten eines Fahrzeuginsassen, genutzt. Dazu können zum einen erscheinungsbasierte Verfahren, die kamerabasiert Veränderungen im Fahrzeuginnenraum aufzeichnen und diese anhand vortrainierter Verlaufsmuster klassifizieren, verwenden. Zum anderen kann auch eine bestehende Sensorik verwendet werden, die Verläufe von Fahrzeuggrößen, wie z. B. eines Lenkwinkels, erfasst. Durch Auswertung der Verläufe von Lenkwinkeln kann ein bestimmtes Lenkwinkelverhalten erkannt werden und diesem ein Insassenzustand zugeordnet werden.
-
Aus der
DE 11 2019 000 961 T5 ist ein in fahrzeuginternes System und ein Verfahren zum Überwachen oder Schätzen einer Szene in einem Fahrgastraum des Fahrzeugs bekannt.
-
Offenbarung der Erfindung
-
Erfindungsgemäß sind ein Verfahren zum Erkennen eines Insassenzustands in einem Kraftfahrzeug gemäß Anspruch 1 sowie eine Vorrichtung und ein Kraftfahrzeug gemäß den nebengeordneten Ansprüchen vorgesehen.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein computer-implementiertes Verfahren zum Erkennen eines Insassenzustands eines Fahrzeuginsassen in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
- - Erfassen eines zeitlichen Verlaufs von Kameradaten und/oder einer oder mehreren Erfassungsgrößen;
- - Durchführen einer Anomaliedetektion mithilfe eines trainierbaren datenbasierten Anomalie-Detektionsmodells zum Erkennen einer Anomalie in dem zeitlichen Verlauf der Kameradaten und/oder der einen oder den mehreren Erfassungsgrößen, wobei das Anomalie-Detektionsmodells trainiert ist, um eine Änderung eines Verhaltens eines Fahrzeuginsassen als eine Anomalie zu erkennen;
- - Signalisieren, bei Erkennen einer Anomalie, einer Gefährdung aufgrund einer erkannten Änderung eines Verhaltens eines Fahrzeuginsassen.
-
Das obige Verfahren zur Erkennung des Insassenzustands zielt darauf ab, für den Fahrer oder weiteren Insassen Zustände von Fahrzeuginsassen (Insassenzustände) zu erkennen, die das Fahrzeug und/oder andere Verkehrsteilnehmer gefährden können. Diese gefährdenden Zustände sind durch von üblichen Verhaltensweisen abweichende Verhaltensweisen charakterisiert und stellen somit Anomalien bezüglich üblicher Verhaltensweisen dar. Beispiele für solche Anomalien können ein Auftreten einer Fahrermüdigkeit, ein Bewusstloswerden des Fahrers, ein Einschlafen eines Fahrers, einen z.B. durch ein Gespräch abgelenkten Fahrer, einen verletzten Fahrzeuginsassen, ein aggressives Verhalten eines weiteren Fahrzeuginsassen und dergleichen umfassen. Eine umfassende Berücksichtigung aller für den zu erkennenden Insassenzustand relevanten Verlaufsmuster von Verhaltensweisen erfordert es jedoch, die Vielfältigkeit der Ausprägungen, in der sich ein bestimmter Insassenzustand widerspiegeln kann, zu berücksichtigen. Weiterhin sind die zu erkennenden Insassenzustände selten und schwierig nachzustellen, so dass entsprechende Verhaltensmuster des Fahrzeuginsassen für das Training bzw. die Auslegung eines solchen Systems schwierig zu erfassen sind. Insbesondere ist die Aufnahme von Verlaufsmustern für eine Müdigkeit eines Fahrers problematisch, da es sich hierbei um einen Ausnahmezustand handelt, der im normalen Straßenverkehr sehr selten vorkommt.
-
Gemäß dem obigen Verfahren wird eine Insassenzustandsüberwachung vorgeschlagen, bei der mit Hilfe eines Anomalie-Detektionsmodells ein zeitlicher Verlauf von Kameradaten und/oder einer oder mehrerer Erfassungsgrößen auf das Vorliegen einer Anomalie einer Verhaltensweise eines Insassen überprüft werden. Bei einer erkannten Anomalie kann ein Merkmalszustand aus dem Anomalie-Detektionsmodell verwendet werden, um in einem Klassifikationsmodell diesem einen bestimmten Insassenzustand, wie beispielsweise eine Fahrermüdigkeit, eine Bewusstlosigkeit, ein verletzter Fahrzeuginsasse, oder ein Schlafzustand des Fahrers, ein aggressives Verhalten eines weiteren Fahrzeuginsassen oder dergleichen zuzuordnen.
-
Das Insassenverhalten wird zeitlich durch eine Bilderfassungssensorik erfasst, beispielsweise durch eine geeignete Kamerasensorik, wie beispielsweise eine Kamera, um Kameradaten zu erhalten, und/oder eine Fahrzeugsensorik, wie beispielsweise eine Lenkwinkelsensorik und dergleichen, um Erfassungsgrößen als Sensorgrößen oder Stellgrößen zu erhalten. Diese Erfassungssensorik zeichnet einen zeitlichen Verlauf einer oder mehrerer Sensorgrößen oder Stellgrößen, die ein insassenspezifisches Verhalten angeben, als Insassenverhalten auf.
-
Es kann vorgesehen sein, dass das trainierbare datenbasierte Anomalie-Detektionsmodells ein neuronales Speichernetzwerk umfasst, das trainiert ist, um abhängig von einem oder mehreren tatsächlichen Verhaltensmerkmalen, die aus dem mindestens einen zeitlichen Verlauf von Kameradaten und/oder der einen oder der mehrerer Erfassungsgrößen bestimmt werden, ein oder mehrere Verhaltensmerkmale zu prädizieren, wobei die Anomalie abhängig von dem einen oder mehreren tatsächlichen Verhaltensmerkmale und von dem einen oder den mehreren prädizierten Verhaltensmerkmale erkannt wird.
-
Insbesondere kann die Anomalie abhängig von mindestens einer Abweichung zwischen einer Verteilung des einen oder der mehreren tatsächlichen Verhaltensmerkmale und einer Verteilung des einen oder der mehreren prädizierten Verhaltensmerkmale bestimmt werden.
-
Gemäß dem obigen Verfahren kann das Anomalie-Detektionsmodell einem Speichernetzwerk (SHARED MEMORY-AUGMENTED NEURAL NETWORKS) entsprechen. Neuronale Speichernetzwerke sind geeignet, Verhaltensmuster über längere Zeiträume zu erkennen. Dazu enthalten Speichernetzwerke ein Langzeitgedächtnis. Das Langzeitgedächtnis kann gelesen und beschrieben werden, um es zur Vorhersage zu verwenden. Beispielsweise ist die Funktionsweise eines solchen Speichernetzwerk aus Cosmin I. Bercea et al., „SHAMANN: Shared Memory Augmented Neural Networks“, Information Processing in Medical Imaging, IPMI, Hong Kong, China 2019 bekannt.
-
Das Verhalten der Insassen kann mit Hilfe eines Speichernetzwerks sehr lange gespeichert und ausgewertet werden, z.B. für mehrere Stunden.
-
Alternativ kann die Anomaliedetektion mit folgenden Schritten durchgeführt werden:
- - Ermitteln von Verhaltensmerkmalen aus den zeitlichen Verläufen von Kameradaten und/oder der Erfassungsgrößen, insbesondere mithilfe eines Merkmalsmodells;
- - Durchführen einer Anomaliedetektion mithilfe eines trainierbaren datenbasierten Detektionsmodells zum Erkennen einer Anomalie der Verhaltensmerkmale, wobei das Detektionsmodells trainiert ist, um eine Anomalie des Insassenzustands abhängig von bereitgestellten Verhaltensmerkmalen zu erkennen.
-
Mit Hilfe eines geeigneten Merkmalsmodells können dem Insassenverhalten bestimmte Verhaltensmerkmale zugeordnet werden. Diese Merkmale können beispielsweise eine Häufigkeit, eine Stärke von Augenbewegungen, eine Blinzelhäufigkeit, eine Kopfbewegungshäufigkeit, eine Kopfbewegungsstärke, ein Gähnen, eine Lenkeingriffshäufigkeit und -stärke oder dergleichen umfassen. Das Zeitfenster, während dem der Verlauf der einen oder der mehreren Erfassungsgrößen bzw. das dadurch erfasste Insassenverhalten ausgewertet wird, kann frei gewählt werden. Die so erfassten Verhaltensmerkmale können entsprechend codiert werden und als Verhaltensmerkmalsvektor einem Detektionsmodell zugeführt werden.
-
Weiterhin kann die Anomaliedetektion mithilfe eines Detektionsmodells, der z.B. als Autoencoder ausgeführt sein, wobei eine Anomalie abhängig von einer Abweichung zwischen einem aus den Verhaltensmerkmalen bestimmten Verhaltensmerkmalsvektor und einem rekonstruierten Ausgabevektor erkannt wird.
-
So kann das Anomalie-Detektionsmodell als Kombination des Merkmalmodells und dem Autoencoder ausgebildet sein. Dieser wird ab dem Start des Verfahrens mit den entsprechenden Verhaltensmerkmalsvektoren trainiert, so dass der Verhaltensmerkmalsvektor auf sich selbst abgebildet wird. Dabei bildet ein Encoderteil des trainierten Autoencoders den Verhaltensmerkmalsvektor stets auf einen latenten Merkmalszustand mit geringerer Dimensionalität ab.
-
Es kann vorgesehen sein, dass bei Feststellen einer Anomalie ein latenter Merkmalszustand des Autoencoders verwendet wird, um eine Art der Gefährdung durch die Änderung des Verhaltens des Fahrzeuginsassen zu ermitteln.
-
Nach einer bestimmten Zeitdauer nach dem Start des Verfahrens kann der Encoderteil des Autoencoders zur Detektion einer Änderung des Insassenzustands verwendet werden. Dazu wird die Abweichung zwischen dem Verhaltensmerkmalsvektor und dem reproduzierten Ausgabevektor des Anomalie-Detektionsmodells überprüft. Liegt der Unterschied unter einem vorgegebenen Schwellenwert, so wird das Detektionsmodell mit dem zuletzt erhaltenen Verhaltensmerkmalsvektor weiter trainiert.
-
Wird dagegen eine Abweichung erkannt, die größer ist als der vorgegebene Schwellenwert, so wird eine Änderung des Insassenzustands erkannt. Die Änderung des Insassenzustands des Fahrers kann anhand des latenten Merkmalszustands des als Autoencoder ausgebildeten Detektionsmodells vorgenommen werden, um mit Hilfe eines nachgeordneten Klassifikationsmodells die Änderung des Insassenzustands zuzuordnen, wie beispielsweise einem Auftreten einer Ermüdung des Fahrers, einer Bewusstlosigkeit des Fahrers, eines sich im Gespräch befindlichen Fahrers, einem aggressiven Verhalten eines weiteren Fahrzeuginsassen und dergleichen.
-
Insbesondere kann ein Klassifikationsmodell bereitgestellt werden, um bei Feststellen einer Anomalie einen latenten Merkmalszustand des Anomalie-Detektionsmodells der Art der Gefährdung aufgrund der Änderung des Verhaltens des Fahrzeuginsassen zuzuordnen.
-
Insbesondere kann abhängig von der Art der Gefährdung eine Fahrzeugfunktion ausgeführt werden.
-
Gemäß einer Ausführungsform kann das Trainieren des Anomalie-Detektionsmodells nach Beginn jeder Fahrt für einen vorbestimmten Zeitraum ausgeführt werden und die entsprechenden Modellparameter des Anomalie-Detektionsmodells für den betreffenden Insassen individuell abgespeichert werden. Das Anomalie-Detektionsmodell kann dann mit jeder weiteren Fahrt weiter trainiert werden, um dieses somit robuster bezüglich einer Erkennung von möglichen Änderungen des Insassenzustands zu machen.
-
Das obige Verfahren ermöglicht somit, in vorteilhafter Weise einen Insassenzustand zu erkennen, ohne dass zuvor jedes mögliche Insassenverhalten, das auf einen zu erkennenden Insassenzustand, wie beispielsweise Müdigkeit, Bewusstlosigkeit, Schlaf, aggressives Verhalten oder dergleichen hinweist, zuvor in Form von Trainingsdaten oder regelbasiert berücksichtigt worden ist. Somit ist das vorgeschlagene Verfahren flexibler einsetzbar und ermöglicht nach einer Einlernphase über eine Auswertung des Insassenverhaltens die zuverlässige Erkennung einer Änderung eines Insassenzustands, die durch das Klassifikationsmodell einer Gefährdungsart zugeordnet werden kann.
-
Gemäß einem weiteren Aspekt ist eine Vorrichtung zum Erkennen eines Insassenzustands eines Fahrzeuginsassen in einem Kraftfahrzeug vorgesehen, wobei die Vorrichtung ausgebildet ist zum:
- - Empfangen eines zeitlichen Verlaufs von Kameradaten und/oder einer oder mehrerer Erfassungsgrößen;
- - Durchführen einer Anomaliedetektion mithilfe eines trainierbaren datenbasierten Anomalie-Detektionsmodells zum Erkennen einer Anomalie in dem zeitlichen Verlauf der Kameradaten und/oder der einen oder den mehreren Erfassungsgrößen, wobei das Anomalie-Detektionsmodells trainiert ist, um eine Änderung eines Verhaltens eines Fahrzeuginsassen zu erkennen;
- - Signalisieren, bei Erkennen einer Anomalie, einer Gefährdung aufgrund einer erkannten Änderung eines Verhaltens eines Fahrzeuginsassen.
-
Figurenliste
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Fahrzeugs mit einem Fahrer und einem Insassenzustandserkennungssystem;
- 2 ein Funktionsschaubild zur Veranschaulichung von Funktionsblöcken des Fahrerzustandserkennungssystems;
- 3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Erkennen eines Fahrerzustandes;
- 4 ein Funktionsschaubild zur Veranschaulichung von Funktionsblöcken des Fahrerzustandserkennungssystems gemäß einer weiteren Ausführungsform; und
- 5 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Erkennen eines Fahrerzustandes gemäß einer weiteren Ausführungsform.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1 mit einem Insassenzustandserkennungssystem 2, das eine Steuereinheit 3 mit einer Prozessoreinheit aufweist, die mit Erfassungssensorik 4 zur Erfassung von zeitlichen Verläufen Fahrerverhaltensaufzeichnung gekoppelt ist. Die Erfassungssensorik 4 kann beispielsweise eine Kamerasensorik mit einer oder mehreren Kameras 41, die auf den Fahrer und/oder weiteren Insassen gerichtet sind, sowie weitere Sensoren zur Erfassung von Erfassungsgrößen umfassen, die zumindest teilweise Bestandteil der für ein Fahrzeug üblichen Sensorik sein kann. So kann beispielsweise ein Lenkwinkelsensor 42 Teil der Erfassungssensorik 4 sein, um die Lenkbewegungen des Fahrers erkennen zu können.
-
Das Insassenzustandsüberwachungssystem 2 umfasst weiterhin eine Signalisierungseinheit 5, um ein optisches und/oder akustisches Warnsignal bei Erkennen eines unerwünschten Insassenzustands ausgeben zu können.
-
In 2 ist ein Funktionsblockschaubild dargestellt, das die Funktion der Insassenzustandsüberwachung näher erläutert.
-
3 zeigt ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Überwachen eines Insassenzustands, wie es mit Hilfe der in 2 dargestellten Funktion in der Steuereinheit 3 durchgeführt werden kann. Das Verfahren kann in der Steuereinheit 3 als Software und/oder Hardware implementiert sein.
-
In Schritt S1 werden von der Erfassungssensorik 4, 41, 42 Kameradaten und/oder Erfassungsgrößen aufgezeichnet. Die Kameradaten und/oder Erfassungsgrößen umfassen das Insassenverhalten über einen zeitlichen Verlauf.
-
Zur Unterstützung des Verfahrens können in einer Merkmalsextraktionseinheit 12 mithilfe herkömmlicher Verfahren Verhaltensmerkmale aus den Kameradaten und Erfassungsgrößen gebildet werden. Diese Verhaltensmerkmale können den Kameradaten und Erfassungsgrößen hinzugefügt werden, um Eingangsdaten für das nachfolgend genutzte Anomalie-Detektionsmodell zu bilden. Die Verhaltensmerkmale können Häufigkeit und Stärke von Irisbewegungen, eine Blinzelhäufigkeit, eine Kopfbewegungshäufigkeit, eine Kopfbewegungsstärke, eine Kopfbewegungsgeschwindigkeit, eine Angabe zu Mundbewegungen, eine Blickrichtung, eine Körperhaltung, eine Lidöffnung, ein Gähnen, ein skeleton-tracking, ein Mimikmerkmal, eine Lenkeingriffshäufigkeit und -stärke oder dergleichen umfassen.
-
Mit Hilfe eines Speichernetzwerks 20 werden in Schritt S2 die in jedem Zeitschritt in der Merkmalsextraktionseinheit 12 ermittelten Verhaltensmerkmale VM(t), d.h. das beobachtete Insassenverhalten, und ggfs. die erfassten Kameradaten und/oder die eine oder die mehreren Erfassungsgrößen als Eingangsdaten verarbeitet.
-
Speichernetzwerke sind beispielsweise aus Cosmin I. Bercea et al., „SHAMANN: Shared Memory Augmented Neural Networks“, Information Processing in Medical Imaging, IPMI, Hong Kong, China 2019 bekannt und insbesondere geeignet, sowohl kurze als auch längere Abhängigkeiten und Korrelationen in den Eingangsdaten zu erkennen.
-
Speichernetzwerke gehören zu der Gruppe von memory augmented neural networks (MANN), die ein Steuerungsnetzwerk, wie z.B. ein LSTM, aufweisen, um auf einen externen, adressierbaren Speicher zuzugreifen. In jedem Zeitschritt werden Schreib- und Leseoperationen durchgeführt, die auf Teile des externen Speichers zugreifen. Während bei herkömmlichen memory augmented neural networks kein Informationsaustausch zwischem den externen Speichern stattfindet, wird bei Shared Memory Augmented Neural Networks vorgeschlagen, einen gemeinsamen externen Speicher für das Auslesen und Schreiben von Informationen zu verwenden. Dadurch kann ein gemeinsamer Kontext der Information besser berücksichtigt werden.
-
Das Speichernetzwerk ermöglicht es, nach einer bestimmten Zeit nach dem Start des Verfahrens in besonders guter Weise eine Anomalie in den Eingangsdaten zu erkennen, die sich in einer Änderung des Verhaltensmusters in den Kameradaten und in den Erfassungsgrößen gezeigt hat. Dabei sind die Speichernetzwerke in der Lage, kurzfristige (innerhalb von 1s - 5s) und längerfristige (1min - mehrere Stunden) Verhaltensänderungen zu erkennen.
-
Ein interner Zustand des Speichernetzwerks kann einen Merkmalszustand angeben, der z.B. durch einen oder mehrere Inhalte des externen Speichers angegeben wird.
-
Das Speichernetzwerk 20 kann beispielsweise ein oder mehrere Verhaltensmerkmale VM'(t+1), wie z.B. Blickrichtung, Körperhaltung oder Lidöffnung, für einen oder mehrere nächste Zeitschritte prädizieren und als prädizierte bzw. modellierte Verhaltensmerkmale VM'(t+1) bereitstellen.
-
Durch Vergleichen der betreffenden modellierten Verhaltensmerkmale VM' mit den tatsächlichen Verhaltensmerkmalen VM im nächsten Zeitschritt kann eine Anomalie erkannt werden.
-
Alternativ können in Schritt S3 aus den aus den erfassten Kameradaten und/oder der einen oder den mehreren Erfassungsgrößen bestimmten tatsächlichen Verhaltensmerkmalen VM und den modellierten Verhaltensmerkmalen VM' Verteilungen in einem Verteilungsermittlungsblock 21 bestimmt werden. Dies kann durch Ermitteln einer Normalverteilung der entsprechenden Werte der Zeitverläufe der tatsächlichen und der modellierten Verhaltensmerkmale VM, VM' innerhalb einer vorbestimmten zurückliegenden festen Zeitdauer oder einer variablen Zeitdauer, wie z.B. aller Werte seit Fahrtbeginn und dergleichen, erfolgen.
-
In Schritt S4 wird in einem Anomalieerkennungsblock 22 überprüft, ob eine Anomalie erkannt worden ist. Dieses Überprüfen kann durch einen Vergleich der Verteilungen der tatsächlichen Verhaltensmerkmale VM und der modellierten Verhaltensmerkmale VM' erfolgen. Die Bewertung, dass eine Anomalie vorliegt, kann durch eine vorgegebene Bewertungsfunktion erfolgen, die ein Maß für die Abweichungen der tatsächlichen und modellierten Verteilungen der betrachteten Verhaltensmerkmale angibt.
-
Insbesondere kann eine Anomalie durch einen Schwellenwertvergleich erkannt werden, insbesondere wenn das Maß für die Abweichungen einen Schwellenwert übersteigt.
-
Wird festgestellt, dass eine Anomalie vorliegt (Alternative: Ja), so wird in Schritt S5 der interne Zustand des Speichernetzwerks 20 als Merkmalszustand Z ausgewertet. Der interne Zustand kann einem latenten Vektor des Speichernetzwerks entsprechen. Andernfalls (Alternative: nein), so wird zu Schritt S1 zurückgesprungen.
-
In der Klassifikationsmodelleinheit 23 wird in Schritt S5 der Merkmalszustand Z gemäß einem vortrainierten Klassifikationsmodell einer Gefährdungsart zugeordnet, um die durch den Merkmalszustand angegebene Änderung des Insassenverhaltens einer zu erkennenden Art einer Gefährdung zuzuordnen. Das Klassifikationsmodell kann mit Daten für häufig vorkommente Situationen, z.B. Aggressivität trainiert werden.
-
Insbesondere kann das Klassifikationsmodell trainiert sein, um das Auftreten einer Fahrermüdigkeit, ein Bewusstloswerden des Fahrers, ein Einschlafen eines Fahrers, einen z.B. durch ein Gespräch abgelenkten Fahrer, einen verletzten Fahrzeuginsassen, ein aggressives Verhalten eines weiteren Fahrzeuginsassen und dergleichen anhand des latenten Merkmalszustands Z zu erkennen und diese Information in Schritt S6 für nachgeordnete Funktionen, die durch eine Signalisierungseinheit 24 ausgeführt werden, zu nutzen.
-
Insbesondere kann bei Erkennen einer Bewusstlosigkeit und einer Müdigkeit ein akustisches Warnsignal ausgegeben werden, um den Fahrer auf eine zunehmende Müdigkeit hinzuweisen oder gegebenenfalls aufzuwecken, um sicherheitskritische Situationen, die den Fahrer, das Fahrzeug und andere Verkehrsteilnehmer gefährden können, zu verhindern.
-
Alternativ oder zusätzlich können Eingriffe in eine Fahrt des Fahrzeugs vorgenommen werden, wie z.B. eine Bremsbetätigung oder dergleichen. Bei Erkennen von aggressivem Verhalten von weiteren Fahrzeuginsassen kann automatisch eine Benachrichtigung an die Polizei gesendet werden.
-
In 4 ist ein Funktionsblockschaubild dargestellt, das die Funktion der Insassenzustandsüberwachung entsprechend einer weiteren Ausführungsform näher erläutert.
-
5 zeigt ein Flussdiagramm zur Veranschaulichung eines weiteren Verfahrens zum Überwachen eines Insassenzustands, wie es mit Hilfe der in 4 dargestellten Funktion in der Steuereinheit 3 durchgeführt werden kann. Das Verfahren kann in der Steuereinheit 3 als Software und/oder Hardware implementiert sein.
-
In Schritt S11 werden von der Erfassungssensorik 4, 41, 42 Kameradaten und Erfassungsgrößen aufgezeichnet. Die Kameradaten und/oder Erfassungsgrößen umfassen das Insassenverhalten über einen zeitlichen Verlauf.
-
Mit Hilfe der Merkmalsextraktionseinheit 12, in der ein Merkmalsmodell implementiert ist, werden in Schritt S12 aus den zeitlichen Verläufen der Kameradaten und/oder Erfassungsgrößen, d.h. dem beobachteten Insassenverhalten, regel- oder datenbasiert bestimmte Verhaltensmerkmale zugeordnet bzw. quantifiziert.
-
Die Verhaltensmerkmale können Häufigkeit und Stärke von Irisbewegungen, eine Blinzelhäufigkeit, eine Kopfbewegungshäufigkeit, eine Kopfbewegungsstärke, eine Kopfbewegungsgeschwindigkeit, eine Angabe zu Mundbewegungen, ein Gähnen, ein skeleton-tracking, ein Mimikmerkmal, eine Lenkeingriffshäufigkeit und -stärke oder dergleichen umfassen.
-
Diese Verhaltensmerkmale werden nun in Schritt S13 als Verhaltensmerkmalsvektor VM einem Detektionsmodell 13 zugeführt. Die Merkmalsextraktionseinheit 12 und das Detektionsmodell 13 bilden gemeinsam ein Anomalie-Detektionsmodell. Das Detektionsmodell 13 kann für eine bestimmte Person individuell vortrainiert sein, indem die Modellparameter nach Erkennen eines individuellen Fahrers, insbesondere durch eine Gesichtserkennung oder nach einer Eingabe einer Angabe zu einem bestimmten Fahrerprofil, für das Detektionsmodell 13 genutzt werden. Der Verhaltensmerkmalsvektor VM wird dem Detektionsmodell 13 zugeführt, um eine Anomalie von Verhaltensmerkmalen zu erkennen.
-
Das Detektionsmodell 13 kann als Autoencoder ausgebildet sein und dazu trainiert sein, um einen Eingangsvektor auf einen identischen, d.h. einen rekonstruierten Ausgangsvektor, abzubilden. Wird der Verhaltensmerkmalsvektor VM an das Detektionsmodell 13 angelegt, so ergibt sich ausgangsseitig ein Ausgangsvektor, der einem rekonstruierten Verhaltensmerkmalsvektor VM' entspricht.
-
In Schritt S14 wird eine Abweichung zwischen dem Verhaltensmerkmalsvektor VM und dem rekonstruierten Verhaltensmerkmalsvektor VM' in einem Unterschiedsblock 14 ermittelt und in Schritt S15 in einem Vergleichsblock 15 mit einem Schwellwertvergleich ausgewertet. Wird in dem Schwellwertvergleich festgestellt, dass der Unterschied unterhalb eines vorgegebenen Schwellenwerts S liegt (Alternative: Ja), so wird in Schritt S16 der zuletzt erfasste Verhaltensmerkmalsvektor VM für ein weiteres Training des Detektionsmodells 13 genutzt und das Verfahren mit Schritt S11 fortgesetzt. Der Unterschied kann in Form einer Abweichung z.B. als L2-Norm bestimmt werden.
-
Wird in Schritt S15 jedoch festgestellt, dass der Unterschied den vorgegebenen Schwellenwert S überschreitet (Alternative: nein), so wird in Schritt S17 eine Änderung des Verhaltens des Fahrzeuginsassen erkannt und signalisiert.
-
In Schritt S18 wird getriggert durch die erkannte Änderung des Verhaltens ein latenter Merkmalszustand des Detektionsmodells 13 der Klassifikationsmodelleinheit 16 zugeführt. Der latente Merkmalszustand entspricht bei einem Autoencoder als Detektionsmodells 13 einem latenten Vektor an einem Ausgang eines Encoderteils bzw. einem Eingang des Decoderteils.
-
In der Klassifikationsmodelleinheit 16 wird der latenter Merkmalszustand gemäß einem vortrainierten Klassifikationsmodell einer Gefährdungsart zugeordnet, um die durch den latenten Merkmalszustand angegebene Änderung des Insassenverhaltens einer zu erkennenden Art einer Gefährdung zuzuordnen.
-
Insbesondere kann das Klassifikationsmodell trainiert sein, um das Auftreten einer Fahrermüdigkeit, ein Bewusstloswerden des Fahrers, ein Einschlafen eines Fahrers, einen z.B. durch ein Gespräch abgelenkten Fahrer, einen verletzten Fahrzeuginsassen, ein aggressives Verhalten eines weiteren Fahrzeuginsassen und dergleichen anhand des latenten Merkmalszustands zu erkennen und diese Information für nachgeordnete Funktionen, die durch eine Signalisierungseinheit 17 ausgeführt werden, zu nutzen.
-
Insbesondere kann bei Erkennen einer Bewusstlosigkeit und einer Müdigkeit ein akustisches Warnsignal ausgegeben werden, um den Fahrer auf eine zunehmende Müdigkeit hinzuweisen oder gegebenenfalls aufzuwecken, um sicherheitskritische Situationen, die den Fahrer, das Fahrzeug und andere Verkehrsteilnehmer gefährden können, zu verhindern.
-
Alternativ oder zusätzlich können Eingriffe in eine Fahrt des Fahrzeugs vorgenommen werden, wie z.B. eine Bremsbetätigung oder dergleichen. Bei Erkennen von aggressivem Verhalten von weiteren Fahrzeuginsassen kann automatisch eine Benachrichtigung an die Polizei gesendet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 112019000961 T5 [0003]
