DE102021201498A1

DE102021201498A1 - Vorrichtung und Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers eines Fahrzeugs

Info

Publication number: DE102021201498A1
Application number: DE102021201498.4A
Authority: DE
Inventors: Julian King
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2021-02-17
Filing date: 2021-02-17
Publication date: 2022-08-18
Also published as: US20240140443A1; WO2022174950A1; CN116847782A

Abstract

Die Erfindung betrifft eine Vorrichtung (1a, 1b, 1c, 1d) zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeugs (2) aufweisendzumindest einen Gassensor (3), welcher zur kontinuierlichen Erfassung zumindest eines Teils einer Ausatemluft und/ oder von einer Haut des Fahrers emittierten flüchtigen organischen Verbindung ausgebildet ist, undeine Analyseeinheit (4a, 4b, 4c) zum Extrahieren zumindest eines flüchtigen Biomarkers in der Ausatemluft und/oder den emittierten flüchtigen organischen Verbindungen,wobeider Biomarker als Isopren (2-Methylbuta-1 ,3-dien) ausgebildet ist, und wobei die Analyseeinheit (4a, 4b, 4c) zum Bestimmen der Isoprenkonzentration über ein vorab festgelegtes Zeitfenster als Isoprenkonzentrationsprofil (5) ausgebildet ist, wobei die Analyseeinheit (4a, 4b, 4c) ferner dazu ausgebildet ist, vorhandene Spitzenwerte (7) in dem Isoprenkonzentrationsprofil (5) zu ermitteln, so dass anhand der Anzahl der vorhandenen Spitzenwerte (7) innerhalb des festgelegten Zeitfensters die Aufmerksamkeit ermittelbar ist und/oder die Analyseeinheit (4a, 4b, 4c) ferner dazu ausgebildet ist, anhand einer Frequenzanalyse von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters die Aufmerksamkeit zu ermitteln und/oder die Analyseeinheit (4a, 4b, 4c) ferner dazu ausgebildet ist, anhand der stochastischen Varianz (Streuung) von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters die Aufmerksamkeit zu ermitteln.Ferner betrifft die Erfindung ein Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers.

Description

Die Erfindung betrifft eine Vorrichtung zur Bestimmung einer Aufmerksamkeit eines Fahrers eines Fahrzeugs aufweisend zumindest einen Gassensor, welcher zur kontinuierlichen Erfassung zumindest eines Teils einer Ausatemluft und/ oder von einer Haut des Fahrers emittierten flüchtigen organischen Verbindung ausgebildet ist, und eine Analyseeinheit zum Extrahieren zumindest eines flüchtigen Biomarkers in der Ausatemluft und/oder den emittierten flüchtigen organischen Verbindungen. Ferner betrifft die Erfindung ein Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers.
Die Fahrerüberwachung gewinnt für assistiertes und automatisiertes Fahren bis SAE Level 3 immer mehr an Bedeutung. Im Vordergrund steht dabei die frühzeitige Erkennung von Übermüdung und erhöhten Stresswerten, sowie im Fall von automatisiertem Fahren auf SAE Level 3 die fortlaufende Überwachung der Übernahmefähigkeit des Fahrers. So ist bekannt, dass bei geringer Aufmerksamkeit (hoher Müdigkeit) der Fahrer öfters kleine Lenkfehler macht und versucht, diese abrupt zu korrigieren. Das erkennt beispielsweise eine Elektronik, die als Lenkwinkelsensor oftmals als Teil des Schleuderschutzes ESP verbaut ist. Auch kann ein Spurhalte-Assistent als Müdigkeitserkennung dienen. Derzeitige Systeme zur Erfassung der Unaufmerksamkeit des Fahrers basieren auf einer Interpretation des Fahrverhaltens des Fahrers, wie z. B. eine schlechte Spurführung.
Die EP 1 392 149 B1 offenbart ein Verfahren und ein System zum Bestimmen der Aufmerksamkeit eines Fahrers eines Fahrzeugs wobei ein Erfassen zumindest einer ersten Bewegungseigenschaft zumindest eines ersten Teils eines Fahrzeugs, ein Erfassen zumindest einer zweiten Bewegungseigenschaft zumindest eines zweiten Teils des Fahrzeugs, und ein Verwenden zumindest einer zeitlichen Beziehung zwischen der zumindest einen ersten Bewegungseigenschaft und der zumindest einen zweiten Bewegungseigenschaft, um vom Fahrer verursachte Bewegungen und nicht vom Fahrer verursachte Bewegungen zu erfassen und zwischen diesen zu unterscheiden, und ein Bestimmen der Aufmerksamkeit des Fahrers des Fahrzeugs basierend auf zumindest einem Verhältnis zwischen den vom Fahrer verursachten Bewegungen und den nicht vom Fahrer verursachten Bewegungen vorgesehen sind.
Es ist eine Aufgabe der Erfindung Mittel anzugeben, welche die Sicherheit im Straßenverkehr durch die Bestimmung der Aufmerksamkeit eines Fahrers weiter verbessert.
Die Aufgabe wird gelöst durch eine Vorrichtung mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 12.
Vorteilhafte Weiterbildungen, welche einzeln oder in Kombination miteinander eingesetzt werden können, sind in den abhängigen Ansprüchen sowie in der Beschreibung angegeben.
Die Aufgabe wird gelöst durch eine Vorrichtung zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeugs aufweisend
zumindest einen Gassensor, welcher zur kontinuierlichen Erfassung zumindest eines Teils einer Ausatemluft und/ oder von einer Haut des Fahrers emittierten flüchtigen organischen Verbindung ausgebildet ist,
eine Analyseeinheit zum Extrahieren zumindest eines flüchtigen Biomarkers in der Ausatemluft und/oder den emittierten flüchtigen organischen Verbindungen,
wobei
der Biomarker als Isopren (2-Methylbuta-1,3-dien) ausgebildet ist, und wobei die Analyseeinheit zum Bestimmen der Isoprenkonzentration über ein vorab festgelegtes Zeitfenster als Isoprenkonzentrationsprofil ausgebildet ist, wobei die Analyseeinheit ferner dazu ausgebildet ist, vorhandene Spitzenwerte in dem Isoprenkonzentrationsprofil zu ermitteln, so dass anhand der Anzahl der vorhandenen Spitzenwerte innerhalb des festgelegten Zeitfensters die Aufmerksamkeit ermittelbar ist und/oder die Analyseeinheit ferner dazu ausgebildet ist, anhand einer Frequenzanalyse von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters die Aufmerksamkeit zu ermitteln und/oder die Analyseeinheit ferner dazu ausgebildet ist, anhand einer stochastischen Varianz (Streuung) von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters die Aufmerksamkeit zu ermitteln.
Die menschliche Ausatemluft enthält mehrere hundert volatile organische Verbindungen (VOCs, Spurengase), deren Konzentration normale und pathologische Stoffwechselvorgänge und physiologische Prozesse im Körper widerspiegeln. Gleiches gilt für Spurengase, welche über die menschliche Haut emittiert werden. Erfindungsgemäß wurde erkannt, dass es der enorme Fortschritt bei entsprechenden chemischen Analysetechniken und entsprechenden Gassensoren erlaubt, diese Substanzen bis hin zu Konzentrationen im Bereich einiger ppt (parts-per-trillion = 1 pro 1e12 Teilchen) zu quantifizieren. Für solche diverse Spurengase können stark miniaturisierte Sensoren (< 1 cm3) eingesetzt werden, beispielsweise auf Basis von Metalloxid-Halbleitern.
Erfindungsgemäß wird hier die Konzentration des Biomarker Isopren (2-Methylbuta-1 ,3-dien) analysiert, der als Indikator auf eine bevorstehende oder eintretende Konzentrationsschwäche und/oder Müdigkeit des Fahrers hinweist. Dieser - so wurde erkannt - verhält sich im Atem und über die Haut emittiert, während der Wachphasen sehr unstetig, das heißt, dieser weißt viele Spitzenwerte und einen unsteten Verlauf auf. Dies, so wurde erkannt, liegt daran, dass das Isopren selbst bei minimalen bewussten oder unbewussten Kontraktionen der Skelettmuskulatur aus den Muskeln ausgeschwemmt wird, während sich der Isoprenkonzentrationswert während einer Schlaf-/Müdigkeitsphase aber sehr ruhig verhält.
Es wurde erfindungsgemäß weiter erkannt, dass selbst bei kleinen Zeitfenstern durch das charakteristische unstetige Verhalten der Isoprenkonzentration, d.h. durch die typischen und häufig auftretenden Konzentrationsspitzen von Isopren während der Wachphasen, zuverlässig ein beispielsweise Sekundenschlaf (kurzer Schlaf) oder eine Müdigkeitsphase erkannt werden kann.
Die Gassensorik /Gassensor kann dabei substanzspezifische Sensoren umfassen, sowie auch nicht-spezifische Sensorarrays, welche auf Änderungen in der Gesamtzusammensetzung des analysierten Gasvolumens reagieren.
Spitzenwerte können beispielsweise anhand von Konzentrationsänderungen des Isoprenkonzentrationswertes durch Überschreiten eines vorgegebenen Konzentrationsschwellwertes ermittelt werden. Als Maß für die Aufmerksamkeit des Fahrers kann dann die Anzahl der Spitzenwerte innerhalb des festgelegten Zeitfensters herangezogen werden. Sind beispielsweise viele Spitzenwerte vorhanden, so deutet dies auf einen sehr wachen aufmerksamen Zustand hin. Ist beispielsweise nur eine mittlere Anzahl von Spitzenwerten vorhanden, so kann dies auf einen beginnenden müden Zustand hinweisen.
Ferner kann anhand einer stochastischen Varianz (Streuung) der Isoprenkonzentrationswerte innerhalb des festgelegten Zeitfensters die Aufmerksamkeit ermittelt werden. Eine Inaktivitätserkennung (Müdigkeit /Aufmerksamkeit) des Fahrers kann auf Basis der stochastischen Varianz (Streuung) der Isoprenkonzentrationswerte innerhalb des festgelegten Zeitfensters durchgeführt werden.
Weiterhin ist die Analyseeinheit alternativ oder zusätzlich dazu ausgebildet, anhand einer Frequenzanalyse von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters die Aufmerksamkeit zu ermitteln.
Insbesondere ist eine solche Varianzanalyse / Frequenzanalyse vorteilhaft, da der Isoprenkonzentrationswert während des Tagesverlaufes unterschiedlich ist; d.h. eine unterschiedliche Konzentration vorliegt. Auch eine unterschiedliche Ernährung kann die absoluten Isoprenkonzentrationswerte beeinflussen. Durch eine Varianzanalyse/ Frequenzanalyse kann die Inaktivität unabhängig von Tagesverlauf und unabhängig von dem einzelnen Fahrer einfach ermittelt werden.
Dabei kann die Aufmerksamkeit auch anhand der bestimmten Spitzenwerte und der Frequenzanalyse und der stochastischen Varianz ermittelt werden.
Durch die erfindungsgemäße Vorrichtung ist eine nicht-invasive, kontaktfreie und permanent verfügbare Fahrerüberwachung zur Bestimmung der aktuellen Aufmerksamkeit des Fahrers möglich.
Diese Bestimmung kann kontinuierlich während der Fahrt erfolgen. Dies trägt wesentlich zur Erhöhung der Verkehrssicherheit bei.
Vorzugsweise ist der zumindest eine Gassensor als auch die Analyseeinheit zur Messung und Auswertung der Konzentrationsänderungen des Isoprens in Echtzeit, beispielsweise atemzugsaufgelöst ausgebildet. Dadurch kann eine Müdigkeit /Sekundenschlaf des Fahrers schnell detektiert werden.
Vorzugsweise sind mehrere Zeitfenster vorgesehen, welche sich unmittelbar aneinander anschließen, zur kontinuierlichen Überwachung des Fahrers.
In weiterer vorzugsweiser Ausgestaltung ist ein Sensor zur Fahreridentifikation vorgesehen. Ferner ist weiterhin die Analyseeinheit dazu ausgebildet, das Zeitfenster und/oder die Ermittlung der Aufmerksamkeit und/oder die Fahreridentifikation an den Fahrer anzupassen. Somit kann die Erfindung individuell an den aktuellen Fahrer angepasst werden, wodurch sich eine Qualität in der Bestimmung der Aufmerksamkeit erhöht.
Vorzugsweise ist die Analyseeinheit dazu ausgebildet, die Anpassung des Zeitfensters und/oder die Ermittlung der Aufmerksamkeit und/oder die Fahreridentifikation mittels eines maschinellen Lernverfahrens vorzunehmen. Dabei kann das maschinelle Lernverfahren beispielsweise als ein künstliches neuronales Netz, ein Klassifikations-/Clusterverfahren, ein Regressionsverfahren, ein Entscheidungsbaum-/waldverfahren, ein Reinforcement-Learning-Verfahren ausgebildet sein.
Dadurch wird berücksichtigt, dass die Isoprenkonzentration in der Ausatemluft /über die emittierte Isoprenkonzentration eines Individuums sehr variabel ist. So ist dieser beispielsweise deutlich von der Intensität körperlicher Aktivität abhängig. Ebenso hängt diese stark von der gesundheitlichen Verfassung des Fahrers ab. Dadurch können somit auch absolute, als auch relative und binäre (Spurengas vorhanden / nicht vorhanden) Änderungen des jeweiligen Isoprenkonzentrationswertes im Vergleich zu einem Ausgangs- oder Nominalwert eines bestimmten Fahrers mit in die Bestimmung der Aufmerksamkeit einbezogen werden.
Weiterhin kann die Vorrichtung zumindest einen Zusatzsensor zur Erfassung der Aufmerksamkeit des Fahrers aufweisen. Dabei kann die Vorrichtung ferner dazu ausgebildet sein, die durch den Zusatzsensor erfasste Aufmerksamkeit und die durch die Isoprenkonzentration ermittelte Aufmerksamkeit zu einem Gesamtaufmerksamkeitswert zu fusionieren.
Durch eine solche Fusion kann eine noch genauere und/oder schnellere Bestimmung der Aufmerksamkeit eines Fahrers erzielt werden.
Beispielsweise kann der Zusatzsensor als eine Innenraumkamera zur Erfassung eines Lidschlags und/oder Pupillenstellung des Fahrers und/oder Kopfhaltung und/oder Gähnfrequenz ausgebildet sein. Auch kann der Zusatzsensor als ein Herzfrequenzsensor zum Ermitteln der Herzfrequenz und/oder ein Atemfrequenzsensor zum Ermitteln der Atemfrequenz ausgebildet sein. Auch können mehrere Zusatzsensoren vorgesehen sein.
In weiterer Ausgestaltung ist der zumindest eine Gassensor in der Kopfstütze des Fahrers und/oder im Sitzgurt des Fahrers und/oder im Lenkrad des Fahrers und /oder in der Rückenlehne des Fahrers und/oder im Fahrzeughimmel über dem Fahrersitz angeordnet.
Durch diese mund- und hautnahe Anordnung des zumindest einen Gassensors an den Fahrer können gezielt die Isoprenkonzentrationswerte des Fahrers ermittelt werden. Störende weitere Isoprenkonzentrationswerte, welche von Mitinsassen im Fahrzeug stammen, werden dadurch weitestgehend ausgeblendet bzw. nicht erfasst. Weiterhin können als Positionierung des Gassensors fahrernahe Entlüftungsschlitze Verwendung finden.
Ferner kann die Vorrichtung dazu ausgebildet sein, ab Unterschreiten eines vorab festgelegten ersten Aufmerksamkeitswertes visuelle und/oder haptische und/oder akustische Signale zu erzeugen. Dabei können akustische Signale beispielsweise Warntöne sein und optische Signale, beispielsweise das Aufblinken einer Lampe. Haptische Signale können beispielsweise das Vibrieren des Sitzes oder des Lenkrads sein.
Dadurch kann die Aufmerksamkeit des Fahrers wieder erhöht werden und die Verkehrssicherheit verbessert werden.
Ferner kann die Vorrichtung weiterhin dazu ausgebildet sein, ab Unterschreiten eines vorab festgelegten zweiten Aufmerksamkeitswertes Steuersignale zur Verwertung in einem entsprechenden Fahrerassistenzsystem zu erzeugen. Ein solches Unterschreiten kann beispielsweise zu lebensbedrohlichen Situationen führen. In einer solchen Gefahrensituation können beispielsweise Steuerbefehle direkt oder indirekt, wie über eine zentrale Fahrzeug-Steuereinheit, an Fahrerassistenzsysteme, wie beispielsweise ein Spurhaltesystem, Notfallassistenzsystem, Notfallrettungssystem innerhalb des Fahrzeuges gesendet werden, welche weitere erforderliche Maßnahmen einleiten. Solche Maßnahmen können beispielsweise eine Notbremsung oder ein eCall sein.
In weiterer Ausbildung ist ein weiterer Gassensor vorgesehen, wobei der weitere Gassensor zumindest teilweise zur kontinuierlichen Erfassung zumindest von einer Ausatemluft und/oder einer Haut des Fahrers emittierten weiteren flüchtigen organischen Verbindung vorgesehen ist. Dies kann beispielsweise mittels unterschiedlicher Anordnung der beiden Gassensoren im Fahrzeug erzielt werden (Lenkrad/Gurt). Dabei können die Gassensoren auch identisch ausgebildet sein.
Dadurch können die durch den ersten / zweiten Gassensor erfassten Isoprenkonzentrationswerte korrigiert oder bestätigt werden.
In weiterer Ausbildung ist die Analyseeinheit zum Extrahieren eines weiteren flüchtigen Biomarkers ausgebildet, sowie zum Bestimmen der Isoprenkonzentration und des weiteren flüchtigen Biomarkers über das Zeitfenster als Gesamtkonzentrationsprofil sowie zum Ermitteln der Aufmerksamkeit anhand des Gesamtkonzentrationsprofils.
Aus den Biomarkern kann die Analyseeinheit kontinuierlich die Wachsamkeit und/oder Aufmerksamkeit des Fahrers analysieren. Durch eine Kombination verschiedener Biomarkern kann die Aufmerksamkeit genauer bestimmt werden. Insbesondere kann der zweite Biomarker ein CO2 (Kohlenstoffdioxid) -Wert sein, durch welchen ebenfalls eine Müdigkeit des Fahrers erkennbar sein kann, da der CO2-Wert während der Schlafphasen leicht ansteigt.
Ferner wird die Aufgabe gelöst durch ein Verfahren zum Ermitteln einer Aufmerksamkeit eines Fahrers, wobei das Verfahren auf einer wie oben beschriebenen Vorrichtung durchgeführt wird, umfassend aus folgenden Schritten:

- kontinuierliche Erfassung zumindest eines Teils der Ausatemluft und/ oder von einer Haut des Fahrers emittierten flüchtigen organischen Verbindung durch zumindest einen Gassensor,
- extrahieren zumindest eines flüchtigen Biomarkers in der Ausatemluft und/oder den emittierten flüchtigen organischen Verbindungen durch eine Analyseeinheit, wobei der Biomarker als Isopren (2-Methylbuta-1 ,3-dien) ausgebildet ist,
- bestimmen der Isoprenkonzentration über ein vorab festgelegtes Zeitfenster als Isoprenkonzentrationsprofil,
- ermitteln vorhandener Spitzenwerte des Isoprens in dem Isoprenkonzentrationsprofil, so dass anhand der Anzahl der vorhandenen Spitzenwerte die Aufmerksamkeit ermittelt wird und/oder Ermitteln der Aufmerksamkeit anhand einer Frequenzanalyse von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters und/oder Ermitteln der Aufmerksamkeit anhand einer stochastischen Varianz (Streuung) von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters.

Die Vorteile der Vorrichtung können auch auf das Verfahren übertragen werden.
Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

1: ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung gemäß einer ersten Ausführung, und
2: ein Isoprenkonzentrationsprofil korreliert mit den verschiedenen Schlaf/Wachzuständen, und
3: ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung gemäß einer zweiten Ausführung, und
4: ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung gemäß einer dritten Ausführung, und
5: ein Isoprenkonzentrationsprofil und ein CO2-Profil korreliert mit den verschiedenen Schlaf/Wachzuständen, und
6: ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung gemäß einer vierten Ausführung.

1 zeigt eine Vorrichtung 1a zum Ermitteln einer Aufmerksamkeit eines Fahrers in einem Fahrzeug 2. Die Vorrichtung 1a umfasst zumindest einen Gassensor 3. Der Gassensor 3 ist dazu ausgelegt, zumindest teilweise über die Ausatemluft des Fahrers und/oder über die Haut emittiertes Isopren zu erfassen.
Der Gassensor 3 basiert beispielsweise auf Metalloxid-Halbleitern und ist zum kontinuierlichen Erfassen der Ausatemluft, insbesondere des Biomarkers Isopren in der Ausatemluft, vorgesehen. Der Gassensor 3 ist beispielsweise im Lenkrad oder im Bereich des Cockpits des Fahrers angeordnet. Dadurch kann die Ausatemluft gut erfasst werden. Auch ist eine Anordnung im Fahrergurt möglich. Durch die Anordnung im Lenkrad /Fahrergurt kann weitestgehend verhindert werden, dass sich die Ausatemluft des Fahrers mit der Ausatemluft anderer Mitinsassen mischt.
Ferner weist die Vorrichtung 1a eine Analyseeinheit 4a auf. Diese kann beispielsweise im Gassensor 3 integriert sein. Die Analyseeinheit 4a ermöglicht es beispielsweise mittels chemischen Analysetechniken, eine Isoprenkonzentration im Bereich einiger ppt (parts-per-trillion = 1 pro 1e12 Teilchen) in Echtzeit zu extrahieren und zu quantifizieren. Auch andere schnelle Analysetechniken sind möglich.
Das Isopren (die Isoprenkonzentrationswerte) wird dabei über ein vorab festgelegtes Zeitfenster als Isoprenkonzentrationsprofil 5 (2) bestimmt. Dabei sind mehrere Zeitfenster vorhanden, die sich aneinander nahtlos anschließen.
2 zeigt ein solches Isoprenkonzentrationsprofil 5 korreliert mit den dazugehörigen Wach/Schlafphasen-Diagramm 6 darunter. Dabei wird bei den Schlafphasen NREM (non-Rem-Schlaf) zwischen N1, N2 und N3 unterschieden.
Dabei steht N1 für das Schlafstadium im Übergang zwischen Wachen und Schlafen, N2 steht für stabilen Schlaf und N3 den Tiefschlaf.
Die Schlafstadien N1, N2, N3 haben charakteristische Merkmale in der elektrischen Aktivität des Gehirns und sind messtechnisch erfassbar. Es ist beispielsweise bekannt, dass die Körpertemperatur und der Blutdruck des Schlafenden beim NREM-Schlaf absinken.
Der REM-Schlaf (rapid eye movement) ist durch schnelle Augenbewegungen unter den Lidern gekennzeichnet. Beim REM-Schlaf ist das Nervensystem besonders aktiv. Es erschlaffen gleichzeitig sämtliche Muskeln.
Ferner ist eine Wachphase W angezeigt.
Wie das Isoprenkonzentrationsprofil 5 zeigt, verhält sich Isopren während der Wachphasen sehr unstetig, d.h.es weist viele Spitzenwerte auf, während der Schlafphasen aber sehr ruhig. Dies liegt daran, dass selbst bei minimalen Kontraktionen der Skelettmuskulatur (vertikalen Linien 10) Isopren aus Muskeln ausgeschwemmt wird. Die Spitzenwerte 7 können dabei durch Überschreitung eines Konzentrationsschwellwerts oder durch Berechnung einer Standardabweichung ermittelt werden.
Dabei wird ein Spitzenwert erkannt, wenn er über einem vorgegebenen Konzentrationsschwellwert liegt, bzw. mehr als ein gewisses Vielfaches der Standardabweichung von der mittleren Isoprenkonzentration abweicht.
Auf Basis der stochastischen Varianz (Streuung) der Isoprenkonzentrationswerte kann ebenfalls eine Inaktivitätserkennung (Müdigkeit /Aufmerksamkeit) des Fahrers erfolgen.
Durch die Varianzberechnung kann unberücksichtigt bleiben, dass der Isoprenkonzentrationswert während des Tagesverlaufes unterschiedlich ist; d.h. eine unterschiedliche Konzentration vorliegt. Auch können beispielsweise eine unterschiedliche Ernährung / Krankheiten die absoluten Isoprenkonzentrationswerte beeinflussen. Durch eine Varianzberechnung kann die Müdigkeit/Aufmerksamkeit des Fahrers unabhängig von Tagesverlauf /Ernährung/ Krankheiten (Gesundheitszustand) einfach detektiert werden.
Alternativ oder zusätzlich kann beispielsweise auch eine Frequenzanalyse zur Auswertung der Isoprenkonzentrationswerte und Bestimmung der Aufmerksamkeit verwendet werden.
Erkennt die Vorrichtung 1a eine Müdigkeit / geringe Aufmerksamkeit unterhalb eines vorab festgelegten ersten Aufmerksamkeitswertes, so kann diese ein Signal an eine Steuereinheit geben, welche ein visuelles und/oder haptisches und/oder akustisches Signal erzeugt. Das visuelle Signal kann beispielsweise das Aufleuchten einer Lampe sein. Ein haptisches Signal kann beispielsweise das Vibrieren des Fahrersitzes oder des Lenkrades sein. Akustische Signale können beispielsweise ein Warnton sein.
Der erste Aufmerksamkeitswert kann beispielsweise an eine erste Zeitspanne gekoppelt sein. Können während dieser vorgegebenen Zeitspanne kein oder zu wenig Spitzenwerte erfasst oder kann ein zu wenig unstetes Verhalten erkannt werden, kann von einer Müdigkeit / beginnenden Einschlafen ausgegangen werden.
Erkennt die Vorrichtung 1a eine Müdigkeit / geringe Aufmerksamkeit unterhalb eines vorab festgelegten zweiten Aufmerksamkeitswertes, so kann die Vorrichtung 1a Steuersignale zur Verwertung in einem entsprechenden Fahrerassistenzsystem erzeugen oder eine Steuereinheit anweisen, diese Steuersignale zu erzeugen.
Der zweite Aufmerksamkeitswert kann beispielsweise an eine zweite Zeitspanne gekoppelt sein, welche länger als die erste Zeitspanne ist. Können während dieser vorgegebenen Zeitspanne keine oder zu wenig Spitzenwerte erfasst oder kann ein zu wenig unstetes Verhalten erkannt werden, kann von einer anhaltenden Müdigkeit / Einschlafen ausgegangen werden. Ferner bedeutet dies, dass die bei der ersten Zeitspanne durchgeführten Maßnahmen keine Wirkung gezeigt haben.
Diese Steuerbefehle können direkt oder indirekt, über die Steuereinheit, an Fahrerassistenzsysteme (z.B. Spurhaltesystem), Notfallassistenzsysteme (z.B. Notbremsung), Notfallrettungssysteme (z.B. eCall) innerhalb des Fahrzeuges gesendet werden, welche weitere erforderliche Maßnahmen einleiten, um so lebensbedrohliche Situationen zu vermeiden.
Der zweite Aufmerksamkeitswert kann identisch mit dem ersten Aufmerksamkeitswert sein oder geringer sein und sich nur die erste Zeitspanne von der zweiten Zeitspanne unterscheiden. Auch kann jedoch der zweite Aufmerksamkeitswert unterschiedlich zum ersten Aufmerksamkeitswert sein.
3 zeigt eine weitere Ausgestaltung einer erfindungsgemäßen Vorrichtung 1b zum Ermitteln einer Aufmerksamkeit des Fahrers in dem Fahrzeug 2. Die Vorrichtung 1b umfasst zumindest den Gassensor 3 und einen weiteren Gassensor 8. Der Gassensor 3 ist durch seine Anordnung dazu ausgelegt, hauptsächlich die Ausatemluft des Fahrers zu erfassen. Der weitere Gassensor 8 ist durch seine Anordnung dazu ausgelegt, die über die Haut emittierten Spurengase (VOC) zu erfassen. Dabei können beide Gassensoren 3,8 identisch sein. Als Anordnung bietet sich beispielsweise für den Gassensor 3 eine Integration im Lenkrad an, während sich für den weiteren Gassensor 8 eine Anordnung in einer hautnahen Region beispielsweise Rückenlehne oder Kopfstütze anbietet.
Die Analyseeinheit 4a ist dazu ausgelegt aus den fusionierten erfassten VOCs, das Isopren bzw. die Isoprenkonzentration zu bestimmen. Durch die Erfassung von durch die Haut emittierten Isopren und aus der Ausatemluft kann die Konzentration des Isoprens des Fahrers genauer bestimmt werden.
Erkennt die Vorrichtung 1b eine Müdigkeit / geringe Aufmerksamkeit unterhalb des vorab festgelegten ersten Aufmerksamkeitswertes, so kann diese ein Signal an eine Steuereinheit geben, welche ein visuelles und/oder haptisches und/oder akustisches Signal erzeugt.
Erkennt die Vorrichtung 1b eine Müdigkeit / geringe Aufmerksamkeit unterhalb des vorab festgelegten zweiten Aufmerksamkeitswertes, so kann die Vorrichtung 1b Steuersignale zur Verwertung in einem entsprechenden Fahrerassistenzsystem erzeugen oder eine Steuereinheit anweisen, diese Steuersignale zu erzeugen.
4 zeigt eine weitere Ausgestaltung einer erfindungsgemäßen Vorrichtung 1c zum Ermitteln einer Aufmerksamkeit eines Fahrers in einem Fahrzeug 2.
Die Vorrichtung 1c umfasst zumindest den Gassensor 3. Der Gassensor 3 ist dazu ausgelegt, eine Ausatemluft / Emissionen über die Haut des Fahrers zu erfassen. Ferner umfasst die erfindungsgemäße Vorrichtung 1c eine Analyseeinheit 4b, welche dazu ausgebildet ist, die Isoprenkonzentration und einen weiteren Biomarker, wie hier CO2 als CO2-Konzentration, aus den erfassten Gasen zu extrahieren und mit einander in Bezug zu setzen.
5 zeigt ein solches Isoprenkonzentrationsprofil 5 korreliert mit den dazugehörigen Wach/Schlafphasen-Diagramm 6 und korreliert mit einem CO2-Konzentrationsprofil 9 als Gesamtkonzentrationsprofil, aufgenommen über demselben Zeitfenster. Dabei wird wieder bei den Schlafphasen NREM (non-Rem-Schlaf) zwischen N1, N2 und N3 unterschieden. Dabei steht N1 für das Schlafstadium im Übergang zwischen Wachen und Schlafen, N2 steht für stabilen Schlaf und N3 den Tiefschlaf. Die Schlafstadien N1, N2, N3 haben charakteristische Merkmale in der elektrischen Aktivität des Gehirns und sind messtechnisch erfassbar. Der REM-Schlaf (rapid eye movement) ist durch schnelle Augenbewegungen unter den Lidern gekennzeichnet. Beim REM-Schlaf ist das Nervensystem besonders aktiv. Es erschlaffen gleichzeitig sämtliche Muskeln.
Ferner ist die Wachphase W angezeigt.
Wie das Isoprenkonzentrationsprofil 5 zeigt, verhält sich Isopren in der Ausatemluft während der Wachphasen sehr unstetig, d.h. mit vielen Spitzenwerten, während der Schlafphasen aber sehr ruhig. Dies liegt daran, dass selbst bei minimalen Kontraktionen der Skelettmuskulatur 10 (vertikalen Linien) Isopren aus Muskeln ausgeschwemmt wird.
Wie in 5 weiter zu sehen ist, steigt das CO2 während der Schlafphasen tendenziell leicht an. Dies liegt hauptsächlich daran, dass der Fahrer dann langsamer und flacher atmet und somit in den Atemwegen weniger Verdünnung mit der eingeatmeten Luft stattfindet.
Ein erkanntes Aufmerksamkeitsdefizit bzw. Müdigkeit, welche mittels des Isoprenonzentrationsprofils erkannt worden ist, kann somit mit einem erkannten Aufmerksamkeitsdefizit bzw. Müdigkeit, welches mittels dem C02-Konzentrationsprofil 9 erkannt worden ist, überprüft oder verbessert werden. Dadurch kann eine genauere Bestimmung der Aufmerksamkeit getroffen werden bzw. eine getroffene Bestimmung der Aufmerksamkeit überprüft werden.
6 zeigt eine erfindungsgemäße Vorrichtung 1d gemäß einer vierten Ausführung zum Ermitteln der Aufmerksamkeit des Fahrers in dem Fahrzeug 2.
Die Vorrichtung 1d umfasst zumindest den Gassensor 3. Der Gassensor 3 ist dazu ausgelegt, eine Ausatemluft / Emissionen über die Haut des Fahrers zu erfassen. Ferner ist eine Analyseeinheit 4c sowie ein Sensor 11 zur Fahreridentifikation vorgesehen, um so den Fahrer zu erkennen. Die Analyseeinheit 4c ist dazu ausgebildet, das Zeitfenster und/oder einen Konzentrationsschwellwert an den erkannten Fahrer anzupassen. Somit kann die Vorrichtung 1d individuell an den aktuellen Fahrer angepasst werden, wodurch sich eine Qualität in der Bestimmung der Aufmerksamkeit erhöht.
Ferner kann die Analyseeinheit 4c dazu ausgebildet sein, die Anpassung mittels eines maschinellen Lernverfahrens, wie einem künstlichen neuronalen Netz vorzunehmen. Trainingsdaten können hierzu während der ersten Fahrten des Fahrers erzeugt werden.
Dadurch wird berücksichtigt, dass die Isoprenkonzentration in der Ausatemluft / die emittierte Isoprenkonzentration des Fahrers sehr variabel ist und beispielsweise von dem Tagesverlauf als auch der gesundheitlichen Verfassung des Fahrers abhängt.
Dadurch können somit auch absolute, als auch relative und binäre (Spurengas vorhanden / nicht vorhanden) Änderungen des jeweiligen Isoprenkonzentrationswertes im Vergleich zu einem Ausgangs- oder Nominalwert eines bestimmten Fahrers mit in die Bestimmung der Aufmerksamkeit einbezogen werden, was die Qualität der Bestimmung erhöht.
Ferner weist die Vorrichtung 1d zumindest einen Zusatzsensor 12 zur Erfassung der Aufmerksamkeit auf. Dieser Zusatzsensor 12 kann als eine Innenraumkamera zur Erfassung eines Lidschlags und/oder Pupillenstellung des Fahrers und/oder Kopfhaltung und/oder Gähnfrequenz ausgebildet sein oder als ein Herzfrequenzsensor zum Ermitteln der Herzfrequenz und/oder ein Atemfrequenzsensor zum Ermitteln der Atemfrequenz. Es können auch mehrere Zusatzsensoren vorhanden sein. Die durch den Zusatzsensor 12 erfasste Aufmerksamkeit und die durch die Anzahl vorhandener Spitzenwerte 7 und/oder anhand der Frequenzanalyse und/ oder anhand der stochastischen Varianz (Streuung) ermittelte Aufmerksamkeit wird zu einem Gesamtaufmerksamkeitswert fusioniert. Durch eine solche Fusion kann eine noch genauere und/oder schnellere Bestimmung der Aufmerksamkeit eines Fahrers erzielt werden.
Bezugszeichenliste

1a, 1b, 1c, 1d: Vorrichtung
2: Fahrzeug
3: Gassensor
4a, 4b, 4c: Analyseeinheit
5: Isoprenkonzentrationsprofil
6: Wach/Schlafphasen - Diagramm
7: Spitzenwerte
8: weiterer Gassensor
9: CO2-Konzentrationsprofil
10: Kontraktionen der Skelettmuskulatur
11: Sensor zur Fahreridentifikation
12: Zusatzsensor

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1392149 B1 [0003]

Claims

Vorrichtung (1a, 1b, 1c,1d) zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeugs (2) aufweisend zumindest einen Gassensor (3), welcher zur kontinuierlichen Erfassung zumindest eines Teils einer Ausatemluft und/ oder von einer Haut des Fahrers emittierten flüchtigen organischen Verbindung ausgebildet ist, und eine Analyseeinheit (4a, 4b, 4c) zum Extrahieren zumindest eines flüchtigen Biomarkers in der Ausatemluft und/oder den emittierten flüchtigen organischen Verbindungen, dadurch gekennzeichnet, dass der Biomarker als Isopren (2-Methylbuta-1,3-dien) ausgebildet ist, und wobei die Analyseeinheit (4a, 4b, 4c) zum Bestimmen der Isoprenkonzentration über ein vorab festgelegtes Zeitfenster als Isoprenkonzentrationsprofil (5) ausgebildet ist, wobei die Analyseeinheit (4a, 4b, 4c) ferner dazu ausgebildet ist, vorhandene Spitzenwerte (7) in dem Isoprenkonzentrationsprofil (5) zu ermitteln, so dass anhand der Anzahl der vorhandenen Spitzenwerte (7) innerhalb des festgelegten Zeitfensters die Aufmerksamkeit ermittelbar ist und/oder die Analyseeinheit (4a, 4b, 4c) ferner dazu ausgebildet ist, anhand einer Frequenzanalyse von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters die Aufmerksamkeit zu ermitteln und/oder die Analyseeinheit (4a, 4b, 4c) ferner dazu ausgebildet ist, anhand der stochastischen Varianz (Streuung) von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters die Aufmerksamkeit zu ermitteln.
Vorrichtung (1a, 1b, 1c, 1d) nach Anspruch 1, dadurch gekennzeichnet, dass ein Sensor (11) zur Fahreridentifikation vorgesehen ist und die Analyseeinheit (4a, 4b, 4c) dazu ausgebildet ist, das Zeitfenster und/oder die Ermittlung der Aufmerksamkeit und/oder die Fahreridentifikation an den Fahrer anzupassen.
Vorrichtung (1a, 1b, 1c, 1d) nach Anspruch 2, dadurch gekennzeichnet, dass zumindest die Analyseeinheit (4a, 4b, 4c) dazu ausgebildet ist, die Anpassung des Zeitfensters und/oder die Ermittlung der Aufmerksamkeit und/oder die Fahreridentifikation mittels eines maschinellen Lernverfahrens vorzunehmen.
Vorrichtung (1 a, 1b, 1c, 1d) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (1a,1b, 1c,1d) zumindest einen Zusatzsensor (12) zur Erfassung der Aufmerksamkeit des Fahrers aufweist, wobei die Vorrichtung (1a, 1b, 1c, 1d) ferner dazu ausgebildet ist, die durch den Zusatzsensor (12) erfasste Aufmerksamkeit und die ermittelte Aufmerksamkeit zu einem Gesamtaufmerksamkeitswert zu fusionieren.
Vorrichtung (1a, 1b, 1c, 1d) nach Anspruch 4, dadurch gekennzeichnet, dass der Zusatzsensor (12) als eine Innenraumkamera zur Erfassung eines Lidschlags und/oder Pupillenstellung des Fahrers und/oder Kopfhaltung und/oder Gähnfrequenz ausgebildet ist.
Vorrichtung (1a, 1b, 1c, 1d) nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass der Zusatzsensor (12) als ein Herzfrequenzsensor zum Ermitteln der Herzfrequenz und/oder ein Atemfrequenzsensor zum Ermitteln der Atemfrequenz ausgebildet ist.
Vorrichtung (1a, 1b, 1c, 1d) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine Gassensor (3) in einer Kopfstütze des Fahrers und/oder einem Sitzgurt des Fahrers und/oder Lenkrad des Fahrers und/oder Rückenlehne des Fahrers und/oder in einem Fahrzeughimmel über dem Fahrersitz angeordnet ist.
Vorrichtung (1a, 1b, 1c, 1d) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (1a, 1b, 1c, 1d) dazu ausgebildet ist, ab Unterschreiten eines vorab festgelegten ersten Aufmerksamkeitswertes visuelle und/oder haptische und/oder akustische Signale zu erzeugen.
Vorrichtung (1a, 1b, 1c, 1d) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (1a, 1b, 1c, 1d) dazu ausgebildet ist, ab Unterschreiten eines vorab festgelegten zweiten Aufmerksamkeitswertes Steuersignale zur Verwertung in einem entsprechenden Fahrerassistenzsystem zu erzeugen.
Vorrichtung (1a, 1b, 1c, 1d) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein weiterer Gassensor (8) vorgesehen ist, wobei der weitere Gassensor (8) zumindest teilweise zur kontinuierlichen Erfassung zumindest von einer Haut des Fahrers emittierten flüchtigen organischen Verbindung vorgesehen ist.
Vorrichtung (1 a, 1b, 1c, 1d) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Analyseeinheit (4a, 4b, 4c) zum Extrahieren eines weiteren flüchtigen Biomarkers ausgebildet ist, sowie zum Bestimmen der Konzentration des Isoprens und des weiteren flüchtigen Biomarkers über das Zeitfenster als Gesamtkonzentrationsprofil sowie zum Ermitteln der Aufmerksamkeit anhand des Gesamtkonzentrationsprofils.
Verfahren zum Ermitteln einer Aufmerksamkeit eines Fahrers, wobei das Verfahren auf einer Vorrichtung (1a, 1b, 1c, 1d) nach einem der vorherigen Ansprüche durchgeführt wird, umfassend aus zumindest folgenden Schritten: - kontinuierliche Erfassung zumindest eines Teils einer Ausatemluft und/ oder von einer Haut des Fahrers emittierten flüchtigen organischen Verbindung durch zumindest einen Gassensor (3), - extrahieren zumindest eines flüchtigen Biomarkers in der Ausatemluft und/oder den emittierten flüchtigen organischen Verbindungen durch eine Analyseeinheit (4a, 4b, 4c), wobei der Biomarker als Isopren (2-Methylbuta-1,3-dien) ausgebildet ist, - bestimmen der Isoprenkonzentration über ein vorab festgelegtes Zeitfenster als Isoprenkonzentrationsprofil (5), - ermitteln vorhandener Spitzenwerte (7) des Isoprens in dem Isoprenkonzentrationsprofil (5), so dass anhand der Anzahl der vorhandenen Spitzenwerte (7) die Aufmerksamkeit ermittelt wird und/oder Ermitteln der Aufmerksamkeit anhand einer Frequenzanalyse von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters und/oder Ermitteln der Aufmerksamkeit anhand der stochastischen Varianz (Streuung) von Isoprenkonzentrationswerten innerhalb des festgelegten Zeitfensters.