DE102015200775A1

DE102015200775A1 - Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung

Info

Publication number: DE102015200775A1
Application number: DE102015200775.8A
Authority: DE
Inventors: Ralf Decke; Alexander König; Josef Schumann; Philipp Kerschbaum
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2015-01-20
Filing date: 2015-01-20
Publication date: 2016-07-21

Abstract

Es werden eine Vorrichtung, ein Fahrerassistenzsystem, ein Fortbewegungsmittel und ein Verfahren zur unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitive Belastung eines Fahrers eines Fortbewegungsmittels vorgeschlagen. Das Verfahren umfasst die Schritte: – sensorisches Erfassen einer physiologischen Kenngröße des Fahrers, – informationstechnisches Erfassen einer Interaktion des Fahrers mit einem Bedienelement des Fortbewegungsmittels, – Ermitteln einer Verkehrssituation des Fortbewegungsmittels, und unter Verwendung der physiologischen Kenngröße sowie der Interaktion und der Verkehrssituation – Ermitteln einer ersten Bewertung des emotionalen Zustandes des Fahrers und einer zweiten Bewertung der kognitiven Belastung des Fahrers anhand einer elektronisch bereitgehaltenen Referenz. Auf Basis der erfindungsgemäß vorgenommenen Beurteilung kann eine im Fahrzeug vorhandene Aktuatorik zur positiven bzw. günstigen Beeinflussung des emotionalen Zustandes und der kognitiven Belastung des Fahrers verwendet werden.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung, ein Fahrerassistenzsystem, ein Fortbewegungsmittel sowie ein Verfahren zur unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung eines Führers eines Fortbewegungsmittels (nachfolgend „Fahrer“). Insbesondere betrifft die vorliegende Erfindung die Unterstützung eines Fahrers eines Fortbewegungsmittels unter Berücksichtigung eines emotionalen Zustandes und einer kognitiven Belastung.
Im Rahmen der vorliegenden Erfindung werden die Begriffe „kognitive Belastung“ und „emotionaler Zustand“ folgendermaßen verwendet:

1. Die kognitive Belastung einer Person kann auch als mentale „workload“ (englisch für „Arbeitslast“) bezeichnet werden und ist die Menge an Aufmerksamkeit oder „Rechenleistung“, die der Ausführende aufwenden muss, um die gestellte Aufgabe zufriedenstellend zu bearbeiten / zu erfüllen.
2. Der emotionale Zustand wird im Kontext der Aufmerksamkeit in Valenz (positive bzw. negative Stimmung) und Arousal (eng. für „Level an Angeregtheit/Aufgeregtheit“) quantifiziert. Er umfasst Gefühle wie Angst, Stress, Erschöpfung oder Aufgeregtheit.

Eine kognitive Überbeanspruchung eines Ausführenden kann dazu führen, dass die gestellte Aufgabe nicht mehr zufriedenstellend bearbeitet werden kann, da die Aufgabe zu schwierig ist und somit die Taskperformance (der Grad der Ausführungsqualität) sinkt, während die kognitive Unterbeanspruchung dazu führen kann, dass der Ausführende müde wird, was wiederum zum Sinken der Taskperformance führen kann. Emotionale Zustände können ebenfalls die Taskperformance beeinflussen. Emotionaler Stress, Angst oder Frustration reduzieren die verfügbare Rechenleistung des Ausführenden. Ein emotionaler Zustand kann die kognitiven Zustände beeinflussen, indem z.B. die Energie-Regulation beeinflusst wird. Zum Beispiel kann Freude am Fahren Konzentration freisetzen und hebt das Leistungsvermögen des Fahrers. Angst oder Stress hingegen reduzieren die Fähigkeit, sich zu konzentrieren. Kognitiv sehr anspruchsvolle Aufgaben können das Gefühl von Stress erzeugen. Eine Quantifizierung des kognitiven Zustands (mentale Überlastung durch zu schwere Aufgabe) und dem emotionalen Zustands (Ermüdung/Angst/Stress) ist wichtig, um sicherzustellen, dass der Ausführende einer Aufgabe nicht an oder über seine Leistungsgrenze hinaus belastet wird, da er ansonsten die Aufgabe nicht mit hinreichender Performance bearbeiten kann. Im Kontext des Autofahrens ist eine Überwachung des kognitiven und emotionalen Zustandes wichtig, um die folgenden Parameter objektiv quantifizieren zu können:

• Fahrerperformance
• Fahrsicherheit
• Fahrerkomfort

Eine subjektive Quantifizierung der kognitiven Belastung und des emotionalen Zustandes wird oft über Fragebögen durchgeführt, welche für Untersuchungen während anspruchsvoller Aufgaben wie dem Autofahren nicht praktikabel sind. Eine objektive Quantifizierung der kognitiven Belastung und des emotionalen Zustandes kann über Messungen physischer und physiologischer Parameter durchgeführt werden. Hierzu können psycho-physiologische Signale, wie z.B. die Messung einer Änderung der Sprache (Zittern in der Stimme deutet auf Angst hin) oder der Herzfrequenz (höhere Herzfrequenz deutet auf Angst/Stress hin, kann jedoch auch auf höhere mentale kognitive Belastungszustände hinweisen) sowie auch die galvanische Haut-Leitfähigkeit (diese steigt bei Stress) mittels bekannter Sensoren erfasst werden.
Andere Möglichkeit zur objektiven Quantifizierung der kognitiven Belastung und des emotionalen Zustands sind

• eine Signalableitung des Gehirns (Elektroencephalogram): Alphabandfrequenzen steigen bei Konzentration des Probanden
• Erfassung und Interpretation der Gesichtsausdrücke
• Informationen der Augen wie z.B. – Lidschlag-Frequenz der Augen (niedrigere Lidschlagfrequenz deutet auf Müdigkeit hin, aber auch auf Konzentration) – Pupillendilatation – Blickrichtung
• Informationen der Umgebung
• Interaktion mit Interaktionselementen wie z.B. – Lenkrad – Fahrzeugpedale – Schalter – Informationssystem

Bisher werden emotionale und kognitive Zustände durch im Stand der Technik bekannte Systeme lediglich separat analysiert oder vermischt betrachtet, so z.B. die kognitive Belastung während des Autofahrens oder in der Luftfahrt bei Piloten. Dies hängt damit zusammen, dass einfach zu messende Größen wie z.B. die Herzfrequenz keine Differenzierung zwischen emotionalem Stress und kognitiver Beanspruchung zulässt. In beiden Fällen steigt die Herzfrequenz. Ähnlich verhält es sich mit der Lidschlagfrequenz, welche sinkt, wenn ein Anwender müde ist (emotionaler Zustand) oder sich konzentriert (kognitiver Zustand). Wenn es möglich ist, emotionale Zustände von kognitiven Zuständen zu differenzieren (und unabhängig voneinander zu messen), kann das Wissen über den spezifischen emotionalen und kognitiven Zustand des Fahrers gezielt eingesetzt werden, um die Informationsverarbeitung des Fahrers zu beeinflussen. Wenn im Stand der Technik durch eine kombinierte (vermischte) Betrachtung quantifiziert wurde, in welchem emotionalen und kognitiven Zustand sich der Fahrer befindet, so können Gegenmaßnahmen ergriffen werden, bevor die Taskperformance sinkt (kognitiv suboptimaler Zustand) oder der Fahrer müde, gestresst oder überlastet wird (emotional suboptimaler Zustand). So können die oben genannten Parameter Fahrperformance, Fahrersicherheit und Fahrerkomfort verbessert werden, um die Wachheit, Entscheidungsfreude und das Urteilsvermögen (und andere Zustandsgrößen) des Fahrers sicherzustellen. Eine kognitive Überbelastung oder Unterforderung wird typischerweise dadurch beeinflusst, dass die gestellte Aufgabe einfacher oder schwieriger gemacht wird, indem z.B. im teilautomatisierten System der Grad der Automatisierung angepasst wird. Ein Beispiel aus dem Automobilsektor besteht in einer Beeinflussung kognitiver Unterforderung. Das Auto hat Quer- und Längs-Lenkungsassistenten aktiviert. Der Fahrer überwacht nur und ist kognitiv unterfordert. Eine Möglichkeit, diesen Zustand zu ändern, besteht darin, dem Fahrer nach vorheriger Warnung zu empfehlen, den Assistenten abzuschalten. Eine kognitive Überforderung besteht z.B. darin, dass der Fahrer selbstständig auf einem anspruchsvollen Kurs fährt und gleichzeitig telefoniert. Hierbei sinkt die Taskperformance (die Fahraufgabe wird nicht mehr zufriedenstellend bzw. mit einer erforderlichen Zuverlässigkeit erfüllt). In dieser Situation kann ein Quer- und/oder Längs-Führungsassistent aktiviert werden, um die Fahraufgabe leichter zu gestalten. Emotional unvorteilhafte Situationen (Stress, Erschöpfung und Angst) können beeinflusst werden, indem die Umgebung, welche durch die fünf Sinne des Fahrers wahrgenommen wird, verändert wird. Unter „Umgebung“ sei im Rahmen der vorliegenden Erfindung die unmittelbare Umgebung des Fahrzeugführers verstanden, also innerhalb des Fahrzeugs, welche direkt durch Mittel des Fahrzeugs beeinflusst werden kann. Dieser Vorgang wird mittels Fahrzeugaktuatorik vorgenommen. Dies kann durch Adaption einer oder mehrerer Einträge der folgenden Liste erfolgen:

– die optische Umgebung (z.B. Adaption des Innen- und Außenlichts sowie Adaption der visuellen Informationen)
– die audio-akustische Umgebung (z.B. Musik, Umgebungsgeräusche, Gespräche, positives auditorisches Feedback)
– die haptische Umgebung (z.B. durch eine Funktion des Massagesitzes und haptisches Feedback, z.B. durch Vibration)
– die propriozeptive Umgebung (z.B. Sitzposition)
– die olfaktorische Umgebung (z.B. schlechte Gerüche neutralisieren, angenehme Gerüche verbreiten)
– Gustatorische Umgebung

Mögliche Einflussnahmen aus dem Automobilsektor bestehen beispielsweise darin, den emotionalen Stress eines Fahrers zu senken. Hat ein Automobil detektiert, dass der Fahrer gestresst ist, kann automatisch für den jeweiligen Fahrer angenehmes Licht eingeschaltet und angenehme Musik eingespielt werden, um ihn zu beruhigen. Eine mögliche Beeinflussung emotionaler Angst besteht darin, dass im Ansprechen auf eine automatische Detektion der Tatsache, dass ein Fahrer sich z.B. vor einer Fahrt durch einen Tunnel oder eine komplizierte Baustelle fürchtet, Fahrerassistenzsysteme den Fahrer in dieser Fahrsituation wahrnehmbar unterstützen.
JP 4 307 071 A offenbart ein Verfahren zum Messen einer Änderung einer psychologischen Größe und nutzt psycho-physiologische Messgrößen, um emotionalen Stress zu messen und die Umgebung entsprechend anzupassen, so dass sich Anwender wohlfühlt.
WO 2004 091371 A2 offenbart die Bestimmung eines psychologischen Zustandes eines Individuums, wobei die Aufnahme, Quantifizierung und Modifikation eines emotionalen und kognitiven Zustands eines Anwenders behandelt werden. Insbesondere werden müde oder aufgeregte Autofahrer erkannt und bedarfsgerecht unterstützt.
US 2001 0042004 A1 offenbart ein System zur objektiven Quantifizierung einer kognitiven Belastung eines Fahrers.
Die im Stand der Technik bekannten Ansätze vermischen emotionale Zustände und kognitive Belastungen, wodurch eine erhebliche Unschärfe gegenüber dem tatsächlichen Zustand des Fahrers toleriert wird. Alternativ ausgedrückt werden im Stand der Technik lediglich der kognitive Belastungszustand oder der emotionale Zustand einer Person ermittelt und beeinflusst.
Die vorstehend genannte Aufgabe wird durch ein Verfahren zur unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung eines Fahrers eines Fortbewegungsmittels gelöst. Hierzu werden unterschiedliche Kenngrößen sensorisch erfasst und eine objektive Unterscheidung kognitiver Zustände und emotionaler Zustände ermöglicht. Mit anderen Worten werden die zwei unabhängigen Dimensionen „Emotion“ und „Kognition“ differenziert voneinander betrachtet. In einem ersten Schritt des erfindungsgemäßen Verfahrens wird eine physiologische Kenngröße des Fahrers sensorisch erfasst. Zuvor oder anschließend wird eine Interaktion des Fahrers mit einem Bedienelement des Fortbewegungsmittels informationstechnisch erfasst. Da eine Interaktion mit einem Bedienelement beispielsweise ein Signal erzeugen kann, mittels dessen eine dem Bedienelement zugeordnete Funktion gestartet wird, ist ein separater Sensor zur Erfassung der Interaktion zwar nicht notwendig, erfindungsgemäß jedoch nicht ausgeschlossen. Beispielsweise könnten auch solche Interaktionen des Fahrers sensorisch erfasst werden, welche zwar mit dem Bedienelement erfolgen, das Bedienelement jedoch nicht zum Funktionsaufruf verwenden. Zuvor oder nachher wird eine Verkehrssituation des Fortbewegungsmittels ermittelt und unter Verwendung der physiologischen Kenngröße sowie der Interaktion und der Verkehrssituation eine erste Bewertung des emotionalen Zustandes des Fahrers und eine zweite Bewertung der kognitiven Belastung des Fahrers anhand einer elektronisch bereitgehaltenen Referenz ermittelt. Die elektronisch bereitgehaltene Referenz kann beispielsweise ein Fahrermodell sein, welches Ausgabegrößen jeweils für den emotionalen Zustand und die kognitive Belastung im Ansprechen auf die physiologische Kenngröße, die Interaktion und die Verkehrssituation separat voneinander ausgibt. Im Unterschied zum Stand der Technik wird vorgeschlagen, eine differenzierte Betrachtung des emotionalen Zustands sowie der kognitiven Belastung innerhalb eines Systems durchzuführen, um eine jeweilige Einflussnahme auf die jeweiligen Ursachen vorbereiten und/oder vornehmen zu können. Erfindungsgemäß kann daher deutlich gezielter, bedarfsgerechter und damit erfolgreicher automatisch auf eine aktuelle Fahrzeugführungskompetenz reagiert werden. Im Ergebnis wird die Teilnahme am Verkehr sowohl für den Fahrer, als auch für die Verkehrsteilnehmer in seiner Umgebung sicherer.
Die Erfindung ermöglicht eine Berücksichtigung der im Fahrzeug spezifisch verbauten Aktuatorik für die Unterstützung des Fahrers des Fortbewegungsmittels. Diese Aktuatorik kann nachgewiesenermaßen den emotionalen Zustand bzw. die kognitive Belastung des Fahrers positiv beeinflussen. Die Unterstützung des Fahrers des Fortbewegungsmittels ist ein Kernpunkt der vorliegenden Erfindung. Während im Stand der Technik bekannte Systeme den Fahrer lediglich auf eine Einschränkung hinweisen, wird die vorliegende Erfindung bevorzugt auf die Beurteilung des Zustandes des Fahrers (emotional sowie kognitiv) und der Einflussnahme auf den Fahrer im Sinne eines closed-loop-Systems verwendet, um optimierend auf die Fahrerbefähigung einzuwirken, und dies über eine entsprechende Fahrermodellierung. Mit anderen Worten wird Einfluss auf den Zustand des Fahrers genommen, die Änderung des Zustandes des Fahrers erneut sensorisch erfasst und die Einflussnahme bedarfsgerecht angepasst. Die physiologische Kenngröße kann beispielsweise eine Augenbewegungscharakteristik und/oder eine Lidschlagrate und/oder eine Herzfrequenz und/oder eine Kenngröße für den Blutdruck und/oder einen elektrischen Leitwert der Haut und/oder eine akustische Eigenschaft der Stimme und/oder eine Körpertemperatur des Fahrers umfassen. Die Augenbewegungscharakteristik kann beispielsweise durch einen optischen Sensor (z.B. eine Kamera) erfasst und einer Auswerteeinheit zugeführt werden. Entsprechendes gilt für eine Lidschlagrate. Der Hautleitwert kann über eine entsprechende non-intrusive Sensorik im Lenkrad erfasst werden, Die akustische Eigenschaft der Stimme kann beispielsweise über ein Mikrofon (z.B. einer Telefonanlage des Fortbewegungsmittels) aufgenommen und bezüglich eines Zeit- und/oder Frequenzverhaltens in einer Auswerteeinheit ausgewertet werden. Für die übrigen genannten physiologischen Kenngrößen sind im Stand der Technik bereits Sensorsysteme und Implementierungen bekannt, welche zur Realisierung der vorliegenden Erfindung verwendet werden können.
Das Bedienelement, mittels welchem der Fahrer die zu erfassende Interaktion unternimmt, kann ein Lenkrad und/oder ein Gaspedal und/oder ein Bremspedal und/oder ein Kupplungspedal und/oder ein Element zur Gang- bzw. Fahrstufenwahl (Schaltknauf, Fahrstufenwahlelement) und/oder ein anderes Element bei der primären Wahrnehmung der Fahraufgabe und/oder ein Bedien- und/oder Schaltelement im Innenraum des Fortbewegungsmittels (z.B. zur Bedienung einer Anwenderschnittstelle eines Infotainmentsystems) sein.
Die Verkehrskenngröße kann beispielsweise eine Abstandsinformation von Umgebungsobjekten (beispielsweise andere Verkehrsteilnehmer) sein, welche über Radar- und/oder Lidar- und/oder Ultraschallsensoren sowie Laserscanner ermittelt werden können. Entsprechend kann auch die Reisegeschwindigkeit des Fortbewegungsmittels oder ein Verkehrsstau als Verkehrskenngröße herangezogen werden bzw. die Verkehrskenngröße charakterisieren. Somit kann die Quantifizierung des Fahrers eine aktuelle Verkehrssituation berücksichtigen und somit Mehrdeutigkeiten auflösen, um später den Fahrer ursachenbezogen beeinflussen zu können.
Basierend auf der ersten Bewertung des emotionalen Zustandes und/oder basierend auf der zweiten Bewertung der kognitiven Belastung des Fahrers kann eine Betriebsart des Fortbewegungsmittels zur positiven Beeinflussung angepasst werden. Beispielsweise kann ein Betriebszustand eines Fahrerassistenzsystems und/oder eines Getriebes/Fahrwerkes und/oder eine Anpassung einer Lichtquelle (beispielsweise in einem Kombi-Instrument, insbesondere in Form einer Lichtintensität, eine Ambientebeleuchtung, Hintergrundbeleuchtungen von Bedienelementen, etc.) hinsichtlich einer Lichtfarbe und/oder einer Intensität im Interieur vorgenommen werden und/oder eine Wiedergabelautstärke einer akustischen Quelle im Interieur des Fortbewegungsmittels automatisch angepasst werden bzw. Umgebungsgeräusche ausgeblendet werden. Alternative Möglichkeiten zur positiven Beeinflussung des Fahrers bestehen in einer aktiven Emission olfaktorisch wahrnehmbarer Substanzen sowie einer Aktivierung einer Massagefunktion (z.B. eines Massagesitzes). Auf diese Weise können die Erkenntnisse über suboptimale Fahrzeugführungskompetenzklassen als Referenz zur Verbesserung des Fahrkomforts bzw. der Fahrsicherheit verwendet werden.
Eine Möglichkeit zur Anpassung des Betriebszustandes des Fortbewegungsmittels kann darin bestehen, dass ein Stimulus ausgegeben wird. Stimuli können beispielsweise sein

– Audioakustische Stimuli wie Musik oder Geräusche
– visuelle Stimuli wie Lichteffekte oder Beleuchtungen
– Olfaktorische Stimuli wie z.B. Gerüche/Düfte
– Haptische Stimuli wie z.B. Massage oder Feedback durch Druck oder Vibration in Sitz oder Lenkrad
– Stimuli durch Änderung der Temperatur oder des Sauerstoffgehalts/CO2 Gehalts der Atemluft.

Die Referenz kann beispielsweise in Form eines Tabellenwerkes und/oder in Form eines mathematischen Modells gespeichert sein. Insbesondere berücksichtigt das mathematische Modell vordefinierte Abhängigkeiten zwischen den Eingangsgrößen bei der Ausgabe der ersten und der zweiten Beurteilung. Eine weitere Möglichkeit zur verbesserten Anpassung des Verfahrens besteht in einem fahrerspezifisch lernenden Modul, welches sich an einen individuellen Fahrer (z.B. unter Berücksichtigung quantitativ wahrnehmbarer Kenngrößen des Fahrers (z.B. durch Fahreridentifikation anhand eines Fahrzeugschlüssels, einer Masse, einer Größe, einer Stimme)) anpasst.
Alternativ oder zusätzlich kann die erste Bewertung des emotionalen Zustandes eine erste Information umfassen, welche eine Valenz (also eine positive oder negative Stimmungslage) kennzeichnet. Zusätzlich kann die erste Bewertung eine zweite Information umfassen, welche einen Wachheitsgrad (Arousal oder eine Angeregtheit) kennzeichnet. Somit können unterschiedliche Aspekte des emotionalen Zustandes berücksichtigt und insbesondere beeinflusst werden.
Bevorzugt kann die Referenz eine Bewertung einer Eignung der Interaktion des Fahrers mit dem Bedienelement des Fortbewegungsmittels in Anbetracht der Verkehrssituation vornehmen. Auf diese Weise können Bedienfehler bzw. Fehleinschätzungen der Verkehrssituation erkannt und zur Klassifikation eines aktuellen kognitiven Belastungszustandes des Fahrers verwendet werden. Auf diese Weise können noch mehr Informationen der ersten und der zweiten Bewertung zugrunde gelegt werden.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung eines Fahrers eines Fortbewegungsmittels vorgeschlagen. Die Vorrichtung umfasst Speichermittel zum Bereithalten einer elektronischen Referenz (z.B. ein mathematisches Modell und/oder ein Tabellenwerk) und Sensoren, welche eingerichtet sind, eine physiologische Kenngröße des Fahrers zu erfassen. Zudem sind Mittel zum Erfassen einer Interaktion des Fahrers mit einem Bedienelement des Fortbewegungsmittels vorgesehen. Diese Mittel können beispielsweise den Bedienelementen inhärent zugeordnete Sensoren sein, welche zum Starten von mit den Bedienelementen assoziierten Funktionen vorgesehen sind. Alternativ oder zusätzlich können die Mittel zum Erfassen der Interaktion auch solche Interaktionen erfassen bzw. beschreiben und analysieren, welche nicht zum Starten der dem Bedienelement zugeordneten Funktion geeignet ist. Ein Beispiel für eine solche Interaktion ist ein Tippen auf einem Lenkradkranz eines Lenkrades oder auf einem Schaltknauf.
Zusätzlich sind Mittel zum Erfassen einer Verkehrssituation des Fortbewegungsmittels vorgesehen, welche beispielsweise Sensoren zur Umfelderfassung erfassen können. Eine Auswerteeinheit kann beispielsweise in Form eines elektronischen Steuergerätes, eines Mikrocontrollers, eines Nanocontrollers und/oder in Form eines programmierbaren Prozessors vorgesehen sein, wobei die Auswerteeinheit eingerichtet ist, unter Verwendung der physiologischen Kenngröße sowie der Interaktion und der Verkehrssituation eine erste Bewertung des emotionalen Zustandes des Fahrers und eine zweite Bewertung der kognitiven Belastung des Fahrers anhand der elektronisch bereitgestellten Referenz zu ermitteln. Die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erstgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fahrerassistenzsystem vorgeschlagen, welches eine erfindungsgemäße Vorrichtung gemäß dem zweitgenannten Erfindungsaspekt und einen Aktuator umfasst, durch welchen eine Information an den Fahrer ausgegeben oder ein Signal zur Änderung einer Betriebsweise des Fortbewegungsmittels zur Unterstützung des Fahrers bei der Führung des Fortbewegungsmittels ausgegeben werden kann. Letzteres Signal kann beispielsweise eine Quer- und/oder Längsführung des Fortbewegungsmittels aktivieren oder Hinweismeldungen zur objektiven Verbesserung des Fahrzustandes bei bedenklichen Fahrzuständen an den Fahrer ausgeben. Die Aktuierung kann aufgrund der vorliegenden Erfindung einen verbesserten Bezug zur Ursache für den abzuändernden Zustand des Fahrers aufweisen. Mit anderen Worten kann je nach dem, aufgrund welcher Umstände die kognitive Belastung oder der emotionale Zustand verbesserungswürdig sind, die eine oder die andere, also die passende Maßnahme ergriffen werden.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel (z.B. ein PKW, ein Transporter, ein LKW, ein Luft und/oder Wasserfahrzeug), umfassend eine Vorrichtung gemäß dem zweitgenannten Erfindungsaspekt und/oder ein Fahrerassistenzsystem gemäß dem drittgenannten Erfindungsaspekt vorgeschlagen. Die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile entsprechen ebenfalls den obigen Ausführungen.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
1 eine Abbildung emotionaler Zustände im Kontext der Aufmerksamkeitsforschung auf die Dimensionen „Valenz“ (X-Achse) und „Arousal“ (Y-Achse);
2 ein Schaubild zur modellhaften Darstellung des Zusammenhangs und der Querbeeinflussung emotionaler Zustände und kognitiver Zustände;
3 ein Blockschaltbild eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung;
4 eine Übersicht über Komponenten eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung in einem Ausführungsbeispiel eines erfindungsgemäßen Fortbewegungsmittels; und
5 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.
1 zeigt eine Möglichkeit, die zwei Dimensionen „Valenz“ (X-Achse) und „Arousal“ (Y-Achse) eines emotionalen Zustandes eines Fahrers eines Fortbewegungsmittels in einem Diagramm 100 gegeneinander aufzutragen. Auf der X-Achse sind unangenehme Zustände A und angenehme Zustände B horizontal und Antriebslosigkeit C gegenüber einem Erregungszustand D aufgetragen. Entsprechend sind auch die Erfassung und Auswertung der rechtwinklig zueinander aufgetragenen Zustände möglich und erfindungsgemäß vorgeschlagen, um die Präzision der Erkenntnisse und Maßnahmen zu verbessern.
2 zeigt ein Schaubild zur modellhaften Darstellung des Zusammenhangs und der Querbeeinflussung emotionaler und kognitiver Zustände, wobei ein kognitives und emotionales menschliches Modell 210 eine elektronisch bereitgehaltene Referenz des Modells 200 darstellt. Die Aufgabe bzw. die Umgebung 220 des kognitiven und emotionalen menschlichen Modells 210 wird durch die Sinne („Perzeption“) 211 aufgenommen und rechentechnisch in einer Auswerteeinheit 213 verarbeitet. In einem Block 212 erfolgt die kognitive Steuerung, im Ansprechen auf welche die Perzeption 211 fokussiert wird. Block 212 wirkt sich zudem auf Emotionen 215 und eine Energieregulation 214 des menschlichen Modells 210 aus. Zudem beeinflussen die Emotionen 215 die Energieregulation 214, welche wiederum Einfluss auf die rechentechnische Verarbeitung der Eindrücke in Block 213 hat. Der emotionale Zustand des Fahrers beeinflusst aus dem Block 215 heraus somit auch Auswirkungen der kognitiven Belastung des Fahrers in Block 213, welche die motorischen Ausgaben 216 des Fahrers veranlassen. Die Emotionen können also die kognitiven Zustände beeinflussen, indem sie die Energie-Regulation beeinflussen. Beispielsweise setzt Freude am Fahren Konzentrationsvermögen frei und hebt das Leistungsvermögen des Fahrers. Angst hingegen reduziert die Fähigkeit, sich zu konzentrieren. Kognitiv sehr anspruchsvolle Aufgaben können das Gefühl von Stress erzeugen.
3 zeigt ein Blockschaltbild eines erfindungsgemäßen Regelsystems 300. Ein vorbildlicher (gewünschter) emotionaler Zustand 310 und ein vorbildlicher (gewünschter) kognitiver Zustand 320 werden als Eingangsgrößen für Vergleicher 319 bzw. 329 herangezogen. Die Vergleicher 319 bzw. 329 erhalten zusätzlich zu diesen Eingangsgrößen tatsächliche kognitive bzw. emotionale Zustände aus einem personenabhängigen kognitiven und emotionalen Zustandsmodell 390 des Fahrers. Aus den Vergleichern 319 bzw. 329 werden emotionale Maßnahmen 330 und kognitive Maßnahmen 340 ergriffen und zur Anpassung der Mensch-Maschine-Interaktion 350 verwendet. Die Auswirkungen der angepassten Mensch-Maschine-Interaktion 350 werden durch psycho-physiologische Messungen, Hirnströme, Videodaten der Gesichtsausdrücke des Fahrers, Videodaten der Augen des Fahrers, Informationen der Maschine und Informationen von Interaktionen als Sensoren 360 überwacht. Aus den Sensordaten werden in Block 370 Merkmale extrahiert und anschließend einem Klassifikator 380 zugeführt. Die Auswertung der klassifizierten Merkmale erfolgt wiederum anhand des Modells 390.
4 zeigt einen PKW 10 als Fortbewegungsmittel, in welchem ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung installiert ist. Ein Fahrer 1 interagiert mit einem Lenkrad 2 sowie mit einer Tastatur 11 einer Anwenderschnittstelle, welche auch einen Bildschirm 12 als Ausgabeeinheit aufweist. Die Interaktionen des Anwenders 1 mit dem Lenkrad 2, der Tastatur 11 und einem Gaspedal 9 werden, ebenso wie die Videodaten einer optischen Kamera 6 und den Audiodaten eines audioakustischen Mikrofons 5, von einem elektronischen Steuergerät 4 als Auswerteeinheit ausgewertet. Zudem erhält das elektronische Steuergerät 4 Temperatur- und Leitfähigkeitswerte von elektronischen Sensoren des Fahrersitzes 7. Ein Fahrermodell als elektronisch bereitgehaltene Referenz steht durch einen informationstechnisch mit dem elektronischen Steuergerät 4 verbundenen Datenspeicher 3 bereit. Zudem ist in der Front-Stoßstange ein Ultraschallsensor 8 als Umgebungssensor zur Erfassung und Beurteilung einer Verkehrssituation vorgesehen und ebenfalls Informationstechnisch mit dem elektronischen Steuergerät 4 verbunden.
5 zeigt Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung eines Fahrers eines Fortbewegungsmittels. In Schritt S100 wird eine physiologische Kenngröße des Fahrers sensorisch erfasst. In Schritt S200 wird eine Interaktion des Fahrers mit einem Bedienelement des Fortbewegungsmittels informationstechnisch erfasst. In Schritt S300 wird eine Verkehrssituation des Fortbewegungsmittels ermittelt und unter Verwendung der physiologischen Kenngröße sowie der Interaktion und der Verkehrssituation in Schritt S400 eine erste Bewertung des emotionalen Zustandes des Fahrers und eine zweite Bewertung der kognitiven Belastung des Fahrers anhand einer elektronisch bereitgehaltenen Referenz ermittelt. In Schritt S500 wird im Ansprechen auf die erste Bewertung und die zweite Bewertung eine Betriebsart des Fortbewegungsmittels angepasst. Mit anderen Worten wird zur Verbesserung der Leistungsfähigkeit bzw. des Wohlbefindens des Fahrers eine Anpassung der Umwelt des Fahrers über eine Kombinatorik von Klima, Licht, Luft, Fahrerassistenz etc. vorgenommen. Hierbei wird ein Betriebszustand eines Fahrerassistenzsystems derart geändert, dass der Arousal-Wert in Richtung eines idealen Arousal-Wertes (Soll-Wert) geändert wird. Selbstverständlich kann das vorgenannte Verfahren als geschlossene Regelschleife (engl.: closed-loop) ausgeführt werden, sodass nach Schritt S500 automatisch mit der Durchführung des Schrittes S100 zur Erfassung einer physiologischen Kenngröße des Fahrers fortgefahren wird.
Um eine automatische Quantifizierung der Dimensionen emotionaler Zustand und kognitive Belastung zu ermöglichen, können intelligente Algorithmen, insbesondere sog. Maschinenlern-(englisch: machine-learning)Algorithmen die Eingabegrößen „physiologische Kenngröße“, „Interaktion des Fahrers“ sowie die „Verkehrssituation“ verarbeiten. Da kognitive und emotionale Zustände subjektiv stark variieren und eine Kenntnis über individuelle Zustände und Anpassungen eine genauere Vorhersage sowohl von emotionalen als auch von kognitiven Zuständen eines Individuums ermöglichen, müssen diese Machine-Learning-Algorithmen einzelne, mehrere oder alle der folgenden Daten als Eingabegrößen erhalten:

– psycho-physiologische Messungen
– Hirnströme
– Videodaten der Gesichtsausdrücke
– Videodaten der Augen
– Informationen der Umgebung („Verkehrssituation“)
– Informationen von Interaktionen

Diese Daten können beispielsweise mittels automatischer Klassifikationsalgorithmen verarbeitet werden, um emotionale Zustände und kognitive Zustände separat und individuell zu klassifizieren. Abhängig vom gewünschten emotionalen und kognitiven Zustand werden Maßnahmen ergriffen, welche den Menschen individuell in den gewünschten Zustand „regeln“, wobei separate emotional und kognitiv wirkende Maßnahmen ergriffen werden. Auf diese Weise lässt sich jeder beliebige gewünschte emotionale und kognitive Zustand beim Menschen einstellen, sofern geeignete Aktuatoren zur Verfügung stehen.
Durch die erfindungsgemäß vorgeschlagene individuelle Messung von kognitivem und emotionalem Zustand des Fahrers können verschiedene psychologische Bedürfnisse (z.B. Kompetenz, Sicherheit, Autonomie, Körperlichkeit/Stimulation, etc.) des Fahrers angesprochen werden, um situativ positive Kundenerlebnisse beim Autofahren zu steigern. Die Bedürfnisse können hierbei über spezifische Reize angesprochen werden. Dies kann beispielsweise durch die im Fahrzeug verbaute Aktuatorik erfolgen. Konkret wird eine „physikalische“ Beeinflussung des Fahrers vorgenommen, welche die Bedürfnisse des Fahrers anspricht und durch die Befriedigung dieser Bedürfnisse zu positiven Emotionen beim Fahrer führt. Folgende Beispiele sind hierbei denkbar:

– Höhere Fahrperformance

Durch Hinwirken auf einen verbesserten emotionalen und kognitiven Zustand steigen die Fahrqualität und damit die Souveränität der Fahrweise. Es tritt beim Fahrer ein Kompetenzerlebnis ein und somit wird die Fahrfreude weiter gesteigert. Dies wirkt wiederum zurück auf den emotionalen Zustand. Damit wird insgesamt das positive Fahrerlebnis noch verstärkt und Fahrqualität wird weiter gesteigert.

– Höhere Sicherheit

Auf emotionaler Ebene können Angst, Stress oder Müdigkeit die Konzentration und Fahrfähigkeit des Fahrers negativ beeinflussen und zu erhöhtem Unfallrisiko führen. Auf kognitiver Ebene kann eine Überforderung des Fahrers dazu führen, dass der Fahrer der Fahraufgabe (incl. Nebenaufgabe(n)) nicht gewachsen ist, was ebenfalls das Unfallrisiko erhöht.

– Höherer Komfort

Durch gezieltes Abbauen von Stress oder Angst, durch im Fahrzeug vorhandene Aktuatorik und durch gezieltes Reduzieren von Müdigkeit und gezielte Reduktion von kognitiver Überlastung kann das Wohlbefinden und Komfort-Empfinden des Fahrers gesteigert werden.
Im Gegensatz zum Stand der Technik werden nicht nur der emotionale Zustand und der kognitive Zustand des Anwenders generell beeinflusst. Die erfindungsgemäßen Aspekte erlauben die individuell differenzierte Quantifizierung emotionaler und kognitiver Zustände und die Selektion individueller Maßnahmen durch die im Fahrzeug verbaute Aktuatorik, welche den jeweiligen Zustand ändern sollen. Dies erfolgt abhängig davon, ob der emotionale oder kognitive Zustand des Anwenders geändert werden soll.
Bezugszeichenliste

1: Fahrer
2: Lenkrad
3: Datenspeicher
4: elektronisches Steuergerät
5: Mikrofon
6: optische Kamera
7: Fahrersitz (mit Leitfähigkeitssensoren)
8: Ultraschallsensor
9: Gaspedal
10: PKW
11: Tastatur
12: Bildschirm
100: Differenzial emotionaler Zustände
200: Modell
210: kognitives und emotionales menschliches Modell
211: Perzeption
212: kognitive Steuerung
213: rechentechnische Verarbeitung
214: Energie-Regulation
215: Emotionen
216: motorische Ausgaben
220: Aufgabe/Umgebung
300: Blockschaltbild des erfindungsgemäßen Regelsystems
310: gewünschter emotionaler Zustand
319: Vergleicher
320: gewünschter kognitiver Zustand
329: Vergleicher
330: emotionale Maßnahmen
340: kognitive Maßnahmen
350: Mensch-Maschine-Interaktion
360: Sensoren
370: Merkmalsextraktion
380: Klassifikator
390: personenabhängiger kognitiver und emotionaler Zustand des Fahrers
A: unangenehme Gefühlslage
B: angenehme Gefühlslage
C: passiver Zustand
D: angeregter Zustand
S100–S500: Verfahrensschritte
X: Valenz
Y: Arousal-Erregung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 4307071 A [0008]
WO 2004091371 A2 [0009]
US 20010042004 A1 [0010]

Claims

Verfahren zur unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung eines Fahrers (1) eines Fortbewegungsmittels (10) umfassend die Schritte: – sensorisches Erfassen (100) einer physiologischen Kenngröße des Fahrers (1), – informationstechnisches Erfassen (200) einer Interaktion des Fahrers mit einem Bedienelement (2) des Fortbewegungsmittels (10), – Ermitteln (300) einer Verkehrssituation des Fortbewegungsmittels (10), und unter Verwendung der physiologischen Kenngröße sowie der Interaktion und der Verkehrssituation – Ermitteln (400) einer ersten Bewertung des emotionalen Zustandes des Fahrers (1) und einer zweiten Bewertung der kognitiven Belastung des Fahrers (1) anhand einer elektronisch bereitgehaltenen Referenz (210).
Verfahren nach Anspruch 1, wobei die physiologische Kenngröße – eine Augenbewegungscharakteristik, und/oder – eine Lidschlagrate, und/oder – eine aus einem Elektrokardiogramm ableitbare Parameter, insbesondere eine Herzfrequenz, und/oder – eine Kenngröße für einen Blutdruck, und/oder – einen elektrischen Leitwert der Haut, und/oder – eine akustische Eigenschaft der Stimme, und/oder – eine Körpertemperatur – eine Atemfrequenz des Fahrers (1) ist.
Verfahren nach Anspruch 1 oder 2, wobei das Bedienelement des Fortbewegungsmittels (10) – ein Lenkrad (2) und/oder – ein Gaspedal (9) und/oder – ein Bremspedal und/oder – ein Kupplungspedal und/oder – ein Element zur Gang- bzw. Fahrstufenwahl und/oder – ein anderes Element zur Verwendung für die Wahrnehmung der Fahraufgabe, und/oder – ein Bedien- und/oder Schaltelement (11) zur Erzeugung oder Schaltung eines elektrischen Signals im Innenraum des Fortbewegungsmittels (10) ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Verkehrskenngröße – eine Abstandsinformation von Umgebungsobjekten, insbesondere Verkehrsteilnehmern, und/oder – eine Reisegeschwindigkeit des Fortbewegungsmittels (10) und/oder – einen Verkehrsstau anzeigt.
Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend basierend auf der ersten Bewertung des emotionalen Zustandes und/oder basierend auf der zweiten Bewertung der kognitiven Belastung – Anpassen (500) einer Betriebsart des Fortbewegungsmittels (10), insbesondere – einer im Fahrzeug vorhandenen Aktuatorik und/oder – eines Betriebszustandes eines Fahrerassistenzsystems und/oder – eines Betriebszustandes eines Getriebes, und/oder – eine Anpassung einer Lichtquelle im Interieur, – eine Wiedergabelautstärke einer akustischen Quelle im Interieur des Fortbewegungsmittels (10) umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei – die Referenz (210) in Form eines Tabellenwerkes und/oder in Form eines mathematischen Modells gespeichert ist und/oder – die erste Bewertung des emotionalen Zustandes eine erste Information kennzeichnend eine Valenz (X) und eine zweite Information kennzeichnend einen Wachheitsgrad (Y) umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei – die Referenz (210) eine Bewertung einer Eignung der Interaktion des Fortbewegungsmittels (10) in Anbetracht der Verkehrssituation beschreibt.
Verfahren nach einem der vorstehenden Ansprüche, welches als geschlossene Regelschleife ausgeführt wird.
Vorrichtung zur unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung eines Fahrers (1) eines Fortbewegungsmittels (10) umfassend: – Speichermittel (3) zum Bereithalten einer elektronischen Referenz (210), – einen Sensor, welcher eingerichtet sind, eine physiologische Kenngröße des Fahrers zu erfassen, – Mittel zum Erfassen einer Interaktion des Fahrers (1) mit einem Bedienelement (2, 9, 11) des Fortbewegungsmittels (10), – Mittel (8) zum Ermitteln einer Verkehrssituation des Fortbewegungsmittels (10), und – eine Auswerteeinheit (4), welche eingerichtet ist, unter Verwendung der physiologischen Kenngröße sowie der Interaktion und der Verkehrssituation – eine erste Bewertung des emotionalen Zustandes des Fahrers (1) und eine zweite Bewertung der kognitiven Belastung des Fahrers (1) anhand der elektronisch bereitgehaltenen Referenz (210) zu ermitteln.
Fahrerassistenzsystem umfassend – eine Vorrichtung nach Anspruch 9, und – einen Aktuator (12) zum Ausgeben einer Information oder eines Stimulus an den Fahrer oder eines Signals zur Änderung einer Betriebsweise des Fortbewegungsmittels (10) zur Unterstützung des Fahrers (1) bei der Führung des Fortbewegungsmittels (10).
Fortbewegungsmittel (10) umfassend – eine Vorrichtung nach Anspruch 9 und/oder – ein Fahrerassistenzsystem nach Anspruch 10.