DE102021210263A1

DE102021210263A1 - Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers eines Fahrzeugs

Info

Publication number: DE102021210263A1
Application number: DE102021210263.8A
Authority: DE
Inventors: Dina Stiegemeier; Sarah-Maria Castritius; Markus Hanisch
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-09-16
Filing date: 2021-09-16
Publication date: 2023-03-16
Also published as: CN115817520A

Abstract

Die Erfindung betrifft ein Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers eines Fahrzeugs, insbesondere eines Fahrers eines teilautonomen Fahrzeugs in einem assistierten Fahrmodus, umfassend eine Situationsüberwachung (110) einer Verkehrssituation durch ein Situationsüberwachungssystem des Fahrzeugs, um eine Anforderungsbewertung zu ermitteln; eine Fahrerüberwachung (120) des Fahrers durch ein Fahrerüberwachungssystem des Fahrzeugs, um eine Aufmerksamkeitsbewertung zu ermitteln; ein Prüfen (130), ob die Aufmerksamkeitsbewertung der Anforderungsbewertung entspricht; und, wenn die Aufmerksamkeitsbewertung der Anforderungsbewertung nicht entspricht (134), ein Starten (140) einer Warn-Ausgabe, auf wenigstens einem Ausgabegerät des Fahrzeuges, wobei ein Rückmeldungs-Signal erzeugt wird, das entsprechend einer Warn-Frequenz variiert wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers eines Fahrzeugs, insbesondere eines Fahrers eines teilautonomen Fahrzeugs in einem assistierten Fahrmodus, sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung.
Hintergrund der Erfindung
In zumindest teilautonomen Fahrzeugen können verschiedene Fahrfunktionen automatisch durch das Fahrzeug ausgeführt werden. Entsprechend ‚SAE Level‘ 2 können in einem assistierten Fahrmodus etwa Fahrfunktionen wie Spurwechsel, Beschleunigen, Bremsen und ähnliches automatisiert vom Fahrzeug bzw. von einer entsprechenden Steuerung durchgeführt werden, wobei dem Fahrer eine Aufsichtsaufgabe zufällt, d.h. dieser muss die Fahr- und Straßensituation überwachen und in der Lage sein einzugreifen, falls die automatisierten Fahrfunktionen nicht korrekt ausgeführt werden oder zu gefährlichen Situationen führen. Um sicherzustellen, dass der Fahrer seine Aufsichtsaufgabe erfüllt, kann eine Überwachung des Fahrers implementiert werden. Beispielsweise kann vorgesehen sein, dass geprüft wird, ob der Fahrer das Lenkrad des Fahrzeugs in vorbestimmten Zeitintervallen anfasst, falls dies nicht der Fall ist, können Maßnahmen ergriffen werden, die letztendlich zu einem Umschalten vom assistierten Fahrmodus in den manuellen Fahrmodus führen können.
Offenbarung der Erfindung
Erfindungsgemäß werden ein Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers eines Fahrzeugs sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Die Erfindung bedient sich der Maßnahme, eine ermittelte Aufmerksamkeitsbewertung mit einer ermittelten Anforderungsbewertung zu vergleichen, und, wenn die Aufmerksamkeitsbewertung der Anforderungsbewertung nicht entspricht, also die Aufmerksamkeit des Fahrers als nicht ausreichend für die Anforderung der Verkehrssituation erachtet wird, ein Warn-Ausgabe zu starten, bei der ein Rückmeldungs-Signal ausgegeben wird, das mit einer Warn-Frequenz, die vorzugsweise im Bereich von 0,5 Hz bis 2 Hz liegt, also im Bereich typischer Herzfrequenzen von Menschen, variiert wird. Dies ist vorteilhaft, da ein Rückmeldungs-Signal mit einer solchen Warn-Frequenz, die von Menschen als natürlich empfunden wird, mit höherer Wahrscheinlichkeit akzeptiert und befolgt wird, als ein eher als künstlich empfundenes Signal wie etwa das Aufleuchten einer Warnleuchte, ein Piepton oder die Anzeige eines Symbols oder einer Textwarnung auf einer Anzeigevorrichtung.
Das Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers eines Fahrzeugs umfasst eine Situationsüberwachung einer Verkehrssituation durch ein Situationsüberwachungssystem des Fahrzeugs, um eine Anforderungsbewertung zu ermitteln, und eine Fahrerüberwachung des Fahrers durch ein Fahrerüberwachungssystem des Fahrzeugs, um eine Aufmerksamkeitsbewertung zu ermitteln.
Ein Situationsüberwachungssystem und ein Fahrerüberwachungssystem kann in typischen Fahrzeugen ohnehin vorhanden sein. Dies ist insbesondere bei teilautonomen Fahrzeugen der Fall, die in jedem Fall ein Situationsüberwachungssystem umfassen, da diese Fahrzeuge die Verkehrssituation erfassen müssen, um Aspekte des Fahrvorgangs zumindest teilweise automatisch mittels eines Fahrassistenten steuern zu können. Auch erfolgt in solchen Fahrzeugen typischerweise eine Fahrerüberwachung, um erkennen zu können, ob der Fahrer seine Aufsichtsaufgabe erfüllt. Weiterhin ist die Implementierung von Situationsüberwachungssystemen und Fahrerüberwachungssystemen dem Fachmann an sich bekannt. Das Fahrerüberwachungssystem kann beispielsweise Innenraumkameras verwenden, die das Gesicht und insbesondere die Augenpartie des Fahrers erfassen, um mithilfe von Bildverarbeitungsalgorithmen und/oder maschinellem Lernen Blickrichtung, Augenöffnung, Lidschlagfrequenz, Kopfbewegungen, Augenbewegungen und/oder Körperbewegungen zu erfassen und auszuwerten, um darauf basierend die Müdigkeit bzw. Aufmerksamkeit des Fahrers zu bestimmen. Das Situationsüberwachungssystem kann beispielsweise Sensordaten von am Fahrzeug angebrachten Sensoren, z.B. Radarsystemen, Außenraumkameras und/oder Lidar-Sensoren (Light Detection and Ranging) verwenden und/oder auch Sensordaten von anderen, nicht am Fahrzeug befindlichen Sensoren. Basierend auf solchen Sensordaten können (durch entsprechend programmierte oder trainierte Algorithmen) andere Verkehrsteilnehmer und Objekte in der Umgebung erkannt und deren Abstände und Bewegungen, insbesondere relativ zum Fahrzeug, bestimmt werden, so dass die Verkehrssituation eingeschätzt werden kann, z.B. eine voraussichtliche Kollision erkannt werden kann, oder ein allgemeines Kollisionsrisiko basierend auf der Verkehrsdichte bestimmt werden kann.
Die Anforderungsbewertung stellt eine Bewertung (etwa in Form von entsprechenden Werten wie beispielsweise Zahlenwerten) dar, welche Anforderungen durch die beobachtete Verkehrssituation gestellt werden, insbesondere im Hinblick darauf, dass möglicherweise ein Eingreifen des Fahrers notwendig wird. Die Aufmerksamkeitsbewertung stellt eine Bewertung (etwa in Form von entsprechenden Werten wie beispielsweise Zahlenwerten) dar, inwieweit der Fahrer die Verkehrssituation verfolgt, oder ob dieser abgelenkt ist, insbesondere im Hinblick darauf, ob bzw. wie schnell der Fahrer bereit wäre, einzugreifen, falls ein Eingreifen notwendig würde.
Weiter umfasst das Verfahren ein Prüfen, ob die Aufmerksamkeitsbewertung der Anforderungsbewertung entspricht, und, wenn die Aufmerksamkeitsbewertung der Anforderungsbewertung nicht entspricht, Starten einer Warn-Ausgabe, auf wenigstens einem Ausgabegerät des Fahrzeuges, wobei ein Rückmeldungs-Signal erzeugt wird, das entsprechend einer Warn-Frequenz variiert wird.
Es wird in vorteilhafter Weise ein Ausgabegerät verwendet, das ohnehin im Fahrzeug vorhanden ist. Dies kann beispielsweise eine Anzeigevorrichtung (Bildschirm oder ähnliches), ein Lautsprecher oder ein Vibrationselement im Fahrersitz sein.
Der Begriff „Rückmeldungs-Signal“ ist in einem weiten Sinn zu verstehen, d.h. das Rückmeldungs-Signal kann einerseits ein eigenständiges Signal (etwa ein Leuchten, ein Ton oder eine Vibration) sein, das ausgegeben wird, kann andererseits aber auch ein Signal (Normal-Signal), dass auf dem Ausgabegerät bei Start der Warn-Ausgabe bereits ausgegeben wird, modifizieren.
Bevorzugt liegt die Warn-Frequenz im Bereich von 0,5 Hz (Hertz; s^-1) bis 2 Hz, weiter bevorzugt im Bereich von 0,65 Hz bis 1,5 Hz, noch weiter bevorzugt im Bereich von 0,7 Hz bis 1,3 Hz, am meisten bevorzugt im Bereich von 0,75 Hz bis 1,1 Hz. Das Rückmeldungs-Signal kann im Allgemeinen neben der Warn-Frequenz eine Amplitude (Warn-Amplitude) aufweisen. Diese Amplitude kann z.B. als Wert zwischen von 0 bis 1 oder in Prozent angegebenen sein. Mittels eines geeigneten Proportionalitätsfaktors kann dieser Wert dann in eine Größe umgerechnet werden, die Variationsgröße auf dem Ausgabegerät beschreibt.
Bevorzugt wird das Verfahren in einem teilautonomen Fahrzeug angewandt. Es handelt sich also bevorzugt um ein Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers eines teilautonomen Fahrzeugs in einem assistierten Fahrmodus.
Bevorzugt ist eine Signalart des Rückmeldungs-Signals ausgewählt aus wenigstens einem visuellen Signal, wenigstens einem akustischen Signal, wenigstens einem taktilen Signal oder einer Kombination davon. Als Ausgabegerät für ein visuelles Signal kann eine vorhandene Anzeigevorrichtung, die zum Anzeigen von Informationen im Fahrzeug dient, etwa ein Bildschirm (eventuell in einen Touchscreen integriert) oder ein Head-Up-Display, verwendet werden. Das visuelle Signal kann im einfachsten Fall als ein Blinksignal, das mit der Warn-Frequenz aufleuchtet und erlischt, gegeben sein. Als Ausgabegerät für ein akustisches Signal kann eine vorhandene Lautsprecheranlage des Fahrzeugs verwendet werden. Das akustische Signal kann im einfachsten Fall aus einem an- und abschwellenden Ton mit einer bestimmten Frequenz bestehen. Als Ausgabegerät für ein taktiles Signal kann ein vorhandenes Vibrationselement im Fahrersitz (etwa eines Massagesystems) oder im Lenkrad dienen. Das taktile Signal kann im einfachsten Fall aus Stößen im Takt der Warn-Frequenz bestehen.
Bevorzugt wird das Rückmeldungs-Signal einem auf dem wenigstens einen Ausgabegerät ausgegebenen Normal-Signal überlagert (bzw. das Normal-Signal wird moduliert); wobei eine Amplitude und/oder eine Frequenz des Normal-Signals entsprechend der Warn-Frequenz variiert wird. Der Ausdruck „Normal-Signal“ soll ein Signal bezeichnen, dass auf dem Ausgabegerät ohnehin, d.h. während des normalen Betriebs, ohne Warn-Ausgabe ausgegeben wird. Diese Ausgabe des Normal-Signals wird fortgesetzt, so dass die entsprechenden Informationen weiterhin für den Fahrer verfügbar sind, allerdings wird mit Start der Warn-Ausgabe das Normal-Signal entsprechend dem Rückmeldungs-Signal variiert bzw. moduliert. Dabei entspricht eine Frequenz dieser Variation/Modulation der Warn-Frequenz und die Größe der Variation/Modulation entspricht der Amplitude des Rückmeldungs-Signals. Hier können geeignete Proportionalitätsfaktoren zwischen Warn-Frequenz und Variationsfrequenz bzw. zwischen Amplitude des Rückmeldungs-Signals und Variationsamplitude vorgesehen sein.
Falls das Rückmeldungs-Signal ein visuelles Signal umfasst, kann z.B. das Normal-Signal die Ausgabe bzw. Anzeige von Informationen oder Angaben wie Geschwindigkeit, eingestellter Radiosender, abgespieltes Musikstück und/oder Straßenplan eines Navigationssystems auf einem Bildschirm (Anzeigevorrichtung) sein. Die Variation kann dann in einer Helligkeitsvariation bestehen, wobei die Helligkeit mit der Warn-Frequenz variiert wird und die Größe der Helligkeitsvariation zur Amplitude des Rückmeldungs-Signals proportional ist. Ebenso, falls die Anzeigevorrichtung bzw. der Bildschirm in der Lage ist, Farben anzuzeigen, kann eine Variation der angezeigten Farben vorgesehen sein. In beiden Fällen (Helligkeitsvariation, Farbvariation) kann die Variation den Hintergrund und/oder die angezeigten Informationen betreffen.
Falls das Rückmeldungs-Signal ein akustisches Signal umfasst, kann z.B. das Normal-Signal die Ausgabe eines Musikstücks (oder sonstige Soundausgabe, etwa bei einem Telefongespräch) über eine Lautsprecheranlage sein. Die Lautstärke des Musikstücks kann dann mit der Warn-Frequenz variiert werden, wobei die Größe dieser Variation durch die Amplitude des Rückmeldungs-Signals gegeben ist; z.B. mittels Umrechnung durch einen geeigneten Proportionalitätsfaktor, wobei hier darauf geachtet werden sollte, dass die Lautstärke nicht zu hoch wird. Dies kann als Amplitudenmodulation angesehen werden. Ebenso ist eine Art Frequenzmodulation denkbar, d.h. ein Vielfaches der Warn-Frequenz wird den ausgegebenen Tönen aufmoduliert, was zu Verzerrungen der Musik führt. Das Vielfache kann hier proportional zur Amplitude des Rückmeldungs-Signals sein, so dass mit zunehmender Amplitude eine größere Verzerrung auftritt.
Falls das Rückmeldungs-Signal ein taktiles Signal umfasst, kann z.B. das Normal-Signal in einer Massagevibration eines entsprechenden in den Fahrersitz integrierten Systems sein. Die Stärke der Massagevibration kann hier mit der Warn-Frequenz variiert werden, wobei die Stärkenänderung proportional zur Amplitude des Rückmeldungs-Signals ist.
Bevorzugt wird die Höhe der Warn-Frequenz und/oder die Amplitude des Rückmeldungs-Signals entsprechend der Höhe der Anforderungsbewertung gewählt. Insbesondere ist hier vorgesehen, bei einer niedrigen Anforderungsbewertung eine kleine Warn-Frequenz zu wählen, etwa im Bereich kleiner 1 Hz, kleiner 0,9 Hz, kleiner 0,8 Hz oder kleiner 0,7 Hz, und bei einer hohen Anforderungsbewertung eine hohe Warn-Frequenz zu wählen, etwa im Bereich größer 1 Hz, größer 1,2 Hz oder größer 1,4 Hz. Kleine Warn-Frequenzen von Menschen als beruhigend empfunden werden, d.h. ein entsprechende Warn-Ausgabe weist den Fahrer zwar darauf hin, dass er nicht Aufmerksam genug ist, wird vom Fahrer aber nicht als stressig empfunden. Hohe Warn-Frequenzen wirken hingegen anregend, so dass der Fahrer in ein höheres Aufmerksamkeitsniveau versetzt werden kann. Analoges gilt für die Amplitude des Rückmeldungs-Signals, wobei die Amplitude abhängig vom Ausgabegerät und von der Signalart ist. Beispielsweise könnte, wenn die (normierte) Amplitude zwischen 0 % und 100 % liegt, ein Bereich kleiner als 30 % oder kleiner als 20 % als kleine Amplitude gelten und ein Bereich größer als 70 % oder größer als 80 % als hohe Amplitude gelten. Der Vorteil dieser Ausgestaltung liegt darin, dass bei öfter auftretenden, relativ geringen Anforderungsbewertungen (z.B. wenn im Prinzip keine sonderlich gefährliche Verkehrssituation vorliegt), keine aufdringliche, vom Fahrer als nervig empfundene, Warn-Ausgabe erzeugt wird, die bei wiederholtem Auftreten letztendlich vom Fahrer ignoriert wird. Die Einteilung in hohe und niedrige Anforderungsbewertungen kann basierend auf den Eigenschaften des Überwachungssystems getroffen werden.
Bevorzugt wird die Warn-Frequenz von Takt zu Takt bzw. Periode zu Periode innerhalb eines Frequenzbereichs mit einer Breite von 0,1 Hz, in bevorzugt zufälliger Weise, variiert. Dies korrespondiert zur Herzfrequenzvariabilität und trägt weiter dazu bei, das die Warn-Ausgabe als natürlich bzw. weniger künstlich empfunden wird.
Bevorzugt umfasst das Verfahren, während der Warn-Ausgabe, ein Prüfen, ob eine aktualisierte Aufmerksamkeitsbewertung der Anforderungsbewertung und/oder einer aktualisierten Anforderungsbewertung entspricht; und, wenn die aktualisierte Aufmerksamkeitsbewertung der Anforderungsbewertung und/oder der aktualisierten Anforderungsbewertung entspricht, ein Beenden der Warn-Ausgabe. Wenn also die Aufmerksamkeit als ausreichend eingeschätzt wird, wird die Warn-Ausgabe automatisch beendet, d.h. ohne dass der Fahrer ein Bedienelement bedienen müsste, um die Warn-Ausgabe zu beenden. Dies trägt weiter dazu bei, dass das Rückmeldungs-Signal als natürlich empfunden wird.
Vorzugsweise umfasst das Verfahren, wenn die aktualisierte Aufmerksamkeitsbewertung der Anforderungsbewertung nicht entspricht, ein Ändern der Warn-Ausgabe; wobei ein anderes und/oder ein zusätzliches Ausgabegerät verwendet wird, um das Rückmeldungs-Signal auszugeben, und/oder wobei eine aus wenigstens einem visuellen Signal, wenigstens einem akustischen Signal, wenigstens einem taktilen Signal oder einer Kombination davon ausgewählte Signalart des Rückmeldungs-Signals geändert wird, wobei bevorzugt die Anzahl verschiedener dieser Signalarten erhöht wird, und/oder wobei die Warn-Frequenz und/oder eine Amplitude des Rückmeldungs-Signals geändert, bevorzugt erhöht, wird. Wenn es nicht gelingt, die Aufmerksamkeit des Fahrers ausreichend zu steigern, kann entsprechend dieser Ausgestaltung die Intensität/Aufdringlichkeit der Warn-Ausgabe gesteigert werden.
Bevorzugt werden die Warn-Frequenz und/oder eine Amplitude des Rückmeldungs-Signals, anhand eines Fahrermodells, das eine erwartete Aufmerksamkeit des Fahrers basierend auf Ausgabewerten des Fahrerüberwachungssystems modelliert, und/oder eines Situationsmodells, das eine erwartete Anforderung der Situation basierend auf Ausgabewerten des Situationsüberwachungssystems modelliert, bestimmt. Durch diese Maßnahmen kann insbesondere eine spezifische Abstimmung des Rückmeldungs-Signals auf den Fahrer und verschiedene Situationen erreicht werden.
Bevorzugt wird eine Herzfrequenz des Fahrers, insbesondere eine Ruheherzfrequenz, bestimmt, wobei die Warn-Frequenz des Rückmeldungs-Signals und/oder eine Warn-Frequenz eines möglichen Rückmeldungs-Signals basierend auf der Herzfrequenz festgelegt wird. Dies ermöglicht eine für den Fahrer individuelle Einstellung der Warn-Frequenz.
Bevorzugt ist ein Kalibrierungsvorgang vorgesehen, der eine Kalibrationsphase umfasst; wobei in einem Kalibrierungsschritt auf wenigstens einem Ausgabegerät ein Kalibrierungs-Signal, das eine Kalibrierungsfrequenz im Bereich von 0,5 Hz bis 2 Hz und eine Kalibrierungsamplitude aufweist und das ausgewählt ist aus wenigstens einem visuellen Signal, wenigstens einem akustischen Signal, wenigstens einem taktilen Signal oder einer Kombination davon, ausgegeben wird und durch das Fahrerüberwachungssystem eine Aufmerksamkeitsänderung des Fahrers auf das Kalibrierungs-Signal bestimmt wird; wobei der Kalibrierungsschritt mehrmals für verschiedene Kalibrierungs-Signale wiederholt wird, um mehrere zugehörige Aufmerksamkeitsänderungen zu bestimmen; und wobei aus den verschiedenen Kalibrierungs-Signalen ein oder mehrere mögliche Rückmeldungs-Signale basierend auf den zugehörigen Aufmerksamkeitsänderungen ausgewählt werden (hier werden natürlich diejenigen der Kalibrierungs-Signale gewählt, die zu einer möglichst großen Erhöhung der Aufmerksamkeit des Fahrers führen); wobei nach der Kalibrierungsphase das Rückmeldungs-Signal der Warn-Ausgabe aus dem einen oder den mehreren möglichen Rückmeldungs-Signalen gewählt wird. Auf diese Weise können Warn-Ausgaben gefunden werden, die zu einer Reaktion beim Fahrer führen, insbesondere zu einer Aufmerksamkeitserhöhung.
Vorzugsweise umfasst das Verfahren bzw. der Kalibrierungsvorgang mehrere Kalibrierungsphasen entsprechend mehrerer verschiedener Situationseinstufungen des Situations-überwachungssystems und/oder Fahrerüberwachungssystems; wobei die Kalibrierungsschritte für jede Situationseinstufung mehrmals wiederholt werden, entsprechende Aufmerksamkeitsänderungen des Fahrers bestimmt werden und aus den jeweiligen Kalibrierungs-Signalen auf die jeweilige Situationseinstufung bezogene ein oder mehrere mögliche Rückmeldungs-Signale ausgewählt werden; wobei nach den mehreren Kalibrierungsphasen das Rückmeldungs-Signal der Warn-Ausgabe entsprechend einer aktuellen Situationseinstufung aus dem einen oder den mehreren möglichen Rückmeldungs-Signalen, die auf die aktuelle Situationseinstufung bezogen sind, gewählt wird. Dies ermöglicht es, je nach Situation unterschiedliche Warn-Ausgaben zu verwenden, die möglichst schnell zu einer der Situation angemessenen Erhöhung der Aufmerksamkeit des Fahrers führen.
Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Kraftfahrzeugs, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Schließlich ist ein maschinenlesbares Speichermedium vorgesehen mit einem darauf gespeicherten Computerprogramm wie oben beschrieben. Geeignete Speichermedien bzw. Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Ein solcher Download kann dabei drahtgebunden bzw. kabelgebunden oder drahtlos (z.B. über ein WLAN-Netz, eine 3G-, 4G-, 5G- oder 6G-Verbindung, etc.) erfolgen.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
Figurenliste

1 zeigt einen Teil eines Fahrzeugs, das eine Situationsüberwachung und einer Fahrerüberwachung einschließt.
2 zeigt ein Funktionsschema gemäß einer bevorzugten Ausführungsform des Verfahrens zur Aufmerksamkeitsunterstützung.
3 zeigt ein Funktionsschema eines Kalibrierungsvorgangs gemäß einer bevorzugten Ausführungsform.

Ausführungsform(en) der Erfindung
1 zeigt beispielhaft in einer Schnittansicht einen Teil eines Fahrzeugs 2, nämlich eines Automobils, das Systeme zur Situationsüberwachung und zur Fahrerüberwachung einschließt. Zur Fahrerüberwachung des Fahrers 4 ist eine auf den Fahrersitz gerichtete Innraumkamera 6 vorgesehen. Von dieser aufgenommene Bilder und/oder Videos können zu einer Recheneinheit 10 übertragen werden (über eine nicht weiter dargestellte drahtgebundene oder drahtlose Datenverbindung) und von der Recheneinheit ausgewertet werden, um einen Aufmerksamkeitszustand des Fahrer 4 zu bestimmen, etwa anhand dessen Blickrichtung oder basierend auf einer Beobachtung der Pupillen und Augenlieder. Die Innenraumkamera 6 (und vorzugsweise weitere Sensoren, die Eigenschaften des Fahrers erfassen) zusammen mit der Recheneinheit 10 und von dieser ausgeführter Computerprogramme können als Fahrerüberwachungssystem angesehen werden.
Weiterhin ist zur Situationsüberwachung eine Außenraumkamera 8 vorgesehen, die die Umgebung des Fahrzeugs 2 erfasst. Von der Außenraumkamera 8 aufgenommene Bilder und/oder Videos können ebenso zu der Recheneinheit 10 (oder einer anderen Recheneinheit) übertragen werden (über eine nicht weiter dargestellte drahtgebundene oder drahtlose Datenverbindung) und von der Recheneinheit ausgewertet werden, um eine Verkehrssituation bzw. eine auf den die Umgebung und die Verkehrssituation darin bezogene Fahrzeugsituation zu bestimmen. Die Außenraumkamera 6 (und vorzugsweise weitere Sensoren, die die Umgebung des Fahrzeugs und/oder Eigenschaften des Fahrzeugs erfassen) zusammen mit der Recheneinheit 10 (oder der anderen Recheneinheit) und von dieser ausgeführter Computerprogramme können als Situationsüberwachungssystem angesehen werden.
Weiterhin sind mögliche Ausgabegeräte für die Ausgabe eines Rückmeldungs-Signals gezeigt. Dies sind ein Bildschirm 12 einer Anzeigevorrichtung zur Ausgabe visueller Signale, ein Lautsprecher 14 zur Ausgabe akustischer Signale und ein Fahrersitz 16 mit integriertem Vibrationselement zur Ausgabe taktiler Signale.
Die gezeigte Recheneinheit 10, oder eine andere, kann dazu eingerichtet sein ein erfindungsgemäßes Verfahren zu implementieren, insbesondere durch Ausführen entsprechend programmierter Computerprogramme.
2 zeigt ein Funktionsschema gemäß einer bevorzugten Ausführungsform des Verfahrens zur Aufmerksamkeitsunterstützung eines Fahrers eines teilautonomen Fahrzeugs in einem assistierten Fahrmodus.
Dabei erfolgt eine Situationsüberwachung 110 einer Fahrzeug- und Verkehrssituation durch ein Situationsüberwachungssystem des Fahrzeugs. Das Situationsüberwachungssystem kann Daten erfassen, anhand derer die Situation (bzw. der Zustand), in der sich das Fahrzeug befindet, insbesondere die Wahrscheinlichkeit einer Gefahrensituation, die ein Eingreifen des Fahrers nötig macht, bewertet werden kann. Dazu kann das Situationsüberwachungssystem einerseits Daten erfassen, die den Zustand des Fahrzeugs selbst betreffen, also z.B. eine Fahrzeuggeschwindigkeit, Lenkbewegungen, einen Bremszustand, Daten eines ESP-Systems (ESP: Elektronisches Stabilitätsprogramm), Daten einer Antischlupfregelung, und/oder Beschleunigungsmessdaten, und andererseits Daten erfassen, die die Umgebung des Fahrzeugs betreffen, z.B. mittels am Fahrzeug angebrachter Sensoren. Die Sensoren können ausgewählt sein aus Kameras, etwa einer optischen Kamera oder einer Infrarotkamera, Radar-Sensoren, Lidar-Sensoren, Temperatur-Sensoren und ähnlichem. Anhand der Daten kann das Situationsüberwachungssystem bestimmen, ob möglicherweise eine Situation vorliegt, die ein Eingreifen des Fahrers nötig macht. Eine solche Situation kann beispielsweise gegeben sein, wenn sich viele andere Verkehrsteilnehmer in der Umgebung des Fahrzeugs befinden (was etwa anhand von Kameras oder Radar-/Lidar-Sensoren festgestellt werden kann). Ebenso kann die Notwendigkeit eines Eingreifens des Fahrers von der Umgebung abhängig sein, z.B. ist die Wahrscheinlichkeit einer solchen Notwendigkeit für gewöhnlich auf einer Landstraße geringer als auf einer Straße, die durch eine Stadt verläuft. Auch können hier mittels Kameras erkannte Verkehrszeichen berücksichtigt werden, z.B. ist die Wahrscheinlichkeit, dass der Fahrer eingreifen muss, nach einem Verkehrszeichen, dass einen verkehrsberuhigten Bereich (Spielstraße) anzeigt, typischerweise höher einzuschätzen. Das Situationsüberwachungssystem kann insbesondere Teil eines Fahrassistenzsystems des Fahrzeugs sein, das ein zumindest teilweise automatisiertes Fahren, d.h. den assistierten Fahrmodus, ermöglicht bzw. implementiert, oder zumindest teilweise Daten von einem solchen Fahrassistenzsystem verwenden.
Zusätzlich oder alternativ kann die Situationsüberwachung 110 auch Systeme umfassen, welche mittels Telemetrie Daten z.B. anderer Fahrzeuge mitberücksichtigen und/oder über eine Datenverbindung von anderen Vorrichtungen, z.B. ortsfesten Sensoren, erhobene Daten in die Bewertung der Situation mit einfließen lassen.
Entsprechend ist das Situationsüberwachungssystem dazu eingerichtet, anhand der Daten eine Anforderungsbewertung zu ermitteln. Dies kann im einfachsten Fall ein numerischer Wert (etwa zwischen 0 und 1) sein, welcher der durch das Situationsüberwachungssystem bestimmten Wahrscheinlichkeit, dass ein Eingreifen des Fahrers innerhalb einer bestimmten Zeitspanne (die in dem Augenblick beginnt, in dem der Wert ermittelt wird) notwendig wird, entspricht. Allgemeiner können die Anforderungsbewertung mehrere Werte umfassen, die verschiedene Aspekte betreffen. Diese (Situationsanforderungs-)Werte können sowohl kontinuierliche als auch diskrete Wertebereiche aufweisen.
Ebenso erfolgt (parallel zur Situationsüberwachung) eine Fahrerüberwachung 120 mittels eines Fahrerüberwachungssystems. Dieses kann mittels Sensoren Daten erfassen, die den Zustand des Fahrers betreffen. Etwa mittels einer oder mehrerer Kameras, die auf den Fahrer, insbesondere dessen Gesicht bzw. dessen Augen, gerichtet sind, d.h. die Kameras sind im Fahrzeug so angebracht, dass sie einen Fahrer, der im Fahrersitz sitzt erfassen. Das Fahrerüberwachungssystem führt beispielsweise eine Software (d.h. Computerprogramme) aus, die es ermöglicht, das Gesicht bzw. die Augenpartie in erfassten Bildern zu erkennen und von anderen Bildbereichen abzugrenzen. Das Fahrerüberwachungssystem bzw. die Software kann weiter dazu eingerichtet sein, den Fahrerzustand, insbesondere einen Müdigkeitszustand (z.B. anhand der Augenpartie) und/oder einen Konzentrationszustand (z.B. anhand der Blickrichtung), zu bestimmen. Ebenso können Sensoren vorgesehen sein, die erfassen, ob oder ob nicht sich die Hände des Fahrers am Lenkrad befinden. Das Fahrerüberwachungssystem ist dazu eingerichtet, mittels der Daten, die den Zustand des Fahrers betreffen, eine Aufmerksamkeitsbewertung zu ermitteln. Dies kann wenigstens ein (Fahreraufmerksamkeits-)Wert sein, der anzeigt, inwiefern der Fahrer bereit ist, d.h. ausreichend aufmerksam ist, einzugreifen, falls dies notwendig wird. Die Aufmerksamkeitsbewertung kann mehrere Werte umfassen, die verschiedene Aspekte betreffen. Diese (Fahreraufmerksamkeits-)Werte können sowohl kontinuierliche als auch diskrete Wertebereiche aufweisen. Hier können insbesondere Fahreraufmerksamkeits-Werte gewählt werden, die mit den Situationsanforderungs-Werten in Beziehung stehen, so dass ein Vergleich möglich ist. Ein möglicher Fahreraufmerksamkeits-Wert ist z.B. ein vom Fahrerüberwachungssystem berechneter Schätzwert für die Wahrscheinlichkeit, dass der Fahrer innerhalb einer bestimmten Zeitspanne (z.B. 1 Sekunde) eingreifen kann, oder ein vom Fahrerüberwachungssystem berechneter Schätzwert für die Reaktionszeit des Fahrers.
Die Situationsüberwachung 110 und die Fahrerüberwachung 120 erfolgen fortlaufend während des weiteren Verlaufs des Verfahrens. Insbesondere können sich also Anforderungsbewertung und Aufmerksamkeitsbewertung im Laufe der Zeit fortlaufend ändern bzw. werden fortlaufend aktualisiert.
Weiterhin erfolgt eine Prüfung 130, ob die Aufmerksamkeitsbewertung der Anforderungsbewertung entspricht bzw. angemessen ist. Hierzu können insbesondere Situationsanforderungs-Werte mit entsprechenden Fahreraufmerksamkeits-Werten verglichen werden, wobei zusätzlich jeweilige Sicherheitsabstände vorgesehen sein können (die jedoch bereits bei der Ermittlung von Anforderungsbewertung bzw. Aufmerksamkeitsbewertung mit einbezogen werden können). Beispielsweise kann die vom Situationsüberwachungssystem ermittelte Wahrscheinlichkeit dafür, dass innerhalb einer bestimmten Zeitspanne ein Eingreifen des Fahrers nötig ist, mit der vom Fahrerüberwachungssystem ermittelten geschätzten Wahrscheinlichkeit dafür, dass der Fahrer innerhalb dieser bestimmten Zeitspanne eingreifen kann, verglichen werden. Falls letztere (vom Fahrerüberwachungssystem geschätzte Wahrscheinlichkeit) gleich oder größer (oder um einen Mindestabstand größer, falls ein Sicherheitsabstand vorgesehen ist) als erstere (vom Situationsüberwachungssystem ermittelte Wahrscheinlichkeit) ist, entspricht die Aufmerksamkeitsbewertung der Anforderungsbewertung, andernfalls entspricht die Aufmerksamkeitsbewertung der Anforderungsbewertung nicht. Auch die Prüfung 130, ob die Aufmerksamkeitsbewertung der Anforderungsbewertung entspricht, wird fortlaufend während des weiteren Verlaufs des Verfahrens wiederholt durchgeführt; insbesondere dann, wenn eine aktualisierte Anforderungsbewertung und/oder eine aktualisierte Aufmerksamkeitsbewertung vorliegt.
Wenn die Aufmerksamkeitsbewertung der Anforderungsbewertung entspricht wird (falls noch keine Warn-Ausgabe erfolgt) mit der Situationsüberwachung 110 und der Fahrerüberwachung 120 fortgefahren, ohne weitere Aktionen einzuleiten (Pfeil 132).
Wenn die Aufmerksamkeitsbewertung der Anforderungsbewertung nicht entspricht (Pfeil 134) erfolgt ein Starten 140 einer Warn-Ausgabe, auf wenigstens einem Ausgabegerät des Fahrzeuges, wobei ein Rückmeldungs-Signal an den Fahrer erzeugt wird, das entsprechend einer Warn-Frequenz, die im Bereich von 0,5 Hz bis 2 Hz liegt, variiert wird. Das Rückmeldungs-Signal kann eine Signalart aufweisen, die ausgewählt ist aus wenigstens einem visuellen Signal 142, wenigstens einem akustischen Signal 144, wenigstens einem taktilen Signal 146 oder einer Kombination davon. Im Prinzip ist es hier möglich, ein vorbestimmtes Rückmeldungs-Signal mit vorbestimmten Eigenschaften, das sind, Warn-Frequenz, Amplitude und Signalart, zu verwenden und während der Warn-Ausgabe unverändert zu lassen, vorzugsweise ist jedoch eine Festlegung bzw. Änderung 160 der Warn-Ausgabe, d.h. des Rückmeldungs-Signals bzw. von dessen Eigenschaften, vorgesehen (siehe weiter unten). Die Signale „visuelles Signal“, „akustisches Signal“ und „taktiles Signal“ können als „Basis-Signalarten“ angesehen werden.
Wie oben erläutert, erfolgen die Situationsüberwachung 110 und die Fahrerüberwachung 120 fortlaufend, so dass die Anforderungsbewertung und die Aufmerksamkeitsbewertung fortlaufend aktualisiert werden und in der Folge das Ergebnis der Prüfung 130, ob die Aufmerksamkeitsbewertung der Anforderungsbewertung entspricht, fortlaufend aktualisiert wird. Wird in diesem weiteren Verlauf (während der Warn-Ausgabe) festgestellt, dass die aktualisierte Aufmerksamkeitsbewertung der Anforderungsbewertung und/oder der aktualisierten Anforderungsbewertung entspricht (Pfeil 136), so erfolgt ein Beenden 150 der Warn-Ausgabe. Wenn, zu einem späteren Zeitpunkt, erneut der Fall auftritt, dass die Aufmerksamkeitsbewertung der Anforderungsbewertung nicht entspricht, kann die Warn-Ausgabe erneut gestartet werden.
Die optionale Festlegung/Änderung 160 des Rückmeldungs-Signals kann das ursprüngliche, mit Starten 140 der Warn-Ausgabe erzeugte Rückmeldungs-Signal betreffen und/oder eine Änderung des Rückmeldungs-Signals nach dem Starten, d.h. eine Änderung während der Warn-Ausgabe bzw. während das Rückmeldungs-Signal ausgegeben wird, betreffen.
Die Festlegung/Änderung 160 kann basierend auf der Höhe der Aufmerksamkeitsbewertung und/oder basierend auf einer Größe der Abweichung und/oder einer Größenänderung der Abweichung der Aufmerksamkeitsbewertung von der Anforderungsbewertung erfolgen. Liegt beispielsweise eine große Abweichung vor oder nimmt die Abweichung zu, kann die Warn-Frequenz oder die Amplitude des Rückmeldungs-Signals groß gewählt bzw. erhöht werden und/oder es kann eine Signalart gewählt werden, die eine Kombinationen von wenigstens zwei oder weitergehend drei verschiedenen der Basis-Signalarten (visuelles Signal, akustisches Signal, taktiles Signal) ist. Hier könnte etwa zunächst ein visuelles Signal ausgegeben werden, dessen Warn-Frequenz und/oder Amplitude (Helligkeitsänderung) erhöht wird, wenn nach einer bestimmten Zeitspanne (z.B. einige Sekunden) die Abweichung der Aufmerksamkeitsbewertung von der Anforderungsbewertung nicht kleiner wird, und weitergehend, wenn nach einer zusätzlichen Zeitspanne (z.B. wieder einige Sekunden) die Abweichung der Aufmerksamkeitsbewertung von der Anforderungsbewertung immer noch nicht kleiner wird, könnte ein akustisches Signal zusätzlich zum visuellen Signal ausgegeben werden. Im Prinzip kann so eine Art Eskalationsschema realisiert werden, bis die Aufmerksamkeit des Fahrers zunimmt.
Die Festlegung/Änderung 160 kann bevorzugt weiterhin basierend auf einem Fahrermodell 162, das eine erwartete Aufmerksamkeit des Fahrers (erwartete Aufmerksamkeitsbewertung) basierend auf Ausgabewerten des Fahrerüberwachungssystems modelliert, und/oder einem Situationsmodell 164, das eine erwartete Anforderung der Situation (erwartete Anforderungsbewertung) basierend auf Ausgabewerten des Situationsüberwachungssystems modelliert, erfolgen. Ändert sich etwa nach Start der Warn-Ausgabe die tatsächliche Aufmerksamkeitsbewertung nicht entsprechend der durch das Fahrermodell modellierten erwarteten Aufmerksamkeit (bzw. entsprechender erwarteter Aufmerksamkeitsbewertungen), kann das vorstehend skizzierte Eskalationsschema schneller eskaliert werden als wenn die Entwicklung entsprechend der modellierten erwarteten Aufmerksamkeit erfolgt. Ebenso kann das vorstehend skizzierte Eskalationsschema schneller eskaliert werden, wenn vom Situationsmodell eine Steigerung der Anforderungsbewertung erwartet wird, die anhand der erwarteten Anforderung der Situation bestimmt werden kann. Dazu kann das Situationsmodell bzw. dessen Modellparameter so bestimmt sein, dass es ausgehend von der derzeitigen Situation und eventuell von zurückliegenden Situationen eine Aussage über die zukünftige Entwicklung der Anforderungsbewertung ermöglicht.
3 zeigt ein Funktionsschema eines Kalibrierungsvorgangs gemäß einer bevorzugten Ausführungsform, in dem insbesondere mögliche Rückmeldungs-Signale, charakterisiert durch Signalart, Amplitude und/oder Warn-Frequenz, die bei der Warn-Ausgabe verwendet werden können, bestimmt werden.
In Schritt 205 kann zunächst ein Erkennen eines Fahrers, der das Fahrzeug benutzt, erfolgen, um die möglichen Rückmeldungs-Signale fahrerspezifische bestimmen zu können. Der Fahrer kann z.B. durch das Fahrerüberwachungssystem oder geeignete vom Fahrer getragene Token erkannt werden. Hier kann auch eine Bestimmung erfolgen, ob der jeweilige Fahrer das Fahrzeug erstmalig benutzt bzw. ob für diesen bereits eine Kalibrierung erfolgt ist.
Nachfolgend, zumindest soweit eine Kalibrierung für den jeweiligen Fahrer noch nicht erfolgt, oder noch nicht abgeschlossen ist, erfolgt ein Kalibrierungsschritt 210, wobei über wenigstens ein Ausgabegerät ein Kalibrierungs-Signal, das eine Kalibrierungsfrequenz im Bereich von 0,5 Hz bis 2 Hz und eine Kalibrierungsamplitude aufweist und das ausgewählt ist aus wenigstens einem visuellen Signal 212, wenigstens einem akustischen Signal 214, wenigstens einem taktilen Signal 216 oder einer Kombination davon, ausgegeben wird. Das Kalibrierungs-Signal stellt ein Testsignal dar, mittels dem jeweilige Frequenzen, Amplituden und Signalarten testweise ausgegeben werden, um mittels dem Fahrüberwachungssystem die Reaktion des Fahrers darauf ermitteln zu können. Entsprechend wird in Schritt 220 eine Aufmerksamkeitsänderung des Fahrers auf das Kalibrierungs-Signal bestimmt. Dieser Kalibrierungsschritt kann mehrmals wiederholt werden, d.h. es wird zu Schritt 210 zurückgesprungen (Pfeil 222), wobei vorzugsweise in jedem Kalibrierungsschritt jeweils verschiedene Kalibrierungs-Signale ausgegeben werden; es kann vorgesehen sein, dass jedes Kalibrierungs-Signal mehrmals ausgegeben wird, so dass eine einmalige, zufällige Reaktion des Fahrers das Ergebnis der Kalibrierung möglichst wenig beeinflusst.
Aus den verschiedenen, getesteten Kalibrierungs-Signalen wird anschließend in Schritt 230 mindestens eines ausgewählt, um ein oder mehrere mögliche Rückmeldungs-Signale zu bestimmen, d.h. Rückmeldungs-Signale, die bei der späteren tatsächlichen Anwendung der Aufmerksamkeitsunterstützung als tatsächlich auszugebendes Rückmeldungs-Signal (Schritt 140 in 2) verwendet werden können. Diese möglichen Rückmeldungs-Signale können (fahrerspezifisch) gespeichert werden.
Die Kalibrierung kann, etwa im Rahmen einer Fahrerüberwachung auch ein Messen bzw. Bestimmen einer Herzfrequenz des Fahrers umfassen (nicht dargestellt), etwa einer Ruheherzfrequenz. Mögliche Warn-Frequenzen können dann abgestimmt auf diese Herzfrequenz festgelegt werden, etwa kann die bestimmte Herzfrequenz mit vorgegebenen Faktoren (z.B. 0,75 und 1,25) multipliziert werden um einen Bereich festzulegen (z.B. kann sich der Bereich von 0,75 mal die Herzfrequenz bis 1,25 mal die Herzfrequenz ergeben).
Es sollte angemerkt werden, dass der vorstehend beschriebene und/oder der nachfolgend beschriebene Kalibrierungsvorgang parallel bzw. während des normalen Fahrbetriebs des Fahrzeugs erfolgen kann. Die Kalibrierungs-Signale werden dabei insbesondere ausgegeben, ohne dass dies durch eine entsprechende Anforderungsbewertung und/oder Aufmerksamkeitsbewertung bedingt wäre.
Im Prinzip kann die Kalibrierung mit Schritt 230 abgeschlossen werden. Weitergehend ist es bevorzugt möglich, den Kalibrierungsvorgang in Gestalt einer situationsbezogenen Kalibrierung fortzuführen. Hierfür erfolgt eine Situationseinstufung 260 durch das Situationsüberwachungssystem und/oder Fahrerüberwachungssystem, d.h. es erfolgt eine Einstufung bzw. Klassifizierung der jeweilig durch das Situationsüberwachungssystem und/oder das Fahrerüberwachungssystem erfassten Verkehrssituation bzw. Fahrersituation. Verschiedene Einstufungen der Verkehrssituation können z.B. gegeben sein durch die Umgebung (Stadt, Land), Tag/Nacht oder die Geschwindigkeit. Verschiedene Einstufungen der Fahrersituation können z.B. dadurch gegeben sein, dass der Fahrer Musik hört oder mit jemanden (anderer Fahrzeuginsasse, oder über ein Telefon) spricht. Diese und ähnliche Einstufungen der Verkehrssituation und/oder der Fahrersituation können zu einer Situationseinstufung kombiniert werden. Bei der Situationseinstufung kann weiterhin das Situationsmodell 262 und/oder das Fahrermodell 264 berücksichtigt werden (entsprechend dem Situationsmodell/Fahrermodell in 2). Wobei hier zusätzlich auch eine Bestimmung von Modellparameter insbesondere des Fahrermodells basierend auf der Reaktion des Fahrers denkbar ist.
Wenn erkannt wird, dass eine Situation mit einer Situationseinstufung vorliegt, für die noch keine Kalibrierung erfolgt ist, kann eine situationsspezifische bzw. situationsbezogene (d.h. auf eine Situationseinstufung bezogene) Kalibrierungsphase durchgeführt werden. Dabei wird wie oben beschrieben (Schritte 210-220) vorgegangen, d.h. es werden Kalibrierungsschritte 240 durchgeführt, wobei in jedem Kalibrierungsschritt über wenigstens ein Ausgabegerät ein hier situationsbezogenes Kalibrierungs-Signal, das eine Kalibrierungsfrequenz im Bereich von 0,5 Hz bis 2 Hz und eine Kalibrierungsamplitude aufweist und das ausgewählt ist aus wenigstens einem visuellen Signal 242, wenigstens einem akustischen Signal 244, wenigstens einem taktilen Signal 246 oder einer Kombination davon, ausgegeben wird und wobei für jedem Kalibrierungsschritt in Schritt 250 eine Aufmerksamkeitsänderung des Fahrers auf das jeweilige situationsbezogene Kalibrierungs-Signal bestimmt wird. Nach Bestimmung der jeweiligen Aufmerksamkeitsänderung wird wieder zu Schritt 240 zurückgesprungen (Pfeil 242).
Basierend auf den Aufmerksamkeitsänderungen, die sich auf dieselbe Situationseinstufung beziehen, wird in Schritt 270 ein oder mehrere auf diese Situationseinstufung bezogene mögliche Rückmeldungs-Signale ausgewählt. Diese können mögliche Rückmeldungs-Signale können gespeichert werden, wobei die Speicherung situationsspezifisch (Pfeil 266) erfolgt, und gegebenenfalls fahrerspezifisch.
Bei der späteren Anwendung des Verfahrens zur Aufmerksamkeitsunterstützung wird das tatsächliche verwendete Rückmeldungs-Signal dann unter Berücksichtigung der Situationseinstufung aus den möglichen Rückmeldungs-Signalen gewählt, d.h. es wird eines der möglichen Rückmeldungs-Signale gewählt, die sich auf die Situationseinstufung beziehen, die bei der Warn-Ausgabe tatsächlich vorliegt.

Claims

Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers (4) eines Fahrzeugs (2), umfassend eine Situationsüberwachung (110) einer Verkehrssituation durch ein Situationsüberwachungssystem des Fahrzeugs, um eine Anforderungsbewertung zu ermitteln; eine Fahrerüberwachung (120) des Fahrers durch ein Fahrerüberwachungssystem des Fahrzeugs, um eine Aufmerksamkeitsbewertung zu ermitteln; Prüfen (130), ob die Aufmerksamkeitsbewertung der Anforderungsbewertung entspricht; und, wenn die Aufmerksamkeitsbewertung der Anforderungsbewertung nicht entspricht (134), Starten (140) einer Warn-Ausgabe, auf wenigstens einem Ausgabegerät (12, 14, 16) des Fahrzeuges, wobei ein Rückmeldungs-Signal erzeugt wird, das entsprechend einer Warn-Frequenz variiert wird.
Verfahren nach Anspruch 1, wobei die Warn-Frequenz im Bereich von 0,5 Hz bis 2 Hz liegt.
Verfahren nach einem der vorstehenden Ansprüche, wobei eine Signalart des Rückmeldungs-Signals ausgewählt ist aus wenigstens einem visuellen Signal (142), wenigstens einem akustischen Signal (144), wenigstens einem taktilen Signal (146) oder einer Kombination davon.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Rückmeldungs-Signal einem auf dem wenigstens einen Ausgabegerät (12, 14,16) ausgegebenen Normal-Signal überlagert wird; wobei eine Amplitude und/oder eine Frequenz des Normal-Signals entsprechend der Warn-Frequenz variiert wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Höhe der Warn-Frequenz und/oder die Amplitude des Rückmeldungs-Signals entsprechend der Höhe der Anforderungsbewertung und/oder entsprechend einer Abweichung zwischen Aufmerksamkeitsbewertung und Anforderungsbewertung gewählt bzw. festgelegt (160) wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Warn-Frequenz von Periode zu Periode innerhalb eines Frequenzbereichs mit einer Breite von 0,1 Hz, in bevorzugt zufälliger Weise, variiert wird.
Verfahren nach einem der vorstehenden Ansprüche, umfassend, während der Warn-Ausgabe, Prüfen (130), ob eine aktualisierte Aufmerksamkeitsbewertung der Anforderungsbewertung und/oder einer aktualisierten Anforderungsbewertung entspricht; und, wenn die aktualisierte Aufmerksamkeitsbewertung der Anforderungsbewertung und/oder der aktualisierten Anforderungsbewertung entspricht (136), Beenden (150) der Warn-Ausgabe.
Verfahren nach Anspruch 7, umfassend, wenn die aktualisierte Aufmerksamkeitsbewertung der Anforderungsbewertung nicht entspricht, Ändern der Warn-Ausgabe (160); wobei ein anderes und/oder ein zusätzliches Ausgabegerät verwendet wird, um das Rückmeldungs-Signal auszugeben, und/oder eine aus wenigstens einem visuellen Signal, wenigstens einem akustischen Signal, wenigstens einem taktilen Signal oder einer Kombination davon ausgewählte Signalart des Rückmeldungs-Signals geändert wird, wobei bevorzugt die Anzahl verschiedener dieser Signalarten erhöht wird, und/oder die Warn-Frequenz und/oder eine Amplitude des Rückmeldungs-Signals geändert, bevorzugt erhöht, wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Warn-Frequenz und/oder eine Amplitude des Rückmeldungs-Signals, anhand eines Fahrermodells (162), das eine erwartete Aufmerksamkeit des Fahrers basierend auf Ausgabewerten des Fahrerüberwachungssystems modelliert, und/oder eines Situationsmodells (164), das eine erwartete Anforderung der Situation basierend auf Ausgabewerten des Situationsüberwachungssystems modelliert, bestimmt werden.
Verfahren nach einem der vorstehenden Ansprüche, umfassend eine Kalibrationsphase; wobei in einem Kalibrierungsschritt (210, 240) auf wenigstens einem Ausgabegerät ein Kalibrierungs-Signal, das eine Kalibrierungsfrequenz im Bereich von 0,5 Hz bis 2 Hz und eine Kalibrierungsamplitude aufweist und das ausgewählt ist aus wenigstens einem visuellen Signal (212, 242), wenigstens einem akustischen Signal (214, 244), wenigstens einem taktilen Signal (216, 246) oder einer Kombination davon, ausgegeben wird und durch das Fahrerüberwachungssystem eine Aufmerksamkeitsänderung des Fahrers auf das Kalibrierungs-Signal bestimmt wird (220, 250); wobei der Kalibrierungsschritt (210, 240) mehrmals für verschiedene Kalibrierungs-Signale wiederholt wird, um mehrere zugehörige Aufmerksamkeitsänderungen zu bestimmen; und wobei aus den verschiedenen Kalibrierungs-Signalen ein oder mehrere mögliche Rückmeldungs-Signale basierend auf den zugehörigen Aufmerksamkeitsänderungen ausgewählt werden (230, 270); wobei nach der Kalibrierungsphase das Rückmeldungs-Signal der Warn-Ausgabe aus dem einen oder den mehreren möglichen Rückmeldungs-Signalen gewählt wird (160).
Verfahren nach Anspruch 9, umfassend mehrere Kalibrierungsphasen entsprechend mehrerer verschiedener Situationseinstufungen (260) des Situationsüberwachungssystems und/oder Fahrerüberwachungssystems; wobei die Kalibrierungsschritte (240) für jede Situationseinstufung mehrmals wiederholt werden, entsprechende Aufmerksamkeitsänderungen des Fahrers bestimmt werden (250) und aus den jeweiligen Kalibrierungs-Signalen auf die jeweilige Situationseinstufung bezogene ein oder mehrere mögliche Rückmeldungs-Signale ausgewählt werden (270); wobei nach den mehreren Kalibrierungsphasen das Rückmeldungs-Signal der Warn-Ausgabe entsprechend einer aktuellen Situationseinstufung aus dem einen oder den mehreren möglichen Rückmeldungs-Signalen, die auf die aktuelle Situationseinstufung bezogen sind, gewählt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei eine Herzfrequenz des Fahrers (4), insbesondere eine Ruheherzfrequenz, bestimmt wird; und wobei die Warn-Frequenz des Rückmeldungs-Signals und/oder eine Warn-Frequenz eines möglichen Rückmeldungs-Signals basierend auf der Herzfrequenz festgelegt wird.
Recheneinheit (10), die dazu eingerichtet ist, alle Verfahrensschritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen.
Computerprogramm, das eine Recheneinheit dazu veranlasst, alle Verfahrensschritte eines Verfahrens nach einem der Ansprüche 1 bis 12 durchzuführen, wenn es auf der Recheneinheit ausgeführt wird.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 14.