DE102021214751A1

DE102021214751A1 - Verfahren zum Ermitteln einer Aufmerksamkeit eines Fahrers in einem zumindest teilweise autonom fahrenden Fahrzeug

Info

Publication number: DE102021214751A1
Application number: DE102021214751.8A
Authority: DE
Inventors: Dina Stiegemeier; Caterine Ospina-Schick; Rainer Erbach; Markus Hanisch
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2023-06-22
Also published as: CN116279515A; FR3130732A1

Abstract

Vorgeschlagen wird ein Verfahren (50) zum Ermitteln einer Aufmerksamkeit eines Fahrers (24) in einem zumindest teilweise autonom fahrenden Fahrzeug (20) mit den Schritten,
Darstellen zumindest eines Symbols (36) für den Fahrer (24) an verschiedenen Positionen auf einer Windschutzscheibe (28) des Fahrzeugs (20) in einer Abfolge während eines autonomen Fahrmodus oder während eines manuellen Fahrmodus des Fahrzeugs (20) des Fahrzeugs (20),
Bereitstellen von Daten einer Beobachtungsvorrichtung (32) zum Beobachten des Fahrers (24),
Ermitteln mittels der Daten der Beobachtungsvorrichtung (32), ob der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick folgt, wobei eine Aufmerksamkeit des Fahrers (24) dann festgestellt wird, wenn ermittelt wird, dass der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick folgt und wobei eine Aufmerksamkeit des Fahrers (24) dann nicht festgestellt wird, wenn ermittelt wird, dass der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick nicht folgt.

Description

Stand der Technik
Aus der US 2018231976 A1 ist ein Fahrerassistenzsystem mit einem Fahrerbeobachtungssystem bekannt.
Offenbarung der Erfindung
Vorgeschlagen wird ein Verfahren zum Ermitteln einer Aufmerksamkeit eines Fahrers in einem zumindest teilweise autonom fahrenden Fahrzeug mit den Schritten, Darstellen zumindest eines Symbols für den Fahrer an verschiedenen Positionen auf einer Windschutzscheibe des Fahrzeugs in einer Abfolge während eines autonomen Fahrmodus des Fahrzeugs oder während eines manuellen Fahrmodus des Fahrzeugs, Bereitstellen von Daten einer Beobachtungsvorrichtung zum Beobachten des Fahrers, Ermitteln mittels der Daten der Beobachtungsvorrichtung, ob der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick folgt, wobei eine Aufmerksamkeit des Fahrers dann festgestellt wird, wenn ermittelt wird, dass der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick folgt und wobei eine Aufmerksamkeit des Fahrers dann nicht festgestellt wird, wenn ermittelt wird, dass der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick nicht folgt.
Mittels des vorgeschlagenen Verfahrens, kann die Aufmerksamkeit des Fahrers sicher und/oder zuverlässig überprüft und ermittelt werden. Hierdurch kann insbesondere die Sicherheit im Straßenverkehr erhöht werden. Wenn ein zumindest teilweise autonom fahrendes Fahrzeug in einem autonomen Fahrmodus betrieben wird, so kann es in verschiedenen Situationen notwendig sein, dass der Fahrer weiterhin verantwortlich bleibt und den Verkehr um das Fahrzeug herum beobachten und somit das System zum autonomen Fahren überwachen muss. Hierfür muss der Fahrer eine gewisse Aufmerksamkeit aufweisen. Mittels des vorgeschlagenen Verfahrens kann diese Aufmerksamkeit überprüft und insbesondere das Risiko eines Missbrauchs des Systems zum autonomen Fahren reduzieren. Beispiele für Missbrauch sind insbesondere das Ansehen eines Videos oder das Schreiben einer Nachricht auf dem Smartphone oder auch ein Tagträumen. Mittels des vorgeschlagenen Verfahrens kann die Aufmerksamkeit des Fahrers verfolgt werden, um zu entscheiden, ob bestimmte Aktionen ausgelöst bzw. eskaliert werden müssen. Hierfür kann mittels des Verfahrens die Blickaktivität des Fahrers verfolgt, analysiert und dahingehend bewertet werden, ob der Fahrer in der Fahrsituation aufmerksam ist oder nicht. Weiterhin kann durch das vorgeschlagene Verfahren die Motivation des Fahrers zur Beobachtung der Fahrsituation erhöht werden. Hierdurch kann der Fahrer auf seine Verantwortung zur Überwachung der Umgebung aufmerksam gemacht werden. Somit kann mittels des vorgeschlagenen Verfahrens die Sicherheit im Straßenverkehr, insbesondere für den Fahrer und auch für andere Verkehrsteilnehmer, erhöht werden.
Ein Fahrer muss auch in einem manuellen Fahrmodus eine gewisse Aufmerksamkeit aufweisen. Das Verfahren kann auch in einem manuellen Fahrmodus betrieben werden.
In einer vorteilhaften Ausführung weist das Verfahren weiterhin einen Schritt des Startens des Verfahrens zum Ermitteln einer Aufmerksamkeit des Fahrers während eines autonomen Fahrmodus des Fahrzeugs auf. Hierdurch kann sichergestellt werden, dass das Verfahren lediglich während des autonomen Fahrmodus des Fahrzeugs gestattet wird. Somit werden die Symbole nicht während eines manuellen Fahrbetriebs angezeigt. Hierdurch kann insbesondere ein Fahrer nicht durch das Anzeigen der Symbole abgelenkt werden, wodurch die Sicherheit im Straßenverkehr erhöht werden kann.
In einer beispielhaften Ausgestaltung kann das Verfahren weiterhin einen Schritt des Beobachtens des Fahrers mittels einer Beobachtungsvorrichtung aufweisen. Durch das Beobachten des Fahrers mittels einer Beobachtungsvorrichtung können insbesondere Daten zur Auswertung bereitgestellt werden. Hierdurch kann insbesondere sicher und/oder zuverlässig ausgewertet werden, ob der Fahrer mit seinem Blick den Symbolen auf der Windschutzscheibe folgt.
Vorteilhafterweise kann das Symbol für eine definierte Zeitdauer dargestellt werden. Hierdurch kann sichergestellt werden, dass der Fahrer das Symbol wahrnimmt und auch als solches erkennt. In einer Weiterentwicklung kann das Symbol an unterschiedlichen Positionen für eine jeweils unterschiedliche Zeitdauer dargestellt werden. Hierdurch kann die Beobachtung der Symbole interessanter gestaltet werden. Ferner kann ein Missbrauch des Systems bzw. ein Risiko des Missbrauchs des Systems reduziert werden, indem beispielsweise ermittelt werden kann, ob der Fahrer auch für die entsprechende Zeitdauer auf das Symbol blickt.
Vorzugsweise können verschiedene Symbole an unterschiedlichen Positionen dargestellt werden. Durch die Verwendung unterschiedlicher Symbole während eines Überprüfungszyklus, kann die Beobachtung der Symbole interessanter gestaltet werden. Hierdurch kann eine Eintönigkeit vermieden werden, wodurch ein Fahrer insbesondere aufmerksamer bleibt. Hierdurch kann die Sicherheit im Straßenverkehr erhöht werden.
In einer Weiterentwicklung können die Symbole an Positionen auf der Windschutzscheibe dargestellt werden, welche mit anderen Verkehrsteilnehmern oder Objekten in einer Umgebung des Fahrzeugs überlagern. Hierdurch kann ein Fahrer gleichzeitig durch die Symbole auf Situationen in seiner Umgebung hingewiesen werden, wodurch der Fahrer die Umgebung des Fahrzeugs überwachen insbesondere sicher und/oder zuverlässig kann. Der Fahrer wird somit direkt auf andere Verkehrsteilnehmer hingewiesen. Bei Gefahr kann der Fahrer somit insbesondere schneller reagieren und hat einen besseren Überblick über die Umgebung. Hierdurch kann insbesondere die Sicherheit im Straßenverkehr erhöht werden.
In einer beispielhaften Ausführung können die Symbole mittels einer Anzeigevorrichtung dargestellt werden. In einer Weiterentwicklung kann die Anzeigevorrichtung als Projektionsvorrichtung ausgebildet ein. Durch die Verwendung einer Anzeigevorrichtung und/oder eine Projektionsvorrichtung können die Symbole insbesondere sicher und/oder zufällig auf der Windschutzscheibe dargestellt werden.
Vorteilhafterweise können verschiedene Symbole gleichzeitig an verschiedenen Positionen dargestellt werden. Hierdurch kann insbesondere die Aufmerksamkeit des Fahrers erhöht werden, indem dieser sich beispielsweise vermehrt auf das Verfahren konzentrieren muss.
In einer Weiterentwicklung kann zu den Symbolen ein Audiosignal ausgegeben werden. Hierdurch kann insbesondere die Aufmerksamkeit des Fahrers erhöht werden. Ferner kann sichergestellt werden, dass der Fahrer einen Input durch mehrere Kanäle aufnimmt und somit die Wahrnehmung für das Verfahren gesteigert wird.
In einer vorteilhaften Ausführung kann eine Warnung ausgegeben werden, wenn eine Aufmerksamkeit des Fahrers nicht festgestellt wird. Alternativ oder zusätzlich kann der autonome Fahrmodus des Fahrzeugs beendet und der Fahrer zur Übernahme des Fahrzeugs aufgefordert werden, wenn eine Aufmerksamkeit des Fahrers nicht festgestellt wird. Somit können bei Feststellen einer Unaufmerksamkeit des Fahrers verschiedene Eskalationsstufen eingeleitet werden. Ein Fahrer kann somit wieder aufmerksam gemacht werden, wodurch die Sicherheit im Straßenverkehr erhöht wird.
Weiterhin vorgeschlagen wird eine Vorrichtung zum Ermitteln einer Aufmerksamkeit eines Fahrers in einem zumindest teilweise autonom fahrenden Fahrzeug, wobei die Vorrichtung eine Anzeigevorrichtung aufweist zum Darstellen zumindest eines Symbols für den Fahrer an verschiedenen Positionen auf einer Windschutzscheibe des Fahrzeugs in einer Abfolge während eines autonomen Fahrmodus des Fahrzeugs oder während eines manuellen Fahrmodus des Fahrzeugs und wobei die Vorrichtung eine Steuereinheit aufweist zum Empfangen von Daten einer Beobachtungsvorrichtung und zum Ermitteln, ob der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick folgt mittels der Daten der Beobachtungsvorrichtung, wobei eine Aufmerksamkeit des Fahrers dann festgestellt wird, wenn ermittelt wird, dass der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick folgt und wobei eine Aufmerksamkeit des Fahrers dann nicht festgestellt wird, wenn ermittelt wird, dass der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick nicht folgt.
Mittels der vorgeschlagenen Vorrichtung, kann die Aufmerksamkeit des Fahrers sicher und/oder zuverlässig überprüft und ermittelt werden. Ferner kann ein Risiko eines Missbrauchs des Systems zum autonomen Fahren reduzieren werden. Hierdurch kann insbesondere die Sicherheit im Straßenverkehr erhöht werden. Mittels der vorgeschlagenen Vorrichtung kann die Aufmerksamkeit des Fahrers verfolgt werden, um zu entscheiden, ob bestimmte Aktionen ausgelöst bzw. eskaliert werden müssen. Weiterhin kann die Motivation des Fahrers zu Beobachtung der Fahrsituation erhöht werden. Ein Fahrer muss auch in einem manuellen Fahrmodus eine gewisse Aufmerksamkeit aufweisen. Die Symbole können folglich auch in einem manuellen Fahrmodus dargestellt werden.
Vorzugsweise kann die Vorrichtung eine Beobachtungsvorrichtung aufweisen zum Beobachten des Fahrers. Durch das Beobachten des Fahrers mittels einer Beobachtungsvorrichtung können insbesondere Daten zur Auswertung bereitgestellt werden. Hierdurch kann insbesondere sicher und/oder zuverlässig ausgewertet werden, ob der Fahrer mit seinem Blick den Symbolen auf der Windschutzscheibe folgt.
Die Beobachtungsvorrichtung kann auch als Beobachtungssystem, Driver Monitoring System und/oder als Insassenbeobachtungssystem bezeichnet werden. Die Beobachtungsvorrichtung kann beispielsweise ausgebildet sein einen oder mehrere Fahrzeuginsassen zu beobachten, zum Beispiel eine Körperhaltung, eine Blickrichtung und/oder eine Position eines Kopfes bzw. eines Gesichts bzw. von Augen des Fahrzeuginsassen, insbesondere eines Fahrers und/oder eines Beifahrers und/oder eines oder mehrere Fahrzeuginsassen auf der Rückbank, oder den Müdigkeitszustand und/oder andere Vitalwerte des einen oder der mehreren Fahrzeuginsassen zu erfassen. Ferner kann beispielsweise eine Identität eines Fahrzeuginsassen erfasst werden.
Figurenliste
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in den nachfolgenden Beschreibungen näher erläutert. Für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente werden gleiche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung der Elemente verzichtet wird. Es zeigen:

1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 eine schematische Darstellung eines Teils eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 eine schematische Darstellung eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
4 eine schematische Darstellung eines Blockdiagramms gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.

Ausführungsformen der Erfindung:
1 zeigt eine schematische Darstellung eines Fahrzeugs 20 mit einer Vorrichtung 22 zum Ermitteln einer Aufmerksamkeit eines Fahrers 24 in einem zumindest teilweise autonom fahrenden Fahrzeug 20 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Mittels der Vorrichtung 22 kann ein Verfahren gemäß dem Verfahren gemäß 3 und/oder 4 ausgeführt werden.
Das Fahrzeug 20 kann insbesondere als Kraftfahrzeug, beispielsweise als Auto, ausgebildet sein. Das Fahrzeug 20 ist als zumindest teilweise autonom fahrendes Fahrzeug 20 ausgebildet. Mit anderen Worten kann das Fahrzeug 20 zumindest teilweise autonom fahren. Beispielsweise kann das Fahrzeug 20 in bestimmten Situationen in einen autonomen Fahrmodus versetzt werden. In einem autonomen Fahrmodus kann das Fahrzeug 20 insbesondere von allein steuern. Beispielsweise kann das Fahrzeug 20 auf einer Autobahn oder in einem Stau in einem autonomen Fahrmodus versetzt werden. Das Fahrzeug kann insbesondere einen Innenraum 26 und eine Windschutzscheibe 28 aufweisen.
Die Vorrichtung 22 umfasst eine Anzeigevorrichtung 30 zum Darstellen zumindest eines Symbols für den Fahrer 24 an verschiedenen Positionen auf der Windschutzscheibe 28 des Fahrzeugs 20 in einer Abfolge während eines autonomen Fahrmodus des Fahrzeugs 20 oder während eines manuellen Fahrmodus des Fahrzeugs 20. Die Symbole können gemäß 2 auf der Windschutzscheibe 28 dargestellt werden. Mit anderen Worten ist die Anzeigevorrichtung 30 ist zu einer Anzeige zumindest einer Bilddarstellung für einen Betrachter 24 der Anzeigevorrichtung 30, hier dem Fahrer 24 des Fahrzeugs 20. Die Bilddarstellung kann beispielsweise als Symbol ausgebildet sein. Die Anzeigevorrichtung 30 kann insbesondere in der Windschutzscheibe 28 angeordnet sein. Beispielsweise kann die Anzeigevorrichtung 30 als ein transparentes Display in der Windschutzscheibe 28 ausgebildet sein. In einer Weiterentwicklung kann ein transparentes Display auf der Windschutzscheibe 28 angeordnet sein.
In einer vorteilhaften Ausführung kann die Anzeigevorrichtung 30 als Projektionsvorrichtung 30 ausgebildet sein. Die Projektionsvorrichtung 30 ist vorzugsweise ausgebildet zu einer Anzeige bzw. zum Darstellen zumindest einer Bilddarstellung für einen Betrachter 24 der Projektionsvorrichtung 30. Ein Betrachter 24 kann insbesondere ein Fahrzeuginsasse 24, zum Beispiel ein Fahrer und/oder ein Beifahrer des Fahrzeugs 20 sein, welcher sich in dem Innenraum 26 des Fahrzeugs 20 befindet. Die Projektionsvorrichtung 30 ist derart in dem Fahrzeug 20 angeordnet, dass ein Betrachter 24 die mittels der Projektionsvorrichtung 30 dargestellten Informationen betrachten kann. In dieser vorteilhaften Ausführung ist der Betrachter 24 der Fahrer 24 des Fahrzeugs. Die Projektionsvorrichtung 30 kann beispielsweise in einer Instrumententafel bzw. einem Armaturenbrett des Fahrzeugs 20 angeordnet werden. Alternativ oder zusätzlich kann die oder eine weitere Projektionsvorrichtung 30 an einer anderen Stelle in dem Fahrzeug 20 angeordnet sein, beispielsweise an einem Fahrzeugdach, an einem Rückspiegel oder an einer Säule des Fahrzeugs 20, zum Beispiel an der A-Säule und/oder der B-Säule.
Die Projektionsvorrichtung 30 sendet insbesondere Lichtstrahlen in Richtung der Windschutzscheibe 28. Die Windschutzscheibe 28 kann hierfür insbesondere als Anzeigefläche ausgebildet sein. Beispielsweise kann in oder an der Windschutzscheibe 28 ein holographisches Element bzw. eine Streufläche angeordnet bzw. integriert sein. Mittels der von der Protektionsvorrichtung 30 ausgesendeten Lichtstrahlen kann auf der Windschutzscheibe 28 eine Bilddarstellung dargestellt werden. Mittels der Projektionsvorrichtung 30 können Informationen bezüglich des Fahrzeugs, beispielsweise Fahrzeugzustandsinformationen bzw. Informationen über einen Fahrzeugmodus, wie beispielsweise eine Geschwindigkeit und/oder eine Drehzahl und/oder eine Temperatur und/oder eine Tankfüllung und/oder Navigationshinweise und/oder Informationen eines Fahrzeug Entertainmentsystems und/oder weitere Informationen, welche für den Betrieb eines Fahrzeugs verwendet werden können, angezeigt werden. Weiterhin können mittels der Projektionsvorrichtung 30 die Symbole auf der Windschutzscheibe dargestellt werden. Die Projektionsvorrichtung 30 kann ein reales Bild auf der Windschutzscheibe 28 erzeugen. In einer alternativen Ausführung kann die Positionsvorrichtung 30 als Head-up-Display ausgebildet sein und ein virtuelles Bild erzeugen.
Die Vorrichtung 22 umfasst in dieser vorteilhaften Ausführung ferner eine Beobachtungsvorrichtung 32 zum Beobachten des Innenraumes 26 und/oder der Fahrzeuginsassen 24 und somit insbesondere des Fahrers 24. Die Beobachtungsvorrichtung 32 kann auch als Beobachtungssystem und/oder als Insassenbeobachtungssystem und/oder als Überwachungssystem bezeichnet werden. Die Beobachtungsvorrichtung 32 kann beispielsweise ausgebildet sein eine Blickrichtung, eine Körperhaltung und/oder die Position des Kopfes bzw. des Gesichts bzw. der Augen des Fahrzeuginsassen 24 oder den Müdigkeitszustand und/oder andere Vitalwerte des Fahrzeuginsassen 24 zu erfassen. Ferner kann beispielsweise eine Identität des Fahrzeuginsassen 24 erfasst werden. Zum Beobachten des Fahrzeuginsassen 24 kann die Beobachtungsvorrichtung 32 eine Beleuchtungseinheit zum Aussenden von Lichtstrahlen, insbesondere Infrarotstrahlen, und eine Aufnahmeeinheit aufweisen. Die Beobachtungsvorrichtung 32 kann insbesondere in einem Armaturenbrett, in einer Instrumententafel, an einem Fahrzeugdach, an einem Rückspiegel oder an einer Säule, zum Beispiel an einer A-Säule und/oder einer B-Säule des Fahrzeugs 20 angeordnet sein.
Die Beleuchtungseinheit ist insbesondere in Richtung des Fahrzeuginsassen 24 und somit in Richtung des Fahrzeugsitzes gerichtet, um den Fahrzeuginsassen 24 mit Lichtstrahlen, insbesondere mit Infrarotstrahlen, anzustrahlen. Mit anderen Worten werden mittels der Beleuchtungseinheit Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung des Fahrzeuginsassen 24 ausgesendet. Die Beleuchtungseinheit kann zum Beispiel als Leuchteinheit, Leuchtelement, Leuchtdiode, LED, OLED und/oder Laserdiode ausgebildet sein und/oder eine Leuchteinheit, ein Leuchtelement, eine Leuchtdiode, eine LED, OLED und/oder eine Laserdiode aufweisen. Die Aufnahmeeinheit kann beispielsweise als Bildaufnahmeeinheit, zum Beispiel als Sensor bzw. als Kamera ausgebildet sein, insbesondere als Infrarot-Kameramodul, wobei die Aufnahmeeinheit in Richtung des Fahrers 24, um den Fahrer 24 visuell zu erfassen. Durch die Ausbildung als Infrarot-Kameramodul ist es möglich, die Beobachtung auch nachts durchzufuhren, ohne dass der Fahrer 24 hell angeleuchtet und dadurch geblendet werden würde.
Mit anderen Worten ist Beobachtungsvorrichtung 32 ausgebildet zum Beobachten eines Fahrzeuginnenraums eines Fahrzeugs. Die Beobachtungsvorrichtung 32 weist eine Beleuchtungseinheit zum Aussenden von Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung des Fahrzeuginnenraums und eine Aufnahmeeinheit zum Aufnehmen von Lichtstrahlen, insbesondere Infrarotstrahlen, wobei die von der Beleuchtungseinheit ausgesendeten Lichtstrahlen, insbesondere Infrarotstrahlen, an bzw. in dem Fahrzeuginnenraum reflektierbar sind und wobei die reflektierten Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung der Aufnahmeeinheit lenkbar sind.
Weiterhin umfasst die Vorrichtung 22 eine Steuereinheit 34 zum Empfangen von Daten der Beobachtungsvorrichtung 32. Die Steuereinheit 34 ist ausgebildet zur Ansteuerung Beobachtungsvorrichtung 32 und/oder der Anzeigevorrichtung 30. Weiterhin ist die Steuereinheit 34 ausgebildet zur Verarbeitung der Daten der Beobachtungsvorrichtung 32.
Mittels der Anzeigevorrichtung 30 wird zumindest ein Symbol für den Fahrer 24 an verschiedenen Positionen auf der Windschutzscheibe 28 des Fahrzeugs 20 in einer Abfolge während eines autonomen Fahrmodus des Fahrzeugs 20 oder während eines manuellen Fahrmodus des Fahrzeugs 20 dargestellt. Die Darstellung des Symbols kann beispielsweise gemäß 2 ausgebildet sein. Die Symbole werden insbesondere lediglich während eines autonomen Fahrmodus des Fahrzeugs 20 oder während eines manuellen Fahrmodus des Fahrzeugs 20 dargestellt. Ein Symbol kann beispielsweise eine definierte Form aufweisen, beispielsweise als ein Kreis, ein Rechteck, ein Stern oder eine andere Form. In einer Weiterentwicklung kann das Symbol auch als eine fiktive Person ausgebildet sein. In einer Weiterentwicklung kann der Fahrer beispielsweise das Symbol auch selbst auswählen und/oder individualisieren. Vorzugsweise wird das Symbol an unterschiedlichen Positionen gemäß einer vorgegebenen bzw. definierten Abfolge auf der Windschutzscheibe 28 dargestellt. Das Symbol kann an den unterschiedlichen Positionen insbesondere für eine definierte Zeitdauer dargestellt werden. In einer Weiterentwicklung kann das Symbol an unterschiedlichen Positionen für eine jeweils unterschiedliche Zeitdauer dargestellt werden. In einer vorteilhaften Ausführung können verschiedene Symbole an unterschiedlichen Positionen auf der Windschutzscheibe 28 dargestellt werden. Somit kann beispielsweise zunächst ein Kreis und anschließend ein Rechteck dargestellt werden. In einer Weiterentwicklung können verschiedene Symbole gleichzeitig an verschiedenen Positionen auf der Windschutzscheibe 28 dargestellt werden. Zusätzlich kann zu den Symbolen in einer Weiterentwicklung ein Audiosignal ausgegeben werden. Das Audiosignal kann beispielsweise über einen Lautsprecher ausgegeben werden. Vorteilhafterweise können unterschiedliche Audiosignale zu unterschiedlichen Symbolen und/oder unterschiedlichen Positionen ausgegeben werden.
In einer vorteilhaften Ausgestaltung können die Symbole an Positionen auf der Windschutzscheibe 28 dargestellt werden, welche mit anderen Verkehrsteilnehmern oder Objekten in einer Umgebung des Fahrzeugs 20 überlagern. Hierfür kann insbesondere mittels einer Überwachungsvorrichtung die Umgebung des Fahrzeugs 20 beobachtet und analysiert werden. Hierdurch können insbesondere andere Verkehrsteilnehmer und/oder Objekte identifiziert werden. Mittels eines Auswertealgorithmus können die Verkehrsteilnehmer und/oder Objekte klassifiziert werden. Die Symbole auf der Windschutzscheibe 28, welche durch die Anzeigevorrichtung 30 dargestellt werden, können insbesondere überlagert zu den anderen Verkehrsteilnehmern und/oder Objekten in der Umgebung des Fahrzeugs 20 dargestellt werden. Mit anderen Worten können die Symbole auf der Windschutzscheibe 28 an der Position dargestellt werden, welche in eine Blickrichtung des Fahrers 24 mit den anderen Verkehrsteilnehmern bzw. Objekten überlagert werden.
Die Steuereinheit 34 ist ausgebildet zum Ermitteln, ob der Fahrer 24 der Abfolge der Darstellung des Symbols mit seinem Blick folgt mittels der Daten der Beobachtungsvorrichtung 32. Hierfür werden die Daten, insbesondere Bilder oder Videosequenzen, der Beobachtungsvorrichtung 32 bereitgestellt. Zur Auswertung des Blicks kann beispielsweise eine Kopfbewegung und/oder eine Augenbewegung, zum Beispiel der Pupillen, des Fahrers 24 analysiert werden. Eine Aufmerksamkeit des Fahrers wird dann festgestellt, wenn ermittelt wird, dass der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick folgt. Eine Aufmerksamkeit des Fahrers wird dann nicht festgestellt, wenn ermittelt wird, dass der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick nicht folgt. Mit anderen Worten kann ermittelt werden, ob der Fahrer 24 die Symbole an unterschiedlichen Positionen wahrnimmt und somit konzentriert ist. Hierdurch kann darauf geschlossen werden, dass der Fahrer 24 sich auch auf das Fahrergeschehen konzentriert.
In einer Weiterentwicklung können auch zusätzlich ein Blinzelverhalten des Fahrers 24, insbesondere ein Blick oder Lidverschluss, ermittelt werden. Weiterhin können Lenkwinkeldaten, eine Spurhaltefrequenz und die Zeit, die der Fahrer benötigt, um auf Aufmerksamkeits-Erinnerungen zu reagieren ermittelt werden. Hierdurch kann das Verfahren zum Ermitteln der Aufmerksamkeit mit weiteren Daten unterstützt und belegt werden.
Wenn eine Aufmerksamkeit des Fahrers 24 nicht festgestellt wird, kann eine Warnung ausgegeben werden. Die Warnung kann insbesondere mittels der Anzeigevorrichtung 30 und/oder weitere Anzeigevorrichtungen dargestellt werden. Alternativ oder zusätzlich kann eine Warnung durch ein Audiosignal, zum Beispiel mittels eines Lautsprechers, ausgegeben werden. Alternativ oder zusätzlich kann der autonome Fahrmodus des Fahrzeugs beendet werden, wenn eine Aufmerksamkeit des Fahrers 24 nicht festgestellt wird. Zudem kann der Fahrer 24 zur Übernahme des Fahrzeugs 20, und somit zu manuellen Steuerung des Fahrzeugs 20, aufgefordert werden, wenn eine Aufmerksamkeit des Fahrers 24 nicht festgestellt wird. Reagiert der Fahrer 24 nicht, so kann das Fahrzeug 20 zu einem sicheren Stopp geführt werden. Beispielsweise kann das Fahrzeug 20 sicher an einem Straßenrand abgestellt und somit zu einem sicheren Stopp geführt werden, insbesondere unter Berücksichtigung der Umgebung des Fahrzeugs 20 und/oder der Verkehrssituation.
Mit anderen Worten wird kann mittels der Vorrichtung 22 ein Konzept zur Driver Response Task realisiert werden. Mittels der Vorrichtung können während eines autonomen Fahrzyklus bzw. einer Level 2 Handfree-Fahrt bzw. L2-HF-Fahrt animierte Projektionen auf der Windschutzscheibe, beispielsweise mittels einer Projektionsvorrichtung und/oder einem Head-up-Display, anzeigt werden. Mittels der Beobachtungsvorrichtung bzw. Driver Monitoring Kamera bzw. DMC kann überprüft werden, ob diese von dem Fahrer 24 beobachtet und somit wahrgenommen werden. Wird erkannt, dass der Fahrer die Symbole nicht wahrnimmt, kann darauf geschlossen werden, dass dieser unkonzentriert ist, wodurch eine Warnkaskade gestattet wird. Mittels der Warnkaskade kann der Fahrer dahingehend informiert werden, dass dieser das Fahrergeschehen wieder beobachten soll und somit seine Beobachtungsaufgabe fortsetzen bzw. wiederaufnehmen soll.
Wenn der Fahrer 24 nicht reagiert, dann können die Warnhinweise nach gewisser Zeit dringlicher werden und insbesondere eskalieren. Beispielsweise können Erinnerungen und die Anzahl an Warnungen, die Frequenz der Warnungen und/oder die verschiedenen Medien zur Präsentation der Warnungen erhöht werden. So kann eine Anzeige der Warnung und/oder ein Audiosignal als Warnung ausgegeben werden. Weiterhin kann zusätzlich oder alternativ zu der Anzeige und/oder des Audiosignals ein haptisches Signal, zum Beispiel über den Sitz, ausgegeben werden. Hierdurch können Warnungen visuell und/oder hörbar und/oder taktile bzw. spürbar für den Fahrer 24 ausgegeben bzw. präsentiert werden. Sollte der Fahrer 24 auf all diese Warnungen reden nicht reagieren, so kann eine Bremsung des Fahrzeugs 20 zu einem sicheren Stopp, vorzugsweise unter Berücksichtigung der Umgebung des Fahrzeugs 20 und/oder der Verkehrssituation, durchgeführt werden. Insbesondere kann der autonome Fahrzyklus bei Erkennen einer Unaufmerksamkeit des Fahrers 24 beendet werden.
Mit anderen Worten soll mittels der Vorrichtung 22 ein Symbol bzw. ein animiertes Objekt angezeigt werden, wobei der Fahrer 24 diesem mit seinen Augen und/oder mittels einer Kopfbewegung folgt. Dies wird von einer oder mehreren Innenraumkameras 32, beispielsweise einer DMC und/oder einer OMC beobachtet und anschließend mittels einer Steuereinheit 34 analysiert. Hierbei wird entschieden, ob die Augenbewegung und/oder die Kopfbewegung mit der Bewegung des Symbols bzw. des animierten Objekts auf der Windschutzscheibe 28 übereinstimmt. Stimmt dies überein, so wird davon ausgegangen, dass der Fahrer aufmerksam ist.
Wenn ein Fahrer 24 einen autonomen Fahrzyklus bzw. eine Level 2 Handfree-Fahrt bzw. L2-HF-Fahrt aktiviert, bleibt er verantwortlich, den Verkehr rund um das Fahrzeug 20 zu beobachten und das System, zum autonomen Fahren, zu überwachen. Die Überwachung des Systems ohne selbst zu fahren bzw. ohne manuell zu fahren kann zu Langeweile des Fahrers 24 führen und das Risiko eines Systemmissbrauchs erhöhen. Beispiele für Missbrauch sind das Ansehen eines Videos oder das Schreiben einer Nachricht auf dem Smartphone. Mittels der Vorrichtung kann eine Aufmerksamkeit des Fahrers 24 verfolgt werden, um zu entscheiden, ob ein Eskalationsverfahren bei einer Unaufmerksamkeit des Fahrers 24 ausgelöst werden soll.
Während der Fahrer 24 in einem autonomen Fahrzyklus bzw. im L2-HF-Modus fährt, verfolgt die Vorrichtung die Blickaktivität des Fahrers 24, um zu bewerten, ob der Fahrer 24 auf die Fahrsituation aufmerksam ist oder nicht. Mittels der Projektionsvorrichtung 30 der Vorrichtung 22 wird eine animierte oder statische Projektion, zum Beispiel als Symbol und/oder Animation, auf der Windschutzscheibe 28 dargestellt. Der Fahrer 24 sollte dem Symbol bzw. der Abfolge des Symbols bzw. der Animation mit den Augen und/oder dem Blick folgen. Die Beobachtungsvorrichtung 32 bzw. Kamera zur Überwachung des Fahrers 24 und/oder der Insassen überwacht den Blick und/oder die Kopfposition des Fahrers 24, wobei der Blick des Fahrers 24 erkannt und verfolgt wird. Wenn der Blick und/oder die Kopfbewegung und Richtung zu der Bewegung der animierten Projektion passt bzw. sich diese einen gewissen Grad überlagern, ist es sehr wahrscheinlich, dass der Fahrer aufmerksam ist.
Mit anderen Worten wird die Abfolge der Positionen der auf der Windschutzscheibe 28 angezeigten Symbole mit der Blickrichtung bzw. Blickverfolgung des Fahrers 24 verglichen. Vorteilhafterweise wird der Pfad der angezeigten Symbole mit dem Pfad der Blickverfolgung des Fahrers 24 verglichen. Stimmen diese beiden Pfade überein, insbesondere über einem bestimmten Schwellenwert der Übereinstimmung, so kann davon ausgegangen werden, dass der Fahrer die angezeigten Symbole auf der Windschutzscheibe 28 verfolgt und daher aufmerksam ist.
Die Symbole können als feste Symbole bzw. als einfach farbige Markierung oder als animierte Projektion dargestellt werden. Beispielsweise kann das Symbol bzw. die Markierung von einer Position zu einer anderen Position springen. Dies kann beispielsweise gemäß 2 dargestellt werden. Zum Beispiel kann das Symbol von einer Mitte der Windschutzscheibe 28 in eine Ecke der Windschutzscheibe 28 springen. Das Symbol kann die Farbe und/oder die Form wechseln. In einer alternativen Ausführungsform kann das Symbol als blinkender Punkt oder als Figur bzw. Comic-Figur dargestellt werden. Beispielsweise kann mittels der Symbole an verschiedenen Position eine Art Comic erzählt werden. Der Fahrer 24 kann das Symbol vorteilhafterweise personalisieren und so selbst auswählen, was angezeigt werden soll. Hierdurch kann die Darstellung interessanter gestaltet werden. Zur Optimierung der Darstellung des Symbols und der Beobachtung des Fahrers 24 bzw. der Auswertung der Blickverfolgung und somit der Überprüfung der Aufmerksamkeit können Benutzertests durchgeführt werden und somit mittels maschinellen Lernen das auswerten und analysieren bzw. das Verfahren verbessert werden. Ferner muss ein Kompromiss zwischen einer Ablenkung des Fahrers 24 durch die Symbole und Erhöhung der Aufmerksamkeit des Fahrers 24 gefunden werden.
In einer alternativen Ausführungsform können für das automatisierte Fahren der SAE-Stufen 3 und 4 die visuellen Hinweise als Spaßfunktion dienen. In diesem Fall wäre das Design der Symbole in Größe und Lage weniger eingeschränkt, da die Fahrer 24 die Umgebung nicht unbedingt überwachen müssen. Dennoch können die Symbole dazu dienen, das Situationsbewusstsein des Fahrers 24 zu erhöhen und die Übernahmeleistung im Falle eines notwendigen manuellen Steuerns des Fahrzeugs 20 zu steigern.
Mit anderen Worten kann die Vorrichtung ein DRT Computer System aufweisen, wobei mittels der Vorrichtung eine Darstellung auf der Windschutzscheibe 28 dargestellt werden kann, beispielsweise mittels einer Projektionsvorrichtung 30, eines Head-up Displays und/oder eines transparenten Displays in der Windschutzscheibe 28. Mittels der Beobachtungsvorrichtung 32, zum Beispiel einer Fahrerüberwachungskamera und/oder eine Fahrzeuginsassenüberwachungskamera, können die Blicke des Fahrers 24 beobachtet werden. Zusätzlich zu der Anzeige von Symbolen können Audiosignale ausgegeben werden, zum Beispiel spezielle Klänge passend zu den Bewegungen der Symbole. Beispielsweise können unterschiedliche Lautsprecher im Fahrzeug 20 unterschiedlich angesteuert werden und somit die Bewegung der Symbole, zum Beispiel von links nach rechts oder von rechts nach links, unterstützen. Je nach Situation, zum Beispiel nach der Dringlichkeit, kann der Klang freundlich oder aggressiv ausgebildet sein. Herrscht eine kritische Situation vor, in der der Fahrer 24 des Fahrzeugs 20 schnell manuell übernehmen muss, so kann ein aggressiver Ton, insbesondere ein lauterer Ton, ausgegeben werden. In einer Weiterentwicklung können die Audiosignale auch als Beeps, Umgebungsgeräusche oder Bremsgeräusche ausgebildet sein.
In einer vorteilhaften Ausführung kann der Fahrer 24 die ausgegebenen Symbole und Schriften oder Warnungen innerhalb vorgegebener Grenzen individuell einstellen bzw. konfigurieren. Der Fahrer 24 kann beispielsweise die Form und/oder Größe des Symbols bzw. Animation bzw. Projektion individualisieren. Das Symbol kann so zum Beispiel eine große Kugel oder ein kleines Rechteck oder weitere Formen darstellen. Der Fahrer 24 kann weiterhin individualisieren, ob immer das gleiche Symbol angezeigt werden soll oder ob die Symbole über die Zeit variieren. Weiterhin kann der Fahrer 24 die Farben konfigurieren, so kann das Symbol beispielsweise monochrom oder bunt ausgebildet sein, immer die gleiche Farbe aufweisen oder die Farbe mit der Zeit wechseln. Beispielsweise kann der Fahrer 24 auch die Geschwindigkeit der Animationen individualisieren, wobei die Animationen beispielsweise statisch, sehr langsam, langsam, schnell oder impulsartig wechseln können. Weiterhin kann der Fahrer 24 beispielsweise die Anzahl und/oder Art der parallel angezeigten Animationen, wie zum Beispiel eine Kugel und ein Dreieck gleichzeitig rotieren, einstellen. In einer Weiterentwicklung kann der Fahrer 24 auch einen animierten Comic zur Anzeige auf der Windschutzscheibe 28 an unterschiedlichen Positionen auswählen.
In einer Weiterentwicklung kann die Darstellung der Symbole auf der Windschutzscheibe 28 basierend auf vordefinierten Schwellen in dem autonomen Fahrzyklus ausgelöst werden, zum Beispiel einer Aufmerksamkeitsstufe, einer Schläfrigkeitsstufe, einer Zeit seit der letzten Darstellung und/oder einer Fahrzeit. Mit anderen Worten kann das Symbol in der Abfolge insbesondere dann auf der Windschutzscheibe 28 angezeigt werden, wenn das Fahrzeug 20 in dem autonomen Fahrzyklus ist und eine definierte Schwelle überschritten wird, zum Beispiel einer Aufmerksamkeitsstufe des Fahrers 24, einer Schläfrigkeitsstufe, einer Zeit seit der letzten Animation und/oder einer Fahrzeit. In einer Weiterentwicklung kann der Fahrer 24 die Darstellung der Symbole selbst starten. Mit anderen Worten kann die Darstellung der Symbole bzw. Animationen insbesondere basierend auf vordefinierten Schwellen ausgelöst werden oder vom Fahrer 24 selbst eingeschaltet werden.
Das Verfahren kann auch während eines manuellen Fahrmodus des Fahrzeugs 20 gestartet werden. Die Abfolge der Symbole können somit auch während eines manuellen Fahrmodus des Fahrzeugs 20 dargestellt werden. Hierbei muss darauf geachtet werden, dass der Fahrer 24 nicht durch die Symbole abgelenkt wird.
Beispielsweise kann die Vorrichtung mit einer Müdigkeitserkennung verknüpft werden. Sobald erkannt wird, dass der Fahrer 24 zu müde ist, um der manuellen Fahraufgabe nachzukommen, indem zum Beispiel eine Müdigkeitsschwelle überschritten wird, kann das Verfahren gestartet werden und die Symbole angezeigt werden. Die Müdigkeitserkennung kann zum Beispiel über Lenkbewegungen oder die Blinzelaktivität des Fahrers 24 erkannt werden.
Mit anderen Worten kann das Verfahren bzw. die Vorrichtung auch bei einem manuellen Fahren des Fahrzeugs 20 eingesetzt werden, um das Müdigkeitslevel des Fahrers 24 zu überprüfen und/oder um kurzzeitig die Aufmerksamkeit wieder zu erhöhen bzw. eine Warnstufe auszulösen, die den Fahrer 24 auf seine Müdigkeit hinweist.
Mit anderen Worten kann das Verfahren in Verbindung mit einer Müdigkeitserkennung auch bei manuellen Fahrten eingesetzt werden, insbesondere wenn das Fahrzeug 20 über ein Driver Monitoring verfügt. Als Beispiel könnte die Darstellung bzw. Projektion automatisch starten, sobald ein bestimmtes Müdigkeitslevel des Fahrers 24 überschritten wirde. Damit kann für eine gewisse Zeit die Aufmerksamkeit des Fahrers 24 wieder erhöht werden, oder falls festgestellt wird, dass der Fahrer 24 nicht auf die Animationen reagiert, eine entsprechend hohe Warnstufe aktiviert werden. Vorzugsweise kann eine Warnung bzw. Warnmeldung ausgegeben werden. Der Fahrer 24 kann zum Stoppen des Fahrzeugs 20 aufgefordert werden, wenn eine Aufmerksamkeit des Fahrers 24 nicht festgestellt wird. In einer weiteren Eskalation kann das Fahrzeugs 20 kontrolliert bis zum Stillstand abgebremst werden, wenn eine Aufmerksamkeit des Fahrers 24 nicht festgestellt wird, insbesondere unter Berücksichtigung der Umgebung des Fahrzeugs 20 und/oder der Verkehrssituation. Mit anderen Worten kann Das ein kontrolliertes Abbremsen, insbesondere bis zum Stillstand des Fahrzeugs 20, eingeleitet werden, insbesondere unter Berücksichtigung der Umgebung des Fahrzeugs 20 und/oder der Verkehrssituation.
2 zeigt eine schematische Darstellung eines Teils eines Fahrzeugs 20 mit einer Vorrichtung 22 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 22 kann gemäß der Vorrichtung 22 gemäß 1 ausgebildet sein. Die Vorrichtung 22 kann gemäß der Vorrichtung 22 gemäß 1 in dem Fahrzeug 20 angeordnet sein.
Im Unterschied wird auf der Windschutzscheibe 28 das Symbol 36 dargestellt. In dieser vorteilhaften Ausführung das Symbol 36 als Stern dargestellt. Das Symbol 36 kann auch eine andere Form aufweisen. Das Symbol 36 ist an einer ersten Position 38 auf der Windschutzscheibe 28 dargestellt. Anschließend wird das Symbol 36 entlang des Pfeils 40 verschoben zu einer zweiten Position 42. Während des Verschiebens kann das Symbol 36 weiterhin angezeigt werden oder alternativ kann das Symbol 36 verschwinden und an der zweiten Position 42 wiederauftauchen. Anschließend wird das Symbol 36 von der zweiten Position 42 entlang des Pfeils 44 zu einer dritten Position 46 verschoben. Während des Verschiebens kann das Symbol 36 weiterhin angezeigt werden oder alternativ kann das Symbol 36 an der zweiten Position 42 verschwinden und an der dritten Position 46 wiederauftauchen. Das Symbol 36 kann gleichermaßen an unterschiedlichen Positionen dargestellt werden. Die Zeitdauer der Darstellung des Symbols 36 an den unterschiedlichen Positionen, insbesondere der ersten Position 38, der zweiten Position 42 und/oder dritten Position 46, kann gleichmäßig sein oder unterschiedlich. Hierdurch ergibt sich ein Pfad der Darstellung des Symbols 36 auf der Windschutzscheibe 28. Der Pfad kann auch anders ausgebildet sein und die Darstellung mehrerer Symbole und/oder mehrere Positionen aufweisen.
3 zeigt eine schematische Darstellung eines Verfahrens 50 zum Ermitteln einer Aufmerksamkeit eines Fahrers in einem zumindest teilweise autonom fahrenden Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 50 kann auf einer Vorrichtung gemäß der Vorrichtung gemäß 1 und/oder 2 ausgeführt werden.
In einem ersten Schritt 52 des Verfahrens 50 wird zumindest ein Symbol für den Fahrer an verschiedenen Positionen auf einer Windschutzscheibe des Fahrzeugs in einer Abfolge während eines autonomen Fahrmodus des Fahrzeugs oder während eines manuellen Fahrmodus des Fahrzeugs 20 dargestellt. Die Symbole können auf einem definierten Pfad an unterschiedlichen Positionen angezeigt werden. In einer vorteilhaften Ausführung kann das Verfahren zum Ermitteln einer Aufmerksamkeit des Fahrers während eines autonomen Fahrmodus des Fahrzeugs gestartet werden. In einer Weiterentwicklung kann der Start des Verfahrens auch an unterschiedliche Schwellen geknüpft sein, wie beispielsweise eine Aufmerksamkeitsschwelle und/oder Müdigkeitsschwelle des Fahrers, wobei das Verfahren dann gestattet werden kann, wenn erkannt wird, dass der Fahrer müde ist. Alternativ oder zusätzlich kann der Fahrer das Verfahren selbst starten. In einer Weiterentwicklung kann das Verfahren 50 dann gestartet werden, wenn die Zeitspanne zu einer letzten Durchführung des Verfahrens eine gewisse Schwelle überschritten hat. Mit anderen Worten kann das Verfahren 50 nach einer gewissen Zeitdauer erneut gestartet werden. Eine Voraussetzung zum Starten des Verfahrens 50 kann insbesondere das Fahren im autonomen Fahrmodus bzw. im Level two des autonomen Fahrmodus bzw. im Level two Handfree Modus bzw. im L2 HF Modus sein.
Die Symbole können mittels einer Anzeigevorrichtung dargestellt werden. Vorteilhafterweise können die Symbole mittels einer Projektionsvorrichtung dargestellt werden. Das Symbol kann vorzugsweise für eine definierte Zeitdauer dargestellt werden. Beispielsweise kann das Symbol an unterschiedlichen Positionen für eine jeweils unterschiedliche Zeitdauer dargestellt werden. In einer Weiterentwicklung können insbesondere verschiedenen Symbole an unterschiedlichen Positionen dargestellt werden. Beispielsweise können die Symbole an Positionen auf der Windschutzscheibe dargestellt werden, welche mit anderen Verkehrsteilnehmern oder Objekten in einer Umgebung des Fahrzeugs überlagern. Vorzugsweise können verschiedene Symbole gleichzeitig an verschiedenen Positionen dargestellt werden. In einer Weiterentwicklung können zu den Symbolen ein oder mehrere Audiosignale ausgegeben werden.
In einem zweiten Schritt 54 des Verfahrens 50 werden Daten einer Beobachtungsvorrichtung zum Beobachten des Fahrers bereitgestellt. Hierfür kann in dem zweiten Schritt 54 der Fahrer mittels einer Beobachtungsvorrichtung beobachtet werden. Insbesondere können die Blicke des Fahrers beobachtet bzw. verfolgt werden. Hierbei kann beispielsweise eine Blickbewegung bzw. Blick Trajektorie aufgenommen werden.
In einem dritten Schritt 56 des Verfahrens 50 wird mittels der Daten der Beobachtungsvorrichtung ermittelt, ob der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick folgt. Eine Aufmerksamkeit des Fahrers wird dann festgestellt, wenn ermittelt wird, dass der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick folgt. Eine Aufmerksamkeit des Fahrers wird dann nicht festgestellt, wenn ermittelt wird, dass der Fahrer der Abfolge der Darstellung des Symbols mit seinem Blick nicht folgt. Insbesondere können die verfolgten Blicke des Fahrers analysiert werden. Beispielsweise kann die Blickbewegung bzw. Blick Trajektorie analysiert werden. Die Blickbewegung des Fahrers können mit dem Pfad der auf der Windschutzscheibe dargestellten Symbole verglichen werden. Stimmt die Blickbewegung des Fahrers mit dem Pfad der auf der Windschutzscheibe dargestellten Symbole zu einem gewissen Level bzw. Grad bzw. Schwellwert über ein, so kann davon ausgegangen werden, dass der Fahrer mit seinem Blick der Abfolge der Symbole auf dem Pfad folgt. Somit kann aufgeschlossen werden, dass der Fahrer aufmerksam ist. Stimmt die Blickbewegung des Fahrers mit dem Pfad der auf der Windschutzscheibe dargestellten Symbole nicht zu einem gewissen Level bzw. Grad bzw. Schwellwert über ein bzw. weniger als eine definierte Schwelle überein, so kann davon ausgegangen werden, dass der Fahrer mit seinem Blick der Abfolge der Symbole auf dem Pfad nicht folgt. Somit kann aufgeschlossen werden, dass der Fahrer nicht aufmerksam ist.
In einem vierten Schritt 58 des Verfahrens 50 kann in einer vorteilhaften Ausgestaltung eine Warnung ausgegeben werden, wenn eine Aufmerksamkeit des Fahrers nicht festgestellt wird. Alternativ oder zusätzlich kann der autonome Fahrmodus des Fahrzeugs beendet und der Fahrer zur Übernahme des Fahrzeugs aufgefordert werden, wenn eine Aufmerksamkeit des Fahrers nicht festgestellt wird. Wird eine Aufmerksamkeit erkannt, so kann statt einer Ausgabe einer Warnung das Verfahren 50 beendet werden. Das Verfahren 50 kann zu einem späteren Zeitpunkt erneut gestartet werden.
Mit anderen Worten löst das Verfahren 50 eine animierte Projektion auf der Windschutzscheibe aus und ermittelt, wie der Fahrer mit dem Blick der Projektion folgt bzw. auf diese reagiert. Wenn der Blick des Fahrers der Projektion einigermaßen schnell bzw. in gewissem Maße folgt, ist der Fahrer aufmerksam. Wenn der Blick des Fahrers der Projektion nicht folgt, ist der Fahrer nicht aufmerksam. In diesem Fall löst das Verfahren 50 Warnungen, insbesondere eine Eskalationsprozedur, aus.
4 zeigt eine schematische Darstellung eines Blockdiagramms einer Vorrichtung 22 zum Ermitteln einer Aufmerksamkeit eines Fahrers 24 in einem zumindest teilweise autonom fahrenden Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 22 kann gemäß der Vorrichtung gemäß 1 und/oder 2 ausgebildet sein. Auf der Vorrichtung 22 kann ein Verfahren gemäß dem Verfahren gemäß 3 ausgeführt werden.
Die Vorrichtung 22 umfasst insbesondere drei Funktionsblöcke. Ein erster Funktionsblock ist als Anzeigevorrichtung 30, zum Beispiel als Projektionsvorrichtung 30, ausgebildet zum Darstellen eines Symbols, beispielsweise einer animierten Projektion, auf der Windschutzscheibe 28. Der Fahrer 24 kann bzw. soll das dargestellte Symbol auf der Windschutzscheibe 28 insbesondere wahrnehmen. Ein zweiter Funktionsblock ist als Beobachtungsvorrichtung 32, zum Beispiel als Kamera, ausgebildet zum Beobachten des Fahrers 24. Mittels der Beobachtungsvorrichtung 32, welche als Fahrerbeobachtungskamera und/oder Insassenbeobachtungskamera ausgebildet sein kann, werden Bilder und/oder Videodaten aufgenommen und somit der Fahrer 24 überwacht.
Ein dritter Funktionsblock ist als Steuereinheit 34 ausgebildet zum Auslösen und Ansteuern der Anzeigevorrichtung 30 und zum Auswerten und Analysieren der Daten der Beobachtungsvorrichtung 32. Hierdurch kann der Pfad der dargestellten Symbole auf der Windschutzscheibe 28 mit der Blickverfolgung des Fahrers 24 verglichen werden. Die Interaktion der Funktionsblöcke untereinander und mit dem Fahrer 24 sind mittels Pfeilen dargestellt. Mit anderen Worten vergleicht die Steuereinheit 34 die Vorgaben der Ansteuerung der Anzeigevorrichtung 30 mit den Daten der analysierten Blick Verfolgung des Fahrers 24. Die Steuereinheit 34 vergleicht vorteilhafterweise die Richtung der Abfolge der Symbole bzw. der Animation mit der Blickverfolgung bzw. dem Weg der Blickverfolgung des Fahrers 24. Stimmen diese zu einem gewissen Grad, welche beispielsweise über einem definierten Schwellwert liegt, überein, so kann darauf geschlossen werden, dass der Fahrer mit seinem Blick die Abfolge der Symbole verfolgt. Der Schwellwert kann beispielsweise als Prozentwert ausgebildet sein. Hierdurch kann darauf geschlossen werden, dass der Fahrer aufmerksam ist und seiner Beobachtungsaufgabe der Umgebung des Fahrzeugs nachkommt. Wird eine Aufmerksamkeit des Fahrers dadurch erkannt, kann eine Anzeige von Symbolen und eine Beobachtung des Fahrers 24 beendet werden. Zu einem späteren Zeitpunkt kann dies erneut durchgeführt werden. Ein erneutes Starten kann beispielsweise nach einer gewissen Zeitdauer, Fahrzeit und/oder einer möglichen Unaufmerksamkeit des Fahrers 24 ausgelöst werden.
Wird erkannt, dass der Fahrer 24 unaufmerksam ist, so kann die Steuereinheit 34 eine oder mehrere Warnungen ausgeben. Insbesondere kann eine Warnungskaskade ausgelöst werden. Beispielsweise können Warnleuchten angesteuert werden, wobei diese insbesondere blinken können. Alternative oder zusätzlich können die Symbole auf der Windschutzscheibe 28 intensiver gestaltet und/oder blinkend dargestellt werden. Wenn erneut keine Aufmerksamkeit des Fahrers festgestellt wird, kann beispielsweise eine weitere Warnstufe ausgelöst werden, wobei beispielsweise eine akustische Warnung, beispielsweise durch eine Audiowiedergabe, ausgelöst wird. Als letzte Stufe der Warnkaskade kann beispielsweise der Fahrer aufgefordert werden das Fahren des Fahrzeugs durch eine manuelle Steuerung fortzusetzen und der autonome Fahrmodus kann beendet werden. Mit anderen Worten kann die Steuereinheit 34 ein Take Over Request bzw. TOR auslösen. Alternative oder zusätzlich kann das Fahrzeug zu einem sicheren Stopp geführt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2018231976 A1 [0001]

Claims

Verfahren (50) zum Ermitteln einer Aufmerksamkeit eines Fahrers (24) in einem zumindest teilweise autonom fahrenden Fahrzeug (20) mit den Schritten, Darstellen zumindest eines Symbols (36) für den Fahrer (24) an verschiedenen Positionen auf einer Windschutzscheibe (28) des Fahrzeugs (20) in einer Abfolge während eines autonomen Fahrmodus des Fahrzeugs (20) oder während eines manuellen Fahrmodus des Fahrzeugs (20), Bereitstellen von Daten einer Beobachtungsvorrichtung (32) zum Beobachten des Fahrers (24), Ermitteln mittels der Daten der Beobachtungsvorrichtung (32), ob der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick folgt, wobei eine Aufmerksamkeit des Fahrers (24) dann festgestellt wird, wenn ermittelt wird, dass der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick folgt und wobei eine Aufmerksamkeit des Fahrers (24) dann nicht festgestellt wird, wenn ermittelt wird, dass der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick nicht folgt.
Verfahren (50) nach einem der vorherigen Ansprüche mit einem Schritt des Startens des Verfahrens (50) zum Ermitteln einer Aufmerksamkeit des Fahrers (24) während eines autonomen Fahrmodus des Fahrzeugs (20).
Verfahren (50) nach einem der vorherigen Ansprüche mit einem Schritt des Beobachtens des Fahrers (24) mittels einer Beobachtungsvorrichtung (32).
Verfahren (50) nach einem der vorherigen Ansprüche, wobei das Symbol (36) für eine definierte Zeitdauer dargestellt wird.
Verfahren (50) nach einem der vorherigen Ansprüche, wobei das Symbol (36) an unterschiedlichen Positionen für eine jeweils unterschiedliche Zeitdauer dargestellt wird.
Verfahren (50) nach einem der vorherigen Ansprüche, wobei verschiedenen Symbole (36) an unterschiedlichen Positionen dargestellt werden.
Verfahren (50) nach einem der vorherigen Ansprüche, wobei die Symbole (36) an Positionen auf der Windschutzscheibe (28) dargestellt werden, welche mit anderen Verkehrsteilnehmern oder Objekten in einer Umgebung des Fahrzeugs (20) überlagern.
Verfahren (50) nach einem der vorherigen Ansprüche, wobei die Symbole (36) mittels einer Anzeigevorrichtung (30) dargestellt werden.
Verfahren (50) nach Anspruch 8, wobei die Anzeigevorrichtung (30) als Projektionsvorrichtung (30) ausgebildet ist.
Verfahren (50) nach einem der vorherigen Ansprüche, wobei verschiedene Symbole (36) gleichzeitig an verschiedenen Positionen dargestellt werden.
Verfahren (50) nach einem der vorherigen Ansprüche, wobei zu den Symbolen (36) ein Audiosignal ausgegeben wird.
Verfahren (50) nach einem der vorherigen Ansprüche, wobei eine Warnung ausgegeben wird, wenn eine Aufmerksamkeit des Fahrers (24) nicht festgestellt wird.
Verfahren (50) nach einem der vorherigen Ansprüche, wobei der autonome Fahrmodus des Fahrzeugs (20) beendet wird und der Fahrer (24) zur Übernahme des Fahrzeugs (20) aufgefordert wird, wenn eine Aufmerksamkeit des Fahrers (24) nicht festgestellt wird.
Vorrichtung (22) zum Ermitteln einer Aufmerksamkeit eines Fahrers (24) in einem zumindest teilweise autonom fahrenden Fahrzeug (20), wobei die Vorrichtung (22) eine Anzeigevorrichtung (30) aufweist zum Darstellen zumindest eines Symbols (36) für den Fahrer (24) an verschiedenen Positionen auf einer Windschutzscheibe (28) des Fahrzeugs (20) in einer Abfolge während eines autonomen Fahrmodus des Fahrzeugs (20) oder während eines manuellen Fahrmodus des Fahrzeugs (20) und wobei die Vorrichtung (22) eine Steuereinheit (34) aufweist zum Empfangen von Daten einer Beobachtungsvorrichtung (32) und zum Ermitteln, ob der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick folgt mittels der Daten der Beobachtungsvorrichtung (32), wobei eine Aufmerksamkeit des Fahrers (24) dann festgestellt wird, wenn ermittelt wird, dass der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick folgt und wobei eine Aufmerksamkeit des Fahrers (24) dann nicht festgestellt wird, wenn ermittelt wird, dass der Fahrer (24) der Abfolge der Darstellung des Symbols (36) mit seinem Blick nicht folgt.
Vorrichtung (22) nach Anspruch 14, wobei die Vorrichtung (22) eine Beobachtungsvorrichtung (32) aufweist zum Beobachten des Fahrers (24).