-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erhöhen der Aufmerksamkeit eines Fahrers eines Fahrzeugs, sowie ein Fahrzeug mit einer solchen Vorrichtung und ein Computerprogrammprodukt.
-
Die Überwachung der Aufmerksamkeit eines Fahrzeugführers (Fahrer) gewinnt in Hinblick auf ein zunehmend autonomes Fahren an Bedeutung. Je nach Autonomiestufe kann ein Fahrerüberwachungssystem notwendig sein, um die Aufmerksamkeit festzustellen und davon abhängig zu ermitteln, ob der Fahrer in der Lage wäre, das Fahrzeug zu führen, falls ein Fahren in einem autonomen Betriebsmodus nicht (mehr) möglich ist. Ist eine Übernahme des Fahrzeugs durch den Fahrer nötig, kann dies dem Fahrer beispielsweise mittels hör- und/oder sichtbarer Warnmeldungen signalisiert werden.
-
Gemäß der demnächst in einer überarbeiteten Fassung erscheinenden UN/ECE-Regelung Nr. 79 wird voraussichtlich eine Unterscheidung zwischen einem sog. „hands-on“ Fahren, bei dem Fahrer das Fahrzeug führt und einem „hands-off“ Fahren, bei dem der Fahrer seine Hände nicht am Lenkrad hält und sich das Fahrzeug in einem autonomen Betriebsmodus mit sog. Längs- und Querunterstützung befindet, vorgenommen werden. Das Fahren im „Hands-off“ Modus ermöglicht es dem Fahrer also, seine Hände vom Lenkrad zu nehmen, während die Längs- und Querkontrolle des Fahrzeugs vom Fahrzeug selbst übernommen wird.
-
Insbesondere für das „hands-off“ Fahren werden zusätzliche Anforderungen an die Fahrerüberwachung gestellt werden, so dass umfangreiche Maßnahmen zur Prüfung der Aufmerksamkeit des Fahrers erforderlich sein werden. Die Dauer der Phasen mit autonomen Betriebsmodus wird abhängig von der Aufmerksamkeit und Leistungsfähigkeit des Fahrers sein. Beispielsweise können Fahrer mit geringer Aufmerksamkeit in kurzen Abständen, z. B. aller 10 Sekunden, mittels hör- und/oder sichtbarer Warnmeldungen daran aufgefordert werden, die Fahrzeugkontrolle wieder zu übernehmen, d. h. das Fahren im autonomen Betriebsmodus zu beenden. Aufmerksamen Fahrer kann hingegen gestattet werden auch für eine längere Zeitdauer, z. B. für eine Zeitdauer von mehr als einer Minute, ihre Hände vom Lenkrad zu nehmen, ohne dass eine entsprechende Warnmeldung ausgegeben wird.
-
Sowohl zur Ermittlung und Bewertung der Aufmerksamkeit des Fahrers als auch in Hinblick auf die Maßnahmen, die bei einer zu geringen Aufmerksamkeit ergriffen werden, sind mehrere Möglichkeiten bekannt.
-
Beispielsweise offenbart die
DE 10 2012 213 965 A1 ein Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers, wobei der Fahrer fortlaufend in zeitlichen Abständen aufgefordert wird, unterschiedliche Aufgaben im Fahrzeug durchzuführen. Die Erfüllung der Aufgabe wird ausgewertet und der Automatisierungsgrad je nach Ergebnis beibehalten oder verringert oder das Fahrzeug wird gestoppt.
-
Die
WO 2016/008887 A1 beschreibt ein Verfahren, bei dem eine Kommunikationsverbindung zwischen einem Fahrerassistenzsystem und einem mobilen Kommunikationsgerät des Fahrers hergestellt wird. In Abhängigkeit eines ermittelten Zustands des Fahrers und/oder einer ermittelten Fahrsituation wird das mobile Kommunikationsgerät in einen bestimmten Betriebszustand versetzt.
-
US 8,022,831 B1 offenbart ein System, das den Fahrer in eine Konversation einbindet, so dass der Fahrer anhand festgelegter Fragen wach gehalten wird, während das System eine Möglichkeit zum Anhalten ermittelt und diese dem Fahrer als nächstes Fahrziel anbietet.
-
Aus der
US 7,982,620 B2 ist ein Verfahren bekannt, bei dem die Langeweile des Fahrers abgeschätzt wird. Wird ermittelt, dass dem Fahrer langweilig ist, wird dieser mit Spielen, Witzen oder vorprogrammierten Fragen adressiert.
-
Einige der bekannten Verfahren basieren auf der Ausgabe von Warnungen, z. B. in Form von lauten Signalen oder autonomen Eingriffe, wie z. B. kurzen Bremsvorgängen. Derartige Warnungen können für den Fahrer verwirrend sein, beispielsweise, falls sich der Fahrer gerade auf eine andere Aufgabe konzentriert und plötzlich von einem lauten Signal oder autonomen Eingriffen überrascht wird.
-
Dies kann dazu führen, dass der Fahrer nicht sofort in der Lage ist, die Herkunft des Signals und dessen Ursache zu ermitteln, so dass der Fahrer im Vergleich zu einem aufmerksamen Fahrer eine größere Reaktionszeit benötigt, um die eigentliche Gefahrenquelle zu erkennen. Die Komplexität der automatisierten Fahrfunktionen und die große Anzahl an Warnsystemen innerhalb des Fahrzeugs vergrößern zudem die Herausforderung für den Fahrer, eine Gefahrenquelle sofort zu erkennen, um angemessen reagieren zu können.
-
Die Erfinder haben zudem erkannt, dass keines der bekannten Verfahren den Fahrer nach Feststellung einer verringerten Aufmerksamkeit wieder aktiv in den Fahrprozess einbindet. Vielmehr werden entweder externe Maßnahmen ergriffen, wie z. B. Ermitteln eines Parkplatzes oder Kontaktieren von Familienangehörigen oder Freunden (
US 8,022,831 B1 ), Reduzierung des Automatisierungsgrads (
DE 10 2012 213 965 A1 ) oder es wird unabhängig von der Fahrsituation versucht, die Aufmerksamkeit des Fahrers mit Spielen und ähnlichem zu erhöhen (
US 7,982,620 B2 ).
-
Aufgabe der vorliegenden Erfindung ist es daher, eine Möglichkeit anzugeben, mit der zumindest einige der zuvor beschriebenen Nachteile verringert oder beseitigt werden können, so dass die Fahrsicherheit erhöht werden kann. Insbesondere soll der Fahrer wieder aktiv in den Fahrprozess eingebunden werden.
-
Gelöst wird diese Aufgabe durch die Gegenstände der unabhängigen Ansprüche. Die abhängigen Ansprüche enthalten Ausführungsvarianten dieser erfindungsgemäßen Lösungen.
-
Grundgedanke der Erfindung ist es, nicht nur die Aufmerksamkeit des Fahrers festzustellen und ggf. entsprechende Warnungen auszugeben, sondern den Fahrer bei nachlassender Aufmerksamkeit wieder aktiv in den Fahrvorgang einzubinden, ohne dass dieser von Warnungen überrascht und verwirrt wird. Dies führt nicht lediglich zu einer allgemeinen Erhöhung der Aufmerksamkeit, sondern zu einer Erhöhung der Aufmerksamkeit bezüglich einer konkreten Fahrsituation.
-
Dazu ist eine aktive Kommunikation und Interaktion mit dem Fahrer während des Fahrens im autonomen Betriebsmodus des Fahrzeugs vorgesehen. Dazu können existierende Schnittstellen zwischen Fahrer und Fahrzeug (Human-Machine Interface, HMI) genutzt werden.
-
In Abhängigkeit der Aufmerksamkeit des Fahrers, die z. B. mittels eines Fahreraufmerksamkeitsüberwachungssystems ermittelt werden kann, wird eine Kommunikationsverbindung zum Fahrer hergestellt, z. B. mittels einer optischen Anzeige oder einer Audioausgabe und geeigneten Sensoren, wie z. B. Mikrofonen und/oder Kameras. Die Kommunikation wird automatisch gestartet, sobald eine verringerte Aufmerksamkeit des Fahrers festgestellt wird.
-
Die Kommunikation beinhaltet, dass dem Fahrer spezifische Fragen bezüglich der Fahrzeugumgebung gestellt werden, die dieser beantworten muss, um die Ausgabe von Warnungen (optisch, akustisch, haptisch) zu vermeiden.
-
Zur Beantwortung der Fragen ist der Fahrer darauf angewiesen, die Fahrzeugumgebung zu beobachten, um die zur Beantwortung der Frage notwendige Information zu erhalten. Dies führt zu einer Erhöhung der Aufmerksamkeit des Fahrers bezüglich der außerhalb und innerhalb des Fahrzeugs ablaufenden Vorgänge. Dadurch wird erreicht, dass der Fahrer bei Notwendigkeit die Fahrzeugführung ohne oder allenfalls mit geringer Verzögerung die Fahrzeugführung wieder selbst übernehmen kann.
-
Ein erfindungsgemäßes Verfahren zum Erhöhen der Aufmerksamkeit eines Fahrers eines Fahrzeugs weist die im Folgenden erläuterten Schritte auf. Unter einem Fahrzeug ist dabei jedes mobile Verkehrsmittel, d. h. sowohl ein Landfahrzeug als auch ein Wasser- oder Luftfahrzeug, z. B. ein Personenkraftwagen, zu verstehen. Das erfindungsgemäße Verfahren kann insbesondere zum Erhöhen der Aufmerksamkeit eines Fahrers eines Fahrzeugs genutzt werden, welches in einem autonomen Betriebsmodus, beispielsweise zu Beginn des erfindungsgemäßen Verfahrens, betrieben werden kann.
-
Zunächst wird die Aufmerksamkeit des Fahrers, geprüft. Unter Aufmerksamkeit kann beispielsweise das Ausmaß der Fähigkeit des Fahrers, das Fahrzeug und die Fahrzeugumgebung wahrzunehmen und entsprechend zu reagieren, verstanden werden. Die Aufmerksamkeit kann mit dem Fachmann bekannten Verfahren, beispielsweise den einleitend beschriebenen Verfahren, geprüft werden.
-
Ergibt die Prüfung der Aufmerksamkeit, dass die Aufmerksamkeit ausreichend ist, beispielsweise, dass eine bestimmte Reaktion schnell genug erfolgt, wird die Aufmerksamkeit des Fahrers zu einem späteren Zeitpunkt erneut geprüft. Die Aufmerksamkeit kann z. B. solange geprüft werden, bis eine zu geringe Aufmerksamkeit festgestellt wird, das Fahren in einem autonomen Betriebsmodus beendet wird oder das Fahrzeug geparkt wird.
-
Wird eine zu geringe Aufmerksamkeit des Fahrers festgestellt, wird die Fahrzeugumgebung detektiert, d. h. es werden Daten die Fahrzeugumgebung betreffend gewonnen, beispielsweise das aktuelle Verkehrsaufkommen, die aktuelle Höchstgeschwindigkeit, der Straßenverlauf etc.
-
Anschließend werden Aufgaben mit Bezug zur detektierten Fahrzeugumgebung formuliert und an den Fahrer ausgegeben. Der Fahrer sollte diese Aufgaben, z. B. innerhalb einer vorgegebenen Zeitspanne, lösen. Die Aufgabenlösungen werden empfangen und die Erfüllung der Aufgaben ausgewertet. Das Empfangen von Aufgabenlösungen des Fahrers schließt dabei auch ein, dass keine Reaktion des Fahrers erfolgt, d. h. dass der Fahrer die Aufgaben nicht erfüllt hat.
-
Es können ein oder mehrere Aufgaben formuliert und ausgegeben werden. Beispielsweise können mehrere Aufgaben direkt nacheinander, also ohne dass die Aufgabenlösung des Fahrers abgewartet wird, ausgegeben werden. Es können jedoch auch mehrere Aufgaben schrittweise nacheinander ausgegeben werden, d. h. nach dem Empfangen der Lösung einer ersten Aufgabe wird eine weitere Aufgabe ausgegeben.
-
Wird festgestellt, dass der Fahrer die Aufgaben nicht erfüllt hat, wird eine Warnung ausgegeben, beispielsweise eine optische, akustische oder haptische Warnung und/oder das Fahrzeug wird bis zum Stillstand abgebremst. Wird hingegen festgestellt, dass der Fahrer die Aufgaben erfüllt hat, kann von einer Erhöhung der Aufmerksamkeit des Fahrers durch das Lösen der Aufgaben ausgegangen werden. Das Verfahren kann dann erneut beginnen, indem die Aufmerksamkeit des Fahrers erneut geprüft wird.
-
Wie bereits erläutert, wird der Fahrer durch das gezielte Stellen von Aufgaben bezüglich der Fahrzeugumgebung wieder aktiv in den Fahrprozess eingebunden. Dadurch kann eine schnellere Reaktion des Fahrers, z. B. bei Auftreten einer Gefahrensituation, ermöglicht werden, da der Fahrer die Fahrzeugumgebung aufgrund des Lösens der Aufgaben bereits kennt und er sich schneller orientieren kann. Im Ergebnis wird die Fahrsicherheit sowohl für den Fahrer und etwaige Mitfahrer als auch für Personen in der Umgebung deutlich erhöht, da eine schnellere Reaktionsfähigkeit des Fahrers erreicht und die Wahrscheinlichkeit einer richtigen Reaktion des Fahrers erhöht wird.
-
Gemäß verschiedenen Ausführungsvarianten kann vorgesehen sein, dass als Aufgaben mit Bezug zur Fahrzeugumgebung Fragen bezüglich des Straßenverlaufs, der zulässigen Höchstgeschwindigkeit, der Anzahl der Fahrspuren und/oder der Fahrzeuge in der Fahrzeugumgebung gestellt werden und zum Auswerten der Erfüllung der Aufgaben die Beantwortung der Fragen geprüft wird. Mögliche Fragen könnten beispielsweise lauten: Ist die nächste Kurve eine Rechts- oder Linkskurve? Wie hoch ist derzeit die zulässige Höchstgeschwindigkeit? Wie viele Fahrspuren gibt es in ihrer Fahrtrichtung? Fährt ein Fahrzeug in der Fahrspur neben ihnen? Kommt ihnen ein Motorrad entgegen?
-
Vorzugsweise sollten Fragen gestellt werden, die sich eindeutig, z. B. mit ja oder nein oder einer Zahlenangabe, beantworten lassen, da dies die Auswertung der Aufgabenerfüllung erleichtern kann.
-
Die Fragen können auch in Abhängigkeit eines zu absolvierenden Fahrwegs, beispielsweise in Abhängigkeit möglicher Gefahrenstellen des zu absolvierenden Fahrwegs, gestellt werden. Ist z. B. ein Abbiegen nach rechts vorgesehen, so kann gezielt nach Fußgängern auf dem rechts neben dem Fahrzeug befindlichen Gehweg gefragt werden. Dies kann die Fahrsicherheit zusätzlich erhöhen, da die Aufmerksamkeit des Fahrers gezielt auf bestimmte Gegebenheiten des Fahrwegs, z. B. Gefahrenstellen, gelenkt wird.
-
Gemäß weiteren Ausführungsvarianten kann die Fahrzeugumgebung mittels Kamerasensoren, beispielsweise Sensoren einer in Fahrtrichtung ausgerichteten Kamera, Radarsensoren und/oder Positionssensoren detektiert werden. Kamera- und Radarsensoren können genutzt werden, um Informationen über Objekte in der Fahrzeugumgebung, z. B. das Vorhandensein und der Abstand zu vorausfahrenden Fahrzeugen, zu erlangen und anschließend diesbezügliche Aufgaben zu stellen. Positionssensoren, z. B. mit einem globalen Navigationssystem zusammen arbeitende Sensoren, können zu genauen Positionsbestimmung des Fahrzeugs genutzt werden. Durch einen Abgleich mit digitalen Karten kann dann z. B. der Verlauf des Fahrwegs detektiert werden, ggf. auch bevor dieser für den Fahrer sichtbar wird. Weitere Sensoren zur Detektion der Fahrzeugumgebung können vorhanden sein.
-
Eine erfindungsgemäße Vorrichtung zum Erhöhen der Aufmerksamkeit eines Fahrers eines Fahrzeugs weist Mittel zum Prüfen der Aufmerksamkeit des Fahrers, Sensoren zur Detektion der Fahrzeugumgebung, Mittel zum Formulieren von Aufgaben anhand der detektierten Fahrzeugumgebung, eine Ausgabeeinrichtung zum Ausgeben der Aufgaben an den Fahrer, eine Empfangseinrichtung zum Empfangen von Aufgabenlösungen des Fahrers, Mittel zum Auswerten der Aufgabenlösungen und Mittel zum Ausgeben von Warnungen.
-
Die erfindungsgemäße Vorrichtung ist beispielsweise zur Ausführung des oben stehend erläuterten erfindungsgemäßen Verfahrens geeignet. Daher dienen die obigen Ausführungen zur Erläuterung des erfindungsgemäßen Verfahrens auch zur Beschreibung der erfindungsgemäßen Vorrichtung. Die Vorteile der erfindungsgemäßen Vorrichtung entsprechen denen des erfindungsgemäßen Verfahrens und dessen entsprechender Ausführungsvarianten.
-
Bei der Ausgabeeinrichtung kann es sich beispielsweise um ein Display oder einen Lautsprecher handeln. Die Empfangseinrichtung kann beispielsweise als Mikrofon ausgebildet sein.
-
Gemäß verschiedenen Ausführungsvarianten können die Sensoren zur Detektion der Fahrzeugumgebung als Kamerasensoren, z.B. als Sensoren einer in Fahrtrichtung ausgerichteten Kamera, Radarsensoren und/oder Positionssensoren zur Bestimmung der Position des Fahrzeugs ausgebildet sein.
-
Ein erfindungsgemäßes Fahrzeug weist eine der zuvor beschriebenen Vorrichtungen auf. Für die Definition des Begriffs Fahrzeug wird auf die obigen Ausführungen verwiesen.
-
Ein erfindungsgemäßes Computerprogrammprodukt umfasst Befehle, die bewirken, dass eine der zuvor beschriebenen Vorrichtungen die Verfahrensschritte eines der zuvor beschriebenen Verfahren ausführt.
-
Unter einem Computerprogrammprodukt ist dabei ein auf einem geeigneten Medium gespeicherter und/oder über ein geeignetes Medium abrufbarer Programmcode zu verstehen, der in einen Computer geladen und/oder in einem Computer ausgeführt werden kann. Zum Speichern des Programmcodes kann jedes zum Speichern von Software geeignete Medium, beispielsweise eine DVD, ein USB-Stick, eine Flashcard oder dergleichen, Verwendung finden. Das Abrufen des Programmcodes kann beispielsweise über das Internet oder ein Intranet erfolgen oder über ein anderes geeignetes drahtloses oder kabelgebundenes Netzwerk.
-
Die Erfindung soll nachfolgend anhand eines Ausführungsbeispiels näher erläutert werden, das zur Veranschaulichung eine spezifische Ausführungsform betrifft, in der die Erfindung ausgeübt werden kann. Es versteht sich, dass andere Ausführungsformen benutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Schutzumfang der vorliegenden Erfindung abzuweichen. Die folgende Beschreibung ist deshalb nicht in einschränkendem Sinne aufzufassen, und der Schutzumfang der vorliegenden Erfindung wird durch die angefügten Ansprüche definiert. Die zugehörige Zeichnung zeigt:
- 1 ein Ablaufschema eines beispielhaften Verfahrens zum Erhöhen der Aufmerksamkeit eines Fahrers eines Fahrzeugs.
-
Gemäß einem Ausführungsbeispiel wird die Aufmerksamkeit eines Fahrers eines Kraftfahrzeugs erhöht, welches sich zu Beginn des Verfahrens in einem autonomen Betriebsmodus befindet. In einem ersten Schritt S1 wird die Aufmerksamkeit des Fahrers geprüft, d. h. es wird festgestellt, ob die Aufmerksamkeit des Fahrers ausreichend. Die Aufmerksamkeit wird im Ausführungsbeispiel anhand von vordefinierten Fragen geprüft.
-
Ist die Aufmerksamkeit ausreichend, wird in einem gewissen zeitlichen Abstand, z. B. in einem Abstand von fünf Minuten, die Aufmerksamkeit des Fahrers erneut geprüft.
-
Ist die Aufmerksamkeit nicht ausreichend, wird im Schritt S2 die Fahrzeugumgebung detektiert. Dazu werden im Ausführungsbeispiel Kamerasensoren einer in Fahrtrichtung des Fahrzeugs gerichteten Kamera, Radarsensoren und ein Positionssensor genutzt. Die Kamera- und Radarsensoren dienen der Lokalisierung von Objekten, wie z. B. vorausfahrenden Fahrzeugen, in der Fahrzeugumgebung. Der Positionssensor wird genutzt, um die Position des Fahrzeugs entlang eines geplanten und in einem Navigationssystem hinterlegten Fahrwegs zu bestimmen. Anhand der aktuellen Position kann der weitere Verlauf des Fahrwegs ermittelt werden, beispielsweise ob es sich bei der nächsten Kurve um eine Rechts- oder Linkskurve handelt.
-
Im Schritt S3 werden Aufgaben mit Bezug zur detektierten Fahrzeugumgebung formuliert und an den Fahrer mittels einer Audioausgabeeinrichtung ausgegeben. Im Ausführungsbeispiels werden drei Fragen an den Fahrer ausgegeben: Ist die nächste Kurve eine Rechts- oder Linkskurve? Wie hoch ist die derzeitige Geschwindigkeitsbegrenzung? Wie viele Fahrspuren gibt es in der aktuellen Fahrtrichtung?
-
Der Fahrer löst diese Aufgaben, d. h. er beantwortet die gestellten Fragen, so dass im Schritt S4 die Aufgabenlösungen von dem Fahrer empfangen werden.
-
Im nachfolgenden Schritt S5 wird die Erfüllung der Aufgaben ausgewertet, d. h. es wird bewertet, ob der Fahrer die Fragen in einem ausreichenden Maß beantwortet hat. Beispielsweise kann vorgesehen sein, dass mindestens 2 von 3 Fragen korrekt beantwortet werden müssen, um von einer ausreichenden Erhöhung der Aufmerksamkeit ausgehen zu können.
-
Wurden die Aufgaben in einem ausreichenden Maß erfüllt, kann von einer ausreichenden Erhöhung der Aufmerksamkeit des Fahrers ausgegangen werden. Das Verfahren kann nun wieder von vorn beginnen, d. h. in einem gewissen zeitlichen Abstand wird die Aufmerksamkeit des Fahrers erneut geprüft (S1).
-
Ergibt die Auswertung der Erfüllung der Aufgaben hingegen, dass diese nicht ausreichend erfüllt wurden, d. h. es wurde z. B. nur eine oder keine der drei Fragen korrekt beantwortet, wird im Schritt S6 des Verfahrens ein Warnung ausgegeben, z. B. eine akustische Warnung in Form einer Sprachausgabe mittels eines Lautsprechers. Zusätzlich kann vorgesehen sein, dass das Fahrzeug automatisch gestoppt wird.
-
Der hier verwendete Ausdruck „und/oder“, wenn er in einer Reihe von zwei oder mehreren Elementen benutzt wird, bedeutet, dass jedes der aufgeführten Elemente alleine verwendet werden kann, oder es kann jede Kombination von zwei oder mehr der aufgeführten Elementen verwendet werden. Wird beispielsweise eine Zusammensetzung beschrieben, dass sie die Komponenten A, B und/oder C, enthält, kann die Zusammensetzung A alleine; B alleine; C alleine; A und B in Kombination; A und C in Kombination; B und C in Kombination; oder A, B, und C in Kombination enthalten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012213965 A1 [0006, 0012]
- WO 2016/008887 A1 [0007]
- US 8022831 B1 [0008, 0012]
- US 7982620 B2 [0009, 0012]
