DE102021126899B3

DE102021126899B3 - Method and device for increasing the attentiveness of a driver of a vehicle

Info

Publication number: DE102021126899B3
Application number: DE102021126899.0A
Authority: DE
Inventors: Frederik Naujoks; Yannick Forster
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-10-17
Filing date: 2021-10-17
Publication date: 2023-01-05
Anticipated expiration: 2041-10-18

Abstract

Es wird eine Vorrichtung (101) zur Erhöhung der Aufmerksamkeit eines Fahrers eines Fahrzeugs (100) beschrieben. Die Vorrichtung (101) ist eingerichtet, einen Aufmerksamkeitsindikator in Bezug auf die Aufmerksamkeit des Fahrers für eine Fahraufgabe zu ermitteln. Die Vorrichtung (101) ist ferner eingerichtet, ein im Fahrzeug (100) wiedergegebenes Sprachsignal in Abhängigkeit von dem Aufmerksamkeitsindikator anzupassen.A device (101) for increasing the attention of a driver of a vehicle (100) is described. The device (101) is set up to determine an attention indicator relating to the driver's attention to a driving task. The device (101) is also set up to adapt a voice signal reproduced in the vehicle (100) as a function of the alertness indicator.

Description

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, die es ermöglichen, den Aufmerksamkeitsgrad des Fahrers eines Fahrzeugs zu erhöhen.The invention relates to a method and a corresponding device that make it possible to increase the level of attention of the driver of a vehicle.

Ein Fahrzeug kann ein oder mehrere Fahrersensoren, insbesondere eine auf den Fahrer gerichtete Innenraumkamera, aufweisen, die eingerichtet sind, Fahrerdaten in Bezug auf den Fahrer des Fahrzeugs zu erfassen. Basierend auf den Fahrerdaten kann erkannt werden, wenn der Fahrer unaufmerksam und insbesondere müde ist. Es kann daraufhin eine (akustischer) Warnhinweis ausgegeben werden, der darauf gerichtet ist, den Fahrer dazu zu veranlassen, sich wieder auf die Fahraufgabe zu konzentrieren.A vehicle can have one or more driver sensors, in particular an interior camera directed at the driver, which are set up to record driver data relating to the driver of the vehicle. Based on the driver data, it can be recognized when the driver is inattentive and, in particular, tired. An (acoustic) warning can then be issued, which is aimed at causing the driver to concentrate on the driving task again.

DE 10 2019 206 500 A1 beschreibt einen Sprachassistenten für ein Kraftfahrzeug. DE 10 2019 206 500 A1 describes a language assistant for a motor vehicle.

Die Ausgabe von Warnhinweisen ist ggf. nicht ausreichend, um den Aufmerksamkeitsgrad des Fahrers zu erhöhen. Ferner kann die Ausgabe von Warnhinweisen von dem Fahrer und/oder von ein oder mehreren weiteren Insassen des Fahrzeugs als störend empfunden werden.The output of warnings may not be sufficient to increase the driver's level of attention. Furthermore, the output of warnings can be perceived as annoying by the driver and/or by one or more other occupants of the vehicle.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Zuverlässigkeit und/oder den Komfort eines Systems zur Überwachung der Aufmerksamkeit des Fahrers eines Fahrzeugs zu erhöhen.The present document deals with the technical problem of increasing the reliability and/or the comfort of a system for monitoring the driver's attention of a vehicle.

Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The object is solved by each of the independent claims. Advantageous embodiments are described inter alia in the dependent claims. It is pointed out that additional features of a patent claim dependent on an independent patent claim without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim can form a separate invention independent of the combination of all features of the independent patent claim, which can be made the subject of an independent claim, a divisional application or a subsequent application. This applies equally to the technical teachings described in the description, which can form an invention independent of the features of the independent patent claims.

Gemäß einem Aspekt wird eine Vorrichtung zur Erhöhung der Aufmerksamkeit eines Fahrers eines Fahrzeugs beschrieben. Die Vorrichtung kann ausgebildet sein, einen (intelligenten) persönlichen Assistenten (IPA) in dem Fahrzeug bereitzustellen. Dabei kann der IPA ausgebildet sein, sprachbasierte Anweisungen des Fahrers zu verstehen (durch Verwendung eines Spracherkennungsalgorithmus) und umzusetzen. Ferner kann der IPA ausgebildet sein, mit dem Fahrer über die Ausgabe von Sprachsignalen zu kommunizieren. Die in diesem Dokument beschriebenen Maßnahmen können im Rahmen eines derartigen IPAs bereitgestellt werden.According to one aspect, a device for increasing the alertness of a driver of a vehicle is described. The device may be configured to provide an (intelligent) personal assistant (IPA) in the vehicle. In this case, the IPA can be configured to understand and implement voice-based instructions from the driver (by using a voice recognition algorithm). Furthermore, the IPA can be designed to communicate with the driver via the output of voice signals. The measures described in this document may be provided as part of such an IPA.

Die Vorrichtung ist eingerichtet, einen Aufmerksamkeitsindikator in Bezug auf die Aufmerksamkeit des Fahrers für eine Fahraufgabe zu ermitteln. Die Fahraufgabe des Fahrers kann sich dabei auf die manuelle Längs- und/oder Querführung des Fahrzeugs beziehen. Alternativ oder ergänzend kann sich die Fahraufgabe des Fahrers auf das Überwachen der durch das Fahrzeug bewirkten automatisierten Längs- und/oder Querführung (z.B. gemäß SAE (Society of Automotive Engineers)-Level 2 oder 3) beziehen. Der Aufmerksamkeitsindikator kann z.B. den Aufmerksamkeitsgrad des Fahrers (z.B. in Form eines Wertes zwischen 0% (gar nicht aufmerksam) und 100% (vollständig aufmerksam)) anzeigen.The device is set up to determine an attention indicator in relation to the driver's attention to a driving task. The driving task of the driver can refer to the manual longitudinal and/or lateral guidance of the vehicle. Alternatively or additionally, the driver's driving task can relate to monitoring the automated longitudinal and/or lateral guidance caused by the vehicle (e.g. according to SAE (Society of Automotive Engineers) level 2 or 3). The alertness indicator can, for example, show the level of alertness of the driver (e.g. in the form of a value between 0% (not alert at all) and 100% (completely alert)).

Die Vorrichtung kann eingerichtet sein, Fahrerdaten in Bezug auf den Fahrer zu ermitteln, die von ein oder mehreren Fahrersensoren (z.B. von einer auf den Fahrer gerichteten Kamera) des Fahrzeugs erfasst wurden. Auf Basis der Fahrerdaten können z.B. der Kopf und insbesondere die Augen des Fahrers analysiert werden. Alternativ oder ergänzend kann die Vorrichtung eingerichtet sein, Fahrdaten in Bezug auf den Fahrzustand des Fahrzeugs (der durch den Fahrer bewirkt wurde) zu ermitteln. Beispielsweise kann der zeitliche Verlauf der durch den Fahrer bewirkten Lenkung des Fahrzeugs als Fahrdaten bereitgestellt und analysiert werden. Der Aufmerksamkeitsindikator kann dann in besonders präziser Weise auf Basis der Fahrerdaten und/oder auf Basis der Fahrdaten ermittelt werden. Dabei kann ggf. auch der zeitliche Verlauf der Aufmerksamkeit des Fahrers ermittelt werden.The device may be configured to determine driver data related to the driver, collected by one or more driver sensors (e.g., a driver-facing camera) of the vehicle. Based on the driver data, e.g. the head and especially the driver's eyes can be analyzed. Alternatively or additionally, the device can be set up to determine driving data in relation to the driving state of the vehicle (which was brought about by the driver). For example, the time course of the steering of the vehicle caused by the driver can be provided and analyzed as driving data. The alertness indicator can then be determined in a particularly precise manner on the basis of the driver data and/or on the basis of the driving data. In this case, the time course of the driver's attention can also be determined.

Die Vorrichtung ist ferner eingerichtet, ein im Fahrzeug wiedergegebenes Sprachsignal in Abhängigkeit von dem Aufmerksamkeitsindikator anzupassen. Dabei kann insbesondere ein Sprachsignal angepasst werden, das bereits in dem Fahrzeug wiedergegeben wird. Insbesondere kann ein vorausliegender Abschnitt eines Sprachsignals angepasst werden, von dem bereits ein vorhergehender Abschnitt wiedergegeben wurde.The device is also set up to adapt a voice signal reproduced in the vehicle as a function of the alertness indicator. In particular, a voice signal that is already being reproduced in the vehicle can be adapted. In particular, an upcoming section of a speech signal can be adjusted, of which a previous section has already been reproduced.

Durch die Anpassung eines in dem Fahrzeug wiedergegebenen Sprachsignals kann die Aufmerksamkeit des Fahrers in besonders komfortabler und zuverlässiger Weise erhöht werden.The driver's attention can be increased in a particularly convenient and reliable manner by adapting a voice signal reproduced in the vehicle.

Die Vorrichtung kann eingerichtet sein, ein Standard-Sprachsignal wiederzugeben, wenn der Aufmerksamkeitsindikator anzeigt, dass der Fahrer eine ausreichend hohe Aufmerksamkeit für die Fahraufgabe aufweist. Des Weiteren kann die Vorrichtung eingerichtet sein, ein modifiziertes Sprachsignal wiederzugeben, das gegenüber dem Standard-Sprachsignal verändert wurde, wenn der Aufmerksamkeitsindikator anzeigt, dass der Fahrer eine zu niedrige Aufmerksamkeit für die Fahraufgabe aufweist. Dabei können

• die Aussprache und/oder Betonung von ein oder mehreren Wörtern des Standard-Sprachsignals verändert werden, um das modifizierte Sprachsignal zu ermitteln; und/oder
• ein oder mehrere Wörter des Standard-Sprachsignals wiederholt werden, um das modifizierte Sprachsignal zu ermitteln; und/oder
• die Phonetik und/oder die Grammatik des Standard-Sprachsignals verändert werden, um das modifizierte Sprachsignal zu ermitteln.

The device can be set up to reproduce a standard voice signal if the alertness indicator shows that the driver has a sufficiently high level of alertness for the driving task. Furthermore, the device can be set up to play back a modified voice signal that has been changed compared to the standard voice signal if the alertness indicator shows that the driver's alertness for the driving task is too low. can

• changing the pronunciation and/or intonation of one or more words of the standard speech signal to determine the modified speech signal; and or
• repeating one or more words of the standard speech signal to determine the modified speech signal; and or
• the phonetics and/or the grammar of the standard speech signal are changed in order to determine the modified speech signal.

Es kann somit ein Standard-Sprachsignal derart (punktuell) modifiziert werden, dass die punktuellen (für den Fahrer überraschenden) Änderungen in besonders komfortabler und zuverlässiger Weise eine Erhöhung der Aufmerksamkeit des Fahrers bewirken. Das Standard-Sprachsignal kann dabei eine Geschichte, ein Hörspiel und/oder einen (vorgelesenen) Internet-Artikel umfassen.A standard speech signal can thus be (punctually) modified in such a way that the punctual changes (which surprise the driver) bring about an increase in the driver's attention in a particularly convenient and reliable manner. The standard speech signal can include a story, a radio play and/or an Internet article (read aloud).

Die Vorrichtung kann eingerichtet sein, das Ausmaß der Veränderung des Standard-Sprachsignals zu erhöhen, wenn der Aufmerksamkeitsindikator anzeigt, dass die Aufmerksamkeit des Fahrers für die Fahraufgabe sinkt, und/oder zu reduzieren, wenn der Aufmerksamkeitsindikator anzeigt, dass die Aufmerksamkeit des Fahrers für die Fahraufgabe steigt. So kann die Erhöhung der Aufmerksamkeit des Fahrers in besonders zuverlässiger Weise bewirkt werden.The device can be set up to increase the extent of the change in the standard speech signal when the alertness indicator indicates that the driver's alertness for the driving task is decreasing and/or to reduce it when the alertness indicator indicates that the driver's alertness for the Driving task increases. In this way, the driver's attention can be increased in a particularly reliable manner.

Die Vorrichtung kann eingerichtet sein, das Standard-Sprachsignal und/oder das modifizierte Sprachsignal durch Text-to-Speech Synthese zu ermitteln. So kann die veränderbare Sprachwiedergabe im Fahrzeug in besonders effizienter und flexibler ermöglicht werden.The device can be set up to determine the standard speech signal and/or the modified speech signal by text-to-speech synthesis. In this way, variable speech reproduction in the vehicle can be made possible in a particularly efficient and flexible manner.

Die Vorrichtung kann eingerichtet sein, auf Basis des Aufmerksamkeitsindikators zu detektieren, dass die Aufmerksamkeit des Fahrers für die Fahraufgabe unter einen Aufmerksamkeits-Schwellenwert sinkt (und damit ggf. unzureichend für die Fahraufgabe ist). Es kann in Reaktion darauf automatisch die Wiedergabe eines Sprachsignals (z.B. des Standard-Sprachsignals oder des modifizierten Sprachsignals) initiiert werden. Das wiedergegebene Sprachsignal kann dabei eine zeitliche Länge von einer Minute oder mehr, insbesondere von fünf Minuten oder mehr, aufweisen. Insbesondere kann das Sprachsignal eine Geschichte, ein Hörspiel und/oder einen (vorgelesenen) Internet-Artikel umfassen.The device can be set up to detect, on the basis of the alertness indicator, that the driver's alertness for the driving task falls below an alertness threshold value (and is therefore possibly insufficient for the driving task). Playback of a speech signal (e.g. the standard speech signal or the modified speech signal) can be automatically initiated in response. The reproduced voice signal can have a duration of one minute or more, in particular five minutes or more. In particular, the speech signal can include a story, a radio play and/or an Internet article (read aloud).

Es kann somit automatisch die Wiedergabe eines (den Fahrer unterhaltenden) Sprachsignals bewirkt werden, wenn erkannt wird, dass die Aufmerksamkeit des Fahrers abgesunken ist. So kann die Aufmerksamkeit des Fahrers in besonders komfortabler und zuverlässiger Weise erhöht werden.A speech signal (entertaining the driver) can thus be automatically caused to be reproduced when it is recognized that the driver's attention has sunk. In this way, the driver's attention can be increased in a particularly convenient and reliable manner.

Die Vorrichtung kann eingerichtet sein, während der Wiedergabe eines Sprachsignals, auf Basis des Aufmerksamkeitsindikators zu bestimmen, dass der Fahrer eine zu niedrige Aufmerksamkeit für die Fahraufgabe aufweist. Es kann dann, in Reaktion darauf, die Wiedergabe des Sprachsignals unterbrochen werden und eine sprachbasierte Rückfrage an den Fahrer in Bezug auf den Inhalt des bisher wiedergegebenen Sprachsignals ausgegeben werden. Es kann somit eine sprachbasierte Interaktion mit dem Fahrer initiiert werden, wobei sich die Interaktion auf den Inhalt des bisher wiedergegebenen Sprachsignals bezieht. Durch eine derartige Interkation kann der Aufmerksamkeitsgrad des Fahrers in besonders komfortabler und zuverlässiger Weise erhöht werden.The device can be set up, during the playback of a voice signal, to determine on the basis of the alertness indicator that the driver's alertness for the driving task is too low. In response to this, the playback of the voice signal can then be interrupted and a voice-based query can be issued to the driver with regard to the content of the voice signal played up to now. A speech-based interaction with the driver can thus be initiated, with the interaction relating to the content of the speech signal that has been played back up to now. Such an interaction can increase the driver's level of attention in a particularly convenient and reliable manner.

Die Vorrichtung kann eingerichtet sein, eine akustische (insbesondere eine sprachliche) Rückmeldung des Fahrers auf die sprachbasierte Rückfrage zu erfassen und inhaltlich auszuwerten (z.B. anhand eines Spracherkennungsalgorithmus), um zu bestimmen, ob die Rückmeldung des Fahrers in Bezug auf den Inhalt des bisher wiedergegebenen Sprachsignals korrekt oder inkorrekt ist. Basierend auf dieser Information kann dann der Aufmerksamkeitsindikator in Bezug auf die Aufmerksamkeit des Fahrers für die Fahraufgabe angepasst und/oder ermittelt werden. Insbesondere ist dabei eine fehlerhafte Rückmeldung ein Hinweis auf eine zu geringe Aufmerksamkeit. Durch die Berücksichtigung der Rückmeldung des Fahrers kann die Güte der Ermittlung der Aufmerksamkeit weiter erhöht werden.The device can be set up to record an acoustic (in particular a spoken) feedback from the driver to the voice-based query and to evaluate its content (e.g. using a voice recognition algorithm) in order to determine whether the driver's feedback in relation to the content of the voice signal reproduced so far is correct or incorrect. Based on this information, the alertness indicator can then be adjusted and/or determined in relation to the driver's alertness to the driving task. In particular, incorrect feedback is an indication of insufficient attention. By taking the driver's feedback into account, the quality of the determination of attention can be further increased.

Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.According to a further aspect, a (road) motor vehicle (in particular a passenger car or a truck or a bus) is described which comprises the device described in this document.

Gemäß einem weiteren Aspekt wird ein Verfahren zur Erhöhung der Aufmerksamkeit eines Fahrers eines Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln eines Aufmerksamkeitsindikators in Bezug auf die Aufmerksamkeit des Fahrers für eine Fahraufgabe. Außerdem umfasst das Verfahren das Anpassen eines im Fahrzeug (bereits) wiedergegebenen Sprachsignals in Abhängigkeit von dem Aufmerksamkeitsindikator. Insbesondere kann dabei ein Sprachsignal angepasst werden, dass sich bereits in der Wiedergabe befindet. Es kann somit ein nachfolgender Abschnitt eines Sprachsignals angepasst werden, für das bereits ein vorhergehender Abschnitt wiedergegeben wurde.According to a further aspect, a method for increasing the attentiveness of a driver of a vehicle is described. The method includes determining an alertness indicator related to the driver's alertness to a driving task. The method also includes adapting a voice signal (already) reproduced in the vehicle as a function of the attention indicator. In particular, a speech signal that is already being reproduced can be adjusted. It is thus possible to adapt a subsequent section of a speech signal for which a previous section has already been reproduced.

Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a software (SW) program is described. The SW program can be set up to be executed on a processor (e.g. on a vehicle's control unit) and thereby to carry out the method described in this document.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a storage medium is described. The storage medium can comprise a SW program which is set up to be executed on a processor and thereby to carry out the method described in this document.

Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.It should be noted that the methods, devices and systems described in this document can be used both alone and in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, devices and systems described in this document can be combined with one another in a variety of ways. In particular, the features of the claims can be combined with one another in many different ways. Furthermore, features listed in brackets are to be understood as optional features.

Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

1 ein beispielhaftes Fahrzeug mit einem System zur Überwachung der Aufmerksamkeit des Fahrers des Fahrzeugs; und
2 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Erhöhung der Aufmerksamkeit des Fahrers eines Fahrzeugs.

The invention is described in more detail below using exemplary embodiments. show it

1 an example vehicle having a system for monitoring the alertness of the driver of the vehicle; and
2 FIG. 12 is a flowchart of an exemplary method for increasing driver alertness of a vehicle.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erhöhung des Komforts und/oder der Zuverlässigkeit eines Systems zur Überwachung der Aufmerksamkeit des Fahrers eines Fahrzeugs 100. In diesem Zusammenhang zeigt 1 ein beispielhaftes Fahrzeug 100, das ein oder mehrere Fahrersensoren 102 umfasst, die eingerichtet sind, Fahrerdaten (d.h. Sensordaten) in Bezug auf den Fahrer des Fahrzeugs 100 zu erfassen. Ein beispielhafter Fahrersensor 102 ist eine auf den Fahrer bzw. auf die Fahrerposition gerichtete Kamera, die eingerichtet ist, Bilddaten in Bezug auf die Vorderseite des Kopfes des Fahrers zu erfassen (wenn der Fahrer geradeaus durch die Windschutzscheibe des Fahrzeugs 100 schaut).As explained at the outset, the present document deals with increasing the comfort and/or the reliability of a system for monitoring the attention of the driver of a vehicle 100. In this context, FIG 1 an example vehicle 100 that includes one or more driver sensors 102 configured to collect driver data (ie, sensor data) related to the driver of the vehicle 100 . An exemplary driver sensor 102 is a driver-facing camera configured to capture image data relating to the front of the driver's head (when the driver is looking straight ahead through the windshield of the vehicle 100).

Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, auf Basis der Fahrerdaten einen Aufmerksamkeitsindikator in Bezug auf die Aufmerksamkeit und/oder den Aufmerksamkeitsgrad des Fahrers zu ermitteln. In diesem Zusammenhang kann z.B. auf Basis der Fahrerdaten ermittelt werden,

• ob der Fahrer das Verkehrsgeschehen im Umfeld des Fahrzeugs 100 betrachtet oder nicht;
• ob die Augen des Fahrers für einen relativ langen Zeitraum (z.B. von einer Sekunde oder mehr) geschlossen sind;
• ob der Kopf des Fahrers nach Unten geneigt ist; und/oder
• ob der Fahrer zur Seite schaut.

A (control) device 101 of the vehicle 100 can be set up to determine an alertness indicator in relation to the alertness and/or the degree of alertness of the driver on the basis of the driver data. In this context, for example, based on the driver data, it can be determined

• whether or not the driver is looking at the traffic situation in the vicinity of vehicle 100;
• whether the driver's eyes are closed for a relatively long period of time (eg, one second or more);
• whether the driver's head is tilted downwards; and or
• whether the driver is looking to the side.

Auf Basis der Fahrerdaten kann somit ein Aufmerksamkeitsindikator ermittelt werden, der anzeigt (z.B. durch einen Wert zwischen 0% und 100%), wie aufmerksam der Fahrer in Bezug auf die von dem Fahrer zu erledigende Fahraufgabe ist. Die Fahraufgabe kann dabei die manuelle Längs- und/oder Querführung des Fahrzeugs 100 betreffen.An alertness indicator can thus be determined on the basis of the driver data, which shows (e.g. with a value between 0% and 100%) how alert the driver is with regard to the driving task to be performed by the driver. The driving task can relate to manual longitudinal and/or lateral guidance of vehicle 100 .

Das Fahrzeug 100 kann eine sprachbasierte Benutzerschnittstelle 103 umfassen, die es dem Fahrer ermöglicht, über Sprache mit dem Fahrzeug 100 zu interagieren. Die sprachbasierte Benutzerschnittstelle 103 kann insbesondere einen persönlichen Assistenten, insbesondere einen intelligenten persönlichen Assistenten (IPA), umfassen, der ausgebildet ist, Sprachanweisungen des Fahrers zu verstehen und umzusetzen. Ferner kann der persönliche Assistent ausgebildet sein, über einen Lautsprecher der Benutzerschnittstelle 103 Audiosignale, insbesondere Sprachsignale, an den Fahrer auszugeben. Der persönliche Assistent kann durch Software bereitgestellt werden, die von der (Steuer-) Vorrichtung 101 des Fahrzeugs 100 ausgeführt wird.The vehicle 100 may include a voice-based user interface 103 that allows the driver to interact with the vehicle 100 via voice. The speech-based user interface 103 can in particular include a personal assistant, in particular an intelligent personal assistant (IPA), which is designed to understand and implement the driver's spoken instructions. Furthermore, the personal assistant can be designed to output audio signals, in particular voice signals, to the driver via a loudspeaker of the user interface 103 . The personal assistant can be provided by software executed by the (control) device 101 of the vehicle 100 .

Der persönliche Assistent kann insbesondere ausgebildet sein, eine Audio-, insbesondere eine Sprach-, Wiedergabe in Abhängigkeit von dem ermittelten Aufmerksamkeitsindikator in Bezug auf die Aufmerksamkeit des Fahrers anzupassen. Es kann z.B. ein Standard-Audiosignal (insbesondere ein Standard-Sprachsignal) wiedergegeben werden, wenn der Aufmerksamkeitsindikator anzeigt, dass der Fahrer einen ausreichend hohen Aufmerksamkeitsgrad aufweist. Andererseits kann das Standard-Audiosignal modifiziert werden, um ein modifiziertes Audiosignal (insbesondere ein modifizierten Sprachsignal) wiederzugeben, wenn der Aufmerksamkeitsindikator anzeigt, dass der Fahrer einen zu niedrigen Aufmerksamkeitsgrad aufweist. Dabei kann eine für den Fahrer überraschende Modifikation bewirkt werden. Beispielhafte Modifikationen sind,

• eine Änderung der Phonetik bei der Wiedergabe von Text bzw. Sprache;
• eine grammatikalische Änderung bei der Wiedergabe von Text bzw. Sprache; und/oder
• eine Änderung des Frequenzspektrums des Audiosignals.

In particular, the personal assistant can be designed to adapt an audio, in particular a voice, reproduction as a function of the determined alertness indicator in relation to the alertness of the driver. For example, a standard audio signal (in particular a standard voice signal) can be reproduced if the alertness indicator shows that the driver has a sufficiently high degree of alertness. On the other hand, the standard audio signal can be modified to reproduce a modified audio signal (particularly a modified speech signal) if the notice alertness indicator shows that the driver's level of alertness is too low. A modification that is surprising for the driver can be brought about in this way. Examples of modifications are

• a change in phonetics when text or speech is reproduced;
• a grammatical change in the rendering of text or speech; and or
• a change in the frequency spectrum of the audio signal.

Durch die Wiedergabe eines modifizierten Audiosignals, das in einer überraschenden und/oder unerwarteten Weise abgeändert wurde, kann der Aufmerksamkeitsgrad des Fahrers in besonders zuverlässiger, subtiler und damit komfortabler Weise erhöht werden.By playing back a modified audio signal that has been changed in a surprising and/or unexpected way, the driver's degree of attentiveness can be increased in a particularly reliable, subtle and therefore comfortable way.

Es kann somit (durch den IPA) eine aktive Ansprache des Fahrers und/oder eine Interkation mit dem Fahrer erfolgen, wenn eine Unterforderung des Fahrers und/oder wenn Müdigkeit des Fahrers erkannt werden. Die Audiointeraktion kann dabei z.B. durch die Wiedergabe einer für den Fahrer interessanten Geschichte, durch die Wiedergabe eines Internet-Artikels und/oder durch die Wiedergabe eines Hörbuchs erfolgen.The driver can thus be actively addressed (by the IPA) and/or an interaction with the driver can take place if the driver is not challenged enough and/or if the driver is tired. The audio interaction can take place, for example, by playing a story that is interesting for the driver, by playing an Internet article and/or by playing an audio book.

Im Rahmen der Wiedergabe eines Audiosignals (z.B. einer Geschichte) kann die Wiedergabe nach einem bestimmten Zeitraum gestoppt werden und es kann nach einem relevanten Inhalt des Audiosignals gefragt werden (bspw. ein Name oder ein Ort, etc., der kurz zuvor in dem Audiosignal erwähnt wurde). Wenn der Fahrer nicht korrekt auf eine derartige Anfrage antwortet, so kann dies als weiteres Indiz für die unzureichende Aufmerksamkeit des Fahrers bei der Ermittlung des Aufmerksamkeitsindikators berücksichtigt werden.As part of the playback of an audio signal (e.g. a story), the playback can be stopped after a certain period of time and a relevant content of the audio signal can be asked for (e.g. a name or a place, etc., which was mentioned shortly before in the audio signal would). If the driver does not respond correctly to such a request, then this can be taken into account as a further indication of the driver's insufficient attention when determining the attention indicator.

Im Rahmen der Wiedergabe eines Audiosignals können ungewohnte Aspekte in Phonetik und/oder Grammatik eingebaut werden, wie beispielsweise Wortwiederholungen oder (ggf. leicht) fehlerhafte Betonungen. Derartige Phänomene werden von einem Menschen typischerweise in einem besonderen Maße wahrgenommen (siehe Filtertheorie der Aufmerksamkeit nach Donald Eric Broadbent).During the playback of an audio signal, unusual aspects can be built into the phonetics and/or grammar, such as repeated words or (possibly slightly) incorrect emphasis. Such phenomena are typically perceived by a person to a particular degree (see the filter theory of attention according to Donald Eric Broadbent).

Durch eine ungewohnte Modifikation eines wiedergegebenen Audiosignals kann der Fahrer (in Bezug auf seine Aufmerksamkeit) aktiviert werden. Ferner kann der Fahrer durch (ggf. zusätzliche) Rückfragen ermuntert werden, sodass der Aufmerksamkeitsgrad erhöht wird.The driver (in terms of his attention) can be activated by an unfamiliar modification of a reproduced audio signal. Furthermore, the driver can be encouraged by (possibly additional) queries, so that the level of attention is increased.

Anhand der Fahrerdaten (z.B. auf Basis der Innenraumkamera) und/oder auf Basis von Fahrparametern kann der zeitliche Verlauf des Müdigkeits- und/oder Aktivitätsgrads des Fahrers ermittelt werden. Mit anderen Worten, es kann ein zeitlicher Verlauf des Aufmerksamkeitsindikators ermittelt werden. Die Häufigkeit der ungewohnten akustischen Phänomene kann in Abhängigkeit von dem jeweils ermittelten Aufmerksamkeitsindikator angepasst (d.h. erhöht oder reduziert) werden.Based on the driver data (e.g. based on the interior camera) and/or based on driving parameters, the time course of the driver's degree of tiredness and/or activity can be determined. In other words, a time course of the attention indicator can be determined. The frequency of the unfamiliar acoustic phenomena can be adjusted (i.e. increased or reduced) depending on the attention indicator determined in each case.

Wenn sich der Fahrer erholt und/oder weniger müde wird, so kann das Audiosignal (z.B. die Geschichte) in einem normalem Sprechrhythmus und/oder mit einer relativ geringeren Häufigkeit von Wortwiederholungen fortgesetzt werden. Wenn der Fahrer noch müder wird, so können häufiger Rückfragen gestellt werden und/oder es können die o.g. akustischen Phänomene häufiger eingespielt werden. Dabei wird nach Möglichkeit keine Schwelle überschritten, ab der die Rückfragen und/oder Phänomene von dem Fahrer als störend empfunden werden.As the driver recovers and/or becomes less tired, the audio signal (e.g., the story) can be continued at a normal speech rhythm and/or with a relatively lower frequency of word repetition. If the driver becomes even more tired, queries can be asked more frequently and/or the acoustic phenomena mentioned above can be recorded more frequently. If possible, no threshold is exceeded above which the queries and/or phenomena are perceived as disturbing by the driver.

2 zeigt ein Ablaufdiagramm eines beispielhaften (ggf. Computerimplementierten) Verfahrens 200 zur Erhöhung der Aufmerksamkeit eines Fahrers eines Fahrzeugs 100. Das Verfahren 200 kann durch eine (Steuer-) Vorrichtung 101, insbesondere durch einen persönlichen Assistenten (IPA), des Fahrzeugs 100 ausgeführt werden. 2 shows a flowchart of an exemplary (possibly computer-implemented) method 200 for increasing the attention of a driver of a vehicle 100. The method 200 can be executed by a (control) device 101, in particular by a personal assistant (IPA), of the vehicle 100.

Das Verfahren 200 umfasst das Ermitteln 201 eines Aufmerksamkeitsindikators in Bezug auf die Aufmerksamkeit des Fahrers für die Fahraufgabe (zum manuellen Führen des Fahrzeugs 100 und/oder zur Überwachung der automatisierten Längs- und/oder Querführung des Fahrzeugs 100). Der Aufmerksamkeitsindikator kann auf Basis von Fahrerdaten von ein oder mehreren Fahrersensoren 102 des Fahrzeugs 100 ermittelt werden. Alternativ oder ergänzend können Fahrdaten in Bezug auf den Fahrzustand des Fahrzeugs 100 (insbesondere in Bezug auf den durch den Fahrer bewirkten Fahrzustand des Fahrzeugs 100) ermittelt und bei der Ermittlung des Aufmerksamkeitsindikators berücksichtigt werden.Method 200 includes determining 201 an alertness indicator relating to the driver's alertness to the driving task (for manually driving vehicle 100 and/or for monitoring the automated longitudinal and/or lateral guidance of vehicle 100). The attention indicator can be determined based on driver data from one or more driver sensors 102 of the vehicle 100 . Alternatively or additionally, driving data relating to the driving state of vehicle 100 (in particular relating to the driving state of vehicle 100 brought about by the driver) can be determined and taken into account when determining the attention indicator.

Des Weiteren umfasst das Verfahren 200 das Anpassen 202 eines im Fahrzeug 100 wiedergegebenen Sprachsignals in Abhängigkeit von dem Aufmerksamkeitsindikator. Das Sprachsignal kann dabei eine relativ langes Sprachsignal sein, z.B. mit einer zeitlichen Länge von einer Minute oder mehr, oder von fünf Minuten oder mehr. Alternativ oder ergänzend kann das Sprachsignal unabhängig von der eigentlichen Fahraufgabe des Fahrers sein. Das Sprachsignal kann z.B. dazu dienen, den Fahrer zu unterhalten. Das Sprachsignal kann insbesondere kein Warnsignal sein, das darauf gerichtet ist, den Fahrer (explizit) in Bezug auf seine unzureichende Aufmerksamkeit zu warnen.Furthermore, the method 200 includes the adaptation 202 of a voice signal reproduced in the vehicle 100 as a function of the alertness indicator. The speech signal can be a relatively long speech signal, e.g. with a duration of one minute or more, or five minutes or more. Alternatively or additionally, the voice signal can be independent of the driver's actual driving task. For example, the voice signal can be used to entertain the driver. In particular, the voice signal may not be a warning signal aimed at warning the driver (explicitly) of his insufficient attention.

Das Anpassen 202 des Sprachsignals kann auf eine inhaltliche, grammatikalische und/oder phonetische Änderung des Sprachsignals gerichtet sein. Dabei kann eine Anpassung bewirkt werden, die von einen typischen (durchschnittlichen) Fahrer als überraschend empfunden wird.The adaptation 202 of the speech signal can be aimed at changing the content, grammatical and/or phonetic content of the speech signal. In this way, an adjustment can be brought about that is perceived as surprising by a typical (average) driver.

Durch die Anpassung eines im Fahrzeug 100 (ggf. sowieso) wiedergegebenen Sprachsignals kann der Aufmerksamkeitsgrad des Fahrers des Fahrzeugs 100 in besonders komfortabler und zuverlässiger Weise erhöht werden.By adapting a voice signal reproduced in vehicle 100 (possibly anyway) the level of attention of the driver of vehicle 100 can be increased in a particularly convenient and reliable manner.

In diesem Dokument werden Maßnahmen beschrieben, die es ermöglichen, durch aktives Ansprechen des Fahrers und/oder durch beabsichtigt eingebaute psychologische Phänomene, wie gezielte Wortwiederholungen und/oder eine fehlerhafte Aussprache von Wörtern, die Aufmerksamkeit und/oder Wachsamkeit des Fahrers zu erhöhen. Dabei kann bei Detektion eines Müdigkeitszustandes des Fahrers automatisch das Vorlesen eines Hörbuches und/oder einer Geschichte initiiert werden.This document describes measures that make it possible to increase the driver's attention and/or alertness by actively addressing the driver and/or by intentionally built-in psychological phenomena, such as deliberate repetition of words and/or incorrect pronunciation of words. When the driver is detected as tired, an audio book and/or a story can be read out automatically.

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.The present invention is not limited to the exemplary embodiments shown. In particular, it should be noted that the description and the figures are only intended to illustrate the principle of the proposed methods, devices and systems by way of example.

Claims

Device (101) for increasing the alertness of a driver of a vehicle (100); wherein the device (101) is set up - to determine an attention indicator in relation to the driver's attention to a driving task; - adjust a voice signal reproduced in the vehicle (100) as a function of the attention indicator; - reproduce a standard voice signal when the alertness indicator indicates that the driver has a sufficiently high level of alertness for the driving task; - to play back a modified speech signal that has been changed compared to the standard speech signal if the alertness indicator indicates that the driver's alertness for the driving task is too low; - increase an amount of change in the standard speech signal when the alertness indicator indicates that the driver's alertness to the driving task is decreasing; and - to reduce the extent of the change in the standard speech signal when the alertness indicator shows that the driver's alertness to the driving task is increasing.

Device (101) for increasing the alertness of a driver of a vehicle (100); wherein the device (101) is set up - to determine an attention indicator in relation to the driver's attention to a driving task; - adjust a voice signal reproduced in the vehicle (100) as a function of the attention indicator; - reproduce a standard voice signal when the alertness indicator indicates that the driver has a sufficiently high level of alertness for the driving task; - reproduce a modified voice signal that has been changed compared to the standard voice signal if the alertness indicator indicates that the driver's alertness for the driving task is too low; and - to determine the standard speech signal and/or the modified speech signal by text-to-speech synthesis.

Device (101) according to claim 2 , wherein the device (101) is set up - to change a pronunciation and/or emphasis of one or more words of the standard speech signal in order to determine the modified speech signal; - repeating one or more words of the standard speech signal to determine the modified speech signal; and/or - to change the phonetics and/or the grammar of the standard speech signal in order to determine the modified speech signal.

Device (101) according to one of the preceding claims, wherein the device (101) is set up - to detect on the basis of the alertness indicator that the driver's alertness for the driving task falls below an alertness threshold value; and - in response thereto, automatically initiate playback of a voice signal; wherein the voice signal has a duration of one minute or more, in particular five minutes or more; wherein the voice signal comprises in particular a story, a radio play and/or an internet article.

Device (101) for increasing the alertness of a driver of a vehicle (100); wherein the device (101) is set up - to determine an alertness indicator in relation to the alertness of the driver to a driving task; - adjust a voice signal reproduced in the vehicle (100) as a function of the attention indicator; - based on the attention indicator determine that the driver has insufficient attention to the driving task; and - in response thereto, interrupting the playback of the speech signal and issuing a speech-based query to the driver in relation to a content of the speech signal played up to now.

Device (101) according to claim 5 , wherein the device (101) is set up - to record an acoustic feedback from the driver to the voice-based query and to evaluate its content in order to determine whether the driver's feedback is correct or incorrect in relation to the content of the voice signal reproduced so far; and - based on this, adjust the alertness indicator in relation to the driver's alertness to the driving task.

Device (101) according to one of the preceding claims, wherein the device (101) is set up - determine driver data related to the driver, collected by one or more driver sensors (102) of the vehicle (100); and or - to determine driving data in relation to a driving state of the vehicle (100), and - to determine the alertness indicator based on the driver data and/or based on the driving data.

Method (200) for increasing the alertness of a driver of a vehicle (100); the method (200) comprising - determining (201) an attention indicator relating to the driver's attention to a driving task; - Adaptation (202) of a voice signal reproduced in the vehicle (100) as a function of the attention indicator; - Reproducing a standard voice signal when the alertness indicator indicates that the driver has a sufficiently high level of alertness for the driving task; - Reproducing a modified voice signal that has been changed compared to the standard voice signal when the alertness indicator indicates that the driver's alertness for the driving task is too low; - increasing an amount of change in the standard speech signal when the alertness indicator indicates that the driver's alertness to the driving task is decreasing; and - Reducing the amount of change in the standard speech signal when the alertness indicator shows that the driver's alertness to the driving task is increasing.

Method (200) for increasing the alertness of a driver of a vehicle (100); the method (200) comprising - determining (201) an attention indicator relating to the driver's attention to a driving task; - Adaptation (202) of a voice signal reproduced in the vehicle (100) as a function of the attention indicator; - Reproducing a standard voice signal when the alertness indicator indicates that the driver has a sufficiently high level of alertness for the driving task; - Reproducing a modified voice signal that has been changed compared to the standard voice signal when the alertness indicator indicates that the driver's alertness for the driving task is too low; and - Determining the standard speech signal and/or the modified speech signal by text-to-speech synthesis.

Method (200) for increasing the alertness of a driver of a vehicle (100); the method (200) comprising - determining (201) an attention indicator relating to the driver's attention to a driving task; - Adaptation (202) of a voice signal reproduced in the vehicle (100) as a function of the attention indicator; - determining, on the basis of the alertness indicator, that the driver's alertness for the driving task is too low; and - in response, interrupting the playback of the voice signal and issuing a voice-based query to the driver in relation to a content of the previously played voice signal.