DE102018216621B3

DE102018216621B3 - Verfahren zum Bereitstellen eines interaktiven Feedbacks für Fahrzeuginsassen, eine Steuereinheit, eine Sprachausgabeeinrichtung und ein Fahrzeug

Info

Publication number: DE102018216621B3
Application number: DE102018216621.8A
Authority: DE
Inventors: Sebastian Hergeth; Frederik Naujoks
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2018-09-27
Filing date: 2018-09-27
Publication date: 2020-03-05
Anticipated expiration: 2038-09-28
Also published as: US20220005469A1; WO2020064281A1; CN112601933A

Abstract

Bereitgestellt wird ein Verfahren zum Bereitstellen eines interaktiven Feedbacks für Fahrzeuginsassen, wobei eine Sprachansage an einen Fahrzeuginsassen, insbesondere einen Fahrer, in einem Fahrzeug ausgegeben wird und mittels im Fahrzeug vorhandenen akustischen Reaktionserfassungsmitteln eine Erfassung erfolgt, ob der Fahrzeuginsasse die Sprachansage verstanden hat, und wenn dies nicht der Fall ist, die Sprachansage wiederholt wird, wobei zusätzlich mittels visuellen Reaktionserfassungsmitteln eine Erfassung erfolgt, ob der Fahrzeuginsasse die Sprachansage verstanden hat, und wenn dies nicht der Fall ist, die Sprachansage wiederholt wird.

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen eines interaktiven Feedbacks für Fahrzeuginsassen, eine Steuereinheit, eine Sprachausgabeeinrichtung und ein Fahrzeug.
Viele Funktionalitäten im Fahrzeug besitzen heute die Möglichkeit einer Sprachausgabe, welche dem Fahrer Hinweise und Informationen mittels einer Ansage mitteilt. Solche Hinweise und Informationen werden z.B. vom Navigationssystem ausgegeben, aber auch Warnungen und Verkehrsnachrichten werden per Sprachansage ausgegeben. Häufig kann es dazu kommen, dass der Fahrer die Sprachmeldung nur teilweise wahrnimmt, oder aufgrund des Hintergrundlärms oder einer Unterhaltung diese überhört. Das System wird diese nicht wahrgenommene Meldung ohne Aufforderung nicht mehr wiederholen. Bisherige Möglichkeiten, eine Ansage wiederholen zu lassen, sind teilweise sehr kompliziert und benötigen die Aufmerksamkeit des Fahrers, so dass dieser sogar vom Verkehr abgelenkt sein kann.
Es gibt bereits Ansätze, die Aufforderung zur Wiederholung zu vereinfachen. So gibt es in bestimmten Ausführungen die Möglichkeit, per Tastendruck am Lenkrad eine Wiederholung z.B. der Navigationsansage zu fordern. Die DE102011084664A1 schlägt vor, dass die Blickrichtung des Fahrers während und kurz nach einer Sprachansage überwacht wird. Wenn der Fahrer kurz nach der Sprachausgabe auf das Anzeigemittel des Navigationssystems blickt, so kann angenommen werden, dass der Fahrer die Ansage nicht verstanden hat und die Sprachausgabe mit der Navigationsinformation wiederholt werden sollte. Allerdings besteht immer noch Verbesserungsbedarf daran, zu erkennen, wann ein Fahrer eine Sprachansage nicht verstanden hat und eine Wiederholung mit geringem oder keinem Aufwand bzw. Ablenkung für den Fahrer auszuführen.
Die US 2018/0341643 A1 beschreibt einen situationsbewussten Lautsprecher, der für eine Sprachausgabe eingerichtet ist.
Die DE 10 2009 034 069 A1 offenbart ein Verfahren zur Bedienung eines Kraftfahrzeuges mit einem Display zur Darstellung veränderlicher Informationen, wobei eine einer das Kraftfahrzeug betreffenden Funktion zugeordneten Symbols mittels des Displays dargestellt wird, wobei die Blickrichtung des Bedieners des Kraftfahrzeuges ermittelt wird, und wobei anschließend die das Kraftfahrzeug betreffende Funktion bei Erkennung eines der das Kraftfahrzeug betreffenden Funktion zugeordneten akustischen Befehls, während die Blickrichtung auf das Display gerichtet ist, ausgeführt wird.
Deshalb ist es eine Aufgabe dieser Erfindung, ein entsprechendes Verfahren und eine entsprechende Vorrichtung bereitzustellen, bei denen diese Nachteile überwunden werden. Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Vorgeschlagen wird ein Verfahren zum Bereitstellen eines interaktiven Feedbacks für Fahrzeuginsassen, wobei eine Sprachansage an einen Fahrzeuginsassen in einem Fahrzeug ausgegeben wird. Mittels im Fahrzeug vorhandenen akustischen Reaktionserfassungsmitteln erfolgt eine Erfassung, ob der Fahrer die Sprachansage verstanden hat. Wenn dies nicht der Fall ist, wird die Sprachansage wiederholt. Insbesondere wird dabei auf den Fahrer als Fahrzeuginsasse abgestellt, da dieser in der Regel durch die Sprachansage, z.B. Navigationsanweisung, Warnung etc., angesprochen werden soll. Es kann aber auch jeder andere Fahrzeuginsasse adressiert werden, je nach Art der Sprachansage.
Um zu erfassen, ob der Fahrzeuginsasse die Sprachansage, welche eine akustische Ausgabe darstellt, verstanden hat, können bereits im Fahrzeug vorhandene Erfassungsmittel, insbesondere Mikrofone, als akustische Reaktionserfassungsmittel verwendet werden. Es können aber auch andere Erfassungsmittel verwendet werden, welche eine akustische Äußerung des Fahrzeuginsassen empfangen können.
Zur Verarbeitung werden die erfassten Signale bevorzugt an eine Steuereinheit gesendet, welche dazu ausgebildet ist, Signale von akustischen Reaktionserfassungsmitteln in Abhängigkeit von einer Ausgabe einer Sprachansage an einen Fahrzeuginsassen, insbesondere einen Fahrer, in dem Fahrzeug zu erhalten. Die Steuereinheit ist dazu eingerichtet, die empfangenen Signale derart zu verarbeiten, dass ermittelt werden kann, dass der Fahrzeuginsasse die Sprachansage nicht verstanden hat. Wenn dies der Fall ist, kann die Steuereinheit ein Signal an die im Fahrzeug angeordnete Sprachausgabeeinrichtung ausgeben, so dass die Sprachansage wiederholt wird.
Eine solche Sprachausgabeeinrichtung kann zu einem Navigationssystem gehören, das Richtungsangaben, Warnungen etc. ausgibt, je nach Ausführung. Es kann aber auch zu einem Infotainment- oder Entertainmentsystem gehören, welche Warnungen, Hinweise oder sonstige Kommunikation in akustischer Weise ausgeben und auf eine entsprechende Reaktion vom Fahrzeuginsassen warten. Die Reaktion kann dabei vom reinen Verstehen der ausgegebenen Information und ggf. Reaktion bis hin zu einer erwarteten Antwort reichen.
Wenn die Reaktion oder Antwort ausbleibt, sollte das System entsprechend reagieren. Allerdings kann die Reaktion auch gewollt unterbleiben, so dass eine Wiederholung der Ansage zu Missmut beim Fahrzeuginsassen führen würde. In bestimmten Situationen kann es vorkommen, dass der Fahrzeuginsasse die Sprachansage aber einfach nicht verstanden hat, obwohl er sich darum bemühte und diese erwünscht war. Hier sind, wie bereits erwähnt, bereits Systeme vorhanden, welche eine Blickrichtung des Fahrzeuginsassen verfolgen, um zu erkennen, ob der Blick in Richtung einer visuell erfassbaren Informationseinheit, z.B. einem Display, wandert. Daraus wird dann ein Rückschluss gezogen, dass der Fahrzeuginsasse die Sprachansage bzw. Information nicht oder nicht vollständig verstanden hat und die Sprachansage wird wiederholt.
Gemäß der vorliegenden Erfindung wird das Erkennen, dass ein Fahrzeuginsasse die Sprachansage nicht verstanden hat, mittels Spracherkennung ausgeführt. Mithilfe im Fahrzeug bereits verbauten oder zusätzlich angeordneten akustischen Reaktionserfassungsmittel wie Mikrofone wird die Reaktion des Fahrers auf eine Sprachansage aufgezeichnet und anschließend durch eine Recheneinheit bzw. Steuereinheit ausgewertet. Stellt das System fest, dass der Fahrzeuginsasse akustisch durch eine entsprechende Aussage um eine Wiederholung der Meldung bittet, oder über eine entsprechende Aussprache sein Unverständnis ausdrückt, wiederholt das System die Meldung. Akustisch ausgedrücktes Unverständnis kann durch kurze Laute wie „hä?“, „was?“, oder Aussagen mit vordefinierten Schlagwörtern wie „bitte wiederholen“ etc. ausgedrückt werden. Indem nach Beenden der Sprachansage oder kurz davor die Eingabekanäle, z.B. Mikrofon, zur Spracherkennung eingeschaltet bzw. geöffnet werden, kann eine Nachfrage des Fahrzeuginsassen erfasst, in der Steuereinheit interpretiert und entsprechend reagiert werden. Wenn keine Reaktion des Fahrzeuginsassen innerhalb eines vorgegebenen Zeitrahmens bzw. Zeitintervalls, z.B. innerhalb von 2 bis 5 Sekunden nach Ende der Sprachansage, erfolgt, kann angenommen werden, dass die Sprachansage verstanden wurde und die Eingangskanäle z.B. des Mikrofons können wieder geschlossen werden. Alternativ oder zusätzlich kann eine Erfassung z.B. einer Reaktion oder auch eines Gesichtsausdrucks erfasst werden, der ein Verstehen der Nachricht impliziert, und daraufhin die Eingabekanäle wieder geschlossen werden.
Zusätzlich kann auch z.B. mittels visuellen Reaktionserfassungsmitteln eine Erfassung erfolgen, ob der Fahrzeuginsasse eine Sprachansage verstanden hat, und wenn dies nicht der Fall ist, wird die Sprachansage wiederholt. Hierzu können im Fahrzeug vorhandene Sensoren, Kameras etc. verwendet werden, welche die Gestik und/oder Mimik des oder der Fahrzeuginsassen erfassen können. Auch hier wird das Signal an eine entsprechende Steuereinheit zu Weiterverarbeitung gesendet.
Grundsätzlich kann die Steuereinheit als separate Steuereinheit, als in einer vorhandenen Steuereinheit integrierte Steuereinheit, aber auch als in dem entsprechenden Reaktionserfassungsmittel integrierte Steuereinheit, sofern dies in dem Reaktionserfassungsmittel möglich ist, gebildet sein.
Das Verfahren ist vorteilhaft als eine Software mit Programmcode zur Durchführung des Verfahrens ausgeführt. Die Software läuft dabei vorteilhafterweise auf einer oder mehreren softwaregesteuerten Einrichtungen, z.B. der Steuereinheit, ab.
Zur Durchführung des Verfahrens in einem Fahrzeug ist eine entsprechende Ausstattung des Fahrzeugs Voraussetzung. Es sind mindestens eine Sprachausgabeeinrichtung, sowie akustische Reaktionserfassungsmittel, je nach Ausführung auch visuelle Reaktionserfassungsmittel, nötig. Ebenso ist eine Steuereinheit nötig, welche die Signale verarbeiten und entsprechende Befehle ausgeben kann.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, anhand der Figuren der Zeichnung, die erfindungsgemäße Einzelheiten zeigt, und aus den Ansprüchen. Die einzelnen Merkmale können je einzeln für sich oder zu mehreren in beliebiger Kombination bei einer Variante der Erfindung verwirklicht sein.
Bevorzugte Ausführungsformen der Erfindung werden nachfolgend anhand der beigefügten Zeichnung näher erläutert.

1 zeigt eine schematische Darstellung wichtiger Komponenten zur Durchführung des Verfahrens in einem Fahrzeug gemäß einer Ausführung der vorliegenden Erfindung.

In 1 ist eine schematische Ansicht gezeigt, welche sowohl die wichtigsten Komponenten zur Durchführung des Verfahrens anzeigt, als auch das Verfahren nachvollziehbar macht. Eine Sprachausgabeeinrichtung ist im Fahrzeug verbaut und dient dazu, eine Sprachansage 2 an einen Fahrzeuginsassen 1, z.B. den Fahrer, auszugeben. Wenn dieser die Sprachansage 2 nicht verstanden hat und eine entsprechende akustische Reaktion, welche das Unverständnis ausdrückt, erfolgt, wie in 1 als Sprechblase mit „??“ gekennzeichnet, wird dies von einem akustischen Reaktionserfassungsmittel 3, z.B. einem Mikrofon, erfasst. Das akustische Reaktionserfassungsmittel 3 wird dabei vorzugsweise kurz vor Ende oder direkt nach Ende der Sprachansage 2 aktiviert. Wenn eine akustische Reaktion erfasst wurde, wird diese an eine Steuereinheit 4 gesendet, welche dazu eingerichtet ist, das akustische Signal zu verarbeiten und zu interpretieren, ob der Fahrzeuginsasse 1 damit sein Unverständnis ausgedrückt hat. Wenn dies der Fall ist, gibt die Steuereinheit 4 ein Signal an die Sprachausgabeeinrichtung aus, damit diese die Sprachansage 2 wiederholt. Wenn der Fahrzeuginsasse 1 die Ansage wieder nicht verstanden hat, wird das Verfahren solange wiederholt, bis kein akustischer Ausdruck des Unverständnisses mehr erfasst wird.
Um die Genauigkeit der Erfassung, ob ein Fahrzeuginsasse 1 die Sprachansage 2 verstanden hat oder nicht, können zusätzliche visuelle Reaktionserfassungsmittel (nicht gezeigt) verwendet werden, wie bereits erwähnt. Diese können zusätzlich die Mimik und/oder Gestik erfassen und die Steuereinheit 4 kann diese zusätzlichen Informationen zur Beurteilung verwenden, ob der Fahrzeuginsasse 1 durch seine akustische Äußerung die Sprachansage 2 verstanden hat oder nicht.

Claims

Verfahren zum Bereitstellen eines interaktiven Feedbacks für Fahrzeuginsassen (1), wobei eine Sprachansage (2) an einen Fahrzeuginsassen (1), insbesondere einen Fahrer, in einem Fahrzeug ausgegeben wird und mittels im Fahrzeug vorhandenen akustischen Reaktionserfassungsmitteln (3) eine Erfassung erfolgt, ob der Fahrzeuginsasse (1) die Sprachansage (2) verstanden hat, und wenn dies nicht der Fall ist, die Sprachansage (2) wiederholt wird, wobei zusätzlich mittels visuellen Reaktionserfassungsmitteln eine Erfassung erfolgt, ob der Fahrzeuginsasse (1) die Sprachansage (2) verstanden hat, und wenn dies nicht der Fall ist, die Sprachansage (2) wiederholt wird.
Verfahren nach Anspruch 1, wobei von den akustischen Reaktionserfassungsmitteln (3) erfassbare akustische Reaktionen des Fahrzeuginsassen (1) mindestens ein akustisch ausgedrücktes Unverständnis ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die akustischen Reaktionserfassungsmittel (3) und die visuellen Reaktionserfassungsmittel bei oder kurz vor Ende der Sprachansage (2) aktiviert werden und bis zu einem vorgegebenen Zeitpunkt aktiv bleiben.
Verfahren nach Anspruch 3, wobei der vorgegebene Zeitpunkt ein festes Zeitintervall ist oder ein Zeitpunkt, an dem erfasst wurde, dass die Sprachansage (2) verstanden wurde.
Steuereinheit (4), welche dazu ausgebildet ist, Signale von akustischen Reaktionserfassungsmitteln (3) in Abhängigkeit von einer Ausgabe einer Sprachansage (2) an einen Fahrzeuginsassen (1), insbesondere einen Fahrer, in einem Fahrzeug zu erhalten und derart zu verarbeiten, dass bei Ermitteln, dass der Fahrzeuginsasse (1) die Sprachansage (2) nicht verstanden hat, ein Signal auszugeben, so dass die Sprachansage (2) wiederholt wird, wobei die Steuereinheit (4) ferner dazu ausgebildet ist, Signale von visuellen Reaktionserfassungsmitteln (3) zu erhalten und derart zu verarbeiten, dass bei Ermitteln, dass der Fahrzeuginsasse (1) die Sprachansage (2) nicht verstanden hat, ein Signal auszugeben, so dass die Sprachansage (2) wiederholt wird.
Sprachausgabeeinrichtung, welche in einem Fahrzeug angeordnet ist und zur Ausgabe von Sprachansagen (2) zumindest an einen Fahrzeuginsassen (1) des Fahrzeugs eingerichtet ist, wobei die Sprachausgabeeinrichtung abhängig von einem Signal der Steuereinheit (4) nach Anspruch 5 eine getätigte Sprachansage (2) wiederholt.
Fahrzeug, umfassend - eine Sprachausgabeeinrichtung nach Anspruch 6, - zumindest akustische Reaktionserfassungsmittel (3), welche dazu eingerichtet sind, eine Aussprache eines Fahrzeuginsassen (1) zu erfassen, - eine Steuereinheit (4) nach Anspruch 5.
Software mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 4, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.