EP4713916A1 - Verfahren zum betrieb eines fahrzeugintegrierten sprachassistenten, sprachassistent und fahrzeug - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines fahrzeugintegrierten Sprachassistenten, wobei der Sprachassistent eine von einem Nutzer getätigte Spracheingabe erfasst und verarbeitet sowie aus der Spracheingabe eine kontextabhängige Bedienabsicht zum Bedienen einer Fahrzeugfunktionalität ermittelt. Das erfindungsgemäße Verfahren ist gekennzeichnet durch die folgenden von einer fahrzeuginternen Recheneinheit ausgeführten Verfahrensschritte: - (101): Protokollieren des Nutzungsverhaltens der Fahrzeugfunktionalitäten, wobei jeder Nutzerinteraktion mit einer Fahrzeugfunktionalität ein Kontext zugeordnet wird; - (102): Abgleichen der kontextabhängigen Bedienabsicht mit den im Rahmen der Nutzerinteraktion mit den Fahrzeugfunktionalitäten protokollierten Kontexten; und - wenn eine Übereinkunft zwischen einem protokollierten Kontext und der Bedienabsicht festgestellt wird: (103): Bedienen der durch die Spracheingabe anzusteuernden Fahrzeugfunktionalität unter Berücksichtigung des Kontextes.

Description

Verfahren zum Betrieb eines fahrzeugintegrierten Sprachassistenten, Sprachassistent und Fahrzeug

Die Erfindung betrifft ein Verfahren zum Betrieb eines fahrzeugintegrierten Sprachassistenten nach der im Oberbegriff von Anspruch 1 näher definierten Art, einen entsprechenden Sprachassistenten sowie ein Fahrzeug mit einem solchen Sprachassistenten.

Sprachassistenten erlauben die Bedienung von Funktionen per Sprache. So kann ein Nutzer einen entsprechenden Sprachbefehl erteilen, der ein entsprechendes Gerät zum Ausführen von Aktionen veranlasst. Bei dem Gerät kann es sich beispielsweise um ein mobiles Endgerät wie ein Smartphone, Tabletcomputer oder Laptop handeln. Beispielsweise kann somit per Sprache eine Internetrecherche gestartet werden, der Wetterbericht abgefragt werden, ein Wecker gestellt werden, ein Kalendereintrag generiert werden, eine Textnachricht verfasst werden, ein Anruf initiiert werden und dergleichen.

Die Verwendung von Sprachassistenten ist auch in Fahrzeugen bekannt. In diesem Zusammenhang lassen sich Sprachassistenten besonders vorteilhaft anwenden, da Sprachassistenten eine Nutzerinteraktion mit Fahrzeugfunktionen erlauben, ohne das Erfordernis, dass der entsprechende Nutzer seinen Blick vom Verkehrsgeschehen abwenden muss und/oder manuell Bedienknöpfe oder eine berührempfindliche Anzeigevorrichtung zum Eingeben von Bedienhandlungen betätigen muss. Dies erhöht den Komfort für den Nutzer und verbessert die Sicherheit im Straßenverkehr.

Sprachassistenten sind zwar dazu in der Lage Spracheingaben meist korrekt zu erfassen und die in einem Sprachbefehl enthaltene Intension zuverlässig abzuleiten.

Sprachassistenten sind jedoch noch nicht voll ausgereift, sodass gegebenenfalls Sprachbefehle nicht verstanden oder missinterpretiert werden oder ihre Ausführung eine unzulässig hohe Zeitdauer in Anspruch nimmt. Insbesondere fühlt sich die Interaktion mit einem Sprachassistenten oftmals unnatürlich an, da der Nutzer auf eine bestimmte Art und Weise mit dem Sprachassistenten reden muss, insbesondere unter Verwendung vordefinierter Befehle und/oder Satzbaukonstruktionen.

Daher liegt das Erfordernis vor, Verfahren und Mitteln bereitzustellen, die eine natürlichere Interaktion mit Sprachassistenten erlauben, bevorzugt unter Verkürzung der zur Ausführung eines entsprechenden Sprachbefehls erforderlichen Zeitdauer. Die Natürlichkeit einer Sprachinteraktion ist darüber hinaus dadurch gegeben, dass in menschlicher Kommunikation die Interpretation von Daten immer unter Nutzung des Wissens des Empfängers passiert. Dieses unbewusste, jedoch permanente Merkmal menschlicher Kommunikation soll erfindungsgemäß auch durch einen Sprachassistenten erreicht werden.

Ein Spracherkennungssystem und ein entsprechendes Verfahren zu dessen Betrieb sind beispielsweise aus der DE 102015211 101 A1 bekannt. Das Spracherkennungssystem umfasst eine mobile Einheit, die mit einem Server in drahtloser Kommunikationsverbindung steht. Die mobile Einheit ist dazu in der Lage für die Sprachanalyse bzw. zur Erzeugung einer Sprachausgabe benötigte Ausdrücke von dem Server nachzuladen. Dabei können auf der mobilen Einheit vorgehaltene Ausdrücke ergänzt oder auch ersetzt werden. Welche Ausdrücke zur Ergänzung in die mobile Einheit zu integrieren sind, wird dabei in Abhängigkeit von Ereignissen, wie einem Konzert oder einer Sportveranstaltung und deren jeweiliger Start- und Endzeiten ermittelt. Ergänzend können Kontextdaten zum Ermitteln der in die mobile Einheit zu implementierenden Ausdrücke berücksichtigt werden. Selten oder gar nicht verwendete Ausdrücke können dabei aus der mobilen Einheit gelöscht werden. Das Einbringen anderer Ausdrücke in die mobile Einheit erhöht zwar die Zuverlässigkeit, dass der auf der mobilen Einheit ausgeführte Sprachassistent einen Nutzer auch tatsächlich versteht, er verbessert jedoch nicht die natürliche Interaktion mit dem Sprachassistenten.

Ferner offenbart die DE 102015213 722 A1 ein Verfahren zum Betrieb eines Spracherkennungssystems in einem Fahrzeug und ein entsprechendes Spracherkennungssystem. Das Spracherkennungssystem ist dabei dazu in der Lage, eine Fahrzeugfunktion unter Berücksichtigung des in der jeweiligen Situation vorliegenden Kontextes zu bedienen. Ferner offenbart die DE 102022 000 387 A1 ein Verfahren zur Verarbeitung von Spracheingaben und eine Bedieneinrichtung zur Steuerung von Fahrzeugfunktionen. Mehrere für eine Ausführung in Frage kommende Fahrzeugfunktionen werden dabei auf einer Anzeigevorrichtung angezeigt. Die Ausführung einer jeweiligen Fahrzeugfunktion kann per Sprachbefehl gestartet werden, wobei eine hervorgehoben auf der Anzeigevorrichtung dargestellte Fahrzeugfunktion durch einen Kurzbefehl gestartet werden kann.

Ferner offenbart die DE 102016218270 B4 ein Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner und eine entsprechende Bedienvorrichtung. In Abhängigkeit einer vorliegenden Fahrsituation wird anhand eines Verhaltensmodells für einen Benutzer ein Befehlswort prädiziert. Anschließend wird geprüft, ob das Befehlswort in einer Liste an Erkennungsergebnissen vorliegt. Eines in der Liste enthaltene Erkennungsergebnis kann für den Spracherkenner ausgewählt werden, oder die Erkennungsergebnisse gemäß einer Konfidenzreihenfolge neu sortiert werden.

Zudem offenbart die WO 2014/060054 A1 eine Spracherkennung in einem Kraftfahrzeug. Zumindest ein Teil einer im Fahrzeug erkannten Spracheingabe wird dabei neben einem fahrzeuginternen Spracherkenner auch einem fahrzeugexternen Spracherkenner zugeführt. Der einer Spracheingabe zugrunde liegende Sprachtext wird in Übereinkunft mit einem vom fahrzeuginternen und fahrzeugexternen Spracherkenner gelieferten Erkennungsergebnis durch eine Verarbeitungseinrichtung ermittelt.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zum Betrieb eines fahrzeugintegrierten Sprachassistenten anzugeben, mit dessen Hilfe eine natürliche Interaktion mit dem Sprachassistenten ermöglicht wird, insbesondere unter Verkürzung der vom Sprachassistenten zur Reaktion benötigten Zeitdauer.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Betrieb eines fahrzeugintegrierten Sprachassistenten mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein entsprechend betreibbarer Sprachassistent sowie ein Fahrzeug mit einem solchen Sprachassistenten ergeben sich aus den hiervon abhängigen Ansprüchen. Ein gattungsgemäßes Verfahren zum Betrieb eines fahrzeugintegrierten Sprachassistenten, wobei der Sprachassistent eine von einem Nutzer getätigte Spracheingabe erfasst und verarbeitet sowie aus der Spracheingabe eine kontextabhängige Bedienabsicht zum Bedienen einer Fahrzeugfunktionalität ermittelt, umfasst die folgenden von einer fahrzeuginternen Recheneinheit ausgeführten Verfahrensschritte:

- Protokollieren des Nutzungsverhaltens der Fahrzeugfunktionalitäten, wobei jeder Nutzerinteraktion mit einer Fahrzeugfunktionalität ein Kontext zugeordnet wird;

- Abgleichen der kontextabhängigen Bedienabsicht mit den im Rahmen der Nutzerinteraktion mit den Fahrzeugfunktionalitäten protokollierten Kontexten; und

- wenn eine Übereinkunft zwischen einem protokollierten Kontext und der Bedienabsicht festgestellt wird: Bedienen der durch die Spracheingabe anzusteuernden Fahrzeugfunktionalität unter Berücksichtigung des Kontextes.

Erfindungsgemäß ist es vorgesehen, dass die Recheneinheit beim Protokollieren des Nutzungsverhaltens der Fahrzeugfunktionalitäten einem jeweiligen Kontext einen Aktualitätsfaktor zuordnet, wobei der Aktualitätsfaktor beim Zuordnen seine maximale Ausprägung annimmt und dann stetig über die Zeit verfällt, und wobei die Recheneinheit bei mehreren mit einer Bedienabsicht übereinstimmenden Kontexten denjenigen Kontext zum Bedienen der Fahrzeugfunktionalität auswählt, dessen Aktualitätsfaktor in diesem Moment die größte Ausprägung aufweist.

Das erfindungsgemäße Verfahren erlaubt eine besonders intuitive Nutzerinteraktion mit dem Sprachassistenten. Der Sprachassistent ist unter Berücksichtigung des Kontextes dazu in der Lage zu ermitteln, welche Bedieneingabe erfolgen soll, sodass der Nutzer entsprechende Sprachbefehle nicht mehr wie üblich vollständig ausformulieren muss, sondern einzelne semantische Inhalte werden durch den Sprachassistenten unter Berücksichtigung des Kontextes selbst bestimmt. So muss der Nutzer nicht mehr beispielsweise sagen: „Hey Mercedes, rufe den Kontakt Anna Schmidt aus dem Telefonbuch an“, sondern: „Rufe Anna an“. Dies ist möglich, wenn beispielsweise der Nutzer innerhalb der letzten 10 Minuten ein Adressbuch, auf welches die Recheneinheit zumindest Lesezugriff hat, eingesehen hat. So entspricht die Nutzerinteraktion mit der Fahrzeugfunktionalität in diesem Beispiel dem Öffnen und Einsehen des Adressbuches. Die Recheneinheit protokolliert dieses Nutzungsverhalten und ermittelt den jeweiligen Kontext. In diesem Beispiel könnte als Kontext ermittelt werden, dass ein Name aus dem Adressbuch als Eingangsgröße für eine jeweilige Fahrzeugfunktionalität bereitgestellt werden soll. Die der Spracheingabe zugrundeliegende Bedienabsicht wird in dem Starten eines Telefonanrufs gesehen. Somit soll als Fahrzeugfunktionalität eine Telefoniefunktion genutzt werden. Mit Telefoniefunktionen ist generell verbunden, dass Namen von Kontakten als Eingangsgröße bereitgestellt werden können, neben beispielsweise der direkten Eingabe einer Telefonnummer. Als Kontext steht das Auslesen eines Namens aus dem Adressbuch bereit. Als Nebeninformation ermittelt die Recheneinheit aus der Spracheingabe, dass als Name „Anna“ ausgewählt werden soll. Somit ist die Recheneinheit dazu in der Lage den verkürzten Sprachbefehl zum Initiieren des Anrufs korrekt zu interpretieren. Dieser verkürzte Sprachbefehl ist in natürlicher Sprache formuliert, sodass sich die Sprachinteraktion zwischen dem Nutzer und dem Sprachassistenten besonders natürlich und damit intuitiv gestalten lässt.

Der fahrzeugintegrierte Sprachassistent kann ansonsten wie üblich ausgeführt sein. So sind die entsprechenden erforderlichen Hardwarekomponenten wie beispielsweise akustische Erfassungsmittel wie Mikrofone und entsprechende Verarbeitungskomponenten wie besagte Recheneinheit vorhanden. Ein vom Mikrofon generiertes Signal kann durch ein Spracherkennungsmodul eingelesen und in eine Zeichenkette wie beispielsweise einen Textstring gewandelt werden. Mittels eines Moduls zur Erkennung natürlicher Sprache kann diese Zeichenkette eingelesen und verarbeitet werden. Dies ermöglicht das Erkennen entsprechender Bedienabsichten und weiterer Informationen wie, rückbezogen auf voriges Beispiel, den anzurufenden Namen, in der Zeichenkette.

Die protokolierbaren Fahrzeugfunktionalitäten können dabei bevorzugt über den Sprachassistenten hinausgehende Fahrzeugfunktionalitäten umfassen, wie beispielsweise das Bedienen des Infotainmentsystems des Fahrzeugs, das Einstellen der Klimaanlage, das Wählen eines Sportfahrmodus, das Wählen einer typischen Fortbewegungsgeschwindigkeit, also das Fahrverhalten im weiteren Sinne, und dergleichen.

Als Kontext könnte beispielsweise auch ermittelt werden: ein Ort, eine Uhrzeit, ein Parameter einer Fahrzeugfunktionalität wie ein eingestellter Radiosender, eine Soll- Temperatur, ein Fahrmodus usw. Erfindungsgemäß sieht, wie bereits beschrieben, das Verfahren dabei vor, dass die Recheneinheit beim Protokollieren des Nutzungsverhaltens der Fahrzeugfunktionalitäten einem jeweiligen Kontext einen Aktualitätsfaktor zuordnet, wobei der Aktualitätsfaktor beim Zuordnen seine maximale Ausprägung annimmt und dann stetig über die Zeit verfällt, und wobei die Recheneinheit bei mehreren mit einer Bedienabsicht übereinstimmenden Kontexten denjenigen Kontext zum Bedienen der Fahrzeugfunktionalität auswählt, dessen Aktualitätsfaktor in diesem Moment die größte Ausprägung aufweist. Mit Hilfe des Aktualitätsfaktors lassen sich somit passende Kontexte noch zutreffender auswählen, sodass die Wahrscheinlichkeit gesteigert wird, dass auch unter Berücksichtigung natürlicher Sprache bzw. natürlich ausformulierter Spracheingaben, die jeweils korrekte Bedienabsicht erkannt und entsprechend die jeweilige Fahrzeugfunktionalität bedient wird.

Diesem Vorgehen liegt die Idee zugrunde, dass die vom Nutzer getätigten Spracheingaben sich aller Wahrscheinlichkeit nach auf die zuletzt getätigte bzw. bediente Fahrzeugfunktionalität beziehen. Dabei wird zusätzlich über die jeweilige Art der Fahrzeugfunktionalität differenziert. Öffnet der Nutzer beispielsweise besagtes Adressbuch und stellt danach die Soll-Temperatur der Klimaanlage auf einen anderen Wert ein, so ist die Recheneinheit dazu in der Lage bei einem entsprechenden Sprachbefehl zum Initiieren eines Anrufs den jeweiligen Kontext nicht auf die Klimaregelungsfunktionalität zu beziehen, sondern auf das Adressbuch. Es könnten jedoch mehrere gleichartige Nutzungen derselben Fahrzeugfunktionalität getätigt werden, wodurch unter Berücksichtigung des Aktualitätsfaktors die jeweils zuletzt durchgeführte Nutzerinteraktion angemessen berücksichtigt wird.

Der Aktualitätsfaktor kann dabei bei der Erzeugung einen beliebigen Wert annehmen, beispielsweise 1. Über die Zeit verfällt der Aktualitätsfaktor, beispielsweise auf einen Wert von 0. Die jeweilige Verfallszeit kann in Abhängigkeit verschiedener Randbedingungen unterschiedlich gewählt werden, woraufhin im Folgenden noch näher eingegangen wird.

Entsprechend einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens, setzt die Recheneinheit ein entsprechend trainiertes Modell des maschinellen Lernens zum Abgleichen der kontextabhängigen Bedienabsicht mit den protokollierten Kontexten ein. Mit Hilfe von künstlicher Intelligenz, insbesondere unter Verwendung von Modellen des maschinellen Lernens, lassen sich, bei einem ausreichend trainierten Modell, zuverlässig entsprechende Bedienabsichten mit entsprechenden Kontexten referenzieren, sodass die Wahrscheinlichkeit gesteigert wird, dass die in einer jeweiligen Spracheingabe zugrundeliegende Bedienabsicht korrekt umgesetzt wird. Das Modell des maschinellen Lernens kann beispielsweise vom Fahrzeughersteller im Zuge der Entwicklung des Sprachassistenten initial eingelernt worden sein.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht dabei ferner vor, dass die Geschwindigkeit mit der ein jeweiliger Aktualitätsfaktor verfällt, durch einen jeweiligen Aktualitätsfaktor spezifischen Verfallsfaktor eingestellt wird. Der Verfallsfaktor kann beispielsweise ein Verhältnis definieren um wie viele Punkte der Aktualitätsfaktor pro Zeiteinheit reduziert werden soll, also beispielsweise um 0,1 Punkte pro 10 Minuten oder dergleichen. Für verschiedene Fahrzeugfunktionalitäten bzw. verschiedene Kontexte können dann jeweils individuelle Verfallsfaktoren definiert werden. Bedienhandlungen und entsprechende Fahrzeugfunktionalitäten, die von dem Nutzer besser im Langzeitgedächtnis haften bleiben, können dann mit einem geringen Verfallsfaktor verknüpft werden, sodass der jeweilige Aktualisierungsfaktor langsamer abnimmt und entsprechende Bedienhandlungen bzw. Fahrzeugfunktionalitäten, die der jeweilige Nutzer schneller vergisst, können mit einem im Vergleich höheren Verfallsfaktor verknüpft werden. Somit wird die Zuverlässigkeit erhöht, dass die korrekte Bedienabsicht erkannt und die jeweilige Fahrzeugfunktionalität angemessen bedient wird.

Bevorzugt stellt die Recheneinheit die Höhe zumindest eines Verfallsfaktors ein in Abhängigkeit von:

- der Art der dem jeweiligen Kontext zugrundeliegenden Fahrzeugfunktionalität;

- einer manuellen Nutzervorgabe; oder

- des Erkennens eines Bedienabbruchs der in Übereinkunft mit der Spracheingabe durchgeführten Bedienung der Fahrzeugfunktionalität.

Ein von der jeweiligen Fahrzeugfunktionalität abhängiger Verfallsfaktor kann beispielsweise durch den Fahrzeughersteller einer Datenbank, beispielsweise einer Tabelle, fest einprogrammiert sein. Es wäre auch möglich, dass der Nutzer einen entsprechenden Verfallsfaktor manuell vorgibt. Hierzu kann das Fahrzeug über entsprechende Mensch-Maschine-Schnittstellen verfügen, die das Empfangen entsprechender Nutzereingaben bzw. Nutzervorgaben erlauben. Beispielsweise kann der Verfallsfaktor für einen bestimmten Kontext einer bestimmten Fahrzeugfunktionalität auf den Wert 6 von einer sich von 0 bis 10 erstreckenden Skala eingestellt worden sein, wobei der Faktor 6 beispielsweise einen Verfall von 0,6 Punkten des Aktualitätsfaktors innerhalb von 10 Minuten entspricht. Diesen Wert kann dann der Nutzer manuell auf beispielsweise 2 ändern. Somit können die persönlichen Vorlieben verschiedener Nutzer berücksichtigt werden.

In einer besonders bevorzugten Ausführungsform ist die Recheneinheit dazu in der Lage den Verfallsfaktor eines jeweiligen Kontextes einer jeweiligen Fahrzeugfunktionalität automatisch anzupassen. Hierzu überwacht die Recheneinheit die Nutzerinteraktion mit dem Sprachassistenten. Bricht der Nutzer den Durchführungsvorgang einer entsprechenden Spracheingabe kurz nach deren Ausgabe ab, so deutet dies darauf hin, dass der Sprachassistent die Bedienabsicht und/oder den Kontext falsch interpretiert hat. Als Ursache könnte somit die Berücksichtigung eines nicht mehr aktuellen Kontextes herrühren. Durch das automatische Anpassen des Verfallsfaktors kann dann erreicht werden, dass der entsprechende Kontext schneller verfällt, sodass hingegen der jeweils passende Kontext ausgewählt werden könnte.

Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht dabei ferner vor, dass die Recheneinheit einen protokollierten Kontext löscht, sobald der dem jeweiligen Kontext zugeordnete Aktualitätsfaktor verfallen ist. Kontexte, deren Aktualitätsfaktor verfallen ist, spielen aller Wahrscheinlichkeit nach zum Bedienen von Fahrzeugfunktionalitäten keine Rolle mehr. Entsprechend können die derartig protokollierten Kontexte gelöscht werden, sodass weniger Speicherplatz auf einem entsprechenden computerlesbaren Speichermedium der Recheneinheit vorgehalten werden muss. Der freiwerdende Speicherplatz kann dann für andere Dinge genutzt werden.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens, prädiziert die Recheneinheit noch bevor die nächste Spracheingabe erfolgt aus den aktuell protokollierten Kontexten wenigstens eine potenziell als nächstes erwartete Spracheingabe, insbesondere mehrere potenziell als nächstes erwartete Spracheingaben, wobei die Recheneinheit jeder potenziell als nächstes erwarteten Spracheingabe eine in Abhängigkeit der jeweiligen Kontexte ermittelte Eingabewahrscheinlichkeit zuordnet. Werden mehrere potenziell als nächstes erwartete Spracheingaben bestimmt, so kann mit Hilfe der Eingabewahrscheinlichkeit eine Reihenfolge ermittelt werden, welcher dieser potenziell erwarteten Spracheingaben nun tatsächlich folgen wird. Ermittelt die Recheneinheit lediglich eine erwartete Spracheingabe, so muss die Eingabewahrscheinlichkeit nicht ermittelt werden. Zur Ermittlung der Eingabewahrscheinlichkeit kann die Recheneinheit besonders bevorzugt den Aktualitätsfaktor berücksichtigen. So steigt die Eingabewahrscheinlichkeit mit einer höheren Ausprägung des jeweiligen Aktualitätsfaktors, sodass besonders solche Spracheingaben erwartet werden, die sich auf kürzlich getätigte Nutzerinteraktionen mit jeweiligen Fahrzeugfunktionalitäten beziehen.

Das Prädizieren von erwarteten Spracheingaben ermöglicht es gänzlich neue Funktionalitäten bereitzustellen. So sieht eine entsprechende vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens nämlich vor, dass die Recheneinheit zumindest für die wahrscheinlichste als nächstes erwartete Spracheingabe noch bevor diese eingegeben wird:

- zur Ausformulierung einer Sprachantwort erforderliche Hintergrundinformationen bezieht; und/oder

- zumindest einen zur Bedienung der jeweiligen Fahrzeugfunktionalität erforderlichen Zwischenschritt ausführt.

Besonders vorteilhaft können diese vorzeitig durchgeführten Schritte auch für mehrere als nächstes erwartete Spracheingaben durchgeführt werden, sodass, sollte sich die Recheneinheit verschätzt haben, welche Spracheingabe tatsächlich erfolgt, trotzdem die für die tatsächlich erfolgte Spracheingabe erforderlichen Hintergrundinformationen vorliegen oder aber besagte Fahrzeugfunktionalitätszwischenschritte bereits durchgeführt worden sind. Durch das vorzeitige Beziehen der Hintergrundinformationen bzw.

Durchführen der jeweiligen Zwischenschritte kann die Ausführungsdauer der jeweiligen Bedienung der Fahrzeugfunktionalität verkürzt werden. Hierdurch steigt der Nutzerkomfort, da der Nutzer weniger lang warten muss. Somit lässt sich die Effizienz des Sprachassistenten verbessern.

Beispielsweise kann der Nutzer eine Routenführung zu einem Zielort aktivieren. Bei der protokolierten Fahrzeugfunktionalität handelt es sich dann um eine Navigation. Als Kontext kann beispielsweise der Zielort ermittelt werden. Als Spracheingabe kann der Nutzer dann beispielsweise sagen: „Wie wird das Wetter?“. Die Recheneinheit ermittelt dann daraus, dass der Nutzer das Wetter am Zielort zur Ankunftszeit wissen möchte. Noch bevor der Nutzer diese Spracheingabe tätigt, kann dann bevorzugt die Recheneinheit bereits die jeweiligen Wetterinformationen am Zielort zur Ankunftszeit von einem Wetterdienst abfragen. Dies ist frühestens möglich, nachdem der Nutzer die Routenführung zum Zielort aktiviert hat. In diesem Falle kann der Aktualitätsfaktor bzw. der Verfallsfaktor so gewählt werden, dass der Aktualitätsfaktor für den Kontext Zielort und Zielankunftszeit frühestens beim Erreichen des Zielorts verfallen sein wird. Dies ermöglicht es entsprechende natürlich ausformulierte Spracheingaben zum Anfragen des Wetters zu einem beliebigen Zeitpunkt während der Fahrt korrekt zu interpretieren.

Da die hierzu erforderlichen Informationen in Form der Wetterberichtsdaten somit bereits beim Einprogrammieren der Navigationsroute abgefragt wurden, können diese nach tatsächlichem Empfang der Spracheingabe direkt ausgegeben werden.

Bei einem Sprachassistent, umfassend akustische Erfassungsmittel, eine Recheneinheit und eine Anbindung zur Bedienung einer Fahrzeugfunktionalität, sind erfindungsgemäß die Erfassungsmittel, die Recheneinheit und die Anbindung der Bedienung der Fahrzeugfunktionalität zur Ausführung eines im vorigen beschriebenen Verfahrens eingerichtet. Mit Hilfe der Recheneinheit können von den akustischen Erfassungsmitteln generierte Signale verarbeitet werden und hierdurch die jeweiligen Spracheingaben korrekt interpretiert werden. Die Recheneinheit ist dann dazu in der Lage über eine entsprechende Schnittstelle die jeweiligen Fahrzeugfunktionalitäten zur Bedienung anzusteuern.

Ein erfindungsgemäßes Fahrzeug weist einen solchen Sprachassistenten auf. Dies ermöglicht eine besonders komfortable und intuitive Nutzung des Sprachassistenten während der Fahrt. Es kann sich um ein beliebiges Straßenfahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Generell könnte es sich auch um ein Schienenfahrzeug, Wasserfahrzeug oder Luftfahrzeug handeln.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zum Betrieb eines fahrzeugintegrierten Sprachassistenten ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.

Dabei zeigen: Fig. 1 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Betrieb eines fahrzeugintegrierten Sprachassistenten;

Fig. 2 ein Ablaufdiagramm der von einem Sprachassistenten gemäß einer ersten Ausführungsform durchgeführten Zwischenschritte zur Reaktion auf eine Spracheingabe; und

Fig. 3 ein Ablaufdiagramm der von einem Sprachassistenten gemäß einer weiteren Ausführungsform durchgeführten Zwischenschritte zur Reaktion auf eine Spracheingabe.

Die Interaktion mit einem Sprachassistenten kann sich für einen Nutzer unkomfortabel gestalten, wenn Befehle in einem bestimmten Format, insbesondere unter Berücksichtigung bestimmter Schlagworte, erfolgen müssen. Es ist daher wünschenswert die Interaktion mit einem Sprachassistenten so natürlich und damit so intuitiv wie möglich für einen Nutzer auszugestalten. Hier setzt ein erfindungsgemäßes Verfahren zum Betrieb von fahrzeugintegrierten Sprachassistenten an.

Das Verfahren sieht dabei das Durchführen der in Figur 1 gezeigten Verfahrensschritte vor. Im Verfahrensschritt 101 protokolliert eine fahrzeuginterne Recheneinheit das Nutzungsverhalten von Fahrzeugfunktionalitäten, wobei jeder Nutzerinteraktion mit einer Fahrzeugfunktionalität ein Kontext zugeordnet wird. Im sich daran anschließenden Verfahrensschritt 102 gleicht die Recheneinheit die kontextabhängige Bedienabsicht, welche aus einer entsprechenden Spracheingabe ermittelt wurde, mit den im Rahmen der Nutzerinteraktion mit den Fahrzeugfunktionalitäten protokollierten Kontexten ab. Wenn eine Übereinkunft zwischen einem protokollierten Kontext und der Bedienabsicht festgestellt wird, wird im Verfahrensschritt 103 die durch die Spracheingabe anzusteuernde Fahrzeugfunktionalität unter Berücksichtigung des Kontextes bedient.

Die Recheneinheit ist unter Berücksichtigung des protokollierten Kontextes dazu in der Lage semantische Inhalte zum Interpretieren von Spracheingaben aus vorherigen Nutzerinteraktionen mit Fahrzeugfunktionalitäten zu ermitteln, sodass entsprechende Spracheingaben bzw. Sprachbefehle kürzer und in einfacherer Sprache formuliert werden können.

Anhand der Figuren 2 und 3 wird eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens veranschaulicht. So kann die Recheneinheit des Fahrzeugs künftig erwartete Spracheingaben prädizieren, was dazu genutzt werden kann, zur Reaktion auf eine Spracheingabe benötigte Hintergrundinformationen vor der tatsächlichen Eingabe einer jeweiligen Spracheingabe zu beziehen bzw. zur Reaktion auf die Spracheingabe durchzuführende Zwischenschritte bereits vorzeitig auszuführen. Somit kann die Wartezeit für den Nutzer nach Tätigen der Spracheingabe verkürzt werden.

Figur 2 zeigt dabei die Vorgehensweise zur Reaktion auf einen Sprachbefehl gemäß einer ersten Ausführungsform des Sprachassistenten. Im Verfahrensschritt 201 wird der Nutzer des Fahrzeugs proaktiv gefragt, ob eine Ladestation gesucht werden soll. Im Verfahrensschritt 202 bestätigt dies der Nutzer, beispielsweise indem er „Ja“ sagt. Hier beginnt somit die eigentliche Wartezeit für den Nutzer. Im Verfahrensschritt 203 übermittelt die Recheneinheit eine Anfrage an eine zentrale Recheneinrichtung, wie den von einem Fahrzeughersteller betriebenen Cloudserver, um Informationen über in der Nähe befindliche Ladestationen abzurufen. Im Verfahrensschritt 204 erhält die Recheneinheit die entsprechenden Ergebnisse und bereit diese auf. Hierzu können gemäß bekannter Optimierungsalgorithmen geeignete Ladestationen vorgeschlagen werden und die Ergebnisse zur leichten Interpretation formatiert werden. Im Verfahrensschritt 205 wählt der Nutzer dann eine für ihn passende Ladestation aus. Im Verfahrensschritt 206 stellt die Recheneinheit eine Abfrage des aktuellen Status einer Routenführung. Im Verfahrensschritt 207 trifft die Recheneinheit eine Entscheidung über eine auszuführende Aktion. Im Verfahrensschritt 208 führt die Recheneinheit die entsprechende Aktion aus, wie beispielsweise das Setzen der festgelegten Ladestation als Zwischenziel für die Routenführung. Hier endet die Wartezeit für den Nutzer.

In Figur 3 wird die gemäß einer bevorzugten Ausführungsform des Sprachassistenten dargelegte Reihenfolge der Verfahrensschritte veranschaulicht. Im Verfahrensschritt 301 stellt die Recheneinheit bereits die Anfrage an die zentrale Recheneinrichtung zum Beziehen von Informationen über Ladestationen. Im Verfahrensschritt 302 bereitet die Recheneinheit die erhaltenen Ergebnisse auf. Im Verfahrensschritt 303 stellt die Recheneinheit die Abfrage des aktuellen Status der Routenführung. Im Verfahrensschritt 304 trifft die Recheneinheit eine Entscheidung über auszuführende Aktionen. Im Verfahrensschritt 305 wird dann erst der proaktive Dialog gestellt: „Soll ich eine Ladestation suchen?“. Im Verfahrensschritt 306 antwortet der Nutzer, indem er beispielsweise „Ja“ sagt. Somit startet erst hier die Wartezeit für den Nutzer. Im Verfahrensschritt 307 kann dann die Recheneinheit direkt ein bereits aus den entsprechenden Hintergrundinformationen aufbereitetes Ergebnis auswählen und im Verfahrensschritt 308 die entsprechende Aktion, also beispielsweise das Setzen der Ladestation als Zwischenziel, durchführen. Somit endet hier die Wartezeit für den Nutzer.

Gemäß der in Figur 2 dargestellten Verfahrensschritte dauert die Wartezeit für den Nutzer vom Verfahrensschritt 202 bis zum Verfahrensschritt 208 an, wohingegen die Wartezeit gemäß der in Figur 3 gezeigten Verfahrensschritte lediglich vom Verfahrensschritt 306 bis zum Verfahrensschritt 308 andauert. Dies zeigt deutlich die Verkürzung der Wartezeit für den Nutzer.

Mit Hilfe des erfindungsgemäßen Verfahrens wird es ermöglicht, insbesondere wenn Spracheingaben durch indirekte Sprache oder bei Disambiguierung von Sprachbefehlen erteilt werden, die tatsächlichen Intensionen des Nutzers zuverlässiger zu interpretieren. Auch die Unterscheidung der Informationsart liefert hierbei einen zusätzlichen Mehrwert, da die Relevanz von Kontexten bei unterschiedlichen Informationsarten ebenfalls voneinander abweicht. Zudem kann die Wartedauer für einen Nutzer auf die Reaktion des Sprachassistenten verkürzt werden.

Claims

Patentansprüche

1. Verfahren zum Betrieb eines fahrzeugintegrierten Sprachassistenten, wobei der Sprachassistent eine von einem Nutzer getätigte Spracheingabe erfasst und verarbeitet sowie aus der Spracheingabe eine kontextabhängige Bedienabsicht zum Bedienen einer Fahrzeugfunktionalität ermittelt, umfassend die folgenden von einer fahrzeuginternen Recheneinheit ausgeführten Verfahrensschritte:

- (101): Protokollieren des Nutzungsverhaltens der Fahrzeugfunktionalitäten, wobei jeder Nutzerinteraktion mit einer Fahrzeugfunktionalität ein Kontext zugeordnet wird;

- (102): Abgleichen der kontextabhängigen Bedienabsicht mit den im Rahmen der Nutzerinteraktion mit den Fahrzeugfunktionalitäten protokollierten Kontexten; und

- wenn eine Übereinkunft zwischen einem protokollierten Kontext und der Bedienabsicht festgestellt wird: (103): Bedienen der durch die Spracheingabe anzusteuernden Fahrzeugfunktionalität unter Berücksichtigung des Kontextes; dadurch gekennzeichnet, dass die Recheneinheit beim Protokollieren des Nutzungsverhaltens der Fahrzeugfunktionalitäten einem jeweiligen Kontext einen Aktualitätsfaktor zuordnet, wobei der Aktualitätsfaktor beim Zuordnen seine maximale Ausprägung annimmt und dann stetig über die Zeit verfällt, und wobei die Recheneinheit bei mehreren mit einer Bedienabsicht übereinstimmenden Kontexten denjenigen Kontext zum Bedienen der Fahrzeugfunktionalität auswählt, dessen Aktualitätsfaktor in diesem Moment die größte Ausprägung aufweist.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Recheneinheit ein entsprechend trainiertes Modell des maschinellen Lernens zum Abgleichen der kontextabhängigen Bedienabsicht mit den protokollierten Kontexten einsetzt.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Geschwindigkeit mit der ein jeweiliger Aktualitätsfaktor verfällt, durch einen jeweiligen Aktualitätsfaktor spezifischen Verfallsfaktor eingestellt wird.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Recheneinheit die Höhe zumindest eines Verfallsfaktors einstellt in Abhängigkeit:

- der Art der dem jeweiligen Kontext zugrunde liegenden Fahrzeugfunktionalität;

- einer manuellen Nutzervorgabe; oder

- des Erkennens eines Bedienabbruchs der in Übereinkunft mit der Spracheingabe durchgeführten Bedienung der Fahrzeugfunktionalität.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Recheneinheit einen protokollierten Kontext löscht, sobald der dem jeweiligen Kontext zugeordnete Aktualitätsfaktor verfallen ist.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Recheneinheit noch bevor die nächste Spracheingabe erfolgt, aus den aktuell protokollierten Kontexten wenigstens eine potentiell als nächstes erwartete Spracheingabe prädiziert, insbesondere mehrere potentiell als nächstes erwartete Spracheingaben, wobei die Recheneinheit jeder potentiell als nächstes erwarteten Spracheingabe eine in Abhängigkeit der jeweiligen Kontexte ermittelte Eingabewahrscheinlichkeit zuordnet.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Recheneinheit zumindest für die wahrscheinlichste als nächstes erwartete Spracheingabe: - zur Ausformulierung einer Sprachantwort erforderliche Hintergrundinformationen bezieht; und/oder

- zumindest einen zur Bedienung der jeweiligen Fahrzeugfunktionalität erforderlichen Zwischenschritt ausführt.

8. Sprachassistent, umfassend akustische Erfassungsmittel, eine Recheneinheit und eine Anbindung zur Bedienung einer Fahrzeugfunktionalität, dadurch gekennzeichnet, dass die Erfassungsmittel, die Recheneinheit und die Anbindung zur Bedienung der Fahrzeugfunktionalität zur Ausführung eines Verfahrens nach einem der Ansprüche

1 bis 7 eingerichtet sind.

9. Fahrzeug, gekennzeichnet durch einen Sprachassistenten nach Anspruch 8.