-
Die Offenbarung betrifft Systeme und Verfahren zur multimodalen Mehrstufeninteraktion. Die Offenbarung betrifft insbesondere Systeme und Verfahren zur verzahnten multimodalen Mehrstufeninteraktion basierend auf mehreren Interaktionskontexten in Fahrzeugen.
-
Stand der Technik
-
Im Stand der Technik sind Benutzerschnittstellen bekannt, die eine menschliche Interaktion nachahmen bzw. simulieren sollen. Beispielsweise können sogenannte virtuelle Assistenten in begrenztem Umfang einen Kontext erkennen bzw. eine Interaktionshistorie erfassen und darauf basierend einen Dialog erlauben, der über einfache und kontextfreie Frage Antwort Interaktionen hinaus geht. Dies kann in begrenztem Umfang die Stellung und Beantwortung von Folgefragen erlauben, die auf eine Vorangegangene Interaktion, beispielsweise eine anfängliche Frage Bezug nehmen.
-
Die Druckschrift
US 8,195,468 beschreibt ein mobiles System, das sprachbasierte und nichtsprachbasierte Schnittstellen für Telematikanwendungen umfasst. Das mobile System identifiziert und verwendet Kontext, vorherige Informationen, Domänenwissen und benutzerspezifische Profildaten, um eine natürliche Umgebung für Benutzer zu schaffen, die Anforderungen und/oder Befehle in mehreren Domänen übermitteln. Die Erfindung erstellt, speichert und verwendet umfangreiche persönliche Profilinformationen für jeden Benutzer, wodurch die Zuverlässigkeit der Bestimmung des Kontextes verbessert und die erwarteten Ergebnisse für eine bestimmte Frage oder einen bestimmten Befehl dargestellt werden. Die Erfindung kann domänenspezifisches Verhalten und Informationen in Agenten organisieren, die über ein Weitbereichsnetzwerk verteilt oder aktualisierbar sind. Das mobile System ist nicht dafür vorgesehen, mehrere unterschiedliche Kontexte zu erfassen und/oder zwischen solchen Kontexten zu wechseln.
-
Die Druckschrift
US 9,947,319 beschreibt einen virtuellen bzw. mobilen Assistenten, der in einer ersten Sitzung die Angaben eines Nutzers zu dessen Zustand erfassen und speichern kann. In einer zweiten nachfolgenden Sitzung kann dann mittels Auswahl aus einer Vielzahl von vorbestimmten Wörtern, Phrasen oder Aussagen auf den gespeicherten Zustand Bezug genommen werden. Durch diese Verarbeitung des Zustands eines Nutzers soll dem Assistenten eine sozialere bzw. menschlichere Komponente verliehen werden, sodass die Interaktion mit dem Assistenten eher einer Interaktion mit einem menschlichen Gegenüber ähnelt. Der mobile Assistent ist nicht dafür vorgesehen, mehrere unterschiedliche Kontexte zu erfassen und/oder zwischen solchen Kontexten zu wechseln.
-
Bekannte Konzepte sind typischerweise auf direkte und einfache Folgefragen beschränkt und erfassen bzw. berücksichtigen bestenfalls lediglich einen Kontext oder eine Historie eines laufenden Sprachdialogs und ist somit auf einen sogenannten „Thread“ beschränkt. Wechsel zu anderen Kontexten und zurück sind damit nicht möglich.
-
Weiter sind bekannte Konzepte meist monomodal angelegt und somit auf eine bestimmte Modalität, beispielsweise Sprachein- und -ausgabe festgelegt, ohne die Möglichkeit, andere Modalitäten (z.B. Gestik, Mimik, Blick oder andere Ausdrucksformen) berücksichtigen und integrieren zu können.
-
Es besteht daher der Bedarf an Verfahren und Systemen, die eine Mehrzahl von Kontexten separat erfassen und verarbeiten sowie voneinander unterscheiden können. Hierdurch ergibt sich der Vorteil, dass sich in einem dynamischen Umfeld, beispielsweise in einem Fahrzeug, ergebende Kontextwechsel jeweils in einem eigenen Kontext abgebildet und getrennt voneinander (auch wechselweise oder „verzahnt“) behandelt werden können.
-
Es besteht weiter der Bedarf an Verfahren und Systemen, die multimodal angelegt sind und eine Vielzahl von Modalitäten, beispielsweise Sprache, Gestik, Mimik, Blickerfassung, Körperhaltung oder dergleichen mehr, bei der Interaktion mit einem Nutzer berücksichtigen und integrieren können.
-
Offenbarung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Offenbarung, Systeme und Verfahren zur multimodalen Mehrstufeninteraktion bereitzustellen, die einen oder mehrere der vorgenannten Nachteile vermeiden und/oder einen oder mehrere der beschriebenen Vorteile ermöglichen.
-
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
In einem ersten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Verfahren zur Interaktion mit einem Nutzer eines Fahrzeugs angegeben. Das Verfahren umfasst Ermitteln einer Vielzahl von Kontextparametern; Empfangen von einer oder mehreren Eingaben des Nutzers; Ermitteln, basierend auf der Vielzahl von Kontextparametern und/oder den ein oder mehreren Eingaben des Nutzers, eines ersten Kontexts einer Nutzung durch den Nutzer; Ermitteln, basierend auf der Vielzahl von Kontextparametern und/oder den ein oder mehreren Eingaben des Nutzers, eines zweiten Kontexts einer Nutzung durch den Nutzer, wobei der zweite Kontext und der erste Kontext voneinander verschieden sind; Ermitteln, basierend auf der Vielzahl von Kontextparametern und den ersten und zweiten Kontexten, einer Zuordnung der ein oder mehreren Eingaben zum ersten oder zweiten Kontext; Generieren einer oder mehrerer Antworten auf die ein oder mehreren Eingaben basierend auf dem zugeordneten Kontext; und Ausgeben der ein oder mehreren Antworten an den Nutzer.
-
In einem zweiten Aspekt nach dem vorhergehenden Aspekt 1 umfasst das Verfahren weiter Empfangen von einer oder mehreren weiteren Eingaben des Nutzers; und Ermitteln, basierend auf der Vielzahl von Kontextparametern und den ersten und zweiten Kontexten, einer Zugehörigkeit der ein oder mehreren weiteren Eingaben zum ersten oder zweiten Kontext; Generieren einer oder mehrerer weiterer Antworten auf die ein oder mehreren weiteren Eingaben basierend auf dem zugeordneten Kontext; und Ausgeben der ein oder mehreren weiteren Antworten an den Nutzer.
-
In einem dritten Aspekt nach einem der vorhergehenden Aspekte 1 oder 2 umfasst das Verfahren weiter Ermitteln, basierend auf der Vielzahl von Kontextparametern und/oder den ein oder mehreren weiteren Eingaben des Nutzers, eines dritten Kontexts einer Nutzung durch den Nutzer, wobei der dritte Kontext von den ersten und zweiten Kontexten verschieden ist; Ermitteln, basierend auf der Vielzahl von Kontextparametern und den ersten, zweiten und dritten Kontexten, einer Zugehörigkeit der ein oder mehreren weiteren Eingaben zum ersten, zweiten oder dritten Kontext; Generieren einer oder mehrerer weiterer Antworten auf die ein oder mehreren weiteren Eingaben basierend auf dem zugeordneten Kontext; und Ausgeben der ein oder mehreren weiteren Antworten an den Nutzer.
-
In einem vierten Aspekt nach einem der vorhergehenden Aspekte 1 bis 3 gehören die ein oder mehreren Eingaben des Nutzers und/oder die ein oder mehreren weiteren Eingaben des Nutzers mindestens zu einer ersten und einer zweiten Modalität, wobei die ersten und zweiten Modalitäten voneinander verschieden sind.
-
In einem fünften Aspekt nach einem der vorhergehenden Aspekte 1 bis 4 sind die ersten und zweiten Modalitäten ausgewählt aus der Gruppe umfassend: Spracheingaben; Eingaben basierend auf einer Gestik des Nutzers; Eingaben basierend auf einer Körperhaltung des Nutzers, insbesondere auf einer Kopfstellung des Nutzers; Eingaben basierend auf einer taktilen Eingabe des Nutzers; Eingaben basierend auf einer Blickführung und/oder Blickrichtung des Nutzers; und Eingaben basierend auf einer Mimik des Nutzers.
-
In einem sechsten Aspekt nach einem der vorhergehenden Aspekte 1 bis 5 erfolgt die Zuordnung der ein oder mehreren Eingaben zum ersten oder zweiten Kontext regelbasiert.
-
In einem siebten Aspekt nach dem vorhergehenden Aspekt 6 wird regelbasiert eine erste Untermenge der ein oder mehreren Eingaben zum ersten oder zweiten Kontext zugeordnet; und/oder regelbasiert eine zweite Untermenge der ein oder mehreren Eingaben vom ersten oder zweiten Kontext ausgeschlossen. Vorzugsweise weisen die erste und zweite Untermenge keine gemeinsamen Elemente auf.
-
In einem achten Aspekt nach einem der vorhergehenden Aspekte 1 bis 7 erfolgt die Zuordnung der ein oder mehreren Eingaben zum ersten oder zweiten Kontext basierend auf Machine Learning.
-
In einem neunten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein System zur Interaktion mit einem Nutzer eines Fahrzeugs angegeben. Das System umfasst eine Steuereinheit, die konfiguriert ist zur Ausführung des Verfahrens gemäß Ausführungsformen der vorliegenden Offenbarung, insbesondere nach einem der vorhergehenden Aspekte 1 bis 8.
-
In einem zehnten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Fahrzeug angegeben. Das Fahrzeug umfasst ein System gemäß Ausführungsformen der vorliegenden Offenbarung, insbesondere nach dem vorhergehenden Aspekt 9.
-
Die hier offenbarten Verfahren und Systeme bieten ein oder mehrere der nachstehend genannten Vorteile.
-
Basierend auf den hier offenbarten Verfahren und Systemen kann der Nutzer eines Fahrzeugs einen (Sprach-) Dialog auf multimodale Interaktionen ausdehnen, einschließlich Gestik, Mimik, Körperhaltung, Blickführung, taktile Bedienung von Komponenten und dergleichen mehr.
-
Die Möglichkeit zum jederzeitigen Kontextwechsel und durch die wechselweise Behandlung mindestens zweier verschiedener Kontexte kann eine umständliche Wiederholung von Eingaben durch den Nutzer vermieden werden. Dies kann insbesondere zu einer verbesserten Aufmerksamkeit des Nutzers beim Führen seines Fahrzeuges zur Folge haben.
-
Die Berücksichtigung einer Mehrzahl von verschiedenen Kontexten kann eine präzisere Erfassung der Bedürfnisse eines Nutzers erfolgen und eine ebenfalls präzisere und/oder effizientere Gestaltung der Interaktion des Nutzers mit dem Fahrzeug und/oder der Umwelt. Auch dies kann insbesondere zu einer verbesserten Aufmerksamkeit des Nutzers beim Führen seines Fahrzeuges zur Folge haben.
-
Schließlich kann eine Berücksichtigung verschiedener erwarteter Kontexte eine Interaktion des Nutzers mit dem Fahrzeug und/oder der Umwelt die Kommunikation effizienter, effektiver und vertrauensvoller gestalten. Auch dies kann insbesondere zu einer verbesserten Aufmerksamkeit des Nutzers beim Führen seines Fahrzeuges zur Folge haben, sowie dazu beitragen, dass der Nutzer von ihm präferierte Interaktionen, Einstellungen, Eingaben und dergleichen mehr, nicht mehrfach und/oder manuell vornehmen muss.
-
Figurenliste
-
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Dabei werden im Folgenden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente dieselben Bezugszeichen verwendet.
- 1 zeigt eine schematische Darstellung eines Systems zur multimodalen Mehrstufeninteraktion gemäß Ausführungsformen der vorliegenden Offenbarung zur Anwendung in einem Fahrzeug; und
- 2 zeigt ein Flussdiagramm eines Verfahrens gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Ausführungsformen der Offenbarung
-
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
-
1 zeigt eine schematische Darstellung eines Systems 100 zur multimodalen Mehrstufeninteraktion gemäß Ausführungsformen der vorliegenden Offenbarung zur Anwendung in einem Fahrzeug 80. Das System kann im Wesentlichen auf einer Steuereinheit 120 des Fahrzeugs 80 ausgeführt werden. Das Fahrzeug 80 umfasst neben der Steuereinheit 120 weiter eine Kommunikationseinheit 130, die zur Datenkommunikation mit zum Fahrzeug 80 externen Komponenten (z.B. mobile Endgeräte 70 und/oder Backend 150) konfiguriert ist, und eine Benutzerschnittstelle 110.
-
Das Fahrzeug 80 umfasst weiter eine Sensorik 115, die konfiguriert ist, ein Nutzerverhalten zu erfassen. Die Sensorik 115 ist in 1 lediglich beispielhaft skizziert und kann mehrere Komponenten beinhalten, insbesondere an verschiedenen Stellen in bzw. am Fahrzeug 80 verbaute Komponenten. Die Sensorik 115 kann beispielsweise ein oder mehrere Kameras beinhalten, die konfiguriert sind, den Innenraum des Fahrzeugs, insbesondere einen Nutzer oder Insassen des Fahrzeugs, zu erfassen und so deren Verhalten, insbesondere Gestik, Mimik, Körperhaltung, Blickführung und dergleichen zu erfassen. Um die Gestik eines Nutzers zu erfassen, können weitere Komponenten vorgesehen sein, beispielsweise eine Sensorik, die eine Gestensteuerung implementiert (z.B. Zeigen, Deuten, Wischen auf das zentrale Informationsdisplay (CID), ohne einen Touchscreen verwenden zu müssen). Die Sensorik 115 kann weiter ein oder mehrere Kameras beinhalten, die ein Umfeld um das Fahrzeug herum erfassen. Basierend darauf können verschiedene Kontexte ermittelt und/oder weiter angereichert werden, beispielsweise durch Erfassung von Fahrbahnen, Bebauung, anderen Verkehrsteilnehmern und dergleichen mehr. Die Sensorik kann weiter vorhandene oder besondere Fahrzeugsensorik beinhalten, beispielsweise Ultraschallsensoren, Radarsensoren, Lidar Sensoren oder dergleichen mehr, die typischerweise Informationen für den Fahrbetrieb des Fahrzeugs 80 liefern (z.B. Quer- bzw. Längsführung, Parkassistent, Stop&Go Assistent). Daten von diesen Sensoren können ebenfalls für die Ermittlung und/oder Anreicherung von verschiedenen Kontexten herangezogen werden.
-
Die Benutzerschnittstelle 110 beinhaltet eine oder mehrere multimodale Benutzerschnittstellen, insbesondere Benutzerschnittstellen, die für die Bedienung des Fahrzeugs 80 konfiguriert sind (z.B. Klimatisierung, Sitzeinstellung, Infotainment, Fahrzeugeinstellungen). Die Benutzerschnittstelle 110 ermöglicht die multimodale Erfassung von Eingaben eines Nutzers 60 (nicht in 1 dargestellt), beispielsweise über eine grafische Benutzeroberfläche (z.B. Touchscreen), über klassische Bedienelemente des Fahrzeugs 80 (z.B. Knöpfe, Schalter, iDrive Controller), per Sprachsteuerung (z.B. mittels Sensorik 115) und dergleichen mehr. Die Benutzerschnittstelle 110 ermöglicht weiter die multimodale Ausgabe von Informationen an einen Nutzer 60, beispielsweise über eine grafische Anzeigeelemente (z.B. Touchscreen, Head-Up Display, Instrumentenkombi, zentrales Informationsdisplay bzw. CID), über taktile Elemente (z.B. Vibration des Lenkrads oder von Teilen des Sitzes), per Sprachausgabe über eine im Fahrzeug vorhandene Lautsprecheranlage (z.B. Infotainmentsystem) oder akustische Signalgeber (z.B. Gong, Piepser) und dergleichen mehr. Die Benutzerschnittstelle 110 kann basierend auf entsprechenden Konfigurationsdaten eine grafische Benutzerschnittstelle implementieren, in der Anzeigeelemente und Bedienungselemente dargestellt werden, die vom Nutzer 60 für die Bedienung des Fahrzeugs 80 genutzt werden können. Zusätzlich bzw. alternativ kann die Benutzerschnittstelle (weitere) Anzeige- und Bedienelemente beinhalten, beispielsweise Schalter, Knöpfe und Anzeigen.
-
Über die Kommunikationseinheit 130 kann das Steuergerät 120 mit externen Komponenten und Diensten in Datenkommunikation treten und so beispielsweise mit Backend Servern und/oder Diensten 150 kommunizieren. Alternativ oder zusätzlich kann das Steuergerät über die Kommunikationsschnittstelle 130 mit einem mobilen Endgerät 70 eines Nutzers 60 in Datenkommunikation treten und Daten und/oder Sensoren verwenden, die vom mobilen Endgerät 70 bereitgestellt werden.
-
Weiter kann das System 100 eine zum Fahrzeug 80 externe Backend Komponente 150 oder Infrastruktur aufweisen, die ein oder mehrere Ressourcen (z.B. Server, Dienste/Services) bereitstellt. Die Backend Komponente 150 kann zeitweise oder dauerhaft mit dem Steuergerät 120 des Fahrzeugs 80 in Datenkommunikation 140 stehen. Vorzugsweise können ressourcenintensive Verarbeitungsschritte (z.B. Verarbeitung natürlicher Sprache und/oder von Bild bzw. Videodaten, Spracherkennung, Verarbeitung großer externer Datenmengen) an die externe Backend Komponente 150 ausgelagert werden, die durch die Steuereinheit 120 im Fahrzeug 80 nur schwer oder gar nicht vorgenommen werden könnten. Hierbei kann auch auf eventuelle Anforderungen bzgl. Rechenleistung, Speicherleistung, verfügbarer Bandbreite, Anbindung an externe Datenquellen und dergleichen mehr, Rücksicht genommen werden.
-
Eine auf dem Steuergerät 120 ausgeführte Softwarekomponente kann eine Datenverbindung zu ein oder mehreren Diensten 150 herstellen. Eine solche Verbindung kann vorzugsweise direkt hergestellt werden, wenn ein Dienst oder eine Plattform (bzw. das zugrunde liegende Protokoll) direkt von der Softwarekomponente unterstützt wird. Eine solche Verbindung kann alternativ oder zusätzlich über ein vom Nutzer 60 mit dem Fahrzeug 80 verbundenes mobiles Endgerät 70 erfolgen. Hierbei können dann von der Softwarekomponente alle Dienste, Plattformen und Protokolle genutzt werden, die vom mobilen Endgerät unterstützt werden.
-
Verfahren und Systeme gemäß der vorliegenden Offenbarung erfassen kontinuierlich Daten über die vorgenannten Mittel und Wege, um daraus eine Mehrzahl von Kontexten zu generieren, wie beispielhaft im Folgenden erläutert wird.
-
In einem Beispiel befindet sich ein Nutzer 60 im Fahrzeug 80 und ist im Begriff, einen Parkplatz zu suchen. Dies kann im Vorfeld bereits erkannt werden, indem beispielsweise eine Route des Navigationssystems ausgewertet wird. Nähert sich das Fahrzeug 80 dem im Navigationssystem hinterlegten Zielort, kann davon ausgegangen werden, dass das Fahrzeug zumindest zeitweise in der Nähe des Zielortes abgestellt werden soll. Dies erlaubt bereits im Vorfeld einen entsprechenden Kontext anzulegen und anzureichern (z.B. mit Parkmöglichkeiten, Informationen über Einschränkungen, ortspezifische Informationen). Weiter weist ein Parkplatzsucher ein für die Parkplatzsuche typisches Fahrverhalten auf (z.B. vergleichsweise langsam, an der rechten Seite einer Fahrbahn orientiert, zeitweise kurz anhaltend, um Schilder zu lesen). Auch ein solches Fahrverhalten kann erkannt und zur Bildung eines entsprechenden Kontexts führen, bzw. kann ein bereits vorhandener Kontext damit weiter angereichert werden. Schließlich ist eine explizite Äußerung des Nutzers 60, beispielsweise per Spracheingabe (z.B. „Wo ist der nächste Parkplatz“, „Kann ich hier parken“) ein primärer Auslöser für die Bildung eines entsprechenden ersten Kontexts.
-
Ein weiterer Kontext in demselben Beispiel kann eine allgemeine Region betreffen in der sich der Nutzer 60 aufhält. Es kommt oft vor, dass ein Nutzer 60 Informationen abrufen möchte, die ein Umfeld im weiteren Sinn betreffen (d.h. nicht unmittelbar um das Fahrzeug herum, sondern eher eine Region betreffend). Dies kann beispielsweise sogenannte Points-of-Interest (z.B. Hotels, Restaurant, Sehenswürdigkeiten, Tankstellen) betreffen, aber auch allgemeine Informationen über die Region (z.B. Stadtteile, geographische oder topografische Merkmale, statistische Informationen). Basierend auf entsprechend erfassten Kontextparametern, beispielsweise einer GPS-Position, eines Zielortes im Navigationsgerät, Wetterdaten und/oder anderen Umweltparametern, kann so ein allgemeiner zweiter Kontext ermittelt werden.
-
Insbesondere kann ein (weiterer) Kontext (z.B. ein erster, zweiter, dritter, vierter, etc. Kontext) auch basierend auf einer konkreten Anfrage des Nutzers ermittelt werden, vorzugsweise zusätzlich basierend auf bereits ermittelten Kontextparametern und/oder bereits ermittelten Kontexten bzw. anderen, früheren Nutzereingaben. Hierbei sind praktisch keine Einschränkungen gegeben, da ein Kontext jedenfalls jeden vom Nutzer explizit oder implizit angegebenen Kontext umfassen kann. Beispielsweise wären denkbar Äußerungen betreffend ein Befinden des Nutzers 60 (z.B. hungrig, unwohl, erschöpft, neugierig), die zu einem entsprechenden Kontext führen (z.B. Suche nach Restaurant, Apotheke, Rast- bzw. Übernachtungsmöglichkeiten, Sehenswürdigkeiten). Weiter wären denkbar Äußerungen betreffend ein Kommunikationsmittel, die zu einem entsprechenden Kommunikationskontext führen (z.B. Anruf tätigen, Anruf annehmen, Textnachricht verschicken, Textnachricht vorlesen lassen).
-
Insbesondere kann eine Nutzereingabe auch zusätzlich oder alternativ basierend auf ein oder mehreren Modalitäten erfolgen, beispielsweise basierend auf Sprache, Gestik, Mimik, Blickerfassung, Körperhaltung oder dergleichen mehr. So kann beispielsweise anhand der Mimik des Nutzers 60 (z.B. nonverbale Äußerung wie Augenrollen, ablehnender Gesichtsausdruck, Lächeln) und basierend auf einem Kontext (z.B. Kommunikation / eingehende Anruf) ein Abweisen des Anrufs oder ein Annehmen des Anrufs erfolgen. Gleichermaßen kann ein Anruf durch eine Geste (z.B. Kopfschütteln, Nicken, Wischen mit der Hand nach rechts oder links im Sinne der Gestensteuerung) abgewiesen oder angenommen werden.
-
Verschiedene Modalitäten können eine Nutzereingabe wesentlich anreichern, beispielsweise, wenn eine Spracheingabe (z.B. „Kann ich hier parken“) mit einer erfassten Kopfhaltung und/oder Blickrichtung (z.B. nach rechts) oder mit einer Geste (z.B. Zeigen mit dem Finger) konkretisiert werden kann. Innerhalb desselben Kontexts können so Nutzereingaben deutlich präziser erfasst und beantwortet werden. Innerhalb verschiedener Kontexte können so verschiedene Anfragen getrennt voneinander und in ihrem eigenen Kontext beantwortet werden, beispielsweise, wenn der Nutzer eine Zwischenfrage stellt (z.B. Eingabe: „Ist das das Restaurant XYZ?“ mit Blick nach links), die von einem aktuellen oder vorigen Kontext abweicht (z.B. Eingabe: „Kann ich hier Parken?“ mit Blick nach rechts). Es kann also die Zwischenfrage zunächst beantwortet werden (z.B. Ausgabe: „Ja, das ist das Restaurant XYZ.“) bevor mit dem vorigen Kontext weiter verfahren wird (z.B. Ausgabe: „Nein, auf der rechten Seite der Straße befinden sich keine öffentlichen Parkplätze.“).
-
Auf diese Weise kann zwischen zwei oder mehr Kontexten gewechselt werden, ohne, dass ein Kontext einen anderen Kontext ersetzt, ablöst oder sonst beeinflusst, sodass eine präzise Interaktion mit dem Nutzer 60 beeinträchtigt würde.
-
Verschiedene Modalitäten können weiter einen Kontext spezifizieren, wenn die Verwendung einer Modalität auf einen Kontext hinweist, der sich vom aktuellen oder einem vorigen Kontext unterscheidet. Beispielsweise kann die Nutzung bestimmter Modalitäten in bestimmten Situationen auf ein Nutzerverhalten hinweisen, dass die Erfassung bestimmter Präferenzen erlaubt. So kann beispielsweise in bestimmten Situationen ein vermuteter Kontext angenommen werden, und damit die Verwendung bestimmter Modalitäten (z.B. Sprachausgabe, oder die Vermeidung von Sprachausgabe) ausgelöst werden, welche dann beibehalten werden, sofern sich der Kontext nicht ändert und/oder eine entsprechende Nutzereingabe erfolgt.
-
2 zeigt ein Flussdiagramm eines Verfahrens 200 gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 200 zur Interaktion mit einem Nutzer 60 eines Fahrzeugs 80 startet bei Schritt 201.
-
In Schritt 202 wird eine Vielzahl von Kontextparametern ermittelt. Wie vorstehend beschrieben, können die Kontextparameter auf vielerlei Arten ermittelt werden, beispielsweise basierend auf einer Fahrzeugsensorik, einer Nutzungshistorie des Fahrzeugs, Kommunikationsdaten, Umfelddaten, aktuellen und gespeicherten Daten, Daten, die durch eine oder mehrere externe Komponenten (z.B. Backend Server / Services 150) bereitgestellt werden, Flottendaten, Daten betreffend eine aktuelle oder vergangene Nutzung des Fahrzeugs 80 und/oder durch den Nutzer 60 und dergleichen mehr. Die Kontextparameter sind konfiguriert, einen oder mehrere Kontexte zu beschreiben, in denen eine Nutzung erfolgen kann (vgl. vorstehend beschriebene Beispiele).
-
In Schritt 204 werden ein oder mehrere Eingaben des Nutzers 60 empfangen. Nutzereingaben können, wie vorstehend beschrieben, multimodal erfolgen und eine Interaktion des Nutzers 60 definieren. Nutzereingaben können weiter in sich selbst einen Kontext einer Nutzung definieren, beispielsweise wenn der Nutzer durch seine Eingabe(n) einen expliziten oder impliziten Kontext definiert (vgl. vorstehen beschriebene Beispiele).
-
In den Schritten 206 und 208 werden, basierend auf der Vielzahl von Kontextparametern und/oder den ein oder mehreren Eingaben des Nutzers 60, ein erster und ein zweiter Kontext einer Nutzung durch den Nutzer ermittelt, wobei der erste und zweite Kontext voneinander verschieden sind. Hierbei können der erste und/oder der zweite Kontext durch die Eingabe(n) des Nutzers 60 explizit oder implizit definiert sein, oder basierend auf der Vielzahl der Kontextparameter, oder basierend auf einer beliebigen Kombination der vorgenannten. Wie vorstehend beschrieben, kann zwischen verschiedenen ersten und zweiten Kontexten (auch zwischen weiteren Kontexten) gewechselt werden, sodass eine wechselweise (oder auch „verzahnte“) Behandlung von Kontexten ermöglicht wird.
-
In Schritt 210 wird, basierend auf der Vielzahl von Kontextparametern und den ersten und zweiten Kontexten, eine Zuordnung der ein oder mehreren Eingaben zum ersten oder zweiten Kontext ermittelt. Hierbei kann auf eine explizite oder implizite Definition des Kontextes (siehe oben) zurückgegriffen werden oder alternativ bzw. zusätzlich auf Kontextparameter. Hierbei können die Nutzereingaben mit den jeweiligen Kontexten (z.B. erster, zweiter, etc.) abgeglichen werden und beispielsweise basierend auf einem Ähnlichkeits- bzw. Distanzmaß eine Zuordnung getroffen werden.
-
Insbesondere ist eine regelbasierte Zuordnung möglich. Hierbei können beispielsweise Typen von Nutzereingaben und Typen von Kontexten zugeordnet werden. Ein Blickkontext oder Zeigekontext mit einem Element außerhalb des Fahrzeugs kann dabei Nutzereingaben zugeordnet werden, die einen Kontext und/oder ein Element außerhalb des Fahrzeugs 80 benötigen. Umgekehrt können auch regelbasiert Ausschlüsse festgelegt oder Kombinationen aus beidem verwendet werden.
-
Alternativ oder zusätzlich kann eine Zuordnung mittels Machine Learning (ML) vorgenommen werden. Hierbei kann eine Zuordnung auf ein oder mehreren gelernten Zuordnungen und/oder einer Relevanz von Kontexten und Äußerungen oder einer Kombination aus ein oder mehreren der vorgenannten basieren. Insbesondere kann eine Zuordnung und/oder bestimmte Zuordnungsmuster global oder individuell für einzelne Nutzer 60 und/oder Kontexte angelernt werden, wobei die Zuordnung mit fortschreitender Nutzung präziser und/oder kontextgerechter vorgenommen werden kann. Die Berücksichtigung von globalen Kontexten (z.B. von solchen Kontexten, die für bestimmte Nutzergruppen anwendbar sind) und individuellen Kontexten (z.B. solchen, die für einzelne Nutzer 60 anwendbar sind) kann die Interaktion weiter verbessern.
-
In Schritt 212 (bzw. 212', im Falle weiterer Eingaben bzw. Antworten) werden eine oder mehrere Antworten auf die ein oder mehreren Eingaben basierend auf dem zugeordneten Kontext generiert. Hierbei wird insbesondere auf den (z.B. regelbasiert und/oder per ML) zugeordneten Kontext abgestellt, sodass eine möglichst präzise und effiziente Interaktion mit dem Nutzer gewährleistet wird.
-
In Schritt 214 (bzw. 214', im Falle weiterer Eingaben bzw. Antworten) werden die ein oder mehreren Antworten an den Nutzer ausgegeben. Hierbei kann eine vorbestimmte und/oder vom Nutzer als bevorzugt bekannte Modalität berücksichtigt werden und/oder eine durch den Kontext nahegelegte Modalität verwendet werden (vgl. vorstehend beschriebene Beispiele). Das Verfahren 200 kann mit weiteren Eingaben und Antworten weitergeführt werden (vgl. Schritte 216, 218, 212', 214') oder um weitere Kontexte (vgl. Schritte 220, 222; nicht in 2 dargestellt) weitergeführt werden. Alternativ oder nach Beenden der Interaktion endet das Verfahren bei Schritt 230.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 8195468 [0003]
- US 9947319 [0004]
