DE102018206015A1

DE102018206015A1 - Benutzerkommunikation an Bord eines Kraftfahrzeugs

Info

Publication number: DE102018206015A1
Application number: DE102018206015.0A
Authority: DE
Inventors: Viviane Ghaderi; Thomas Hubregtsen; Christian Süss
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2018-04-19
Filing date: 2018-04-19
Publication date: 2019-10-24
Also published as: WO2019202056A1

Abstract

Ein System zur Unterstützung eines Benutzers an Bord eines Kraftfahrzeugs umfasst eine Abtasteinrichtung an Bord des Kraftfahrzeugs, die zur Abtastung einer Äußerung des Benutzers eingerichtet ist, und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, den Analysedienst in Abhängigkeit einer Identifikation des Benutzers aus mehreren vorbestimmten Analysediensten auszuwählen und die abgetastete Äußerung an einen Analysedienst weiterzuleiten, wobei der ausgewählte Analysedienst dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.

Description

Die Erfindung betrifft die Unterstützung eines Benutzers an Bord eines Kraftfahrzeugs. Insbesondere betrifft die Erfindung die Bestimmung einer Benutzerabsicht auf der Basis einer Äußerung des Benutzers.
Um eine vorbestimmte Funktion zu steuern kann ein Benutzer an Bord eines Kraftfahrzeugs seine Absicht auf klassische Weise durch die Betätigung einer dafür vorgesehenen Abtasteinrichtung ausdrücken. Die Absicht kann eine Funktion des Kraftfahrzeugs umfassen und beispielsweise eine Fahrfunktion, eine automatische Zielführung oder eine Unterhaltungsfunktion betreffen. Die Abtasteinrichtung kann einen Taster, Schalter oder Hebel oder auch einen Touchscreen oder ein Touchpad umfassen.
Um den Benutzer, insbesondere einen Fahrer des Kraftfahrzeugs, verbessert zu unterstützen kann ein fortgeschrittenes Bedienkonzept vorgesehen sein, beispielsweise eine Sprach- oder Gestensteuerung. Der Benutzer kann an Bord des Kraftfahrzeugs akustisch oder optisch abgetastet werden und ein Abtastergebnis kann von einem vorbestimmten Analysedienst durchgeführt werden. Beispielsweise gibt es zur akustischen Analyse verschiedene digitale Assistenten, die unter den Namen Siri, Alexa oder Cortana bekannt sind.
DE 10 2016 004 287 A1 betrifft ein Verfahren zur Spracherkennung in einem Kraftfahrzeug.
DE 10 2008 028 477 A1 schlägt vor, einem Benutzer mittels eines Sprachbediensystems Hilfe anzubieten.
Es hat sich gezeigt, dass nicht alle Analysetechniken unter allen in einem Kraftfahrzeug anzutreffenden Umständen gleich gute Ergebnisse erzielen. Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht daher darin, eine verbesserte Technik zur Analyse einer Äußerung eines Benutzers bereitzustellen. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
Nach einem ersten Aspekt umfasst ein System zur Unterstützung eines Benutzers an Bord eines Kraftfahrzeugs eine Abtasteinrichtung an Bord des Kraftfahrzeugs, die zur Abtastung einer Äußerung des Benutzers eingerichtet ist, und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, den Analysedienst in Abhängigkeit einer Identifikation des Benutzers aus mehreren vorbestimmten Analysediensten auszuwählen und die abgetastete Äußerung an einen Analysedienst weiterzuleiten, wobei der ausgewählte Analysedienst dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
Dadurch kann stets derjenige Analysedienst verwendet werden, der in einer gegebenen Situation optimal ist. Die Qualität des Analyseergebnisses kann so verbessert werden. Ein Analysedienst kann abgeschaltet oder ausgetauscht werden, ohne die Funktion des Systems zu gefährden. Ein zusätzlicher Analysedienst kann mit geringem Aufwand hinzugefügt werden. Optional ist auch eine verkette Verwendung von Analysediensten möglich, indem ein Analyseergebnis eines ersten Analysediensts als Eingabe für einen zweiten Analysedienst dient. Die verbesserte Analyse kann es erlauben, auch eine Funktion zu steuern, die bislang aufgrund einer hohen zur Kommunikation erforderlichen Aufmerksamkeit des Benutzers nicht an Bord des Kraftfahrzeugs auf die geschilderte Weise gesteuert werden konnte.
Eine Art der Äußerung kann eine Geste, einen artikulierten Laut, einen unartikulierten Laut, eine Mimik, einen Blick, und/oder eine physische Betätigung umfassen, wobei die Verarbeitungseinrichtung dazu eingerichtet ist, den Analysedienst in Abhängigkeit der Art der Äußerung auszuwählen. So können innovative Kommunikationskonzepte genutzt werden, um die Kommunikation mit dem Benutzer zu verbessern. Der Benutzer kann auch mehrere Äußerungen unterschiedlicher Arten von sich geben, wobei einer oder auch mehrere Analysedienste mit der Analyse der jeweiligen Art beschäftigt werden kann.
Die Auswahl des Analysediensts kann in Abhängigkeit einer Fahrsituation des Kraftfahrzeugs erfolgen. Dazu kann die Fahrsituation insbesondere durch die Verarbeitungseinrichtung bestimmt werden. Die Fahrsituation kann beispielsweise eine Fahrgeschwindigkeit, eine Verkehrsdichte, eine Fahrt in der Stadt, über Land oder auf einer Autobahn, unter unterschiedlichen Wettereinflüssen, Tageszeiten und Sonnenständen umfassen. Die Verarbeitungseinrichtung kann zur Bestimmung der Fahrsituation mittels einer Schnittstelle mit einer weiteren Vorrichtung an Bord des Kraftfahrzeugs verbunden sein, etwa einem Navigationssystem oder einer Längs- oder Quersteuerung, um beispielsweise einen Fahrzustand zu bestimmen.
Die Fahrsituation kann auch eine Situation im Kraftfahrzeug berücksichtigen, beispielsweise ob gerade ein Gespräch stattfindet, ob der Benutzer an dem Gespräch beteiligt ist, ob ein Unterhaltungssystem aktiv ist etc. Auf Basis der Fahrsituation kann insbesondere entschieden werden, ob eine abgetastete Äußerung des Benutzers mit einer Benutzerabsicht verknüpft ist oder der Benutzer die Äußerung eher unbeabsichtigt gegeben hat. Beispielsweise kann eine vorbestimmte Handbewegung zur Steuerung einer Lautstärke eines Audiosystems vorgesehen sein. Durchfährt das Kraftfahrzeug eine schnelle Kurvenkombination, bei welcher der Benutzer als Fahrer an einem Lenkrad in rascher Folge mit beiden Händen umgreifen muss, so ist die erkannte Handbewegung wahrscheinlich eher zufällig. In weiteren Ausführungsformen können der gleichen Äußerung in unterschiedlichen Fahrsituationen verschiedene Benutzerabsichten zugeordnet sein.
Zur Auswahl des Analysediensts kommen unterschiedliche Vorgehensweisen in Betracht, von denen eine oder auch mehrere in Kombination miteinander durchgeführt werden können.
Der Analysedienst kann beispielsweise in Abhängigkeit einer der Identifikation zugeordneten Benutzereinstellung ausgewählt werden. Der Benutzer kann beispielsweise in Abhängigkeit seiner eigenen Erfahrung oder von mit der Nutzung des Analysedienstes verbundenen Kosten eine Auswahl treffen. Es können auch mehrere Analysedienste vom Benutzer benannt werden, die beispielsweise für unterschiedliche Arten von Äußerungen verwendet werden können. Weiter kann der Benutzer eine vorbestimmte Reihenfolge von Analysediensten angeben, von denen der höchstplatzierte Analysedienst ausgewählt werden kann, der in einem gegebenen Moment verfügbar ist.
Die Äußerung kann eine vorbestimmte Eigenschaft aufweisen, wobei der Analysedienst in Abhängigkeit seiner Verarbeitungsfähigkeit für eine Äußerung mit einer vorbestimmten Eigenschaft ausgewählt werden kann. Die Eigenschaft kann beispielsweise Nebengeräusche, etwa bei Regen oder höherer Geschwindigkeit, ein Dialekt in einer artikulierten Äußerung des Benutzers oder das Tragen einer Brille des Benutzers bei der Äußerung mittels eines Gesichtsausdrucks oder eines Blicks umfassen. Für eine Vielzahl unterschiedlicher solcher Umstände können jeweils einer oder mehrere vorbestimmte Analysedienste vorgesehen sein.
Dabei kann die Verarbeitungseinrichtung dazu eingerichtet sein, die Eigenschaft der Äußerung zu bestimmen. Dazu kann die Verarbeitungseinrichtung auf Signale eines oder mehrerer Sensoren an Bord des Kraftfahrzeugs zurückgreifen, die beispielsweise einen Innenraum und insbesondere den Benutzer abtasten können. Die Eigenschaft kann auch einer Situation an Bord des Kraftfahrzeugs, insbesondere einer Fahrsituation zugeordnet sein. In einer weiteren Ausführungsform kann die Eigenschaft auch dem Benutzer zugeordnet sein. Beispielsweise kann bekannt sein, dass ein bestimmter Benutzer gelegentlich Dialekt spricht, sodass nicht erst ein Analyseergebnis einer sprachlichen Äußerung des Benutzers abgewartet werden muss, um dies zu bestimmen.
Die Verarbeitungseinrichtung kann weiter dazu eingerichtet sein, den Analysedienst in Abhängigkeit eines Erfolgs einer vorausgehenden Analyse auszuwählen. Insbesondere kann ein erfolgsbasiertes Lernen implementiert sein, bei dem bestimmt wird, unter welchen Umständen welcher Analysedienst die besten Ergebnisse liefert. Der Erfolg kann beispielsweise durch eine Benutzereingabe oder ein Benutzerverhalten bestimmt werden. Führt der Benutzer als Reaktion auf eine bestimmte Benutzerabsicht eine sehr ähnliche Äußerung erneut durch, so war die Analyse wahrscheinlich unzutreffend. Alternativ kann der Benutzer seine Zustimmung zu einer bestimmten Benutzerabsicht auch beispielsweise durch einen Tastendruck oder das Sprechen eines Schlüsselwortes ausdrücken. In noch einer weiteren Ausführungsform kann eine bestimmte Konfidenz zur Bestimmung der Qualität herangezogen werden. Die Konfidenz kann durch den Analysedienst bereitgestellt werden und ausdrücken, mit welcher Wahrscheinlichkeit das Analyseergebnis zutreffend ist. Der auf diese Weise bestimmte Analysedienst kann für folgende Benutzeräußerungen bevorzugt beauftragt werden.
In wieder einer weiteren Ausführungsform wird die Äußerung parallel an mehrere Analysedienste weitergeleitet und aus mehreren Benutzerabsichten, die durch die Analysedienste bestimmt wurden, wird eine ausgewählt. Insbesondere wenn noch wenige Erfahrungen mit einem oder mehreren verfügbaren Analysediensten vorliegen, können deren Analysequalitäten auf diese Weise rasch evaluiert werden. In einer Ausführungsform kann auch dasjenige Ergebnis verwendet werden, das als erstes eintrifft. Dies kann beispielsweise bei der Auslösung einer sicherheitsrelevanten oder anderweitig dringlichen oder zeitkritischen Funktion sinnvoll sein.
In einer Weiterbildung ist die Verarbeitungseinrichtung dazu eingerichtet, auf der Basis der getroffenen Auswahl einen zukünftig bevorzugt auszuwählenden Analysedienst zu bestimmen. So kann einem einmal ausgewählten Analysedienst die Möglichkeit der Anpassung an den Benutzer, eine Situation oder einen anderen wiederkehrenden Umstand gegeben werden.
Das System kann ferner eine weitere Abtasteinrichtung an Bord des Kraftfahrzeugs umfassen, wobei die weitere Abtastungseinrichtung dazu eingerichtet ist, eine Identifikation des Benutzers zu bestimmen. Die weitere Abtasteinrichtung kann beispielsweise durch den Benutzer manuell bedient werden. Alternativ kann die Abtasteinrichtung einen persönlichen Gegenstand wie einen elektronisch codierten Schlüssel oder einen entsprechenden Gegenstand umfassen. Der Benutzer kann auch anhand seines Mobiltelefons identifiziert werden, beispielsweise mittels Nahfeldkommunikation (NFC). Eine Identifikation des Benutzers durch das Mobiltelefon kann übernommen werden. In noch einer weiteren Ausführungsform kann der Benutzer anhand eines biometrischen Merkmals identifiziert werden, etwa mittels einer Kamera oder eines Fingerabdruck-Lesegeräts. Auch eine Identifikation anhand eines eingegebenen Codes ist möglich. Ferner kann der Benutzer auf der Basis einer personalisierten Einstellung identifiziert werden, beispielsweise der Einstellung eines Sitzes, eines Außen- oder Innenspiegels.
Die Verarbeitungseinrichtung ist bevorzugt dazu eingerichtet, in Abhängigkeit der bestimmten Benutzerabsicht eine vorbestimmte Funktion zu steuern. Die Funktion betrifft bevorzugt den Benutzer und kann eine Funktion an Bord des Kraftfahrzeugs umfassen, beispielsweise das Öffnen oder Schließen eines Fensters oder das Aktivieren eines Navigationsziels. Alternativ kann die Funktion auch lediglich an Bord des Kraftfahrzeugs bewirkt werden, beispielsweise ein Vorlesen eines E-Mails oder das Herstellen einer Telefonverbindung.
Die Ausführung der Funktion durch einen Ausführungsdienst kann durch die Verarbeitungseinrichtung veranlasst werden. Hierfür kann ebenfalls einer von mehreren vorbestimmten Diensten ausgewählt werden, welche die Funktion anbieten. Beispielsweise kann in einem ersten Schritt die Äußerung des Benutzers eine Sprachanweisung umfassen, die das Vorlesen eines E-Mails betrifft. Der die Funktion ausführende Dienst kann mit dem analysierenden Dienst identisch oder von ihm verschieden sein. So können verbessert unterschiedliche Dienste miteinander kombiniert werden, beispielsweise um einen für den Benutzer nutzbaren Funktionsumfang zu vergrößern.
Nach einem zweiten Aspekt umfasst ein Kraftfahrzeug eine Abtasteinrichtung an Bord des Kraftfahrzeugs, zur Abtastung einer Äußerung des Benutzers, und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, den Analysedienst in Abhängigkeit einer Identifikation des Benutzers aus mehreren vorbestimmten Analysediensten auszuwählen und die abgetastete Äußerung an einen Analysedienst weiterzuleiten, wobei der ausgewählte Analysedienst dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
In einer ersten Variante befindet sich die Verarbeitungseinrichtung an Bord des Kraftfahrzeugs, wie oben an verschiedenen Stellen angedeutet wurde. In einer zweiten Variante befindet sich die Verarbeitungseinrichtung außerhalb des Kraftfahrzeugs und ist beispielsweise mittels einer drahtlosen Kommunikationseinrichtung mit dem Kraftfahrzeug verbunden. Die Verarbeitungseinrichtung kann Teil eines weiteren Dienstes sein, der insbesondere über ein Kommunikationsnetzwerk wie das Mobilfunknetz oder das Internet erreichbar sein kann.
Nach einem dritten Aspekt umfasst ein Verfahren zur Unterstützung eines Benutzers an Bord eines Kraftfahrzeugs Schritte des Abtastens einer Äußerung des Benutzers an Bord des Kraftfahrzeugs; des Auswählens eines Analysediensts aus mehreren vorbestimmten Analysediensten in Abhängigkeit einer Identifikation des Benutzers; und des Weiterleitens der abgetasteten Äußerung an den ausgewählten Analysedienst, wobei der ausgewählte Analysedienst dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
Das Verfahren kann ganz oder in Teilen in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Die hierin erwähnte Verarbeitungseinrichtung kann insbesondere einen programmierbaren Mikrocomputer umfassen und dazu eingerichtet sein, das Verfahren oder einen Teil davon durchzuführen. Die Verarbeitungseinrichtung kann an Bord des Kraftfahrzeugs angebracht sein. Merkmale oder Vorteile des Verfahrens können auf das System oder das Kraftfahrzeug bezogen werden und umgekehrt.
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:

1 ein System mit einem Kraftfahrzeug; und
2 ein Ablaufdiagramm eines Verfahrens

1 zeigt ein System 100 mit einem Kraftfahrzeug 105, an dessen Bord sich ein Benutzer 110 befindet. Außerdem befindet sich eine Vorrichtung 115 an Bord des Kraftfahrzeugs 105, die wenigstens eine Abtasteinrichtung 120 umfasst, die dazu eingerichtet ist, eine Äußerung des Benutzers 110 abzutasten, ferner eine Verarbeitungseinrichtung 125, sowie bevorzugt eine Kommunikationseinrichtung 130, die zur drahtlosen Kommunikation eingerichtet ist. Optional ist eine weitere Abtasteinrichtung 135 vorgesehen, die dazu eingerichtet ist, eine Identifikation des Benutzers 110 bereitzustellen. Die Abtasteinrichtung 135 kann Teil eines Sicherungssystems des Kraftfahrzeugs 105 oder eines digitalen Assistenten des Benutzers 110 sein. Die Identität des Benutzers 110 kann auch durch Hinweise bestimmt werden, beispielsweise ein Bild des Benutzers, Einstellungen, die er am Kraftfahrzeug 105 trifft, oder seinen Fahrstil, falls er das Kraftfahrzeug 105 selbst fährt.
Die Abtastungseinrichtung 120 kann beispielsweise eine Kamera (im sichtbaren oder unsichtbaren Wellenlängenbereich), ein Mikrofon, einen Ultraschallsensor, ein Touchpad oder einen Touchscreen umfassen. Eine Aufgabe der Abtastungseinrichtung 120 besteht darin, eine Äußerung des Benutzers 110 abzutasten, wobei die Äußerung insbesondere eine Komponente umfassen kann, welche die Person 110 auch bei der sozialen Interaktion mit einer anderen Person verwenden kann, beispielsweise eine Geste, einen Blick, Sprache, eine Berührung, Mimik, Tonalität, ein nonverbales Geräusch etc. Es können auch mehrere derartige Signale, die miteinander in einer Sinnbeziehung stehen können, gleichzeitig von der Person 110 abgetastet werden.
Die Äußerung ist weiter bevorzugt ein Ausdruck des Benutzers 110 für eine vorbestimmte Absicht. Die Äußerung kann einem vorbestimmten Repertoire entstammen, das beispielsweise zur Steuerung von Absichten im gegebenen Kontext des Kraftfahrzeugs 105 vorbestimmt ist. Beispielsweise kann ein Blick auf einen Außenspiegel eine Außenspiegelverstellung auswählen und ein weiterer Blick den Außenspiegel in einer korrespondierenden Richtung verstellen. Bevorzugt ist das Repertoire jedoch nicht in dieser Weise beschränkt, sondern umfasst Elemente, wie sie auch für die zwischenmenschliche Kommunikation verwendet werden können. Die Außenspiegelverstellung des Beispiels könnte beispielsweise aktiviert werden, indem die Person 110 auf den linken Außenspiegel blickt und „weiter hoch“, „nach oben“, „höher“ oder eine sinnverwandte Aussage sprachlich formuliert.
Außerhalb des Kraftfahrzeugs 105 ist bevorzugt eine weitere drahtlose Kommunikationseinrichtung 140 vorgesehen, die dazu eingerichtet ist, Informationen mit der Kommunikationseinrichtung 130 auszutauschen. Die Kommunikationseinrichtung 140 ist bevorzugt mit einer oder mehreren Analysediensten 145 verbunden, wozu ein Netzwerk 150 vorgesehen sein kann, das drahtgebunden, drahtlos oder gemischt aufgebaut sein kann und einen privaten oder öffentlichen Abschnitt umfassen kann. Außerdem können eine oder mehrere Ausführungsdienste 155 mit der Kommunikationseinrichtung 150 kommunikativ verbunden sein. Die Dienste 145, 155 können jeweils als Server, als ortsabstrahierter Dienst, insbesondere in einer Cloud, oder auf andere Weise realisiert sein. Beispielsweise können mehrere Analysedienste 145 vorgesehen sein, die jeweils eine Benutzerabsicht auf der Basis einer Abtastung einer verbalen Äußerung des Benutzers 110 bestimmen können. Üblicherweise unterscheiden sich die Analysedienste 145 in bestimmten Eigenschaften, beispielsweise einer Bestimmungsgeschwindigkeit, einer Resistenz gegen Störgeräusche, eine Kenntnis unterschiedlicher Sprachen oder Dialekte, eine Bestimmungsgenauigkeit etc. Eigenschaften von Analysediensten 145 können in einem Datenspeicher 160 abgelegt sein, die mit der Verarbeitungsvorrichtung 125 verbunden sein kann. Ein Steuerungsdienst 155 ist bevorzugt dazu eingerichtet, auf der Basis einer entsprechenden Eingabe eine vorbestimmte Steuerung durchzuführen, also einen vom Benutzer 110 beabsichtigten Effekt zu erzielen. Dieser Effekt kann physikalischer Art sein, etwa indem eine mechanische Vorrichtung an Bord oder außerhalb des Kraftfahrzeugs 105 gesteuert wird, oder beispielsweise informationstechnischer Natur, indem beispielsweise eine Telefonverbindung hergestellt, ein E-Mail vorgelesen oder ein Kalendereintrag erstellt wird. Der Steuerungsdienst 155 kann auch beispielsweise eine Buchung, einen Bezahlvorgang oder eine Bestellung implementieren oder eine Auskunft erteilen, etwa über ein Wetter, eine Lokalzeit, ein Sportergebnis oder einen Aktienkurs.
In der dargestellten Ausführungsform befindet sich die Verarbeitungseinrichtung 125 an Bord des Kraftfahrzeugs 105; in einer anderen Ausführungsform kann die Verarbeitungseinrichtung 125 auch außerhalb des Kraftfahrzeugs 105 vorgesehen sein; in diesem Fall kann auch eine weitere Verarbeitungseinrichtung zur Signalverarbeitung und/oder Kommunikation an Bord des Kraftfahrzeugs 105 vorgesehen sein. Im Folgenden wird von nur einer Verarbeitungseinrichtung 125 ausgegangen, die rein beispielhaft an Bord des Kraftfahrzeugs 105 angeordnet ist.
Eine Äußerung des Benutzers 110 kann mittels wenigstens einer Abtasteinrichtung 120 abgetastet und mittels der Verarbeitungseinrichtung 125 an einen der Analysedienste 145 geleitet werden. Der Analysedienst 145 ist dazu eingerichtet, eine Benutzerabsicht auf der Basis der abgetasteten Äußerung zu bestimmen und bevorzugt an die Verarbeitungseinrichtung 125 zurück zu liefern. Beispielsweise kann ein Analysedienst 145 eine Sprache-zu-Text-Umwandlung (oder umgekehrt) durchführen, eine Übersetzung von einer Sprache oder einem Dialekt in eine andere Sprache oder einen anderen Dialekt und so weiter. Auf der Basis der bestimmten Benutzerabsicht kann dann eine vorbestimmte Steueraufgabe ausgeführt werden, wie unten noch genauer beschrieben wird.
Es wird vorgeschlagen, dass die Verarbeitungseinrichtung 125 von den Analysedienste 145 einen auswählt, um auf der Basis einer vorliegenden Abtastung einer Äußerung des Benutzers 110 dessen zu Grunde liegende Benutzerabsicht zu bestimmen. Dabei erfolgt die Auswahl bevorzugt auf der Basis von zusätzlichen Informationen, die eine aktuelle Situation des Benutzers 110, eine Eigenschaft oder Fähigkeit eines Analysedienstes 145 und/oder andere Faktoren berücksichtigt. Dazu können insbesondere im Datenspeicher 160 abgelegte Informationen und situative Informationen, die ebenfalls mittels einer Abtasteinrichtung 120 bestimmt sein können, miteinander korreliert werden.
Ferner ist bevorzugt, dass die Auswahl des Analysediensts 145 angepasst werden kann, insbesondere auf der Basis einer Historie, um eine einmal getroffene erfolgreiche Auswahl möglichst zu wiederholen, einer aktuellen Verfügbarkeit von Analysediensten, eines für die Analyse anfallenden Preises oder eines anderen Parameters, der sich unter Umständen auch schnell ändern kann, sodass die Auswahl des Analysedienstes 145 sehr dynamisch sein kann.
Es können auch mehrere Analysedienste 145 für die Verarbeitung unterschiedlicher Aspekte einer Äußerung des Benutzers 110 ausgewählt werden, wobei auch die Qualität einer Paarung von Analysediensten 145 in eine zukünftige Auswahl einfließen kann. Jedem Analysedienst 145 kann ein Aspekt der Äußerung zur Verarbeitung übersandet werden, ein Aspekt kann auch durch mehrere Analysedienste 145 verarbeitet werden. Bei einer kooperativen Parallelisierung können Ergebnisse der Analysedienste 145 miteinander kombiniert werden, bei einer kompetitiven Parallelisierung kann dasjenige Ergebnis weiterverwendet werden, dessen Qualität, beispielsweise bezüglich einer Verarbeitungsgeschwindigkeit, einer bestimmten Konfidenz oder einem Detailliertheitsgrad, als am besten bestimmt wurde. Ferner können mehrere Analysedienste 145 funktional miteinander verkettet werden, sodass ein Ergebnis eines oder mehrerer Analysedienste 145 eine Eingabe eines oder mehrerer anderer Analysedienste 145 darstellt.
In einem Beispiel für Verkettung von Analysediensten 145 können beispielsweise nacheinander eine Sprache-zu-Text-Umwandlung, eine Analyse gesprochener Sprache (natural language understanding, NLU), ein Dialogmanagement, eine Erzeugung natürlicher Sprache (natural language generation NLG) und eine Text-zu-Sprache-Umwandlung (text to speech, TTS) durchgeführt werden. Eine ähnliche Verkettung könnte beispielsweise auch für eine Gesichtserkennung und eine Blickrichtungserkennung durchgeführt werden. Eine Reihenfolge der Verarbeitung kann ebenfalls variiert werden.
Auch bei der Verkettung kann die Qualität einer Paarung verschiedener Analysedienste 145 als Basis für eine spätere Auswahl der Analysedienste 145 verwendet werden kann. Die flexible Auswahl der Analysedienste 145 kann es beispielsweise erlauben, einen Analysedienst 145 oder eine Kombination parallel und/oder seriell verketteter Analysedienste 145 gegen einen anderen Analysedienst 145 - oder eine andere Kombination von Analysediensten 145 - auszutauschen.
Ein Analysedienst 145 kann auch in eine bestehende Kette von Analysediensten 145 eingeschoben werden. Beispielsweise kann eine Abfolge einer Spracherkennung und einer nachgeschalteten Erzeugung natürlicher Sprache verändert werden, indem dazwischen eine semantische Analyse durchgeführt wird. Auch eine rekursive Verschachtelung von Analysediensten 145 kann möglich sein.
In einem weiteren Beispiel kann eine Verkettung von Analysediensten 145 für die Sprachanalyse durch Einbringen entsprechender Analysedienste 145 für andere Modularitäten, beispielsweise eine Gestenerkennung, eine Gesichtserkennung, eine Berührungserkennung etc., zu einer Natürlichen Interaktionsverarbeitung (Natural Interaction Processing, NIP) flexibel ausgebaut werden. Hierbei können je nach Aufgabe oder auch Verfügbarkeit von Modalitäten und hierfür notwendiger Hardware (z.B. Kameras, Touchscreens etc.) flexibel NIP - Systeme zusammenkonfiguriert werden.
Ein Beispiel hierfür wäre eine Spracherkennung mit einer Erkennung natürlicher Sprache, die parallel zu einer Blickrichtungserkennung, einer graphischen Benutzerführung und gegebenenfalls einer weiteren Kombination von Analysediensten 145 arbeitet. Die weitere Kombination kann eine Berührungserfassung, gefolgt von einer oder mehreren hintereinandergeschalteten Analysediensten 145 und einer natürlichen Spracherzeugung mit Umwandlung in gesprochene Sprache umfassen.
Es ist zu beachten, dass in einer Ausführungsform auch einer oder mehrere andere Dienste, insbesondere Steuerungsdienste 155, in eine solche Verkettung einbezogen werden können, sodass praktisch beliebige Geflechte parallel und/oder seriell miteinander verschaltete Dienste 145, 115 erzeugt und nach Bedarf verändert werden können.
2 zeigt ein Ablaufdiagramm eines Verfahrens 200, das insbesondere am System 100 von 1 durchgeführt werden kann. Das Verfahren 200 kann insbesondere, ganz oder teilweise, auf der Verarbeitungseinrichtung 125 ausgeführt werden.
In einem ersten Schritt 205 kann eine Identifikation des Benutzers 110 an Bord des Kraftfahrzeugs 105 bestimmt werden. Dazu kann auch bestimmt werden, ob der Benutzer 110 das Kraftfahrzeug 105 selbst steuert oder nur Fahrgast ist. In einem Schritt 210 wird eine Äußerung des Benutzers 110 mittels wenigstens einer Abtasteinrichtung 120 abgetastet, wie oben genauer beschrieben ist.
In einem Schritt 215 wird ein Analysedienst 145 ausgewählt, wobei die Auswahl bevorzugt auf der Basis einer Situation des Benutzers 110, vorbestimmter Eigenschaften verschiedener Analysedienste 145 und gegebenenfalls noch weiterer Informationen getroffen wird. Die Abtastung oder ein Teil der Abtastung sowie gegebenenfalls noch weitere Informationen wie eine bestimmte Fahrsituation des Benutzers 110 bzw. des Kraftfahrzeugs 105 werden dann bevorzugt an den ausgewählten Analysedienst 145 übermittelt.
In einem Schritt 220 wird auf der Basis der übermittelten Informationen durch den ausgewählten Analysedienst 145 eine Benutzerabsicht bestimmt, die der abgetasteten Äußerung zu Grunde liegen kann. In bestimmten Fällen kann auch bestimmt werden, dass die abgetastete Äußerung wahrscheinlich nicht durch eine erkennbare Absicht des Benutzers 110 motiviert ist.
In einem Schritt 225 kann das Ergebnis der Analyse bewertet werden, beispielsweise anhand eines ebenfalls bereitgestellten Konfidenzwerts oder auf der Basis einer Kompatibilität der bestimmten Benutzerabsicht mit der zuvor bestimmten Situation. Dieser Schritt kann auch zu einem späteren Zeitpunkt durchgeführt werden und eine Rückmeldung des Benutzers 110 umfassen, wie gut er seine Absicht durch die Analyse erkannt fühlt.
In einem Schritt 230 kann eine Funktion bestimmt werden, die der Absicht zugeordnet ist oder auf die von der bestimmten Absicht geschlossen werden kann. Die Funktion kann in einem Schritt 235 direkt gesteuert werden, insbesondere durch die an Bord des Kraftfahrzeugs 105 abgebrachte Verarbeitungseinrichtung 125, oder in einem Schritt 240 kann ein Steuerungsdienst 155 ausgewählt werden, der die Funktion durchführt, indem eine entsprechende Anforderung und gegebenenfalls erforderliche Informationen an den ausgewählten Steuerungsdienst 155 übermittelt werden. Die Funktionssteuerung mittels des Steuerungsdiensts 155 kann insbesondere dann sinnvoll sein, wenn die Funktion das Kraftfahrzeug 105 nicht direkt betrifft oder davon beeinflusst ist, dass sich der Benutzer 110 an Bord des Kraftfahrzeugs aufhält. Der Steuerungsdienst 155 kann auch vorteilhaft genutzt werden, wenn er eine Ausgabe des Analysediensts 145 direkt verarbeitet. Beispielsweise kann der Analysedienst 145 eine Sprache-zu-Text-Umwandlung (STT: speech to text) umfassen und der Steuerungsdienst 155 kann einen Text versenden oder an einer vorbestimmten Stelle abspeichern.
Das Verfahren 200 kann auch variiert werden, insbesondere in der Reihenfolge oder Häufigkeit der Ausführung der beschriebenen Schritte oder durch eine der anderen hierin beschriebenen Ausführungsformen, Varianten, Optionen oder Möglichkeiten.
Bezugszeichenliste

100: System
105: Kraftfahrzeug
110: Benutzer
115: Vorrichtung
120: Abtasteinrichtung
125: Verarbeitungseinrichtung
130: Kommunikationseinrichtung
135: Abtasteinrichtung
140: Kommunikationseinrichtung
145: Analysedienst
150: Netzwerk
155: Ausführungsdienst
160: Speichervorrichtung
200: Verfahren
205: Bestimmen Identifikation Benutzer
210: Abtasten Äußerung des Benutzers
215: Auswählen Analysedienst; Übermitteln / Weiterleiten
220: Analysieren
225: Ergebnis bewerten
230: Bestimmen Funktion
235: Steuern Funktion
240: Auswählen Steuerungsdienst; Übermitteln / Weiterleiten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016004287 A1 [0004]
DE 102008028477 A1 [0005]

Claims

System (100) zur Unterstützung eines Benutzers (110) an Bord eines Kraftfahrzeugs (105), folgende Elemente umfassend: - eine Abtasteinrichtung (120) an Bord des Kraftfahrzeugs (105), zur Abtastung einer Äußerung des Benutzers (110); - eine Verarbeitungseinrichtung (125), die dazu eingerichtet ist, die abgetastete Äußerung an einen Analysedienst (145) weiterzuleiten; - wobei der Analysedienst (145) dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen; dadurch gekennzeichnet, dass - die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit einer Identifikation des Benutzers (110) aus mehreren vorbestimmten Analysediensten (145) auszuwählen.
System (100) nach Anspruch 1, wobei eine Art der Äußerung eine Geste, einen artikulierten Laut, einen unartikulierten Laut, eine Mimik, einen Blick, und/oder eine physische Betätigung umfasst und die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit der Art der Äußerung auszuwählen.
System (100) nach Anspruch 1 oder 2, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, eine Fahrsituation des Kraftfahrzeugs (105) zu bestimmen und den Analysedienst (145) in Abhängigkeit der Fahrsituation auszuwählen.
System (100) nach einem der vorangehenden Ansprüche, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit einer der Identifikation zugeordneten Benutzereinstellung (110) auszuwählen.
System (100) nach einem der vorangehenden Ansprüche, wobei die Äußerung eine vorbestimmte Eigenschaft aufweist und die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit seiner Verarbeitungsfähigkeit für eine Äußerung mit einer vorbestimmten Eigenschaft auszuwählen.
System (100) nach Anspruch 5, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, die Eigenschaft der Äußerung zu bestimmen.
System (100) nach einem der vorangehenden Ansprüche, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit eines Erfolgs einer vorausgehenden Analyse auszuwählen.
System (100) nach einem der vorangehenden Ansprüche, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, die Äußerung an mehrere Analysedienste (145) weiterzuleiten und aus mehreren bestimmten Benutzerabsichten eine auszuwählen.
System (100) nach Anspruch 8, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, auf der Basis der getroffenen Auswahl einen zukünftig bevorzugt auszuwählenden Analysedienst (145) zu bestimmen.
System (100) nach einem der vorangehenden Ansprüche, ferner umfassend eine weitere Abtasteinrichtung (135) an Bord des Kraftfahrzeugs (105), wobei die weitere Abtastungseinrichtung dazu eingerichtet ist, eine Identifikation des Benutzers (110) zu bestimmen.
System (100) nach einem der vorangehenden Ansprüche, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, in Abhängigkeit der bestimmten Benutzerabsicht eine vorbestimmte Funktion zu steuern.
System (100) nach Anspruch 11, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, die Ausführung der vorbestimmten Funktion durch einen Ausführungsdienst (155) zu veranlassen.
Kraftfahrzeug (105), umfassend: - eine Abtasteinrichtung (120), zur Abtastung einer Äußerung eines Benutzers (110) an Bord des Kraftfahrzeugs (105); - eine Verarbeitungseinrichtung (125), die dazu eingerichtet ist, die abgetastete Äußerung an einen Analysedienst (145) weiterzuleiten; - wobei der Analysedienst (145) dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen; dadurch gekennzeichnet, dass - die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit einer Identifikation des Benutzers (110) aus mehreren vorbestimmten Analysediensten (145) auszuwählen.
Verfahren (200) zur Unterstützung eines Benutzers (110) an Bord eines Kraftfahrzeugs (105), folgende Schritte umfassend: - Abtasten (210) einer Äußerung des Benutzers (110) an Bord des Kraftfahrzeugs (105); - Auswählen (215) eines Analysediensts (145) aus mehreren vorbestimmten Analysediensten (145) in Abhängigkeit einer Identifikation des Benutzers (110); - Weiterleiten (215) der abgetasteten Äußerung an den ausgewählten Analysedienst (145); - wobei der ausgewählte Analysedienst (145) dazu eingerichtet ist, auf der Basis der abgetasteten Äußerung eine Benutzerabsicht zu bestimmen.
Verfahren (200) nach Anspruch 14, wobei die Äußerung sprachlich mit einem Dialekt ist und die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den Analysedienst (145) in Abhängigkeit von dessen Verarbeitungsfähigkeit von Sprache mit dem Dialekt auszuwählen (215).