DE102019127457A1 - Method, device, vehicle, computer program and computer-readable storage medium for processing voice commands - Google Patents

Method, device, vehicle, computer program and computer-readable storage medium for processing voice commands Download PDF

Info

Publication number
DE102019127457A1
DE102019127457A1 DE102019127457.5A DE102019127457A DE102019127457A1 DE 102019127457 A1 DE102019127457 A1 DE 102019127457A1 DE 102019127457 A DE102019127457 A DE 102019127457A DE 102019127457 A1 DE102019127457 A1 DE 102019127457A1
Authority
DE
Germany
Prior art keywords
user
voice
data
command
assistant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019127457.5A
Other languages
German (de)
Inventor
Fabian Netzler
Horst KLOEDEN
Felix Klanner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102019127457.5A priority Critical patent/DE102019127457A1/en
Publication of DE102019127457A1 publication Critical patent/DE102019127457A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Bei einem Verfahren zur Verarbeitung von Sprachbefehlen wird ein Sprachbefehl eines Nutzers erfasst. Abhängig von dem Sprachbefehl des Nutzers werden Befehlsdaten ermittelt. Die Befehlsdaten sind repräsentativ für den Sprachbefehl. Ein emotionaler Zustand des Nutzers wird erfasst. Abhängig von dem emotionalen Zustand des Nutzers werden Emotionsdaten ermittelt, die repräsentativ sind für den emotionalen Zustand des Nutzers. Abhängig von den Emotionsdaten wird ein erster Sprachassistent aus einer vorgegebenen Menge an Sprachassistenten ermittelt. Die Befehlsdaten werden dem ersten Sprachassistenten zur Verarbeitung des Sprachbefehls des Nutzers bereitgestellt.In a method for processing voice commands, a voice command from a user is recorded. Command data are determined as a function of the user's voice command. The command data is representative of the voice command. An emotional state of the user is recorded. Depending on the emotional state of the user, emotion data are determined which are representative of the emotional state of the user. Depending on the emotion data, a first voice assistant is determined from a predetermined number of voice assistants. The command data are provided to the first voice assistant for processing the voice command of the user.

Description

Die Erfindung betrifft ein Verfahren zur Verarbeitung von Sprachbefehlen. Die Erfindung betrifft des Weiteren eine Vorrichtung zur Verarbeitung von Sprachbefehlen. Die Erfindung betrifft des Weiteren ein Fahrzeug zur Verarbeitung von Sprachbefehlen. Die Erfindung betrifft des Weiteren ein Computerprogramm und ein computerlesbares Speichermedium zur Verarbeitung von Sprachbefehlen.The invention relates to a method for processing voice commands. The invention also relates to a device for processing voice commands. The invention also relates to a vehicle for processing voice commands. The invention also relates to a computer program and a computer-readable storage medium for processing voice commands.

Fahrzeuge können Sensoren zur Erfassung von Sprachbefehlen aufweisen. Des Weiteren können moderne Fahrzeuge Sprachbefehle mit Hilfe von einer Vielzahl an Sprachassistenten verarbeiten.Vehicles can have sensors for detecting voice commands. Furthermore, modern vehicles can process voice commands with the help of a large number of voice assistants.

Eine Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren zu schaffen, das zu einer zuverlässigen sowie komfortablen Verarbeitung von Sprachbefehlen beiträgt. Darüber hinaus sollen eine korrespondierende Vorrichtung, ein korrespondierendes Fahrzeug, ein korrespondierendes Computerprogramm sowie computerlesbares Speichermedium geschaffen werden.One object on which the invention is based is to create a method which contributes to reliable and convenient processing of voice commands. In addition, a corresponding device, a corresponding vehicle, a corresponding computer program and computer-readable storage medium are to be created.

Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.The object is achieved by the features of the independent patent claims. Advantageous refinements are characterized in the subclaims.

Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zur Verarbeitung von Sprachbefehlen. According to a first aspect, the invention is characterized by a method for processing voice commands.

Gemäß dem ersten Aspekt wird ein Sprachbefehl eines Nutzers erfasst. Abhängig von dem Sprachbefehl des Nutzers werden Befehlsdaten ermittelt. Die Befehlsdaten sind repräsentativ für den Sprachbefehl. Ein emotionaler Zustand des Nutzers wird erfasst. Abhängig von dem emotionalen Zustand des Nutzers werden Emotionsdaten ermittelt, die repräsentativ sind für den emotionalen Zustand des Nutzers. Abhängig von den Emotionsdaten wird ein erster Sprachassistent aus einer vorgegebenen Menge an Sprachassistenten ermittelt. Die Befehlsdaten werden dem ersten Sprachassistenten zur Verarbeitung des Sprachbefehls des Nutzers bereitgestellt.According to the first aspect, a voice command from a user is recorded. Command data are determined as a function of the user's voice command. The command data is representative of the voice command. An emotional state of the user is recorded. Depending on the emotional state of the user, emotion data are determined which are representative of the emotional state of the user. Depending on the emotion data, a first voice assistant is determined from a predetermined number of voice assistants. The command data are provided to the first voice assistant for processing the voice command of the user.

Durch das Verfahren gemäß dem ersten Aspekt ist es möglich, einen Sprachassistenten zur Verarbeitung des Sprachbefehls des Nutzers zu ermitteln, der am besten geeignet ist, den Sprachbefehl effizient und zuverlässig zu verarbeiten, beispielsweise abhängig von einem Inhalt des Sprachbefehls. Des Weiteren ist es hierdurch möglich, den ersten Sprachassistenten automatisiert abhängig von dem emotionalen Zustands des Nutzers zu ermitteln bzw. zu verarbeiten.The method according to the first aspect makes it possible to determine a voice assistant for processing the voice command of the user who is best suited to efficiently and reliably process the voice command, for example depending on a content of the voice command. Furthermore, this makes it possible to automatically determine or process the first voice assistant as a function of the emotional state of the user.

Dies ist beispielsweise vorteilhaft gegenüber einem Verfahren, bei dem der erste Sprachassistent manuell von dem Nutzer ausgewählt wird. Beispielsweise können bestimmte Sprachassistenten den Sprachbefehl nicht richtig verarbeiten und so beispielsweise dem Nutzer kein sinnvolles Serviceangebot machen, so dass zu einer Unzufriedenheit des Nutzers beigetragen wird. Durch das Verfahren gemäß dem ersten Aspekt ist es möglich, die Zufriedenheit des Nutzers zu verbessern und den Sprachbefehl präziser zu verarbeiten. This is advantageous, for example, compared to a method in which the first voice assistant is selected manually by the user. For example, certain voice assistants cannot process the voice command correctly and thus, for example, cannot provide the user with a meaningful service offer, so that this contributes to the dissatisfaction of the user. The method according to the first aspect makes it possible to improve the satisfaction of the user and to process the voice command more precisely.

Der Sprachbefehl kann auch als Sprachanfrage, Sprachkommando oder dergleichen bezeichnet werden. Der Sprachbefehl kann repräsentativ sein für eine beliebige Frage des Nutzers, wie beispielsweise ob ein vorgegebener Anziehungspunkt (sogenannter „Point-Of-Interest“) sich in der Nähe des Nutzers befindet, wie beispielsweise ein Restaurant, oder dergleichen.The voice command can also be referred to as a voice request, voice command or the like. The voice command can be representative of any question from the user, such as whether a predetermined point of attraction (so-called “point-of-interest”) is in the vicinity of the user, such as a restaurant or the like.

Beispielsweise wird der Sprachbefehl des Nutzers automatisiert erfasst. Alternativ kann ein Erfassen des Sprachbefehls auch abhängig von einer Nutzereingabe initiiert werden, wie beispielsweise durch das Betätigen einer Taste oder durch eine Geste bezüglich einer Berührungsanzeige (sogenanntes „Touch-Display“).For example, the user's voice command is automatically recorded. Alternatively, recording of the voice command can also be initiated as a function of a user input, for example by pressing a button or by a gesture with respect to a touch display (so-called “touch display”).

Das Verfahren zur Verarbeitung von Sprachbefehlen gemäß dem ersten Aspekt kann von einer beliebigen Vorrichtung, die dazu ausgebildet ist, Sprachbefehle zu erfassen, ausgeführt werden, wie beispielsweise einem Mobiltelefon, einem Computer, einem Tabletcomputer, einer intelligenten Uhr (sogenannte „Smartwatch“) oder dergleichen. Insbesondere kann das Verfahren zur Verarbeitung von Sprachbefehlen gemäß dem ersten Aspekt von einer Vorrichtung in einem Fahrzeug ausgeführt werden. Beispielsweise handelt es sich bei der Vorrichtung um einen Bordcomputer des Fahrzeuges oder dergleichen. Der Nutzer ist im Falle des Fahrzeuges ein Insasse und/oder ein Fahrer des Fahrzeuges.The method for processing voice commands according to the first aspect can be executed by any device that is designed to capture voice commands, such as a mobile phone, a computer, a tablet computer, an intelligent watch (so-called “smart watch”) or the like . In particular, the method for processing voice commands according to the first aspect can be carried out by a device in a vehicle. For example, the device is an on-board computer of the vehicle or the like. In the case of the vehicle, the user is an occupant and / or a driver of the vehicle.

Der Sprachbefehl wird abhängig von einem Messsignal eines entsprechenden Sensors erfasst. Der Sprachbefehl kann Rohdaten des Sensors und/oder eine oder mehrere verarbeitete oder abgeleitete Messgrößen des Sensors umfassen.The voice command is recorded as a function of a measurement signal from a corresponding sensor. The voice command can include raw data from the sensor and / or one or more processed or derived measured variables from the sensor.

Die Befehlsdaten können den Sprachbefehl, sowie optional Informationen bezüglich des Sprachbefehls umfassen, wie beispielsweise eine Struktur des Sprachbefehls und/oder einen oder mehrere Schlüsselbegriffe (sogenannte „Keywords“) des Sprachbefehls und/oder eine Information über eine Intention bezüglich des Sprachbefehls, wie beispielsweise ob der Sprachbefehl sich auf eine Navigation und/oder eine Wissensfrage und/oder eine Smart-Home-Anwendung bezieht.The command data can include the voice command and optionally information regarding the voice command, such as a structure of the voice command and / or one or more key terms (so-called "keywords") of the voice command and / or information about an intention with regard to the voice command, such as whether the voice command relates to a navigation and / or a knowledge question and / or a smart home application.

Der emotionale Zustand des Nutzers ist repräsentativ dafür, ob der Nutzer „ungeduldig“, „erfreut“, „gestresst“, „aggressiv“ oder dergleichen ist.The emotional state of the user is representative of whether the user is “impatient”, “pleased”, “stressed”, “aggressive” or the like.

Die Emotionsdaten können zusätzliche Informationen bezüglich des emotionalen Zustands des Nutzers umfassen, wie einer Ausprägung des emotionalen Zustands, beispielsweise wie gestresst der Nutzer ist oder dergleichen.The emotion data can include additional information relating to the emotional state of the user, such as an expression of the emotional state, for example how stressed the user is or the like.

Die Erfassung des emotionalen Zustands bzw. die Ermittlung der Emotionsdaten kann abhängig von einer Wortwahl des Sprachbefehls und/oder einer Sprachmelodie des Sprachbefehls und/oder Kontextinformationen erfolgen.The detection of the emotional state or the determination of the emotion data can take place as a function of a choice of words of the voice command and / or a voice melody of the voice command and / or context information.

Kontextinformationen umfassen Informationen bezüglich einer Umwelt des Nutzers. Im Falle, dass die Vorrichtung in einem Fahrzeug angeordnet ist, umfassen die Kontextinformationen beispielhaft einen Fahrverlauf des Fahrzeuges und/oder eine Anzahl der Insassen des Fahrzeuges und/oder eine Entfernung zu dem Anziehungspunkt.Context information includes information relating to an environment of the user. In the event that the device is arranged in a vehicle, the context information includes, for example, a driving history of the vehicle and / or a number of occupants of the vehicle and / or a distance to the point of attraction.

Beispielsweise erfolgt die Erfassung des emotionalen Zustands bzw. die Ermittlung der Emotionsdaten abhängig von einem oder mehreren Sensoren, wie beispielsweise einer Kamera und/oder beliebigen Sensoren zur Innenraumüberwachung im Falle, dass die Vorrichtung in einem Fahrzeug angeordnet ist.For example, the detection of the emotional state or the determination of the emotion data takes place depending on one or more sensors, such as a camera and / or any sensors for interior monitoring in the event that the device is arranged in a vehicle.

Die vorgegebene Menge an Sprachassistenten kann beliebige Sprachassistenten umfassen, z.B. digitale Sprachassistenten, die zum Zeitpunkt der Anmeldung etwa unter den Namen „Alexa“, „Siri“ oder dergleichen auftreten, oder einen Agent eines Call-Centers / eines Concierge-Services mit Call-Center Anschluss. Zusätzlich oder alternativ kann die vorgegebene Menge an Sprachassistenten im Falle des Fahrzeuges einen in das Fahrzeug integrierten, digitalen Sprachassistenten umfassen. Beispielsweise kann die vorgegebene Menge an Sprachassistenten auch repräsentativ sein für vorgegebene Fähigkeiten eines Sprachassistenten, wie beispielsweise eine vorgegebene „Alexa-Fähigkeit“.The specified number of voice assistants can include any voice assistants, for example digital voice assistants that appear under the names “Alexa”, “Siri” or the like at the time of registration, or an agent of a call center / concierge service with a call center Connection. Additionally or alternatively, in the case of the vehicle, the specified number of voice assistants can include a digital voice assistant integrated into the vehicle. For example, the specified number of voice assistants can also be representative of the specified skills of a voice assistant, such as, for example, a specified “Alexa ability”.

Die Kontextinformationen können dem ersten Sprachassistenten zur Verarbeitung des Sprachbefehls des Nutzers bereitgestellt werden. Beispielsweise kann dem Agenten in dem Call-Center ein Stresskennwert, der repräsentativ ist dafür, wie gestresst der Nutzer ist, bereitgestellt werden.The context information can be provided to the first voice assistant for processing the voice command of the user. For example, the agent in the call center can be provided with a stress characteristic that is representative of how stressed the user is.

Beispielsweise erfolgt die Ermittlung des ersten Sprachassistenten abhängig von einer maschinellen Lerneinheit, welche abhängig von einem maschinellen Lernverfahren und/oder einer entsprechenden Trainingsmethode breitgestellt wird, wie beispielsweise einem Neuronalen Netz.For example, the first language assistant is determined as a function of a machine learning unit, which is made available as a function of a machine learning method and / or a corresponding training method, such as a neural network, for example.

Gemäß einer optionalen Ausgestaltung des ersten Aspekts werden Auswahldaten bereitgestellt. Die Auswahldaten sind repräsentativ für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Zusätzlich oder alternativ werden abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt. Die ersten Nutzerdaten sind repräsentativ für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Zusätzlich oder alternativ werden zweite Nutzerdaten bereitgestellt. Die zweiten Nutzerdaten sind repräsentativ für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Der erste Sprachassistent wird abhängig von den Befehlsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt.According to an optional embodiment of the first aspect, selection data are provided. The selection data are representative of a respective preference of the user with regard to the voice assistant of the specified number of voice assistants. Additionally or alternatively, first user data are provided as a function of the command data. The first user data are representative of a success rate in the processing of voice commands by a voice assistant of the specified number of voice assistants. Additionally or alternatively, second user data are provided. The second user data are representative of the success rates in the processing of voice commands from the user by the voice assistants of the specified set of voice assistants. The first voice assistant is determined as a function of the command data and / or the selection data and / or the first user data and / or the second user data.

Hierdurch ist es möglich, einen Sprachassistenten abhängig von verschiedenen Daten automatisiert zu ermitteln der am besten geeignet ist, den Sprachbefehl effizient und zuverlässig zu verarbeiten.This makes it possible to automatically determine a voice assistant depending on various data that is best suited to efficiently and reliably process the voice command.

Die Auswahldaten werden abhängig von einer oder mehreren Nutzereingaben ermittelt, bei denen der Nutzer die jeweilige Präferenz bezüglich den Sprachassistenten bereitstellt. Beispielsweise entspricht die jeweilige Präferenz einer Antwort auf eine Frage welchen Service der Nutzer für einen jeweiligen Sprachbefehl verwenden würde. Des Weiteren können die Auswahldaten repräsentativ sein für abgeleitete Präferenzregeln, welche abhängig von der jeweiligen Präferenz ermittelt werden.The selection data are determined as a function of one or more user inputs, in which the user provides the respective preference with regard to the voice assistant. For example, the respective preference of an answer to a question corresponds to which service the user would use for a respective voice command. Furthermore, the selection data can be representative of derived preference rules, which are determined as a function of the respective preference.

Hierdurch ist es möglich, den ersten Sprachassistenten abhängig von der jeweiligen Präferenz des Nutzers zu ermitteln.This makes it possible to determine the first voice assistant depending on the respective preference of the user.

Die ersten Nutzerdaten sind repräsentativ für eine oder mehrere Erfolgsquoten bezüglich der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Die ein oder mehreren Erfolgsquoten werden abhängig von vorangegangenen Sprachbefehlen mehrerer Nutzer ermittelt. Der vorgenannte Nutzer, dessen Sprachbefehl erfindungsgemäß verarbeitet werden soll kann Teil der mehreren Nutzer sein. Im Falle, dass die Vorrichtung in einem Fahrzeug angeordnet ist, umfassen die mehreren Nutzer beispielsweise eine Teilmenge oder alle Nutzer einer Fahrzeugflotte. Eine jeweilige Erfolgsquote bezieht sich auf einen jeweiligen Sprachassistent, der für den vorgegebenen Sprachbefehl der mehreren Nutzer bei der Verarbeitung eine höchste Erfolgsquote aufweist. Der vorgegebene Sprachbefehl ist ein Sprachbefehl, welcher dieselbe Struktur aufweist wie der Sprachbefehl und/oder dieselben Schlüsselbegriffe wie der Sprachbefehl und/oder dieselbe Information über die Intention bezüglich des Sprachbefehls. Beispielsweise umfassen die ersten Nutzerdaten eine Rangordnung der Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Beispielsweise wird die jeweilige Erfolgsquote abhängig von einem Mittelwert der jeweiligen Erfolgsquoten der mehreren Nutzer ermittelt.The first user data are representative of one or more success rates with regard to the processing of voice commands by a voice assistant of the specified set of voice assistants. The one or more success rates are determined as a function of previous voice commands from several users. The aforementioned user, whose voice command is to be processed according to the invention, can be part of the multiple users. In the event that the device is arranged in a vehicle, the multiple users include, for example, a subset or all users of a vehicle fleet. A respective success rate relates to a respective voice assistant who has the highest success rate for the given voice command of the multiple users during processing. The predetermined voice command is a voice command which is the same Has structure as the voice command and / or the same key terms as the voice command and / or the same information about the intention with respect to the voice command. For example, the first user data include a ranking of the voice assistants of the specified set of voice assistants. For example, the respective success rate is determined as a function of an average value of the respective success rates of the multiple users.

Beispielsweise können die ersten Nutzerdaten eine Information über eine jeweilige geographische Region der jeweiligen der mehreren Nutzer umfassen. Dies ist vorteilhaft, um den ersten Sprachassistenten abhängig von jeweiligen sprachlichen Unterschieden bezüglich der jeweiligen geographischen Region zu ermitteln. Beispielsweise können Personen in bestimmten geographischen Regionen bestimmte Formen der Aussprache aufweisen, wie beispielsweise einen bestimmten Dialekt. For example, the first user data can include information about a respective geographic region of the respective one of the plurality of users. This is advantageous in order to determine the first language assistant as a function of the respective language differences with respect to the respective geographic region. For example, people in certain geographic regions may have certain forms of pronunciation, such as a certain dialect.

Hierdurch ist es möglich, den ersten Sprachassistenten abhängig von Daten der mehreren Nutzer zu ermitteln.This makes it possible to determine the first voice assistant as a function of data from the multiple users.

Die zweiten Nutzerdaten sind repräsentativ für eine Nutzerhistorie des Nutzers, die repräsentativ ist dafür, wie die hoch die Erfolgsquoten des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten bisher waren. Beispielsweise umfassen die Nutzerdaten eine jeweilige Erfolgsquote, die einem jeweiligen Sprachassistenten der vorgegebenen Menge an Sprachassistenten zugeordnet ist. Beispielsweise können die zweiten Nutzerdaten eine Information über eine geographische Region des Nutzers umfassen. Dies ist vorteilhaft, um den ersten Sprachassistenten abhängig von sprachlichen Unterschieden bezüglich der geographischen Region zu ermitteln.The second user data are representative of a user history of the user, which is representative of how high the success rates of the user with the voice assistants of the specified number of voice assistants have been up to now. For example, the user data include a respective success rate that is assigned to a respective voice assistant of the specified number of voice assistants. For example, the second user data can include information about a geographic region of the user. This is advantageous in order to determine the first language assistant as a function of language differences with regard to the geographic region.

Hierdurch ist es möglich, den ersten Sprachassistenten abhängig von bisherigen Erfahrungen des Nutzers mit den jeweiligen Sprachassistenten zu ermitteln.This makes it possible to determine the first voice assistant as a function of the user's previous experience with the respective voice assistant.

Die Ermittlung des ersten Sprachassistenten kann abhängig von allen genannten Daten oder abhängig von einer beliebigen Kombination der Daten erfolgen. Beispielsweise ist die maschinelle Lerneinheit vortrainiert, zu entscheiden, welche Daten zur Ermittlung des ersten Sprachassistenten verwendet werden und den ersten Sprachassistenten abhängig von den verwendeten Daten auszuwählen.The first voice assistant can be determined as a function of all of the data mentioned or as a function of any combination of the data. For example, the machine learning unit is pre-trained to decide which data are used to determine the first voice assistant and to select the first voice assistant as a function of the data used.

Gemäß einer weiteren optionalen Ausgestaltung des ersten Aspekts wird eine Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten eingerichtet. Die Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten wird analysiert. Abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten wird ein erster Analysekennwert ermittelt. Die ersten Nutzerdaten und/oder die zweiten Nutzerdaten werden abhängig von dem ersten Analysekennwert angepasst.According to a further optional embodiment of the first aspect, communication is set up between the user and the first voice assistant. The communication between the user and the first voice assistant is analyzed. A first analysis parameter is determined as a function of the analysis of the communication between the user and the first voice assistant. The first user data and / or the second user data are adapted as a function of the first analysis parameter.

Hierdurch ist es möglich, die Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten zu überwachen und zu analysieren. Des Weiteren ist es hierdurch möglich, die Kommunikation durch den ersten Analysekennwert bezüglich einer Effektivität und einer Effizienz zu bewerten. Dies ist insbesondere vorteilhaft, um zu ermitteln, ob die Verarbeitung des Sprachbefehls durch den ersten Sprachassistenten erfolgreich ist. Abhängig davon, ob die Verarbeitung erfolgreich ist, kann die Nutzerhistorie des Nutzers und/oder die entsprechenden Erfolgsquoten der ersten und/oder der zweiten Nutzerdaten angepasst werden. Dies ist vorteilhaft bei der Verarbeitung weiterer Sprachbefehle des Nutzers.This makes it possible to monitor and analyze the communication between the user and the first voice assistant. Furthermore, this makes it possible to evaluate the communication by means of the first analysis parameter with regard to effectiveness and efficiency. This is particularly advantageous in order to determine whether the processing of the voice command by the first voice assistant is successful. Depending on whether the processing is successful, the user history of the user and / or the corresponding success rates of the first and / or the second user data can be adapted. This is advantageous when processing further voice commands from the user.

Die Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten umfasst insbesondere sprachliche Interaktionen, wie beispielsweise ein Dialog zwischen dem Nutzer und dem ersten Sprachassistenten.The communication between the user and the first voice assistant includes in particular linguistic interactions, such as, for example, a dialogue between the user and the first voice assistant.

Dass eine Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten eingerichtet wird, heißt hier und im Folgenden, dass Sprache des Nutzers an den ersten Sprachassistenten weitergeleitet, sowie Sprache des ersten Sprachassistenten an den Nutzer weitergeleitet wird.The fact that communication is set up between the user and the first language assistant means here and below that the user's language is forwarded to the first language assistant, and the language of the first language assistant is forwarded to the user.

Der erste Sprachassistent kann beispielhaft eine Erkennung einer Intention des Nutzers (sogenannte „Intend“-erkennung) durchführen, beispielsweise anhand vorgegebener Schlüsselbegriffe. Sowohl Spracherkennung als auch der Sprachassistent können hierbei sowohl in einem „online“-Modus als auch in einem „offline“-Modus betrieben werden. So kann im „online“-Modus das eigentliche Hauptsystem in einem Backend(-Server) ausgeführt werden, auf das die Befehlsdaten im Idealfall weitergeleitet werden; an dieses kann Sprache übermittelt und Antworten an das Fahrzeug zurück übermittelt werden. Im „offline“-Modus können ähnliche Funktionen durch ein System im Fahrzeug durchgeführt werden, beispielsweise im Fall, dass eine signaltechnische Verbindung zu vorgenanntem Backend(-Server) beeinträchtigt bzw. begrenzt ist.The first voice assistant can, for example, recognize an intention of the user (so-called “intention” recognition), for example on the basis of predefined key terms. Both voice recognition and the voice assistant can be operated in an “online” mode as well as in an “offline” mode. In the “online” mode, the actual main system can be executed in a backend (server) to which the command data are ideally forwarded; Voice can be transmitted to this and answers can be transmitted back to the vehicle. In the “offline” mode, similar functions can be carried out by a system in the vehicle, for example in the event that a signaling connection to the aforementioned backend (server) is impaired or limited.

Die Analyse der Kommunikation kann während der Kommunikation erfolgen oder wenn die Verarbeitung des Sprachbefehls abgeschlossen ist. Beispielsweise ist die Verarbeitung des Sprachbefehls abgeschlossen, wenn der erste Sprachassistent die Frage des Nutzers beantwortet.The analysis of the communication can be done during the communication or when the processing of the voice command is completed. For example, the processing of the voice command is complete when the first voice assistant answers the user's question.

Beispielsweise kann die maschinelle Lerneinheit durch die Analyse adaptiv weitertrainiert werden.For example, the machine learning unit can be adaptively trained further through the analysis.

Der erste Analysekennwert umfasst einen ersten Kennwert, der repräsentativ ist dafür, wie erfolgreich die Verarbeitung des Sprachbefehls ist und/oder wie zufrieden der Nutzer mit der Verarbeitung des Sprachbefehls ist. Beispielsweise wird der erste Kennwert abhängig von einer Rückmeldung des ersten Sprachassistenten, wie beispielsweise einer Rückmeldung des Agenten des Call-Centers, und/oder der Analyse der Kommunikation und/oder abhängig von einer Nutzereingabe und/oder abhängig von einem oder mehreren Ortskennwerten oder dergleichen ermittelt. Der eine oder die mehreren Ortskennwerte sind repräsentativ für Positionen des Nutzers und können abhängig von einem GPS-Modul oder dergleichen ermittelt werden. Beispielsweise ist der Sprachbefehl repräsentativ für die Frage des Nutzers, ob sich das Restaurant in der Nähe des Nutzers befindet. In diesem Fall kann durch die Ortskennwerte ermittelt werden, ob der Nutzer nach der Verarbeitung des Sprachbefehls das Restaurant besucht.The first analysis characteristic includes a first characteristic which is representative of how successful the processing of the voice command is and / or how satisfied the user is with the processing of the voice command. For example, the first characteristic value is determined depending on feedback from the first voice assistant, such as feedback from the call center agent, and / or the analysis of the communication and / or depending on a user input and / or depending on one or more location characteristics or the like . The one or more characteristic location values are representative of the user's positions and can be determined as a function of a GPS module or the like. For example, the voice command is representative of the user's question as to whether the restaurant is in the vicinity of the user. In this case, the location parameters can be used to determine whether the user visits the restaurant after processing the voice command.

Zusätzlich oder alternativ umfasst der erste Analysekennwert einen zweiten Kennwert, der repräsentativ ist dafür, wie effizient die Verarbeitung des Sprachbefehls ist. Der zweite Kennwert kann abhängig von einer Zeitdauer der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten. Die Zeitdauer ist insbesondere repräsentativ für eine Zeitdauer von der Einrichtung der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten bis die Verarbeitung des Sprachbefehls abgeschlossen ist. Des Weiteren kann der zweite Kennwert abhängig von den zweiten Nutzerdaten und/oder den Auswahldaten ermittelt werden, wenn diese eine Information darüber aufweisen, wie wichtig dem Nutzer eine effiziente Verarbeitung des Sprachbefehls ist.Additionally or alternatively, the first analysis characteristic includes a second characteristic which is representative of how efficient the processing of the voice command is. The second characteristic value can be dependent on a duration of the communication between the user and the first voice assistant. The time period is in particular representative of a time period from the establishment of the communication between the user and the first voice assistant until the processing of the voice command has been completed. Furthermore, the second characteristic value can be determined as a function of the second user data and / or the selection data if these contain information about how important an efficient processing of the voice command is to the user.

Gemäß einem zweiten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zur Verarbeitung von Sprachbefehlen.According to a second aspect, the invention is characterized by a method for processing voice commands.

Gemäß dem zweiten Aspekt wird ein Sprachbefehl eines Nutzers erfasst. Abhängig von dem Sprachbefehl des Nutzers werden Befehlsdaten ermittelt. Die Befehlsdaten sind repräsentativ für den Sprachbefehl. Ein erster Sprachassistent wird aus einer vorgegebenen Menge an Sprachassistenten ermittelt. Die Befehlsdaten werden dem ersten Sprachassistenten zur Verarbeitung des Sprachbefehls bereitgestellt und eine Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten wird eingerichtet. Die Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten wird analysiert. Abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten wird ein erster Analysekennwert ermittelt. Abhängig von dem ersten Analysekennwert wird ein zweiter Sprachassistent aus der vorgegebenen Menge an Sprachassistenten ermittelt. Die Befehlsdaten werden dem zweiten Sprachassistenten zur Verarbeitung des Sprachbefehls bereitgestellt.According to the second aspect, a voice command of a user is recorded. Command data are determined as a function of the user's voice command. The command data is representative of the voice command. A first voice assistant is determined from a predetermined number of voice assistants. The command data are provided to the first voice assistant for processing the voice command, and communication between the user and the first voice assistant is established. The communication between the user and the first voice assistant is analyzed. A first analysis parameter is determined as a function of the analysis of the communication between the user and the first voice assistant. Depending on the first characteristic analysis value, a second voice assistant is determined from the specified number of voice assistants. The command data are provided to the second voice assistant for processing the voice command.

Das Verfahren gemäß dem zweiten Aspekt unterscheidet sich von dem Verfahren gemäß dem ersten Aspekt darin, dass nach Aufnahme der Kommunikation des Nutzers mit dem ersten Sprachassistenten ein von dem ersten Sprachassistenten verschiedener zweiter Sprachassistent ermittelt wird, der zur weiteren Verarbeitung des Sprachbefehls herangezogen wird.The method according to the second aspect differs from the method according to the first aspect in that after the communication between the user and the first language assistant has started, a second language assistant different from the first language assistant is determined and used for further processing of the voice command.

Durch das Verfahren gemäß dem zweiten Aspekt ist es möglich, einen Sprachassistenten zur Verarbeitung des Sprachbefehls des Nutzers zu ermitteln, der am besten geeignet ist, den Sprachbefehl effizient und zuverlässig zu verarbeiten, beispielsweise abhängig von einem Inhalt des Sprachbefehls, auch wenn der Sprachbefehl bereits von dem ersten Sprachassistenten verarbeitet wird. Die Verarbeitung des Sprachbefehls kann dabei insbesondere an den zweiten Sprachassistenten übertragen werden, um die Zufriedenheit des Nutzers zu verbessern und den Sprachbefehl präziser zu verarbeiten.The method according to the second aspect makes it possible to determine a voice assistant for processing the voice command of the user who is best suited to process the voice command efficiently and reliably, for example depending on a content of the voice command, even if the voice command has already been received from processed by the first voice assistant. The processing of the voice command can in particular be transferred to the second voice assistant in order to improve the satisfaction of the user and to process the voice command more precisely.

Ein Wechsel der Verarbeitung des Sprachbefehls durch den ersten Sprachassistenten hin zu der Verarbeitung des Sprachbefehls durch den zweiten Sprachassistenten kann insbesondere auf zwischenzeitlich veränderte Rahmenbedingungen zurückzuführen sein, die durch den Analysekennwert repräsentiert sind.A change in the processing of the voice command by the first voice assistant to the processing of the voice command by the second voice assistant can be attributed in particular to framework conditions that have changed in the meantime, which are represented by the analysis parameter.

Beispielsweise wird abhängig von dem Analysekennwert ermittelt, dass der erste Sprachassistent nicht dazu in der Lage ist, den Sprachbefehl zu verarbeiten, oder dass der Nutzer mit der Verarbeitung durch den ersten Sprachassistenten nicht zufrieden ist.For example, it is determined as a function of the analysis characteristic that the first voice assistant is not able to process the voice command, or that the user is not satisfied with the processing by the first voice assistant.

Merkmale, die im Zusammenhang mit dem Verfahren gemäß dem zweiten Aspekt und/oder dessen optionalen Ausgestaltungen genannt sind, entsprechen gleich bezeichneten, im Zusammenhang mit dem Verfahren gemäß dem ersten Aspekt und/oder dessen optionalen Ausgestaltungen genannten Merkmalen. Auf eine nähere Beschreibung wird zur Vermeidung von Wiederholungen verzichtet.Features that are mentioned in connection with the method according to the second aspect and / or its optional configurations correspond to features named identically in connection with the method according to the first aspect and / or its optional configurations. A more detailed description is not given in order to avoid repetition.

Gemäß einer optionalen Ausgestaltung des zweiten Aspekts wird ein erster emotionaler Zustand des Nutzers, in einem Zeitraum vor der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst. Abhängig von dem ersten emotionalen Zustand des Nutzers werden erste Emotionsdaten ermittelt. Die ersten Emotionsdaten sind repräsentativ für den ersten emotionalen Zustand des Nutzers. Zusätzlich oder alternativ werden Auswahldaten bereitgestellt. Die Auswahldaten sind repräsentativ für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Zusätzlich oder alternativ werden abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt. Die ersten Nutzerdaten sind repräsentativ für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Zusätzlich oder alternativ werden zweite Nutzerdaten bereitgestellt. Die zweiten Nutzerdaten sind repräsentativ für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Der erste Sprachassistent wird abhängig von den Befehlsdaten und/oder den ersten Emotionsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt.According to an optional embodiment of the second aspect, a first emotional state of the user is recorded in a period of time before the communication between the user and the first voice assistant. First emotion data are determined as a function of the first emotional state of the user. The first emotion data are representative of the first emotional state of the User. In addition or as an alternative, selection data are provided. The selection data are representative of a respective preference of the user with regard to the voice assistant of the specified number of voice assistants. Additionally or alternatively, first user data are provided as a function of the command data. The first user data are representative of a success rate in the processing of voice commands by a voice assistant of the specified number of voice assistants. Additionally or alternatively, second user data are provided. The second user data are representative of the success rates in the processing of voice commands from the user by the voice assistants of the specified set of voice assistants. The first voice assistant is determined as a function of the command data and / or the first emotion data and / or the selection data and / or the first user data and / or the second user data.

Hierdurch ist es möglich, einen Sprachassistenten abhängig von verschiedenen Daten automatisiert zu ermitteln der am besten geeignet ist, den Sprachbefehl effizient und zuverlässig zu verarbeiten.This makes it possible to automatically determine a voice assistant depending on various data that is best suited to efficiently and reliably process the voice command.

Die Erfassung des ersten emotionalen Zustands bzw. die Ermittlung der ersten Emotionsdaten erfolgt wie die Erfassung des emotionalen Zustands bzw. die Ermittlung der Emotionsdaten gemäß dem ersten Aspekt. Der erste emotionale Zustand unterscheidet sich von dem emotionalen Zustand gemäß dem ersten Aspekt dadurch, dass der erste emotionale Zustand des Nutzers in dem Zeitraum vor der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten erfasst wird.The acquisition of the first emotional state or the determination of the first emotion data takes place like the acquisition of the emotional state or the determination of the emotion data according to the first aspect. The first emotional state differs from the emotional state according to the first aspect in that the first emotional state of the user is recorded in the period before the communication between the user and the first voice assistant.

Die Ermittlung des ersten Sprachassistenten kann abhängig von allen genannten Daten oder abhängig von einer beliebigen Kombination der Daten erfolgen. Beispielsweise ist die maschinelle Lerneinheit vortrainiert, zu entscheiden, welche Daten zur Ermittlung des ersten Sprachassistenten verwendet werden und den ersten Sprachassistenten abhängig von den verwendeten Daten auszuwählen.The first voice assistant can be determined as a function of all of the data mentioned or as a function of any combination of the data. For example, the machine learning unit is pre-trained to decide which data are used to determine the first voice assistant and to select the first voice assistant as a function of the data used.

Gemäß einer weiteren optionalen Ausgestaltung des zweiten Aspekts wird ein erster emotionaler Zustand des Nutzers, in einem Zeitraum vor der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst. Abhängig von dem ersten emotionalen Zustand des Nutzers werden erste Emotionsdaten ermittelt. Die ersten Emotionsdaten sind repräsentativ für den ersten emotionalen Zustand des Nutzers. Zusätzlich oder alternativ werden Auswahldaten bereitgestellt. Die Auswahldaten sind repräsentativ für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Zusätzlich oder alternativ werden abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt. Die ersten Nutzerdaten sind repräsentativ für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Zusätzlich oder alternativ werden zweite Nutzerdaten bereitgestellt. Die zweiten Nutzerdaten sind repräsentativ für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten. Der zweite Sprachassistent wird abhängig von den Befehlsdaten und/oder den ersten Emotionsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt.According to a further optional embodiment of the second aspect, a first emotional state of the user is recorded in a period of time before the communication between the user and the first voice assistant. First emotion data are determined as a function of the first emotional state of the user. The first emotion data are representative of the first emotional state of the user. In addition or as an alternative, selection data are provided. The selection data are representative of a respective preference of the user with regard to the voice assistant of the specified number of voice assistants. Additionally or alternatively, first user data are provided as a function of the command data. The first user data are representative of a success rate in the processing of voice commands by a voice assistant of the specified number of voice assistants. Additionally or alternatively, second user data are provided. The second user data are representative of the success rates in the processing of voice commands from the user by the voice assistants of the specified set of voice assistants. The second voice assistant is determined as a function of the command data and / or the first emotion data and / or the selection data and / or the first user data and / or the second user data.

Hierdurch ist es möglich, einen Sprachassistenten abhängig von dem Analysekennwert und zusätzlich abhängig von den verschiedenen Daten automatisiert zu ermitteln, der am besten geeignet ist, den Sprachbefehl effizient und zuverlässig zu verarbeiten.This makes it possible to automatically determine a voice assistant as a function of the analysis parameter and additionally as a function of the various data, which is best suited to efficiently and reliably process the voice command.

Die Ermittlung des zweiten Sprachassistenten kann abhängig von allen genannten Daten oder abhängig von einer beliebigen Kombination der Daten erfolgen. Beispielsweise ist die maschinelle Lerneinheit vortrainiert, zu entscheiden, welche Daten zur Ermittlung des zweiten Sprachassistenten verwendet werden und den zweiten Sprachassistenten abhängig von den verwendeten Daten auszuwählen.The second voice assistant can be determined as a function of all of the data mentioned or as a function of any combination of the data. For example, the machine learning unit is pretrained to decide which data is used to determine the second voice assistant and to select the second voice assistant as a function of the data used.

Gemäß einer weiteren optionalen Ausgestaltung des zweiten Aspekts wird ein zweiter emotionaler Zustand des Nutzers, in einem Zeitraum während der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst. Abhängig von dem zweiten emotionalen Zustand des Nutzers werden zweite Emotionsdaten ermittelt, die repräsentativ sind für den zweiten emotionalen Zustand des Nutzers. Der erste Analysekennwert wird abhängig von den zweiten Emotionsdaten ermittelt.According to a further optional embodiment of the second aspect, a second emotional state of the user is recorded in a period of time during the communication between the user and the first voice assistant. Depending on the second emotional state of the user, second emotion data are determined which are representative of the second emotional state of the user. The first analysis parameter is determined as a function of the second emotion data.

Die Erfassung des zweiten emotionalen Zustands bzw. die Ermittlung der zweiten Emotionsdaten erfolgt wie die Erfassung des emotionalen Zustands bzw. die Ermittlung der Emotionsdaten gemäß dem ersten Aspekt. Der zweite emotionale Zustand unterscheidet sich von dem emotionalen Zustand gemäß dem ersten Aspekt dadurch, dass der zweite emotionale Zustand des Nutzers in dem Zeitraum während der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten erfasst wird.The acquisition of the second emotional state or the determination of the second emotion data takes place like the acquisition of the emotional state or the determination of the emotion data according to the first aspect. The second emotional state differs from the emotional state according to the first aspect in that the second emotional state of the user is recorded in the period during the communication between the user and the first voice assistant.

Hierdurch ist es möglich, auf Änderungen des emotionalen Zustands des Nutzers zu reagieren und den Sprachbefehl durch den zweiten Sprachassistenten zu verarbeiten.This makes it possible to react to changes in the emotional state of the user and to process the voice command through the second voice assistant.

Beispielsweise ist der erste emotionale Zustand des Nutzers repräsentativ dafür, dass der Nutzer „erfreut“ ist. Der erste Sprachassistent ist ein digitaler Sprachassistenten wie Alexa. Beispielsweise ist der zweite emotionale Zustand des Nutzers repräsentativ dafür, dass der Nutzer „aggressiv“ ist, da der Nutzer die Verarbeitung des Sprachbefehls durch den ersten Sprachassistenten als unzureichend befindet. Dies wird durch die Analyse der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten erfasst. Beispielsweise wird nun der Agent des Call-Centers als der zweite Sprachassistent ermittelt, da dieser z.B. besser auf den zweiten emotionalen Zustand des Nutzers reagieren kann.For example, the user's first emotional state is representative of the fact that the user is “pleased”. The first voice assistant is a digital voice assistant like Alexa. For example, the second emotional state of the user is representative of the fact that the user is “aggressive”, since the user finds the processing of the voice command by the first voice assistant to be inadequate. This is recorded by analyzing the communication between the user and the first voice assistant. For example, the agent of the call center is now identified as the second voice assistant, since he can react better to the second emotional state of the user, for example.

Der Analysekennwert umfasst den ersten Kennwert, der repräsentativ ist dafür, wie erfolgreich die Verarbeitung des Sprachbefehls ist und/oder wie zufrieden der Nutzer mit der Verarbeitung des Sprachbefehls ist. Beispielsweise wird der erste Kennwert des Analysekennwerts abhängig von den zweiten Emotionsdaten ermittelt.The analysis characteristic includes the first characteristic which is representative of how successful the processing of the voice command is and / or how satisfied the user is with the processing of the voice command. For example, the first characteristic value of the analysis characteristic value is determined as a function of the second emotion data.

Gemäß einer weiteren optionalen Ausgestaltung des zweiten Aspekts werden die ersten Nutzerdaten und/oder die zweiten Nutzerdaten abhängig von dem ersten Analysekennwert angepasst.According to a further optional embodiment of the second aspect, the first user data and / or the second user data are adapted as a function of the first analysis parameter.

Abhängig davon, ob die Verarbeitung erfolgreich ist, kann die Nutzerhistorie des Nutzers und/oder die entsprechenden Erfolgsquoten der ersten und/oder der zweiten Nutzerdaten angepasst werden. Dies ist vorteilhaft bei der Verarbeitung weiterer Sprachbefehle des Nutzers.Depending on whether the processing is successful, the user history of the user and / or the corresponding success rates of the first and / or the second user data can be adapted. This is advantageous when processing further voice commands from the user.

Gemäß einer weiteren optionalen Ausgestaltung des zweiten Aspekts wird eine Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten eingerichtet. Die Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten wird analysiert. Abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten wird ein zweiter Analysekennwert ermittelt. Die ersten Nutzerdaten und/oder die zweiten Nutzerdaten werden abhängig von dem zweiten Analysekennwert angepasst.According to a further optional refinement of the second aspect, communication is set up between the user and the second voice assistant. The communication between the user and the second voice assistant is analyzed. A second analysis parameter is determined as a function of the analysis of the communication between the user and the second voice assistant. The first user data and / or the second user data are adapted as a function of the second analysis parameter.

Hierdurch ist es möglich, die Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten zu überwachen und zu analysieren. Des Weiteren ist es hierdurch möglich, die Kommunikation durch den zweiten Analysekennwert bezüglich der Effektivität und der Effizienz zu bewerten. Dies ist insbesondere vorteilhaft, um zu ermitteln, ob die Verarbeitung des Sprachbefehls durch den zweiten Sprachassistenten erfolgreich ist. Abhängig davon, ob die Verarbeitung erfolgreich ist, kann die Nutzerhistorie des Nutzers und/oder die entsprechenden Erfolgsquoten der ersten und/oder der zweiten Nutzerdaten angepasst werden. Dies ist vorteilhaft bei der Verarbeitung weiterer Sprachbefehle des Nutzers.This makes it possible to monitor and analyze the communication between the user and the second voice assistant. In addition, this makes it possible to evaluate the communication by means of the second analysis parameter with regard to effectiveness and efficiency. This is particularly advantageous in order to determine whether the processing of the voice command by the second voice assistant is successful. Depending on whether the processing is successful, the user history of the user and / or the corresponding success rates of the first and / or the second user data can be adapted. This is advantageous when processing further voice commands from the user.

Die Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten umfasst insbesondere sprachliche Interaktionen, wie beispielsweise ein Dialog zwischen dem Nutzer und dem zweiten Sprachassistenten.The communication between the user and the second voice assistant includes in particular linguistic interactions, such as a dialogue between the user and the second voice assistant.

Die Analyse der Kommunikation kann während der Kommunikation oder wenn die Verarbeitung des Sprachbefehls abgeschlossen ist. Beispielsweise ist die Verarbeitung des Sprachbefehls abgeschlossen, wenn der zweite Sprachassistent die Frage des Nutzers beantwortet.The analysis of the communication can be performed during the communication or when the processing of the voice command is completed. For example, the processing of the voice command is complete when the second voice assistant answers the user's question.

Beispielsweise kann die maschinelle Lerneinheit durch die Analyse adaptiv weitertrainiert werden.For example, the machine learning unit can be adaptively trained further through the analysis.

Der zweite Analysekennwert weist dieselben Eigenschaften auf wie der erste Analysekennwert.The second analysis parameter has the same properties as the first analysis parameter.

Gemäß einem dritten Aspekt zeichnet sich die Erfindung aus durch eine Vorrichtung zur Verarbeitung von Sprachbefehlen. Die Vorrichtung ist dazu ausgebildet, das Verfahren zur Verarbeitung von Sprachbefehlen gemäß dem ersten Aspekt oder dem zweiten Aspekt durchzuführen.According to a third aspect, the invention is characterized by a device for processing voice commands. The device is designed to carry out the method for processing voice commands according to the first aspect or the second aspect.

Beispielsweise umfasst die Vorrichtung eine maschinelle Lerneinheit, welche abhängig von einem maschinellen Lernverfahren und/oder einer entsprechenden Trainingsmethode breitgestellt wird, wie beispielsweise ein Neuronales Netz.For example, the device comprises a machine learning unit, which is made available as a function of a machine learning method and / or a corresponding training method, such as a neural network, for example.

Gemäß einem vierten Aspekt zeichnet sich die Erfindung aus durch ein Fahrzeug, das einen ersten Sensor aufweist, der dazu ausgebildet ist, einen Sprachbefehl eines Nutzers zu erfassen. Des Weiteren weist das Fahrzeug einen zweiten Sensor auf, der dazu ausgebildet ist, einen emotionalen Zustand des Nutzers zu erfassen. Des Weiteren weist das Fahrzeug die Vorrichtung zur Verarbeitung von Sprachbefehlen gemäß dem dritten Aspekt auf.According to a fourth aspect, the invention is characterized by a vehicle that has a first sensor that is designed to detect a voice command from a user. Furthermore, the vehicle has a second sensor which is designed to detect an emotional state of the user. Furthermore, the vehicle has the device for processing voice commands according to the third aspect.

Das Fahrzeug ist insbesondere ein ein- oder mehrspuriges Kraftfahrzeug (z.B. PKW, LKW, Transporter, Motorrad). Alternativ kann das Fahrzeug ein Luftfahrzeug oder ein Wasserfahrzeug sein, wobei das Verfahren auf Luftfahrzeuge bzw. Wasserfahrzeuge sinngemäß angewendet wird.The vehicle is in particular a single or multi-lane motor vehicle (e.g. car, truck, van, motorcycle). Alternatively, the vehicle can be an aircraft or a watercraft, the method being applied analogously to aircraft or watercraft.

Der Sprachbefehl wird abhängig von einem Messsignal des ersten Sensors erfasst. Der Sprachbefehl kann Rohdaten des ersten Sensors und/oder eine oder mehrere verarbeitete oder abgeleitete Messgrößen des ersten Sensors umfassen.The voice command is recorded as a function of a measurement signal from the first sensor. The voice command can include raw data from the first sensor and / or one or more processed or derived measured variables from the first sensor.

Der erste Sensor kann insbesondere ein Mikrofon oder ein beliebiger Sensor zur Erfassung von Sprachbefehlen sein.The first sensor can in particular be a microphone or any desired sensor for capturing voice commands.

Der zweite Sensor kann mehrere zweite Sensoren umfassen, wie beispielsweise eine Kamera und/oder beliebige Sensoren des Fahrzeuges zur Innenraumüberwachung des Fahrzeuges. Des Weiteren kann der zweite Sensor auch beliebige Sensoren des Fahrzeuges zur Ermittlung der Kontextinformationen umfassen.The second sensor can comprise a plurality of second sensors, such as a camera and / or any sensors of the vehicle for monitoring the interior of the vehicle. Furthermore, the second sensor can also include any sensors of the vehicle for determining the context information.

Gemäß einem fünften Aspekt zeichnet sich die Erfindung aus durch ein Computerprogramm, wobei das Computerprogramm Anweisungen umfasst, die, wenn das Computerprogramm von einem Computer ausgeführt wird, den Computer dazu veranlassen das Verfahren zur Verarbeitung von Sprachbefehlen gemäß dem ersten Aspekt oder dem zweiten Aspekt durchzuführen.According to a fifth aspect, the invention is characterized by a computer program, the computer program comprising instructions which, when the computer program is executed by a computer, cause the computer to carry out the method for processing voice commands according to the first aspect or the second aspect.

Gemäß einem sechsten Aspekt zeichnet sich die Erfindung aus durch ein computerlesbares Speichermedium, auf dem das Computerprogramm gemäß dem fünften Aspekt gespeichert ist.According to a sixth aspect, the invention is characterized by a computer-readable storage medium on which the computer program according to the fifth aspect is stored.

Optionale Ausgestaltungen des ersten Aspekts oder des zweiten Aspekts können auch entsprechend bei den weiteren Aspekten vorhanden sein und entsprechende Wirkungen aufweisen. Optional configurations of the first aspect or the second aspect can also be present in the further aspects and have corresponding effects.

Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to the schematic drawings.

Es zeigen:

  • 1 eine schematische Zeichnung eines verteilten Systems,
  • 2 ein Ablaufdiagramm eines ersten Programms zur Verarbeitung von Sprachbefehlen, und
  • 3 ein Ablaufdiagramm eines zweiten Programms zur Verarbeitung von Sprachbefehlen.
Show it:
  • 1 a schematic drawing of a distributed system,
  • 2 a flowchart of a first program for processing voice commands, and
  • 3 a flowchart of a second program for processing voice commands.

Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.Elements of the same construction or function are identified with the same reference symbols in all the figures.

Die 1 zeigt eine schematische Zeichnung eines verteilten Systems. Das verteilte System umfasst ein Fahrzeug 10 und eine extern zu dem Fahrzeug 10 angeordnete Datenbank 20. Das Fahrzeug 10 weist einen ersten Sensor 11 auf, der dazu ausgebildet ist, Sprachbefehle zu erfassen. Des Weiteren weist das Fahrzeug 10 einen zweiten Sensor 13 auf, der dazu ausgebildet ist, emotionale Zustände zu erfassen. Des Weiteren weist das Fahrzeug 10 eine Vorrichtung 15 zur Verarbeitung von Sprachbefehlen auf. Des Weiteren weist das Fahrzeug 10 eine erste Kommunikationsschnittstelle 17 auf. Die extern zu dem Fahrzeug 10 angeordnete Datenbank 20 weist eine zweite Kommunikationsschnittstelle 27 auf.The 1 Figure 3 shows a schematic drawing of a distributed system. The distributed system includes a vehicle 10 and one external to the vehicle 10 arranged database 20th . The vehicle 10 has a first sensor 11 on, which is designed to capture voice commands. Furthermore, the vehicle has 10 a second sensor 13th who is trained to grasp emotional states. Furthermore, the vehicle has 10 a device 15th to process voice commands. Furthermore, the vehicle has 10 a first communication interface 17th on. The external to the vehicle 10 arranged database 20th has a second communication interface 27 on.

Die extern zu dem Fahrzeug 100 angeordnete Datenbank 200 ist beispielsweise ein Backend(-Server) oder eine Cloud oder dergleichen.The external to the vehicle 100 arranged database 200 is for example a backend (server) or a cloud or the like.

Beispielsweise erfolgt eine Kommunikation zwischen der ersten Kommunikationsschnittstelle 115 und der zweiten Kommunikationsschnittstelle 215 über eine Kommunikationsverbindung. Beispielsweise ist die Kommunikationsverbindung eine drahtlose Netzwerkverbindung.For example, communication takes place between the first communication interface 115 and the second communication interface 215 via a communication link. For example, the communication connection is a wireless network connection.

Beispielsweise kann die Datenbank 20 abhängig von der Kommunikationsverbindung dem Fahrzeug 10 Auswahldaten und/oder erste Nutzerdaten und/oder zweite Nutzerdaten bereitstellen.For example, the database 20th depending on the communication link to the vehicle 10 Provide selection data and / or first user data and / or second user data.

Die 2 zeigt ein Ablaufdiagramm eines ersten Programms Verarbeitung von Sprachbefehlen. Das erste Programm kann insbesondere von einer Vorrichtung ausgeführt werden. Die Vorrichtung weist hierfür insbesondere eine Recheneinheit, einen Programm- und Datenspeicher, sowie beispielsweise eine oder mehrere Kommunikationsschnittstellen auf. Der Programm- und Datenspeicher und/oder die Recheneinheit und/oder die Kommunikationsschnittstellen können in einer Baueinheit und/oder verteilt auf mehrere Baueinheiten ausgebildet sein.The 2 shows a flowchart of a first program processing of voice commands. The first program can in particular be executed by a device. For this purpose, the device has, in particular, a computing unit, a program and data memory, and, for example, one or more communication interfaces. The program and data memory and / or the computing unit and / or the communication interfaces can be embodied in one structural unit and / or distributed over a plurality of structural units.

Die Vorrichtung kann auch als Vorrichtung 15 zur Verarbeitung von Sprachbefehlen bezeichnet werden.The device can also be used as a device 15th for processing voice commands.

Auf dem Programm- und Datenspeicher der Vorrichtung ist hierfür insbesondere das erste Programm gespeichert.For this purpose, in particular the first program is stored in the program and data memory of the device.

Das erste Programm wird in einem Schritt S101 gestartet, in dem gegebenenfalls Variablen initialisiert werden können.The first program is in one step S101 started, in which variables can be initialized if necessary.

In einem Schritt S103 wird ein Sprachbefehl eines Nutzers erfasst.In one step S103 a voice command from a user is recorded.

In einem Schritt S105 werden abhängig von dem Sprachbefehl des Nutzers Befehlsdaten ermittelt. Die Befehlsdaten sind repräsentativ für den Sprachbefehl.In one step S105 command data are determined depending on the voice command of the user. The command data is representative of the voice command.

In einem Schritt S107 wird ein emotionaler Zustand des Nutzers erfasst.In one step S107 an emotional state of the user is recorded.

In einem Schritt S109 werden abhängig von dem emotionalen Zustand des Nutzers Emotionsdaten ermittelt, die repräsentativ sind für den emotionalen Zustand des Nutzers.In one step S109 Depending on the emotional state of the user, emotion data are determined which are representative of the emotional state of the user.

In einem Schritt S111 wird abhängig von den Emotionsdaten ein erster Sprachassistent aus einer vorgegebenen Menge an Sprachassistenten ermittelt.In one step S111 a first voice assistant is determined from a predetermined set of voice assistants as a function of the emotion data.

Zusätzlich oder alternativ werden in dem Schritt S111 Auswahldaten bereitgestellt. Die Auswahldaten sind repräsentativ für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S111 Selection data provided. The selection data are representative of a respective preference of the user with regard to the voice assistant of the specified number of voice assistants.

Zusätzlich oder alternativ werden in dem Schritt S111 abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt. Die ersten Nutzerdaten sind repräsentativ für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S111 provided first user data depending on the command data. The first user data are representative of a success rate in the processing of voice commands by a voice assistant of the specified number of voice assistants.

Zusätzlich oder alternativ werden in dem Schritt S111 zweite Nutzerdaten bereitgestellt. Die zweiten Nutzerdaten sind repräsentativ für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S111 second user data provided. The second user data are representative of the success rates in the processing of voice commands from the user by the voice assistants of the specified set of voice assistants.

Optional wird in dem Schritt S111 der erste Sprachassistent abhängig von den Befehlsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt.Optionally, in the step S111 the first voice assistant is determined as a function of the command data and / or the selection data and / or the first user data and / or the second user data.

In einem Schritt S113 werden die Befehlsdaten dem ersten Sprachassistenten zur Verarbeitung des Sprachbefehls des Nutzers bereitgestellt.In one step S113 the command data are provided to the first voice assistant for processing the voice command of the user.

In einem optionalen Schritt S115 wird eine Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten eingerichtet.In an optional step S115 communication is established between the user and the first voice assistant.

In einem optionalen Schritt S117 wird die Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten analysiert.In an optional step S117 the communication between the user and the first voice assistant is analyzed.

In einem optionalen Schritt S119 wird abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten ein erster Analysekennwert ermittelt.In an optional step S119 a first analysis parameter is determined depending on the analysis of the communication between the user and the first voice assistant.

In einem optionalen Schritt S121 werden die ersten Nutzerdaten und/oder die zweiten Nutzerdaten abhängig von dem ersten Analysekennwert angepasst.In an optional step S121 the first user data and / or the second user data are adapted as a function of the first analysis parameter.

In einem Schritt S123 wird das erste Programm beendet und kann gegebenenfalls wieder in dem Schritt S101 gestartet werden.In one step S123 the first program is ended and, if necessary, can go back to step S101 to be started.

Die 3 zeigt ein Ablaufdiagramm eines zweiten Programms Verarbeitung von Sprachbefehlen. Das zweite Programm kann insbesondere von einer Vorrichtung ausgeführt werden. Die Vorrichtung weist hierfür insbesondere eine Recheneinheit, einen Programm- und Datenspeicher, sowie beispielsweise eine oder mehrere Kommunikationsschnittstellen auf. Der Programm- und Datenspeicher und/oder die Recheneinheit und/oder die Kommunikationsschnittstellen können in einer Baueinheit und/oder verteilt auf mehrere Baueinheiten ausgebildet sein.The 3 shows a flowchart of a second program processing of voice commands. The second program can in particular be executed by a device. For this purpose, the device has, in particular, a computing unit, a program and data memory, as well as, for example, one or more communication interfaces. The program and data memory and / or the computing unit and / or the communication interfaces can be embodied in one structural unit and / or distributed over a plurality of structural units.

Die Vorrichtung kann auch als Vorrichtung 15 zur Verarbeitung von Sprachbefehlen bezeichnet werden.The device can also be used as a device 15th for processing voice commands.

Auf dem Programm- und Datenspeicher der Vorrichtung ist hierfür insbesondere das zweite Programm gespeichert.For this purpose, the second program in particular is stored in the program and data memory of the device.

Das zweite Programm wird in einem Schritt S201 gestartet, in dem gegebenenfalls Variablen initialisiert werden können.The second program is in one step S201 started, in which variables can be initialized if necessary.

In einem Schritt S203 wird ein Sprachbefehl eines Nutzers erfasst.In one step S203 a voice command from a user is recorded.

In einem Schritt S205 werden abhängig von dem Sprachbefehl des Nutzers Befehlsdaten ermittelt. Die Befehlsdaten sind repräsentativ für den Sprachbefehl.In one step S205 command data are determined depending on the voice command of the user. The command data is representative of the voice command.

In einem Schritt S207 wird ein erster Sprachassistent aus einer vorgegebenen Menge an Sprachassistenten ermittelt. In one step S207 a first voice assistant is determined from a predetermined set of voice assistants.

Zusätzlich oder alternativ wird in dem Schritt S207 ein erster emotionaler Zustand des Nutzers, in einem Zeitraum vor der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst. Abhängig von dem ersten emotionalen Zustand des Nutzers werden erste Emotionsdaten ermittelt. Die ersten Emotionsdaten sind repräsentativ für den ersten emotionalen Zustand des Nutzers.Additionally or alternatively, in the step S207 a first emotional state of the user, recorded in a period before the communication between the user and the first voice assistant. First emotion data are determined as a function of the first emotional state of the user. The first emotion data are representative of the first emotional state of the user.

Zusätzlich oder alternativ werden in dem Schritt S207 Auswahldaten bereitgestellt. Die Auswahldaten sind repräsentativ für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S207 Selection data provided. The selection data are representative of a respective preference of the user with regard to the voice assistant of the specified number of voice assistants.

Zusätzlich oder alternativ werden in dem Schritt S207 abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt. Die ersten Nutzerdaten sind repräsentativ für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S207 provided first user data depending on the command data. The first user data are representative of a success rate in the processing of voice commands by a voice assistant of the specified number of voice assistants.

Zusätzlich oder alternativ werden in dem Schritt S207 zweite Nutzerdaten bereitgestellt. Die zweiten Nutzerdaten sind repräsentativ für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S207 second user data provided. The second user data are representative of the success rates in the processing of voice commands from the user by the voice assistants of the specified set of voice assistants.

Optional wird in dem Schritt S207 der erste Sprachassistent abhängig von den Befehlsdaten und/oder den ersten Emotionsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt.Optionally, in the step S207 the first voice assistant is determined as a function of the command data and / or the first emotion data and / or the selection data and / or the first user data and / or the second user data.

In einem Schritt S209 werden die Befehlsdaten dem ersten Sprachassistenten zur Verarbeitung des Sprachbefehls bereitgestellt und eine Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten wird eingerichtet.In one step S209 the command data are provided to the first voice assistant for processing the voice command, and communication between the user and the first voice assistant is established.

In einem Schritt S211 wird die Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten analysiert.In one step S211 the communication between the user and the first voice assistant is analyzed.

In einem Schritt S213 wird abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten ein erster Analysekennwert ermittelt.In one step S213 a first analysis parameter is determined depending on the analysis of the communication between the user and the first voice assistant.

Optional wird in dem Schritt S213 ein zweiter emotionaler Zustand des Nutzers, in einem Zeitraum während der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst. Abhängig von dem zweiten emotionalen Zustand des Nutzers werden zweite Emotionsdaten ermittelt, die repräsentativ sind für den zweiten emotionalen Zustand des Nutzers. Der erste Analysekennwert wird abhängig von den zweiten Emotionsdaten ermittelt.Optionally, in the step S213 a second emotional state of the user, recorded in a period of time during the communication between the user and the first voice assistant. Depending on the second emotional state of the user, second emotion data are determined which are representative of the second emotional state of the user. The first analysis parameter is determined as a function of the second emotion data.

Optional werden in dem Schritt S213 die ersten Nutzerdaten und/oder die zweiten Nutzerdaten abhängig von dem ersten Analysekennwert angepasst.Optionally, in the step S213 the first user data and / or the second user data are adapted as a function of the first analysis parameter.

In einem Schritt S215 wird abhängig von dem ersten Analysekennwert ein zweiter Sprachassistent aus der vorgegebenen Menge an Sprachassistenten ermittelt.In one step S215 a second voice assistant is determined from the specified set of voice assistants as a function of the first analysis parameter.

Zusätzlich oder alternativ wird in dem Schritt S215 ein erster emotionaler Zustand des Nutzers, in einem Zeitraum vor der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst. Abhängig von dem ersten emotionalen Zustand des Nutzers werden erste Emotionsdaten ermittelt. Die ersten Emotionsdaten sind repräsentativ für den ersten emotionalen Zustand des Nutzers.Additionally or alternatively, in the step S215 a first emotional state of the user, recorded in a period before the communication between the user and the first voice assistant. First emotion data are determined as a function of the first emotional state of the user. The first emotion data are representative of the first emotional state of the user.

Zusätzlich oder alternativ werden in dem Schritt S215 werden Auswahldaten bereitgestellt. Die Auswahldaten sind repräsentativ für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S215 selection data are provided. The selection data are representative of a respective preference of the user with regard to the voice assistant of the specified number of voice assistants.

Zusätzlich oder alternativ werden in dem Schritt S215 abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt. Die ersten Nutzerdaten sind repräsentativ für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S215 provided first user data depending on the command data. The first user data are representative of a success rate in the processing of voice commands by a voice assistant of the specified number of voice assistants.

Zusätzlich oder alternativ werden in dem Schritt S215 zweite Nutzerdaten bereitgestellt. Die zweiten Nutzerdaten sind repräsentativ für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten.Additionally or alternatively, in the step S215 second user data provided. The second user data are representative of the success rates in the processing of voice commands from the user by the voice assistants of the specified set of voice assistants.

Optional wird in dem Schritt S215 der zweite Sprachassistent abhängig von den Befehlsdaten und/oder den ersten Emotionsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt.Optionally, in the step S215 the second voice assistant determines depending on the command data and / or the first emotion data and / or the selection data and / or the first user data and / or the second user data.

In einem Schritt S217 werden die Befehlsdaten dem zweiten Sprachassistenten zur Verarbeitung des Sprachbefehls bereitgestellt.In one step S217 the command data are provided to the second voice assistant for processing the voice command.

In einem optionalen Schritt S219 wird eine Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten eingerichtet.In an optional step S219 communication is established between the user and the second voice assistant.

In einem optionalen Schritt S221 wird die Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten analysiert.In an optional step S221 the communication between the user and the second voice assistant is analyzed.

In einem optionalen Schritt S223 wird abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten ein zweiter Analysekennwert ermittelt.In an optional step S223 a second analysis parameter is determined depending on the analysis of the communication between the user and the second voice assistant.

In einem optionalen Schritt S225 werden die ersten Nutzerdaten und/oder die zweiten Nutzerdaten abhängig von dem zweiten Analysekennwert angepasst.In an optional step S225 the first user data and / or the second user data are adapted as a function of the second analysis parameter.

In einem Schritt S227 wird das zweite Programm beendet und kann gegebenenfalls wieder in dem Schritt S201 gestartet werden.In one step S227 the second program is ended and, if necessary, can go back to step S201 to be started.

Claims (13)

Verfahren zur Verarbeitung von Sprachbefehlen, bei dem - ein Sprachbefehl eines Nutzers erfasst wird, - abhängig von dem Sprachbefehl des Nutzers Befehlsdaten ermittelt werden, wobei die Befehlsdaten repräsentativ sind für den Sprachbefehl, - ein emotionaler Zustand des Nutzers erfasst wird, - abhängig von dem emotionalen Zustand des Nutzers Emotionsdaten ermittelt werden, die repräsentativ sind für den emotionalen Zustand des Nutzers, - abhängig von den Emotionsdaten ein erster Sprachassistent aus einer vorgegebenen Menge an Sprachassistenten ermittelt wird, und - die Befehlsdaten dem ersten Sprachassistenten zur Verarbeitung des Sprachbefehls des Nutzers bereitgestellt werden.Method for processing voice commands in which - a voice command of a user is recorded, - command data are determined depending on the voice command of the user, the command data being representative of the voice command, - an emotional state of the user is recorded, - depending on the emotional one State of the user emotion data are determined which are representative of the emotional state of the user, depending on the emotion data, a first voice assistant is determined from a predetermined set of voice assistants, and the command data are provided to the first voice assistant for processing the user's voice command. Verfahren nach Anspruch 1, bei dem - Auswahldaten bereitgestellt werden, die repräsentativ sind für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten und/oder - abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt werden, wobei die ersten Nutzerdaten repräsentativ sind für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten, und/oder - zweite Nutzerdaten bereitgestellt werden, die repräsentativ sind für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten, und - der erste Sprachassistent abhängig von den Befehlsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt wird.Procedure according to Claim 1 , in which - selection data are provided which are representative of a respective preference of the user with regard to the voice assistant of the specified set of voice assistants and / or - depending on the command data, first user data are provided, the first user data being representative of a success rate in the processing of voice commands by a voice assistant of the specified number of voice assistants, and / or - second user data are provided which are representative of success rates in the processing of voice commands of the user by the voice assistants of the specified number of voice assistants, and - the first voice assistant depending on the command data and / or the selection data and / or the first user data and / or the second user data is determined. Verfahren nach Anspruch 2, bei dem - eine Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten eingerichtet wird, - die Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten analysiert wird, - abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten ein erster Analysekennwert ermittelt wird, und - die ersten Nutzerdaten und/oder die zweiten Nutzerdaten abhängig von dem ersten Analysekennwert angepasst werden.Procedure according to Claim 2 , in which - a communication between the user and the first voice assistant is set up, - the communication between the user and the first voice assistant is analyzed, - a first analysis parameter is determined depending on the analysis of the communication between the user and the first voice assistant, and the first user data and / or the second user data are adapted as a function of the first analysis parameter. Verfahren zur Verarbeitung von Sprachbefehlen, bei dem - ein Sprachbefehl eines Nutzers erfasst wird, - abhängig von dem Sprachbefehl des Nutzers Befehlsdaten ermittelt werden, wobei die Befehlsdaten repräsentativ sind für den Sprachbefehl, - ein erster Sprachassistent aus einer vorgegebenen Menge an Sprachassistenten ermittelt wird, - die Befehlsdaten dem ersten Sprachassistenten zur Verarbeitung des Sprachbefehls bereitgestellt werden und eine Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten eingerichtet wird, - die Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten analysiert wird, - abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten ein erster Analysekennwert ermittelt wird, - abhängig von dem ersten Analysekennwert ein zweiter Sprachassistent aus der vorgegebenen Menge an Sprachassistenten ermittelt wird, und - die Befehlsdaten dem zweiten Sprachassistenten zur Verarbeitung des Sprachbefehls bereitgestellt werden.Method for processing voice commands in which - a voice command from a user is recorded, - depending on the voice command of the user, command data are determined, the command data being representative of the voice command, - a first voice assistant is determined from a given set of voice assistants, - The command data are provided to the first voice assistant for processing the voice command and communication is established between the user and the first voice assistant, - the communication between the user and the first voice assistant is analyzed, - depending on the analysis of the communication between the user and the first voice assistant, a first analysis parameter is determined, - Depending on the first analysis parameter, a second voice assistant is determined from the predetermined set of voice assistants, and - The command data are provided to the second voice assistant for processing the voice command. Verfahren nach Anspruch 4, bei dem - ein erster emotionaler Zustand des Nutzers, in einem Zeitraum vor der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst wird, - abhängig von dem ersten emotionalen Zustand des Nutzers erste Emotionsdaten ermittelt werden, die repräsentativ sind für den ersten emotionalen Zustand des Nutzers, und/oder - Auswahldaten bereitgestellt werden, die repräsentativ sind für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten und/oder - abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt werden, wobei die ersten Nutzerdaten repräsentativ sind für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten, und/oder - zweite Nutzerdaten bereitgestellt werden, die repräsentativ sind für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten, und - der erste Sprachassistent abhängig von den Befehlsdaten und/oder den ersten Emotionsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt wird.Procedure according to Claim 4 , in which - a first emotional state of the user is recorded in a period before the communication between the user and the first voice assistant, - depending on the first emotional state of the user, first emotion data are determined that are representative of the first emotional state of the user, and / or selection data are provided which are representative of a respective preference of the user with regard to the voice assistant of the specified set of voice assistants and / or first user data are provided as a function of the command data, the first user data being representative of a success rate during the processing of voice commands by a voice assistant of the specified set of voice assistants, and / or second user data are provided which are representative of success rates in the processing of voice commands of the user by the voice assistants of the specified set of voice assistants en, and - the first voice assistant is determined depending on the command data and / or the first emotion data and / or the selection data and / or the first user data and / or the second user data. Verfahren nach einem der Ansprüche 4 oder 5, bei dem - ein erster emotionaler Zustand des Nutzers, in einem Zeitraum vor der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst wird, - abhängig von dem ersten emotionalen Zustand des Nutzers erste Emotionsdaten ermittelt werden, die repräsentativ sind für den ersten emotionalen Zustand des Nutzers, und/oder - Auswahldaten bereitgestellt werden, die repräsentativ sind für eine jeweilige Präferenz des Nutzers bezüglich den Sprachassistenten der vorgegebenen Menge an Sprachassistenten und/oder - abhängig von den Befehlsdaten erste Nutzerdaten bereitgestellt werden, wobei die ersten Nutzerdaten repräsentativ sind für eine Erfolgsquote bei der Verarbeitung von Sprachbefehlen durch einen Sprachassistenten der vorgegebenen Menge an Sprachassistenten, und/oder - zweite Nutzerdaten bereitgestellt werden, die repräsentativ sind für Erfolgsquoten bei der Verarbeitung von Sprachbefehlen des Nutzers durch die Sprachassistenten der vorgegebenen Menge an Sprachassistenten, und - der zweite Sprachassistent abhängig von den Befehlsdaten und/oder den ersten Emotionsdaten und/oder den Auswahldaten und/oder den ersten Nutzerdaten und/oder den zweiten Nutzerdaten ermittelt wird.Method according to one of the Claims 4 or 5 , in which - a first emotional state of the user is recorded in a period before the communication between the user and the first voice assistant, - depending on the first emotional state of the user, first emotion data are determined that are representative of the first emotional state of the user, and / or selection data are provided which are representative of a respective preference of the user with regard to the voice assistant of the specified set of voice assistants and / or first user data are provided as a function of the command data, the first user data being representative of a success rate during the processing of voice commands by a voice assistant of the specified set of voice assistants, and / or second user data are provided which are representative of success rates in the processing of voice commands of the user by the voice assistants of the specified set of voice assistants en, and - the second voice assistant is determined as a function of the command data and / or the first emotion data and / or the selection data and / or the first user data and / or the second user data. Verfahren nach einem der Ansprüche 4 bis 6, bei dem - ein zweiter emotionaler Zustand des Nutzers, in einem Zeitraum während der Kommunikation zwischen dem Nutzer und dem ersten Sprachassistenten, erfasst wird, - abhängig von dem zweiten emotionalen Zustand des Nutzers zweite Emotionsdaten ermittelt werden, die repräsentativ sind für den zweiten emotionalen Zustand des Nutzers, und - der erste Analysekennwert abhängig von den zweiten Emotionsdaten ermittelt wird.Method according to one of the Claims 4 to 6th , in which - a second emotional state of the user is recorded in a period of time during the communication between the user and the first voice assistant, - depending on the second emotional state of the user, second emotion data are determined which are representative of the second emotional state of the user, and the first analysis parameter is determined as a function of the second emotion data. Verfahren nach einem der Ansprüche 5 bis 7, bei dem die ersten Nutzerdaten und/oder die zweiten Nutzerdaten abhängig von dem ersten Analysekennwert angepasst werden.Method according to one of the Claims 5 to 7th , in which the first user data and / or the second user data are adapted as a function of the first analysis parameter. Verfahren nach einem der Ansprüche 5 bis 8, bei dem - eine Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten eingerichtet wird, - die Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten analysiert wird, - abhängig von der Analyse der Kommunikation zwischen dem Nutzer und dem zweiten Sprachassistenten ein zweiter Analysekennwert ermittelt wird, - die ersten Nutzerdaten und/oder die zweiten Nutzerdaten abhängig von dem zweiten Analysekennwert angepasst werden.Method according to one of the Claims 5 to 8th , in which - a communication between the user and the second voice assistant is set up, - the communication between the user and the second voice assistant is analyzed, - a second analysis parameter is determined depending on the analysis of the communication between the user and the second voice assistant, the first user data and / or the second user data are adapted as a function of the second analysis parameter. Vorrichtung (15) zur Verarbeitung von Sprachbefehlen, die dazu ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 3 oder das Verfahren nach einem der Ansprüche 4 bis 9 durchzuführen.Device (15) for processing voice commands, which is designed to perform the method according to one of the Claims 1 to 3 or the method according to one of the Claims 4 to 9 perform. Fahrzeug (10), das aufweist - einen ersten Sensor (11), der dazu ausgebildet ist, einen Sprachbefehl eines Nutzers zu erfassen, - einen zweiten Sensor (13), der dazu ausgebildet ist, einen emotionalen Zustand des Nutzers zu erfassen, und - die Vorrichtung (15) zur Verarbeitung von Sprachbefehlen nach Anspruch 10.Vehicle (10) which has - a first sensor (11) which is designed to detect a voice command from a user, - a second sensor (13) which is designed to detect an emotional state of the user, and - the device (15) for processing voice commands according to Claim 10 . Computerprogramm, wobei das Computerprogramm Anweisungen umfasst, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen das Verfahren nach einem der Ansprüche 1 bis 3 oder das Verfahren nach einem der Ansprüche 4 bis 9 durchzuführen.Computer program, the computer program comprising instructions which, when the program is executed by a computer, cause the computer to perform the method according to one of the Claims 1 to 3 or the method according to one of the Claims 4 to 9 perform. Computerlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist.Computer-readable storage medium on which the computer program is based Claim 12 is stored.
DE102019127457.5A 2019-10-11 2019-10-11 Method, device, vehicle, computer program and computer-readable storage medium for processing voice commands Pending DE102019127457A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019127457.5A DE102019127457A1 (en) 2019-10-11 2019-10-11 Method, device, vehicle, computer program and computer-readable storage medium for processing voice commands

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019127457.5A DE102019127457A1 (en) 2019-10-11 2019-10-11 Method, device, vehicle, computer program and computer-readable storage medium for processing voice commands

Publications (1)

Publication Number Publication Date
DE102019127457A1 true DE102019127457A1 (en) 2021-04-15

Family

ID=75155217

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019127457.5A Pending DE102019127457A1 (en) 2019-10-11 2019-10-11 Method, device, vehicle, computer program and computer-readable storage medium for processing voice commands

Country Status (1)

Country Link
DE (1) DE102019127457A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022238169A1 (en) * 2021-05-08 2022-11-17 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer-readable storage medium for the automated generation of a message in a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004056164A1 (en) * 2004-11-18 2006-05-24 Deutsche Telekom Ag Method for dialogue control and dialog system operating thereafter
US20170140759A1 (en) * 2015-11-13 2017-05-18 Microsoft Technology Licensing, Llc Confidence features for automated speech recognition arbitration
US20180276201A1 (en) * 2017-03-23 2018-09-27 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of thereof and non-transitory computer readable recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004056164A1 (en) * 2004-11-18 2006-05-24 Deutsche Telekom Ag Method for dialogue control and dialog system operating thereafter
US20170140759A1 (en) * 2015-11-13 2017-05-18 Microsoft Technology Licensing, Llc Confidence features for automated speech recognition arbitration
US20180276201A1 (en) * 2017-03-23 2018-09-27 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of thereof and non-transitory computer readable recording medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022238169A1 (en) * 2021-05-08 2022-11-17 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer-readable storage medium for the automated generation of a message in a vehicle

Similar Documents

Publication Publication Date Title
EP3727945B1 (en) Method for operating a motor vehicle system of a motor vehicle regardless of the driving situation, personalization device, and motor vehicle
DE102013204882A1 (en) Method and device for assigning a driver of a vehicle to a vehicle-stored, representing a specific driving behavior of the driver, driver class
DE102016206372A1 (en) Method to let a vehicle user get to know vehicle features
WO2019025120A1 (en) Method for determining user feedback during the use of a device by a user, and control device for carrying out the method
WO2016082904A1 (en) Motor vehicle operating device with a correction strategy for voice recognition
DE102014214777A1 (en) A method of interacting a driver assistance system with a driver of a vehicle
WO2020011655A1 (en) Method and system for detecting data in vehicles
WO2016142103A1 (en) Method for updating parking area information in a navigation system and navigation system
DE102019127457A1 (en) Method, device, vehicle, computer program and computer-readable storage medium for processing voice commands
DE102018219290B4 (en) Method for teaching a personalized headlight device of a motor vehicle
EP3234873A1 (en) Identification and checking assistance apparatus and method
WO2022096165A1 (en) Method, device, computer program and computer-readable storage medium for controlling the provision of suggestion information to a vehicle occupant of a vehicle
DE102015209902B4 (en) Method and device for controlling the interior lighting of a motor vehicle
DE102019112412A1 (en) SYSTEM AND METHOD OF ASSISTING THE DRIVER OF A VEHICLE AND VEHICLE, IN PARTICULAR MOTOR VEHICLE
DE102018211973A1 (en) Proactive context-based provision of service recommendations in vehicles
DE102018221712B4 (en) Method for operating an interactive information system for a vehicle, and a vehicle
DE102018208060B3 (en) Method and device for detecting fatigue of a driver of a vehicle in a mobile device
DE102021101805A1 (en) DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES
DE102021110674A1 (en) MOTION EVALUATION SYSTEM, MOTION EVALUATION DEVICE AND MOTION EVALUATION METHOD
DE102019128805A1 (en) Method, device, computer program and computer-readable storage medium for setting a vehicle function of a vehicle by a server arranged externally to the vehicle
DE102008028090A1 (en) Method for operating a navigation system
DE102021130768B4 (en) Method for increasing the attention of a user of a motor vehicle, assistance device, motor vehicle
WO2020114724A1 (en) Method for checking at least one vehicle, and electronic computing device
DE102016004395A1 (en) Method for determining a state of at least one vehicle occupant
DE102018215291A1 (en) Method for interaction of a user with a vehicle, user interface and motor vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified