DE102021126564A1

DE102021126564A1 - Assistance system and method for voice-based interaction with at least one user

Info

Publication number: DE102021126564A1
Application number: DE102021126564.9A
Authority: DE
Inventors: Ronald Böck; Norman Weißkirchen
Original assignee: Otto Von Guericke Universitaet Magdeburg
Current assignee: Otto Von Guericke Universitaet Magdeburg
Priority date: 2021-10-13
Filing date: 2021-10-13
Publication date: 2023-04-13
Also published as: WO2023061701A1

Abstract

Die Erfindung betrifft ein Assistenzsystem, bspw. ein Sprachassistenzsystem, zur Interaktion, bspw. einer sprachbasierten Interaktion, mit mindestens einem Nutzer, wobei das Assistenzsystem gattungsgemäß eine Aufnahmeeinrichtung zur Aufnahme von interaktionsbezogenen Eingaben des mindestens einen Nutzers, eine Erkennungseinrichtung, die eingerichtet ist, aus den interaktionsbezogenen Eingaben des mindestens einen Nutzers interaktionsbezogene Eingabeinformationen zu extrahieren, eine Interaktionseinrichtung, die eingerichtet ist, basierend auf den interaktionsbezogenen Eingabeinformationen des Nutzers interaktionsbezogene Ausgabeinformationen des System zu generieren, und eine Ausgabeeinrichtung zur Ausgabe der generierten interaktionsbezogenen Ausgabeinformationen hat. Die Erfindung betrifft ebenso ein Verfahren hierzu.The invention relates to an assistance system, e.g. a language assistance system, for interaction, e.g to extract interaction-related input information from the at least one user, an interaction device that is set up to generate interaction-related output information of the system based on the interaction-related input information of the user, and an output device for outputting the generated interaction-related output information. The invention also relates to a method for this.

Description

Es gibt viele verschiedene Formen einer Mensch-Maschine-Schnittstelle. Eine der intuitivsten Formen, eine Mensch-Maschine-Schnittstelle zu etablieren, ist die sprachbasierte Kommunikation zwischen Mensch und Maschine mittels eines Assistenzsystems. Gattungsgemäß werden hierbei permanent die auditiv wahrnehmbaren Schallsignale durch eine auditive Sensorvorrichtung (Aufnahmeeinrichtung) erfasst und eine entsprechende Sprachakustik identifiziert. Mittels Spracherkennungsalgorithmen wird dann der sprachliche Inhalt der Sprachakustik extrahiert und basierend auf dem sprachlichen Inhalt dann eine Unterstützungsfunktion ausgewählt und durch das Assistenzsystem oder einer nachgelagerten (künstlichen) Vorrichtung ausgeführt. Eine andere Möglichkeit einer Mensch-Maschine-Schnittstelle ist bspw. die Eingabe von Gesten, von Textnachrichten oder ähnliches.There are many different forms of human-machine interfaces. One of the most intuitive forms of establishing a human-machine interface is voice-based communication between humans and machines using an assistance system. According to the generic type, the auditory perceptible sound signals are permanently recorded by an auditory sensor device (recording device) and a corresponding speech acoustic is identified. The linguistic content of the speech acoustics is then extracted by means of speech recognition algorithms and a support function is then selected based on the linguistic content and executed by the assistance system or a downstream (artificial) device. Another possibility for a human-machine interface is, for example, the input of gestures, text messages or the like.

Derartige Assistenzsysteme bieten somit natürlichen Personen die Möglichkeit, Eingaben an das Assistenzsystem bspw. mittels Sprache durchzuführen, wobei das Assistenzsystem den sprachlichen Inhalt der gesprochenen Sprachakustik als Eingabe versteht und entsprechend reagiert. Derartige Reaktionen können beispielsweise wiederum Sprachausgaben sein, wenn die zuvor getätigte Eingabe als Sprachakustik eine Frage an das Assistenzsystem enthielt. Derartige Reaktionen können aber auch das Schalten von Aktoren oder das Durchführen von Berechnungen sein.Such assistance systems thus offer natural persons the possibility of making inputs to the assistance system, for example by means of speech, with the assistance system understanding the linguistic content of the spoken speech acoustics as an input and reacting accordingly. Such reactions can, for example, in turn be voice output if the previously made input contained a question to the assistance system in the form of voice acoustics. However, such reactions can also be the switching of actuators or the execution of calculations.

Die meisten Assistenzsysteme folgen dabei einem nicht-intelligenten, eher regelbasierten Vorgehen, wobei kein explizites Verhalten seitens der Technik erkennbar und wahrnehmbar wird. Dies macht es dem menschlichen Kommunikationspartner oftmals schwer, die aktuellen Entscheidungsprozesse des technischen Systems während der sprachlichen Interaktion nachzuvollziehen.Most assistance systems follow a non-intelligent, rather rule-based approach, with no explicit behavior on the part of the technology being recognizable and perceptible. This often makes it difficult for the human communication partner to understand the current decision-making processes of the technical system during the verbal interaction.

Aus Weißkirchen, N., Böck, R., und Wendemuth, A. (2020). „Towards true artificial peers“. In 2020 IEEE 307 International Conference on Human-Machine Systems (ICHMS). 1-5. doi:10.1109/ICHMS49158.2020.308 9209583 ist bekannt, dass ein Assistenzsystem nicht nur die passive Rolle eines Befehlsinterpreters folgen kann, sondern auch mit eigenen Zielen und Prioritäten ausgestattet ist, wobei diese Ziele konkurrierend zu denen des Nutzers und anderer menschlicher Interaktionspartner verfolgt werden.From Weißkirchen, N., Böck, R., and Wendemuth, A. (2020). "Towards true artificial peers". In 2020 IEEE 307 International Conference on Human-Machine Systems (ICHMS). 1-5 doi:10.1109/ICHMS49158.2020.308 9209583 it is known that an assistance system can not only follow the passive role of a command interpreter, but is also equipped with its own goals and priorities, whereby these goals are pursued in competition with those of the user and other human interaction partners.

Es besteht dabei das Bedürfnis, die Interaktion mit dem Assistenzsystem so menschlich und natürlich wie möglich nachzubilden, um die Akzeptanz auch bei großen Konversationen möglichst lange aufrecht zu erhalten.There is a need to simulate the interaction with the assistance system as humanly and naturally as possible in order to maintain acceptance for as long as possible, even in the case of long conversations.

Die Aufgabe wird mit dem Assistenzsystem gemäß Anspruch 1 sowie dem Verfahren hierzu gemäß Anspruch 11 erfindungsgemäß gelöst. Vorteilhafte Ausgestaltungen der Erfindung finden sich in den entsprechenden Unteransprüchen.The object is achieved with the assistance system according to claim 1 and the method for this according to claim 11 according to the invention. Advantageous configurations of the invention can be found in the corresponding subclaims.

Gemäß Anspruch 1 wird ein Assistenzsystem zur Interaktion mit mindestens einem Nutzer vorgeschlagen, wobei das Assistenzsystem eine Aufnahmeeinrichtung zur Aufnahme von interaktionsbezogenen Eingaben des mindestens einen Nutzers, eine Erkennungseinrichtung zum Extrahieren von interaktionsbezogenen Eingabeinformationen des Nutzers aus den aufgenommenen interaktionsbezogenen Eingaben, eine Interaktionseinrichtung zum Generieren von interaktionsbezogenen Ausgabeinformationen basierend auf den interaktionsbezogenen Eingabeinformationen und eine Ausgabeeinrichtung zur Ausgabe der generierten interaktionsbezogenen Ausgabeinformationen hat.According to claim 1, an assistance system for interacting with at least one user is proposed, the assistance system having a recording device for recording interaction-related inputs from the at least one user, a recognition device for extracting interaction-related input information from the user from the recorded interaction-related inputs, an interaction device for generating interaction-related Has output information based on the interaction-related input information and an output device for outputting the generated interaction-related output information.

Erfindungsgemäß ist nun vorgesehen, dass die Interaktionseinrichtung ein künstliches Interaktionsverhalten implementiert, durch das verschiedene Verhaltensweisen bei der Interaktion mit dem mindestens einen Nutzer simuliert werden, wobei sich die verschiedenen Verhaltensweisen in Art und/oder Inhalt der zu generierenden interaktionsbezogenen Ausgabeinformationen unterscheiden, wobei jede Verhaltensweise einem bestimmten Verhaltensmodus der Interaktionseinrichtung zugeordnet ist, wobei die Interaktionseinrichtung eingerichtet ist, während einer Interaktion den ausgewählten Verhaltensmodus zu ändern.According to the invention, it is now provided that the interaction device implements an artificial interaction behavior, through which different behaviors are simulated when interacting with the at least one user, the different behaviors differing in the type and/or content of the interaction-related output information to be generated, each behavior having a is assigned a specific behavioral mode of the interaction device, wherein the interaction device is set up to change the selected behavioral mode during an interaction.

Hierdurch wird es möglich, dass sich das Assistenzsystem während der Interaktion mit dem mindestens einen Nutzer hinsichtlich seines Verhaltens anpasst, indem die Verhaltensweise des Assistenzsystems geändert wird. Hierfür wird ein entsprechender Verhaltensmodus ausgewählt, um Art und/oder Inhalt der zu generieren interaktionsbezogenen Ausgabeinformation zu verändern und so die Interaktion möglichst natürlich und menschlich ablaufen zu lassen. Das Assistenzsystem kann sich somit an das Verhalten und die Reaktion des Nutzers, mit dem es interagiert, Anpassen, um so die Akzeptanz des Nutzers zu erhöhen. Dabei wird insbesondere auf das Verhalten des Nutzers während der Interaktion abgestellt, dass sich bspw. aus aufgenommenen Spracheingaben ableiten lässt. So lässt sich beispielsweise eine Akzeptanz oder eine Ablehnung für die ausgewählte Verhaltensweise des Assistenzsystems ermitteln, sodass das Assistenzsystem durch Änderung seines Verhaltensmodus und somit Änderung der Verhaltensweise sich daran anpassen kann. Dadurch wird nicht nur eine eigene Zielsetzung und Priorisierung des Assistenzsystems implementiert, um zu antizipieren, was der Nutzer mit der Interaktion vorhat, sondern auch eine situative Anpassung des Systemverhaltens, um so dem situativen Zustand der Interaktion Rechnung zu tragen. Es wird somit ein mehr verhaltensorientiertes Assistenzsystem vorgeschlagen, welches seine Verhaltensweise einen die Nutzerinteraktion und die Reaktion des Nutzers anpassen kann.This makes it possible for the assistance system to adapt its behavior during the interaction with the at least one user by the behavior of the assistant tenz system is changed. For this purpose, a corresponding behavior mode is selected in order to change the type and/or content of the interaction-related output information to be generated and thus allow the interaction to take place as naturally and humanely as possible. The assistance system can thus adapt to the behavior and reaction of the user with whom it is interacting, in order to increase user acceptance. In particular, the behavior of the user during the interaction is taken into account, which can be derived, for example, from recorded voice inputs. For example, an acceptance or a rejection of the selected behavior of the assistance system can be determined, so that the assistance system can adapt to it by changing its behavior mode and thus changing the behavior. This not only implements its own objective and prioritization of the assistance system in order to anticipate what the user intends to do with the interaction, but also a situational adjustment of the system behavior in order to take the situational state of the interaction into account. A more behavior-oriented assistance system is thus proposed, which can adapt its behavior to the user interaction and the user's reaction.

Gemäß einer Ausführungsform ist vorgesehen, dass die Aufnahmeeinrichtung zum Aufnehmen von auditiv wahrnehmbaren Schallsignalen als interaktionsbezogene Eingaben des mindestens einen Nutzers eingerichtet ist, die Erkennungseinrichtung eingerichtet ist, aus den aufgenommenen, auditiv wahrnehmbaren Schallsignalen sprachbasierte Informationen einer Spracheingabe des Nutzers als interaktionsbezogene Eingabeinformationen zu extrahieren, die Interaktionseinrichtung eingerichtet ist, basierend auf den sprachbasierten Informationen der Spracheingabe des Nutzers eine Sprachausgabe als interaktionsbezogene Ausgabeinformationen des Systems zu generieren, und die Ausgabeeinrichtung zur Ausgabe von auditiv wahrnehmbaren Schallsignalen, welche die generierten Sprachausgaben des Systems beinhalten, eingerichtet ist, wobei sich die verschiedenen Verhaltensweisen in Art und/oder Inhalt der zu generierenden Sprachausgabe unterscheiden.According to one embodiment, it is provided that the recording device is set up to record audible sound signals as interaction-related input from the at least one user, the recognition device is set up to extract speech-based information of a speech input from the user as interaction-related input information from the recorded, audible sound signals Interaction device is set up, based on the speech-based information of the user's speech input, to generate a speech output as interaction-related output information of the system, and the output device is set up to output audible sound signals, which contain the generated speech output of the system, with the various behaviors in Differentiate the type and/or content of the speech output to be generated.

Die Erkennungseinrichtung kann dabei vorteilhafterweise eingerichtet sein, in den aufgenommenen, auditiv wahrnehmbaren Schallsignalen eine Sprachakustik zu erkennen und, sofern eine Sprachakustik erkannt wurde, sprachbasierte Informationen aus der erkannten Sprachakustik zu extrahieren. Die Erkennungseinrichtung ist demzufolge so ausgebildet, dass sie eine Sprachanalyse durchführt und so beispielsweise anhand von Modellen aus der Sprachakustik die darin enthaltenen sprachbasierten Informationen extrahiert. Derartige sprachbasierte Informationen können neben den sprachlichen Inhalten (d. h. den gesprochenen Wörtern der in der Sprachakustik enthaltenen Sprachkommunikation) auch weitere sprachbasierte Informationen enthalten, wie beispielsweise prosodische Eigenschaften der Sprachakustik. Unter den prosodischen Eigenschaften werden dabei insbesondere ein jene Eigenschaften der Sprache im Sinne der vorliegenden Erfindung verstanden, die sich nicht auf die sprachlichen Inhalte, d. h. die gesprochenen Wörter, beziehen. Dies umfasst insbesondere Akzente, Tonsprache, Intonation, Quantität, Tempo, Rhythmus, Pausen beim Sprechen und dergleichen. Sprachbasierte Informationen, die aus den auditiv wahrnehmbaren Schallsignalen einer Sprachakustik extrahiert wurden, können somit insbesondere sprachliche Inhalte und/oder prosodische Eigenschaften der Sprachakustik bzw. der gesprochenen Inhalte enthalten.In this case, the recognition device can advantageously be set up to recognize speech acoustics in the recorded, audibly perceptible sound signals and, if speech acoustics were recognized, to extract speech-based information from the recognized speech acoustics. The recognition device is consequently designed in such a way that it carries out a speech analysis and thus, for example, using models from the speech acoustics, extracts the speech-based information contained therein. In addition to the linguistic content (ie the spoken words of the voice communication contained in the voice acoustics), such language-based information can also contain further language-based information, such as prosodic properties of the voice acoustics. The prosodic properties are understood in particular as those properties of the language within the meaning of the present invention that do not relate to the linguistic content, i. H. the spoken words. This includes in particular accents, tonal language, intonation, quantity, tempo, rhythm, pauses in speaking and the like. Speech-based information, which was extracted from the acoustically perceptible sound signals of speech acoustics, can thus contain, in particular, speech content and/or prosodic properties of the speech acoustics or of the spoken content.

Gemäß einer Ausführungsform ist vorgesehen, dass eine Assistenzeinrichtung vorgesehen ist, die eingerichtet ist, in Abhängigkeit von den extrahierten interaktionsbezogenen Eingabeinformationen (bspw. sprachbasierten Informationen) eine Unterstützungsfunktion auszuwählen und zur Unterstützung des mindestens einen Nutzers auszuführen. Solche Unterstützungsfunktionen können dabei Handlungen sein, die von dem Assistenzsystem ausgeführt werden, beispielsweise das Aktivieren oder Deaktivieren von Aktoren.According to one embodiment it is provided that an assistance device is provided which is set up to select a support function depending on the extracted interaction-related input information (for example language-based information) and to carry it out to support the at least one user. Such support functions can be actions that are carried out by the assistance system, for example the activation or deactivation of actuators.

Gemäß einer Ausführungsform ist vorgesehen, dass die Interaktionseinrichtung eingerichtet ist, basierend auf interaktionsbezogenen Daten, interaktionsbezogenen Eingabeinformationen (bspw. sprachbasierten Informationen einer Spracheingabe), einer Reaktion des mindestens einen Nutzers und/oder technischen Daten externer technischer Einrichtungen während der Interaktion des ausgewählten Verhaltensmodus zu ändern. Interaktionsbezogene Daten sind dabei jene Daten, die aus vorherigen Interaktionen (bspw. vorherigen Spracheingaben) gesammelt wurden oder aus anderen Quellen stammen. Dabei ist es denkbar, dass in Bezug auf eine bestimmte Datenbasis das Assistenzsystem seinen Verhaltensmodus wechselt, um so eine andere Verhaltensweise dem Nutzer zu präsentieren.According to one embodiment, it is provided that the interaction device is set up to change the selected behavior mode based on interaction-related data, interaction-related input information (e.g. language-based information of a voice input), a reaction of the at least one user and/or technical data from external technical devices during the interaction . Interaction-related data is data collected from previous interactions (e.g. previous voice inputs) or from other sources. It is conceivable that the assistance system changes its behavior mode in relation to a specific database in order to present a different behavior to the user.

Externe Daten technischer Einrichtungen stammen dabei von technischen Geräten, die beispielsweise mithilfe des Assistenzsystems gesteuert werden sollen. Derartige technische Geräte können beispielsweise Geräte für die Automation sein, beispielsweise ein Thermostat o. ä. Das Assistenzsystem steht dabei über eine Schnittstelle mit den relevanten technischen Geräten bzw. technischen Einrichtungen in kommunikativer Verbindung, um so technische Daten dieser technischen Einrichtungen ermitteln zu können. Je nach Quantität und/oder Qualität der ermittelten Daten dieser technischen Einrichtungen ist dabei die Interaktionseinrichtung unter anderem eingerichtet, während einer Interaktion den ausgewählten Verhaltensmodus zu ändern, umso beispielsweise die Interaktion mit dem Nutzer zur Verbesserung der Quantität und/oder Qualität der ermittelten Daten zu lenken und/oder basierend auf dem Inhalt der technischen Daten die Interaktion durch Änderung des Verhaltensmodus anzupassen.External data from technical devices comes from technical devices that are to be controlled using the assistance system, for example. Such technical devices can, for example, be devices for automation, for example a thermostat or the like. The assistance system is in communicative connection via an interface with the relevant technical devices or technical facilities, in order to obtain technical data from these technical facilities to be able to determine. Depending on the quantity and/or quality of the data determined by these technical devices, the interaction device is set up, among other things, to change the selected behavior mode during an interaction, for example to direct the interaction with the user to improve the quantity and/or quality of the data determined and/or, based on the content of the technical data, adapt the interaction by changing the mode of behavior.

Gemäß einer Ausführungsform ist vorgesehen, dass ein Verhaltensmodus eine regelbasierte Verhaltensweise für eine Interaktion mit dem mindestens einen Nutzer implementiert, bei dem die Art und/oder der Inhalt der zu generierenden interaktionsbezogenen Ausgabeinformation (bspw. einer zu generierenden Sprachausgabe an den Nutzer) in Abhängigkeit von einem regelbasierten Verfahrensablauf ermittelt werden.According to one embodiment it is provided that a behavior mode implements a rule-based behavior for an interaction with the at least one user, in which the type and/or the content of the interaction-related output information to be generated (e.g. a voice output to be generated to the user) depends on be determined using a rule-based procedure.

Ein regelbasierter Verfahrensablauf folgt dabei einem strengen vorgegebenen Verfahrensmuster, bei dem Art und/oder Inhalt der interaktionsbezogenen Ausgabeinformationen bzw. Ausgaben (bspw. Sprachausgaben) teilweise oder vollständig gemäß dem Regelwerk vorgegeben sind.A rule-based process flow follows a strict, predetermined process pattern in which the type and/or content of the interaction-related output information or outputs (e.g. voice outputs) are partially or completely specified in accordance with the set of rules.

Dabei kann vorteilhafterweise vorgesehen sein, dass die Interaktionseinrichtung eingerichtet ist, bei Beginn einer Interaktion mit dem mindestens einen Nutzer mit dem Verhaltensmodus der regelbasierten Verhaltensweise initialisiert zu werden.It can advantageously be provided that the interaction device is set up to be initialized with the behavior mode of the rule-based behavior at the start of an interaction with the at least one user.

Gerade am Anfang einer Interaktion, wenn dem Assistenzsystem als Interaktionspartner das notwendige Situationsbewusstsein für die Intention des Nutzers fehlt, ist es vorteilhaft, wenn die Interaktion zunächst einem streng vorgegebenen Verfahrensmuster bzw. Regelwerk unterliegt, um so die notwendigen Informationen und Daten hinsichtlich der Intention des Nutzers zu sammeln. Ist eine hinreichende Wahrscheinlichkeit vorhanden, mit der die Intention des Nutzers beschrieben werden kann, so ist das Assistenzsystem eingerichtet, durch Ändern des Verhaltensmodus die Verhaltensweise zu ändern und so den regelbasierten Verhaltensmodus zu verlassen, um in der weiteren Interaktion mit dem Nutzer eine andere Verhaltensweise zu zeigen. Hierdurch wird das Assistenzsystem anhand der Daten oder der Reaktion des Nutzers in seinem Verhalten angepasst.Especially at the beginning of an interaction, when the assistance system as an interaction partner lacks the necessary situational awareness of the user's intention, it is advantageous if the interaction is initially subject to a strictly specified procedural pattern or set of rules in order to provide the necessary information and data regarding the user's intention to collect. If there is a sufficient probability with which the intention of the user can be described, the assistance system is set up to change the behavior by changing the behavior mode and thus to leave the rule-based behavior mode in order to have a different behavior in further interaction with the user show. As a result, the assistance system is adapted based on the data or the reaction of the user in his behavior.

Gemäß einer Ausführungsform ist vorgesehen, dass ein Verhaltensmodus eine explorative Verhaltensweise für eine Interaktion mit dem mindestens einen Nutzer implementiert, bei dem die Art und/oder der Inhalt der zu generierenden interaktionsbezogenen Ausgabeinformationen (bspw. zu generierende Sprachausgabe) zum Zweck der Ermittlung weiterer interaktionsbezogener Daten und/oder technischer Daten externer technischer Einrichtungen ermittelt werden.According to one embodiment, it is provided that a behavior mode implements an exploratory behavior for an interaction with the at least one user, in which the type and/or the content of the interaction-related output information to be generated (e.g. voice output to be generated) for the purpose of determining further interaction-related data and/or technical data of external technical facilities are determined.

Bei der explorativen Verhaltensweise wird die Art und/oder der Inhalt der zu generierenden interaktionsbezogenen Ausgabeinformationen so gewählt, dass die Ausgabe auf den Zweck der Ermittlung weiterer interaktionsbezogener Daten und/oder technischer Daten externer technischer Einrichtungen gerichtet ist. Hierdurch soll die Datenbasis für die Interaktion und für die Ermittlung der Intention des Nutzers vergrößert werden, um so die Interaktion mit dem Nutzer durch entsprechende interaktionsbezogenen Ausgabeinformationen besser steuern und lenken zu können. Durch das Forcieren der Ermittlung von nicht nur interaktionsbezogenen Daten, sondern auch technischen Daten von externen technischen Einrichtungen kann der Datenbestand des Assistenzsystems insgesamt vergrößert und somit das Situationsbewusstsein des Assistenzsystems deutlich verbessert werden.In the case of exploratory behavior, the type and/or the content of the interaction-related output information to be generated is selected in such a way that the output is directed towards the purpose of determining further interaction-related data and/or technical data from external technical devices. This is intended to increase the database for the interaction and for determining the intention of the user, in order to be able to better control and direct the interaction with the user through corresponding interaction-related output information. By forcing the determination of not only interaction-related data, but also technical data from external technical devices, the database of the assistance system can be increased overall and the situational awareness of the assistance system can thus be significantly improved.

Hierbei ist insbesondere vorteilhafterweise vorgesehen, dass die Interaktionseinrichtung eingerichtet ist, in Abhängigkeit von den interaktionsbezogenen Eingabeinformationen (bspw. den sprachbasierten Informationen einer Spracheingabe) festzustellen, ob eine neue Situation für die Interaktion vorliegt und wenn ja, in den Verhaltensmodus mit der explorativen Verhaltensweise zu wechseln. Eine neue Situation liegt in der Regel dann vor, wenn die Interaktion des Nutzers mit dem Assistenzsystem auf eine neue Intention gerichtet ist. Dies kann beispielsweise dadurch identifiziert werden, dass die Eingabe des Nutzers auf Informationen und Daten gerichtet ist, die dem System überwiegend teilweise oder vollständig unbekannt sind.In this case, it is particularly advantageously provided that the interaction device is set up to determine, depending on the interaction-related input information (e.g. the language-based information of a voice input), whether there is a new situation for the interaction and, if so, to switch to the behavioral mode with the exploratory behavior . A new situation is generally present when the user's interaction with the assistance system is aimed at a new intention. This can be identified, for example, by the fact that the user's input is aimed at information and data that are mostly partially or completely unknown to the system.

Gemäß einer Ausführungsform ist vorgesehen, dass ein Verhaltensmodus eine datenbasierte Verhaltensweise für eine Interaktion mit dem mindestens einen Nutzer implementiert, bei dem die Art und/oder der Inhalt der zu generierenden interaktionsbezogenen Ausgabeinformationen (bspw. Sprachausgabe) in Abhängigkeit von in der Interaktion mit dem mindestens einen Nutzer ermittelten interaktionsbezogenen Daten und/oder technischen Daten externer technischer Einrichtungen ermittelt werden.According to one embodiment it is provided that a behavior mode implements a data-based behavior for an interaction with the at least one user, in which the type and/or the content of the interaction-related output information (e.g. voice output) to be generated depends on the interaction with the at least interaction-related data determined by a user and/or technical data from external technical devices are determined.

Liegen genügend interaktionsbezogene Daten und/oder technische Daten externer technischer Einrichtungen vor, so kann das Verhalten des Assistenzsystems auf eine datenbasierte Verhaltensweise gerichtet werden, bei der Art und/oder Inhalt der zu generierenden interaktionsbezogenen Ausgabeinformationen (bspw. Sprachausgabe) auf den bereits gesammelten interaktionsbezogenen Daten und/oder technischen Daten externer technischer Einrichtungen basiert, sodass für den Nutzer erkennbar wird, dass das Assistenzsystemen die Intention des Nutzers verstanden hat und ein hinreichendes Situationsbewusstsein aufgebaut hat, was die Akzeptanz deutlich erhöht. Auch erkennt der Nutzer daran, dass das Assistenzsystem genügend Informationen und Daten auch über externe technische Einrichtungen hat, um das notwendige Situationsbewusstsein aufzubauen und entsprechende Steuerungen mit externen technischen Geräten durchführen zu können.If there is sufficient interaction-related data and/or technical data from external technical devices, the behavior of the assistance system can be directed towards data-based behavior, with the type and/or content of the interaction-related output information (e.g. voice output) to be generated based on the interaction-related data already collected and/or technical data of external technical physical devices, so that the user can see that the assistance system has understood the user's intention and has built up sufficient situational awareness, which significantly increases acceptance. The user also recognizes from this that the assistance system has enough information and data, also via external technical devices, to build up the necessary situational awareness and to be able to carry out corresponding controls with external technical devices.

Hierbei ist insbesondere vorteilhafterweise vorgesehen, dass die Interaktionseinrichtung eingerichtet ist, in Abhängigkeit von interaktionsbezogenen Daten und/oder technischen Daten externer technischer Einrichtungen bezüglich der Interaktion mit dem mindestens einen Nutzer festzustellen, ob ausreichend Daten vorliegen und wenn ja, in den Verhaltensmodus mit der datenbasierten Verhaltensweise zu wechseln.In this case, it is particularly advantageously provided that the interaction device is set up, depending on interaction-related data and/or technical data from external technical devices with regard to the interaction with the at least one user, to determine whether there is sufficient data and, if so, to switch to the behavior mode with the data-based behavior switch.

Das Assistenzsystem kann dabei insbesondere eingerichtet sein, basierend auf den sprachbasierten Informationen der Spracheingaben des mindestens einen Nutzers eine oder mehrere externe Aktoren zu steuern (bspw. im Zusammenhang mit einer Hausautomation), so dass die Interaktionsmöglichkeiten des Nutzers nicht nur auf das Assistenzsystem selber beschränkt sind.In particular, the assistance system can be set up to control one or more external actuators (e.g. in connection with home automation) based on the speech-based information from the speech inputs of the at least one user, so that the user's interaction options are not limited to the assistance system itself .

Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:

1 schematische Darstellung des erfindungsgemäßen Assistenzsystems
2 Ablaufschema der Verhaltensänderung.

The invention is explained in more detail by way of example on the basis of the accompanying figures. Show it:

1 schematic representation of the assistance system according to the invention
2 Flow chart of behavior change.

In den vorliegenden Figuren wird die Erfindung anhand des Beispiels einer sprachbasierten Interaktion mit dem Assistenzsystem beschrieben. Das in den Figuren beschriebene Prinzip einer sprachbasierten Interaktion lässt sich dabei auf andere Formen der Interaktion, bspw. Text und/oder Gestik und/oder Mimik übertragen und ist von Erfindungsgedanken mit umfasst.In the present figures, the invention is described using the example of a voice-based interaction with the assistance system. The principle of a language-based interaction described in the figures can be transferred to other forms of interaction, for example text and/or gestures and/or facial expressions, and is also included in the ideas of the invention.

1 zeigt in einer schematisch stark vereinfachten Darstellung eines Assistenzsystems 10, das mittels einer Aufnahmeeinrichtung 11 zum Aufnehmen von auditiv wahrnehmbaren Schallsignalen ausgebildet ist. Eine solche Aufnahmeeinrichtung 11 kann beispielsweise ein Mikrofon 12 sein, mit dem die Schallsignale erfasst und anschließend mittels einer Wandlereinheit in ein digitales Signal umgewandelt werden. 1 1 shows, in a schematically greatly simplified representation, an assistance system 10 which is designed by means of a recording device 11 to record sound signals that can be heard in an auditory manner. Such a recording device 11 can be a microphone 12, for example, with which the sound signals are recorded and then converted into a digital signal by means of a converter unit.

Eine Erkennungseinrichtung 13 erhält nun diese in digitaler Form vorliegenden Schallsignale als Eingang und ist eingerichtet, basierend auf den auditiv wahrnehmbaren Schallsignalen eine darin enthaltene Sprachakustik zu erkennen. Sofern eine entsprechende Sprachakustik erkannt wurde, werden aus den aufgenommenen auditiv wahrnehmbaren Schallsignalen mit der Sprachakustik die entsprechenden sprachbasierten Informationen einer Spracheingabe des Nutzers 100 extrahiert.A recognition device 13 now receives these sound signals, which are present in digital form, as input and is set up to recognize speech acoustics contained therein based on the audibly perceptible sound signals. If corresponding speech acoustics were recognized, the corresponding speech-based information of a speech input by the user 100 is extracted from the recorded auditory perceptible sound signals with the speech acoustics.

Die sprachbasierten Informationen, die von der Erkennungseinrichtung 13 aus den Schallsignalen extrahiert wurden, können als interaktionsbezogene Daten in einem digitalen Datenspeicher 14 hinterlegt werden.The speech-based information that was extracted from the sound signals by the recognition device 13 can be stored in a digital data memory 14 as interaction-related data.

Das Assistenzsystem 10 weist des Weiteren eine Interaktionseinrichtung 15 auf, die basierend auf den sprachbasierten Informationen der Spracheingabe, bei denen es sich auch um interaktionsbezogene Daten aus der Datenbank 14 handeln kann, eine Sprachausgabe des Systems generiert und an eine Ausgabeeinheit 16 in Form eines Lautsprecher 17 überträgt. Mittels einer nicht dargestellten Wandlereinheit wird dabei die Sprachausgabe in auditiv wahrnehmbaren Schallsignalen umgesetzt und mithilfe des Lautsprechers 17 ausgegeben.The assistance system 10 also has an interaction device 15 which, based on the language-based information of the voice input, which can also be interaction-related data from the database 14, generates a voice output from the system and transmits it to an output unit 16 in the form of a loudspeaker 17 transmits. The voice output is converted into audible sound signals by means of a converter unit (not shown) and output using the loudspeaker 17 .

Die Interaktionseinrichtung 15 ist dabei so ausgebildet, dass ein künstliches Interaktionsverhalten implementiert wird, das verschiedene Verhaltensweisen bei der sprachbasierten Interaktion mit dem Nutzer 100 simuliert. Hierfür werden verschiedene Verhaltensmodi der Interaktionseinrichtung 15 implementiert, wobei bei jedem Verhaltensmodus eine entsprechende Verhaltensweise zugeordnet ist, die eine für das jeweilige Verhalten spezifische Art und/oder spezifischen Inhalt der zu generierenden Sprachausgabe erzeugt.The interaction device 15 is designed in such a way that an artificial interaction behavior is implemented, which simulates different behaviors in the speech-based interaction with the user 100 . For this purpose, different behavior modes of the interaction device 15 are implemented, with each behavior mode being assigned a corresponding behavior that generates a type and/or specific content of the voice output to be generated that is specific to the respective behavior.

2 zeigt dabei die Verhaltenskontrolle 200 der Interaktionseinrichtung 15, wie in 1 dargestellt. Am Beginn einer Interaktion wird eine regelbasierte Verhaltensweise 210 initialisiert, umso erste Elemente und eine erste Kontaktaufnahme mit dem Nutzer 100 nach einem vorgefertigten Schema zu implementieren. 2 shows the behavior control 200 of the interaction device 15, as in 1 shown. At the beginning of an interaction, a rule-based behavior 210 is initialized in order to implement first elements and a first contact with the user 100 according to a ready-made scheme.

Nachdem eine neue Situation erkannt wurde, beispielsweise anhand des Verhaltens bzw. der Reaktion des Nutzers 100, wird von der regelbasierten Verhaltensweise 210 zu einer explorativen Verhaltensweise 220 gewechselt. Diese Verhaltensweise 220 ist dadurch gekennzeichnet, dass die Art und/oder der Inhalt der Sprachausgabe darauf gerichtet sind, weitere Daten bezüglich der zuvor neu ermittelten Situation von dem Nutzer zu erlangen. Das Sammeln der Daten ist dabei notwendig, um eine entsprechende Unterstützungsfunktion auswählen zu können oder um die Intention des Nutzers für ein besseres Situationsbewusstsein des Systems zu ermitteln.After a new situation has been recognized, for example based on the behavior or the reaction of the user 100 , there is a change from the rule-based behavior 210 to an explorative behavior 220 . This behavior 220 is characterized in that the type and/or content of the voice output is aimed at obtaining further data from the user regarding the previously newly determined situation. The collection of the data is necessary in order to be able to select a corresponding support function or to determine the intention of the user for better situational awareness of the system.

Wurden genügend Daten ermittelt, um die Intention des Nutzers mit einer hinreichenden Wahrscheinlichkeit festlegen zu können, so wird zu einem Dritten Verhaltensmodus gewechselt, der eine datenbasierte Verhaltensweise 230 implementiert. In diesem Modus kann das System basierend auf den interaktionsbezogenen Daten des Nutzers die Interaktion dahingehend führen, dass es den Nutzer mit Blick auf die angenommene Intention unterstützt.If enough data has been determined to be able to determine the user's intention with a sufficient degree of probability, a change is made to a third behavior mode that implements a data-based behavior 230 . In this mode, based on the user's interaction-related data, the system can guide the interaction in such a way that it supports the user with regard to the assumed intention.

Wird festgestellt, dass das Verhalten des Nutzers eher ablehnend ist, so kann immer auf die regelbasierte Verhaltensweise 210 zurückgegangen werden und der Prozess von einem gestartet werden.If it is determined that the behavior of the user is rather negative, then one can always go back to the rule-based behavior 210 and start the process from one.

Bezugszeichenlistereference list

1010: Assistenzsystemassistance system
1111: Aufnahmeeinrichtungrecording facility
1212: Mikrofonmicrophone
1313: Erkennungseinrichtungrecognition device
1414: digitalen Datenspeicherdigital data storage
1515: Interaktionseinrichtunginteraction device
1616: Ausgabeeinheitoutput unit
1717: Lautsprecherspeaker
100100: Nutzeruser
200200: künstliches Interaktionsverhaltenartificial interaction behavior
210210: regelbasierte Verhaltensweiserule-based behavior
220220: explorative Verhaltensweiseexploratory behavior
230230: datenbasierte Verhaltensweisedata-based behavior

Claims

Assistance system (10) for an interaction with at least one user (100), the assistance system comprising: - a recording device (11) for recording interaction-related inputs from the at least one user (100); - a recognition device (13) which is set up to extract interaction-related input information from the interaction-related inputs of the at least one user (100); - an interaction device (15) which is set up to generate interaction-related output information of the system based on the interaction-related input information of the user (100), and - an output device for outputting the generated interaction-related output information; characterized in that - the interaction device (15) implements an artificial interaction behavior (200) by which different behaviors when interacting with the at least one user (100) are simulated, - the different behaviors changing in type and/or content of the to distinguish generating interaction-related output information, - wherein each behavior is associated with a specific behavior mode of the interaction device (15), - wherein the interaction device (15) is set up to change the selected behavior mode during an interaction.

Assistance system (10) after claim 1 , characterized in that - the recording device (11) is set up for recording audible sound signals as interaction-related inputs of the at least one user (100); - The recognition device (13) is set up to extract speech-based information of a speech input from the user (100) as interaction-related input information from the recorded, audibly perceptible sound signals; - the interaction device (15) is set up to generate a voice output as interaction-related output information of the system based on the language-based information of the voice input of the user (100); - the output device is set up to output acoustically perceptible sound signals which contain the generated voice outputs of the system; - where the various behaviors differ in the type and/or content of the voice output to be generated.

Assistance system (10) after claim 1 or 2 , characterized in that an assistance device is provided which is set up to select a support function as a function of the extracted interaction-related input information and to carry it out to support the at least one user (100).

Assistance system (10) according to one of the preceding claims, characterized in that the interaction device (15) is set up based on interaction-related data, interaction-related input information of an input, a reaction of the at least one user (100) and/or technical data from external technical devices during the interaction to change the selected behavior mode.

Assistance system (10) according to any one of the preceding claims, characterized in that a behavior mode is a rule-based behavior (210) for an interaction with the min implements at least one user (100) in which the type and/or content of the interaction-related output information to be generated is determined as a function of a rule-based process flow.

Assistance system (10) after claim 5 , characterized in that the interaction device (15) is set up to be initialized at the beginning of an interaction with the at least one user (100) with the behavior mode of the rule-based behavior (210).

Assistance system (10) according to one of the preceding claims, characterized in that a behavior mode implements an exploratory behavior (220) for an interaction with the at least one user (100), in which the type and/or the content of the interaction-related output information to be generated Purpose of determining further interaction-related data and / or technical data of external technical facilities are determined.

Assistance system (10) after claim 7 , characterized in that the interaction device (15) is set up to determine, depending on the interaction-related input information, whether there is a new situation for the interaction and, if so, to switch to the behavioral mode with the exploratory behavior (220).

Assistance system (10) according to one of the preceding claims, characterized in that a behavior mode implements a data-based behavior (230) for an interaction with the at least one user (100), in which the type and/or the content of the interaction-related output information to be generated in Depending on the interaction with the at least one user (100) determined interaction-related data and / or technical data of external technical devices are determined.

Assistance system (10) after claim 9 , characterized in that the interaction device (15) is set up, depending on interaction-related data and / or technical data from external technical devices relating to the interaction with the at least one user (100) to determine whether there is sufficient data and, if so, in the behavior mode to switch to the data-based behavior (230).

Method for interaction between an assistance system (10) and at least one user (100), the method comprising the following steps: - recording interaction-related inputs from the at least one user (100) by means of a recording device (11) of the assistance system (10); - Extracting interaction-related input information of the at least one user (100) from the interaction-related inputs by means of a recognition device (13) of the assistance system (10); - Generating interaction-related output information of the system based on the interaction-related input information of the user (100) by means of an interaction device (15) of the assistance system (10); - Outputting the generated interaction-related output information by means of an output device of the assistance system (10); characterized in that - the interaction device (15) of the assistance system (10) implements an artificial interaction behavior (200) which simulates different behaviors when interacting with the at least one user (100), - the different behaviors in Differentiate the type and/or content of the interaction-related output information to be generated, - each behavior being assigned to a specific behavior mode of the interaction device (15), - the selected behavior mode of the assistance system (10) being changed during an interaction.

procedure after claim 11 , characterized in that - acoustically perceptible sound signals are recorded as interaction-related inputs by the at least one user (100) by the recording device (11); - From the recorded, auditorily perceptible sound signals, speech-based information of a speech input by the user (100) is extracted by the recognition device as interaction-related input information; - Based on the language-based information of the voice input of the user (100), a voice output is generated as interaction-related output information of the system by the interaction device; - where the various behaviors differ in the type and/or content of the voice output to be generated.

procedure after claim 11 or 12 , characterized in that a support function is selected by means of an assistance device of the assistance system (10) depending on the extracted interaction-related input information and is executed to support the at least one user (100).

Procedure according to one of Claims 11 until 13 , characterized in that the selected behavior mode is changed based on interaction-related data, interaction-related input information, a reaction of the at least one user (100) and/or technical data from external technical devices during the interaction.

Procedure according to one of Claims 11 until 14 , characterized in that a behavior mode implements a rule-based behavior (210) for an interaction with the at least one user (100), in which the type and/or content of the interaction-related output information to be generated is determined as a function of a rule-based process flow.

procedure after claim 15 , characterized in that at the start of an interaction with the at least one user (100), the assistance system (10) is initialized by means of the interaction device (15) with the behavior mode of the rule-based behavior (210).

Procedure according to one of Claims 11 until 16 , characterized in that a behavior mode implements an exploratory behavior (220) for an interaction with the at least one user (100), in which the type and/or the content of the interaction-related output information to be generated for the purpose of determining further interaction-related data and/or technical data of external technical facilities are determined.

procedure after Claim 17 , characterized in that it is determined as a function of the interaction-related input information whether there is a new situation for the interaction and if so, the behavior mode with the explorative behavior (220) is changed.

Procedure according to one of Claims 11 until 18 , characterized in that a behavior mode implements a data-based behavior (230) for an interaction with the at least one user (100), in which the type and/or the content of the interaction-related output information to be generated depends on the interaction with the at least one User (100) determined interaction-related data and / or technical data of external technical facilities are determined.

procedure after claim 19 , characterized in that , depending on interaction-related data and/or technical data from external technical devices relating to the interaction with the at least one user (100), it is determined whether sufficient data are available and, if so, in the behavior mode with the data-based behavior (230) is changed.