DE102015007244A1 - Status indicator for a data processing system - Google Patents

Status indicator for a data processing system Download PDF

Info

Publication number
DE102015007244A1
DE102015007244A1 DE102015007244.7A DE102015007244A DE102015007244A1 DE 102015007244 A1 DE102015007244 A1 DE 102015007244A1 DE 102015007244 A DE102015007244 A DE 102015007244A DE 102015007244 A1 DE102015007244 A1 DE 102015007244A1
Authority
DE
Germany
Prior art keywords
data processing
processing system
user
status indicator
operating state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015007244.7A
Other languages
German (de)
Inventor
Andreas Blattner
Hannes Mögele
Stefan Mayer
Christine Ullmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102015007244.7A priority Critical patent/DE102015007244A1/en
Priority to PCT/EP2016/000554 priority patent/WO2016192825A1/en
Publication of DE102015007244A1 publication Critical patent/DE102015007244A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/14—Transforming into visible information by displaying frequency domain information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Rückmelden eines Betriebszustands eines Datenverarbeitungssystems bei einem Dialog eines Nutzers mit dem Datenverarbeitungssystem, wobei das Datenverarbeitungssystem mit mindestens einem auf einer Anzeigeeinheit darzustellenden Zustandsindikator in Wirkkontakt steht, der sich in Abhängigkeit eines aktuellen Betriebszustands des Datenverarbeitungssystem und/oder einer Eingabe des Nutzers dynamisch ändert und dadurch eine Rückmeldung an den Nutzer bereitstellt. Ferner betrifft die vorliegende Erfindung ein Datenverarbeitungssystem zur Ausführung des vorgestellten Verfahrens.The present invention relates to a method for acknowledging an operating state of a data processing system in a dialogue of a user with the data processing system, wherein the data processing system is in operative contact with at least one to be displayed on a display unit status indicator, which depends on a current operating state of the data processing system and / or an input the user changes dynamically and thereby provides feedback to the user. Furthermore, the present invention relates to a data processing system for carrying out the presented method.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Rückmelden eines Betriebszustands bei einem Dialog eines Nutzers mit einer Benutzerschnittstelle eines Systems. Ferner betrifft die vorliegende Erfindung ein Datenverarbeitungssystem zum Ausführen des vorgestellten Verfahrens.The present invention relates to a method for acknowledging an operating state in a dialog of a user with a user interface of a system. Furthermore, the present invention relates to a data processing system for carrying out the presented method.

Bei einer Interaktion eines Nutzers mit einem System über eine Benutzerschnittstelle, wie bspw. einem Spracherkennungssystem, durchläuft die Benutzerschnittstelle bzw. das mit der Benutzerschnittstelle verbundene System verschiedene Zustände, die sich auf die Interaktion mit dem Nutzer auswirken. Beispielsweise wechselt das System nach einer erkannten und erfassten Spracheingabe in einen Verarbeitungsmodus, in dem von dem System umfasste Rechenkapazität verwendet wird, um die Spracheingabe zu interpretieren. Entsprechend ist das System während der Ausführung des Verarbeitungsmodus nur eingeschränkt verfügbar und kann bspw. keine neuen Sprachbefehle entgegennehmen. Wird der Nutzer auf den inneren Zustand des Systems, nämlich den Verarbeitungsmodus nicht hingewiesen, kann es vorkommen, dass der Nutzer vergeblich neue Sprachbefehle an das System übermittelt und eine Interaktion zwischen dem System und dem Nutzer gestört oder sogar abgebrochen wird.When a user interacts with a system via a user interface, such as a speech recognition system, the user interface or system connected to the user interface passes through various states that affect the interaction with the user. For example, after a recognized and detected voice input, the system switches to a processing mode that uses computational capacity comprised by the system to interpret the voice input. Accordingly, the system is only limitedly available during the execution of the processing mode and, for example, can not accept new voice commands. If the user is not made aware of the internal state of the system, namely the processing mode, the user may in vain transmit new voice commands to the system and interfere with or even abort interaction between the system and the user.

In der europäischen Patentanmeldung EP 1 127 748 A2 wird eine Vorrichtung zur Sprachsteuerung offenbart, die Sprachausgaben mit künstlicher Mimik und/oder Gestik unterstützt.In the European patent application EP 1 127 748 A2 discloses a voice control device that supports voice output with artificial facial expressions and / or gestures.

Die deutsche Offenlegungsschrift DE 10 2011 121 110 A1 betrifft ein Verfahren zum Betreiben eines Sprachdialogsystems für ein Fahrzeug, bei dem Farbcodes aus verschiedenen Farbsätzen verschiedenen Systemzuständen des Sprachdialogsystems zugeordnet werden.The German patent application DE 10 2011 121 110 A1 relates to a method for operating a speech dialogue system for a vehicle, in which color codes from different color sets are assigned to different system states of the speech dialogue system.

Ein System, bei dem sich eine visuelle Rückmeldung in Abhängigkeit eines in Abhängigkeit eines manuell auszuwählenden Betriebszustand eines Systems ändert, ist in der deutschen Offenlegungsschrift DE 2011 015 693 A1 offenbart.A system in which a visual feedback changes as a function of a manually selectable operating state of a system, is in the German Offenlegungsschrift DE 2011 015 693 A1 disclosed.

Vor diesem Hintergrund wird ein Verfahren zum Rückmelden eines Betriebszustands eines Datenverarbeitungssystems bei einem Dialog eines Nutzers mit dem Datenverarbeitungssystem vorgestellt, wobei das Datenverarbeitungssystem mit mindestens einem auf einer Anzeigeeinheit darzustellenden Zustandsindikator in Wirkkontakt steht, der sich in Abhängigkeit eines aktuellen Betriebszustands des Datenverarbeitungssystem und/oder einer Eingabe des Nutzers dynamisch ändert und dadurch eine Rückmeldung an den Nutzer bereitstellt.Against this background, a method for acknowledging an operating state of a data processing system in a dialogue of a user with the data processing system is presented, wherein the data processing system is in operative contact with at least one displayed on a display unit status indicator in dependence on a current operating state of the data processing system and / or a Input of the user changes dynamically and thereby provides feedback to the user.

Ausgestaltungen ergeben sich aus der Beschreibung und den abhängigen Ansprüchen.Embodiments result from the description and the dependent claims.

Das vorgestellte Verfahren dient insbesondere zur Visualisierung von Systemzuständen eines Datenverarbeitungssystems bei einer Interkation mit einem Nutzer über eine Benutzerschnittstelle, wie bspw. einem Spracherkennungssystem. Um den Nutzer bei einer Eingabe von bspw. Sprachbefehlen zu unterstützen, ist vorgesehen, dass dem Nutzer ein aktueller Betriebszustand des Datenverarbeitungssystems dargestellt, d. h. bspw. visualisiert dargestellt wird. Durch eine sich dynamisch ändernde Rückmeldung des Datenverarbeitungssystems an den Nutzer, ist es dem Nutzer möglich, einen inneren Zustand des Datenverarbeitungssystems, d. h. einen Betriebszustand des Datenverarbeitungssystems, zu erkennen und seine Eingaben entsprechend zu koordinieren, d. h. insbesondere zeitlich so zu organisieren, dass die Eingaben effizient von dem Datenverarbeitungssystem erfasst und verarbeitet werden können.The presented method is used in particular for the visualization of system states of a data processing system when interacting with a user via a user interface, such as, for example, a speech recognition system. In order to assist the user in the input of, for example, voice commands, it is provided that the user presents a current operating state of the data processing system, ie. H. For example, visualized is displayed. By a dynamically changing feedback of the data processing system to the user, it is possible for the user, an internal state of the data processing system, d. H. an operating state of the data processing system to recognize and coordinate its inputs accordingly, d. H. especially in time to organize so that the inputs can be efficiently captured and processed by the data processing system.

Um dem Nutzer eine effiziente und für den Nutzer angenehme Rückmeldung über einen aktuellen Betriebszustand eines jeweiligen Datenverarbeitungssystems bereitzustellen, kann bspw. ein virtueller Agent verwendet werden, der als virtuelle Benutzerschnittstelle dient und über eine Ausgestaltung des erfindungsgemäß vorgesehenen Zustandsindikators, bspw. durch einen beweglichen Kubus oder eine Punktwolke visualisiert wird und dem Nutzer verschiedene Interaktionsmöglichkeiten bereitstellt. Es ist erfindungsgemäß vorgesehen, dass sich der Zustandsindikator dynamisch in Abhängigkeit des aktuellen Betriebszustands des Datenverarbeitungssystems bzw. des virtuellen Agenten ändert und/oder zu dem aktuellen Betriebszustand passende Handlungsoptionen bereitstellt bzw. anzeigt. Durch eine dynamische Darstellung von Betriebszuständen des Datenverarbeitungssystems kann eine Interaktion zwischen Nutzer und Datenverarbeitungssystem koordiniert werden, wodurch sowohl auf Nutzerseite als auch auf Seiten des Datenverarbeitungssystems Ressourcen gespart und mehrfache Ausführungen bzw. Nennungen von Befehlen vermieden werden.In order to provide the user with an efficient and user-friendly feedback about a current operating state of a respective data processing system, a virtual agent can be used, for example, which serves as a virtual user interface and via a configuration of the inventively provided state indicator, for example by a movable cube or a point cloud is visualized and provides the user with various interaction options. It is provided according to the invention that the status indicator changes dynamically as a function of the current operating state of the data processing system or of the virtual agent and / or provides or displays suitable action options for the current operating state. Through a dynamic representation of operating states of the data processing system, an interaction between the user and the data processing system can be coordinated, whereby resources are saved on both the user side and on the side of the data processing system and multiple executions or mentions are avoided.

Es ist insbesondere vorgesehen, dass einem jeweiligen Nutzer eines Systems, wie bspw. einem Datenverarbeitungssystem in einem Fahrzeug, verschiedene Betriebszustände des Datenverarbeitungssystems durch einen Zustandsindikator, d. h. bspw. ein das Datenverarbeitungssystem repräsentierendes Symbol, das sich in Abhängigkeit eines jeweilig aktuellen Betriebszustands ändert, eindeutig rückgemeldet werden.It is provided, in particular, for a respective user of a system, such as, for example, a data processing system in a vehicle, to be informed of various operating states of the data processing system by means of a status indicator, i. H. For example, a symbol representing the data processing system, which changes depending on a respective current operating state, are uniquely acknowledged.

Unter einem Zustandsindikator ist im Kontext der vorgestellten Erfindung jede Ansammlung an grafischen und/oder akustischen Mustern zu verstehen, die dazu geeignet ist, verschiedene Betriebszustände eines Datenverarbeitungssystems derart anzuzeigen, dass ein jeweiliger Nutzer die verschiedenen Betriebszustände schnell und intuitiv erkennen und unterscheiden kann. Insbesondere kann ein Zustandsindikator als beweglicher Kubus oder als Punktwolke, der bzw. die auf einer Anzeigeeinheit, wie bspw. einem Bildschirm dargestellt wird, ausgestaltet sein.Under a status indicator, in the context of the present invention, any accumulation is indicated graphic and / or acoustic patterns, which is adapted to indicate different operating states of a data processing system such that a respective user can quickly and intuitively recognize and distinguish the various operating states. In particular, a status indicator may be designed as a movable cube or as a point cloud, which is displayed on a display unit, such as a screen.

Unter einem Betriebszustand ist im Kontext der vorgestellten Erfindung jeder Zustand eines Datenverarbeitungssystems zu verstehen, in dem das Datenverarbeitungssystem einer bestimmten Aufgabe nachgeht bzw. einen bestimmten Zustand, wie bspw. einen Zustand ”Aktiv/Verfügbar” oder ”Aufnahmebereit” annimmt.In the context of the present invention, an operating state means any state of a data processing system in which the data processing system assumes a specific task or assumes a specific state, such as an "active / available" or "ready to receive" state.

Ferner ist denkbar, dass der Zustandsindikator zusätzlich zur Änderung seiner grafischen bzw. geometrischen und/oder akustischen Muster in seiner Bewegung in Abhängigkeit des aktuellen Betriebszustands eines jeweiligen Datenverarbeitungssystems zu ändern ist. Dies bedeutet, dass bspw. ein Zustandsindikator in Form eines Kubus bei einem ersten Betriebszustand starr und bei einem zweiten Betriebszustand rotierend dargestellt wird, um bspw. einen Standby-Modus von einem Aktiv-Modus zu unterscheiden.It is also conceivable that, in addition to changing its graphical or geometric and / or acoustic patterns, the state indicator is to be changed in its movement as a function of the current operating state of a particular data processing system. This means that, for example, a state indicator in the form of a cube is shown as being rigid in a first operating state and rotating in a second operating state in order, for example, to distinguish a standby mode from an active mode.

In einer möglichen Ausgestaltung des vorgestellten Verfahrens ist vorgesehen, dass als Zustandsindikator ein sich dynamisch änderndes visuelles 3D-Objekt gewählt wird.In one possible embodiment of the presented method, it is provided that a dynamically changing 3D visual object is selected as the status indicator.

Durch einen Zustandsindikator in dreidimensionaler Ausgestaltung ist es einem Nutzer besonders schnell möglich, Bewegungen bzw. Änderungen des Zustandsindikators zu erkennen und entsprechend zugewiesene Betriebszustände zu unterscheiden. Es ist denkbar, dass jeweilige Betriebszustände einem jeweiligen Bewegungsmuster eines jeweiligen Zustandsindikators fest zugewiesen sind oder von einem jeweiligen Nutzer zu einem bestimmten Betriebszustand eines jeweiligen Datenverarbeitungssystems zugewiesen werden. Die Verwendung von abstrakten Formen, wie bspw. dreidimensionalen Punktwolken, zum Anzeigen von Betriebszuständen, bzw. als Visualisierung eines Kommunikationsverlaufs zwischen Datenverarbeitungssystem und Nutzer, ist für einen menschlichen Nutzer deutlich besser zu abstrahieren als bspw. künstliche Gesichter mit entsprechender künstlicher Mimik. Durch einen abstrakten, d. h. nicht menschlichen, Zustandsindikator können bei einer Interaktion eines Datenverarbeitungssystems mit einem jeweiligen Nutzer emotionale Kommunikationsmuster, wie bspw. Unbehagen oder Wut, wie sie aus der menschlichen Kommunikation bekannt sind, vermieden bzw. zumindest reduziert werden.A status indicator in a three-dimensional configuration makes it possible for a user to recognize movements or changes of the status indicator very quickly and to differentiate correspondingly assigned operating states. It is conceivable that respective operating states are permanently assigned to a respective movement pattern of a respective state indicator or are assigned by a respective user to a specific operating state of a respective data processing system. The use of abstract shapes, such as, for example, three-dimensional point clouds for displaying operating states, or as visualization of a communication path between the data processing system and the user, is much easier for a human user to abstract than, for example, artificial faces with corresponding artificial facial expressions. By an abstract, d. H. Non-human, state indicator can be avoided or at least reduced in an interaction of a data processing system with a respective user emotional communication patterns, such as discomfort or anger, as they are known from human communication.

In einer weiteren möglichen Ausgestaltung des vorgestellten Verfahrens ist vorgesehen, dass als Datenverarbeitungssystem ein Sprachdialogsystem gewählt wird.In a further possible embodiment of the presented method, it is provided that a voice dialogue system is selected as the data processing system.

Der erfindungsgemäß vorgesehene Zustandsanzeiger kann bspw. dazu verwendet werden, Phasen des ”Hörens” und ”Sprechens” für einen jeweiligen Nutzer während einer Interaktion mit einem Datenverarbeitungssystem anzuzeigen. Dies bedeutet, dass dem Nutzer jederzeit klar ist, ob das Datenverarbeitungssystem aufnahmebereit ist und, ob eine Spracheingabe aktuell Sinn macht. Entsprechend werden sinnfreie Spracheingaben, die das Datenverarbeitungssystem aufgrund von bspw. anderen Aufgaben nicht aufnehmen bzw. verarbeiten kann, vermieden. Weiterhin kann dem Nutzer eine andauernde Verarbeitung eines durch den Nutzer eingegebenen Befehls angezeigt werden, so dass der Nutzer auf wiederholte Eingaben des Befehls aufgrund von Unkenntnis über ein vermutetes Nichterkennen des Befehls durch das Datenverarbeitungssystem verzichten kann und auch längere Verarbeitungsschritte keine Störung der Interaktion zwischen Mensch und Datenverarbeitungssystem verursachen.The state indicator provided according to the invention can be used, for example, to display phases of "listening" and "speaking" for a respective user during an interaction with a data processing system. This means that the user is always aware of whether the data processing system is receptive and whether a voice input currently makes sense. Accordingly, meaningless speech inputs, which the data processing system can not record or process due to, for example, other tasks, are avoided. Furthermore, the user may be presented with a continuous processing of a command entered by the user, so that the user can dispense with repetitive input of the command due to ignorance of a suspected failure to recognize the command by the data processing system and even longer processing steps will not interfere with the interaction between human and Cause data processing system.

In einer weiteren möglichen Ausgestaltung des vorgestellten Verfahrens ist vorgesehen, dass der Zustandsindikator für mindestens einen Betriebszustand des Datenverarbeitungssystems mindestens eine Interaktionsmöglichkeit mit dem Datenverarbeitungssystem durch den Nutzer bereitstellt.In a further possible embodiment of the presented method, it is provided that the status indicator provides at least one possibility of interaction with the data processing system by the user for at least one operating state of the data processing system.

Es ist denkbar, dass der erfindungsgemäße Zustandsindikator sowohl zum Anzeigen von Betriebszuständen eines jeweiligen Datenverarbeitungssystems als auch zum Bereitstellen bzw. Anzeigen von Handlungsoptionen für einen jeweiligen Nutzer verwendet wird. Dies bedeutet, dass der erfindungsgemäß vorgesehene Zustandsanzeiger bspw. einen Standby-Modus durch langsames Drehen eines Kubus nach links anzeigt, wobei innerhalb des Kubus ein Nachrichtensymbol aufleuchtet, das dem Nutzer neue Benachrichtigungen anzeigt, die der Nutzer durch Interaktion mit dem Datenverarbeitungssystem abrufen kann. Selbstverständlich kann jede beliebige Art von Handlungs- bzw. Interaktionsoption mit dem jeweiligen Datenverarbeitungssystem vorgesehen sein, die durch zusätzliche grafische Symbole und/oder Bewegungen und/oder akustische Hinweise angezeigt werden kann.It is conceivable that the state indicator according to the invention is used both for displaying operating states of a respective data processing system and for providing or displaying options for action for a respective user. This means that the state indicator provided according to the invention, for example, indicates a standby mode by slowly turning a cube to the left, wherein within the cube a message symbol lights up, which indicates to the user new notifications that the user can retrieve by interacting with the data processing system. Of course, any type of action or interaction option can be provided with the respective data processing system, which can be displayed by additional graphical symbols and / or movements and / or audible cues.

In einer weiteren möglichen Ausgestaltung des vorgestellten Verfahrens ist vorgesehen, dass der Zustandsindikator jedem Betriebszustand der folgenden Liste an Betriebszuständen des Datenverarbeitungssystems ein spezifisches akustisches und/oder visuelles Muster zuordnet: ”Aktiv/Verfügbar”, ”Aufnahmebereit”, ”Zuhören”, ”Verarbeiten/Informationen Beschaffen” und ”Antworten”.In a further possible embodiment of the presented method it is provided that the status indicator assigns a specific acoustic and / or visual pattern to each operating state of the following list of operating states of the data processing system: "Active / Available", "Ready to receive", "Listening", "Processing / Information Acquire and Responses.

Durch eine Zuordnung jeweiliger visueller und/oder akustischer Muster bzw. Bewegungen zu jeweiligen Betriebszuständen kann ein jeweiliges Datenverarbeitungssystem mittels des erfindungsgemäß vorgesehenen Zustandsindikators eine Interaktion mit einem Nutzer führen und bspw. ein Sprachdialogsystem derart ergänzen, dass eine effiziente und für den Nutzer natürliche Interaktion stattfindet, in der der Nutzer dem Datenverarbeitungssystem genau dann Zeit zur Verarbeitung einräumt, wenn diese von dem Datenverarbeitungssystem benötigt wird und genau dann Befehle eingibt, wenn diese von dem Datenverarbeitungssystem empfangen werden können. Zusätzliches Aktivieren des Datenverarbeitungssystems, durch bspw. eine push-to-talk Taste, kann durch Verwendung eines ständig angezeigten und dynamisch an einen aktuellen Betriebszustand angepassten Zustandsindikator vermieden werden. By associating respective visual and / or acoustic patterns or movements with respective operating states, a respective data processing system can interact with a user by means of the state indicator provided according to the invention and, for example, supplement a speech dialogue system such that an efficient and natural interaction occurs for the user. where the user gives the data processing system time to process, if needed by the data processing system, and then enters commands when they can be received by the data processing system. Additional activation of the data processing system, for example by means of a push-to-talk key, can be avoided by using a status indicator that is constantly displayed and dynamically adapted to a current operating state.

In einer weiteren möglichen Ausgestaltung des vorgestellten Verfahrens ist vorgesehen, dass eine Spracheingabe des Nutzers mittels einer Visualisierung einer Frequenz der Spracheingabe durch den Zustandsindikator an den Nutzer rückgemeldet wird.In a further possible embodiment of the presented method, it is provided that a voice input of the user is returned to the user by means of a visualization of a frequency of the speech input by the status indicator.

Um einen Betriebszustand ”Aufnahme von Spracheingabe” darzustellen, kann bspw. vorgesehen sein, dass sich der erfindungsgemäß vorgesehene Zustandsanzeiger zumindest teilweise in Abhängigkeit einer Frequenz einer durch einen jeweiligen Nutzer aktuell vorgenommenen Spracheingabe verändert. Dies bedeutet, dass der Zustandsanzeiger bspw. ein Frequenzspektrum oder eine Transformation des Frequenzspektrums der Spracheingabe wiedergibt, so dass dem Nutzer ein direktes Feedback über eine Erkennungsleistung des Datenverarbeitungssystems gegeben wird und der Nutzer ggf. seine Sprache ändert und bspw. lauter oder deutlicher spricht. Dazu kann bspw. durch den Zustandsindikator ein kritischer Schwellenwert zu bspw. einer Lautstärke eingeblendet werden, der für eine korrekte Erkennungsleistung erforderlich ist.In order to represent an operating state "recording of voice input", it can be provided, for example, that the state indicator provided according to the invention changes at least partially as a function of a frequency of a voice input currently being made by a respective user. This means that the status indicator, for example, reproduces a frequency spectrum or a transformation of the frequency spectrum of the speech input so that the user is given direct feedback about a recognition performance of the data processing system and the user possibly changes his speech and, for example, speaks louder or more clearly. For this purpose, for example, by the status indicator, a critical threshold to eg a volume can be displayed, which is required for a correct recognition performance.

Ferner betrifft die vorliegende Erfindung ein Datenverarbeitungssystem mit einer Benutzerschnittstelle und einer Anzeigeeinheit, wobei die Benutzerschnittstelle mit mindestens einem auf der Anzeigeeinheit darzustellenden Zustandsindikator in Wirkkontakt steht, der dazu konfiguriert ist, sich in Abhängigkeit eines aktuellen Betriebszustands des Datenverarbeitungssystems und/oder einer Eingabe des Nutzers dynamisch zu ändern und eine Rückmeldung an den Nutzer bereitzustellen.Furthermore, the present invention relates to a data processing system having a user interface and a display unit, wherein the user interface is in operative contact with at least one state indicator to be displayed on the display unit, which is configured to be dynamic depending on a current operating state of the data processing system and / or an input of the user to change and provide feedback to the user.

Das vorgestellte Datenverarbeitungssystem dient insbesondere zur Ausführung des vorgestellten Verfahrens.The presented data processing system is used in particular for the execution of the presented method.

In einer möglichen Ausgestaltung des vorgestellten Datenverarbeitungssystems ist vorgesehen, dass das Datenverarbeitungssystem dazu konfiguriert ist, einen virtuellen Agenten zum Steuern von Funktionen eines Fahrzeugs auszuführen.In one possible embodiment of the presented data processing system, it is provided that the data processing system is configured to execute a virtual agent for controlling functions of a vehicle.

Das vorgestellte Datenverarbeitungssystem eignet sich insbesondere zum Bereitstellen einer Visualisierung eines virtuellen Agenten zum Anleiten einer Interaktion des Datenverarbeitungssystems mit einem Nutzer. Dies bedeutet, dass der erfindungsgemäß vorgesehene Zustandsindikator bspw. als beweglicher Kubus ausgestaltet ist und als virtueller Agent bzw. Repräsentant des Datenverarbeitungssystems gegenüber dem Nutzer ausgestaltet ist. Entsprechend visualisiert der Zustandsindikator dynamisch verschiedene Betriebszustände des Datenverarbeitungssystems bzw. Übergänge zwischen verschiedenen Betriebszuständen und stellt dem Nutzer entsprechend eine andauernde Rückmeldung bezüglich des Datenverarbeitungssystems bereit. Ferner kann der virtuelle Agent mittels des Zustandsindikators verschiedene Handlungsoptionen anzeigen, aus denen der Nutzer bei einem jeweiligen Betriebszustand wählen kann.The presented data processing system is particularly suitable for providing a visualization of a virtual agent for guiding an interaction of the data processing system with a user. This means that the state indicator provided according to the invention is configured, for example, as a movable cube and configured as a virtual agent or representative of the data processing system with respect to the user. Accordingly, the status indicator dynamically visualizes various operating states of the data processing system or transitions between different operating states and accordingly provides the user with a continuous feedback regarding the data processing system. Furthermore, the virtual agent can display various options for action by means of the status indicator, from which the user can select in a respective operating state.

Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those yet to be explained below can be used not only in the particular combination indicated, but also in other combinations or in isolation, without departing from the scope of the present invention.

Die Erfindung ist anhand einer Ausführungsform in dem Ausführungsbeispiel und der Zeichnung schematisch dargestellt und wird im Folgenden schematisch und ausführlich beschrieben.The invention is illustrated schematically with reference to an embodiment in the embodiment and the drawing and will be described schematically and in detail.

1 zeigt eine Zuordnung visueller Muster zu Betriebszuständen eines Datenverarbeitungssystems gemäß einer möglichen Ausgestaltung des vorgestellten Verfahrens. 1 shows a mapping of visual patterns to operating states of a data processing system according to a possible embodiment of the presented method.

2 zeigt eine weitere Zuordnung visueller Muster zu Betriebszuständen eines Datenverarbeitungssystems gemäß einer weiteren möglichen Ausgestaltung des vorgestellten Verfahrens. 2 shows a further assignment of visual patterns to operating states of a data processing system according to another possible embodiment of the presented method.

In 1 ist eine Tabelle 1 dargestellt, die in Spalte 3 verschiedene Betriebszustände eines Sprachdialogsystems und in Spalte 5 entsprechend zugewiesene visuelle Muster enthält.In 1 is a table 1 shown in column 3 various operating states of a speech dialogue system and in column 5 contains correspondingly assigned visual patterns.

In der in 1 dargestellten Ausführungsform basieren die visuellen Muster auf einem Kubus, der je nach Betriebszustand des Sprachdialogsystems modifiziert wird.In the in 1 In the illustrated embodiment, the visual patterns are based on a cube, which is modified depending on the operating state of the speech dialogue system.

Entsprechend wird ein Betriebszustand 10 ”Aktiv/Verfügbar” des Sprachdialogsystems durch eine langsame Drehung des Kubus nach links anzeigt, wie in Feld 7 angedeutet.Accordingly, an operating state 10 "Active / Available" of the speech dialogue system is indicated by a slow rotation of the cube to the left, as in box 7 indicated.

Weiterhin wird ein Betriebszustand 12 ”Aufnahmebereit” durch ein Ausrichten des Kubus zum Nutzer hin dargestellt, wie in Feld 9 dargestellt. Die Ausrichtung wird dabei durch eine farbliche Markierung 11 verdeutlicht und kann bspw. in Reaktion auf eine Aktivierung einer push-to-talk Taste oder durch eine Ansprache des Sprachdialogsystems durch den Nutzer aktiviert werden. Furthermore, an operating state 12 "Ready to shoot" by pointing the cube towards the user, as in box 9 shown. The orientation will be indicated by a colored mark 11 clarified and can be activated, for example, in response to activation of a push-to-talk button or by addressing the voice dialogue system by the user.

Ein Betriebszustand 14 ”Zuhören” kann durch farbliches Aufflackern des zum Nutzer hin ausgerichteten Kubus in einer Sprachfrequenz des Nutzers erfolgen, wie in Feld 13 dargestellt.An operating condition fourteen "Listening" can be done by color flickering the user-facing cube in a user's voice frequency, as in box 13 shown.

In Feld 15 ist ein Kubus dargestellt, der sich in bei Aktivierung eines Betriebszustands 16 ”Verarbeiten/Informationen Beschaffen” dreht bzw. kippt.In box 15 a cube is shown that turns on when an operating state is activated 16 "Processing / obtaining information" turns or tilts.

Ein Betriebszustand 18 ”Antworten” kann bspw. durch einen Übergang des Kubus in eine langsame bzw. normale Drehung nach links erfolgen, wobei farbliches Licht in Richtung des Nutzers ausgestrahlt wird, wie in Feld 17 angedeutet.An operating condition 18 For example, "responses" can be made by transitioning the cube to a slow or normal left turn, emitting colored light toward the user, as in the field 17 indicated.

In 2 wird eine Rückmeldung eines Sprachdialogsystems an einen Nutzer mittels einer räumlichen bzw. dreidimensionalen Punktwolke gemäß Tabelle 2 erzeugt. Verschiedene Ausprägungen der Punktwolke in Abhängigkeit von den bereits in 1 erläuterten Betriebszuständen in Spalte 3 sind in Spalte 20 dargestellt.In 2 is a feedback of a speech dialogue system to a user by means of a spatial or three-dimensional point cloud according to the table 2 generated. Different occurrences of the point cloud depending on the already in 1 explained operating states in column 3 are in column 20 shown.

Entsprechend ist dem Betriebszustand 10 ”Aktiv/Verfügbar” eine langsame Drehung der Punktwolke nach links zugeordnet, wie in Feld 21 angedeutet.Accordingly, the operating state 10 "Active / Available" assigns a slow rotation of the point cloud to the left, as in field 21 indicated.

Weiterhin ist dem Betriebszustand 12 ”Aufnahmebereit” eine Verformung der Punktwolke zu einer Punktelinie zugeordnet, die bspw. in Abhängigkeit einer Aktivierung einer push-to-talk Taste oder einer Ansprache des Sprachdialogsystems durch den Nutzer erfolgt, wie in Feld 23 angedeutet.Furthermore, the operating state 12 "Recording ready" assigned a deformation of the point cloud to a point line, which takes place, for example, in response to activation of a push-to-talk button or a speech of the speech dialogue system by the user, as in box 23 indicated.

Der Betriebszustand 14 ”Zuhören” wird durch ein Mitschwingen der Punktelinie in einer Sprachfrequenz des Nutzers rückgemeldet, wie in Feld 25 angedeutet.The operating condition fourteen "Listening" is confirmed by resonating the score line in a user's speech frequency, as in box 25 indicated.

Ferner ist dem Betriebszustand 16 ”Verarbeiten/Informationen Beschaffen” eine Verformung der Punktelinie bzw. der Punktwolke zu einem sich im Uhrzeigersinn drehenden Punktekreis zugeordnet, wie in Feld 27 angedeutet.Furthermore, the operating state 16 "Process / Obtain Information" assigns a deformation of the point line or point cloud to a clockwise rotating point circle, as in field 27 indicated.

Eine sich in Abhängigkeit von Sprachsignalen einer Antwort verformende Punktwolke ist dem Betriebszustand 18 ”Antworten” zugeordnet, wie in Feld 29 angedeutet.A point cloud deforming in response to speech signals of a response is the operating state 18 Assigned "answers" as in box 29 indicated.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 1127748 A2 [0003] EP 1127748 A2 [0003]
  • DE 102011121110 A1 [0004] DE 102011121110 A1 [0004]
  • DE 2011015693 A1 [0005] DE 2011015693 A1 [0005]

Claims (13)

Verfahren zum Rückmelden eines Betriebszustands eines Datenverarbeitungssystems bei einem Dialog eines Nutzers mit dem Datenverarbeitungssystem, wobei das Datenverarbeitungssystem mit mindestens einem auf einer Anzeigeeinheit darzustellenden Zustandsindikator in Wirkkontakt steht, der sich in Abhängigkeit eines aktuellen Betriebszustands des Datenverarbeitungssystem und/oder einer Eingabe des Nutzers dynamisch ändert und dadurch eine Rückmeldung an den Nutzer bereitstellt.A method for returning an operating state of a data processing system in a dialogue of a user with the data processing system, wherein the data processing system is in operative contact with at least one to be displayed on a display unit status indicator that changes dynamically depending on a current operating state of the data processing system and / or an input of the user thereby providing feedback to the user. Verfahren nach Anspruch 1, wobei als Zustandsindikator ein akustisches und/oder visuelles Muster gewählt wird.A method according to claim 1, wherein an acoustic and / or visual pattern is selected as the status indicator. Verfahren nach einem der voranstehenden Ansprüche, wobei als Zustandsindikator ein sich dynamisch änderndes visuelles 3D-Objekt gewählt wird.Method according to one of the preceding claims, wherein a dynamically changing 3D visual object is selected as the status indicator. Verfahren nach einem der voranstehenden Ansprüche, wobei der Zustandsindikator für mindestens einen Betriebszustand des Datenverarbeitungssystems mindestens eine Interaktionsmöglichkeit mit dem Datenverarbeitungssystem durch den Nutzer bereitstellt.Method according to one of the preceding claims, wherein the status indicator for at least one operating state of the data processing system provides at least one possibility of interaction with the data processing system by the user. Verfahren nach einem der voranstehenden Ansprüche, wobei der Zustandsindikator jedem Betriebszustand der folgenden Liste an Betriebszuständen des Datenverarbeitungssystems ein spezifisches akustisches und/oder visuelles Muster zuordnet: ”Aktiv/Verfügbar”, ”Aufnahmebereit”, ”Zuhören”, ”Verarbeiten/Informationen Beschaffen” und ”Antworten”.The method of any one of the preceding claims, wherein the state indicator associates a specific acoustic and / or visual pattern with each operating state of the following list of operating states of the data processing system: active / available, ready to receive, listening, processing / obtaining information, and "Reply". Verfahren nach einem der voranstehenden Ansprüche, wobei der Zustandsindikator dem Nutzer für einen jeweiligen Betriebszustand des Datenverarbeitungssystems spezifische Zusatzinformationen bereitstellt.Method according to one of the preceding claims, wherein the status indicator provides the user with specific additional information for a respective operating state of the data processing system. Verfahren nach einem der voranstehenden Ansprüche, wobei als Datenverarbeitungssystem ein Sprachdialogsystem gewählt wird.Method according to one of the preceding claims, wherein a voice dialogue system is selected as the data processing system. Verfahren nach einem der voranstehenden Ansprüche, wobei eine Spracheingabe des Nutzers mittels einer Visualisierung einer Frequenz der Spracheingabe durch den Zustandsindikator an den Nutzer rückgemeldet wird.Method according to one of the preceding claims, wherein a voice input of the user is confirmed by means of a visualization of a frequency of the voice input by the status indicator to the user. Verfahren nach einem der voranstehenden Ansprüche, wobei der Zustandsindikator dem Nutzer eine Anzahl an zur Verfügung stehenden Meldungen des Datenverarbeitungssystems für einen jeweiligen Betriebszustand anzeigt.Method according to one of the preceding claims, wherein the status indicator displays to the user a number of available messages of the data processing system for a respective operating state. Verfahren nach einem der voranstehenden Ansprüche, wobei als Zustandsindikator ein beweglicher Kubus und/oder eine bewegliche Punktwolke gewählt wird.Method according to one of the preceding claims, wherein a movable cube and / or a movable point cloud is selected as the status indicator. Datenverarbeitungssystem mit einer Benutzerschnittstelle und einer Anzeigeeinheit, wobei die Benutzerschnittstelle mit mindestens einem auf der Anzeigeeinheit darzustellenden Zustandsindikator in Wirkkontakt steht, der dazu konfiguriert ist, sich in Abhängigkeit eines aktuellen Betriebszustands des Datenverarbeitungssystems und/oder einer Eingabe des Nutzers dynamisch zu ändern und eine Rückmeldung an den Nutzer bereitzustellen.A data processing system having a user interface and a display unit, wherein the user interface is in operative contact with at least one state indicator to be displayed on the display unit configured to dynamically change in response to a current operating state of the data processing system and / or an input of the user and to provide feedback to provide the user. Datenverarbeitungssystem nach Anspruch 11, wobei die Anzeigeeinheit eine bildgebende und/oder tongebende Einheit ist.A data processing system according to claim 11, wherein the display unit is an imaging and / or sounding unit. Datenverarbeitungssystem nach Anspruch 11 oder 12, wobei das Datenverarbeitungssystem dazu konfiguriert ist, einen virtuellen Agenten zum Steuern von Funktionen eines Fahrzeugs auszuführen.The data processing system of claim 11 or 12, wherein the data processing system is configured to execute a virtual agent to control functions of a vehicle.
DE102015007244.7A 2015-06-05 2015-06-05 Status indicator for a data processing system Withdrawn DE102015007244A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102015007244.7A DE102015007244A1 (en) 2015-06-05 2015-06-05 Status indicator for a data processing system
PCT/EP2016/000554 WO2016192825A1 (en) 2015-06-05 2016-04-06 State indicator for a data processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015007244.7A DE102015007244A1 (en) 2015-06-05 2015-06-05 Status indicator for a data processing system

Publications (1)

Publication Number Publication Date
DE102015007244A1 true DE102015007244A1 (en) 2016-12-08

Family

ID=55752244

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015007244.7A Withdrawn DE102015007244A1 (en) 2015-06-05 2015-06-05 Status indicator for a data processing system

Country Status (2)

Country Link
DE (1) DE102015007244A1 (en)
WO (1) WO2016192825A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1127748A2 (en) 2000-02-22 2001-08-29 Robert Bosch Gmbh Device and method for voice control
US20100268538A1 (en) * 2009-04-20 2010-10-21 Samsung Electronics Co., Ltd. Electronic apparatus and voice recognition method for the same
DE102011015693A1 (en) 2011-03-31 2012-10-04 Volkswagen Aktiengesellschaft Method for providing graphical user interface (GUI) for operating navigation system in vehicle, involves selecting voice modes of GUI by control keys whose positions are independent or dependent on graphical objects of GUI
DE102011121110A1 (en) 2011-12-14 2013-06-20 Volkswagen Aktiengesellschaft Method for operating voice dialog system in vehicle, involves determining system status of voice dialog system, assigning color code to determined system status, and visualizing system status visualized in color according to color code
US20140331166A1 (en) * 2013-05-06 2014-11-06 Samsung Electronics Co., Ltd. Customize smartphone's system-wide progress bar with user-specified content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59107272A (en) * 1982-12-10 1984-06-21 Victor Co Of Japan Ltd Display device
DE10338512A1 (en) * 2003-08-22 2005-03-17 Daimlerchrysler Ag Support procedure for speech dialogues for the operation of motor vehicle functions
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
DE102013013695B4 (en) * 2013-08-16 2019-05-23 Audi Ag Motor vehicle with voice recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1127748A2 (en) 2000-02-22 2001-08-29 Robert Bosch Gmbh Device and method for voice control
US20100268538A1 (en) * 2009-04-20 2010-10-21 Samsung Electronics Co., Ltd. Electronic apparatus and voice recognition method for the same
DE102011015693A1 (en) 2011-03-31 2012-10-04 Volkswagen Aktiengesellschaft Method for providing graphical user interface (GUI) for operating navigation system in vehicle, involves selecting voice modes of GUI by control keys whose positions are independent or dependent on graphical objects of GUI
DE102011121110A1 (en) 2011-12-14 2013-06-20 Volkswagen Aktiengesellschaft Method for operating voice dialog system in vehicle, involves determining system status of voice dialog system, assigning color code to determined system status, and visualizing system status visualized in color according to color code
US20140331166A1 (en) * 2013-05-06 2014-11-06 Samsung Electronics Co., Ltd. Customize smartphone's system-wide progress bar with user-specified content

Also Published As

Publication number Publication date
WO2016192825A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
DE102012219119B4 (en) Intelligent windowing in a graphical user interface
EP1986889B1 (en) Device and method for interactive information dispensing and/or assistance for the user of a motor vehicle
EP3269580B1 (en) Method for operating a vehicle information system and vehicle information system of a vehicle
DE102008056343A1 (en) Warning system for a motor vehicle
DE102015224555A1 (en) Method for operating a vehicle
DE112014006409T5 (en) Vehicle control device and vehicle control method
EP3040817A1 (en) Device and method for inputting a text using virtual control elements with haptic feedback for simulating key haptics, especially in a motor vehicle
DE112015006983T5 (en) Improved vehicle system notification
DE102013011311A1 (en) Method for operating an information system of a motor vehicle and information system for a motor vehicle
DE102013003059A1 (en) Method for controlling functional unit of motor vehicle, involves automatically detecting whether view of vehicle occupant to given area is directed by view detection unit
DE102018005476A1 (en) Color selection for ambient lighting of a vehicle
DE102013000744A1 (en) Method and system for controlling at least one functional unit and motor vehicle and mobile terminal with such a system
DE102015007244A1 (en) Status indicator for a data processing system
WO2017140569A1 (en) Motor vehicle operator control apparatus and method for operating an operator control apparatus in order to cause an interaction between a virtual presentation plane and a hand
McWilliams et al. A secondary assessment of the impact of voice interface turn delays on driver attention and arousal in field conditions
DE102014018423B4 (en) Motor vehicle with a status display that can be interpreted by peripheral vision and a corresponding method
DE102013019570A1 (en) Operating device with non-contact font input function for a motor vehicle, motor vehicle and method for operating an operating device
DE102015222682A1 (en) Method for activating a control element of a motor vehicle and operating system for a motor vehicle
DE102021101660A1 (en) Method and device for providing user guidance for a vehicle user
DE102019127183A1 (en) Display system for displaying an operating instruction for an operating element in a motor vehicle
DE102017211518A1 (en) Method for creating a virtual environment for a user in a vehicle, corresponding virtual reality system and vehicle
DE102015119730A1 (en) Method and device for assisting a vehicle driver
DE102013003047A1 (en) Method for controlling functional unit of motor vehicle, involves activating control function for controlling functional unit, when user has performed given blink pattern that is specified as double blink of the user
DE102013013168A1 (en) Method for operating an infotainment system of a motor vehicle and infotainment system for a motor vehicle
EP3976411B1 (en) Method for graphically configuring a display instrument in a motor vehicle and motor vehicle for carrying out said method

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee