DE10249060A1

DE10249060A1 - Dialog control for electrical device

Info

Publication number: DE10249060A1
Application number: DE10249060A
Authority: DE
Inventors: Martin Oerder
Original assignee: Philips Intellectual Property and Standards GmbH
Current assignee: Philips Intellectual Property and Standards GmbH
Priority date: 2002-05-14
Filing date: 2002-10-22
Publication date: 2003-11-27
Also published as: KR20040107523A

Abstract

Eine Vorrichtung mit Mitteln zur Aufnahme und Erkennung von Sprachsignalen und ein Verfahren zur Steuerung eines elektrischen Geräts werden vorgestellt. Die Vorrichtung weist ein Verkörperungselement 14 auf, das mechanisch bewegt werden kann. Die Position eines Benutzers wird ermittelt und das Verkörperungselement 14, das bspw. die Darstellung eines menschlichen Gesichts umfassen kann, wird so bewegt, dass seine Vorderseite 44 in Richtung der Position des Benutzers weist. Am Verkörperungselement 14 können Mikrofone 16, Lautsprecher 18 und/oder eine Kamera 20 vorgesehen sein. Der Benutzer kann einen Sprach-Dialog mit der Vorrichtung führen, wobei sich ihm das Gerät in Form des Verkörperungselements 14 darstellt. Entsprechend der Spracheingaben des Benutzers kann ein elektrisches Gerät angesteuert werden. Ebenso ist ein Dialog des Benutzers mit dem Verkörperungselement möglich, mit dem Ziel, den Benutzer zu unterrichten.A device with means for recording and recognizing voice signals and a method for controlling an electrical device are presented. The device has an embodiment element 14 which can be moved mechanically. The position of a user is determined and the embodiment element 14, which can include the representation of a human face, for example, is moved such that its front side 44 points in the direction of the position of the user. Microphones 16, loudspeakers 18 and / or a camera 20 can be provided on the embodiment element 14. The user can conduct a voice dialogue with the device, the device being presented in the form of the embodiment element 14. An electrical device can be controlled in accordance with the user's voice input. A dialogue of the user with the embodiment element is also possible, with the aim of teaching the user.

Description

Die Erfindung betrifft eine Vorrichtung mit Mitteln zur Aufnahme und Erkennung von Sprachsignalen sowie ein Verfahren zur Kommunikation eines Benutzers mit einem elektronischen Gerät. The invention relates to a device with means for recording and detecting Voice signals and a method for communicating a user with a electronic device.

Es sind Spracherkennungsmittel bekannt, mit denen aufgenommenen akustischen Sprachsignalen das entsprechende Wort bzw. eine entsprechende Wortfolge zugeordnet werden kann. Spracherkennungssysteme werden - häufig als Dialogsysteme in Kombination mit Sprachsynthese - zur Steuerung elektrischer Geräte eingesetzt. Hierbei kann ein Dialog mit dem Benutzer als alleinige Schnittstelle für die Bedienung des elektrischen Geräts genutzt werden. Ebenso ist es möglich, dass die Sprachein- und ggfs. auch -ausgabe als eines von mehreren Kommunikationsmitteln genutzt wird. Speech recognition means are known with which recorded acoustic Voice signals assigned the appropriate word or phrase can be. Speech recognition systems are - often as dialog systems in Combination with speech synthesis - used to control electrical devices. Here can a dialog with the user as the sole interface for operating the electrical device can be used. It is also possible that the voice input and, if necessary, also output is used as one of several means of communication.

In der US-A-6,118,888 ist eine Steuervorrichtung und ein -verfahren zur Steuerung eines elektrischen Geräts, bspw. eines Computers oder eines Geräts der Unterhaltungselektronik beschrieben. Für die Steuerung des Geräts stehen dem Benutzer eine Anzahl von Eingabemöglichkeiten zur Verfügung. Dies umfasst mechanische Eingabemöglichkeiten wie Tastatur oder Maus ebenso wie Spracherkennung. Zusätzlich verfügt das Steuergerät über eine Kamera, mit der Gestik und Mimik des Benutzers aufgenommen werden können, die als weitere Eingabesignale verarbeitet werden. Die Kommunikation mit dem Benutzer erfolgt in Form eines Dialogs, wobei dem System auch eine Anzahl von Wegen zur Verfügung stehen, um dem Benutzer Informationen zu übermitteln. Dies umfasst Sprachsynthese und -ausgabe. Insbesondere umfasst dies auch eine anthropomorphe Repräsentation, bspw. eine Darstellung eines Menschen, eines menschlichen Gesichts oder eines Tieres. Diese Repräsentation wird dem Benutzer in Form einer Computergraphik auf einem Bildschirm gezeigt. US-A-6,118,888 discloses a control device and method for control an electrical device, for example a computer or a device of Consumer electronics described. The user has a number to control the device of input options available. This includes mechanical Input options such as keyboard or mouse as well as voice recognition. In addition, the Control device via a camera, recorded with the gestures and facial expressions of the user can be processed as further input signals. The communication with the user takes the form of a dialog, with the system also a number of ways are available to convey information to the user. This includes speech synthesis and speech output. In particular, this also includes one anthropomorphic representation, e.g. a representation of a human being, a human being Facial or an animal. This representation is presented to the user in the form of a Computer graphics shown on a screen.

Während Dialogsysteme in speziellen Anwendungen - bspw. in Telefon-Auskunftssystemen - heute bereits eingesetzt werden, ist in anderen Bereichen - bspw. Steuerung von elektrischen Geräten im Haushalt, Unterhaltungselektronik - die Akzeptanz noch gering. While dialog systems in special applications - e.g. in Telephone information systems - already in use today are in other areas - e.g. control of household electrical appliances, consumer electronics - acceptance still low.

Es ist Aufgabe der Erfindung, eine Vorrichtung mit Mitteln zur Aufnahme zur Erkennung von Sprachsignalen sowie ein Bedienverfahren für ein elektronisches Gerät vorzuschlagen, bei dem einem Benutzer die Bedienung mittels Sprachsteuerung besonders leicht fällt. It is an object of the invention to provide a device with means for receiving Recognition of voice signals and an operating procedure for an electronic device to propose, in which a user especially by means of voice control is easy.

Diese Aufgabe wird gelöst durch eine Vorrichtung nach Anspruch 1 und ein Verfahren nach Anspruch 11. Abhängige Ansprüche beziehen sich auf vorteilhafte Ausführungsformen der Erfindung. This object is achieved by a device according to claim 1 and a method according to claim 11. Dependent claims relate to advantageous Embodiments of the invention.

Die erfindungsgemäße Vorrichtung weist ein mechanisch bewegbares Verkörperungselement auf. Hierbei handelt es sich um einen Teil der Vorrichtung, der für den Benutzer als Verkörperung eines Dialogpartners dient. Die konkrete Ausgestaltung eines solchen Verkörperungselements kann sehr verschieden ausfallen. Bspw. kann es sich um einen Gehäuseteil handeln, der gegenüber einem Standgehäuse eines elektrischen Geräts motorisch beweglich angeordnet ist. Maßgeblich ist, dass das Verkörperungselement eine für den Benutzer als solche erkennbare Vorderseite aufweist. Ist diese Vorderseite dem Benutzer zugewandt, so wird ihm hierdurch der Eindruck vermittelt, dass das Gerät "aufmerksam" ist, d. h. Sprachkommandos entgegennehmen kann. The device according to the invention has a mechanically movable device Embodiment on. This is part of the device that is for the User serves as the embodiment of a dialogue partner. The concrete design of a such an embodiment element can be very different. For example. it can act as a housing part which is opposite to a standing housing of an electrical Device is arranged to be movable by a motor. The decisive factor is that Embodiment has a front side recognizable as such by the user. Is this Facing the user, this gives him the impression that the device is "attentive", d. H. Can accept voice commands.

Erfindungsgemäß verfügt die Vorrichtung über Mittel zur Bestimmung der Position eines Benutzers. Dies kann bspw. über akustische oder optische Sensoren erfolgen. Die Bewegungsmittel des Verkörperungselements werden so angesteuert, dass die Vorderseite des Verkörperungselements in Richtung der Position des Benutzers weist. So hat der Benutzer stets den Eindruck, dass die Vorrichtung bereit ist, ihm "zuzuhören". According to the invention, the device has means for determining the position of a user. This can be done, for example, using acoustic or optical sensors. The Movement means of the embodiment are controlled so that the Front of the embodiment element points in the direction of the position of the user. So had the user always has the impression that the device is ready to "listen" to him.

Gemäß einer Weiterbildung der Erfindung umfasst das Verkörperungselement eine anthropomorphe Darstellung. Hierbei kann es sich um eine Darstellung eines Menschen oder eines Tieres, aber auch um eine Phantasiefigur (bspw. ein Roboter) handeln. Bevorzugt wird eine Darstellung eines menschlichen Gesichts. Hierbei kann es sich um eine realistische oder auch lediglich symbolische Darstellung handeln, bei der bspw. lediglich die Umrisse sowie Augen, Nase und Mund dargestellt sind. According to a development of the invention, the embodiment element comprises a anthropomorphic representation. This can be a representation of a person or an animal, but also a fantasy figure (e.g. a robot). A representation of a human face is preferred. This can be act a realistic or even merely symbolic representation, for example. only the outline, eyes, nose and mouth are shown.

Bevorzugt wird, dass die Vorrichtung auch Mittel zur Ausgabe von Sprachsignalen umfasst. Für die Steuerung eines elektronischen Geräts ist zwar vor allem die Spracherkennung maßgeblich. Rückmeldungen, Bestätigungen, Nachfragen etc. können jedoch mit Sprachausgabemitteln realisiert werden. Dies kann die Wiedergabe vorgespeicherter Sprachsignalen ebenso wie echte Sprachsynthese umfassen. Mit Sprachausgabemitteln kann eine vollständige Dialogsteuerung realisiert sein. Es können auch Dialoge mit dem Benutzer geführt werden, um diesen zu unterhalten. It is preferred that the device also have means for outputting voice signals includes. For the control of an electronic device is above all that Speech recognition is crucial. Feedback, confirmations, inquiries etc. can, however can be realized with speech output means. This can make the playback more pre-stored Include speech signals as well as real speech synthesis. With speech output complete dialog control can be implemented. Dialogues with the Users are led to entertain them.

Gemäß einer Weiterbildung der Erfindung umfasst die Vorrichtung eine Anzahl von Mikrofonen und/oder mindestens eine Kamera. Die Aufnahme von Sprachsignalen kann bereits mit einem einzigen Mikrofon erreicht werden. Bei der Verwendung von mehreren Mikrofonen kann aber einerseits eine Richtcharakteristik erreicht werden. Andererseits ist durch Empfang des Sprachsignals eines Benutzers mit mehreren Mikrofonen auch eine Ortung der Position des Benutzers möglich. Mit einer Kamera kann die Umgebung des Geräts beobachtet werden. Durch entsprechende Bildverarbeitung kann aus dem aufgenommenen Bild ebenfalls die Position des Benutzers ermittelt werden. Die Mikrofone, die Kamera und/oder Lautsprecher zur Ausgabe von Sprachsignalen können am mechanisch beweglichen Verkörperungselement angebracht sein. Bspw. bei einem Verkörperungselement, dass einem menschlichen Kopf nachgebildet ist, können im Bereich der Augen zwei Kameras, anstelle des Mundes ein Lautsprecher und im Bereich der Ohren zwei Mikrofone angeordnet sein. According to a development of the invention, the device comprises a number of Microphones and / or at least one camera. The recording of voice signals can can be reached with a single microphone. When using However, a directional characteristic can be achieved with several microphones. On the other hand, by receiving a user's voice signal with multiple microphones the user's position can also be located. With a camera you can Be observed around the device. Appropriate image processing can be used the position of the user can also be determined from the recorded image. The Microphones that can camera and / or speakers to output voice signals be attached to the mechanically movable embodiment. For example. at a Embodiment that is modeled on a human head can be found in In the area of the eyes two cameras, instead of the mouth a speaker and in the area two microphones are arranged in the ears.

Bevorzugt wird, dass Mittel zur Identifikation eines Benutzers vorgesehen sind. Dies kann bspw. durch Auswertung eines aufgenommenen Bildsignals (Gesichtserkennung) oder durch Auswertung des aufgenommenen akustischen Signals (Sprechererkennung) erreicht werden. Hiermit kann die Vorrichtung aus einer Anzahl von Personen, die sich in der Umgebung aufhalten, den jeweils aktuellen Benutzer ermitteln und das Verkörperungselement auf diesen Benutzer ausrichten. It is preferred that means for identifying a user are provided. This can, for example, by evaluating a recorded image signal (face recognition) or by evaluating the recorded acoustic signal (speaker recognition) can be achieved. This allows the device to be composed of a number of people stay in the area, determine the current user and that Align embodiment element to this user.

Für die Bewegungsmittel zur mechanischen Bewegung des Verkörperungselementes gibt es die verschiedensten Möglichkeiten. Bspw. können diese Mittel Elektromotoren oder hydraulische Stellmittel umfassen. Das Verkörperungselement kann auch durch die Bewegungsmittel fortbewegt werden. Bevorzugt wird jedoch, dass das Verkörperungselement gegenüber einem feststehenden Teil lediglich schwenkbar ist. Hierbei sind bspw. Schwenkbewegungen um eine horizontale und/oder vertikale Achse möglich. For the movement means for the mechanical movement of the embodiment element there are various possibilities. For example. can this means electric motors or hydraulic actuators. The embodiment can also by Movement means to be moved. However, it is preferred that the Embodiment is only pivotable relative to a fixed part. Here are For example, pivoting movements around a horizontal and / or vertical axis are possible.

Die erfindungsgemäße Vorrichtung kann Teil eines elektrischen Geräts sein. Hierbei kommen bspw. Geräte der Unterhaltungselektronik (z. B. TV, Abspielgeräte für Audio- und/oder Video etc.) in Frage. Die Vorrichtung stellt in diesem Fall die Benutzerschnittstelle für das Gerät dar. Zusätzlich kann das Gerät auch über andere Bedienungsmittel (Tastatur etc.) verfügen. Alternativ kann die erfindungsgemäße Vorrichtung auch ein eigenständiges Gerät sein, das als Steuervorrichtung zur Steuerung eines oder mehrerer separater elektrischer Geräte dient. In diesem Fall verfügen die zu steuernden Geräte über einen elektrischen Steueranschluss (z. B. drahtlos oder über einen geeigneten Steuerbus), über den die Vorrichtung die Geräte entsprechend der vom Benutzer entgegengenommenen Sprachkommandos steuert. The device according to the invention can be part of an electrical device. in this connection come e.g. consumer electronics devices (e.g. TV, players for audio and / or video etc.) in question. The device in this case User interface for the device. In addition, the device can also be operated using other means (Keyboard etc.). Alternatively, the device according to the invention can also be a be an independent device that acts as a control device for controlling one or more separate electrical devices. In this case, the devices to be controlled have via an electrical control connection (e.g. wireless or via a suitable Control bus) over which the device connects the devices according to the user controls accepted voice commands.

Insbesondere kann die erfindungsgemäße Vorrichtung für den Benutzer als Schnittstelle eines Systems zur Datenablage und/oder Abfrage dienen. Hierfür sind in der Vorrichtung interne Datenspeicher vorhanden oder die Vorrichtung ist - bspw. über ein Computer-Netzwerk oder das Internet - an externe Datenspeicher angebunden. Im Dialog kann der Benutzer Daten ablegen (z. B. Telefonnummern speichern, Memos ablegen etc.) oder Daten abfragen (beispielsweise Uhrzeit, Nachrichten, das aktuelle Fernsehprogramm etc.). In particular, the device according to the invention can serve as an interface for the user a system for data storage and / or query. For this are in the Device internal data storage available or the device is - for example Computer network or the Internet - connected to external data storage. In dialogue the user can save data (e.g. save phone numbers, save memos etc.) or query data (e.g. time, news, the current Television program etc.).

Darüber hinaus können die Dialoge mit dem Benutzer auch genutzt werden, um Parameter der Vorrichtung selbst einzustellen und deren Konfiguration zu ändern. In addition, the dialogues with the user can also be used to Set parameters of the device itself and change its configuration.

Wenn ein Lautsprecher zur Ausgabe und ein Mikrofon zur Aufnahme von akustischen Signalen vorgesehen sind, so kann eine Signalverarbeitung mit Störunterdrückung vorgesehen sein, d. h. eine Verarbeitung der aufgenommenen akustischen Signale so, dass Anteile des vom Lautsprecher ausgehenden akustischen Signals unterdrückt werden. Dies ist insbesondere vorteilhaft, wenn Lautsprecher und Mikrofon in räumlicher Nähe, bspw. am Verkörperungselement angebracht sind. If a speaker for output and a microphone for recording acoustic Signals are provided, so can signal processing with interference suppression be provided, d. H. processing of the recorded acoustic signals in such a way that Portions of the acoustic signal emitted by the loudspeaker are suppressed. This is particularly advantageous if the loudspeaker and microphone are in close proximity, For example, are attached to the embodiment element.

Zusätzlich zur oben angegebenen Verwendung der Vorrichtung zur Steuerung eines elektrischen Geräts kann diese auch zur Führung eines Dialogs mit dem Benutzer verwendet werden, der anderen Zwecken, bspw. der Information, Unterhaltung oder Unterrichtung des Benutzers dient. Gemäß einer Weiterbildung der Erfindung sind Dialogmittel vorgesehen, mit denen ein Dialog zur Unterrichtung des Benutzers geführt werden kann. Der Dialog läuft dann bevorzugt so ab, dass dem Benutzer Aufgaben gestellt und seine Antworten aufgenommen werden. Bei den Aufgaben kann es sich um komplexe Fragestellungen handeln, bevorzugt wird aber ein Abfragen von kurzen Lerngegenständen wie bspw. Vokabeln einer fremden Sprache, bei denen Aufgabe (bspw.: Definition eines Wortes) und Antwort (bspw.: Wort in der Fremdsprache) relativ kurz sind. Der Dialog wird vom Benutzer mit dem Verkörperungselement geführt und kann visuell und/oder per Audio erfolgen. In addition to the above-mentioned use of the device for controlling a electrical device, this can also be used to conduct a dialogue with the user used for other purposes, e.g. information, entertainment or User information is used. According to a development of the invention Dialog means are provided with which a dialog is conducted to inform the user can be. The dialog then preferably runs in such a way that the user has tasks asked and his answers are recorded. The tasks can be deal with complex questions, but it is preferred to query short ones Learning objects such as vocabulary of a foreign language, for which task (e.g.: Definition of a word) and answer (e.g. word in the foreign language) relatively short are. The dialog is carried out by the user with the embodiment element and can visual and / or audio.

Als eine Möglichkeit einer effektiven Lernmethode wird vorgeschlagen, dass ein Satz von Lerngegenständen (bspw.: Vokabeln einer Fremdsprache) gespeichert sind, wobei für jeden Lerngegenstand mindestens gespeichert ist eine Aufgabe (bspw.: Definition), eine Lösung (bspw.: Vokabel) und eine Maßzahl für die Zeitdauer seit der letzten Stellung der Aufgabe an den Benutzer bzw. der korrekten Lösung der Aufgabe durch diesen. Während des Dialogs werden nun nacheinander Lerngegenstände ausgewählt und abgefragt, indem die Aufgabe dem Benutzer gestellt und die Antwort des Benutzers mit der gespeicherten Lösung verglichen wird. Die Auswahl des jeweils abzufragenden Lerngegenstands berücksichtigt hierbei die gespeicherte Maßzahl, d. h. die seit der letzten Abfrage des Gegenstands vergangene Zeit. Dies kann bspw. über ein geeignetes Lernmodell mit einer angenommenen oder ermittelten Vergessensrate erfolgen. Zusätzlich kann jeder Lerngegenstand auch mit einer Relevanz-Maßzahl bewertet sein, wobei die Relevanz-Maßzahl zusätzlich zur Zeitdauer-Maßzahl bei der Auswahl berücksichtigt wird. As a way of an effective learning method it is suggested that a sentence of learning objects (e.g. vocabulary of a foreign language) are stored, whereby For each learning object there is at least one task (e.g. definition), a solution (e.g. vocabulary) and a measure of the length of time since the last Provision of the task to the user or the correct solution of the task by this. During the dialogue, learning objects are selected one after the other and queried by the task given to the user and the user's response is compared with the stored solution. The selection of the one to be queried The learning object takes into account the stored measure, i. H. the since the last query of the item elapsed time. This can be done, for example, using a suitable Learning model with an assumed or determined forgetting rate. In addition, each learning object can also be rated with a relevance measure, whereby the relevance measure in addition to the duration measure in the selection is taken into account.

Nachfolgend werden Ausführungsformen der Erfindung anhand von Zeichnungen näher beschrieben. Hierbei zeigen: Embodiments of the invention are described in more detail below with reference to drawings described. Here show:

Fig. 1 ein Blockdiagramm von Elementen einer Steuervorrichtung; Fig. 1 is a block diagram of elements of a control device;

Fig. 2 eine perspektivische Darstellung eines elektrischen Geräts mit einer Steuervorrichtung. Fig. 2 is a perspective view of an electrical device with a control device.

Fig. 1 zeigt in einem Blockdiagramm eine Steuervorrichtung 10 und ein hierdurch angesteuertes Gerät 12. Die Steuervorrichtung 10 tritt für den Benutzer durch ein Verkörperungselement 14 in Erscheinung. Am Verkörperungselement 14 sind ein Mikrofon 16, ein Lautsprecher 18 und ein Positionssensor für die Position eines Benutzers, hier in Form einer Kamera 20 angebracht. Gemeinsam bilden diese Elemente eine mechanische Einheit 22. Das Verkörperungselement 14 und damit die mechanische Einheit 22 wird durch einen Motor 24 um eine vertikale Achse verschwenkt. Eine zentrale Steuereinheit 26 steuert über eine Ansteuerschaltung 28 den Motor 24 an. Das Verkörperungselement 14 ist eine eigenständige mechanische Einheit. Es weist eine für den Benutzer als solche erkennbare Vorderseite auf. Mikrofon 16, Lautsprecher 18 und Kamera 20 sind am Verkörperungselement 14 in Richtung dieser Vorderseite angebracht. Fig. 1 shows a block diagram of a control device 10 and a controlled device thereby 12th The control device 10 appears to the user through an embodiment element 14 . A microphone 16 , a loudspeaker 18 and a position sensor for the position of a user, here in the form of a camera 20, are attached to the embodiment element 14 . Together, these elements form a mechanical unit 22 . The embodiment element 14 and thus the mechanical unit 22 is pivoted about a vertical axis by a motor 24 . A central control unit 26 controls the motor 24 via a control circuit 28 . The embodiment element 14 is an independent mechanical unit. It has a front side that can be recognized as such by the user. Microphone 16 , loudspeaker 18 and camera 20 are attached to embodiment 14 in the direction of this front side.

Das Mikrofon 16 liefert ein akustisches Signal. Dieses wird von einem Aufnahmesystem 30 aufgenommen und durch eine Spracherkennungseinheit 32 bearbeitet. Das Ergebnis der Spracherkennung, d. h. die dem aufgenommenen akustischen Signal zugeordnete Wortfolge wird an die zentrale Steuereinheit 26 geleitet. The microphone 16 delivers an acoustic signal. This is recorded by a recording system 30 and processed by a speech recognition unit 32 . The result of the speech recognition, ie the word sequence assigned to the recorded acoustic signal, is sent to the central control unit 26 .

Die zentrale Steuereinheit 26 steuert auch eine Sprachsyntheseeinheit 34 an, die ein synthetisches Sprachsignal über eine Tonerzeugungseinheit 36 und den Lautsprecher 18 ausgibt. The central control unit 26 also controls a speech synthesis unit 34 , which outputs a synthetic speech signal via a sound generation unit 36 and the loudspeaker 18 .

Das von der Kamera 20 aufgenommene Bild wird von der Bildverarbeitungseinheit 38 verarbeitet. Die Bildverarbeitungseinheit 38 ermittelt aus dem von der Kamera 20 gelieferten Bildsignal den Standort eines Benutzers. Die Standortinformation wird an die zentrale Steuereinheit 26 übermittelt. The image recorded by the camera 20 is processed by the image processing unit 38 . The image processing unit 38 determines the location of a user from the image signal supplied by the camera 20 . The location information is transmitted to the central control unit 26 .

Die mechanische Einheit 22 dient als Benutzerschnittstelle, über die die zentrale Steuereinheit 26 Eingaben des Benutzers entgegennimmt (Mikrofon 16, Spracherkennungseinheit 32) und Rückmeldungen an den Benutzer gibt (Sprachsyntheseeinheit 34, Lautsprecher 18). Die Steuereinheit 10 dient hierbei zur Steuerung eines elektrischen Geräts 12, bspw. eines Geräts aus dem Bereich der Unterhaltungselektronik. The mechanical unit 22 serves as a user interface, via which the central control unit 26 receives input from the user (microphone 16 , speech recognition unit 32 ) and provides feedback to the user (speech synthesis unit 34 , loudspeaker 18 ). The control unit 10 serves to control an electrical device 12 , for example a device from the field of consumer electronics.

Die Darstellung der Steuervorrichtung 10 in Fig. 1 zeigt lediglich symbolisch deren Funktionseinheiten. Die verschiedenen Einheiten, bspw. zentrale Steuereinheit 26, Spracherkennungseinheit 32, Bildverarbeitungseinheit 38 können in einer konkreten Umsetzung als separate Baugruppen vorhanden sein. Ebenso ist aber eine rein softwaremäßige Implementation dieser Einheiten denkbar, wobei die Funktionalität von mehreren oder allen dieser Einheiten durch ein auf einer Zentraleinheit ablaufendes Programm realisiert wird. The representation of the control device 10 in FIG. 1 merely shows its functional units symbolically. The various units, for example central control unit 26 , speech recognition unit 32 , image processing unit 38, can be in a concrete implementation as separate modules. However, a purely software-based implementation of these units is also conceivable, the functionality of several or all of these units being implemented by a program running on a central unit.

Ebenso ist es nicht zwingend, dass sich diese Einheiten in räumlicher Nähe zueinander oder zur mechanischen Einheit 22 befinden. Die mechanische Einheit 22, d. h. das Verkörperungselement 14 sowie auch die bevorzugt, aber nicht zwingend daran angeordneten Einheiten Mikrofon 16, Lautsprecher 18 und Sensor 20, können entfernt vom Rest der Steuervorrichtung 10 separat angeordnet sein und lediglich - leitungsgebunden oder auch drahtlos - in Signalverbindung hiermit stehen. It is also not imperative that these units are in spatial proximity to one another or to the mechanical unit 22 . The mechanical unit 22 , that is to say the embodiment element 14, and also the preferred, but not necessarily, units microphone 16 , loudspeaker 18 and sensor 20 , can be arranged separately from the rest of the control device 10 and only in a signal connection therewith - wired or wireless stand.

Im Betrieb der Steuervorrichtung 10 wird ständig ermittelt, ob sich ein Benutzer in der Umgebung aufhält. Die Position des Benutzers wird ermittelt. Die zentrale Steuereinheit 26 steuert den Motor 24 so an, dass die Vorderseite des Verkörperungselements 10 in Richtung des Benutzers weist. During operation of the control device 10 , it is continuously determined whether a user is in the area. The position of the user is determined. The central control unit 26 controls the motor 24 such that the front side of the embodiment element 10 points in the direction of the user.

Die Bildverarbeitungseinheit 38 umfasst auch eine Gesichtserkennung. Liefert die Kamera 20 ein Bild mit mehreren Personen, so wird mit Hilfe der Gesichtserkennung ermittelt, welche der Personen der - dem System bekannte - Benutzer ist. Das Verkörperungselement 14 wird in Richtung dieses Benutzers ausgerichtet. Sind mehrere Mikrofone vorhanden, so können die Signale dieser Mikrofone so verarbeitet werden, dass eine Richtcharakteristik in Richtung der bekannten Position des Benutzer entsteht. The image processing unit 38 also includes face recognition. If the camera 20 delivers an image with several people, then facial recognition is used to determine which of the people is the user known to the system. Embodiment 14 is oriented toward that user. If there are several microphones, the signals from these microphones can be processed in such a way that a directional characteristic is produced in the direction of the known position of the user.

Die Bildverarbeitungseinheit 38 kann zusätzlich so ausgestaltet sein, dass sie die durch die Kamera 20 aufgenommene Szene in der Umgebung der mechanischen Einheit 22 "versteht". Die jeweilige Szene kann dann einer von einer Anzahl vordefinierten Zustände zugeordnet werden. Bspw. ist der zentralen Steuereinheit 26 auf diese Weise bekannt, ob eine oder mehrere Personen im Raum sind. Die Einheit kann auch bspw. das Verhalten des Benutzers erkennen und zuordnen, d. h. z. B. ob der Benutzer in Richtung der mechanischen Einheit 22 blickt oder ob er sich im Gespräch mit einer anderen Person befindet. Durch Auswertung der so erkannten Zustände kann die Erkennungsleistung deutlich verbessert werden. Bspw. kann vermieden werden, dass Teile eines Gesprächs zwischen zwei Personen irrtümlich als Sprachkommandos interpretiert werden. The image processing unit 38 can additionally be configured such that it “understands” the scene recorded by the camera 20 in the vicinity of the mechanical unit 22 . The respective scene can then be assigned to one of a number of predefined states. For example. In this way, the central control unit 26 knows whether one or more people are in the room. The unit can also recognize and assign the behavior of the user, for example, whether the user is looking in the direction of the mechanical unit 22 or whether he is in conversation with another person. The evaluation performance can be significantly improved by evaluating the states identified in this way. For example. can be avoided that parts of a conversation between two people are mistakenly interpreted as voice commands.

Die zentrale Steuereinheit ermittelt in einem Dialog mit dem Benutzer Eingaben und steuert das Gerät 12 entsprechend an. Ein solcher Dialog zur Steuerung der Lautstärke eines Audio-Wiedergabegeräts 12 kann bspw. wie folgt ablaufen:

- Der Benutzer wendet sich von seinem jeweiligen Standort dem Verkörperungselement 14 zu. Das Verkörperungselement 14 ist durch den Motor 24 stets so gerichtet, dass seine Vorderseite dem Benutzer zugewandt ist. Hierfür wird die Ansteuerschaltung 28 von der zentralen Steuereinheit 26 des Geräts 10 entsprechend der ermittelten Position des Benutzers angesteuert.
- Der Benutzer gibt ein Sprachkommando, bspw. "Lautstärke Fernseher". Das Sprachkommando wird vom Mikrofon 16 aufgenommen und durch die Spracherkennungseinheit 32 erkannt.
- Die zentrale Steuereinheit 26 reagiert mit einer Rückfrage: "Lauter oder leiser?", die über die Sprachsyntheseeinheit 34 vom Lautsprecher 18 ausgegeben wird.
- Der Benutzer gibt das Sprachkommando "Leiser". Nach Erkennung des Sprachsignals steuert die zentrale Steuereinheit 26 das Gerät 12 so an, dass die Lautstärke verringert wird.

The central control unit determines inputs in a dialog with the user and controls the device 12 accordingly. Such a dialog for controlling the volume of an audio playback device 12 can run, for example, as follows:

The user turns to the embodiment element 14 from his respective location. The embodiment element 14 is always directed by the motor 24 such that its front side faces the user. For this purpose, the control circuit 28 is controlled by the central control unit 26 of the device 10 in accordance with the determined position of the user.
- The user issues a voice command, for example "TV volume". The voice command is picked up by the microphone 16 and recognized by the voice recognition unit 32 .
The central control unit 26 responds with a query: "Louder or quieter?" Which is output by the loudspeaker 18 via the speech synthesis unit 34 .
- The user issues the voice command "quieter". After recognition of the speech signal, the central control unit 26 controls the device 12 so that the volume is reduced.

Fig. 2 zeigt eine perspektivische Darstellung eines elektronischen Geräts 40 mit einer integrierten Steuervorrichtung. Von der Steuervorrichtung 10 ist hier nur das Verkörperungselement 14 zu sehen, das gegenüber einem Standgehäuse 42 des Geräts 40 um eine vertikale Achse verschwenkbar ist. In diesem Beispiel ist das Verkörperungselement von flacher, rechteckiger Form. Auf der Vorderseite 44 befindet sich das Objektiv der Kamera 20 sowie der Lautsprecher 18. Seitlich sind zwei Mikrofone 16 angeordnet. Durch einen Motor (nicht dargestellt) wird die mechanische Einheit 22 stets so gedreht, dass die Vorderseite in Richtung des Benutzers zeigt. Fig. 2 is a perspective view showing an electronic apparatus 40 with an integrated control device. Of the control device 10 , only the embodiment element 14 can be seen here, which can be pivoted about a vertical axis relative to a standing housing 42 of the device 40 . In this example, the embodiment element is flat, rectangular in shape. The lens of the camera 20 and the loudspeaker 18 are located on the front 44 . Two microphones 16 are arranged on the side. The motor 22 is always rotated by a motor (not shown) in such a way that the front side points towards the user.

In einer Ausführungsform (nicht dargestellt) wird die Vorrichtung 10 aus Fig. 1 nicht zur Steuerung des Geräts 12, sondern zur Führung eines Dialogs mit dem Ziel der Unterrichtung eines Benutzers verwendet. Die zentrale Steuereinheit 26 führt hierbei ein Lernprogramm aus, mit dessen Hilfe der Benutzer eine Fremdsprache erlernen kann. In one embodiment (not shown), the device 10 from FIG. 1 is not used to control the device 12 , but rather to conduct a dialog with the aim of informing a user. The central control unit 26 executes a learning program with which the user can learn a foreign language.

In einem Speicher ist ein Satz von Lerngegenständen abgespeichert. Hier handelt es sich um einzelne Datensätze, von denen jeder die Definition eines Wortes, das entsprechende Wort in der Fremdsprache, eine Bewertungs-Maßzahl für die Relevanz des Wortes (Auftretenshäufigkeit des Wortes in der Sprache) und eine Zeit-Maßzahl für die Dauer der seit der letzten Abfrage des Datensatzes vergangene Zeit aufweist. A set of learning objects is stored in a memory. Here it is to individual records, each defining a word that corresponding word in the foreign language, an evaluation measure for the relevance of the word (Frequency of occurrence of the word in the language) and a time measure for the duration which has elapsed time since the data record was last queried.

Eine Lerneinheit im Dialog läuft nun ab, indem nacheinander Datensätze ausgewählt und abgefragt werden. Hierbei wird dem Benutzer eine Aufgabe gestellt, d. h. die in dem Datensatz gespeicherte Definition optisch angezeigt oder akustisch ausgegeben. Die Antwort des Benutzers, bspw. eingegeben über eine Tastatur, bevorzugt aufgenommen über das Mikrofon 16 und die automatische Spracherkennung 32 wird aufgenommen und mit der gespeicherten Lösung (Vokabel) verglichen. Der Benutzer wird darüber informiert, ob die Lösung als richtig erkannt wurde. Für den Fall fehlerhafter Antworten kann dem Benutzer die richtige Lösung mitgeteilt oder zuvor ein- oder mehrmals Gelegenheit zur weiteren Antwort gegeben werden. Nach derartiger Abarbeitung des Datensatzes wird die abgespeicherte Maßzahl für die Zeitdauer seit der letzten Abfrage aktualisiert, d. h. auf Null gesetzt. A lesson in dialogue now runs by selecting and querying data records one after the other. Here the user is given a task, ie the definition stored in the data record is displayed optically or output acoustically. The response of the user, for example entered via a keyboard, preferably recorded via the microphone 16 and the automatic speech recognition 32 is recorded and compared with the stored solution (vocabulary). The user is informed whether the solution was recognized as correct. In the event of incorrect answers, the user can be informed of the correct solution or given the opportunity to answer further one or more times beforehand. After the data record has been processed in this way, the stored measurement figure is updated for the period since the last query, ie set to zero.

Danach erfolgt die Auswahl und Abfrage eines weiteren Datensatzes usw.. Then another data set is selected and queried, etc.

Die Auswahl der jeweils abzufragenden Datensätze erfolgt anhand eines Gedächtnismodells. Ein einfaches Gedächtnismodell wäre die Formel

P(k) = exp(-t(k).r(c(k))),

wobei P(k) die Wahrscheinlichkeit bezeichnet, dass der Lerngegenstand k bekannt ist, exp die Exponentialfunktion bezeichnet, t(k) die Zeit bezeichnet, seit der Gegenstand zuletzt abgefragt wurde, c(k) die Lern-Klasse des Gegenstandes ist und r(c(k)) die lernklassen-spezifische Vergessensrate. Für t kann die Uhrzeit verwendet werden. Ebenso kann die Zeit t in Lernschritten gerechnet werden. Lern-Klassen können auf verschiedene geeignete Arten definiert werden. Ein mögliches Modell ist es, für jedes N > 0 alle Gegenstände die N mal richtig beantwortet wurden einer entsprechenden Klasse zuzuordnen. Für die Vergessensrate kann ein geeigneter fester Wert angenommen werden, oder es kann ein geeigneter Startwert ausgewählt und bspw. durch einen Gradienten-Algorithmus adaptiert werden. The data records to be queried are selected on the basis of a memory model. The formula would be a simple memory model

P (k) = exp (-t (k) .r (c (k))),

where P (k) denotes the probability that the learning object k is known, exp denotes the exponential function, t (k) denotes the time since the object was last queried, c (k) is the learning class of the object and r ( c (k)) the learning class-specific forgetting rate. The time can be used for t. The time t can also be calculated in learning steps. Learning classes can be defined in various suitable ways. One possible model is to assign all objects that have been answered N times correctly to a corresponding class for every N> 0. A suitable fixed value can be assumed for the forgetting rate, or a suitable starting value can be selected and adapted, for example, by a gradient algorithm.

Ziel der Unterrichtung ist eine Maximierung eines Wissensmaßes. Dieses Wissensmaß wird definiert als der Anteil der dem Benutzer bekannten Lerngegenstände des Satzes, gewichtet mit der Relevanz-Maßzahl. Da die Abfrage eines Gegenstandes k die Wahrscheinlichkeit P(k) auf Eins bringt, wird zur Optimierung der Wissens-Maßzahl vorgeschlagen, in jedem Schritt den Gegenstand mit der geringsten Wissenswahrscheinlichkeit P(k), ggfs. gewichtet mit der Relevanz-Maßzahl U(k), U(k).1-P(k)) abzufragen. Mit Hilfe des Modells kann die Wissens-Maßzahl nach jedem Schritt berechnet und dem Benutzer angezeigt werden. Die Methode ist daraufhin optimiert, dem Benutzer eine möglichst breite Kenntnis der Lerngegenstände des aktuellen Satzes zu vermitteln. Durch Benutzung eines guten Gedächtnismodells wird hierbei eine effektive Lernstrategie erzielt. The aim of the information is to maximize a measure of knowledge. This measure of knowledge is defined as the proportion of the learning objects of the sentence known to the user, weighted with the relevance measure. Since the query of an object k the Bringing probability P (k) to one is used to optimize the knowledge measure suggested in each step the object with the least Query probability of knowledge P (k), possibly weighted with the relevance measure U (k), U (k) .1-P (k)). With the help of the model, the knowledge measure can be calculated after each step and be displayed to the user. The method is then optimized to the user convey the broadest possible knowledge of the learning objects of the current sentence. By using a good memory model, this becomes an effective one Learning strategy achieved.

Zu dem geschilderten Abfrage-Dialog sind eine Anzahl von Abwandlungen und Erweiterungen denkbar. So kann es bspw. zu einer Frage (Definition) mehrere richtige Antworten (Vokabeln) geben. Dies kann berücksichtigt werden, bspw. indem die gespeicherten Relevanz-Maßzahlen herangezogen werden und so die relevanteren (häufigeren) Worte stärker betont werden. Die jeweiligen Sätze von Lerngegenständen können bspw. mehrere tausend Worte umfassen. Hierbei kann es sich bspw. um Lern- Gegenstände, d. h. Fachvokabular für eine bestimmte Benutzung, bspw. im Bereich der Literatur, Geschäftsleben, Technik etc. handeln. There are a number of modifications to the query dialog described Extensions possible. For example, there can be several correct questions (definition) Give answers (vocabulary). This can be taken into account, for example by the stored relevance metrics are used and so the more relevant Words are emphasized more. The respective sets of learning objects can include several thousand words, for example. This can be, for example, learning Objects, d. H. Technical vocabulary for a specific use, for example in the area of Act literature, business life, technology etc.

Die Erfindung lässt sich dahingehend zusammenfassen, dass eine Vorrichtung mit Mitteln zur Aufnahme und Erkennung von Sprachsignalen und ein Verfahren zur Kommunikation mit einem elektrischen Gerät vorgestellt werden. Die Vorrichtung weist ein Verkörperungselement auf, das mechanisch bewegt werden kann. Die Position eines Benutzers wird ermittelt und das Verkörperungselement, das bspw. die Darstellung eines menschlichen Gesichts umfassen kann, wird so bewegt, dass seine Vorderseite in Richtung der Position des Benutzers weist. Am Verkörperungselement können Mikrofone, Lautsprecher und/oder eine Kamera vorgesehen sein. Der Benutzer kann einen Sprach-Dialog mit der Vorrichtung führen, wobei sich ihm das Gerät in Form des Verkörperungselements darstellt. Entsprechend der Spracheingaben des Benutzers kann ein elektrisches Gerät angesteuert werden. Ebenso ist ein Dialog des Benutzers mit dem Verkörperungselement möglich mit dem Ziel, den Benutzer zu unterrichten. The invention can be summarized in that a device with Means for recording and recognizing speech signals and a method for Communication with an electrical device will be presented. The device has an embodiment that can be moved mechanically. The position a user is determined and the embodiment element, for example the Representation of a human face can be moved so that its Front facing towards the position of the user. Can on the embodiment Microphones, speakers and / or a camera can be provided. The user can conduct a voice dialogue with the device, the device in the form of the Representing embodiment. According to the user's voice input an electrical device can be controlled. There is also a dialog between the user and the Embodiment possible with the aim of teaching the user.

Claims

1. Device with
Means for recording and recognizing voice signals ( 30 , 32 )
and an embodiment element ( 14 ) with a front side ( 44 ) and movement means ( 24 ) for the mechanical movement of the embodiment element ( 14 ),
there are means ( 38 ) for determining the position of a user,
and the movement means ( 24 ) are controlled such that the front side ( 44 ) of the embodiment element ( 14 ) points in the direction of the position of the user.

2. Device according to claim 1, in which
Means ( 34 , 36 , 18 ) are provided for outputting voice signals.

3. Device according to one of the preceding claims, in which
the embodiment element ( 14 ) is an anthropomorphic representation,
in particular includes a representation of a human face.

4. Device according to one of the preceding claims, in which
a number of microphones ( 16 ) and / or at least one camera ( 20 ) are provided,
wherein the microphones ( 16 ) and / or the camera ( 20 ) are preferably attached to the embodiment element ( 14 ).

5. Device according to one of the preceding claims, in which
Means for identifying at least one user are provided.

6. Device according to one of the preceding claims, in which
the movement means ( 24 ) enable the embodiment element ( 14 ) to pivot about at least one pivot axis.

7. Device according to one of the preceding claims, in which
at least one external electrical device ( 12 ) is provided, which is controlled by the voice signals.

8. Device according to one of the preceding claims, in which
at least one loudspeaker ( 18 ) for outputting acoustic signals,
and at least one microphone ( 16 ) is provided for recording acoustic signals,
wherein a signal processing unit ( 30 ) is provided for processing the recorded acoustic signals, portions of the signal which are based on acoustic signals output by the loudspeaker ( 18 ) being suppressed.

9. Device according to one of the preceding claims, in which
Means are provided for conducting a dialog to inform a user,
wherein tasks are given to the user visually and / or by audio, and the user's responses are recorded using a keyboard and / or a microphone.

10. The device according to claim 9, wherein
the dialogue means comprise storage means for a set of learning objects,
at least one task, a solution and a measure for the duration since the task was processed by the user are stored for each learning object,
and wherein the dialogue means are designed in such a way that learning objects are selected and queried, in that the task is given to the user and the response of the user is compared with the stored solution,
the stored measure is taken into account when selecting the learning objects.

11. A method for communicating a user with an electrical device ( 12 ), in which
the position of a user is determined
and an embodiment element ( 14 ) is moved such that a front side ( 44 ) of the embodiment element ( 14 ) faces towards the user,
and voice signals of the user are recorded and processed.

12. The method according to claim 11, wherein
the electrical device ( 12 ) is controlled in accordance with the recorded speech signals.