DE10304461B3

DE10304461B3 - Speech recognition method for mobile communications device , e.g. for voice-control of mobile telephone, using list of previously employed actions for actualizing speech recognition vocabulary

Info

Publication number: DE10304461B3
Application number: DE10304461A
Authority: DE
Inventors: Gerhard Hoffmann; Maurice Van Riek
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2003-02-04
Filing date: 2003-02-04
Publication date: 2004-03-04
Anticipated expiration: 2023-02-05
Also published as: WO2004070493A2; WO2004070493A3; EP1590799A2

Abstract

The speech recognition method uses a list of the previously employed actions for controlling the communications device, e.g. the previously initiated or received calls, with the vocabulary used for speech recognition actualized using this list. An Independent claim for a program product for a data processor containing code sections for a speech recognition method is also included.

Description

Die Technologie der Spracherkennung für mobile Endgeräte ist mittlerweile so weit fortgeschritten, dass es möglich ist, eine sprecherunabhängige Namenswahl (Speaker Independent Name Dialing) zu realisieren. Einträge eines Adressbuches können dabei direkt durch Sprechen des eingetragenen Namens gewählt werden, ohne dass zuvor vom Benutzer ein Training des Sprachmusters durchgeführt werden muss.The technology of speech recognition for mobile terminals is now so advanced that it is possible a speaker-independent choice of names (Speaker Independent Name Dialing). Entries of a Address book can do this can be selected directly by speaking the registered name, without the user training the speech pattern beforehand got to.

Die Funktion der sprecherunabhängigen Namenswahl ist aus technischen Gründen gegenwärtig auf eine geringe Anzahl von Namen beschränkt, die etwa 50 bis 100 Namen umfasst. Dies resultiert aus den geringen Ressourcen in Mobiltelefonen und dem begrenzten Vokabular von in mobilen Endgeräten verwendeten embedded Spracherkennern.The function of speaker-independent name selection is for technical reasons currently on a small number of names are limited to around 50 to 100 names includes. This results from the limited resources in mobile phones and the limited vocabulary of those used in mobile devices embedded speech recognizers.

Im High-End-Bereich der Mobiltelefone erreichen die Einträge im Adressbuch aber leicht mehrere hundert Namen. 500 Adresseinträge sind bei so genannten Power-Usern keine Seltenheit. Diese Anzahl der Adressbucheinträge übersteigt damit die Anzahl der möglichen Einträge für die sprecherunabhängige Namenswahl. Aus diesem Grund ist eine pauschale Nutzung der Namenswahl-Funktion für alle Adressbucheinträge nicht mehr automatisch möglich. Das Problem besteht nun darin, eine geeignete Untermenge von Adressbucheinträgen auszuwählen, für die die sprecherunabhängige Namenswahl aktiviert ist.In the high-end area of mobile phones reach the entries in the address book but easily several hundred names. There are 500 address entries not uncommon for so-called power users. This number of Address book entries hence the number of possible Posts for the speaker-independent choice of names. For this reason, there is a general use of the name selection function for all address book entries no longer possible automatically. The problem now is to choose an appropriate subset of address book entries for which the speaker independent Name dialing is activated.

Bisher geht man davon aus, dass der Benutzer bei großen Adressbüchern manuell die zugelassenen Einträge für die Namenswahl zum Beispiel durch Markieren, Ankreuzen etc. auswählt. Dies bedeutet aber vor der Nutzung der Namenswahl eine Interaktion mit dem Gerät für jeden freizuschaltenden Eintrag, was dem eigentlichen Vorteil der sofortigen Benutzung der Sprachwahl ohne Training entgegensteht.So far it is assumed that the Large users address books manually the allowed entries for the Choosing a name, for example by marking, ticking, etc. This means an interaction with before using the name selection the device for each entry to be unlocked, which is the real advantage of immediate use opposes the choice of language without training.

Aus der Druckschrift DE 196 24 988 A1 ist ein Verfahren zur Spracherkennung bekannt, bei dem das zur Spracherkennung verwendete Vokabular anhand der Häufigkeit seiner Worte aktualisiert wird.From the publication DE 196 24 988 A1 a method for speech recognition is known in which the vocabulary used for speech recognition is updated on the basis of the frequency of its words.

Davon ausgehend besteht die Aufgabe der vorliegenden Erfindung darin, eine automatische, ohne Benutzerinteraktion erzielbare Auswahl einer Untermenge benutzerrelevanter Einträge für die Namenswahl aus vorhandenen Adressbucheinträgen zu ermöglichen. Allgemein besteht die Aufgabe darin, das Vokabular bei der Spracherkennung an den Bedarf des Benutzers anzupassen.The task is based on this of the present invention therein, an automatic, without user interaction achievable selection of a subset of user-relevant entries for the name selection from existing address book entries enable. In general, the task is to use the vocabulary in speech recognition adapt to the needs of the user.

Diese Aufgabe wird durch die in den unabhängigen Patentansprüchen angegebenen Erfindungen gelöst. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.This task is carried out in the independent claims specified inventions solved. Advantageous refinements result from the subclaims.

Dementsprechend arbeitet ein Verfahren zur rechnergestützten Spracherkennung mit einer Liste von zuletzt stattgefundenen bzw. aufgerufenen Aktionen zur Steuerung einer Vorrichtung. Dies ist insbesondere die Vorrichtung, von der die Spracherkennung vorgenommen wird, selbst. Die Liste der zuletzt stattgefundenen Aktionen wird dabei zweckmäßigerweise nicht alle von der Vorrichtung durchgeführten Aktionen enthalten, sondern nur bestimmte Aktionstypen. Nämlich diejenigen Aktionstypen, für die eine Spracheingabe vorgesehen ist. Im Verfahren zur Spracherkennung wird anhand der Liste von zuletzt stattgefundenen Aktionen das zur Spracherkennung verwendete Vokabular aktualisiert. Dadurch kann es ständig und automatisch den Bedürfnissen des Benutzers angepasst werden.A method works accordingly for computer-aided Speech recognition with a list of recent or called actions to control a device. This is in particular the device from which the speech recognition is carried out will, itself. The list of recent actions will be expediently not contain all the actions performed by the device, but only certain types of promotions. Namely those types of actions for which is intended for voice input. In the speech recognition process based on the list of the last actions that took place Vocabulary used for speech recognition updated. This can it constantly and automatically needs of the user.

Die Aktualisierung kann auf zweierlei Arten geschehen. Zum einen können Ausdrücke im Vokabular gelöscht werden, denen kein Listeneintrag in der Liste von zuletzt stattgefundenen Aktionen zugeordnet ist. Diese Ausdrücke werden offensichtlich zur Steuerung der Vorrichtung mittels Spracheingabe aktuell nicht benutzt.The update can be done in two ways Species happen. For one, can expressions deleted in vocabulary who have no list entry in the list of the most recent Actions is assigned. These terms become obvious for control the device is currently not used by voice input.

Der durch das Löschen in der Vorrichtung frei gewordene Speicherplatz kann nun möglichst sinnvoll wieder aufgefüllt werden.The one released by the deletion in the device Storage space can now be saved if possible meaningfully replenished become.

Dazu werden Ausdrücke, also insbesondere Wörter, Buchstaben etc., die bislang nicht im Vokabular vorhanden waren, in das Vokabular aufgenommen, wenn ihnen ein Listeneintrag zugeordnet ist. Hierfür kann beispielsweise der Listeneintrag selbst mittels einer Graphem-Phonem-Konvertierung als erkennbares Muster in das Vokabular aufgenommen werden. Alternativ kann aber auch ein Muster für das Vokabular generiert werden, das einem beispielsweise über ein Adressbuch dem Listeneintrag zugeordneten Namen oder einer anderweitig dem Listeneintrag zugeordneten Bezeichnung entspricht.For this purpose, expressions, in particular words, letters etc., which were not previously available in the vocabulary, into the vocabulary added if a list entry is assigned to them. For example the list entry itself using a grapheme-phoneme conversion be included in the vocabulary as a recognizable pattern. alternative can also be a pattern for the vocabulary can be generated, for example, via a Address book name assigned to the list entry or another corresponds to the name assigned to the list entry.

Die Vorrichtung hat vorzugsweise eine Kommunikationsfunktion und ist insbesondere ein mobiles Endgerät, beispielsweise in Form eines Mobiltelefons. Dann ist oder enthält die Liste von zuletzt stattgefundenen Aktionen vorzugsweise eine Liste von Verbindungen, insbesondere Anrufen.The device preferably has a communication function and is in particular a mobile terminal, for example in the form of a cell phone. Then the list of recent ones is or contains Actions preferably a list of connections, in particular Call.

Am interessantesten für eine Spracherkennung zur Steuerung einer Vorrichtung in Form eines Telefons sind natürlich die zuletzt gewählten Anrufe. Bei ihnen ist die Wahrscheinlichkeit am höchsten, dass die Aktion, nämlich das Anrufen eines der zuletzt gewählten Teilnehmer, in naher Zukunft wieder ausgeführt werden soll. Deshalb ist es besonders sinnvoll, hierfür die Möglichkeit einer Sprach- oder Namenwahl zur Verfügung zu stellen und zu aktivieren. Entsprechend ist oder enthält die Liste von zuletzt stattgefundenen Aktionen vorzugsweise eine Liste von zuletzt über die Vorrichtung gewählten Anrufen.Most interesting for speech recognition to control a device in the form of a telephone are of course the last chosen Calls. They are most likely to the action, namely calling one of the last dialed participants, in the near Future run again shall be. Therefore, it is particularly useful to have the opportunity to do this a choice of language or name to disposal to put and activate. The list is or contains accordingly a list of the most recent actions, preferably last over the device chosen Call.

Ähnliche Vorteile ergeben sich, wenn die Liste von zuletzt stattgefundenen Aktionen alternativ oder ergänzend eine Liste von entgangenen und/oder angenommenen Anrufen ist oder enthält.Similar There are advantages if the list of recent ones Actions alternatively or additionally is a list of missed and / or answered calls or contains.

Damit das für die Spracherkennung verwendete Vokabular ständig aktuell gehalten wird, sollte es nach jeder Veränderung der Liste von zuletzt stattgefundenen Aktionen aktualisiert werden. Das heißt, dass immer, wenn eine Aktion ausgeführt oder aufgerufen worden ist, die für die Spracherkennung relevant ist, also insbesondere von einem Typ ist, der durch die Spracherkennung ausführbar oder aufrufbar ist, eine Aktualisierung des Vokabulars anhand dieses neuen Eintrags in die Liste von zuletzt stattgefundenen Aktionen vorgenommen wird.So that used for speech recognition Vocabulary all the time is kept current, it should after every change of the list from last actions that have taken place are updated. It means that whenever an action is performed or has been called up that is relevant for speech recognition is, in particular of a type that is recognized by speech recognition executable or is available, an update of the vocabulary based on this new entry in the list of recent actions is made.

Zur Einsparung von Rechenkapazität kann dies aber auch erst ab einer bestimmten, gegebenenfalls vom Benutzer festlegbaren Anzahl von Veränderungen der Liste von zuletzt stattgefundenen Aktionen geschehen.This can save computing capacity but also only from a certain one, possibly by the user definable number of changes the list of recent actions.

Alternativ oder ergänzend kann schließlich auch vorgesehen werden, dass die Aktualisierung des verwendeten Vokabulars vom Benutzer der Vorrichtung ausgelöst wird.Alternatively or in addition can finally too be provided for updating the vocabulary used is triggered by the user of the device.

Um zu vermeiden, dass besondere, wichtigen Aktionen entsprechende Äußerungen aus der Liste gelöscht werden, kann das Vokabular resistente Ausdrücke enthalten, die nicht anhand der Liste der zuletzt stattgefundenen Aktionen aktualisiert, also insbesondere nicht gelöscht werden können.To avoid that special, statements corresponding to important actions are deleted from the list, the vocabulary may contain resistant expressions that are not based on updated the list of the last actions that took place, in particular not deleted can be.

Weist die Vorrichtung ein Adressbuch auf, so wird das Verfahren vorzugsweise erstmals gestartet, sobald die Anzahl der im Adressbuch verzeichneten Einträge die maximal zulässige oder mögliche Anzahl von Namenswahleinträgen übersteigt.The device assigns an address book the method is preferably started for the first time as soon as the number of entries in the address book the maximum allowed or possible Number of speed dial entries.

Das Verfahren kann allgemein zur benutzeradaptiven Vokabularauswahl von embedded Spracherkennern anhand im System vorhandener Nutzungsdaten erweitert werden. Es ergeben sich dabei eine Reihe von weiteren Anwendungsbeispielen wie zum Beispiel

– Sprachkommandos anhand der zuletzt aufgerufenen Programme,
– Voice Links anhand der zuletzt besuchten Web-Seiten,
– Städte-/Straßennahmen anhand der zuletzt eingegebenen Navigationsziele.

The method can generally be expanded for user-adaptive vocabulary selection of embedded speech recognizers based on usage data available in the system. There are a number of other application examples, such as

- voice commands based on the programs last called,
- Voice links based on the last web pages visited,
- City / street names based on the last entered navigation destinations.

Eine Vorrichtung, die eingerichtet ist, das geschilderte Verfahren auszuführen, lässt sich zum Beispiel durch Programmieren und Einrichten einer Datenverarbeitungsanlage mit Vorsehen von jeweils zu den genannten Verfahrensschritten gehörigen und dafür speziell eingerichteten Mitteln realisieren.A device that is set up is to carry out the described method, for example Programming and setting up a data processing system with Provision of each of the procedural steps mentioned and specifically for them realized funds.

Ein Programmprodukt für eine Datenverarbeitungsanlage, das Codeabschnitte enthält, mit denen eines der geschilderten Verfahren auf der Datenverarbeitungsanlage ausgeführt werden kann, lässt sich durch geeignete Implementierung des Verfahrens in einer Programmiersprache und Übersetzung in von der Datenverarbeitungsanlage ausführbaren Code ausführen. Die Codeabschnitte werden dazu gespeichert. Dabei wird unter einem Programmprodukt das Programm als handelbares Produkt verstanden. Es kann in beliebiger Form vorliegen, so zum Beispiel auf Papier, einem computerlesbaren Datenträger oder über ein Netz verteilt.A program product for a data processing system, that contains sections of code with which one of the described methods on the data processing system accomplished can be through suitable implementation of the method in a programming language and translation into Execute code executable by the data processing system. The Sections of code are saved for this. It is under a program product understood the program as a tradable product. It can be in any Form, for example on paper, a computer-readable data carrier or via a Network distributed.

Weitere wesentliche Vorteile und Merkmale der Erfindung ergeben sich aus der Beschreibung eines Ausführungsbeispiels.Other essential advantages and Features of the invention result from the description of an exemplary embodiment.

Erfindungsgemäß werden für die Selektion der Namenswahleinträge Zusatzinformationen über das Telefonverhalten des Benutzers hinzugezogen. Dazu eignen sich sehr gut die Protokolldaten der letzten Anrufe, die für gewählte, angenommene und entgangene Anrufe in den gängigen Mobiltelefonen vorhanden sind. In der Regel kann man davon ausgehen, dass diese Daten den derzeit aktiven Kommunikationspartnerkreis darstellen und damit eine hohe Wahrscheinlichkeit besteht, dass der Benutzer eine dieser Nummern in naher Zukunft wieder wählen wird.According to the invention, additional information about the Phone behavior of the user consulted. This is very suitable good the log data of the last calls, that for dialed, accepted and missed Calls in the usual Mobile phones are available. As a rule, one can assume that this data represents the currently active group of communication partners represent and there is therefore a high probability that the user will redial one of these numbers in the near future.

Dementsprechend werden die Protokolldaten der letzten Anrufe analysiert. Dazu wird zuerst die Liste der zuletzt gewählten Telefonnummern bzw. Anrufe ausgewertet. Die gewählte Telefonnummer wird dabei mit den Einträgen im Adressbuch verglichen. Existiert für die Nummer ein Eintrag im Adressbuch, wird dieser markiert und für die Namenswahlfunktion freigeschaltet. Das Verfahren wird solange wiederholt, bis die Maximalzahl von zugelassenen Namenswahleinträgen erreicht ist. Wurde nach dem Komplettdurchlauf der Liste der zuletzt gewählten Telefonnummern die Maximalzahl von Namenswahleinträgen noch nicht erreicht, so kann zusätzlich auf die Liste der entgangenen und/oder angenommenen Anrufe zurückgegriffen werden. Diese werden dann analog dem beschriebenen Verfahren bearbeitet, bis die Maximalzahl von Namenswahleinträgen erreicht ist.Accordingly, the log data of recent calls analyzed. First the list of the last selected Phone numbers and calls evaluated. The dialed phone number will be there with the entries compared in the address book. If there is an entry for the number in Address book, this is marked and activated for the name selection function. The process is repeated until the maximum number of permitted name dial entries is reached is. After the complete scrolling through the list of the last dialed phone numbers the maximum number of name dial entries has not yet been reached, so can additionally access to the list of missed and / or answered calls become. These are then processed in the same way as described, until the maximum number of speed dial entries is reached.

Anrufe können in Form von klassischen Sprachanrufen geführt werden, aber auch als SMS- oder E-Mail-Versand. Dementsprechend können statt Telefonnummern auch andere Verbindungsadressierungen zum Einsatz kommen.Calls can take the form of classic voice calls guided but also as SMS or e-mail. Accordingly can take place Telephone numbers also use other connection addresses come.

Das beschriebene Verfahren kann automatisch oder manuell angestoßen werden. Wird es manuell vom Benutzer ausgelöst, dienst es zum einmaligen Setup der Namenswahlfunktion. Wird es automatisch zum Beispiel nach jeder Änderung der Protokolldaten angestoßen, so werden die für die Namenswahl zugelassenen Einträge gemäß dem Telefonverhalten des Benutzers adaptiert.The procedure described can be automatic or triggered manually become. If it is triggered manually by the user, it serves as a one-off Setup of the name dialing function. It will automatically post for example every change the log data initiated, so they are for the dialing of entries permitted according to the telephone behavior of the Adapted to the user.

Zur Realisierung kann ein HNEK-basierter Erkenner mit einer Graphem-zu-Phonem-Umsetzung verwendet werden, der auf dem Mobiltelefon ablauffähig ist. Die maximal zulässige Anzahl von Namenswahleinträgen wir beispielsweise auf 100 und die maximale Anzahl von Adressbucheinträgen auf 500 festgelegt.An HNEK-based recognizer with a grapheme-to-phoneme conversion can be used for implementation, which can be run on the mobile phone. The maximum number of names allowed For example, dial entries are set to 100 and the maximum number of address book entries to 500.

In das Adressbuch werden vom Benutzer schrittweise Adressen eingetragen. Solange die Anzahl der Adressbucheinträge <- 100 ist, sind alle Einträge des Adressbuchs für die sprecherunabhängige Namenswahl freigeschaltet. Sie werden dazu mittels Graphem-zu-Phonem-Umsetzung in die Lautschrift des Erkenners umgewandelt und in dessen Vokabular aufgenommen. Jede Zuordnung eines Namenswahleintrages wird dabei mitprotokolliert, so dass sich für das Erkennervokabular eine Sortierung nach der Häufigkeit der Nutzung durchführen lässt. Ist die Anzahl der Adressbucheinträge > 100, so wird das automatische Update der Namenswahleinträge aktiviert. Dazu wird nun die Liste von zuletzt stattgefundenen Aktionen, das heißt in diesem Fall die Protokolldaten der letzten Anrufe ausgewertet. Zuerst werden sukzessive die zuletzt gewählten Nummern in ihrer zeitlichen Abfolge mit den Adressbucheinträgen verglichen. Existiert für eine Nummer ein Adressbucheintrag, wird der zugehörige Name (Vorname und/oder Nachname) über die Graphemzu-Phonem-Umsetzung in die Lautschrift des Erkenners umgewandelt. Existiert dieser Name noch nicht im Erkennervokabular, so wird durch ihn der am wenigsten genutzte Name des bisherigen Vokabulars substituiert und als neuer Updateeintrag markiert. Dies wird solange wiederholt, bis das Updatevokabular die Größe von 100 Namen erreicht hat oder das Ende der Liste erreicht ist. Ist bei Listenende die Vokabulargröße von 100 Update-Namen noch nicht erreicht, wird in analoger Weise mit den Einträgen der entgangenen und/oder angenommenen Anrufe verfahren.In the address book, the user will step by step Addresses entered. As long as the number of address book entries is <- 100, are All Entries of the address book for the speaker-independent choice of names unlocked. You will do this using grapheme-to-phoneme conversion converted into the recognizer's phonetic transcription and into his vocabulary added. Each assignment of a name entry is thereby logged, so that for lets the recognizer vocabulary sort according to the frequency of use. is the number of address book entries> 100, the automatic Update of the dialing entries activated. To do this, the list of the last actions that took place this means in this case the log data of the last calls are evaluated. First, the last dialed numbers are successively in their chronological order Sequence compared with the address book entries. Exists for a number an address book entry, the associated name (First name and / or last name) via the graphemzu-phoneme implementation in the phonetic transcription of the recognizer converted. If this name does not yet exist in the recognizer vocabulary, so it becomes the least used name of the previous one Vocabulary substituted and marked as a new update entry. This is repeated until the update vocabulary is 100 Name has reached or the end of the list has been reached. Is with End of list the vocabulary size of 100 The update name has not yet been reached entries of missed and / or answered calls.

Das beschriebene Verfahren wird nach jeder Änderung der Listeneinträge im Hintergrund wiederholt, so dass eine permanente Aktualisierung der aktiven Namenswahleinträge gegeben ist.The procedure described will follow every change of the list entries repeated in the background, so that a permanent update the active name dial entries given is.

Zusätzlich zum beschriebenen Verfahren kann als sinnvolle Ergänzung dem Benutzer die Option gegeben werden, einzelne Einträge manuell für die Namenswahl als permanent zu markieren. Diese werden dann resistent gehalten und sind nicht von einem automatischen Update betroffen. Die Anzahl der Update-Einträge verringert sich dann um die Anzahl der resistenten Einträge.In addition to the described method, as a useful addition the user will be given the option to manually edit individual entries for the Mark name selection as permanent. These then become resistant held and are not affected by an automatic update. The number of update entries then decreases by the number of resistant entries.

Durch die Erfindung wird eine telefonieverhaltensadaptierte Vokabularauswahl für die sprecherunabhängige Namenswahl ermöglicht. Sie erlaubt es, eine automatische, für den Benutzer möglichst optimale Auswahl von zugelassenen Einträgen für die Namenswahl aus vorhandenen Adressbucheinträgen anzugeben. Es werden die Protokolldaten der letzten Anrufe zur Auswahl der für die Namenswahl aktiven Namen benutzt.The invention adapts a behavior to telephone behavior Vocabulary selection for the speaker-independent Allows name selection. It allows automatic, optimal for the user Selection of allowed entries for the Specify name selection from existing address book entries. It will be the Log data of the last calls to select the active ones for dialing by name Name used.

Claims

Method of speech recognition with a list of recent actions taken to control a device where the vocabulary used for speech recognition based on the list of last action taken is updated.

The method of claim 1, wherein the vocabulary is updated is by expressions in the vocabulary, to which no list entry is assigned, are deleted.

The method of claim 1 or 2, wherein the vocabulary is updated is by expressions that were not previously available in the vocabulary if a list entry is assigned to them.

Method according to one of the preceding claims, in which the list of contains a list of connections.

Method according to one of the preceding claims, in which the list of a list of recently dialed calls contains.

Method according to one of the preceding claims, in which the list of last action taken a list of last missed and / or contains answered calls.

Method according to one of the preceding claims, in which the used Vocabulary automatically after every change or a specific one Number of changes the list of recent actions is updated.

Method according to one of the preceding claims, which is updated by the user of the vocabulary used Device can be triggered is.

Method according to one of the preceding claims, in which the vocabulary resistant expressions contains which are not based on the list of recent actions be updated.

Method according to one of the preceding claims, which triggered the procedure as soon as a number of address book entries exceeds a maximum permitted number of name dial entries lies.

Method according to one of the preceding claims, in which the list of last actions a list of recently called programs contains.

Method according to one of the preceding claims, in which the list of the last actions that have taken place is a list of the ones last visited Websites.

Method according to one of the preceding claims, which the list of the last actions took place a list of contains city and / or street names last entered as navigation destination.

Device that is set up, a method according to at least to perform one of the preceding claims.

Program product for a data processing system that contains code sections with which a method according to one of claims 1 to 13 on a data processing system executable is.