DE102013219649A1 - Method and system for creating or supplementing a user-specific language model in a local data memory connectable to a terminal - Google Patents

Method and system for creating or supplementing a user-specific language model in a local data memory connectable to a terminal Download PDF

Info

Publication number
DE102013219649A1
DE102013219649A1 DE201310219649 DE102013219649A DE102013219649A1 DE 102013219649 A1 DE102013219649 A1 DE 102013219649A1 DE 201310219649 DE201310219649 DE 201310219649 DE 102013219649 A DE102013219649 A DE 102013219649A DE 102013219649 A1 DE102013219649 A1 DE 102013219649A1
Authority
DE
Germany
Prior art keywords
user
language model
processing unit
data processing
external data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE201310219649
Other languages
German (de)
Inventor
Jens Walther
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Priority to DE201310219649 priority Critical patent/DE102013219649A1/en
Priority to PCT/EP2014/070164 priority patent/WO2015044097A1/en
Publication of DE102013219649A1 publication Critical patent/DE102013219649A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control

Abstract

Die Erfindung betrifft ein Verfahren zum Erstellen oder Ergänzen eines benutzerspezifischen Sprachmodells (8) in einem mit einem Endgerät (4, 5) verbindbaren lokalen Datenspeicher (7), wobei das Sprachmodell (8) eingerichtet ist, natürlichsprachlichen Äußerungen eines Benutzers Steuerbefehle zum Steuern des Endgerätes (4, 5) zuzuordnen, umfassend die Schritte: – Einsprechen einer natürlichsprachlichen Äußerung durch den Benutzer; – Übermitteln der natürlichsprachlichen Äußerung an eine externe Datenverarbeitungseinheit (2) und Transkribieren der natür lichsprachlichen Äußerung; – Erstellen oder Ergänzen des Sprachmodells (8) auf der externen Datenverarbeitungseinheit (2) anhand der transkribierten natürlichsprachlichen Äußerung; – vollständiges oder wenigstens teilweises Übertragen des Sprachmodells (8) von der externen Datenverarbeitungseinheit (2) an den lokalen Datenspeicher (7) sowie Speichern und/oder Ergänzen des Sprachmodells (8) in dem lokalen Datenspeicher (7). Die Erfindung betrifft ferner ein System (100), mit dem das Verfahren durchführbar ist.The invention relates to a method for creating or supplementing a user-specific language model (8) in a local data memory (7) which can be connected to a terminal (4, 5), wherein the language model (8) is set up, natural language utterances of a user control commands for controlling the terminal (4, 5), comprising the steps of: - speaking a natural language utterance by the user; - transmitting the natural language statement to an external data processing unit (2) and transcribing the natural language utterance; - creating or supplementing the language model (8) on the external data processing unit (2) based on the transcribed natural language utterance; - Completely or at least partially transferring the language model (8) from the external data processing unit (2) to the local data memory (7) and storing and / or supplementing the language model (8) in the local data memory (7). The invention further relates to a system (100) with which the method can be carried out.

Description

Die Erfindung betrifft ein Verfahren zum Erstellen oder Ergänzen eines benutzerspezifischen Sprachmodells in einem mit einem Endgerät verbindbaren lokalen Datenspeicher, wobei das Sprachmodell eingerichtet ist, natürlichsprachlichen Äußerungen eines Benutzers Steuerbefehle zum Steuern des Endgerätes zuzuordnen. Die Erfindung betrifft ferner ein System mit dem das Verfahren durchführbar ist. The invention relates to a method for creating or supplementing a user-specific language model in a local data memory which can be connected to a terminal, wherein the language model is set up to associate natural language utterances of a user with control commands for controlling the terminal. The invention further relates to a system with which the method is feasible.

Aus dem Stand der Technik ist es bekannt, Endgeräte, beispielsweise Infotainmentsysteme oder Navigationssysteme für PKW oder LKW, durch Eingabe natürlichsprachlicher Äußerungen zu steuern. Zu diesem Zweck werden Spracherkenner gewöhnlich mit statistischen Sprachmodellen (SLM) und mit semantischen Modellen (SEM) ergänzt. Bei einer natürlichsprachlichen Äußerung handelt es sich normalerweise um einen von dem Benutzer gesprochenen Text oder auch von dem Benutzer geäußerte Laute. Die genannten Modelle sind darauf ausgerichtet, eine von dem Benutzer z. B. in eine entsprechende akustische Eingabeeinheit eingegebene natürlichsprachliche Äußerung zu erkennen und der Äußerung einen Steuerbefehl zum Steuern des Endgerätes zuzuordnen. Gewöhnlich wird durch diesen Steuerbefehl dann eine definierte Aktion oder Funktion des Endgerätes ausgelöst. From the prior art it is known to control terminals, such as infotainment systems or navigation systems for cars or trucks, by entering natural language utterances. Speech recognizers are usually supplemented with statistical language models (SLM) and semantic models (SEM). A natural language utterance is usually a text spoken by the user or sounds uttered by the user. The models mentioned are geared to one of the user z. B. to recognize entered into a corresponding acoustic input unit natural language utterance and assign the utterance a control command for controlling the terminal. Usually, a defined action or function of the terminal is then triggered by this control command.

Die genannten Modelle, mit denen bekannte Spracherkenner gewöhnlich ergänzt werden, haben jedoch den Nachteil, dass sie sehr umfangreich sind und viel Speicherplatz benötigen, damit sie in der Lage sind, den Wortschatz einer Vielzahl von Benutzern abzudecken. Die Folge sind lange Latenzzeiten bei der Benutzung. Ferner bedingt die Verwendung dieser Modelle den Einsatz leistungsstarker und entsprechend teurer Prozessoren im Endgerät. However, these models, which are commonly supplemented by known speech recognizers, have the drawback that they are very large and require a lot of memory space to be able to cover the vocabulary of a large number of users. The result is long latency in use. Furthermore, the use of these models requires the use of powerful and correspondingly expensive processors in the terminal.

Der vorliegenden Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren zur Erstellung eines möglichst leistungsstarken und gleichzeitig möglichst preisgünstig implementierbaren Sprachmodells zu entwickeln, wobei das Modell eingerichtet sein soll, natürlichsprachlichen Äußerungen eines Benutzers Steuerbefehle zum Steuern eines Endgerätes zuzuordnen. Ferner soll ein System angegeben werden, mit dem dieses Verfahren durchführbar ist. The present invention is therefore based on the object to develop a method for creating a powerful as possible and at the same time as inexpensively implementable language model, the model should be set to associate natural language utterances of a user control commands for controlling a terminal. Furthermore, a system is to be specified, with which this method is feasible.

Diese Aufgabe wird gelöst durch ein Verfahren und ein System gemäß den unabhängigen Ansprüchen. Spezielle Ausgestaltungen des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Systems sind in den Unteransprüchen beschrieben. This object is achieved by a method and a system according to the independent claims. Special embodiments of the method and the system according to the invention are described in the subclaims.

Vorgeschlagen wird also ein Verfahren zum Erstellen oder Ergänzen eines benutzerspezifischen Sprachmodells in einem mit wenigstens einem Endgerät verbindbaren lokalen Datenspeicher, wobei das Sprachmodell eingerichtet ist, natürlichsprachlichen Äußerungen eines Benutzers Steuerbefehle zum Steuern des Endgerätes zuzuordnen, umfassend die Schritte:

  • – Einsprechen einer natürlichsprachlichen Äußerung durch den Benutzer;
  • – Übermitteln der natürlichsprachlichen Äußerung an eine externe Datenverarbeitungseinheit und Transkribieren der natürlich sprachlichen Äußerung, vorzugsweise Transkribieren in eine Textform;
  • – Erstellen oder Ergänzen des benutzerspezifischen Sprachmodells auf der externen Datenverarbeitungseinheit anhand der transkribierten natürlichsprachlichen Äußerung;
  • – vollständiges oder wenigstens teilweises Übertragen des Sprachmodells von der externen Datenverarbeitungseinheit an den mit dem Endgerät verbindbaren lokalen Datenspeicher sowie Speichern und/oder Ergänzen des Sprachmodells in dem lokalen Datenspeicher.
A method is therefore proposed for creating or supplementing a user-specific language model in a local data memory which can be connected to at least one terminal, wherein the language model is set up to associate natural language utterances of a user with control commands for controlling the terminal, comprising the steps:
  • - a natural language utterance by the user;
  • - Transmitting the natural language utterance to an external data processing unit and transcribing the natural linguistic utterance, preferably transcribing into a textual form;
  • - creating or supplementing the user-specific language model on the external data processing unit based on the transcribed natural language utterance;
  • Completely or at least partially transferring the language model from the external data processing unit to the local data memory connectable to the terminal and storing and / or supplementing the language model in the local data memory.

Dadurch, dass das Erstellen und/oder Ergänzen des benutzerspezifischen Sprachmodells auf der externen Datenverarbeitungseinheit durchgeführt wird und dass das Sprachmodell anschließend vollständig oder wenigstens teilweise von der externen Datenverarbeitungseinheit an den lokalen Datenspeicher übertragen sowie in dem lokalen Datenspeicher gespeichert und/oder ergänzt wird, wird ein zur Steuerung des Endgerätes nutzbares Sprachmodell zur Verfügung gestellt, das auf den jeweiligen Benutzer zugeschnitten ist. Bei vergleichsweise geringem Speicherbedarf kann das derart im lokalen Datenspeicher zur Verfügung gestellte Sprachmodell den von diesem Benutzer zur Steuerung des Endgerätes verwendeten Wortschatz abdecken. Der lokale Datenspeicher kann also kleiner ausgelegt sein als dies bei ähnlich leistungsstarken Spracherkennern der Fall ist, die aus dem Stand der Technik bekannt sind. Gleichzeitig können gute Ergebnisse und kurze Latenzzeiten auch mit vergleichsweise leistungsschwachen und damit preisgünstigen Prozessoren erzielt werden. Characterized in that the creation and / or supplement of the user-specific language model is performed on the external data processing unit and that the language model is then completely or at least partially transmitted from the external data processing unit to the local data memory and stored in the local data memory and / or supplemented, is a provided for the control of the terminal usable language model, which is tailored to the respective user. With a comparatively small memory requirement, the language model provided in the local data memory in this way can cover the vocabulary used by this user for controlling the terminal. The local data memory can thus be designed to be smaller than is the case with similarly high-performance speech recognizers which are known from the prior art. At the same time, good results and short latencies can be achieved even with comparatively low-performance and therefore low-cost processors.

Der Vorgang des Transkribierens kann insbesondere das Erstellen einer orthografischen Darstellung der natürlichsprachlichen Äußerung umfassen, z. B. in Form einer Folge von Worten und/oder Zeichen. Dabei können beliebige Schriftarten und Alphabete verwendet werden. Vorzugsweise liegt die Darstellung nach dem Transkribieren in digitaler Form vor, z. B. in Gestalt einer Textdatei. The process of transcribing may include, in particular, the creation of an orthographic representation of the natural language utterance, e.g. In the form of a sequence of words and / or characters. Any fonts and alphabets can be used. Preferably, the representation after transcribing is in digital form, e.g. B. in the form of a text file.

Vorgeschlagen wird ferner ein System, mit dem das hier vorgeschlagene Verfahren durchführbar ist. Es handelt es sich also um ein System zum Erstellen oder Ergänzen eines benutzerspezifischen Sprachmodells in einem mit einem Endgerät verbindbaren lokalen Datenspeicher, wobei das Sprachmodell eingerichtet ist, natürlichsprachlichen Äußerungen eines Benutzers Steuerbefehle zum Steuern des Endgerätes zuzuordnen. Das System umfasst:

  • – wenigstens ein Endgerät;
  • – einen mit dem Endgerät verbindbaren lokalen Datenspeicher zum Speichern des Sprachmodells;
  • – eine akustische Eingabeeinheit, über die natürlichsprachliche Äußerungen zur Steuerung des Endgerätes eingebbar sind;
  • – eine externe Datenverarbeitungseinheit, an die die natürlichsprachlichen Äußerungen übermittelbar sind, wobei die externe Datenverarbeitungseinheit eingerichtet ist, anhand der natürlichsprachlichen Äußerungen ein benutzerspezifisches Sprachmodell zu erstellen oder zu ergänzen und das Sprachmodell vollständig oder wenigstens teilweise zum Speichern in dem lokalen Datenspeicher an den lokalen Datenspeicher zu übertragen und
  • – eine mit der akustischen Eingabeeinheit und mit dem lokalen Datenspeicher verbindbare lokale Sende- und Empfangseinheit zum Übermitteln der natürlichsprachlichen Äußerung an die externe Datenverarbeitungseinheit und zum Empfangen des Sprachmodells von der externen Datenverarbeitungseinheit.
Also proposed is a system with which the method proposed here can be carried out. It is therefore a system for creating or supplementing a user-specific language model in one with a terminal connectable local data memory, wherein the language model is adapted to assign natural language utterances of a user control commands for controlling the terminal. The system includes:
  • - at least one terminal;
  • - A connectable to the terminal local data storage for storing the language model;
  • - An acoustic input unit, via the natural language utterances for controlling the terminal can be entered;
  • An external data processing unit to which the natural language utterances can be communicated, wherein the external data processing unit is adapted to create or supplement a user-specific language model based on the natural language utterances and the language model completely or at least partially to the local data memory for storing in the local data memory transferred and
  • - A connectable to the acoustic input unit and the local data storage local transmitting and receiving unit for transmitting the natural language utterance to the external data processing unit and for receiving the language model from the external data processing unit.

Vorzugsweise sind das Endgerät, der lokale Datenspeicher, die akustische Eingabeeinheit und die lokale Sende- und Empfangseinheit in einem Kraftfahrzeug anordenbar, angeordnet oder eingebaut, z. B. in einem PKW oder LKW. Der lokale Datenspeicher zum Speichern des Sprachmodells kann in das Endgerät integriert sein. Das Endgerät und der lokale Datenspeicher können jedoch auch als separate Einheiten ausgeführt sein. Auch die akustische Eingabeeinheit und die lokale Sende- und Empfangseinheit können in das Endgerät integriert oder als separate Einheiten ausgeführt sein. Das Endgerät und der lokale Datenspeicher können über eine drahtgebundene und/oder über eine drahtlose Datenverbindung verbindbar oder verbunden sein. Die akustische Eingabeeinheit umfasst typischerweise wenigstens ein Mikrophon. Preferably, the terminal, the local data memory, the acoustic input unit and the local transmitting and receiving unit in a motor vehicle can be arranged, arranged or installed, for. B. in a car or truck. The local data memory for storing the language model can be integrated in the terminal. However, the terminal and the local data store may also be implemented as separate units. The acoustic input unit and the local transmitting and receiving unit can also be integrated into the terminal or designed as separate units. The terminal and the local data memory may be connectable or connected via a wired and / or wireless data link. The acoustic input unit typically comprises at least one microphone.

Gewöhnlich umfasst das System zudem wenigstens einen lokalen Prozessor, der mit dem Endgerät, dem lokalen Datenspeicher, der akustischen Eingabeeinheit und der lokalen Sende- und Empfangseinheit drahtlos oder drahtgebunden verbindbar oder verbunden ist. Auch der lokale Prozessor ist vorzugsweise in dem PKW oder LKW angeordnet. Insbesondere kann der lokale Prozessor eingerichtet sein, durch Ausführen einer entsprechenden Spracherkennungssoftware das Transkribieren der eingegebenen natürlichsprachlichen Äußerung durchzuführen. Anhand des im lokalen Datenspeicher gespeicherten benutzerspezifischen Sprachmodells kann der lokale Prozessor der Äußerung dann wenigstens einen Steuerbefehl aus einer Menge von Steuerbefehlen zum Steuern des Endgerätes zuordnen und diesen Steuerbefehl an das Endgerät senden. Das Endgerät kann dann eine durch den Steuerbefehl veranlasste Aktion oder Funktion ausführen. Typically, the system also includes at least one local processor wirelessly or wirably connectable or connected to the terminal, the local data store, the acoustic input unit, and the local transceiver. Also, the local processor is preferably located in the car or truck. In particular, the local processor may be configured to perform the transcribing of the input natural language utterance by executing a corresponding speech recognition software. On the basis of the user-specific language model stored in the local data memory, the local processor can then associate the utterance with at least one control command from a set of control commands for controlling the terminal and send this control command to the terminal. The terminal may then perform an action or function initiated by the control command.

Das Endgerät kann z. B. wenigstens

  • – ein Audiogerät zum Abspielen von Audiodateien und/oder
  • – ein Videogerät zum Abspielen von Bild- und/oder Videodateien und/oder
  • – ein Telekommunikationsgerät zum Empfangen und/oder Versenden von Text-, Sprach-, Bild- oder Videonachrichten und/oder
  • – ein Navigationsgerät und/oder
  • – einen Stellantrieb zum Verstellen der Position einer Fensterscheibe, eines Spiegels, eines Sitzes oder einer Luftzuführvorrichtung und/oder
  • – eine Anlage zur Regelung einer Temperatur und/oder einer Luftfeuchtigkeit und/oder
  • – eine Steuerung von aus dem Internet heruntergeladenen Applikationssoftwareeinheiten
umfassen. Bei dem Endgerät kann es sich auch um einen Bordcomputer oder um ein tragbares Infotainmentgerät, wie beispielsweise ein Smartphone, handeln. The terminal can z. At least
  • - an audio device for playing audio files and / or
  • - a video device for playing video and / or video files and / or
  • A telecommunication device for receiving and / or sending text, voice, video or video messages and / or
  • - a navigation device and / or
  • - An actuator for adjusting the position of a window, a mirror, a seat or an air supply device and / or
  • - A system for controlling a temperature and / or humidity and / or
  • A control of application software units downloaded from the Internet
include. The terminal may also be an on-board computer or a portable infotainment device, such as a smartphone.

Die externe Datenverarbeitungseinheit kann z. B. ein zentraler Server eines Anbieters von Spracherkennern sein. Insbesondere kann die externe Datenverarbeitungseinheit eingerichtet sein, benutzerspezifische Sprachmodelle für eine Vielzahl verschiedener Benutzer zu erstellen, zu ergänzen, zu speichern und an verschiedene lokale Datenspeicher zum Speichern auf diesen lokalen Datenspeichern zu senden. Natürlich können auch verschiedene benutzerspezifische Sprachmodelle verschiedener Benutzer auf demselben lokalen Datenspeicher gespeichert werden. Dies kann sinnvoll sein, wenn mehrere Personen abwechselnd dasselbe Endgerät benutzen, z. B. wenn sie abwechselnd dasselbe Fahrzeug benutzen, in dem das Endgerät angeordnet oder eingebaut ist. Nur der Einfachheit halber wird hier und im Folgenden nur das Erstellen und Ergänzen eines benutzerspezifischen Sprachmodells für nur einen gegebenen Benutzer beschrieben. The external data processing unit can, for. B. be a central server of a provider of speech recognizers. In particular, the external data processing unit can be set up to create, supplement, store and send user-specific language models for a multiplicity of different users to various local data memories for storage on these local data memories. Of course, various user-specific language models of different users can also be stored on the same local data store. This can be useful if several people use the same terminal alternately, eg. B. when they use the same vehicle alternately in which the terminal is arranged or installed. For the sake of simplicity only and in the following, only the creation and supplementation of a user-specific language model for only one given user will be described.

Die externe Datenverarbeitungseinheit umfasst normalerweise wenigstens eine externe Sende- und Empfangseinheit, wenigstens einen externen Prozessor zum Erstellen und/oder Ergänzen des benutzerspezifischen Sprachmodells und wenigstens einen externen Datenspeicher, in dem das benutzerspezifische Sprachmodell dauerhaft oder wenigstens zeitweise speicherbar ist. Vorzugsweise sind die lokale Sende- und Empfangseinheit und die externe Sende- und Empfangseinheit über eine drahtlose Datenverbindung, z. B. über eine drahtlose Internetverbindung oder über eine sonstige drahtlose Telekommunikationsverbindung miteinander zum Austauschen von Daten verbindbar. The external data processing unit normally comprises at least one external transmitting and receiving unit, at least one external processor for creating and / or supplementing the user-specific language model and at least one external data memory in which the user-specific language model can be stored permanently or at least temporarily. Preferably, the local transmitting and receiving unit and the external transmitting and receiving unit via a wireless data connection, for. B. via a wireless Internet connection or via any other wireless telecommunications connection with each other for exchanging data connectable.

Bei einer speziellen Ausführungsform des vorgeschlagenen Verfahrens umfasst das Erstellen oder das Ergänzen des benutzerspezifischen Sprachmodells auf der externen Datenverarbeitungseinheit ein Erstellen oder ein Ergänzen eines benutzerspezifischen statistischen Sprachmodells (US-SLM), wobei das US-SLM aus der transkribierten natürlichsprachlichen Äußerung des Benutzers gebildet wird oder um diese ergänzt wird und wobei die transkribierte natürlichsprachliche Äußerung transkribierte Worte und/oder transkribierte Laute und/oder transkribierte Wortfolgen und/oder transkribierte Lautfolgen umfasst. Alternativ oder zusätzlich kann das Erstellen oder das Ergänzen des benutzerspezifischen Sprachmodells auf der externen Datenverarbeitungseinheit ein Erstellen oder Ergänzen eines semantischen Sprachmodells (US-SEM) umfassen, wobei in der transkribierten natürlichsprachlichen Äußerung des Benutzers Schlüsselworte und/oder Wortstämme von Schlüsselworten und/oder Wortfolgen identifiziert werden und das US-SEM aus den Schlüsselworten und/oder den Wortstämmen und/oder den Wortfolgen gebildet wird oder um diese ergänzt wird. Schlüsselworte des semantischen Modells lassen sich trainieren, indem der Benutzer eine Aktion ausführt und dieser ein Schlüsselwort zuordnet. In a specific embodiment of the proposed method, creating or supplementing the user-specific language model on the external data processing unit comprises creating or supplementing a user-specific statistical language model (US-SLM), wherein the US-SLM is formed from the transcribed natural language utterance of the user or these are supplemented and wherein the transcribed natural language utterance comprises transcribed words and / or transcribed sounds and / or transcribed word sequences and / or transcribed sound sequences. Alternatively or additionally, the creation or supplementation of the user-specific language model on the external data processing unit may comprise creating or supplementing a semantic language model (US-SEM), wherein keywords and / or word stems of keywords and / or word sequences are identified in the transcribed natural language utterance of the user and the US SEM is formed from or supplemented by the keywords and / or the word stems and / or the word sequences. Keywords of the semantic model can be trained by the user performing an action and assigning a keyword to it.

In beiden Fällen basiert das erstellte benutzerspezifische Sprachmodell also vor allem auf dem Vokabular, der Ausdrucksweise und den Sprachgewohnheiten des jeweiligen Benutzers. Das benutzerspezifische Sprachmodell kommt also ohne Vokabeln und Ausdrucksweisen aus, die der Benutzer zum Eingeben der Steuerbefehle gar nicht verwendet. Dies trägt in vorteilhafter Weise dazu bei, den Speicherbedarf des benutzerspezifischen Sprachmodells zu verringern, so dass der lokale Datenspeicher und der lokale Prozessor kleiner und kostengünstiger ausgelegt sein können. In both cases, the created user-specific language model is therefore based primarily on the vocabulary, the language and the language habits of each user. The user-specific language model is therefore without vocabulary and expressions that the user does not even use to enter the control commands. This advantageously contributes to reducing the memory requirements of the user-specific language model, so that the local data memory and the local processor can be made smaller and more cost-effective.

Eine weitere spezielle Ausführungsform des Verfahrens zeichnet sich dadurch aus, dass das Erstellen oder das Ergänzen des US-SEM umfasst, dass den Schlüsselworten und/oder den Wortstämmen und/oder den Wortfolgen statistische Gewichte und/oder Attribute zugeordnet werden, wobei mittels der statistischen Gewichte und/oder mittels der Attribute eine Zuordnung des jeweiligen Schlüsselworts oder Wortstamms oder der jeweiligen Wortfolge zu einer Teilmenge aus einer Menge von Steuerbefehlen herstellbar ist. A further specific embodiment of the method is characterized in that the creation or supplementing of the US SEM comprises assigning statistical weights and / or attributes to the keywords and / or the word stems and / or the word sequences, wherein by means of the statistical weights and / or by means of the attributes, an assignment of the respective keyword or word stem or the respective word sequence to a subset of a set of control commands can be established.

Insbesondere kann der eingesprochenen natürlichsprachlichen Äußerung wenigstens ein Steuerbefehl aus einer Menge von Steuerbefehlen zugeordnet werden, wobei die Zuordnung des Steuerbefehls zur eingesprochenen natürlichsprachlichen Äußerung mittels des im Datenspeicher gespeicherten benutzerspezifischen Sprachmodells vorgenommen wird und/oder wobei die Zuordnung des Steuerbefehls zur eingesprochenen natürlichsprachlichen Äußerung mittels der externen Datenverarbeitungseinheit vorgenommen wird und der Steuerbefehl an das Endgerät übermittelt wird. In particular, the natural language utterance being spoken can be assigned at least one control command from a set of control commands, wherein the assignment of the control command to the natural language utterance being spoken is carried out by means of the user-specific speech model stored in the data memory and / or the assignment of the control command to the natural-language utterance being spoken by means of the external speech command Data processing unit is made and the control command is transmitted to the terminal.

Die Zuordnung des Steuerbefehls zur eingesprochenen natürlichsprachlichen Äußerung kann dann insbesondere in Abhängigkeit von den in der natürlichsprachlichen Äußerung identifizierten Schlüsselworten und/oder Wortstämmen und/oder Wortfolgen und/oder in Abhängigkeit von den diesen Schlüsselworten und/oder Wortstämmen und/oder Wortfolgen im US-SEM jeweils zugeordneten statistischen Gewichten und/oder Attributen vorgenommen werden. The assignment of the control command to the natural language utterance being spoken can then depend, in particular, on the keywords and / or word stems and / or phrases identified in the natural language utterance and / or on the keywords and / or word stems and / or phrases in the US SEM respectively assigned statistical weights and / or attributes.

So kann einem Schlüsselwort oder einem entsprechenden Wortstamm, das oder der eines von mehreren Endgeräten bezeichnet, mittels eines entsprechenden Attributes die Menge derjenigen Steuerbefehle zugeordnet werden, die zur Steuerung dieses Endgerät dienen. Sind in oder an einem Fahrzeug beispielsweise ein Audiogerät und ein Außenspiegel angeordnet, so kann mittels des semantischen Sprachmodells festgestellt werden, dass es sich bei einer Äußerung, die das Schüsselwort „Außenspiegel“ enthält, um eine Äußerung zum Steuern des Außenspiegels und nicht zum Steuern des Audiogerätes handelt. Die Zuordnung eines Steuerbefehls zu einer gegebenen Äußerung kann anhand der Attribute also auf eine oder mehrere (echte) Untermengen der Menge aller möglichen Steuerbefehle eingeschränkt werden. Thus, a keyword or a corresponding word root, or one of several terminals designated by means of a corresponding attribute, the amount of those control commands are assigned, which are used to control this terminal. If, for example, an audio device and an exterior mirror are arranged in or on a vehicle, it can be ascertained by means of the semantic language model that an utterance containing the key word "exterior mirror" is an expression for controlling the exterior mirror and not for controlling the exterior mirror Audio device is acting. The assignment of a control command to a given utterance can therefore be limited to one or more (real) subsets of the set of all possible control commands based on the attributes.

Es ist denkbar, dass ein und dasselbe Schlüsselwort sich auf unterschiedliche Steuerbefehle beziehen kann. Beispielsweise kann das Schlüsselwort „verstellen“ sich im Zusammenhang mit einem Außenspiegel eines Fahrzeugs auf das Verstellen bezüglich unterschiedlicher Achsen beziehen. Einem gegebenen Schlüsselwort können also mehrere Attribute zugeordnet sein, wobei durch jedes der Attribute die Zuordnung zu unterschiedlichen Teilmengen aller möglichen Steuerbefehle zum Ausdruck kommt. Den Schlüsselworten können auch statistische Gewichte zugeordnet werden. Diese können die unterschiedlichen Wahrscheinlichkeiten kennzeichnen, mit denen ein gegebenes Schlüsselwort verschiedenen Steuerbefehlen zugeordnet wird. It is conceivable that one and the same keyword can refer to different control commands. For example, the keyword "misalign" in relation to an exterior mirror of a vehicle may refer to shifting with respect to different axes. A given keyword can therefore be assigned several attributes, whereby the assignment to different subsets of all possible control commands is expressed by each of the attributes. Key words can also be assigned statistical weights. These can identify the different probabilities with which a given keyword is assigned to different control commands.

Beispielsweise kann das Schlüsselwort „Suchen“ sich auf die Suche in einem Adressbuch oder auf die Suche in einer Liste von Audiotiteln beziehen. In dem Fall, dass ein gegebener Benutzer mit dem Schlüsselwort „Suchen“ in der großen Mehrzahl der Fälle die Suche in einer Liste von Audiotiteln initiieren möchte und nicht die Suche in einem Adressbuch, kann dem Schlüsselwort „Suchen“ in dem semantischen Modell für diesen Benutzer beispielsweise ein erstes Attribut „Suche in Adressbuch“ und ein zweites Attribut „Suche in Titelliste“ zugeordnet sein, wobei das zweite Attribut für diesen Benutzer z. B. ein größeres statistisches Gewicht hat als das erste Attribut. For example, the search keyword may refer to the search in an address book or the search in a list of audio tracks. In the case that a given user with the search keyword initiates search in a list of audio tracks in the great majority of cases For example, instead of searching in an address book, the keyword "Search" in the semantic model for that user may be associated with a first attribute "Search in address book" and a second attribute "Search in list of titles", the second attribute for that user z. B. has a larger statistical weight than the first attribute.

Enthält eine Äußerung mehrere Schlüsselworte, von denen jedes Schlüsselwort einem anderen Steuerbefehl zugeordnet ist, können anhand der den Schlüsselworten zugeordneten statistischen Gewichte verschiedene Wahrscheinlichkeiten für die Zuordnung der Äußerung zu den verschiedenen in Frage kommenden Steuerbefehlen ermittelt werden. Zum Beispiel kann einer gegebenen Äußerung derjenige Steuerbefehl zugeordnet werden, für den die ermittelte Wahrscheinlichkeit am größten ist. Es kann auch vorgesehen sein, dass eine endgültige Zuordnung nur dann vorgenommen wird, wenn die so ermittelte Wahrscheinlichkeit einen vorgegebenen Schwellwert überschreitet. If an utterance contains several keywords, each of which keyword is assigned to another control command, different probabilities for the assignment of the utterance to the various possible control commands can be determined on the basis of the statistical weights assigned to the keywords. For example, a given utterance may be assigned the control command for which the determined probability is greatest. It can also be provided that a final assignment is only made if the probability thus determined exceeds a predetermined threshold value.

Kann eine endgültige Zuordnung der Äußerung zu einem bestimmten Steuerbefehl nicht vorgenommen werden, so kann der Benutzer aufgefordert werden, einen Steuerbefehl aus einer Auswahl von mehren in Frage kommenden Steuerbefehlen auszuwählen. Dazu kann das System eine zusätzliche Ein- und Ausgabeeinheit umfassen, z. B. in Gestalt eines Sensorbildschirms (Touchscreen). Das benutzerspezifische Sprachmodell kann dann anhand der Interaktion mit dem Benutzer und unter Berücksichtigung von dessen Eingabe entsprechend angepasst oder ergänzt werden. Das Erstellen oder Ergänzen des benutzerspezifischen Sprachmodells kann also insbesondere eine Interaktion mit dem Benutzer umfassen. Verwendet der Benutzer beispielsweise erstmalig einen Begriff, der noch nicht Teil des Sprachmodells ist, so kann der Benutzer aufgefordert werden, eine Zuordnung dieses Begriffes zu einem bestimmten Steuerbefehl oder zu einer bestimmten Teilmenge von Steuerbefehlen vorzunehmen. Der neue Begriff kann dann dem US-SLM und/oder dem US-SEM hinzugefügt werden. Gegebenenfalls können dem Begriff im US-SEM dann Attribute und/oder statistische Gewichte zugeordnet werden. So kann das benutzerspezifische Sprachmodell schrittweise erweitert und auf den Benutzer zugeschnitten werden. If a final assignment of the utterance to a particular control command can not be made, the user may be prompted to select a control command from a selection of a plurality of candidate control commands. For this purpose, the system may include an additional input and output unit, for. B. in the form of a touch screen. The user-specific language model can then be adapted or supplemented according to the interaction with the user and taking into account his input. The creation or supplementing of the user-specific language model can thus in particular include an interaction with the user. For example, if the user first uses a term that is not yet part of the language model, then the user may be prompted to associate that term with a particular control command or with a particular subset of control commands. The new term can then be added to the US SLM and / or the US SEM. If appropriate, attributes and / or statistical weights can then be assigned to the term in the US-SEM. Thus, the user-specific language model can be gradually expanded and tailored to the user.

Bei einer speziellen Ausführungsform des vorgeschlagenen Verfahrens kann das Transkribieren der natürlichsprachlichen Äußerung auf der externen Datenverarbeitungseinheit und/oder auf einer mit der externen Datenverarbeitungseinheit über eine Datenverbindung verbindbaren weiteren externen Datenverarbeitungseinheit vorgenommen werden. Auf der externen Datenverarbeitungseinheit und/oder auf der weiteren externen Datenverarbeitungseinheit kann also eine Spracherkennungssoftware ausgeführt werden oder ausführbar sein. Bei der weiteren externen Datenverarbeitungseinheit kann es sich z. B. um einen internetbasierten Diktierservice handeln. In diesem Fall müssen in der (ersten) externen Datenverarbeitungseinheit also weniger Diktierressourcen zum Transkribieren vorgehalten werden, so dass die erste externe Datenverarbeitungseinheit kostengünstiger ausgeführt sein kann. In a specific embodiment of the proposed method, the natural language utterance can be transcribed on the external data processing unit and / or on a further external data processing unit connectable to the external data processing unit via a data connection. On the external data processing unit and / or on the other external data processing unit so a speech recognition software can be executed or be executable. In the other external data processing unit, it may be z. B. to act an Internet-based dictation service. In this case, therefore, fewer dictation resources have to be stored for transcribing in the (first) external data processing unit, so that the first external data processing unit can be embodied more cost-effectively.

Insbesondere kann es vorgesehen sein, dass das Transkribieren der natürlichsprachlichen Äußerung und/oder das Erstellen oder das Ergänzen des Sprachmodells mittels eines auf der externen Datenverarbeitungseinheit oder mittels eines auf der weiteren Datenverarbeitungseinheit gespeicherten weiteren statistischen Sprachmodells und/oder weiteren semantischen Sprachmodells und/oder eines neuronalen Netzes vorgenommen wird. Bei dem weiteren statistischen Sprachmodell und dem weiteren semantischen Sprachmodell handelt es sich dabei normalerweise um nicht-benutzerspezifische Modelle, also um sprecherunabhängige Modelle. Da sie auf der externen Datenverarbeitungseinheit bzw. auf der weiteren externen Datenverarbeitungseinheit implementiert sind, können diese Modelle umfangreich sein, ohne dass der lokale Datenspeicher und/oder der lokale Prozessor deswegen größer oder leistungsstärker ausgebildet sein müssen. Damit kann die Wahrscheinlichkeit dafür erhöht werden, dass von dem Benutzer verwendete Begriffe oder Ausdrucksweisen auch dann transkribiert werden können, wenn diese Begriffe noch nicht Teil des weniger umfangreichen benutzerspezifischen Sprachmodells sind, das in der externen Datenverarbeitungseinheit gespeichert ist. Eine zusätzliche Interaktion mit dem Benutzer, bei der der Benutzer wie oben beschrieben zur Eingabe über die weitere Eingabeeinheit aufgefordert wird, kann damit weitgehend vermieden werden. In particular, it may be provided that the transcribing of the natural language utterance and / or the creation or supplementing of the speech model by means of a further statistical language model and / or a further semantic language model and / or a neural language model stored on the external data processing unit or by means of a further data processing unit Network is made. The further statistical language model and the further semantic language model are usually non-user-specific models, ie speaker-independent models. Since they are implemented on the external data processing unit or on the further external data processing unit, these models can be extensive without the need for the local data memory and / or the local processor to be larger or more powerful. Thus, the probability can be increased that terms or expressions used by the user can be transcribed even if these terms are not yet part of the less extensive user-specific language model that is stored in the external data processing unit. An additional interaction with the user, in which the user is prompted for input via the additional input unit as described above, can thus be largely avoided.

Eine weitere spezielle Ausführungsform des Verfahrens zeichnet sich dadurch aus, dass mit der natürlichsprachlichen Äußerung eine Benutzerkennung zur Identifikation des Benutzers an die Datenverarbeitungseinheit übermittelt wird, wobei die Benutzerkennung

  • – durch den Benutzer eingegeben wird und/oder
  • – einen akustischen Sprachabdruck umfasst, der anhand der durch den Benutzer eingesprochenen natürlichsprachlichen Äußerung bestimmt wird, und/oder
  • – beim Einstecken eines Schlüssels in eine Einstecköffnung anhand einer Form des Schlüssels bestimmt wird und/oder
  • – mittels Gesichtserkennung bestimmt wird und/oder
  • – von einem mobilen Kommunikationsgerät des Benutzers, insbesondere von einem Mobiltelefon, übermittelt wird.
Another special embodiment of the method is characterized in that the natural-language utterance conveys a user identifier for identifying the user to the data processing unit, the user identifier
  • - is entered by the user and / or
  • - includes an acoustic voiceprint determined on the basis of the natural language utterance spoken by the user, and / or
  • - Is determined when inserting a key into an insertion opening on the basis of a shape of the key and / or
  • - Is determined by facial recognition and / or
  • - Is transmitted by a mobile communication device of the user, in particular by a mobile phone.

Dies ermöglicht in vorteilhafter Weise eine Identifikation des Benutzers. So kann die von dem Benutzer eingesprochene natürlichsprachliche Äußerung in der externen Datenverarbeitungseinheit zum Erstellen oder Ergänzen desjenigen benutzerspezifischen Sprachmodells verwendet werden, das genau diesem Benutzer in der externen Datenverarbeitungseinheit zugeordnet ist. Dies ist besonders dann vorteilhaft, wenn in der externen Datenverarbeitungseinheit eine Vielzahl von benutzerspezifischen Sprachmodellen jeweils unterschiedlicher Benutzer gespeichert sind, erstellt oder ergänzt werden. Dies ist auch vorteilhaft für den oben geschilderten Fall, in dem verschiedene Benutzer abwechselnd dasselbe Endgerät verwenden, z. B. wenn sie abwechselnd dasselbe Fahrzeug benutzen, in dem das Endgerät angeordnet oder eingebaut ist. This advantageously allows an identification of the user. Thus, the natural language utterance spoken by the user may be used in the external data processing unit to construct or supplement that user-specific language model associated with that particular user in the external data processing unit. This is particularly advantageous if in the external data processing unit, a plurality of user-specific language models each different users are stored, created or supplemented. This is also advantageous for the above-described case in which different users use the same terminal alternately, e.g. B. when they use the same vehicle alternately in which the terminal is arranged or installed.

Normalerweise ist es vorgesehen, dass die natürlichsprachliche Äußerung und/oder die Benutzerkennung über eine drahtlose Datenverbindung an die externe Datenverarbeitungseinheit übermittelt wird und/oder dass das benutzerspezifische Sprachmodell über eine drahtlose Datenverbindung von der Datenverarbeitungseinheit an das Endgerät übertragen wird. Vorzugsweise handelt es sich dabei um die bereits beschriebene drahtlose Internetverbindung oder sonstige drahtlose Telekommunikationsverbindung. Normally, it is provided that the natural language utterance and / or the user identifier is transmitted to the external data processing unit via a wireless data connection and / or that the user-specific language model is transmitted via a wireless data connection from the data processing unit to the terminal. This is preferably the already described wireless Internet connection or other wireless telecommunication connection.

Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen dargestellt und wird anhand der folgenden Beschreibung näher erläutert. Es zeigen: An embodiment of the invention is illustrated in the drawings and will be explained in more detail with reference to the following description. Show it:

1 schematisch ein erfindungsgemäßes System zum Er stellen oder Ergänzen eines benutzerspezifischen Sprachmodells in einem lokalen Datenspeicher, wobei das Sprachmodell eingerichtet ist, natürlichsprach lichen Äußerungen eines Benutzers Steuerbefehle zum Steuern eines ersten Endgerätes und/oder eines zweiten Endgerätes zuzuordnen, 1 schematically a system according to the invention to provide or supplement a user-specific language model in a local data memory, wherein the language model is arranged to assign natural language statements of a user control commands for controlling a first terminal and / or a second terminal,

2 schematisch Schritte eines Verfahrens zum Erstellen oder Ergänzen des benutzerspezifischen Sprachmodells in dem lokalen Datenspeicher aus 1 sowie 2 schematically steps of a method for creating or supplementing the user-specific language model in the local data memory 1 such as

3 schematisch weitere Schritte des in 2 dargestellten Verfahrens, wobei einer von dem Benutzer eingegebenen natürlichsprachlichen Äußerung anhand des in dem lokalen Datenspeicher gespeicherten benutzerspezifischen Sprachmodells ein Steuerbefehl zum Steuern eines der Endgeräte zugeordnet wird, der Steuerbefehl an dieses Endgerät übermittelt wird und dieses Endgerät eine durch den Steuerbefehl veranlasste Aktion durchführt. 3 schematically further steps of in 2 wherein a user-input natural language utterance is assigned a control command for controlling one of the terminals based on the user-specific language model stored in the local data memory, the control command is transmitted to that terminal, and this terminal performs an action initiated by the control command.

1 zeigt ein erfindungsgemäßes System 100. Bei dem gezeigten Ausführungsbeispiel umfasst das System 100 ein Kraftfahrzeug 1, eine erste externe Datenverarbeitungseinheit 2 und eine zweite externe Datenverarbeitungseinheit 3. In einem Innenraum des Kfz 1 sind ein erstes Endgerät 4 und ein zweites Endgerät 5 angeordnet. Bei dem ersten Endgerät 4 handelt es sich um ein Audiogerät mit einer Vielzahl von darin gespeicherten Audiodateien, die mittels des Audiogerätes abspielbar sind. Jeder Audiodatei ist z. B. ein Titel, ein Interpret, ein Aufnahmejahr und eine Dateigröße zugeordnet. Bei dem zweiten Endgerät 5 handelt es sich um einen Rückspiegel im Innenraum des Kfz 1, der z. B. mittels eines elektrischen Stellantriebes um eine erste und eine zweite Achse schwenkbar ist. Eine Stellung des zweiten Endgerätes 5 ist beispielsweise durch einen ersten Drehwinkel bezüglich der ersten Achse und durch einen zweiten Drehwinkel bezüglich der zweiten Achse gegeben. 1 shows a system according to the invention 100 , In the embodiment shown, the system comprises 100 a motor vehicle 1 , a first external data processing unit 2 and a second external data processing unit 3 , In an interior of the car 1 are a first terminal 4 and a second terminal 5 arranged. At the first terminal 4 It is an audio device with a large number of audio files stored therein that can be played back using the audio device. Each audio file is z. For example, a title, an artist, a year of recording, and a file size are assigned. In the second terminal 5 it is a rearview mirror in the interior of the vehicle 1 , the z. B. by means of an electric actuator about a first and a second axis is pivotable. A position of the second terminal 5 is given for example by a first angle of rotation with respect to the first axis and by a second angle of rotation with respect to the second axis.

Die Endgeräte 4 und 5 sind über Steuerbefehle steuerbar. Steuerbefehle, die das erste Endgerät 4 betreffen, sind beispielsweise ein Befehl zum Ein- und Ausschalten des ersten Endgerätes 4, zum Anzeigen aller Titel eines bestimmten Interpreten, zum Abspielen eines bestimmten Titels, zum Springen innerhalb eines gegebenen Titels, zum Verstellen einer Lautstärke oder zum Ordnen der Audiodateien anhand vorgegebener Kriterien wie Titel, Interpret, Aufnahmejahr, Dateigröße etc. Steuerbefehle, die das zweite Endgerät 5 betreffen, sind Befehle zum Verstellen des Spiegels, wobei diese Befehle z. B. eine der beiden Achsen als Verstellachse, einen Verstellwinkel und eine Verstellrichtung umfassen können. The terminals 4 and 5 are controllable via control commands. Control commands that the first terminal 4 are, for example, a command for turning on and off the first terminal 4 , to view all the tracks of a specific artist, to play a specific title, to jump within a given title, to adjust a volume or to organize the audio files based on predetermined criteria such as title, artist, recording year, file size, etc. control commands, the second terminal 5 are commands for adjusting the mirror, these commands z. B. may include one of the two axes as adjustment axis, an adjustment angle and an adjustment.

Das System 100 umfasst ferner einen lokalen Prozessor 6, einen lokalen Datenspeicher 7 zum Speichern wenigstens eines benutzerspezifischen Sprachmodells 8, das hier ein benutzerspezifisches statistisches Sprachmodell (US-SLM) 9 und ein benutzerspezifisches semantisches Sprachmodell (US-SEM) 10 umfasst, eine erste Eingabeeinheit 11, eine zweite Eingabeeinheit 12 sowie eine lokale Sende- und Empfangseinheit 13. Der lokale Prozessor 6, der lokale Datenspeicher 7, die Eingabeeinheiten 8 und 9 sowie die lokale Sende- und Empfangseinheit 10 sind ebenfalls im Innenraum des Kfz 1 angeordnet. Über Datenleitungen 14 sind die Eingabeeinheiten 11 und 12, die Endgeräte 4 und 5, der lokale Datenspeicher 7 und die lokale Sende- und Empfangseinheit 13 jeweils mit dem lokalen Prozessor 6 verbunden. The system 100 further includes a local processor 6 , a local data store 7 for storing at least one user-specific language model 8th here a user-specific statistical language model (US-SLM) 9 and a user-specific semantic language model (US-SEM) 10 comprises a first input unit 11 , a second input unit 12 as well as a local transmitting and receiving unit 13 , The local processor 6 , the local data store 7 , the input units 8th and 9 as well as the local transmitting and receiving unit 10 are also inside the car 1 arranged. Via data lines 14 are the input units 11 and 12 , the terminals 4 and 5 , the local data store 7 and the local transmitting and receiving unit 13 each with the local processor 6 connected.

Die erste Eingabeeinheit 11 umfasst wenigstens eine akustische Eingabeeinheit, z. B. in Form eines Mikrophons, über das ein Benutzer natürlichsprachliche Äußerungen eingeben kann. Diese können dann in der ersten Eingabeeinheit 11 selbst oder durch den lokalen Prozessor 6 in eine digitale Audiodatei umgewandelt werden. Die zweite Eingabeeinheit 12 ist hier als Ein- und Ausgabeeinheit ausgebildet und umfasst wenigstens einen Sensorbildschirm (Touchscreen), über den der Benutzer mit dem System 100 interagieren kann. The first input unit 11 comprises at least one acoustic input unit, for. In the form of a microphone through which a user can input natural language utterances. These can then be in the first input unit 11 itself or through the local processor 6 be converted into a digital audio file. The second input unit 12 is here as input and output unit formed and includes at least one touch screen, via which the user with the system 100 can interact.

Die erste externe Datenverarbeitungseinheit 2 umfasst wenigstens eine erste externe Sende- und Empfangseinheit 15, wenigstens einen ersten externen Prozessor 16 und wenigstens einen ersten externen Datenspeicher 17 zum dauerhaften oder wenigstens zeitweisen Speichern des benutzerspezifischen Sprachmodells 8 mit dem US-SLM 9 und dem US-SEM 10. Die erste externe Sende- und Empfangseinheit 15 ist über eine erste drahtlose Internetverbindung 18 mit der lokalen Sende- und Empfangseinheit 13 verbunden. Bei der ersten externen Datenverarbeitungseinheit 2 handelt es sich z. B. um einen Server eines Anbieters von Spracherkennungssoftware. The first external data processing unit 2 comprises at least a first external transmitting and receiving unit 15 , at least one first external processor 16 and at least one first external data store 17 for permanent or at least temporary storage of the user-specific language model 8th with the US SLM 9 and the US SEM 10 , The first external transmitting and receiving unit 15 is via a first wireless internet connection 18 with the local transmitting and receiving unit 13 connected. At the first external data processing unit 2 is it z. B. a server of a provider of speech recognition software.

Die zweite externe Datenverarbeitungseinheit 3 umfasst wenigstens eine zweite externe Sende- und Empfangseinheit 19, wenigstens einen zweiten externen Prozessor 20 und wenigstens einen zweiten externen Datenspeicher 21. In dem Datenspeicher 21 sind z. B. ein nicht-benutzerspezifisches, d. h. sprecherunabhängiges weiteres statistisches Sprachmodell 22 und ein ebenfalls nicht-benutzerspezifisches weiteres semantisches Sprachmodell 23 gespeichert. Die zweite externe Sende- und Empfangseinheit 19 ist über eine zweite drahtlose Internetverbindung 24 mit der ersten externen Sende- und Empfangseinheit 15 verbunden. Bei der zweiten externen Datenverarbeitungseinheit 3 handelt es sich z. B. um einen Server eines internetbasierten Diktierdienstes, der Audiodateien in Textdateien transkribieren kann. The second external data processing unit 3 comprises at least a second external transmitting and receiving unit 19 , at least one second external processor 20 and at least one second external data store 21 , In the data store 21 are z. B. a non-user-specific, ie speaker-independent further statistical language model 22 and another non-user specific semantic language model 23 saved. The second external transmitting and receiving unit 19 is via a second wireless internet connection 24 with the first external transmitting and receiving unit 15 connected. In the second external data processing unit 3 is it z. For example, a server of an Internet-based dictation service that can transcribe audio files into text files.

2 zeigt Schritte eines erfindungsgemäßen Verfahrens zum Erstellen oder Ergänzen des benutzerspezifischen Sprachmodells 8 in dem lokalen Datenspeicher 7. Hier und im Folgenden sind wiederkehrenden Merkmale jeweils mit identischen Bezugszeichen versehen. Das benutzerspezifische Sprachmodell 8 umfasst digitale Daten und/oder ein auf dem lokalen Prozessor 6 und auf dem ersten externen Prozessor 16 ausführbares Computerprogramm. Das Sprachmodell 8 ist eingerichtet, den durch den Benutzer über die erste Eingabeeinheit 11 eingesprochenen natürlichsprachlichen Äußerungen einen oder mehrere einer Vielzahl von Steuerbefehlen zum Steuern des ersten Endgerätes 4 und/oder des zweiten Endgerätes 5 zuzuordnen. 2 shows steps of a method according to the invention for creating or supplementing the user-specific language model 8th in the local data store 7 , Here and below, recurring features are each provided with identical reference numerals. The user-specific language model 8th includes digital data and / or one on the local processor 6 and on the first external processor 16 executable computer program. The language model 8th is set up by the user via the first input unit 11 natural language utterances one or more of a plurality of control commands for controlling the first terminal 4 and / or the second terminal 5 assigned.

In einem ersten Schritt 25 gibt der Benutzer über den Sensorbildschirm der zweiten Eingabeeinheit 12 eine in digitaler Form speicherbare Benutzerkennung ein. Dies kann z. B. ein Benutzername in Verbindung mit einem Passwort sein, durch welche der Benutzer eindeutig identifizierbar ist. Damit wird dem System 100 mitgeteilt, dass im Weiteren das benutzerspezifische Sprachmodell 8 für genau diesen Benutzer erstellt oder ergänzt werden soll. Bei abgewandelten Ausführungsformen kann die Benutzerkennung auch durch einen akustischen Sprachabdruck gegeben sein, der z. B. anhand eines Stimmenspektrums der durch den Benutzer eingesprochenen natürlichsprachlichen Äußerung ermittelt wird. Denkbar ist es ebenso, dass im Innenraum des Fahrzeugs eine Kamera angeordnet ist, die ein Bild des Gesichts des Benutzers aufnimmt, wobei der Benutzer mittels einer Gesichtserkennungssoftware identifiziert wird. Die Benutzerkennung kann auch von einem Mobiltelefon des Benutzers an das System 100 übermittelt werden. Der Benutzer kann auch anhand eines individuellen mechanischen Schlüssels identifiziert werden, den er zum Zwecke der Identifizierung in eine dafür vorgesehene Öffnung einsteckt. In a first step 25 the user enters via the touch screen of the second input unit 12 a user-stored in digital form a user ID. This can be z. B. be a user name in conjunction with a password by which the user is uniquely identifiable. This will be the system 100 communicated that in the following the user-specific language model 8th created or added to exactly this user. In modified embodiments, the user identifier may also be given by an acoustic voice print, the z. B. is determined based on a voice spectrum of the natural language utterance spoken by the user. It is also conceivable that in the interior of the vehicle, a camera is arranged, which takes a picture of the user's face, wherein the user is identified by means of a face recognition software. The user ID may also be from a user's mobile phone to the system 100 be transmitted. The user can also be identified by an individual mechanical key which he inserts into a designated opening for the purpose of identification.

Im nächsten Schritt 26 spricht der Benutzer eine natürlichsprachliche Äußerung in das Mikrophon der ersten Eingabeeinheit 11 ein. Mit der Eingabe der natürlichsprachlichen Äußerung beabsichtigt der Benutzer, eine bestimmte Aktion oder Funktion eines der Endgeräte 4 oder 5 auszulösen. Im vorliegenden Beispiel spricht der Benutzer den Satz „Ich möchte jetzt X von Y hören.“ Damit soll das erste Endgerät 4 veranlasst werden, die im Endgerät 4 gespeicherte Audiodatei abzuspielen, der der Titel X und der Interpret Y zugeordnet sind. Hier sind X und Y z. B. Einwortfolgen, bestehen also jeweils nur aus einem Wort. In the next step 26 the user speaks a natural language utterance in the microphone of the first input unit 11 one. By entering the natural language utterance, the user intends to perform a particular action or function on one of the terminals 4 or 5 trigger. In this example, the user speaks the phrase "I want to hear X from Y now." This is the first terminal 4 be initiated in the terminal 4 stored audio file with the title X and the interpreter Y assigned to it. Here are X and Y z. B. one-word sequences, ie each consist of only one word.

Im Schritt 27 wird die eingesprochene Äußerung des Benutzers in eine digitale Audiodatei umgewandelt. Diese wird zusammen mit der Benutzerkennung von der lokalen Sende- und Empfangseinheit 13 über die drahtlose Internetverbindung 18 an die erste externe Sende- und Empfangseinheit 15 der ersten externen Datenverarbeitungseinheit 2 übermittelt. Dort wird die Audiodatei mit der natürlichsprachlichen Äußerung anhand der Benutzerkennung dem in dem ersten externen Datenspeicher 17 gespeicherten benutzerspezifischen Sprachmodell 8 zugeordnet. In step 27 the spoken utterance of the user is converted into a digital audio file. This is combined with the user ID of the local sending and receiving unit 13 via the wireless internet connection 18 to the first external transmitting and receiving unit 15 the first external data processing unit 2 transmitted. There, the audio file with the natural language utterance on the basis of the user ID in the first external data memory 17 stored user-specific language model 8th assigned.

Im Schritt 28 wird die Audiodatei mit der natürlichsprachlichen Äußerung „Ich möchte jetzt X von Y hören“ über die zweite drahtlose Internetverbindung 24 an die zweite externe Datenverarbeitungseinheit 3 übermittelt. In step 28 the audio file with the natural language statement "I would now like to hear X from Y" over the second wireless internet connection 24 to the second external data processing unit 3 transmitted.

Im Schritt 29 wird sie dort mittels des zweiten externen Prozessors 20 unter Verwendung der im Datenspeicher 21 gespeicherten nicht-benutzerspezifischen Sprachmodelle SLM 22 und SEM 23 transkribiert. Dies bedeutet hier, dass die zweite externe Datenverarbeitungseinheit 3 z. B. eine digitale Textdatei erstellt, in der die genannte natürlichsprachliche Äußerung des Benutzers in Form einer Folge von Worten gespeichert ist, die durch eine Folge von Zeichen gegeben ist. Zum Beispiel umfasst die transkribierte natürlichsprachliche Äußerung eine Folge von Buchstaben des lateinischen Alphabets, Satzzeichen und Leerzeichen. In step 29 it is there by means of the second external processor 20 using the data store 21 stored non-user-specific language models SLM 22 and SEM 23 transcribed. This means here that the second external data processing unit 3 z. For example, a digital text file is created in which said natural language utterance of the user is stored in the form of a sequence of words given by a sequence of characters. For example, the transcribed natural language utterance includes a sequence of Letters of the Latin alphabet, punctuation and spaces.

Im Schritt 30 wird die so transkribierte natürlichsprachliche Äußerung dann wiederum in digitaler Form von der zweiten externen Datenverarbeitungseinheit 3 an die erste externe Datenverarbeitungseinheit 2 übermittelt. In step 30 The thus transcribed natural language utterance is then in turn in digital form from the second external data processing unit 3 to the first external data processing unit 2 transmitted.

Bei alternativen Ausführungsformen ist es auch denkbar, dass das im Schritt 29 beschriebene Transkribieren unmittelbar mittels der ersten externen Datenverarbeitungseinheit 2 vorgenommen wird. Das SLM 22 und das SEM 23 können also auch in der ersten externen Datenverarbeitungseinheit 2 gespeichert sein. In diesem Fall müssen die Schritte 28 und 30 nicht durchgeführt werden. In alternative embodiments, it is also conceivable that in step 29 Transcribing described directly by means of the first external data processing unit 2 is made. The SLM 22 and the SEM 23 So also in the first external data processing unit 2 be saved. In this case, the steps have to 28 and 30 not be carried out.

Im Schritt 31 wird das benutzerspezifische Sprachmodell 8 unter Verwendung der transkribierten natürlichsprachlichen Äußerung zunächst im ersten externen Datenspeicher 17 der ersten externen Datenverarbeitungseinheit 2 ergänzt. Sofern das Sprachmodell 8 noch nicht besteht, wird es im Schritt 31 erstmalig erstellt. Der Schritt 31 umfasst Schritte 31a und 31b. Im Schritt 31a wird dabei das US-SLM 9 im Datenspeicher 17 ergänzt oder erstellt. Im Schritt 31b wird das US-SEM im Datenspeicher 17 ergänzt oder erstellt. In step 31 becomes the user-specific language model 8th using the transcribed natural language utterance first in the first external data store 17 the first external data processing unit 2 added. Unless the language model 8th does not exist yet, it gets in step 31 first created. The step 31 includes steps 31a and 31b , In step 31a is doing the US SLM 9 in the data store 17 added or created. In step 31b the US SEM is in the data store 17 added or created.

Im vorliegenden Fall umfasst das US-SLM 9 des Sprachmodells 8 im Datenspeicher 17 schon eine Vielzahl von transkribierten Wortfolgen, z. B. Einwortfolgen, Zweiwortfolgen, Dreiwortfolgen oder längere Wortfolgen, die derselbe Benutzer in vorherigen Sitzungen eingegeben bzw. eingesprochen hat. Im Schritt 31a wird das US-SLM 9 nur insoweit durch die transkribierte natürlichsprachliche Äußerung „Ich möchte jetzt X von Y hören“ ergänzt, als das US-SLM 9 diese noch nicht umfasst. Beispielsweise umfasst das US-SLM 9 die gesamte Wortfolge „Ich möchte jetzt X von Y hören“ noch nicht, so dass diese dem US-SLM 9 im Datenspeicher 17 hinzugefügt wird. Ergänzt werden aber beispielsweise nur solche Einwortfolgen, die noch nicht von dem US-SLM 9 im Datenspeicher 17 umfasst sind. Hier sind dies beispielsweise die Einwortfolgen „X“ und „Y“, die dem US-SLM 9 im Datenspeicher 17 im Schritt 31a hinzugefügt werden. Statistische Gewichte von solchen Worten oder Wortfolgen der Äußerung „Ich möchte jetzt X von Y hören“, die das US-SLM 9 im Datenspeicher 17 bereits umfasst, können anhand der neu eingesprochenen Äußerung entsprechend angepasst, also z. B. erhöht werden. In the present case, the US SLM includes 9 of the language model 8th in the data store 17 already a multitude of transcribed word sequences, z. One-word sequences, two-word sequences, three-word sequences or longer word sequences that the same user has entered or recorded in previous sessions. In step 31a becomes the US SLM 9 only as far as the transcribed natural-language statement "I would now like to hear X from Y" complements the US SLM 9 this does not yet include. For example, the US SLM includes 9 the entire phrase "I want to hear X from Y" now does not, so this is the US SLM 9 in the data store 17 will be added. For example, only those one-word sequences are added that are not yet covered by the US SLM 9 in the data store 17 are included. Here are, for example, the one-word sequences "X" and "Y", the US SLM 9 in the data store 17 in step 31a to be added. Statistical weights of such words or phrases of the utterance "I would like to hear X of Y now," which the US SLM 9 in the data store 17 already included, can be adjusted according to the newly expressed utterance accordingly, so z. B. be increased.

Ebenso umfasst das US-SEM 10 im Datenspeicher 17 schon eine Vielzahl von Schlüsselworten, denen jeweils Attribute und statistische Gewichte zugeordnet sind. Hier umfasst das US-SEM 10 im Datenspeicher 17 beispielsweise bereits das Schlüsselwort „hören.“ Diesem sind im US-SEM 10 schon die Attribute „Audiogerät“ und „Abspielen“ mit einem bestimmten statistischen Gewicht zugeordnet. Dies bedeutet z. B., dass natürlichsprachlichen Äußerungen, die das Schlüsselwort „hören“ beinhalten, mit einer von Null verschiedenen Wahrscheinlichkeit diejenige Untermenge aller möglichen Steuerbefehle zugeordnet wird, die das erste Endgerät 4, also das Audiogerät, betreffen. Likewise, the US SEM 10 in the data store 17 already a multitude of key words, which are assigned attributes and statistical weights. Here, the US SEM includes 10 in the data store 17 For example, the keyword "hear." This is in the US SEM 10 already assigned the attributes "audio device" and "playback" with a certain statistical weight. This means z. For example, natural-language utterances that include the keyword "hearing" are assigned, with a non-zero probability, that subset of all the possible control commands that the first terminal 4 , so the audio device, concern.

Im vorliegenden Beispiel sind der Titel „X“ und der Interpret „Y“ bisher weder Teil des US-SLM 9 noch des US-SEM 10 im Datenspeicher 17. Wegen des gleichzeitigen Auftretens des dem US-SLM 9 und dem US-SEM 10 bereits bekannten Schlüsselwortes „hören“ werden das Wort „X“ und das Wort „Y“ im Schritt 31b jedoch dem US-SEM 10 im Datenspeicher 17 hinzugefügt und erhalten dort ebenfalls die dem bekannten Schlüsselwort „hören“ zugeordneten Attribute „Audiogerät“ und „Abspielen.“ Dabei wird dem Attribut „Audiogerät“ jedoch gleichzeitig ein größeres statistisches Gewicht zugeordnet als dem Attribut „Abspielen.“ So ist mit großer Wahrscheinlichkeit jeder Äußerung, die den Titel „X“ enthält, ein Befehl zuzuordnen, der das Audiogerät betrifft. Jedoch wird nicht jede Äußerung, die den Titel „X“ enthält, auf das Abspielen des Titels „X“ gerichtet sein. Denkbar ist z. B., dass der Benutzer lediglich das Anzeigen des dem Titel „X“ zugeordneten Aufnahmejahres wünscht. In this example, the title "X" and the artist "Y" are neither part of the US SLM yet 9 nor the US SEM 10 in the data store 17 , Because of the simultaneous occurrence of the US SLM 9 and the US SEM 10 already known keyword "hear" the word "X" and the word "Y" in the step 31b however, the US SEM 10 in the data store 17 There, the attribute "audio device", however, at the same time a greater statistical weight assigned as the attribute "play." So is in all probability any utterance that contains the title "X" to assign a command concerning the audio device. However, not every utterance containing the title "X" will be directed to playing the title "X". It is conceivable z. B. that the user only wants to display the title year associated with the title "X".

Da es sich bei den Worten „X“ und „Y“ um neu in das US-SEM 10 im Datenspeicher 17 aufgenommene Schlüsselworte handelt, wird der Benutzer über den Sensorbildschirm der zweiten Eingabeeinheit 12 aufgefordert, die Aufnahme der Worte „X“ und „Y“ als Schlüsselworte in das US-SEM 10 im Datenspeicher 17 und die Zuordnung der Attribute „Audiogerät“ und „Abspielen“ zu den neuen Schlüsselworten „X“ und „Y“ zu bestätigen. Zusätzlich kann dem Benutzer die Möglichkeit gegeben werden, den neuen Schlüsselworten „X“ und „Y“ weitere Attribute hinzuzufügen. Hier ordnet er dem neuen Schlüsselwort „X“ beispielsweise manuell das weitere Attribut „Titel“ und dem neuen Schlüsselwort „Y“ das weitere Attribut „Interpret“ zu. Since the words "X" and "Y" are new to the US SEM 10 in the data store 17 recorded keywords, the user is via the touch screen of the second input unit 12 asked to include the words "X" and "Y" as keywords in the US SEM 10 in the data store 17 and to confirm the assignment of the "Audio device" and "Play" attributes to the new keywords "X" and "Y". In addition, the user can be given the opportunity to add further attributes to the new keywords "X" and "Y". Here, for example, he assigns the new keyword "title" to the new keyword "X" and the further attribute "artist" to the new keyword "Y".

Auf die hier beschriebene Weise können den Schlüsselworten und/oder Wortfolgen von Schlüsselworten des US-SEM 10 im Datenspeicher 17 also statistische Gewichte und Attribute zugeordnet werden, anhand derer mit einer gegebenen Wahrscheinlichkeit eine Zuordnung des jeweiligen Schlüsselwortes oder der jeweiligen Wortfolge von Schlüsselworten zu einem bestimmten Steuerbefehl oder wenigstens zu einer Teilmenge aus der Menge aller möglichen Steuerbefehle zum Steuern der Endgeräte 4 und 5 herstellbar ist. Obwohl hier lediglich das Ergänzen der im Datenspeicher 17 bereits vorhandenen Modelle US-SLM 9 und US-SLM 10 beschrieben ist, wird es sich dem Fachmann unmittelbar erschließen, wie das Verfahren umgesetzt werden kann, wenn das Sprachmodell 8 anhand einer eingesprochenen natürlichsprachlichen Äußerung ganz von Neuem erstellt wird, z. B. bei einer allerersten Sitzung des Benutzers. In the manner described herein, the keywords and / or phrases of keywords of the US SEM 10 in the data store 17 Thus statistical weights and attributes are assigned, on the basis of which with a given probability, an assignment of the respective keyword or word sequence of keywords to a particular control command or at least a subset of the set of all possible control commands for controlling the terminals 4 and 5 can be produced. Although here only the addition of the data storage 17 existing models US-SLM 9 and US SLM 10 is described directly to the expert, how the method can be implemented if the language model 8th is created from a natural language uttered statement completely new, z. At a very first session of the user.

Im Schritt 32 wird das benutzerspezifische Sprachmodell 8 mit dem US-SLM 9 und dem US-SLM 10 vollständig oder wenigstens teilweise von der ersten externen Datenverarbeitungseinheit 2 über die drahtlose Internetverbindung 18 an den lokalen Datenspeicher 7 übertragen und in diesem gespeichert. Vorzugsweise handelt es sich dabei um eine Aktualisierung einer bereits im lokalen Datenspeicher 7 gespeicherten vorherigen Version des Sprachmodells 8. Es werden also vorzugsweise nur Änderungen und/oder Ergänzungen der vorherigen Version übertragen. Eine solche Aktualisierung kann in regelmäßigen Abständen automatisch oder z. B. auf eine entsprechende Eingabe des Benutzers hin vorgenommen werden. Diese kann der Benutzer z. B. über die zweite Eingabeeinheit 12 vornehmen. Es ist auch denkbar, dass die Aktualisierung des Sprachmodells 8 auch dem lokalen Datenspeicher 7 im Anschluss an jede Sitzung des Benutzers durchgeführt wird, also jedes Mal, nachdem der Benutzer eine natürlichsprachliche Äußerung eingesprochen hat. In step 32 becomes the user-specific language model 8th with the US SLM 9 and the US SLM 10 completely or at least partially from the first external data processing unit 2 via the wireless internet connection 18 to the local data store 7 transferred and stored in this. Preferably, this is an update of an already in the local data store 7 stored previous version of the language model 8th , Thus, preferably only changes and / or additions to the previous version are transmitted. Such an update may be made at regular intervals automatically or z. B. be made to a corresponding input of the user. This can be the user z. B. via the second input unit 12 make. It is also conceivable that updating the language model 8th also the local data store 7 following each user's session, that is, each time after the user has spoken a natural language utterance.

In 3 sind weitere Verfahrensschritte gezeigt, die zeitgleich mit den in 2 dargestellten Verfahrensschritten durchführbar sind. Diese weiteren Verfahrensschritte beschreiben, wie der eingesprochenen natürlichsprachlichen Äußerung anhand des bereits im lokalen Datenspeichers 7 gespeicherten Modells 8 ein Steuerbefehl zugeordnet wird und gemäß diesem Steuerbefehl eine Aktion in einem der Endgeräte 4 und 5 ausgelöst wird. Das in 2 beschriebene Ergänzen des Modells 8 im lokalen Datenspeicher 7 und das Steuern der Endgeräte 4 und 5 anhand der eingesprochenen Äußerung und der bereits im Datenspeicher 7 gespeicherten Version des Modells 8 können also parallel durchgeführt werden. In 3 Further process steps are shown, which coincide with those in 2 shown method steps are feasible. These further method steps describe how the natural language utterance spoken on the basis of the already in the local data memory 7 stored model 8th a control command is assigned and according to this control command an action in one of the terminals 4 and 5 is triggered. This in 2 described completion of the model 8th in the local data store 7 and controlling the terminals 4 and 5 based on the spoken statement and the already in the data memory 7 saved version of the model 8th can be done in parallel.

Nach der Eingabe der Benutzerkennung und der natürlich sprachlichen Äußerung in den Schritten 25 und 26 wird in einem Schritt 33 das Transkribieren der natürlichsprachlichen Äußerung durch den lokalen Prozessor 6 unter Verwendung des im lokalen Datenspeicher 7 gespeicherten US-SLM 9 durchgeführt. Im Schritt 34 wird der transkribierten Äußerung dann unter Verwendung des im lokalen Datenspeicher 7 gespeicherten US-SEM 10 ein Steuerbefehl zugeordnet. Im Schritt 35 wird dieser Steuerbefehl dann an das entsprechende Endgerät gesendet. Im Schritt 36 führt dieses Endgerät dann eine durch diesen Steuerbefehl veranlasst Aktion aus. Diese Aktion kann z. B. das Abspielen einer Audiodatei durch das erste Endgerät 4 oder das Verstellen des Endgerätes 5 umfassen. After entering the user ID and the natural language utterance in the steps 25 and 26 gets in one step 33 the transcription of the natural language utterance by the local processor 6 using the local data store 7 stored US SLM 9 carried out. In step 34 the transcribed utterance is then written using the local data store 7 stored US SEM 10 assigned a control command. In step 35 This control command is then sent to the appropriate terminal. In step 36 This terminal then executes an action caused by this control command. This action can z. B. playing an audio file by the first terminal 4 or adjusting the terminal 5 include.

In dem Fall, dass das Transkribieren im Schritt 33 unter Verwendung des im lokalen Datenspeicher 7 gespeicherten US-SLM 9 oder die Zuordnung im Schritt 34 unter Verwendung des im lokalen Datenspeicher 7 gespeicherten US-SEM 10 nicht durchführbar sind, weil die im lokalen Datenspeicher 7 gespeicherten Versionen des US-SLM 9 oder des US-SEM 10 noch nicht mächtig genug sind, um die aktuell eingesprochene Äußerung des Benutzers zu verarbeiten, werden zunächst die in 2 gezeigten Verfahrensschritte durchgeführt, was in 3 in Gestalt der Verfahrensschritte 37 und 38 gezeigt ist. In diesem Fall erfolgt also zunächst eine Aktualisierung des im lokalen Datenspeicher 7 gespeicherten Sprachmodells 8. In the case that transcribing in step 33 using the local data store 7 stored US SLM 9 or the assignment in the step 34 using the local data store 7 stored US SEM 10 are not feasible because the local data store 7 stored versions of the US SLM 9 or the US SEM 10 are not yet powerful enough to process the currently spoken utterance of the user, are first in 2 shown process steps performed in 3 in the form of the process steps 37 and 38 is shown. In this case, an update of the local data memory takes place first 7 stored language model 8th ,

In dem Fall, dass die drahtlose Internetverbindung 18 zwischen der lokalen Sende- und Empfangseinheit 13 und der ersten externen Sende- und Empfangseinheit 15 nicht herstellbar ist, weil das Fahrzeug 1 z. B. durch einen Tunnel fährt oder sich in einer Tiefgarage befindet, werden nur die Verfahrensschritte 25, 26, 33, 34, 35 und 36 durchgeführt. In the case that the wireless internet connection 18 between the local transmitting and receiving unit 13 and the first external transmitting and receiving unit 15 can not be produced because the vehicle 1 z. B. drives through a tunnel or is in an underground car park, only the process steps 25 . 26 . 33 . 34 . 35 and 36 carried out.

Claims (11)

Verfahren zum Erstellen oder Ergänzen eines benutzerspezifischen Sprachmodells (8) in einem mit einem Endgerät (4, 5) verbindbaren lokalen Datenspeicher (7), wobei das Sprachmodell (8) eingerichtet ist, natürlichsprachlichen Äußerungen eines Benutzers Steuerbefehle zum Steuern des Endgerätes (4, 5) zuzuordnen, umfassend die Schritte: – Einsprechen einer natürlichsprachlichen Äußerung durch den Benutzer; – Übermitteln der natürlichsprachlichen Äußerung an eine externe Datenverarbeitungseinheit (2) und Transkribieren der natürlichsprachlichen Äußerung; – Erstellen oder Ergänzen des Sprachmodells (8) auf der externen Datenverarbeitungseinheit (2) anhand der transkribierten natürlichsprachlichen Äußerung; – vollständiges oder wenigstens teilweises Übertragen des Sprachmodells (8) von der externen Datenverarbeitungs einheit (2) an den lokalen Datenspeicher (7) sowie Speichern und/oder Ergänzen des Sprachmodells (8) in dem lokalen Datenspeicher (7). Method for creating or supplementing a user-specific language model ( 8th ) in one with a terminal ( 4 . 5 ) connectable local data memory ( 7 ), where the language model ( 8th ) is arranged, natural language utterances of a user control commands for controlling the terminal ( 4 . 5 ), comprising the steps of: - speaking a natural language utterance by the user; - transmission of the natural language statement to an external data processing unit ( 2 ) and transcribing the natural language utterance; - Create or complete the language model ( 8th ) on the external data processing unit ( 2 ) based on the transcribed natural language statement; Complete or at least partial transfer of the language model ( 8th ) from the external data processing unit ( 2 ) to the local data store ( 7 ) as well as saving and / or supplementing the language model ( 8th ) in the local data store ( 7 ). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erstellen oder das Ergänzen des Sprachmodells (8) auf der externen Datenverarbeitungseinheit (2) ein Erstellen oder ein Ergänzen eines benutzerspezifischen – statistischen Sprachmodells (US-SLM) (9) umfasst, wobei das US-SLM (9) aus der transkribierten natürlichsprach lichen Äußerung gebildet wird oder um diese ergänzt wird und wobei die transkribierte natürlichsprachliche Äußerung transkribierte Worte und/oder transkribierte Laute und/oder transkribierte Wortfolgen und/oder transkribierte Lautfolgen umfasst, und/oder – semantischen Sprachmodells (US-SEM) (10) umfasst, wobei in der transkribierten natürlichsprachlichen Äußerung Schlüsselworte und/oder Wortstämme von Schlüsselworten und/oder Wortfolgen identifiziert werden und das US-SEM aus den Schlüsselworten und/oder den Wortstämmen und/oder den Wortfolgen gebildet wird oder um diese ergänzt wird. Method according to Claim 1, characterized in that the creation or supplementing of the language model ( 8th ) on the external data processing unit ( 2 ) creating or supplementing a user-specific statistical language model (US-SLM) ( 9 ), the US-SLM ( 9 ) is formed from or supplemented by the transcribed natural-language utterance, and wherein the transcribed natural-language utterance comprises transcribed words and / or transcribed sounds and / or transcribed word sequences and / or transcribed sound sequences, and / or - semantic language model (US-SEM) ( 10 ), wherein in the transcribed natural language utterance keywords and / or word stems of keywords and / or word sequences are identified and the US SEM is formed from or supplemented by the keywords and / or the word stems and / or the word sequences. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Erstellen oder das Ergänzen des US-SEM (10) umfasst, dass den Schlüsselworten und/oder den Wortstämmen und/oder den Wortfolgen statistische Gewichte und/oder Attribute zugeordnet werden, wobei mittels der statistischen Gewichte und/oder mittels der Attribute eine Zuordnung des jeweiligen Schlüsselworts oder Wortstamms oder der jeweiligen Wortfolge zu einer Teilmenge aus einer Menge von Steuerbefehlen herstellbar ist. Method according to claim 1 or 2, characterized in that the creation or supplementation of the US SEM ( 10 ) comprises assigning statistical weights and / or attributes to the keywords and / or the word stems and / or the word sequences, wherein by means of the statistical weights and / or by means of the attributes an assignment of the respective keyword or word stem or the respective word sequence to a subset can be produced from a set of control commands. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der eingesprochenen natürlichsprachlichen Äußerung wenigstens ein Steuerbefehl aus einer Menge von Steuerbefehlen zugeordnet wird, wobei die Zuordnung des Steuerbefehls zur eingesprochenen natürlichsprachlichen Äußerung mittels des im lokalen Datenspeicher (7) gespeicherten benutzerspezifischen Sprachmodells (8) vorgenommen wird und/oder wobei die Zuordnung des Steuerbefehls zur eingesprochenen natürlichsprachlichen Äußerung mittels der externen Daten verarbeitungseinheit (2) vorgenommen wird und der Steuerbefehl an das Endgerät (4, 5) übermittelt wird. Method according to one of the preceding claims, characterized in that the natural-language utterance being spoken is assigned at least one control command from a set of control commands, the assignment of the control command to the natural-language utterance being interpelled by means of the local data memory ( 7 ) stored user-specific language model ( 8th ) is carried out and / or wherein the assignment of the control command to the natural language uttered statement by means of the external data processing unit ( 2 ) and the control command to the terminal ( 4 . 5 ) is transmitted. Verfahren nach den Ansprüchen 3 und 4, dadurch gekennzeichnet, dass die Zuordnung des Steuerbefehls zur eingesprochenen natürlichsprachlichen Äußerung in Abhängigkeit von den in der natürlichsprachlichen Äußerung identifizierten Schlüsselworten und/oder Wortstämmen und/oder Wortfolgen und/oder in Abhängigkeit von den diesen Schlüsselworten und/oder Wortstämmen und/oder Wortfolgen im US-SEM (10) jeweils zugeordneten statistischen Gewichten und/oder Attributen vorgenommen wird. Method according to claims 3 and 4, characterized in that the assignment of the control command to the natural language utterance being spoken depends on the keywords and / or word stems and / or word sequences identified in the natural language utterance and / or on these keywords and / or Word stems and / or phrases in the US SEM ( 10 ) is carried out in each case assigned statistical weights and / or attributes. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Transkribieren der natürlichsprachlichen Äußerung auf der externen Datenverarbeitungseinheit (2) und/oder auf einer mit der externen Datenverarbeitungseinheit (2) über eine Datenverbindung (24) verbindbaren weiteren externen Datenverarbeitungseinheit (3) vorgenommen wird. Method according to one of the preceding claims, characterized in that the transcription of the natural language utterance on the external data processing unit ( 2 ) and / or on one with the external data processing unit ( 2 ) via a data connection ( 24 ) connectable further external data processing unit ( 3 ) is made. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Transkribieren der natürlichsprachlichen Äußerung und/oder das Erstellen oder das Ergänzen des Sprachmodells (8) mittels eines auf der externen Datenverarbeitungseinheit (2) oder mittels eines auf einer weiteren externen Datenverarbeitungseinheit (3) gespeicherten – weiteren statistischen Sprachmodells (22) und/oder – weiteren semantischen Sprachmodells (23) und/oder – neuronalen Netzes vorgenommen wird. A method according to claim 6, characterized in that the transcribing of the natural language utterance and / or the creation or supplementing of the language model ( 8th ) by means of an external data processing unit ( 2 ) or by means of an external data processing unit ( 3 ) - another statistical language model ( 22 ) and / or - another semantic language model ( 23 ) and / or neural network. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit der natürlichsprachlichen Äußerung eine Benutzerkennung zur Identifikation des Benutzers an die externe Datenverarbeitungseinheit (2) übermittelt wird, wobei die Benutzerkennung – durch den Benutzer eingegeben wird und/oder – einen akustischen Sprachabdruck umfasst, der anhand der durch den Benutzer eingesprochenen natürlichsprachlichen Äußerung bestimmt wird, und/oder – beim Einstecken eines Schlüssels in eine Einstecköffnung anhand einer Form des Schlüssels bestimmt wird und/oder – mittels Gesichtserkennung bestimmt wird und/oder – von einem mobilen Kommunikationsgerät des Benutzers, insbesondere von einem Mobiltelefon, übermittelt wird. Method according to one of the preceding claims, characterized in that with the natural language utterance a user identification for identifying the user to the external data processing unit ( 2 ), wherein the user identifier is input by the user and / or comprises an acoustic voiceprint determined from the natural language utterance spoken by the user, and / or when inserting a key into an insertion port based on a shape of the key is determined and / or - is determined by facial recognition and / or - is transmitted by a mobile communication device of the user, in particular by a mobile phone. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die natürlichsprachliche Äußerung und/oder die Benutzerkennung über eine drahtlose Internetverbindung (18) an die externe Datenverarbeitungseinheit (2) übermittelt wird und/oder dass das benutzerspezifische Sprachmodell (8) über eine drahtlose Internetverbindung (18) von der externen Datenverarbeitungseinheit (2) an das Endgerät (4, 5) über tragen wird. Method according to one of the preceding claims, characterized in that the natural language utterance and / or the user identification via a wireless Internet connection ( 18 ) to the external data processing unit ( 2 ) and / or that the user-specific language model ( 8th ) via a wireless internet connection ( 18 ) from the external data processing unit ( 2 ) to the terminal ( 4 . 5 ) will carry over. System (100) zum Erstellen oder Ergänzen eines benutzerspezifischen Sprachmodells (8) in einem mit einem Endgerät (4, 5) verbindbaren lokalen Datenspeicher (7), wobei das Sprachmodell (8) eingerichtet ist, natürlichsprachlichen Äußerungen eines Benutzers Steuerbefehle zum Steuern des Endgerätes (4, 5) zuzuordnen, umfassend: – wenigstens ein Endgerät (4, 5); – einen mit dem Endgerät (4, 5) verbindbaren lokalen Datenspeicher (7) zum Speichern des Sprachmodells (8); – eine akustische Eingabeeinheit (11), über die natür lichsprachliche Äußerungen zur Steuerung des Endgerätes (4, 5) eingebbar sind; – eine externe Datenverarbeitungseinheit (2), an die die natürlichsprachlichen Äußerungen übermittelbar sind, wobei die externe Datenverarbeitungseinheit (2) eingerichtet ist, anhand der natürlichsprachlichen Äußerungen das benutzerspezifisches Sprachmodell (8) zu erstellen oder zu ergänzen und das Sprachmodell (8) vollständig oder wenigstens teilweise zum Speichern in dem lokalen Datenspeicher (7) an den lokalen Datenspeicher (7) zu übertragen; und – eine mit der akustischen Eingabeeinheit (11) und mit dem lokalen Datenspeicher (7) verbindbare lokale Sende- und Empfangseinheit (13) zum Übermitteln der natürlich sprachlichen Äußerung an die externe Datenverarbeitungseinheit (2) und zum Empfangen des Sprachmodells (8) von der externen Datenverarbeitungseinheit (2). System ( 100 ) for creating or supplementing a user-specific language model ( 8th ) in one with a terminal ( 4 . 5 ) connectable local data memory ( 7 ), where the language model ( 8th ) is arranged, natural language utterances of a user control commands for controlling the terminal ( 4 . 5 ), comprising: - at least one terminal ( 4 . 5 ); - one with the terminal ( 4 . 5 ) connectable local data memory ( 7 ) for storing the language model ( 8th ); An acoustic input unit ( 11 ), about the natural linguistic utterances for controlling the terminal ( 4 . 5 ) can be entered; An external data processing unit ( 2 ), to which the natural language utterances can be transmitted, whereby the external data processing unit ( 2 ) is set up, based on the natural language utterances the user-specific language model ( 8th ) or to complement the language model ( 8th ) completely or at least partially for storage in the local data store ( 7 ) to the local data store ( 7 ) transferred to; and - one with the acoustic input unit ( 11 ) and with the local data store ( 7 ) connectable local transmitting and receiving unit ( 13 ) for transmitting the natural language statement to the external data processing unit ( 2 ) and to receive the language model ( 8th ) from the external data processing unit ( 2 ). System nach Anspruch 10, dadurch gekennzeichnet, dass das Endgerät (4, 5) – ein Audiogerät zum Abspielen von Audiodateien und/oder – ein Videogerät zum Abspielen von Bild- und/oder Video dateien und/oder – ein Telekommunikationsgerät zum Empfangen und/oder Versenden von Text-, Sprach-, Bild- oder Videonachrichten und/oder – ein Navigationsgerät und/oder – einen Stellantrieb zum Verstellen der Position einer Fensterscheibe, eines Spiegels, eines Sitzes oder einer Luftzuführvorrichtung und/oder – eine Anlage zur Regelung einer Temperatur und/oder einer Luftfeuchtigkeit umfasst, wobei das Endgerät vorzugsweise in einem Fahrzeug (1) angeordnet oder eingebaut ist, insbesondere in einem PKW oder LKW. System according to claim 10, characterized in that the terminal ( 4 . 5 ) - an audio device for playing audio files and / or - a video device for playing video and / or video files and / or - a telecommunications device for receiving and / or sending text, voice, image or video messages and / or A navigation device and / or an actuator for adjusting the position of a windowpane, a mirror, a seat or an air supply device and / or a system for regulating a temperature and / or a humidity, wherein the terminal device preferably in a vehicle ( 1 ) is arranged or installed, in particular in a car or truck.
DE201310219649 2013-09-27 2013-09-27 Method and system for creating or supplementing a user-specific language model in a local data memory connectable to a terminal Ceased DE102013219649A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE201310219649 DE102013219649A1 (en) 2013-09-27 2013-09-27 Method and system for creating or supplementing a user-specific language model in a local data memory connectable to a terminal
PCT/EP2014/070164 WO2015044097A1 (en) 2013-09-27 2014-09-23 Method and system for creating or augmenting a user-specific speech model in a local data memory that can be connected to a terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310219649 DE102013219649A1 (en) 2013-09-27 2013-09-27 Method and system for creating or supplementing a user-specific language model in a local data memory connectable to a terminal

Publications (1)

Publication Number Publication Date
DE102013219649A1 true DE102013219649A1 (en) 2015-04-02

Family

ID=51627268

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310219649 Ceased DE102013219649A1 (en) 2013-09-27 2013-09-27 Method and system for creating or supplementing a user-specific language model in a local data memory connectable to a terminal

Country Status (2)

Country Link
DE (1) DE102013219649A1 (en)
WO (1) WO2015044097A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017219616A1 (en) 2017-11-06 2019-05-09 Audi Ag Voice control for a vehicle
WO2019202056A1 (en) * 2018-04-19 2019-10-24 Bayerische Motoren Werke Aktiengesellschaft User communication on board a motor vehicle
DE102016125823B4 (en) * 2016-02-24 2021-01-14 Google LLC (n.d.Ges.d. Staates Delaware) SUPPORT IN SEMANTIC OFFLINE PROCESSING FROM A DEVICE WITH LIMITED POSSIBILITIES
DE102019217751A1 (en) * 2019-11-18 2021-05-20 Volkswagen Aktiengesellschaft Method for operating a speech dialogue system and speech dialogue system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030125955A1 (en) * 2001-12-28 2003-07-03 Arnold James F. Method and apparatus for providing a dynamic speech-driven control and remote service access system
DE60003971T2 (en) * 1999-04-20 2004-05-27 Matsushita Electric Industrial Co., Ltd., Kadoma Distributed architecture for training a speech recognition system
EP1463032A1 (en) * 2003-03-24 2004-09-29 Microsoft Corporation Distributed speech recognition for mobile communication devices
DE69917112T2 (en) * 1998-03-27 2006-03-30 International Business Machines Corp. Extension of the vocabulary of a client-server speech recognition system
DE60111775T2 (en) * 2000-12-14 2006-05-04 Telefonaktiebolaget Lm Ericsson (Publ) VOICE CONTROLLED PORTABLE TERMINAL
DE60222093T2 (en) * 2001-02-13 2008-06-05 Thomson Licensing METHOD, MODULE, DEVICE AND VOICE RECOGNITION SERVER
DE102009017177A1 (en) * 2008-04-23 2009-10-29 Volkswagen Ag Speech recognition arrangement for the acoustic operation of a function of a motor vehicle
US20100057450A1 (en) * 2008-08-29 2010-03-04 Detlef Koll Hybrid Speech Recognition

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156682A1 (en) * 2005-12-28 2007-07-05 Microsoft Corporation Personalized user specific files for object recognition
US7756708B2 (en) * 2006-04-03 2010-07-13 Google Inc. Automatic language model update
US20070276651A1 (en) * 2006-05-23 2007-11-29 Motorola, Inc. Grammar adaptation through cooperative client and server based speech recognition
US9484018B2 (en) * 2010-11-23 2016-11-01 At&T Intellectual Property I, L.P. System and method for building and evaluating automatic speech recognition via an application programmer interface

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69917112T2 (en) * 1998-03-27 2006-03-30 International Business Machines Corp. Extension of the vocabulary of a client-server speech recognition system
DE60003971T2 (en) * 1999-04-20 2004-05-27 Matsushita Electric Industrial Co., Ltd., Kadoma Distributed architecture for training a speech recognition system
DE60111775T2 (en) * 2000-12-14 2006-05-04 Telefonaktiebolaget Lm Ericsson (Publ) VOICE CONTROLLED PORTABLE TERMINAL
DE60222093T2 (en) * 2001-02-13 2008-06-05 Thomson Licensing METHOD, MODULE, DEVICE AND VOICE RECOGNITION SERVER
US20030125955A1 (en) * 2001-12-28 2003-07-03 Arnold James F. Method and apparatus for providing a dynamic speech-driven control and remote service access system
EP1463032A1 (en) * 2003-03-24 2004-09-29 Microsoft Corporation Distributed speech recognition for mobile communication devices
DE102009017177A1 (en) * 2008-04-23 2009-10-29 Volkswagen Ag Speech recognition arrangement for the acoustic operation of a function of a motor vehicle
US20100057450A1 (en) * 2008-08-29 2010-03-04 Detlef Koll Hybrid Speech Recognition

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016125823B4 (en) * 2016-02-24 2021-01-14 Google LLC (n.d.Ges.d. Staates Delaware) SUPPORT IN SEMANTIC OFFLINE PROCESSING FROM A DEVICE WITH LIMITED POSSIBILITIES
DE102017219616A1 (en) 2017-11-06 2019-05-09 Audi Ag Voice control for a vehicle
US10854201B2 (en) 2017-11-06 2020-12-01 Audi Ag Voice control for a vehicle
DE102017219616B4 (en) 2017-11-06 2022-06-30 Audi Ag Voice control for a vehicle
WO2019202056A1 (en) * 2018-04-19 2019-10-24 Bayerische Motoren Werke Aktiengesellschaft User communication on board a motor vehicle
DE102019217751A1 (en) * 2019-11-18 2021-05-20 Volkswagen Aktiengesellschaft Method for operating a speech dialogue system and speech dialogue system

Also Published As

Publication number Publication date
WO2015044097A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
DE60222093T2 (en) METHOD, MODULE, DEVICE AND VOICE RECOGNITION SERVER
DE60005326T2 (en) DETECTION UNITS WITH COMPLEMENTARY LANGUAGE MODELS
DE69822296T2 (en) PATTERN RECOGNITION IN A DISTRIBUTED SYSTEM
EP0925578B1 (en) Speech-processing system and method
DE102018128006A1 (en) NATURAL LANGUAGE GENERATION BASED ON THE USER LANGUAGE STYLE
DE102019111529A1 (en) AUTOMATED LANGUAGE IDENTIFICATION USING A DYNAMICALLY ADJUSTABLE TIME-OUT
DE102018113034A1 (en) VOICE RECOGNITION SYSTEM AND VOICE RECOGNITION METHOD FOR ANALYZING A COMMAND WHICH HAS MULTIPLE INTENTIONS
DE102017121059A1 (en) IDENTIFICATION AND PREPARATION OF PREFERRED EMOJI
DE10334400A1 (en) Method for speech recognition and communication device
DE102015106280B4 (en) Systems and methods for compensating for speech artifacts in speech recognition systems
EP3095114B1 (en) Method and system for generating a control command
DE102015109379A1 (en) Systems and methods for a navigation system that uses a search with dictation and partial match
DE102013219649A1 (en) Method and system for creating or supplementing a user-specific language model in a local data memory connectable to a terminal
EP1058235B1 (en) Reproduction method for voice controlled systems with text based speech synthesis
EP1282897B1 (en) Method for creating a speech database for a target vocabulary in order to train a speech recognition system
EP1224661B1 (en) Method and arrangement for verifying a speaker with a computer
WO2005098827A1 (en) Method for noise reduction in a speech input signal
DE60127398T2 (en) SYNTAX AND SEMANTIC ANALYSIS OF LANGUAGE INSTRUCTIONS
EP3735688B1 (en) Method, device and computer-readable storage medium having instructions for processing a speech input, motor vehicle, and user terminal with speech processing
DE102013216427B4 (en) Device and method for means of transport-based speech processing
DE10122087C1 (en) Method for training and operating a voice/speech recognition device for recognizing a speaker's voice/speech independently of the speaker uses multiple voice/speech trial databases to form an overall operating model.
DE102022213210A1 (en) Method for determining a vehicle domain and a voice recognition system for a vehicle
DE102021003343A1 (en) Method for individual adaptation and output of information to be output optically and / or acoustically on the vehicle side
DE102022213058A1 (en) VEHICLE AND CONTROL METHOD THEREOF
DE102022133571A1 (en) NATURAL LANGUAGE PROCESSING DEVICE AND NATURAL LANGUAGE PROCESSING METHOD

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final