EP2517098A1 - Method and device for operating technical equipment, in particular a motor vehicle - Google Patents

Method and device for operating technical equipment, in particular a motor vehicle

Info

Publication number
EP2517098A1
EP2517098A1 EP10795278A EP10795278A EP2517098A1 EP 2517098 A1 EP2517098 A1 EP 2517098A1 EP 10795278 A EP10795278 A EP 10795278A EP 10795278 A EP10795278 A EP 10795278A EP 2517098 A1 EP2517098 A1 EP 2517098A1
Authority
EP
European Patent Office
Prior art keywords
input unit
command
voice
manual
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP10795278A
Other languages
German (de)
French (fr)
Inventor
Ronald Hain
Herbert Meier
Nhu Nguyen Thien
Thomas Rosenstock
Alexander Stege
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of EP2517098A1 publication Critical patent/EP2517098A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the invention relates to a method and to a device for operating technical devices, in particular a motor vehicle, wherein voice inputs are passed through a voice input unit and manual inputs by a manual input unit as operating instructions to a control unit to ⁇ generated by the command corresponding command and the corresponding technical device is supplied, which then executes the operating instruction associated with the operation.
  • the object of the invention is therefore to provide a method and a device for operating technical devices. fen, whereby a simple operation is possible even with greater complexity of the technical facilities.
  • This object is achieved for a method in that a basic structure of the command is determined by the voice input unit or the manual Eingabeein ⁇ standardized and ⁇ closing through the manual input unit or the voice ⁇ input unit is carried out an addition to the basic structure of the command.
  • the operating procedure can be a control for the operation of a device.
  • an operating process may be a control of one or more components of an infotainment system, the z. B. may contain a phone book or navigation information. It is understood that even more input levels can be present.
  • the ring buffer When the voice input is continuously stored in a ring buffer of the voice input unit, the ring buffer performs a period of voice input before the start time of the voice input
  • Speech recognition for speech recognition is available, so are always the last seconds or minutes of recorded voice input for speech recognition available.
  • Speech recognition by the speech input unit may be activated by manual operation of a switching element and / or by a gesture recognition element.
  • the switching element may be a separate switching element or else an element of the manual input unit.
  • the operating instructions of the speech input unit preferably consist of code words stored in the control unit, which are stored as a thesaurus.
  • the method and the apparatus are preferably applicable to tech ⁇ African devices of a motor vehicle.
  • the invention is not limited to such an application but can also be applied to other applications such. B. be used in ticket machines.
  • the object is achieved in a device by a voice input unit and a manual input unit for triggering operating instructions that can be fed to a control unit and by a command corresponding to the operating instruction generated and the corresponding technical device zuleitbar, then the operation of the operating instruction associated executable is, wherein by the voice input unit or the manual input unit ei ⁇ ne basic structure of the command and then by the ma ⁇ nual input unit or the voice input unit is a He ⁇ completion of the basic structure of the command.
  • the manual input unit a keypad aufwei ⁇ sen, wherein the input unit preferably having a particular bervolutionungsemp ⁇ find pending keypad, a touch screen.
  • the device has a display with a display field for displaying image representations and / or basic structures of the commands and / or additions that can be defined by the manual input unit or the speech input unit the basic structures of the commands and / or menus and / or submenus, the combination of the manual input, the memory input can be displayed in the context of an object displayed on the display field, without having to increase the vocabulary of the speech recognizer.
  • a certain object reference ge ⁇ taken in the voice input it can,.
  • it may be essential to refer to the speech recognizer by dividing the keypad into different domains such as "switches,”"signallamps," and "road map” for the speech recognizer Increased detection rate.
  • the display is an electro-optical display such.
  • an LCD To combine the manual input unit with representations on the display panel of the display, the display field of the transparent manual input unit can be stored.
  • the semantic information contained in the speech input can even be used to relate a sequence of manual inputs to one another, such as, for example, B. by pressing two various points on the map in connection with the question "how far is it from there to there?"
  • FIG. 1 shows a block diagram of a device for operating technical devices of a motor vehicle
  • FIG. 2 shows a flow chart of a method for determining and controlling a function
  • FIG. 3 shows a flow diagram of a method for determining and controlling an object.
  • the device shown in FIG. 1 has a microphone 1 for voice input into a ring buffer 2 of a voice input unit 3.
  • the speech input unit 3 further comprises aticianrken ⁇ ner 4, by comparing the speech input with codewords of a stored thesaurus to codewords and upon detection of a voice input and assignment to one or more stored codewords generates a corresponding voice signal 11 and a merge unit 5 is fed.
  • an LCD screen 6 is provided with a front arranged transparent touch screen 7, wherein the
  • Touchscreen 7 is divided into a plurality of touch positions.
  • the tactile signal 12 generated by the manual application of a touch position is registered in a touchscreen unit 8 and a corresponding touch signal 13 is likewise fed to the assembly unit 5 via a graphical user interface 9 controlling the display on the LCD screen 6.
  • the touch signal 13 and the speech signal 11 are supplied from the to ⁇ sammenboatiser 5 a control unit 10, from which a corresponding command 14 is generated and fed to the execution of a technical device, not shown.
  • the voice input unit 3 must, if it was not acti ⁇ fourth, first be activated. For this purpose a entspre ⁇ sponding start probe position of the touch screen 7 is applied, thereby using the graphical user interface a Startsig- nal 15 of the control unit 10 we fed, then 16 feeds a Ak ⁇ tiv istssignal the speech recognizer 4, and thus the voice input unit 3 is activated.
  • the desired function is first determined on a touchscreen by actuating the corresponding touchscreen coordinate.
  • a recognizer vocabulary is set from a code word thesaurus for the selected function.
  • a name now acquired by a speech input unit is checked to see if it is valid or not valid. If it is not valid, a new voice input must be made.
  • Touchscreen selected function linked and issued a corresponding execution command Touchscreen selected function linked and issued a corresponding execution command.
  • the name (code ⁇ word) can also be accessed via a graphical user interface of the voice input.
  • Touchscreens are entered and thus trigger the execution command.
  • the desired object is first determined on a touchscreen by actuating the corresponding touchscreen coordinate. Further, if it is determined that a voice input unit is activated, a recognizer vocabulary for possible commands is set from a command to the selected object. A spoken command now detected by a speech input unit is checked for validity or invalidation.
  • System displays a pop-up window with information about this hotel, eg. Name, address and telephone number.
  • the pop-up window has z.
  • two buttons called “Call” and "Navigate

Abstract

The invention relates to a method and device for operating technical equipment, in particular a motor vehicle, wherein speech inputs are fed by means of a speech input unit (3) and manual inputs are fed by means of a manual input unit as operating instructions to a controller (10), by means of which a command corresponding to the operating instruction is generated and fed to the corresponding technical equipment, which then executes the operating procedure associated with the operating instruction. A basic structure of the command is established by the speech input unit (3) or the manual input unit, and then the basic structure of the command is supplemented by the manual input unit (3) or the speech input unit.

Description

Beschreibung description
Verfahren und Vorrichtung zur Bedienung technischer Einrichtungen, insbesondere eines Kraftfahrzeugs Method and device for operating technical equipment, in particular a motor vehicle
Die Erfindung bezieht sich auf ein Verfahren und auf eine Vorrichtung zur Bedienung technischer Einrichtungen, insbesondere eines Kraftfahrzeugs, wobei Spracheingaben durch eine Spracheingabeeinheit und Manuelleingaben durch eine manuelle Eingabeeinheit als Bedienanweisungen einer Steuereinheit zu¬ geleitet werden, durch die ein der Bedienanweisung entsprechender Befehl erzeugt und der entsprechenden technischen Einrichtung zugeleitet wird, die dann den der Bedienanweisung zugeordneten Bedienvorgang ausführt. The invention relates to a method and to a device for operating technical devices, in particular a motor vehicle, wherein voice inputs are passed through a voice input unit and manual inputs by a manual input unit as operating instructions to a control unit to ¬ generated by the command corresponding command and the corresponding technical device is supplied, which then executes the operating instruction associated with the operation.
Bei einer Vorrichtung der eingangs genannten Art ist es bekannt Bedienanweisungen entweder rein durch Navigieren und Betätigen eines Touchscreen-Menüs oder rein durch Drücken einer Push-to-talk-Taste und anschließender Spracheingabe ein- zugeben. In a device of the type mentioned above, it is known to enter operating instructions either purely by navigating and pressing a touchscreen menu or purely by pressing a push-to-talk key and then inputting speech.
Bei zunehmender Komplexität und Vielseitigkeit der elektri¬ schen und elektronischen Systeme in Kraftfahrzeugen wird auch die Bedienung aller Funktionen unüberschaubar. With increasing complexity and diversity of electrical ¬ rule and electronic systems in motor vehicles, the operation of all functions is unmanageable.
Werden nur die Tasten des Touchscreens benutzt, wird die An¬ zahl der Tasten unüberschaubar. If only the touch screen buttons used to the ¬ number of keys is unmanageable.
Eine reine Sprachbedienung stößt schnell an ihre Grenzen, wenn es um die Steuerung komplexer Mechanismen geht, da entweder ein natürlichsprachiger Dialog ermöglicht werden muss, was hohe Resourcenanforderungen mit sich bringt, oder der Benutzer gezwungen ist, eine Liste von Kommandos auswendig zu lernen . Pure voice control quickly reaches its limits when it comes to controlling complex mechanisms, as either natural-language dialogue must be enabled, which involves high resource requirements, or the user is forced to memorize a list of commands.
Aufgabe der Erfindung ist es daher ein Verfahren und eine Vorrichtung zur Bedienung technischer Einrichtungen zu schaf- fen, wobei auch bei größerer Komplexität der technischen Einrichtungen eine einfache Bedienung ermöglicht ist. The object of the invention is therefore to provide a method and a device for operating technical devices. fen, whereby a simple operation is possible even with greater complexity of the technical facilities.
Diese Aufgabe wird für ein Verfahren dadurch gelöst, dass durch die Spracheingabeeinheit oder die manuelle Eingabeein¬ heit eine Grundstruktur des Befehls festgelegt wird und an¬ schließend durch die manuelle Eingabeeinheit oder die Sprach¬ eingabeeinheit eine Ergänzung der Grundstruktur des Befehls erfolgt . This object is achieved for a method in that a basic structure of the command is determined by the voice input unit or the manual Eingabeein ¬ standardized and ¬ closing through the manual input unit or the voice ¬ input unit is carried out an addition to the basic structure of the command.
Durch dieses Verfahren erfolgt zunächst eine Vorauswahl durch die zuerst aktivierte Eingabeeinheit und anschließend eine Unterauswahl durch die danach aktivierte Eingabeeinheit. Damit sind nur eine begrenzte Anzahl von Bedienanweisungen für die Spracheingabeeinheit und die manuelle Eingabeeinheit erforderlich . By this method, first a pre-selection by the first activated input unit and then a sub-selection by the then activated input unit. Thus, only a limited number of operating instructions are required for the voice input unit and the manual input unit.
Der Bedienvorgang kann eine Ansteuerung zum Betrieb eines Ge- räts sein. Weiterhin kann ein Bedienvorgang eine Ansteuerung eines oder mehrerer Komponenten eines Infotainmentsystems sein, das z. B. ein Telefonbuch oder Navigationsinformationen enthalten kann. Es versteht sich, dass auch noch weitere Eingabestufen vorhanden sein können. The operating procedure can be a control for the operation of a device. Furthermore, an operating process may be a control of one or more components of an infotainment system, the z. B. may contain a phone book or navigation information. It is understood that even more input levels can be present.
Wird die Spracheingabe kontinuierlich in einem Ringpuffer der Spracheingabeeinheit gespeichert, wobei der Ringpuffer einen Zeitabschnitt der Spracheingabe vor dem StartZeitpunkt derWhen the voice input is continuously stored in a ring buffer of the voice input unit, the ring buffer performs a period of voice input before the start time of the voice input
Spracherkennung für die Spracherkennung zur Verfügung stellt, so stehen immer die letzten Sekunden oder Minuten der aufgenommenen Spracheingabe für die Spracherkennung zur Verfügung. Eine Spracherkennung durch die Spracheingabeeinheit kann durch manuelle Betätigung eines Schaltelements und/oder durch ein Gestikerkennungselement aktiviert werden. Dabei kann das Schaltelement ein separates Schaltelement oder aber auch ein Element der manuellen Eingabeeinheit sein. Speech recognition for speech recognition is available, so are always the last seconds or minutes of recorded voice input for speech recognition available. Speech recognition by the speech input unit may be activated by manual operation of a switching element and / or by a gesture recognition element. In this case, the switching element may be a separate switching element or else an element of the manual input unit.
Damit wird eine kontinuierlich im Hintergrund mitlaufende Spracherkennung vermieden, die sehr resourcenaufwendig wäre und leicht zu Fehlerkennungen führen würde. This avoids a continuous speech recognition in the background, which would be very resource-intensive and would easily lead to false identifications.
Die Bedienanweisungen der Spracheingabeeinheit bestehen vorzugsweise aus in der Steuereinheit gespeicherten Codeworten, die als Thesaurus gespeichert sind. The operating instructions of the speech input unit preferably consist of code words stored in the control unit, which are stored as a thesaurus.
Das Verfahren und die Vorrichtung sind vorzugsweise bei tech¬ nischen Einrichtungen eines Kraftfahrzeugs anwendbar. Die Erfindung ist aber nicht auf eine solche Anwendung beschränkt sondern kann auch auf anderen Anwendungsgebieten wie z. B. bei Fahrkartenautomaten angewendet werden. The method and the apparatus are preferably applicable to tech ¬ African devices of a motor vehicle. The invention is not limited to such an application but can also be applied to other applications such. B. be used in ticket machines.
Die Aufgabe wird bei einer Vorrichtung gelöst durch eine Spracheingabeeinheit und einer manuellen Eingabeeinheit zur Auslösung von Bedienanweisungen, die einer Steuereinheit zuleitbar sind und durch die ein der Bedienanweisung entsprechender Befehl erzeugbar und der entsprechenden technischen Einrichtung zuleitbar ist, durch die dann der der Bedienanweisung zugeordnete Bedienvorgang ausführbar ist, wobei durch die Spracheingabeeinheit oder die manuelle Eingabeeinheit ei¬ ne Grundstruktur des Befehls und anschließend durch die ma¬ nuelle Eingabeeinheit oder die Spracheingabeeinheit eine Er¬ gänzung der Grundstruktur des Befehls erfolgt. Dabei kann die manuelle Eingabeeinheit ein Tastenfeld aufwei¬ sen, wobei die Eingabeeinheit vorzugsweise ein berührungsemp¬ findliches Tastenfeld insbesondere ein Touchscreen aufweist. The object is achieved in a device by a voice input unit and a manual input unit for triggering operating instructions that can be fed to a control unit and by a command corresponding to the operating instruction generated and the corresponding technical device zuleitbar, then the operation of the operating instruction associated executable is, wherein by the voice input unit or the manual input unit ei ¬ ne basic structure of the command and then by the ma ¬ nual input unit or the voice input unit is a He ¬ completion of the basic structure of the command. Here, the manual input unit, a keypad aufwei ¬ sen, wherein the input unit preferably having a particular berührungsemp ¬ find pending keypad, a touch screen.
Weist weiterhin die Vorrichtung eine Anzeige mit einem Anzei- gefeld zum Anzeigen von Bilddarstellungen und/oder von durch die manuelle Eingabeeinheit oder die Spracheingabeeinheit festlegbaren Grundstrukturen der Befehle und/oder Ergänzungen der Grundstrukturen der Befehle und/oder von Menüs und/oder von Untermenüs auf, so kann durch die Kombination mit der manuellen Eingabe die Speichereingabe in den Kontext eines auf dem Anzeigefeld dargestellten Objekts dargestellt werden, oh- ne das Vokabular des Spracherkenners vergrößern zu müssen. Wird in der Spracheingabe auf ein gewisses Objekt Bezug ge¬ nommen, kann es z. B. durch „hier", „da" oder „dieses" refe- renziert werden, anstatt es benennen zu müssen. Durch Einteilung des Tastenfeldes in verschiedene Domänen wie „Schalter", „Signallampen" und „Straßenkarte" für den Spracherkenner wird eine wesentliche Erhöhung der Erkennungsrate erreicht. Furthermore, the device has a display with a display field for displaying image representations and / or basic structures of the commands and / or additions that can be defined by the manual input unit or the speech input unit the basic structures of the commands and / or menus and / or submenus, the combination of the manual input, the memory input can be displayed in the context of an object displayed on the display field, without having to increase the vocabulary of the speech recognizer. Is to a certain object reference ge ¬ taken in the voice input, it can,. For example, it may be essential to refer to the speech recognizer by dividing the keypad into different domains such as "switches,""signallamps," and "road map" for the speech recognizer Increased detection rate.
Umgekehrt führt die Erweiterung eines Tastendrucks mit einer Spracheingabe zu einer Art gesprochenem Kontextmenü. Sind bei einem Verfahren nach dem Stand der Technik mehrere Aktionen als Reaktion auf das Drücken eines Tasters möglich, wird eine Liste (Kontextmenü) auf dem Anzeigefeld eingeblendet, aus der der Benutzer die gewünschte Option herausholen und anwählen muss. Bei dem erfindungsgemäßen Verfahren erfolgt diese Aus- wähl automatisch durch Auswertung der Spracheingabe. Conversely, the extension of a keystroke with a voice input leads to a kind of spoken context menu. In a prior art method, if several actions are possible in response to a button being pressed, a list (context menu) is displayed on the display panel from which the user must retrieve and select the desired option. In the method according to the invention, this selection takes place automatically by evaluating the speech input.
Vorzugsweise ist die Anzeige eine elektrooptische Anzeige wie z. B. ein LCD. Zur Kombination der manuellen Eingabeeinheit mit Darstellungen auf dem Anzeigefeld der Anzeige kann das Anzeigefeld der transparenten manuellen Eingabeeinheit hinterlegt sein. Preferably, the display is an electro-optical display such. As an LCD. To combine the manual input unit with representations on the display panel of the display, the display field of the transparent manual input unit can be stored.
Dadurch können sich sehr intuitive Bedienschritte ergeben wie z. B. das Tippen auf einem bestimmten Punkt einer angezeigten Land- oder Straßenkarte in Verbindung mit der Spracheingabe „führ mich dort hin" oder „wie weit ist es dort hin". This can result in very intuitive operating steps such. For example, tapping on a specific point on a displayed map or road map in conjunction with the voice input "take me there" or "how far is it there".
Durch die in der Spracheingabe enthaltene sematische Informa- tion kann sogar eine Folge von manuellen Eingaben zueinander in Bezug gesetzt werden wie z. B. durch das Drücken von zwei verschiedenen Punkten auf der Landkarte in Verbindung mit der Frage „Wie weit ist es von da nach da?" The semantic information contained in the speech input can even be used to relate a sequence of manual inputs to one another, such as, for example, B. by pressing two various points on the map in connection with the question "how far is it from there to there?"
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen : Embodiments of the invention are illustrated in the drawings and will be described in more detail below. Show it :
Figur 1 ein Blockschaltbild einer Vorrichtung zur Bedienung technischer Einrichtungen eines Kraftfahrzeugs, FIG. 1 shows a block diagram of a device for operating technical devices of a motor vehicle,
Figur 2 ein Ablaufdiagramm eines Verfahrens zur Ermittlung und Ansteuerung einer Funktion und 2 shows a flow chart of a method for determining and controlling a function and
Figur 3 ein Ablaufdiagramm eines Verfahrens zur Ermittlung und Ansteuerung eines Objekts. 3 shows a flow diagram of a method for determining and controlling an object.
Die in Figur 1 dargestellte Vorrichtung weist ein Mikrofon 1 für eine Spracheingabe in einen Ringpuffer 2 einer Spracheingabeeinheit 3 auf. The device shown in FIG. 1 has a microphone 1 for voice input into a ring buffer 2 of a voice input unit 3.
Die Spracheingabeeinheit 3 weist weiterhin einen Spracherken¬ ner 4 auf, durch den die Spracheingabe mit Codeworten eines gespeicherten Thesaurus an Codeworten verglichen und bei Erkennen einer Spracheingabe und Zuordnung zu einem oder mehreren gespeicherten Codewörtern ein entsprechendes Sprachsignal 11 erzeugt und einer Zusammenführeinheit 5 zugeleitet wird. The speech input unit 3 further comprises a Spracherken ¬ ner 4, by comparing the speech input with codewords of a stored thesaurus to codewords and upon detection of a voice input and assignment to one or more stored codewords generates a corresponding voice signal 11 and a merge unit 5 is fed.
Weiterhin ist ein LCD-Bildschirm 6 mit einem davor angeordneten transparenten Touchscreen 7 vorhanden, wobei der Furthermore, an LCD screen 6 is provided with a front arranged transparent touch screen 7, wherein the
Touchscreen 7 in eine Mehrzahl Tastpositionen eingeteilt ist. Touchscreen 7 is divided into a plurality of touch positions.
Das durch manuelles Beaufschlagen einer Tastposition erzeugte Tastsignal 12 wird in einer Touchscreeneinheit 8 registriert und ein entsprechendes Touchsignal 13 über eine die Anzeige auf dem LCD-Bildschirm 6 steuernde graphische Benutzeroberfläche 9 ebenfalls der Zusammenführeinheit 5 zugeleitet. Das Touchsignal 13 und das Sprachsignal 11 werden von der Zu¬ sammenführeinheit 5 einer Steuereinheit 10 zugeführt, von der ein entsprechender Befehl 14 erzeugt und zur Ausführung einer nicht dargestellten technischen Einrichtung zugeleitet wird. The tactile signal 12 generated by the manual application of a touch position is registered in a touchscreen unit 8 and a corresponding touch signal 13 is likewise fed to the assembly unit 5 via a graphical user interface 9 controlling the display on the LCD screen 6. The touch signal 13 and the speech signal 11 are supplied from the to ¬ sammenführeinheit 5 a control unit 10, from which a corresponding command 14 is generated and fed to the execution of a technical device, not shown.
Die Spracheingabeeinheit 3 muss, wenn sie noch nicht akti¬ viert war, zuvor aktiviert werden. Dazu wird eine entspre¬ chende Start-Tastposition des Touchscreens 7 beaufschlagt, wodurch über die graphische Benutzeroberfläche ein Startsig- nal 15 der Steuereinheit 10 zugeleitet wir, die dann ein Ak¬ tivierungssignal 16 dem Spracherkenner 4 zuleitet und damit die Spracheingabeeinheit 3 aktiviert. The voice input unit 3 must, if it was not acti ¬ fourth, first be activated. For this purpose a entspre ¬ sponding start probe position of the touch screen 7 is applied, thereby using the graphical user interface a Startsig- nal 15 of the control unit 10 we fed, then 16 feeds a Ak ¬ tivierungssignal the speech recognizer 4, and thus the voice input unit 3 is activated.
Bei dem in Figur 2 dargestellten Ablaufdiagramm wird zunächst auf einem Touchscreen die gewünschte Funktion durch Betätigen der entsprechenden Touchscreenkoordinate ermittelt. In the flowchart shown in FIG. 2, the desired function is first determined on a touchscreen by actuating the corresponding touchscreen coordinate.
Wird weiterhin festgestellt, dass eine Spracheingabeeinheit aktiviert ist, wird ein Erkenner-Vokabular aus einem Code- wortthesaurus für die ausgewählte Funktion gesetzt. Further, when it is determined that a voice input unit is activated, a recognizer vocabulary is set from a code word thesaurus for the selected function.
Ein nun von einer Spracheingabeeinheit erfasster Name wird darauf geprüft, ob er gültig oder nicht gültig ist. Ist er nicht gültig, muss eine neue Spracheingabe erfolgen. A name now acquired by a speech input unit is checked to see if it is valid or not valid. If it is not valid, a new voice input must be made.
Ist er gültig, werden der Name (Codewort) mit der am If it is valid, the name (codeword) with the am
Touchscreen ausgewählten Funktion verknüpft und ein entsprechender Ausführungsbefehl ausgegeben. Touchscreen selected function linked and issued a corresponding execution command.
Ist die Spracheingabe nicht aktiviert, kann der Name (Code¬ wort) auch über eine graphische Benutzeroberfläche des If the voice input is not activated, the name (code ¬ word) can also be accessed via a graphical user interface of the
Touchscreens eingegeben werden und so den Ausführungsbefehl auslösen . Bei dem in Figur 3 dargestellten Ablaufdiagramm wird zunächst auf einem Touchscreen das gewünschte Objekt durch Betätigen der entsprechenden Touchscreen-Koordinate ermittelt. Wird weiterhin festgestellt, dass eine Spracheingabeeinheit aktiviert ist, wird ein Erkenner-Vokabular für mögliche Kommandos aus einem Kommandothesarus für das ausgewählte Objekt gesetzt . Ein nun von einer Spracheingabeeinheit erfasstes gesprochenes Kommando wird darauf geprüft, ob es gültig oder ungültig ist. Touchscreens are entered and thus trigger the execution command. In the flowchart shown in FIG. 3, the desired object is first determined on a touchscreen by actuating the corresponding touchscreen coordinate. Further, if it is determined that a voice input unit is activated, a recognizer vocabulary for possible commands is set from a command to the selected object. A spoken command now detected by a speech input unit is checked for validity or invalidation.
Ist es nicht gültig, muss eine neue Spracheingabe erfolgen. Ist es gültig, werden das Kommando mit dem am Touchscreen ausgewählten Objekt verknüpft und ein entsprechender Ausführungsbefehl ausgegeben. If it is not valid, a new voice input must be made. If it is valid, the command is linked with the object selected on the touch screen and a corresponding execution command is issued.
Im Folgenden werden mehrere Ablaufbeispiele aufgeführt. In the following, several examples are listed.
Sprachbefehl nach Anwahl eines Displayobjekts Voice command after selecting a display object
Auswahl eines Objekts per Sprache Selection of an object by language
Benutzer hat die Kartendarstellung seines Infotainment- Systems offen und die Sonderziele-Symbole sind auf der Karte zu sehen User has the map display of his infotainment system open and the POI icons are visible on the map
Benutzer drückt auf den Touchscreen an der Position eines Hotelsymbols und spricht „Info" - System erkennt die Anwahl des Sonderziels System erkennt anhand der Sprachaktivität, dass der User presses on the touchscreen at the position of a hotel symbol and says "Info" - system recognizes the selection of the POI System recognizes that the voice activity is the
Benutzer einen besonderen Wunsch hat. Bei fehlender  User has a special request. If missing
Sprachaktivität passiert nichts - System lädt das Kommandovokabular für die entsprechende Voice activity does not happen - system loads the command vocabulary for the corresponding one
Bearbeitung und für die Spracherkennung mit den Audiodaten durch Editing and for speech recognition with the audio data
System erkennt das Kommando „Info" System recognizes the command "Info"
System zeigt ein pop-up Fenster mit der Information über dieses Hotel, z. B. Namen, Adresse und Telefon-Nr. System displays a pop-up window with information about this hotel, eg. Name, address and telephone number.
Auswahl einer Funktion per Sprache Selection of a function by language
Das Pop-up-Fenster hat z. B. zwei Tasten „Anrufen" und „Navigieren The pop-up window has z. For example, two buttons called "Call" and "Navigate
Benutzer drückt auf das Fenster an einer Position außer- halb der beiden Tasten und spricht „Anrufen" User presses the window at a position outside the two buttons and says "Call"
System lädt das Kommandovokabular für die entsprechende Bearbeitung und für die Spracherkennung mit den Audiodaten durch System loads the command vocabulary for appropriate editing and speech recognition with the audio data
System wählt die Telefon-Nr. des Hotels. System dials the telephone number. the hotel.
Sprachbefehl erfolgt vor einem Drücken auf eine Taste des Touchscreen Voice command occurs before pressing a button on the touch screen
Auswahl einer Funktion per Sprache Benutzer hat Telefonbuch seines Infotainment-Systems offen und möchte einen Eintrag löschen Selection of a function by language User has phonebook of his infotainment system open and wants to delete an entry
Benutzer spricht „Lösche Eintrag" User speaks "delete entry"
Benutzer drückt auf den Touchscreen an der Listenposition des zu löschenden Eintrags User presses on the touch screen at the list position of the entry to be deleted
System erkennt die Auswahl des Listeneintrags System recognizes the selection of the list entry
System erkennt anhand der Sprachaktivität, dass der Benut¬ zer einen besonderen Wunsch hat. Bei fehlender Sprachaktivität würde z. B. die Standardfunktion „Wählen" ausgeführt werden System recognizes from the speech activity that Benut ¬ zer has a special request. In the absence of voice activity z. For example, you can run the default Select function
System lädt das Kommandovokabular für die Bearbeitung eines Listeneintrags und führt die Spracherkennung mit den gespeicherten Audiodaten durch System loads the command vocabulary for editing a list entry and performs speech recognition on the stored audio data
System erkennt das Kommando „Lösche Eintrag" System recognizes the command "delete entry"
System löscht den selektierten Listeneintrag. System deletes the selected list entry.
Auswahl eines Objekts per Sprache Selection of an object by language
Benutzer hat Media-Player seines Infotainment-Systems of¬ fen und möchte eine bestimmte CD oder Playlist zum Abspie len auswählen User has media player of his infotainment system of ¬ fen and would like to select a specific CD or playlist for Absprie len
Benutzer spricht „Beatles, Weißes Album" User speaks "Beatles, White Album"
Benutzer drückt auf den Touchscreen für die Funktionsaus¬ wahl „Play" User presses on the touch screen for Funktionsaus ¬ either "Play"
System erkennt die gewünschte Funktion „Play" System erkennt anhand der Sprachaktivität, dass „Play" mit einer Nebenbedingung verknüpft werden soll System recognizes the desired function "Play" System recognizes by voice activity that "Play" should be associated with a constraint
System lädt das Vokabular für alle abspielbaren Medien und führt die Spracherkennung mit den gespeicherten Audiodaten durch System loads the vocabulary for all playable media and performs speech recognition with the stored audio data
System erkennt die Titelauswahl „Beatles, White Album" System detects track selection "Beatles, White Album"
System spielt die ausgewählte CD. System plays the selected CD.

Claims

Patentansprüche claims
1. Verfahren zur Bedienung technischer Einrichtungen, insbesondere eines Kraftfahrzeugs, wobei Spracheingaben durch eine Spracheingabeeinheit und Manuelleingaben durch eine manuelle Eingabeeinheit als Bedienanweisungen einer Steu¬ ereinheit zugeleitet werden, durch die ein der Bedienanweisung entsprechender Befehl erzeugt und der entsprechenden technischen Einrichtung zugeleitet wird, die dann den der Bedienanweisung zugeordneten Bedienvorgang ausführt, dadurch gekennzeichnet, dass durch die 1. A method for operating technical equipment, in particular a motor vehicle, wherein voice inputs are fed by a voice input unit and manual inputs by a manual input unit as operating instructions a STEU ¬ unit through which generates a command corresponding command and the corresponding technical device is fed, then performs the operating instruction associated with the operating instruction, characterized in that by the
Spracheingabeeinheit (3) oder die manuelle Eingabeeinheit eine Grundstruktur des Befehls festgelegt wird und an¬ schließend durch die manuelle Eingabeeinheit oder die Spracheingabeeinheit (3) eine Ergänzung der Grundstruktur des Befehls erfolgt. Speech input unit (3) or the manual input unit, a basic structure of the command is set and on closing ¬ by the manual input unit or the voice input unit (3), a complement of the basic structure of the command.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Spracheingabe kontinuierlich in einem Ringpuffer (2) der Spracheingabeeinheit (3) gespeichert wird, wobei der Ringpuffer (2) einen Zeitabschnitt der Spracheingabe vor dem StartZeitpunkt der Spracherkennung für die 2. The method according to claim 1, characterized in that the voice input is stored continuously in a ring buffer (2) of the voice input unit (3), the ring buffer (2) a period of the voice input before the start time of the speech recognition for the
Spracherkennung zur Verfügung stellt.  Speech recognition provides.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Spracherkennung durch die Spracheingabeeinheit (3) durch manuelle Betäti¬ gung eines Schaltelements und/oder durch ein Gestikerkennungselement aktiviert wird. 3. The method according to any one of the preceding claims, characterized in that a voice recognition by the voice input unit (3) by manual Actu ¬ tion of a switching element and / or is activated by a gesture recognition element.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bedienanweisungen der Spracheingabeeinheit (3) aus in der Steuereinheit (10) gespeicherten Codeworten bestehen. 4. The method according to any one of the preceding claims, characterized in that the operating instructions of the voice input unit (3) consist of codewords stored in the control unit (10).
5. Vorrichtung zur Bedienung technischer Einrichtungen, insbesondere eines Kraftfahrzeugs, zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, mit einer Spracheingabeeinheit (3) und einer manuellen Eingabeeinheit zur Auslösung von Bedienanweisungen, die einer Steuereinheit (10) zuleitbar sind und durch die ein der Bedienanweisung entsprechender Befehl erzeugbar und der entsprechenden technischen Einrichtung zuleitbar ist, durch die dann der der Bedienanweisung zugeordnete Bedienvorgang ausführbar ist, wobei durch die Spracheingabeeinheit (3) oder die manuelle Ein¬ gabeeinheit eine Grundstruktur des Befehls und anschlie¬ ßend durch die manuelle Eingabeeinheit oder die Sprach¬ eingabeeinheit eine Ergänzung der Grundstruktur des Befehls erfolgt. 5. Apparatus for operating technical equipment, in particular a motor vehicle, for carrying out the Method according to one of the preceding claims, characterized in that it comprises a voice input unit (3) and a manual input unit for triggering operating instructions which can be fed to a control unit (10) and by which a command corresponding to the operating instruction can be generated and supplied to the corresponding technical device, by the then associated with the operating instruction operation is executable, wherein by the speech input unit (3) or the manual input ¬ gabeeinheit a basic structure of the command and subsequently ¬ ßend by the manual input unit or voice ¬ input unit is a supplement to the basic structure of the command.
Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die manuelle Eingabeeinheit ein Tastenfeld aufweist. Apparatus according to claim 5, characterized in that the manual input unit comprises a keypad.
Vorrichtung nach einem der Ansprüche 5 und 6, dadurch gekennzeichnet, dass die Eingabeeinheit ein berüh¬ rungsempfindliches Tastenfeld (7) aufweist. Device according to one of claims 5 and 6, characterized in that the input unit comprises a berüh ¬ approximately sensitive keypad (7).
Vorrichtung nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass die Vorrichtung eine Anzeige mit einem Anzeigefeld zum Anzeigen von Bilddarstellungen und/oder von durch die manuelle Eingabeeinheit oder die Spracheingabeeinheit (3) festlegbaren Grundstrukturen der Befehle und/oder Ergänzungen der Grundstrukturen der Befehle und/oder von Menüs und/oder von Untermenüs auf¬ weist. Device according to one of claims 5 to 7, characterized in that the device is a display with a display panel for displaying image representations and / or by the manual input unit or the speech input unit (3) definable basic structures of the commands and / or supplements of the basic structures of the commands and / or menu and / or submenus has ¬.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Anzeige eine elektrooptische Anzeige ist. Apparatus according to claim 8, characterized in that the display is an electro-optical display.
Vorrichtung nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, dass das Anzeigefeld der transparen^ ten manuellen Eingabeeinheit hinterlegt ist. Device according to one of claims 5 to 9, characterized in that the display field of the transparen ^ th manual input unit is stored.
EP10795278A 2009-12-21 2010-12-09 Method and device for operating technical equipment, in particular a motor vehicle Ceased EP2517098A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009059792A DE102009059792A1 (en) 2009-12-21 2009-12-21 Method and device for operating technical equipment, in particular a motor vehicle
PCT/EP2010/069264 WO2011076578A1 (en) 2009-12-21 2010-12-09 Method and device for operating technical equipment, in particular a motor vehicle

Publications (1)

Publication Number Publication Date
EP2517098A1 true EP2517098A1 (en) 2012-10-31

Family

ID=43536613

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10795278A Ceased EP2517098A1 (en) 2009-12-21 2010-12-09 Method and device for operating technical equipment, in particular a motor vehicle

Country Status (5)

Country Link
US (1) US20120284031A1 (en)
EP (1) EP2517098A1 (en)
CN (1) CN102667708A (en)
DE (1) DE102009059792A1 (en)
WO (1) WO2011076578A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971503B1 (en) 2012-04-02 2015-03-03 Ipdev Co. Method of operating an ordering call center using voice recognition technology
DE102013001219B4 (en) * 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Method and system for voice activation of a software agent from a standby mode
CN104881117B (en) * 2015-05-22 2018-03-27 广东好帮手电子科技股份有限公司 A kind of apparatus and method that speech control module is activated by gesture identification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1168302A2 (en) * 2000-06-21 2002-01-02 Volkswagen Aktiengesellschaft Speech recognition system with active standby mode
DE102008051756A1 (en) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodal user interface of a driver assistance system for entering and presenting information

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4116455A1 (en) 1991-05-18 1992-11-19 Oberspree Habelwerk Gmbh Ground-heat- and water-extraction unit - has central pipe with bottom filter pipe and supporting concentric outer ones
DE4216455C2 (en) * 1991-05-20 1994-02-10 Ricoh Kk Voice control device
DE19711365A1 (en) 1997-03-19 1998-09-24 Bosch Gmbh Robert Electric device
US7720682B2 (en) * 1998-12-04 2010-05-18 Tegic Communications, Inc. Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
DE19932776A1 (en) 1999-07-14 2001-01-25 Volkswagen Ag Method and device for displaying input options
DE19933524A1 (en) * 1999-07-16 2001-01-18 Nokia Mobile Phones Ltd Procedure for entering data into a system
JP3594011B2 (en) * 2001-11-30 2004-11-24 株式会社デンソー Navigation device
US20030112277A1 (en) * 2001-12-14 2003-06-19 Koninklijke Philips Electronics N.V. Input of data using a combination of data input systems
GB2385697B (en) * 2002-02-14 2005-06-15 Canon Kk Speech processing apparatus and method
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
WO2004053836A1 (en) * 2002-12-10 2004-06-24 Kirusa, Inc. Techniques for disambiguating speech input using multimodal interfaces
DE10360656A1 (en) * 2003-12-23 2005-07-21 Daimlerchrysler Ag Operating system for a vehicle
US20050197843A1 (en) * 2004-03-07 2005-09-08 International Business Machines Corporation Multimodal aggregating unit
JP4097219B2 (en) * 2004-10-25 2008-06-11 本田技研工業株式会社 Voice recognition device and vehicle equipped with the same
JP4667138B2 (en) * 2005-06-30 2011-04-06 キヤノン株式会社 Speech recognition method and speech recognition apparatus
US7729911B2 (en) * 2005-09-27 2010-06-01 General Motors Llc Speech recognition method and system
JP4878471B2 (en) * 2005-11-02 2012-02-15 キヤノン株式会社 Information processing apparatus and control method thereof
US20070124507A1 (en) * 2005-11-28 2007-05-31 Sap Ag Systems and methods of processing annotations and multimodal user inputs
EP2142888B1 (en) * 2007-04-30 2014-12-17 Peiker acustic GmbH & Co. KG Navigation system
DE102007037567A1 (en) * 2007-08-09 2009-02-12 Volkswagen Ag Method for multimodal operation of at least one device in a motor vehicle
TW200928315A (en) * 2007-12-24 2009-07-01 Mitac Int Corp Voice-controlled navigation device and method thereof
DE102008008948A1 (en) * 2008-02-13 2009-08-20 Volkswagen Ag System architecture for dynamic adaptation of information display for navigation system of motor vehicle i.e. car, has input modalities with input interacting to modalities so that system inputs result about user interfaces of output module
DE102008027958A1 (en) * 2008-03-03 2009-10-08 Navigon Ag Method for operating a navigation system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1168302A2 (en) * 2000-06-21 2002-01-02 Volkswagen Aktiengesellschaft Speech recognition system with active standby mode
DE102008051756A1 (en) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodal user interface of a driver assistance system for entering and presenting information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2011076578A1 *

Also Published As

Publication number Publication date
DE102009059792A1 (en) 2011-06-22
CN102667708A (en) 2012-09-12
US20120284031A1 (en) 2012-11-08
WO2011076578A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
EP3373123B1 (en) Method and device for representing a list of suggested a control actions from a proposal system and interaction with the proposal system
WO2009062677A2 (en) Multimode user interface of a driver assistance system for inputting and presentation of information
WO2007104635A2 (en) Method for the selection of functions with the aid of a user interface, and user interface
DE102008008948A1 (en) System architecture for dynamic adaptation of information display for navigation system of motor vehicle i.e. car, has input modalities with input interacting to modalities so that system inputs result about user interfaces of output module
EP2026328B1 (en) Method for multimodal control of at least one device in a motor vehicle
DE102007036425B4 (en) Menu-controlled multifunction system, especially for vehicles
WO2015106830A1 (en) User interface and method for controlling a volume by means of a touch-sensitive display unit
EP2517098A1 (en) Method and device for operating technical equipment, in particular a motor vehicle
EP3077892B1 (en) Motor vehicle control apparatus with touch-sensitive input panel
DE102011017261A1 (en) Method for providing user interface in vehicle for determining information in index database, involves accounting cross-reference between database entries assigned to input sequences by determining number of hits
DE102004010406B3 (en) Information or entertainment system of a motor vehicle and method for selecting a list entry
DE102009059869A1 (en) Method for providing user interface for control device utilized with e.g. driver assistance system in motor vehicle, involves releasing indicator after detection of touching of touch-sensitive surfaces
DE102005014774A1 (en) Procedure for input preview and user interface with input preview
EP2766210B1 (en) Method for providing an operating device in a vehicle and operating device
DE102009018590B4 (en) Motor vehicle with an operating device and associated method
DE102006055252A1 (en) Telecommunication terminal e.g. mobile telephone, operation method, involves providing interactive operation of telecommunication terminal from combination of language statement and spatial movement of telecommunication terminal
DE102008026030B4 (en) Information and assistance system and a method for its control
DE102008033441B4 (en) Method for operating an operating system for a vehicle and operating system for a vehicle
DE102013016196A1 (en) Motor vehicle operation by means of combined input modalities
WO2021004682A1 (en) Method for operating an operating system in a vehicle and operating system in a vehicle
US11194466B2 (en) Procedure for entering commands for an electronic setup
WO2020200557A1 (en) Method and apparatus for interaction with an environment object in the surroundings of a vehicle
EP2703205A1 (en) Method for displaying and operating functional groups and/or functions and a display and operating device
DE102009058151A1 (en) Speech dialog system operating method for e.g. operation of devices of car, involves differentiating graphical element with equal representation feature and other graphical element with unequal representation feature from each other
DE102010008355A1 (en) Method for supporting user of motor car when operating car functions, involves detecting state of car devices during control step, and performing acoustic illustration of control step depending on detected state of car devices

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120723

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20170803

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20181228