Beschreibung
Verfahren und Vorrichtung zur Bedienung technischer Einrichtungen, insbesondere eines Kraftfahrzeugs
Die Erfindung bezieht sich auf ein Verfahren und auf eine Vorrichtung zur Bedienung technischer Einrichtungen, insbesondere eines Kraftfahrzeugs, wobei Spracheingaben durch eine Spracheingabeeinheit und Manuelleingaben durch eine manuelle Eingabeeinheit als Bedienanweisungen einer Steuereinheit zu¬ geleitet werden, durch die ein der Bedienanweisung entsprechender Befehl erzeugt und der entsprechenden technischen Einrichtung zugeleitet wird, die dann den der Bedienanweisung zugeordneten Bedienvorgang ausführt.
Bei einer Vorrichtung der eingangs genannten Art ist es bekannt Bedienanweisungen entweder rein durch Navigieren und Betätigen eines Touchscreen-Menüs oder rein durch Drücken einer Push-to-talk-Taste und anschließender Spracheingabe ein- zugeben.
Bei zunehmender Komplexität und Vielseitigkeit der elektri¬ schen und elektronischen Systeme in Kraftfahrzeugen wird auch die Bedienung aller Funktionen unüberschaubar.
Werden nur die Tasten des Touchscreens benutzt, wird die An¬ zahl der Tasten unüberschaubar.
Eine reine Sprachbedienung stößt schnell an ihre Grenzen, wenn es um die Steuerung komplexer Mechanismen geht, da entweder ein natürlichsprachiger Dialog ermöglicht werden muss, was hohe Resourcenanforderungen mit sich bringt, oder der Benutzer gezwungen ist, eine Liste von Kommandos auswendig zu lernen .
Aufgabe der Erfindung ist es daher ein Verfahren und eine Vorrichtung zur Bedienung technischer Einrichtungen zu schaf-
fen, wobei auch bei größerer Komplexität der technischen Einrichtungen eine einfache Bedienung ermöglicht ist.
Diese Aufgabe wird für ein Verfahren dadurch gelöst, dass durch die Spracheingabeeinheit oder die manuelle Eingabeein¬ heit eine Grundstruktur des Befehls festgelegt wird und an¬ schließend durch die manuelle Eingabeeinheit oder die Sprach¬ eingabeeinheit eine Ergänzung der Grundstruktur des Befehls erfolgt .
Durch dieses Verfahren erfolgt zunächst eine Vorauswahl durch die zuerst aktivierte Eingabeeinheit und anschließend eine Unterauswahl durch die danach aktivierte Eingabeeinheit. Damit sind nur eine begrenzte Anzahl von Bedienanweisungen für die Spracheingabeeinheit und die manuelle Eingabeeinheit erforderlich .
Der Bedienvorgang kann eine Ansteuerung zum Betrieb eines Ge- räts sein. Weiterhin kann ein Bedienvorgang eine Ansteuerung eines oder mehrerer Komponenten eines Infotainmentsystems sein, das z. B. ein Telefonbuch oder Navigationsinformationen enthalten kann. Es versteht sich, dass auch noch weitere Eingabestufen vorhanden sein können.
Wird die Spracheingabe kontinuierlich in einem Ringpuffer der Spracheingabeeinheit gespeichert, wobei der Ringpuffer einen Zeitabschnitt der Spracheingabe vor dem StartZeitpunkt der
Spracherkennung für die Spracherkennung zur Verfügung stellt, so stehen immer die letzten Sekunden oder Minuten der aufgenommenen Spracheingabe für die Spracherkennung zur Verfügung. Eine Spracherkennung durch die Spracheingabeeinheit kann durch manuelle Betätigung eines Schaltelements und/oder durch ein Gestikerkennungselement aktiviert werden.
Dabei kann das Schaltelement ein separates Schaltelement oder aber auch ein Element der manuellen Eingabeeinheit sein.
Damit wird eine kontinuierlich im Hintergrund mitlaufende Spracherkennung vermieden, die sehr resourcenaufwendig wäre und leicht zu Fehlerkennungen führen würde.
Die Bedienanweisungen der Spracheingabeeinheit bestehen vorzugsweise aus in der Steuereinheit gespeicherten Codeworten, die als Thesaurus gespeichert sind.
Das Verfahren und die Vorrichtung sind vorzugsweise bei tech¬ nischen Einrichtungen eines Kraftfahrzeugs anwendbar. Die Erfindung ist aber nicht auf eine solche Anwendung beschränkt sondern kann auch auf anderen Anwendungsgebieten wie z. B. bei Fahrkartenautomaten angewendet werden.
Die Aufgabe wird bei einer Vorrichtung gelöst durch eine Spracheingabeeinheit und einer manuellen Eingabeeinheit zur Auslösung von Bedienanweisungen, die einer Steuereinheit zuleitbar sind und durch die ein der Bedienanweisung entsprechender Befehl erzeugbar und der entsprechenden technischen Einrichtung zuleitbar ist, durch die dann der der Bedienanweisung zugeordnete Bedienvorgang ausführbar ist, wobei durch die Spracheingabeeinheit oder die manuelle Eingabeeinheit ei¬ ne Grundstruktur des Befehls und anschließend durch die ma¬ nuelle Eingabeeinheit oder die Spracheingabeeinheit eine Er¬ gänzung der Grundstruktur des Befehls erfolgt. Dabei kann die manuelle Eingabeeinheit ein Tastenfeld aufwei¬ sen, wobei die Eingabeeinheit vorzugsweise ein berührungsemp¬ findliches Tastenfeld insbesondere ein Touchscreen aufweist.
Weist weiterhin die Vorrichtung eine Anzeige mit einem Anzei- gefeld zum Anzeigen von Bilddarstellungen und/oder von durch die manuelle Eingabeeinheit oder die Spracheingabeeinheit festlegbaren Grundstrukturen der Befehle und/oder Ergänzungen
der Grundstrukturen der Befehle und/oder von Menüs und/oder von Untermenüs auf, so kann durch die Kombination mit der manuellen Eingabe die Speichereingabe in den Kontext eines auf dem Anzeigefeld dargestellten Objekts dargestellt werden, oh- ne das Vokabular des Spracherkenners vergrößern zu müssen. Wird in der Spracheingabe auf ein gewisses Objekt Bezug ge¬ nommen, kann es z. B. durch „hier", „da" oder „dieses" refe- renziert werden, anstatt es benennen zu müssen. Durch Einteilung des Tastenfeldes in verschiedene Domänen wie „Schalter", „Signallampen" und „Straßenkarte" für den Spracherkenner wird eine wesentliche Erhöhung der Erkennungsrate erreicht.
Umgekehrt führt die Erweiterung eines Tastendrucks mit einer Spracheingabe zu einer Art gesprochenem Kontextmenü. Sind bei einem Verfahren nach dem Stand der Technik mehrere Aktionen als Reaktion auf das Drücken eines Tasters möglich, wird eine Liste (Kontextmenü) auf dem Anzeigefeld eingeblendet, aus der der Benutzer die gewünschte Option herausholen und anwählen muss. Bei dem erfindungsgemäßen Verfahren erfolgt diese Aus- wähl automatisch durch Auswertung der Spracheingabe.
Vorzugsweise ist die Anzeige eine elektrooptische Anzeige wie z. B. ein LCD. Zur Kombination der manuellen Eingabeeinheit mit Darstellungen auf dem Anzeigefeld der Anzeige kann das Anzeigefeld der transparenten manuellen Eingabeeinheit hinterlegt sein.
Dadurch können sich sehr intuitive Bedienschritte ergeben wie z. B. das Tippen auf einem bestimmten Punkt einer angezeigten Land- oder Straßenkarte in Verbindung mit der Spracheingabe „führ mich dort hin" oder „wie weit ist es dort hin".
Durch die in der Spracheingabe enthaltene sematische Informa- tion kann sogar eine Folge von manuellen Eingaben zueinander in Bezug gesetzt werden wie z. B. durch das Drücken von zwei
verschiedenen Punkten auf der Landkarte in Verbindung mit der Frage „Wie weit ist es von da nach da?"
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen :
Figur 1 ein Blockschaltbild einer Vorrichtung zur Bedienung technischer Einrichtungen eines Kraftfahrzeugs,
Figur 2 ein Ablaufdiagramm eines Verfahrens zur Ermittlung und Ansteuerung einer Funktion und
Figur 3 ein Ablaufdiagramm eines Verfahrens zur Ermittlung und Ansteuerung eines Objekts.
Die in Figur 1 dargestellte Vorrichtung weist ein Mikrofon 1 für eine Spracheingabe in einen Ringpuffer 2 einer Spracheingabeeinheit 3 auf.
Die Spracheingabeeinheit 3 weist weiterhin einen Spracherken¬ ner 4 auf, durch den die Spracheingabe mit Codeworten eines gespeicherten Thesaurus an Codeworten verglichen und bei Erkennen einer Spracheingabe und Zuordnung zu einem oder mehreren gespeicherten Codewörtern ein entsprechendes Sprachsignal 11 erzeugt und einer Zusammenführeinheit 5 zugeleitet wird.
Weiterhin ist ein LCD-Bildschirm 6 mit einem davor angeordneten transparenten Touchscreen 7 vorhanden, wobei der
Touchscreen 7 in eine Mehrzahl Tastpositionen eingeteilt ist.
Das durch manuelles Beaufschlagen einer Tastposition erzeugte Tastsignal 12 wird in einer Touchscreeneinheit 8 registriert und ein entsprechendes Touchsignal 13 über eine die Anzeige auf dem LCD-Bildschirm 6 steuernde graphische Benutzeroberfläche 9 ebenfalls der Zusammenführeinheit 5 zugeleitet.
Das Touchsignal 13 und das Sprachsignal 11 werden von der Zu¬ sammenführeinheit 5 einer Steuereinheit 10 zugeführt, von der ein entsprechender Befehl 14 erzeugt und zur Ausführung einer nicht dargestellten technischen Einrichtung zugeleitet wird.
Die Spracheingabeeinheit 3 muss, wenn sie noch nicht akti¬ viert war, zuvor aktiviert werden. Dazu wird eine entspre¬ chende Start-Tastposition des Touchscreens 7 beaufschlagt, wodurch über die graphische Benutzeroberfläche ein Startsig- nal 15 der Steuereinheit 10 zugeleitet wir, die dann ein Ak¬ tivierungssignal 16 dem Spracherkenner 4 zuleitet und damit die Spracheingabeeinheit 3 aktiviert.
Bei dem in Figur 2 dargestellten Ablaufdiagramm wird zunächst auf einem Touchscreen die gewünschte Funktion durch Betätigen der entsprechenden Touchscreenkoordinate ermittelt.
Wird weiterhin festgestellt, dass eine Spracheingabeeinheit aktiviert ist, wird ein Erkenner-Vokabular aus einem Code- wortthesaurus für die ausgewählte Funktion gesetzt.
Ein nun von einer Spracheingabeeinheit erfasster Name wird darauf geprüft, ob er gültig oder nicht gültig ist. Ist er nicht gültig, muss eine neue Spracheingabe erfolgen.
Ist er gültig, werden der Name (Codewort) mit der am
Touchscreen ausgewählten Funktion verknüpft und ein entsprechender Ausführungsbefehl ausgegeben.
Ist die Spracheingabe nicht aktiviert, kann der Name (Code¬ wort) auch über eine graphische Benutzeroberfläche des
Touchscreens eingegeben werden und so den Ausführungsbefehl auslösen .
Bei dem in Figur 3 dargestellten Ablaufdiagramm wird zunächst auf einem Touchscreen das gewünschte Objekt durch Betätigen der entsprechenden Touchscreen-Koordinate ermittelt. Wird weiterhin festgestellt, dass eine Spracheingabeeinheit aktiviert ist, wird ein Erkenner-Vokabular für mögliche Kommandos aus einem Kommandothesarus für das ausgewählte Objekt gesetzt . Ein nun von einer Spracheingabeeinheit erfasstes gesprochenes Kommando wird darauf geprüft, ob es gültig oder ungültig ist.
Ist es nicht gültig, muss eine neue Spracheingabe erfolgen. Ist es gültig, werden das Kommando mit dem am Touchscreen ausgewählten Objekt verknüpft und ein entsprechender Ausführungsbefehl ausgegeben.
Im Folgenden werden mehrere Ablaufbeispiele aufgeführt.
Sprachbefehl nach Anwahl eines Displayobjekts
Auswahl eines Objekts per Sprache
Benutzer hat die Kartendarstellung seines Infotainment- Systems offen und die Sonderziele-Symbole sind auf der Karte zu sehen
Benutzer drückt auf den Touchscreen an der Position eines Hotelsymbols und spricht „Info" - System erkennt die Anwahl des Sonderziels
System erkennt anhand der Sprachaktivität, dass der
Benutzer einen besonderen Wunsch hat. Bei fehlender
Sprachaktivität passiert nichts - System lädt das Kommandovokabular für die entsprechende
Bearbeitung und für die Spracherkennung mit den Audiodaten durch
System erkennt das Kommando „Info"
System zeigt ein pop-up Fenster mit der Information über dieses Hotel, z. B. Namen, Adresse und Telefon-Nr.
Auswahl einer Funktion per Sprache
Das Pop-up-Fenster hat z. B. zwei Tasten „Anrufen" und „Navigieren
Benutzer drückt auf das Fenster an einer Position außer- halb der beiden Tasten und spricht „Anrufen"
System lädt das Kommandovokabular für die entsprechende Bearbeitung und für die Spracherkennung mit den Audiodaten durch
System wählt die Telefon-Nr. des Hotels.
Sprachbefehl erfolgt vor einem Drücken auf eine Taste des Touchscreen
Auswahl einer Funktion per Sprache
Benutzer hat Telefonbuch seines Infotainment-Systems offen und möchte einen Eintrag löschen
Benutzer spricht „Lösche Eintrag"
Benutzer drückt auf den Touchscreen an der Listenposition des zu löschenden Eintrags
System erkennt die Auswahl des Listeneintrags
System erkennt anhand der Sprachaktivität, dass der Benut¬ zer einen besonderen Wunsch hat. Bei fehlender Sprachaktivität würde z. B. die Standardfunktion „Wählen" ausgeführt werden
System lädt das Kommandovokabular für die Bearbeitung eines Listeneintrags und führt die Spracherkennung mit den gespeicherten Audiodaten durch
System erkennt das Kommando „Lösche Eintrag"
System löscht den selektierten Listeneintrag.
Auswahl eines Objekts per Sprache
Benutzer hat Media-Player seines Infotainment-Systems of¬ fen und möchte eine bestimmte CD oder Playlist zum Abspie len auswählen
Benutzer spricht „Beatles, Weißes Album"
Benutzer drückt auf den Touchscreen für die Funktionsaus¬ wahl „Play"
System erkennt die gewünschte Funktion „Play"
System erkennt anhand der Sprachaktivität, dass „Play" mit einer Nebenbedingung verknüpft werden soll
System lädt das Vokabular für alle abspielbaren Medien und führt die Spracherkennung mit den gespeicherten Audiodaten durch
System erkennt die Titelauswahl „Beatles, White Album"
System spielt die ausgewählte CD.