DE102006055252B4

DE102006055252B4 - Anordnung und Verfahren zur multimodalen Auswahl von Objekten in Telekommunikationsanwendungen

Info

Publication number: DE102006055252B4
Application number: DE102006055252.0A
Authority: DE
Inventors: Ingmar Kliche; Thomas Scheerbarth; Fred Runge; Gregor GLASS; Dr. Englert Roman; Dr. Bub Udo
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2006-11-23
Filing date: 2006-11-23
Publication date: 2019-03-28
Anticipated expiration: 2026-11-24
Also published as: DE102006055252A1

Abstract

Verfahren zur Bedienung eines Telekommunikationsendgerätes, das Telekommunikationsendgerät weist mindestens einen Neigungssensor und/oder mindestens einen Drehbewegungssensor und/oder mindestens einen Beschleunigungssensor und mindestens ein Mikrofon auf, wobei die interaktive Bedienung des Telekommunikationsendgerätes aus einer Kombination von Sprachanweisungen und räumlichen Bewegungen des Telekommunikationsendgerätes erfolgt, dadurch gekennzeichnet, dass die Navigation durch Menüs über die Bewegung im Raum erfolgt und die Auswahl des Menü-Punktes durch mindestens ein Sprachkommando erfolgt, indem das Durchrollen von Menü-Punkten durch die Neigung des Endgerätes so erfolgt, dass beim Nutzer die Vorstellung vom Rollen einer Kugel auf einer geneigten Fläche geprägt wird, und wobei der Benutzer durch Sprechen mindestens einer Steueranweisung, wie „Halt“, „Stopp“ und/oder „Aktivieren“, das Rollen durch die Menü-Punkte anhält, um eine mit dem Menü-Punkt verbundene Funktionalität durch einen gesprochenen Ausführungsbefehl zu aktivieren.

Description

Die Erfindung betrifft eine Anordnung und ein Verfahren, welches es ermöglicht, in einem mobilen, mit mindestens einem Display ausgestatteten Endgerät unter einhändiger Nutzung von Neigungs- und/oder Bewegungssensoren, sowie von Sprachtechnologie Displayinhalte bzw. auf dem Display dargestellte Objekte im Rahmen von 3D-Interaktionen auszuwählen und/oder ihre Darstellungsweise zu verändern.
Hintergrund der Erfindung:
Es ist bekannt ein auf einem Bildschirm dargestelltes und ggf. ausgewähltes Objekt (z.B. Menüoption) temporär durch besondere Farbgestaltung, Helligkeit, Umrandung oder Zeigerelemente zu kennzeichnen. Ein solcher Ansatz wird immer dann verfolgt, wenn ein elektronisches Gerät eine Benutzerschnittstelle aufweist, die es erlaubt einen oder mehrere Optionen auszuwählen.
Bekannt sind multimodale Dialogsysteme (siehe http://www.w3.org/TR/mmi-framework/) für die eine Vielzahl von multimodalen Eingabemöglichkeiten wie Sprache, Tastatur, Griffel, Touchscreen, GPS vorgesehen sind. Eine weitere Technologie zur Eingabe von Nutzerreaktionen ergibt sich aus der Auswertung von Sensorsignalen zur Bestimmung von Bewegung und/oder Neigung eines Endgerätes (StdT).
Eine Lösung für eine ähnliche Aufgabenstellung zum Durchscrollen eines Bildschirminhaltes (z.B. Namen in einem Telefonverzeichnis/Tabelle) unter Nutzung von Neigungssensoren wurde schon in JP 07064754 A und US5602566A beschrieben. Gleichzeitig ist hier zum Starten und Beenden des Durchrollens ein zusätzlicher mit einem Finger zu bedienender Schalter erforderlich, der die Handhabbarkeit einschränkt.
Aus der US6201554B1 sind zusätzliche Aktivierungstasten zum Ein- und/oder Umschalten der durch die Neigung des Gerätes zu beeinflussenden Parameter bekannt.
Sowohl DE29913814U1 , als auch DE10231570A1 offenbaren ein Mobilfunkgerät, welches mit mindestens einem Beschleunigungs- bzw. Bewegungssensor ausgestattet ist und damit über bestimmte definierte Bewegungen bestimmte Funktionen ausführen kann. In beiden Fällen dienen allein Bewegungen der Auswahl von Funktionen.
Die DE10317542A1 beschreibt die Nutzung von Beschleunigungssensoren in einem Mobiltelefon zur Emulation einer Computermaus durch dieses Endgerät. Dabei erfolgt gemäß Zeichnung die Übertragung der Daten an den Computer über eine Steckverbinderschnittstelle.
Auch DE10132243C2 offenbart eine handgehaltene Einrichtung zur Erzeugung und Übermittlung von Orts-, Lage- und/oder Bewegungsdaten und zur Steuerung von Anwendungen der virtuellen Realität.
Die Druckschriften US2005/0212766A1 und EP 1 717 676A1 offenbaren Eingabeverfahren in ein mobiles Endgerät bei dem Sprache und Bewegungserkennung eines mobilen Endgerätes verwendet werden. Die US 2005/0197058 A1 offenbart die Erkennung von Neigungen und stellt ein mobiles Endgerät entsprechend ein.
Alle genannten Verfahren und Systeme beschreiben nur die Nutzung eines Eingabemodus über Neigung oder Bewegung zur Steuerung von Funktionen des Gerätes oder einer auf dem Gerät dargestellten Anwendung. Eine bessere Bedienbarkeit von Endgeräten, wie z.B. Smartphones, ist, wie bekannt erst durch vielfältige multimodale Eingabemöglichkeiten erreicht. Die Definition von Start und Ende, einer durch die Neigung eines Gerätes ausgelösten Bewegung einer Darstellung auf dessen Display, allein durch Tastatur- oder wiederum andere Bewegungsaktionen schränken den Nutzer in seinen Interaktionsmöglichkeiten ein.
Die Nutzung des Displays eines mobilen Endgerätes als virtuelle Linse zur Auswahl eines Teilbereiches eines virtuellen Fensters ist aus der GB2357684A bekannt.
Überblick über die Erfindung:
Ziel ist es somit, nach Lösungen zu suchen, die weiterhin eine Bedienung über die Bewegung des Endgerätes gewährleisten, die jedoch keine zusätzlichen Eingaben über Schalter oder Tasten erfordern.
Gelöst wird diese Aufgabe durch eine Erfindung mit den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Ausführungsform finden sich in den Unteransprüchen.
Insbesondere handelt es sich bei der Erfindung um ein Verfahren zur Bedienung von Anwendungen, die auf einem Telekommunikationsendgerät implementiert sind. Bei diesem Gerät kann es sich um ein herkömmliches Mobiltelefon, einen PDA (Personal Digital Assistant), Smartphone oder ähnliches handeln. Die Geräte sind oftmals mit einer sehr komplexen Benutzeroberfläche versehen, die z.B. zusätzlich zu gewöhnlichen Tasten über Kipptasten oder -stifte, welche ähnlich einem Joystick in verschiedene Richtungen gekippt werden können oder über einen Touchscreen anzusteuern sind. Ferner gibt es eine Reihe von Funktionstasten, die die Auswahl von Menüpunkten erlaubt. Auch gibt es Telekommunikationsendgeräte mit Richtungstasten. Für den Benutzer ist es oftmals sehr aufwendig diese Vielzahl von Funktionen z.B. über Menüs zu steuern. Insbesondere dann, wenn er noch zusätzlich einen Stift benötigt, um Funktionen und Menüs auszuwählen.
Das erfindungsgemäße Telekommunikationsendgerät weist mindestens einen Neigungssensor und/oder mindestens einen Drehbewegungssensor und mindestens ein Mikrofon auf, wobei die interaktive Bedienung des Telekommunikationsendgerätes aus einer Kombination von Sprachanweisungen und räumlichen Bewegungen des Telekommunikationsendgerätes erfolgt.
Es werden hierbei die Neigungen und/oder Drehbewegungen des Gerätes um verschiedene Achsen erkannt, die auch außerhalb des Endgerätes liegen können.
In einer bevorzugten Ausführungsform erfolgt die Auswertung von Signalen (z.B. Sprachsignalen) und die Interpretation der damit verbunden Nutzereingabe durch das Gerät selber. Unter Umständen führt dies zu einer hohen Speicher- und/oder Prozessorlast des Gerätes. Aus diesem Grund kann es zweckmäßig sein, dass eine Auswertung von Signalen von Mikrofonen und/oder Sensoren oder Teilen davon auf einem durch ein drahtloses und/oder drahtgebundenes Netzwerk angeschlossenen Server erfolgt. Auf dem mit mindestens einem Prozessor ausgestatteten Server oder Serversystem ist mindestens ein Spracherkennungssystem installiert, welches die Sprache erkennt und mindestens einen erkannten Befehl in mindestens einer definierten Kurzform oder auch in der Textform an das System zurückgibt.
Ein ähnlicher Ansatz kann auch für die Interpretation der Sensorinformationen gewählt werden.Bei einer verteilten Lösung ist es ebenfalls möglich, dass die Neigungsbestimmung auf dem Endgerät und die Spracherkennung auf mindestens einem Serversystem erfolgen kann. Alternative Kombinationen sind ebenfalls denkbar. So kann z.B. die Verarbeitung übermittelter Neigungsdaten ebenfalls auf mindestens einem Serversystem durchgeführt werden.
In der bevorzugten Ausführungsform erfolgt die Navigation durch Menüs über die Bewegung des Gerätes im Raum und die Auswahl des Menü-Punktes durch mindestens ein Sprachkommando. Entsprechend des Auswahl-Klicks oder des Auswahltastendrucks kann mindestens eine sprachliche Äußerung ggf. in Kombination mit mindestens einer kurzen Bewegung benutzt werden. Ein Nutzer kann dann über die Neigung die auf dem Display des Endgerätes dargestellte Menüoptionen auswählen, indem je nach Neigung des Gerätes die Auswahl einer Option bzw. Funktion erfolgt. So kann die Auswahl schrittweise mit einer vorgegebenen Zeitdauer je Option in Richtung der Neigung durchrollen. Folglich verbleibt die Auswahl einen bestimmten Zeitraum auf dem aktuellen Menüpunkt, um dann zum nächsten zu springen.
In einer weiteren alternativen Ausführungsform kann auch ein Durchrollen von Menüoptionen durch die Neigung des Endgerätes so erfolgen, dass die Vorstellung des Nutzers vom Rollen einer Kugel auf einer geneigten Fläche geprägt wird.
In noch einer alternativen Ausführungsform kann die gewünschte Menüoption im Verhältnis zur Ausgangsposition einer Menümarkierung durch den Neigungswinkel oder Rotationswinkel des Endgerätes ausgewählt werden.
Um dann die Auswahl zu bestätigen kann mindestens einSprachkommando eingesetzt werden.
Ferner kann der Benutzer durch Sprechen mindestens einer Steueranweisung, wie z.B. „Halt“, „Stopp“ und/oder „Aktivieren“, die Bewegung der Kennzeichnung, insbesondere das Rollen durch die Menüoptionen, anhalten oder eine mit der Option verbundene Funktionalität durch einen gesprochenen Ausführungsbefehl aktivieren.
All diese Funktionen können beliebig den Bewegungen und der Sprache zugewiesen werden.
Durch die Kombination von Neigungs- und/oder Bewegungssensoren in mobilen Endgeräten mit Technologien der Spracherkennung, ergeben sich neue multimodale Interaktionsmöglichkeiten zur Steuerung von Softwareanwendungen durch den Nutzer. Im Unterschied zum Stand der Technik sind zur Ergänzung der Interaktion über die Neigung des Endgerätes über Sprachbefehle keine zusätzlichen Bedienhandlungen über Tasten oder Bedienhandlungen mit der zweiten Hand mehr erforderlich.
Figurenliste
Im Folgenden werden die Figuren beschrieben, auf die in der detaillierten Beschreibung der Ausführungsformen Bezug genommen wird.
Es zeigt:

1 ein serverbasiertes System zur Auswahl von Objekten in Anwendungen der Telekommunikation;
2 ein endgerätebasiertes kombiniertes System zur Auswahl von Objekten zur Anwendung in der Telekommunikation, welches z.B. Griffel, Tastatur, Touchsreen und Spracherkennung aufweist, wobei die Spracherkennungstechnologie oder Teile davon sowohl auf dem Endgerät, als auch auf einem externer Server implementiert sein können;
3 eine Darstellung der Definition von Rotationsachsen;
4 Beispiel für Rotationsmenüs;
5 Beispiel für Objektauswahl in Form von Icons
6 Beispiel für die Umschaltung in Porträt/Landschaftsmodus als Vergrößerungsoption durch Drehbeschleunigungssensoren;
7 Beispiele für mögliche Bedienmodi für die Interaktionsachsen (Aktivierung von Modi/Funktionen, Bestätigung)

Beschreibung der bevorzugten Ausführungsform:
Zur Realisierung der Aufgabenstellung wird ein Telekommunikationsendgerät 1 (siehe 1), welches mit Neigungs- und/oder Drehbewegungssensoren 2 ausgestattet ist, zusätzlich mit Mitteln verbunden, die es erlauben, dass der Nutzer einer Anwendung zusätzlich gesprochene, steuernde Anweisungen, wie z.B. „Stopp“, „Halt“ u.a. übermitteln kann. Zu diesen Mitteln gehören Technologien der Spracherkennung 3a.
Die Auswertung der Sprach- 3a und Bewegungs-/Neigungssignale 3b, kann sowohl auf dem Endgerät (wie in 2 dargestellt), als auch, wie in 1 dargestellt, auf einem über ein Netzwerk 2, insbesondere einem Funknetzwerk (z.B. GSM, UMTS, WLAN u.ä.), angeschlossenen Serversystem erfolgen. Dabei sind auch zwischen Netzwerkserver und/oder Endgerät verteilte Lösungen möglich. Beispielsweise kann die Neigungsbestimmung auf dem Endgerät und die Spracherkennung auf mindestens einem Serversystem erfolgen.
Ein solches Serversystem 4 beinhaltet z.B. einen Interaktions/ Applikation Manager 6, der zwischen der Eingabeerkennung 3 und der Informationsausgabe 5 angeordnet ist und die Eingaben verarbeitet, um die Informationsausgabe entsprechend anzusteuern. Die Eingabeinformationen werden unmittelbar über die Sensoren bzw. Mikrofon und ein Netzwerk 2 an die Eingabeerkennung 3 gesendet. Hierbei kann es sich z.B. um Tastatureingaben 3, Eingaben über berührungsempfindliche Bildschirme, Spracheingaben und/oder Signale von Neigungs- und/oder Bewegungssensoren handeln. Bewegungs-, Neigungs-, Beschleunigungs- und/oder Lageerkennungssensoren haben die entsprechenden Informationen erzeugt, die durch mindestens eine Bewegungs-, Neigungs-, Lageerkennungseinheit 3b interpretiert werden. Mindestens eine Spracherkennung 3a erkennt die Audioeingabe, die über das Mikrofon des Gerätes eingegeben wurde. Die Bedeutung der Eingaben während der multimodalen Interaktion des Nutzers mit entsprechenden Anwendungen kann in Medienmodellen festgelegt werden.
Die genannten Komponenten und Funktionen sind alle gemäß der Ausführungsform aus 1 auf dem Serversystem 4 angeordnet.
Die 2 zeigt eine alternative Ausführungsform, bei der die identischen Funktionen, die in der Ausführungsform aus 1 auf dem Serversystem 4 angeordnet waren, nun auf dem mobilen Endgerät selber ablaufen. Die Informationsausgabe 5 umfasst hierbei eine Sprachausgabe TTS 5b und eine Displayausgabe 5a. Entsprechende Mikrofone und Displays sind natürlich vorhanden, wie man der 2 entnehmen kann.
Die Neigungen und / oder Drehbewegungen des Gerätes können dabei um verschiedene Achsen erfolgen (3). Diese können sich auch außerhalb des Endgerätes befinden. So ist der 3 zu entnehmen, dass drei Achsen für die Drehbewegung berücksichtigt werden. Der ersten Teilfigur zu entnehmen, dass das Menü momentan den Auswahlknopf T- online dunkel darstellt. Durch Bewegung um die x-Achse, könnte der Menüeintrag der oberhalb von „T-Online“ liegt „SIM-Manager“ angesteuert werden. Durch Rotation um die y-Achse könnte der Menüeintrag „Terminaldienste“, der links von „T-online“ liegt, angesteuert werden. Eine Rotation um die z-Achse könnte ein diagonales Wandern durch die Menüeinträge einleiten.
Über die Neigung kann der Nutzer nun z.B. auf dem Display des Endgerätes dargestellte Menüoptionen auswählen (4), indem je nach Neigung des Gerätes vorhandene Optionen nach oben oder unten und/oder nach rechts oder links langsam ggf. schrittweise mit einer vorgegebenen Zeitdauer je Option durchrollen. Dies ist immer dann möglich, wenn die Menüstruktur linear untereinander ausgebildet ist, wie z.B. bei Pull-Down-Menüs.
Das Zielobjekt „Menüoption“ kann im Verhältnis zur Ausgangsposition einer Objektmarkierung auch durch den Neigungswinkel des Endgerätes ausgewählt werden. So kann z.B. eine Neigungsrotation um 45 Grad nach rechts um die Längsachse, im Bezug auf die Ausgangslage des Endgerätes, als eine Verschiebung der Markierung, um eine Displaybreite nach rechts definiert werden (Siehe 5). Einer Neigung um 30 Grad könnten 2/3 der Bildschirmbreite entsprechen. Ähnliches gilt dann für eine Neigungsrotation um die Querachse. Ist z.B. auf diese Art ein Objekt ausgewählt worden, so kann mindestens eine damit verbundene Funktion durch das Sprechen eines Bestätigungs- und/oder Ausführungsbefehls, wie z.B. das Wort „abspielen“ für eine Videosequenz aktiviert werden. Das Durchrollen von Menüoptionen durch die Neigung des Endgerätes kann durch die Vorstellung des Nutzers vom Rollen einer Kugel auf einer geneigten Fläche geprägt werden.
Eine Neigung nach rechts oder links (y-Achse) kann neben der Auswahl eines weiteren Menüs ebenfalls die Auswahl innerhalb des Menüs verschieben.
Entspricht ein während des Durchrollens von Optionen gekennzeichnetes Objekt dem Zielobjekt (z.B. Menüoption) des Nutzers, kann dieser durch Sprechen mindestens einer Steueranweisung, wie z.B. „Halt“, „Stopp“ oder „Aktivieren“ die Bewegung der Kennzeichnung (Rollen) durch die Menüoptionen anhalten bzw. wie oben beschrieben eine mit der Option verbundene Funktionalität durch einen gesprochenen Ausführungsbefehl aktivieren. Alternative Kommandoäußerungen sind natürlich denkbar.
Charakteristische Bewegungen des Endgerätes können multimodal durch bestimmte Spracheingaben im Rahmen der Informationseingaben 3 durch gleichzeitiges Sprechen von Äußerungen bestätigt werden, welche z.B. die Bewegungs-, Drehrichtung und/oder Neigungsrichtung („Vor“, „Zurück“, „Links“, „Rechts“, „Oben“, „Unten“) und/oder ausgewählte Menüpunkte zum Ausdruck bringen.
Tritt hier z.B. ein Widerspruch zwischen ermittelten Bewegungs-, Drehrichtungen und/oder Neigungsrichtungen und der Bedeutung von gleichzeitigen Spracheingaben auf, so können z.B. entsprechende Eingaben ignoriert oder über eine Interaktion mit dem Nutzer nachgefragt werden, was z.B. eine versehentliche unerwünschte Aktivierung bestimmter Funktionen in nicht erschütterungsfreien Umgebungen oder während des Transportes eines eingeschalteten Endgerätes vermeidet.
Diese Verfahren eignen sich insbesondere für Menüoptionen, welche nicht als Text, sondern über Grafiken bzw. Videosequenzen dargestellt werden.
Die angegebenen gesprochenen Anweisungen an die Anwendung können gem. vorhandener Spracherkennungstechnologie auch durch mehrere Wörter oder Sätze zum Ausdruck gebracht werden.
Die Bewegung der Kennzeichnung von Menüoptionen mit einer Computermaus, Griffel oder einem anderen auf dem Endgerät befindlichen mechanischen Steuerungsteil würde die Benutzung der zweiten Hand oder eines Fingers, der das Endgerät haltenden Hand erfordern, was ausgeprägte taktile Fähigkeiten voraussetzt, über die z.B. bestimmte ältere Nutzer nur noch eingeschränkt verfügen.
Zur Orientierung des Nutzers über die mit Hilfe der genannten Sensoren erkannten Bewegungen können charakteristischen Bewegungen des Endgerätes bestimmte Sprachausgaben im Rahmen der Informationsausgaben 5 zugeordnet werden, welche z.B. die Drehrichtung („Vor“, „Zurück“, „Links“, „Rechts“, „Oben“, „Unten“) und/oder ausgewählte Menüpunkte zum Ausdruck bringen. Dienen dabei die Bewegungen des Endgerätes der Steuerung entfernter realer Objekte und/oder virtueller Computerobjekte, so kann ggf. mit der Ausführung einer erkannten Bewegung gewartet werden, bis über die Spracheingabe eine Bestätigungsanweisung erkannt wurde.
Eine weitere Möglichkeit zur einhändigen Auswahl von Funktionalitäten ist in 5 dargestellt. Die Bestätigung einer mit Hilfe der Auswertung von Neigungssensorsignalen oder Drehbeschleunigungssensors ausgewählten Funktion kann dabei sowohl über eine Drehung in der z-Achse, als auch separat oder zusätzlich über eine sprachliche Äußerung erfolgen. Durch die sich ergänzende Bestätigung sowohl über Sprache, als auch entsprechende Bewegungen erhöht sich die Wahrscheinlichkeit der Erkennung der gewünschten Aktion, z.B. in sich bewegenden, nicht erschütterungsfreien Umgebungen (z.B. Bahnfahrt oder Fahrt in anderen Fahrzeugen).
Sind Objekte, wie z.B. Menüoptionen auf dem Bildschirm des Endgerätes aufgrund ihrer geringen Größe nur schwer erkennbar, so wird durch eine Drehbewegung in einer vorgegebenen Richtung um eine definierte Achse eine vergrößerte Anzeige gekennzeichneter Objekte ausgelöst (6). Um eine erneute Verkleinerung z.B. während des Zurückdrehens in die Ausgangslage zu vermeiden, können auch hier zur Gewährleistung der Einhandbedienung zusätzliche Sprachbefehle, wie z.B. „Stopp“ u.a. vorgesehen werden. Auch kann das Ein- bzw. Ausschalten des Zoom-Modus über sprachliche Anweisungen erfolgen. Eine andere Möglichkeit zur Erhaltung der erreichten Vergrößerung besteht in der Auswertung der Geschwindigkeit der Drehbewegungen. So kann z.B. eine langsame (alternativ schnellere), d.h. bis zu (alternativ ab) einer definierten Maximaldrehgeschwindigkeit, vollzogene Drehung nach rechts zu einer Vergrößerung führen. Bei schnelleren (oder alternativ langsameren) Drehungen bleibt die gerade eingestellte Vergrößerung erhalten. Die Drehgeschwindigkeit wird dabei mit Hilfe von Rotationsbeschleunigungssensoren in den erforderlichen Achsen ermittelt.
Eine weitere Möglichkeit zur einhändigen Steuerung der Darstellung besteht in der Drehung eines Endgerätes einschließlich Display um 90 Grad und der Erfassung der Drehung über die Drehbeschleunigungssensoren und der entsprechenden Umschaltung zwischen Porträt und Landschaftsmodus der Darstellung (6).
Im den letzten beschriebenen Beispielen ist über eine Drehung in der z-Achse (6) und ergänzendem Sprachkommando des Betätigungsmodus, die Bedienung im Zoom-Modus und die Umschaltung zwischen Porträt und Landschaftsmodus beschrieben worden. Grundsätzlich lassen sich über eine Drehung in dieser Achse auch andere Funktionen und Modi steuern. Welcher der mit der jeweiligen Anwendung möglichen Modi mit Hilfe der Drehung in der angegebenen Achse angesteuert wird, kann ähnlich einer Steuerung in einer zusätzlichen Dimension, über Sprachanweisungen eingegeben werden.
In der 7 wird eine Übersicht über die möglichen Funktionen bei der Bewegung des Gerätes im einer bestimmten Achse dargestellt. Die erste Spalte zeigt die Bewegungsachse, die weiteren beiden Spalten die Funktionen in Bezug zu den Beispielen aus den einzelnen Figuren und die letzte Spalte bestimmt Besonderheiten.
Die Ausführungsbeispiele sollen die Erfindung nicht beschränken. Sie dienen lediglich zum Verständnis. Der Schutzumfang wird durch die Ansprüche festgelegt.
Begriffsdefinitionen

Medienmodell, Eingabemodell	Beschreibt die Reihenfolge, in der Eingaben (z.B. Wörter, Bewegungsmuster) vom Medienerkenner (z.B. Spracherkenner, Lage-/Bewegungserkenner) erwartet werden (z.B. Sprachmodell, Bewegungsmodell), bzw. in der Ausgaben mit bestimmten Informationsinhalten generiert werden.
Unimodale Interaktion	Kommunikation mit einem System über einen Modus (z.B. nur Sprache, nur Tastatur, nur Maus usw.)
Multimodale Interaktion	Kommunikation mit einem System über mehrere Modi (z.B. Sprache und Griffel)
TTS	Text-To-Speech

Bezugszeichenliste

1: Mobiles Endgerät
1a: Neigungs-, Bewegungs- und/oder Beschleunigungssensoren
2: Daten-, Sprach- und/oder Übertragungsnetz für multimodale Ein- und Ausgaben (z.B. Mobilfunknetz)
3: Eingabeerkennung
3a: Spracherkennung, Erkennung von DTMF-Tönen
3b: Bewegungs-, Neigungs-, Lageerkennung
3c: Erkennung anderer multimodaler Eingaben (Griffel, Tastatur, Kamera, Touchscreen, ...)
5: Informationsausgabe (aufgezeichnete Sprache, Sprachsynthese, Displayanzeigen, Audiosignale, Gerätevibration)
5a: Displayausgabe
5b: Sprachausgabe, TTS
6: Interaktions-/Applikationsmanagement

Claims

Verfahren zur Bedienung eines Telekommunikationsendgerätes, das Telekommunikationsendgerät weist mindestens einen Neigungssensor und/oder mindestens einen Drehbewegungssensor und/oder mindestens einen Beschleunigungssensor und mindestens ein Mikrofon auf, wobei die interaktive Bedienung des Telekommunikationsendgerätes aus einer Kombination von Sprachanweisungen und räumlichen Bewegungen des Telekommunikationsendgerätes erfolgt, dadurch gekennzeichnet, dass die Navigation durch Menüs über die Bewegung im Raum erfolgt und die Auswahl des Menü-Punktes durch mindestens ein Sprachkommando erfolgt, indem das Durchrollen von Menü-Punkten durch die Neigung des Endgerätes so erfolgt, dass beim Nutzer die Vorstellung vom Rollen einer Kugel auf einer geneigten Fläche geprägt wird, und wobei der Benutzer durch Sprechen mindestens einer Steueranweisung, wie „Halt“, „Stopp“ und/oder „Aktivieren“, das Rollen durch die Menü-Punkte anhält, um eine mit dem Menü-Punkt verbundene Funktionalität durch einen gesprochenen Ausführungsbefehl zu aktivieren.
Das Verfahren wobei eine Auswertung von Signalen von den Sensoren und/oder die Spracherkennung auf dem Telekommunikationsendgerät selber und/oder auf einem durch ein drahtloses Netzwerk angeschlossenen Server erfolgen.
Das Verfahren nach dem vorhergehenden Anspruch, wobei auch verteilte Lösungen möglich sind, so dass die Neigungsbestimmung auf dem Endgerät und die Spracherkennung auf mindestens einem Serversystem oder umgekehrt erfolgen kann.
. Das Verfahren nach dem vorhergehenden Anspruch, wobei ein Nutzer über die Neigung des Telekommunikationsendgerätes auf dem Display des Endgerätes dargestellte Menüoptionen auswählt, indem je nach Neigung des Gerätes vorhandene Optionen nach oben oder unten und/oder nach rechts oder links langsam, vorzugsweise schrittweise, mit einer vorgegebenen Zeitdauer je Option durchrollt werden.
Das Verfahren nach einem oder mehreren der vorhergehenden drei Ansprüche , wobei die gewünschte Menüoption im Verhältnis zur Ausgangsposition einer Menümarkierung durch den Neigungswinkel oder Rotationswinkel des Endgerätes ausgewählt wird.
Das Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, wobei die Neigungen und/oder Drehbewegungen des Gerätes um verschiedene Achsen erkannt werden, die auch außerhalb des Endgerätes liegen können.
Das Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, wobei Funktionen benutzerindividuell den Bewegungen des Endgerätes oder den Sprachausgaben im Rahmen der Informationsausgaben zugeordnet werden können.
Das Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, wobei durch eine Drehbewegung in einer vorgegebenen Richtung um eine definierte Achse eine vergrößerte Anzeige gekennzeichneter Objekte ausgelöst wird.
Das Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, wobei durch eine Drehung in der z-Achse und/oder ein ergänzendes Sprachkommando eine Umschaltung zwischen Porträt- und Landschaftsmodus erfolgt.
Telekommunikationsendgerät, umfassend eine Netzwerkschnittstelle, mindestens einen Neigungssensor und/oder Drehbewegungssensoren und mindestens ein Mikrofon, wobei das Telekommunikationsendgerät so eingerichtet und konfiguriert ist, dass die interaktive Bedienung des Telekommunikationsendgerätes aus einer Kombination von mindestens einer Sprachanweisung und mindestens einer räumlichen Bewegung des Telekommunikationsendgerätes erfolgt, dadurch gekennzeichnet, dass die Navigation durch Menüs über die Bewegung im Raum erfolgt und die Auswahl des Menü-Punktes durch ein Sprachkommando erfolgt, indem das Durchrollen von Menüoptionen durch die Neigung des Endgerätes so erscheint, dass die Vorstellung des Nutzers vom Rollen einer Kugel auf einer geneigten Fläche geprägt wird, und der Benutzer durch Sprechen mindestens einer Steueranweisung, wie „Halt“, „Stopp“ und/oder „Aktivieren“, die das Rollen durch die Menüoptionen anhält, um eine mit der Option verbundene Funktionalität durch einen gesprochenen Ausführungsbefehl zu aktivieren.
Das Telekommunikationsendgerät nach dem vorhergehenden Anspruch, wobei eine Auswerteinheit die Signale von den Sensoren auf dem Telekommunikationsendgerät selber auswertet und/oder die Signale zur Auswertung über ein drahtloses Netzwerk an einen angeschlossenen Server zur Auswertung sendet, der die Auswertung zurück sendet.
Das Telekommunikationsendgerät nach dem vorhergehenden Anspruch, wobei Mittel vorhanden sind, um eine verteilte Lösung zu ermöglichen, so dass die Neigungsbestimmung auf dem Endgerät und die Spracherkennung auf mindestens einem Serversystem erfolgt.
Das Telekommunikationsendgerät nach dem vorhergehenden Anspruch, umfassend eine Einrichtung, die es erlaubt, dass ein Nutzer über die Neigung auf dem Display des Endgerätes dargestellte Menüoptionen auswählt, indem er je nach Neigung des Gerätes durch vorhandene Optionen nach oben oder unten und/oder nach rechts oder links langsam, vorzugsweise schrittweise, mit einer vorgegebenen Zeitdauer je Option rollt.
Das Telekommunikationsendgerät nach einem oder mehreren der vorhergehenden drei Ansprüche , wobei die Mittel die gewünschte Menüoption im Verhältnis zur Ausgangsposition einer Menümarkierung durch den Neigungswinkel oder Rotationswinkel des Endgerätes erkennen.
Das Telekommunikationsendgerät nach einem oder mehreren der vorhergehenden Telekommunikationsendgerätansprüche, wobei die Mittel die Neigungen und/oder Drehbewegungen des Gerätes um verschiedene Achsen erkennen, die auch außerhalb des Endgerätes liegen können.
Das Telekommunikationsendgerät nach einem oder mehreren der vorhergehenden Telekommunikationsendgerätansprüche, wobei veränderbare Einstellungen gegeben sind, durch die Funktionen benutzerindividuell den Bewegungen des Endgerätes und/oder den Sprachausgaben im Rahmen der Informationsausgaben zuordenbar sind.
Das Telekommunikationsendgerät nach einem oder mehreren der vorhergehenden Telekommunikationsendgerätansprüche, wobei Mittel vorhanden sind, die eine Drehbewegung in einer vorgegebenen Richtung um eine definierte Achse erkennen, um dann eine vergrößerte Anzeige gekennzeichneter Objekte auszulösen.
Das Telekommunikationsendgerät nach einem oder mehreren der vorhergehenden Telekommunikationsendgerätansprüche, wobei Mittel vorhanden sind, die aufgrund einer Drehung um die z-Achse und/oder eines ergänzenden Sprachkommandos eine Umschaltung zwischen Porträt- und Landschaftsmodus durchführen.
Software für ein mobiles Telekommunikationsendgerät, die ein Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche implementiert.
Datenträger mit einer Datenstruktur, die durch Laden in ein mobiles Telekommunikationsendgerät ein Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche implementiert.