DE102005024638A1 - Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device - Google Patents

Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device Download PDF

Info

Publication number
DE102005024638A1
DE102005024638A1 DE200510024638 DE102005024638A DE102005024638A1 DE 102005024638 A1 DE102005024638 A1 DE 102005024638A1 DE 200510024638 DE200510024638 DE 200510024638 DE 102005024638 A DE102005024638 A DE 102005024638A DE 102005024638 A1 DE102005024638 A1 DE 102005024638A1
Authority
DE
Germany
Prior art keywords
menu
display
cursor
electronic device
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE200510024638
Other languages
German (de)
Inventor
Uwe Kessler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE200510024638 priority Critical patent/DE102005024638A1/en
Publication of DE102005024638A1 publication Critical patent/DE102005024638A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/70—Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

The method involves using a cursor represented as a foreground on a display for navigation, and fixing the cursor position on a display. The menu is represented as a movable background on the display. The movement of an electronic device is recognized by an image recording device. The menu is displaced according to the requirements of the recognized movement. The relative position of the cursor and menu entry is found by the device. Independent claims are also included for: (1) a method for designing of units that are represented on the display of an electronic device such as mobile telephone; and (2) an electronic device is arranged such that a method for navigation by the menu of an electronic device is implemented.

Description

Die Erfindung betrifft ein Verfahren zum Navigieren durch ein Menü eines elektronischen Geräts mittels einer Anzeige.The The invention relates to a method for navigating through a menu of an electronic Device by means of an advertisement.

Bei der immer weiter voranschreitenden Miniaturisierung von mobilen Telefonen und dem gleichzeitigen Anstieg der Funktionsvielfalt derartiger Geräte bleiben die Möglichkeiten der Eingabe beschränkt, z.B. umfangreiche Menüs können nur in kleinen Ausschnitten auf Anzeigen navigiert werden. Für Verwendungen von berührungsempfindlichen Bildschirmen/Anzeigen wird in der Regel ein weiteres Gerät – ein Stift – benötigt. Das bedeutet einen Mehraufwand an Kosten und erfordert die für den Benutzer unbequeme Bedienung mit einem Stift. Auch ein angeschlossenes Zeigegerät (z.B. eine Maus) wäre nicht sehr benutzerfreundlich.at the ever-advancing miniaturization of mobile Phones and the simultaneous increase in the functionality of such devices remain the possibilities limited to the input, e.g. extensive menus can navigate only in small sections on ads. For uses touch-sensitive screens / displays As a rule, another device - a pen - is needed. The means extra expense and costs for the user uncomfortable operation with a pen. Also, a connected pointing device (e.g. a mouse) would not be very user friendly.

Ein Beispiel für ein Eingabesystem für Mobiltelefone ist durch eine speziell für diesen Zweck entwickelte Software, welche auch als Virtual Mouse bezeichnet wird, gegeben. Dabei werden eine Maus und deren Bewegung durch eine Videokamera auf einer Anzeige simuliert, indem ein hinter der Anzeige bewegter (blauer) Stift von einer Kamera erkannt und durch eine Software ausgewertet wird. Der aufgenommene Stift wird auf der Anzeige dargestellt. Die Spitze des Stiftes entspricht einem Cursor, welcher so auf der Anzeige zum Beispiel für eine Menüauswahl bewegt werden kann. Hier wird der Hintergrund (blaue Stift) transparent mit dem Vordergrund (Menü) untereinander überlagert und kombiniert.One example for an input system for Mobile phones is through a specially designed for this purpose Software, which is also referred to as Virtual Mouse, given. This will be a mouse and its movement through a video camera simulated on a display by moving one behind the display (blue) pin detected by a camera and by software is evaluated. The recorded pen is shown on the display. The tip of the pen corresponds to a cursor, which is so on the Display for example for a menu selection can be moved. Here the background (blue pencil) becomes transparent superimposed with the foreground (menu) and combined.

Trotz der Vermeidung der berührungsempfindlichen Anzeige ist ein blauer Stift hierbei noch erforderlich. Die Videobilder mussten auf der Anzeige gezeigt werden, um dem Benutzer ein Feedback zu seiner Stiftbewegung geben zu können, d.h. dass der Stift dem Cursor auf der Anzeige entspricht. Dieses Feedback ist aber prinzipbedingt ungenau, da die Perspektive, aus der das Videobild aufgezeichnet wird, nur unter bestimmten Bedingungen (Neigung des Handys, Position der Kamera) der Perspektive des Benutzers entspricht. Somit erscheint der Stift nicht so, als könne man durch das Handy durchsehen, sondern meist leicht versetzt. Die aufwändige Bilderkennung des Cursors muss in einem Bild mit beliebigem Hintergrund einen Stift erkennen können, eventuell versagt diese bei bestimmtem Hintergrund.In spite of avoidance of touch-sensitive Display is a blue pen here still required. The video images had to be shown on the ad to give the user feedback to give to his pen movement, i. that the pen is the Cursor on the display corresponds. However, this feedback is inherent inaccurate as the perspective from which the video image is recorded only under certain conditions (inclination of the mobile phone, position of the Camera) corresponds to the perspective of the user. Thus appears The pen is not as if it could you look through the phone, but usually slightly offset. The elaborate image recognition of the cursor must be in a picture with any background Pin can recognize, possibly this fails with a certain background.

Der Erfindung liegt die Aufgabe zugrunde, eine im Vergleich zu herkömmlichen Verfahren benutzerfreundlichere Navigation durch ein Menü eines Geräts auf dessen Anzeige zu realisieren.Of the Invention is based on the object, compared to conventional Procedure more user-friendly navigation through a menu of a device on the To realize display.

Die Aufgabe wird durch die Gegenstände der Ansprüche 1 bzw. 6 gelöst.The Task is through the objects the claims 1 or 6 solved.

Erfindungsgemäß wird ein Verfahren zum Navigieren durch ein Menü eines elektronischen Geräts, welches eine Bildaufnahmeeinrichtung, z.B. eine Videokamera, zur Unterstützung der Navigation umfasst, angegeben. Das Verfahren ist besonders für mobile Endgräte, z.B. Handy, geeignet. Dabei ist die Position eines Cursors auf der Anzeige (z.B. ein Bildschirm oder Display) des Geräts (z.B. zentral) fixiert, so dass der Cursor als Vordergrund auf der Anzeige dargestellt wird. Das auszuwählende Menü des Geräts wird dahingegen als beweglicher Hintergrund auf der Anzeige dargestellt. Das Menü umfasst dabei wenigstens einen, in der Regel aber mehrere Menüeinträge. Zum Navigieren wird das Menü mit den von der Bildaufnahmeeinrichtung aufgenommenen Videobildern des Hintergrunds gekoppelt.According to the invention is a Method for navigating through a menu of an electronic device, which an image pickup device, e.g. a video camera, in support of the Navigation included. The procedure is especially for mobile Endgräte, e.g. Mobile phone, suitable. The position of a cursor on the Display (e.g., a screen or display) of the device (e.g. central), leaving the cursor as the foreground on the display is pictured. The one to select Menu of the device on the other hand, shown as a moving background on the display. The menu includes at least one, but usually several menu entries. To the Navigate the menu with the video pictures taken by the image recording device of the Background coupled.

Bei Bewegungen des Geräts werden dessen relative Bewegungen gegenüber einem Referenzhintergrund, z.B. Tischplatte oder Wand, durch eine im Gerät eingebaute Bildaufnahmeeinrichtung erkannt. Nach dem Erkennen der Bewegung wird eine der erkannten Bewegung korrespondierende Verschiebung des Menüs berechnet und anschließend das Menü nach Maßgabe der erkannten Bewegung auf der Anzeige verschoben. Diese Rechnung wird beispielsweise mit Hilfe einer in dem Gerät integrierten Software maßstabsgetreu ausgeführt. Diese Verschiebung kann aber auch nicht maßstabsgetreu durchgeführt werden, z.B. wenn bei einer kleinen Anzeige eine entsprechend reduzierte Bewegung benutzerfreundlicher ist. Da das auszuwählende Menü mit den von der Bildaufnahmeeinrichtung aufgenommenen Bildern des Referenzhintergrunds gekoppelt werden kann, kann dieses Menü auf der Anzeige entsprechend beweglich dargestellt bzw. verschoben werden, anstatt die von der Bildaufnahmeeinrichtung aufgenommenen Bilder zu zeigen. Bilderkennung wird hier für das Erkennen von Bewegungen eingesetzt.at Movements of the device whose relative movements are compared to a reference background, e.g. Tabletop or wall, through a built-in device image capture device recognized. After recognizing the movement, one of the recognized Movement corresponding displacement of the menu is calculated and then the menu according to the detected movement moved on the display. This bill will For example, using a built-in software to scale executed. But this shift can not be done to scale, e.g. if at a small display a correspondingly reduced Movement is more user friendly. Since the menu to be selected with that of the image pickup device recorded images of the reference background are coupled can, this menu can be on be displayed or moved according to the display accordingly, instead of the images taken by the image capture device to show. Image recognition is used here for detecting movements used.

Damit können die Stellen des Menüs, wo die Menüfunktionen repräsentiert bzw. dargestellt sind, zu der Position des festliegenden Cursors navigiert werden. Die relative Stellung von Cursor und Menüeintrag wird durch das elektronische Gerät ermittelt. Eine Menüauswahl kann durch einen Benutzer bei Deckung von Cursor und Menüeintrag durch Ausführen einer Funktion (z.B. Drücken einer Taste) vorgenommen werden, ebenso kann das Ausführen der Funktion die Zeichenfunktion auslösen.In order to can the parts of the menu, where the menu functions represents or to the position of the fixed cursor be navigated. The relative position of cursor and menu item is through the electronic device determined. A menu selection can by a user when covering the cursor and menu item by running a function (e.g., pressing a key), as well as the execution of the function trigger the drawing function.

Mit gleichem Prinzip wird ein Verfahren zum Zeichnen von auf der Anzeige eines elektronischen Geräts, insbesondere Mobiltelefon, darzustellenden Elementen angegeben. Dabei wird für das Zeichnen ein Cursor verwendet, welcher als Vordergrund auf der Anzeige dargestellt und die Position des Cursors auf der Anzeige fixiert ist. Die gezeichneten Elemente werden auf der Anzeige als verschiebbarer Hintergrund dargestellt. Das Gerät umfasst eine Bildaufnahmeeinrichtung zur Unterstützung des Zeichnens mittels des Cursors und ist für das Auslösen einer Zeichenfunktion durch einen Benutzer ausgestaltet. Eine Bewegung des elektronischen Geräts wird durch die Bildaufnahmeeinrichtung erkannt. Damit die Elemente bzw. der Hintergrund nach Maßgabe der erkannten Bewegung auf der Anzeige verschoben werden, wodurch die relative Stellung von Cursor und Elementen bzw. Hintergrund veränderbar ist, und bei Auslösen einer Zeichenfunktion an der Position des Cursors Punkte oder Linien generiert werden.With the same principle, a method for drawing on the display of an electronic device, in particular a mobile phone to be displayed elements is specified. In this case, a cursor is used for drawing, which is used as the foreground the display and the position of the cursor is fixed on the display. The drawn elements are displayed on the screen as a floating background. The device comprises an image recording device for assisting the drawing by means of the cursor and is designed for the triggering of a drawing function by a user. A movement of the electronic device is detected by the image pickup device. So that the elements or the background are moved according to the movement detected on the display, which allows the relative position of the cursor and elements or background to be changed, and when a character function is triggered at the position of the cursor, dots or lines are generated.

Außer dem oben geschilderten Verfahren umfasst die Erfindung auch eine Vorrichtung, mit der das Verfahren ausgeführt werden kann.Furthermore The method described above also encompasses a device with which the procedure is carried out can be.

Das vorgeschlagene Verfahren ermöglicht einem Gerät, welches eine Bildaufnahmeeinrichtung umfasst, die Funktionsweise einer Maus zu simulieren. Im Gegensatz zur Virtual Mouse ist der Bereich für die Darstellung des Menüs nicht beschränkt. Es ist präziser (keine Wiedergabe der aufgenommenen Stiftspitze) und einfacher zu bedienen als beim Navigieren mittels Virtual Mouse. Auch die Perspektive der Videobilder und die Kameraauflösung spielen hier keine Rolle. Dazu entfällt die Notwendigkeit, Videobilder zu zeigen und komplizierte Bilderkennungen zu berechnen.The proposed method allows one Device, which includes an image pickup device, the operation to simulate a mouse. Unlike the Virtual Mouse is the Area for the presentation of the menu not limited. It is more precise (no playback of the recorded pen tip) and easier to operate as when navigating using Virtual Mouse. Also the perspective of Video images and the camera resolution do not matter here. This eliminates the need for video images to show and to calculate complicated picture identifications.

Außerdem müssen Rechtshänder und Linkshänder bei der Virtual Mouse gemäß dem Stand der Technik unterschiedliche Menüs verwenden. Bei der Erfindung ist dies nicht mehr nötig. Der erfindungsgemäß fixierte Cursor ist stets gut sichtbar, beispielsweise in der Mitte der Anzeige. Menüauswahl mittels der Virtual Mouse erfordert den Einsatz beider Hände, während das erfindungsgemäße Verfahren nur den Einsatz einer Hand voraussetzt.In addition, right-handed and left handed at the Virtual Mouse according to the state the technology different menus use. In the invention, this is no longer necessary. Of the fixed according to the invention The cursor is always clearly visible, for example in the middle of the display. menu selection using the Virtual Mouse requires the use of both hands while the inventive method only requires the use of one hand.

Das erfindungsgemäße Verfahren kann ebenfalls zur Navigation bei einer Wegfindung, zum Zeichnen und Schreiben oder für Spiele eingesetzt werden.The inventive method can also be used to navigate pathfinding, to draw and writing or for Games are used.

Zudem werden bei dem Verfahren keine weiteren Hardware-Komponenten benötigt, sie kann allein durch Software realisiert werden. Die Erfindung wird im Folgenden im Rahmen eines Ausführungsbeispiels anhand von Figuren näher dargestellt.moreover In the process, no further hardware components needed, they can alone by Software be realized. The invention is described below as part of a embodiment on the basis of figures closer shown.

Es zeigen:It demonstrate:

1: Aufbau einer Virtual Mouse gemäß dem Stand der Technik 1 : Construction of a Virtual Mouse According to the Prior Art

2: Schematische Darstellung des Aufbaus der Anzeige eines für eine erfindungsgemäße Navigation ausgestalteten Mobiltelefons 2 : Schematic representation of the structure of the display of a mobile phone designed for a navigation according to the invention

3: Ein Verwendungsbeispiel des erfindungsgemäß ausgestalteten Mobiltelefons 3 : An example of use of the mobile phone designed according to the invention

Die in 1 gezeigte Virtual Mouse besteht aus vier Darstellungsebenen: Handy-Display/Bildschirm 5, Cursor 2, Menü 3 und Videobild 4. Bei der Menüauswahl wird ein (blauer) Stift 6 hinter dem Handy (Mobiltelefon) 1 bewegt, deren Bewegungen von einer im Handy 1 eingebauten Videokamera aufgenommen werden. Die Position des Cursors 2 muss aus den Videobildern 4 berechnet werden, wobei der Cursor 2 mit der aufgenommenen Videobild 4 gekoppelt ist, wohingegen das Menü 3 am Display 5 fixiert ist. Die Position des Cursors 2 auf dem Display 5 entspricht der Stellung des Stiftes 6. D.h. durch die Bewegung des Stiftes 6 kann die Position des Cursors 2 gleichzeitig auf dem Display 5 entsprechend geändert werden.In the 1 shown virtual mouse consists of four display levels: mobile display / screen 5 , Cursor 2 , Menu 3 and video image 4 , In the menu selection becomes a (blue) pen 6 behind the mobile phone (mobile phone) 1 moves, their movements from one in the phone 1 built-in video camera to be recorded. The position of the cursor 2 must from the video images 4 be calculated using the cursor 2 with the recorded video image 4 coupled, whereas the menu 3 on the display 5 is fixed. The position of the cursor 2 on the display 5 corresponds to the position of the pen 6 , That is, by the movement of the pen 6 can the position of the cursor 2 at the same time on the display 5 be changed accordingly.

Eine Ausgestaltung des erfindungsgemäßen Vorschlags zur Verbesserung der Virtual Mouse ist in 2 dargestellt. Dabei ist der Cursor 2 relativ zum Display 5 fixiert, während das Menü 3 mit dem von einer Kamera aufgenommenen Videobild 4 gekoppelt ist.An embodiment of the inventive proposal for improving the virtual mouse is in 2 shown. Where is the cursor 2 relative to the display 5 fixed while the menu 3 with the video shot by a camera 4 is coupled.

Bei der Bewegung des Handys 1 gegenüber einem Referenzhintergrund, z.B. Tischplatte oder Wand, wird diese Bewegung mittels der Kamera detektiert und das Menü 3 auf dem Display 5 entsprecht bewegt bzw. verschoben. Es ist dann für den Benutzer möglich, mit dem Cursor 2 beliebige durch Menüeinträge repräsentierte Funktionen des Menüs 3 zu erreichen und auszuführen. Nachdem der Cursor 2 an die Stelle des Menüs 3, wo die gewünschte Menüfunktion repräsentiert ist, navigiert wurde, kann diese Menüfunktion durch eine Tastenbetätigung aufgerufen werden.In the movement of the mobile phone 1 in relation to a reference background, eg tabletop or wall, this movement is detected by means of the camera and the menu 3 on the display 5 correspondingly moved or postponed. It is then possible for the user with the cursor 2 any functions of the menu represented by menu items 3 to reach and execute. After the cursor 2 in place of the menu 3 , where the desired menu function is represented, has been navigated, this menu function can be called up by a key press.

Damit entfällt die Notwendigkeit, den blauen Stift 6 zu benutzen, die Videobilder 4 zu zeigen und die komplizierte Bilderkennung zu berechnen.This eliminates the need for the blue pin 6 to use the video images 4 to show and to calculate the complicated image recognition.

3 zeigt ein Verwendungsbeispiel der Erfindung bei einer Navigation zur Texteingaben mit einem Mobiltelefon/Handy 1. Dabei wird ein Menü 3, das die Buchstaben des Alphabets zeigt, als Hintergrund auf dem Handy-Display 5 angezeigt. Dabei werden die relativen Bewegungen des Handys 5 gegenüber einer Wand durch eine Videokamera erkannt und mit Hilfe einer im Handy 1 integrierten Software berechnet und auswertet. Durch die Bewegung des Handys 1 kann der Cursor 2 jeden Buchstaben auf dem Menü 3 treffen. Die Buchstaben entsprechen den Menüeinträgen. Durch Aufruf eines Menüeintrages wird die Funktion der Eingabe des entsprechenden Buchstabens ausgeführt. Wiederholte Eingabe ermöglicht, ein Wort bzw. einen Text einzugeben und gleichzeitig auf dem Display 5 zu zeigen. 3 shows a usage example of the invention in a navigation for text input with a mobile phone / mobile phone 1 , This will be a menu 3 showing the letters of the alphabet as a background on the phone screen 5 displayed. In doing so, the relative movements of the cellphone 5 in front of a wall detected by a video camera and with the help of a cell phone 1 integrated software calculates and evaluates. Through the movement of the mobile phone 1 can the cursor 2 every letter on the menu 3 to meet. The letters correspond the menu entries. By calling a menu entry, the function of inputting the corresponding letter is executed. Repeated input allows you to enter a word or text and at the same time on the display 5 to show.

Claims (7)

Verfahren zum Navigieren durch ein Menü (3) eines elektronischen Geräts (1), insbesondere Mobiltelefons, mittels einer Anzeige (5), bei dem – für die Navigation ein Cursor (2) verwendbar ist, welcher als Vordergrund auf der Anzeige (5) dargestellt wird, – das Menü (3) mit wenigstens einem auswählbaren Menüeintrag auf der Anzeige (5) als Hintergrund dargestellt wird, – das elektronische Gerät (1) eine Bildaufnahmeeinrichtung zur Unterstützung der Navigation durch das Menü (3) umfasst, und – das Gerät (1) für eine Menüauswahl durch einen Benutzer bei Deckung von Cursor (2) und Menüeintrag ausgestaltet ist, dadurch gekennzeichnet, dass – die Position des Cursors (2) auf der Anzeige (5) fixiert ist, – das Menü (3) auf der Anzeige (5) als verschiebbarer Hintergrund dargestellt wird, – durch die Bildaufnahmeeinrichtung eine Bewegung des elektronischen Geräts (1) erkannt wird, – das Menü (3) nach Maßgabe der erkannten Bewegung auf der Anzeige (5) verschoben wird, und – die relative Stellung von Cursor (2) und Menüeintrag durch das elektronische Gerät (1) ermittelt wird.Method for navigating through a menu ( 3 ) of an electronic device ( 1 ), in particular mobile phones, by means of a display ( 5 ), where - a cursor (for navigation) 2 ) which is the foreground on the display ( 5 ) - the menu ( 3 ) with at least one selectable menu item on the display ( 5 ) is displayed as a background, - the electronic device ( 1 ) an image capture device to assist navigation through the menu ( 3 ), and - the device ( 1 ) for a menu selection by a user when covering the cursor ( 2 ) and menu item, characterized in that - the position of the cursor ( 2 ) on the display ( 5 ), - the menu ( 3 ) on the display ( 5 ) is shown as a displaceable background, - by the image recording device, a movement of the electronic device ( 1 ), - the menu ( 3 ) according to the movement detected on the display ( 5 ), and - the relative position of cursor ( 2 ) and menu entry by the electronic device ( 1 ) is determined. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass – nach dem Erkennen der Bewegung durch die Bildaufnahmeeinrichtung eine der erkannten Bewegung korrespondierende Verschiebung des Menüs (3) berechnet wird, und – anschließend das Menü (3) nach Maßgabe der erkannten Bewegung auf der Anzeige (5) verschoben wird.Method according to claim 1, characterized in that - after detection of the movement by the image recording device, a displacement of the menu corresponding to the detected movement ( 3 ), and - then the menu ( 3 ) according to the movement detected on the display ( 5 ) is moved. Verfahren nach Anspruch 1 oder 3, dadurch gekennzeichnet, dass – die in dem mobilen Gerät (1) ausgerichtete Bildaufnahmeeinrichtung eine Videokamera ist.Method according to claim 1 or 3, characterized in that - in the mobile device ( 1 ) is a video camera. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass – eine Software zur Auswertung der Bewegung des Geräts (1) vorgesehen wird.Method according to one of claims 1 to 3, characterized in that - a software for evaluating the movement of the device ( 1 ) is provided. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass – eine Software zur Berechnung der der erkannten Bewegung korrespondierenden Verschiebung des Menüs (3) vorgesehen ist.Method according to one of the preceding claims, characterized in that - a software for calculating the movement of the menu corresponding to the detected movement ( 3 ) is provided. Verfahren zum Zeichnen von auf der Anzeige (5) eines elektronischen Geräts (1), insbesondere Mobiltelefon, darzustellenden Elementen, bei dem – für das Zeichnen ein Cursor (2) verwendbar ist, welcher als Vordergrund auf der Anzeige (5) dargestellt wird, – gezeichnete Elemente auf der Anzeige (5) als verschiebbarer Hintergrund dargestellt werden, – das elektronische Gerät (1) eine Bildaufnahmeeinrichtung zur Unterstützung des Zeichnens mittels des Cursors (2) umfasst, – das Gerät (1) für das Auslösen einer Zeichenfunktion durch einen Benutzer ausgestaltet ist, – die Position des Cursors (2) auf der Anzeige (5) fixiert ist, – durch die Bildaufnahmeeinrichtung eine Bewegung des elektronischen Geräts (1) erkannt wird, – die Elemente bzw. der Hintergrund nach Maßgabe der erkannten Bewegung auf der Anzeige (5) verschoben werden, wodurch die relative Stellung von Cursor (2) und Elementen bzw. Hintergrund veränderbar ist, und – bei Auslösen einer Zeichenfunktion an der Position des Cursors (2) Punkte oder Linien generiert werden.Method of drawing on the display ( 5 ) of an electronic device ( 1 ), in particular a mobile telephone, elements to be displayed, in which - a cursor (for drawing) 2 ) which is the foreground on the display ( 5 ) - drawn elements on the display ( 5 ) are displayed as a movable background, - the electronic device ( 1 ) an image recording device for supporting the drawing by means of the cursor ( 2 ), - the device ( 1 ) for triggering a character function by a user, - the position of the cursor ( 2 ) on the display ( 5 ) is fixed, - by the image recording device, a movement of the electronic device ( 1 ) - the elements or the background according to the detected movement on the display ( 5 ), whereby the relative position of cursor ( 2 ) and elements or background is changeable, and - when a character function is triggered at the position of the cursor ( 2 ) Points or lines are generated. Elektronisches Gerät (1) derart eingerichtet, dass ein Verfahren nach einem der Ansprüche 1 bis 6 durchführbar ist.Electronic device ( 1 ) arranged such that a method according to any one of claims 1 to 6 is feasible.
DE200510024638 2005-05-30 2005-05-30 Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device Withdrawn DE102005024638A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200510024638 DE102005024638A1 (en) 2005-05-30 2005-05-30 Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200510024638 DE102005024638A1 (en) 2005-05-30 2005-05-30 Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device

Publications (1)

Publication Number Publication Date
DE102005024638A1 true DE102005024638A1 (en) 2006-12-07

Family

ID=37401720

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200510024638 Withdrawn DE102005024638A1 (en) 2005-05-30 2005-05-30 Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device

Country Status (1)

Country Link
DE (1) DE102005024638A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009071234A1 (en) * 2007-12-08 2009-06-11 T-Mobile International Ag Virtual keyboard of a mobile terminal
EP2104021A2 (en) * 2008-03-20 2009-09-23 Deutsche Telekom AG Method for operating a mobile device
CN111290677A (en) * 2018-12-07 2020-06-16 中电长城(长沙)信息技术有限公司 Self-service equipment navigation method and navigation system thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001043473A1 (en) * 1999-12-08 2001-06-14 Telbird Ltd. Hand held data processor unit
GB2357684A (en) * 1999-12-21 2001-06-27 Motorola Ltd Hand-held terminal having a display screen which is controlled by movement of the terminal
DE10313019A1 (en) * 2003-03-24 2004-10-28 Siemens Ag Single handed operation of a mobile terminal by gesture recognition, whereby movement of the terminal relative to the user is measured and used to control the positioning of input selection means
EP1507196A2 (en) * 2003-08-05 2005-02-16 Research In Motion Limited Mobile device with on-screen optical navigation
WO2005043332A2 (en) * 2003-10-31 2005-05-12 Iota Wireless Llc Concurrent data entry for a portable device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001043473A1 (en) * 1999-12-08 2001-06-14 Telbird Ltd. Hand held data processor unit
GB2357684A (en) * 1999-12-21 2001-06-27 Motorola Ltd Hand-held terminal having a display screen which is controlled by movement of the terminal
DE10313019A1 (en) * 2003-03-24 2004-10-28 Siemens Ag Single handed operation of a mobile terminal by gesture recognition, whereby movement of the terminal relative to the user is measured and used to control the positioning of input selection means
EP1507196A2 (en) * 2003-08-05 2005-02-16 Research In Motion Limited Mobile device with on-screen optical navigation
WO2005043332A2 (en) * 2003-10-31 2005-05-12 Iota Wireless Llc Concurrent data entry for a portable device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009071234A1 (en) * 2007-12-08 2009-06-11 T-Mobile International Ag Virtual keyboard of a mobile terminal
DE102007059273A1 (en) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtual keyboard of a mobile device
US8527895B2 (en) 2007-12-08 2013-09-03 T-Mobile International, AG Virtual keyboard of a mobile terminal
EP2104021A2 (en) * 2008-03-20 2009-09-23 Deutsche Telekom AG Method for operating a mobile device
EP2104021A3 (en) * 2008-03-20 2013-12-25 Deutsche Telekom AG Method for operating a mobile device
CN111290677A (en) * 2018-12-07 2020-06-16 中电长城(长沙)信息技术有限公司 Self-service equipment navigation method and navigation system thereof
CN111290677B (en) * 2018-12-07 2023-09-19 中电长城(长沙)信息技术有限公司 Self-service equipment navigation method and navigation system thereof

Similar Documents

Publication Publication Date Title
EP1998996B1 (en) Interactive operating device and method for operating the interactive operating device
DE602004011676T2 (en) Portable communication device with a three-dimensional display device
DE102009048043A1 (en) Multifunction display and control system and method for controlling such a system with optimized graphical operator display
DE202009018404U1 (en) Extended touch-sensitive control area for an electronic device
DE202008005344U1 (en) Electronic device with switchable user interface and electronic device with accessible touch operation
DE102017122396A1 (en) Vehicle-side actuator
DE102009013922A1 (en) Method for operating a navigation menu and an electronic device with a functional space menu
DE102013021978A1 (en) Method for augmented display of real control element and real object on terminal, involves displaying virtual real and additional information with respect to control elements and objects based on change in terminal current position
DE102014019005A1 (en) Method for operating an operating device of a motor vehicle in different operating modes and operating device and motor vehicle
EP2877910B1 (en) Input device having a lowerable touch-sensitive surface
EP2930603A1 (en) Method and device for providing a graphical user interface in a vehicle
DE19830968A1 (en) device
DE102005024638A1 (en) Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device
EP2217987A1 (en) Virtual keyboard of a mobile terminal
DE102013224979A1 (en) Motor vehicle operating device with touch-sensitive input surface
DE102012020164A1 (en) Operating element for a display device in a motor vehicle
DE102013000072A1 (en) Operator interface for a handwritten character input into a device
DE102013001327B4 (en) Method and display system for viewing direction-dependent scaling of a representation
DE102006055252A1 (en) Telecommunication terminal e.g. mobile telephone, operation method, involves providing interactive operation of telecommunication terminal from combination of language statement and spatial movement of telecommunication terminal
DE69535004T2 (en) A HUMAN / MACHINE INTERFACE FOR COMPUTER DEVICES
EP3347804B1 (en) Operating device with character input and delete function
EP3025214B1 (en) Method for operating an input device, and input device
DE112020003221T5 (en) Information processing apparatus, information processing method and program
EP2407859A1 (en) Dynamic adjustment of a user interface on a sensor monitor
DE102008015398A1 (en) Method for operating a mobile device

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8130 Withdrawal
8165 Unexamined publication of following application revoked