EP2217987A1 - Virtual keyboard of a mobile terminal - Google Patents

Virtual keyboard of a mobile terminal

Info

Publication number
EP2217987A1
EP2217987A1 EP08857639A EP08857639A EP2217987A1 EP 2217987 A1 EP2217987 A1 EP 2217987A1 EP 08857639 A EP08857639 A EP 08857639A EP 08857639 A EP08857639 A EP 08857639A EP 2217987 A1 EP2217987 A1 EP 2217987A1
Authority
EP
European Patent Office
Prior art keywords
mobile terminal
display
keyboard
camera
pixel groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP08857639A
Other languages
German (de)
French (fr)
Inventor
Gerd Mossakowski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
T Mobile International AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by T Mobile International AG filed Critical T Mobile International AG
Publication of EP2217987A1 publication Critical patent/EP2217987A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Definitions

  • the invention relates to a method for displaying a movable keyboard or a movable pointer (cursor) on the display of a mobile terminal according to the preamble of claim 1.
  • Mobile devices such as a "cell phone”
  • functions such as camera and video function
  • the dimensions of the “mobile phone” should be as small as possible on the part of the operator. For this reason, the mobile terminals are getting smaller in size.
  • Keyboard is displayed on the screen.
  • this input function has the disadvantage that the representation of a keypad has a relatively large footprint.
  • a menu navigation of current mobile terminals for entering text is based in part on text or icon (icon), which are selected for example by means of a scroll wheel or a multifunction button.
  • the multifunction knob offers the option of moving the menu cursor (cursor) to the left, right, up or down and confirming the selection by pressing the multifunction knob. Intermediate areas are not provided due to the mechanics used.
  • An example of this is the overlaying of a photograph with, for example, a crosshair to indicate the central orientation of an image.
  • the main disadvantage of this aforementioned application is the large storage requirement for storing image data.
  • the object of the present invention can thus be seen to further develop a mobile terminal such that the input of texts via a keypad, the size of which is formed independently of the dimensions of the mobile terminal.
  • the invention is characterized by the features of the independent claim 1.
  • the method represents the keyboard as a virtual keyboard on the display of the mobile terminal and one above the virtual terminal Keyboard shown pointer (cursor) forms movable with the pointer (cursor) moves according to analogous to the executed in the spatial axes movements of the mobile device to the corresponding keyboard field of the virtual keyboard.
  • a method known from the prior art for compressing and decompressing such image data is disclosed by the publication DE 101 13 880 A1, wherein the method of prioritizing pixel groups is used to display images, such as a keyboard, with a Camera recorded image data having a matrix of individual pixels (pixels), which have a temporally variable pixel value, the color or brightness information of the pixel describes. Each pixel is assigned a priority and sorted according to this priority in the matrix. The pixels and pixel values are transmitted and stored, with one pixel having a high priority when the distance to the neighboring pixel is large. In a reconstruction, only the current pixel values are shown, wherein not yet transferred pixels are calculated from already transmitted pixels.
  • a camera is used to record the required image data, as is currently the case in most mobile terminals, such as in a "mobile phone".
  • a control knob is provided, which confirms the selection, for example by pressing.
  • a cursor is displayed on the display, which cursor is movable by movements of the mobile terminal (mobile phone) in the spatial axes in the analog direction in the display of the mobile terminal.
  • the recorded images of the camera are evaluated according to the known from the prior art method for compression and decompression of image data.
  • a keyboard can be saved in a mobile terminal, such as in a cell phone, the housing of the device can be smaller, or the display can be made larger.
  • Figure 1 a schematic flow diagram of the method according to the invention
  • the method illustrated in FIG. 1 for displaying a virtual keyboard in a mobile terminal 1 is aimed at detecting the change in position of the mobile terminal 1 in the direction of one of the three spatial axes, thereby generating a virtual movement of a pointer (cursor) displayed above the virtual keyboard becomes.
  • the mobile terminal 1 captures image data 3 in the first camera position 2 by means of its integrated camera. These image data 3 of the camera position 2 are stored in a second method step corresponding to formed, phorized pixel groups 4 according to the prior art.
  • the highest-priority pixel groups automatically describe the relevant areas of an image.
  • the position values 9 of the prioritized pixel groups 4 of the first camera position 2 are stored in the mobile terminal 1.
  • the position values 9 of the formed prioritized pixel groups 4 likewise change in a corresponding manner.
  • the image data 7 are acquired at the second camera position 5, wherein in a fifth method step the prioritized pixel groups 8 with the associated position values are formed at the camera position 5.
  • the position values 10 of the formed prioritized pixel groups 8 at the camera position 5 are compared with the position values 9 of the formed prioritized pixel groups 4 of the camera position 2.
  • the highest priority pixel groups A1, B1 and C1 at the camera position 2 are determined at positions a1, b1 and d of a matrix.
  • A1, B1 and C1 are prioritized in such a way that the pixel values of A1, B1 and C1 additionally differ greatly.
  • the displacement of the positions of a1, b1 and d of the camera position 2 to the positions a2, b2 and c2 of the camera position 5 are directly related to the movement of the mobile terminal 1.
  • a cursor is moved 12 on the display of the mobile terminal 1.
  • Control button a keypad with an associated letter on which the
  • Cursor is currently being selected for selection.
  • the subsequently acquired images such as, for example, in the camera position 5 are no longer complete but only in the vicinity of the already found pixel groups 8 evaluated. In this way, complex computing time and thus battery life is saved.
  • an additional camera light is used to detect the movements of the mobile terminal 1.
  • additional menu functions may be opened or closed, such as the selection of special characters (@ or ⁇ or the like).
  • Both linear and non-linear movements can be performed to move a cursor quickly over larger display areas.
  • a parallel displacement of the mobile terminal 1 on a surface leads to a linear displacement of the cursor on the display.
  • Non-linear displacements of the cursor are generated, for example, by an additional rotational movement of the mobile terminal 1.
  • a software-based screening is used to select the letter / menu item of the respective keypad safely.
  • the cursor may also be fixedly positioned on the display, whereby the selection fields, such as the keyboard fields of a virtual keyboard, shift according to the movement of the mobile terminal 1.
  • mobile terminal e.g., mobile phone
  • Image data of the second camera position 8. Forming prioritized pixel groups of the second camera position with the associated position values

Abstract

The invention relates to a method for representing a virtual keyboard on the display of a mobile terminal, as for example a cell phone, wherein the mobile terminal comprises a camera for capturing image data, a display for representing the image data and a keyboard for selecting menu functions or for inputting, for example, a text message The invention is characterized in that the keyboard is designed as a virtual keyboard on the display of the mobile terminal and that a cursor represented on the virtual keyboard is designed to the moveable, wherein the cursor moves according to the movements of the mobile terminal in the spatial axes to the corresponding keyboard field of the virtual keyboard.

Description

Virtuelle Tastatur eines mobilen Endqerätes Virtual keyboard of a mobile terminal
Die Erfindung betrifft ein Verfahren zur Darstellung einer bewegungsfähigen Tastatur oder eines bewegungsfähigen Zeigers (Cursor) auf dem Display eines mobilen Endgerätes nach dem Oberbegriff des Patentanspruches 1.The invention relates to a method for displaying a movable keyboard or a movable pointer (cursor) on the display of a mobile terminal according to the preamble of claim 1.
Stand der Technik:State of the art:
Mobile Endgeräte, wie zum Beispiel ein „Handy" weisen heutzutage immer mehr Funktionen, wie zum Beispiel Kamera- und Videofunktion auf, wobei seitens des Bedieners die Abmessungen des „Handys" so klein wie möglich sein sollten. Aus diesem Grunde werden die mobilen Endgeräte in ihren Abmessungen immer kleiner.Mobile devices, such as a "cell phone," nowadays have more and more functions, such as camera and video function, whereby the dimensions of the "mobile phone" should be as small as possible on the part of the operator. For this reason, the mobile terminals are getting smaller in size.
Hierbei entsteht jedoch das Problem der Bedienbarkeit, insbesondere bei der Texteingabe für zum Beispiel einer SMS (short message Service) auf den immer kleiner werdenden Tastaturen.However, this creates the problem of operability, especially in the text input for example, an SMS (short message service) on the ever-smaller keyboards.
Derzeit gibt eine Vielzahl von verschiedenen Eingabemöglichkeiten von Texten, welche wie folgt klassifiziert sind:Currently there are a variety of different input options of texts, which are classified as follows:
- Eingabe eines Textes über eine vollwertige Minitastatur, wie zum Beispiel einem MDA (monochrom display adapter), wobei diese Eingabefunktion den Nachteil zu kleiner Tasten aufweist und zur Falscheingabe eines Textes führt;- Input of a text on a full miniature keyboard, such as a MDA (monochrome display adapter), this input function has the disadvantage of small keys and leads to the incorrect entry of a text;
- Eingabe von Texten über eine Zahlentastatur durch Mehrfachbelegung der Zahlentasten, wie zum Beispiel bei einem Handy, wobei diese Eingabefunktion den Nachteil einer Falscheingabe und relativ hohen Zeitaufwand aufweist;- Input of texts via a numeric keypad by multiple assignment of the number keys, such as in a mobile phone, this input function has the disadvantage of incorrect input and relatively high expenditure of time;
- Bedienung durch einen Touchscreen (Berührungsbildschirm), bei dem eine- Operation by a touchscreen (touch screen), in which a
Tastatur auf dem Display dargestellt wird. Zur Benutzung wird vorzugsweise ein kleiner Stift verwendet, wobei diese Eingabefunktion den Nachteil aufweist, dass die Darstellung eines Tastaturfeldes einen relativ großen Platzbedarf aufweist.Keyboard is displayed on the screen. For use, a small pin is preferably used, this input function has the disadvantage that the representation of a keypad has a relatively large footprint.
- Bedienung eines Touchscreens, welcher eine OCR Erkennung aufweist, wobei diese Eingabefunktion ebenfalls einen relativ großen Platzbedarf zur Darstellung eines Tastaturfeldes aufweist.- Operation of a touch screen, which has an OCR recognition, wherein this input function also has a relatively large footprint for displaying a keypad.
Eine Menüführung derzeitiger mobiler Endgeräte zur Eingabe von Texten basiert zum Teil auf Text- beziehungsweise Bildzeichen (icon), welche zum Beispiel mit Hilfe eines Scrollrades oder eines Multifunktionsknopfes ausgewählt werden. Dabei bietet der Multifunktionsknopf in der Regel die Auswahlmöglichkeit den Menüzeiger (cursor) nach links, rechts, oben oder unten zu bewegen und die Auswahl durch Drücken des Multifunktionsknopfes zu bestätigen. Zwischenbereiche sind aufgrund der verwendeten Mechanik nicht vorgesehen.A menu navigation of current mobile terminals for entering text is based in part on text or icon (icon), which are selected for example by means of a scroll wheel or a multifunction button. As a rule, the multifunction knob offers the option of moving the menu cursor (cursor) to the left, right, up or down and confirming the selection by pressing the multifunction knob. Intermediate areas are not provided due to the mechanics used.
Weiterhin sind auch verschiedene Anwendungen im Bereich der erweiterten Realität (Augment Reality) bekannt.Furthermore, various applications in the field of Augment Reality are known.
Als Beispiel hierfür ist auf die Überlagerung einer Fotoaufnahme mit zum Beispiel einem Fadenkreuz zur mittigen Ausrichtung eines Bildes hinzuweisen.An example of this is the overlaying of a photograph with, for example, a crosshair to indicate the central orientation of an image.
Auch bekannt sind Spiele, welche auf diese Technologie aufbauen, bei denen der Spieler mit einer Kamera aufgenommen wird, und seine Bewegung in eine virtuelle Welt eingebunden wird, wie zum Beispiel bei einem Golf Simulator.Also known are games based on this technology in which the player is captured with a camera and his movement is integrated into a virtual world, such as a golf simulator.
Wesentlicher Nachteil dieser vorbenannten Anwendung ist der große Speicherbedarf zur Speicherung von Bilddaten.The main disadvantage of this aforementioned application is the large storage requirement for storing image data.
Die Aufgabe der vorliegenden Erfindung kann somit darin gesehen werden, ein mobiles Endgerät derart weiter zu bilden, dass die Eingabe von Texten über ein Tastaturfeld erfolgt, dessen Größe unabhängig von den Abmessungen des mobilen Endgerätes ausgebildet ist.The object of the present invention can thus be seen to further develop a mobile terminal such that the input of texts via a keypad, the size of which is formed independently of the dimensions of the mobile terminal.
Zur Lösung der Aufgabe ist die Erfindung durch die Merkmale des unabhängigen Patentanspruches 1 gekennzeichnet.To solve the problem, the invention is characterized by the features of the independent claim 1.
Erfindungswesentlich ist, dass das Verfahren die Tastatur als virtuelle Tastatur auf dem Display des mobilen Endgerätes darstellt und einen über der virtuellen Tastatur dargestellten Zeiger (Cursor) bewegungsfähig ausbildet wobei sich der Zeiger (Cursor) entsprechend analog der in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf das entsprechende Tastaturfeld der virtuellen Tastatur bewegt.It is essential to the invention that the method represents the keyboard as a virtual keyboard on the display of the mobile terminal and one above the virtual terminal Keyboard shown pointer (cursor) forms movable with the pointer (cursor) moves according to analogous to the executed in the spatial axes movements of the mobile device to the corresponding keyboard field of the virtual keyboard.
Im Umkehrschluss dieser erfindungswesentlichen Ausbildung ist die auf dem Display des mobilen Endgerätes dargestellte virtuelle Tastatur als bewegungsfähige Tastatur dargestellt ist, welche sich entsprechend in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf dem Display entsprechend bewegt, wobei der Zeiger bewegungsunfähig und vorzugsweise mittig auf dem Display angeordnet ist.In the reverse of this invention essential to training the virtual keyboard shown on the display of the mobile terminal is shown as a movable keyboard, which moves accordingly in the spatial axes executed movements of the mobile terminal on the display accordingly, the pointer immobile and preferably arranged centrally on the display is.
Dies weist den Vorteil auf, dass die Eingabe einer Textnachricht oder eine Menüanwahl auch bei mobilen Endgeräten mit relativ geringen Gehäuseabmessungen realisierbar ist, da die Eingabe einer Textnachricht oder eine Menüanwahl über ein mechanisches Tastaturfeld zu zeitaufwendigen Fehleingaben führt.This has the advantage that the input of a text message or a menu selection can also be implemented in mobile terminals with relatively small housing dimensions, since the input of a text message or a menu selection via a mechanical keypad leads to time-consuming incorrect entries.
Zur Realisierung eines bewegungsfähigen Cursors bzw. einer bewegungsfähigen Tastatur auf dem Display eines mobilen Endgerätes wird ein aus dem Stand der Technik bekanntes Verfahren zur Komprimierung und Dekomprimierung von Bilddaten angewendet.To realize a movable cursor or a movable keyboard on the display of a mobile terminal, a known from the prior art method for compression and decompression of image data is applied.
Ein aus dem Stand der Technik bekanntes Verfahren zur Komprimierung und Dekomprimierung von derartigen Bilddaten wird mit der Druckschrift DE 101 13 880 A1 offenbart, wobei zur Darstellung von Bildern, wie zum Beispiel einer Tastatur, das Verfahren von priorisierenden Pixelgruppen angewendet wird, wobei die mit einer Kamera erfassten Bilddaten eine Matrix einzelner Bildpunkte (Pixel) aufweisen, welche einen sich zeitlich veränderbaren Pixelwert aufweisen, der Färb- oder Helligkeitsinformationen des Bildpunktes, beschreibt. Dabei wird jedem Bildpunkt eine Priorität zugeordnet und entsprechend dieser Priorität in der Matrix sortiert abgelegt. Die Bildpunkte und die Pixelwerte werden übertragen bzw. gespeichert, wobei ein Pixel eine hohe Priorität aufweist, wenn der Abstand zum benachbarten Pixel groß ist. Bei einer Rekonstruktion werden lediglich die aktuellen Pixelwerte dargestellt, wobei noch nicht übertragene Pixel aus schon übertragenen Pixel berechnet werden.A method known from the prior art for compressing and decompressing such image data is disclosed by the publication DE 101 13 880 A1, wherein the method of prioritizing pixel groups is used to display images, such as a keyboard, with a Camera recorded image data having a matrix of individual pixels (pixels), which have a temporally variable pixel value, the color or brightness information of the pixel describes. Each pixel is assigned a priority and sorted according to this priority in the matrix. The pixels and pixel values are transmitted and stored, with one pixel having a high priority when the distance to the neighboring pixel is large. In a reconstruction, only the current pixel values are shown, wherein not yet transferred pixels are calculated from already transmitted pixels.
Zur Realisierung einer virtuell auf einem Display eines mobilen Endgerätes dargestellte Tastatur wird eine Kamera zur Aufnahme von den erforderlichen Bilddaten verwendet, wie sie heute in den meisten mobilen Endgeräten, wie zum Beispiel in einem „Handy" angeordnet ist.In order to realize a keyboard that is virtually displayed on a display of a mobile terminal, a camera is used to record the required image data, as is currently the case in most mobile terminals, such as in a "mobile phone".
Zur Bestätigung eines ausgewählten Tastaturfeldes ist vorzugsweise ein Bedienknopf vorgesehen, welcher zum Beispiel durch Drücken die Auswahl bestätigt.For confirmation of a selected keypad preferably a control knob is provided, which confirms the selection, for example by pressing.
Des Weiteren wird auf dem Display ein Cursor angezeigt, welcher Cursor durch Bewegungen des mobilen Endgerätes (Handy) in den Raumachsen in analoger Richtung im Display des mobilen Endgerätes bewegbar ist.Furthermore, a cursor is displayed on the display, which cursor is movable by movements of the mobile terminal (mobile phone) in the spatial axes in the analog direction in the display of the mobile terminal.
Zur Erkennung der Bewegung werden die aufgenommen Bilder der Kamera entsprechend dem aus dem Stand der Technik bekannten Verfahren zur Komprimierung und Dekomprimierung von Bilddaten ausgewertet.To detect the movement, the recorded images of the camera are evaluated according to the known from the prior art method for compression and decompression of image data.
Um Rechenleistung zu sparen, werden lediglich relevante Bildbereiche zur Auswertung berücksichtigt. Entsprechend der Bewegung können sowohl links, rechts, oben unten, vorne, hinten als auch die Geschwindigkeit erkannt werden.In order to save computing power, only relevant image areas are taken into account for evaluation. According to the movement, both left, right, top down, front, back, and speed can be detected.
Im Vergleich mit der Bedienung eines mechanischem Multifunktionsknopfes ist hier eine wesentlich feinere Rasterung als an/aus möglich.In comparison with the operation of a mechanical multi-function button, a much finer screening than on / off is possible here.
Wird nun auf dem Display ein Tastatur dargestellt und bringt man den Cursor durch Bewegen des mobilen Endgerätes (Handy) auf das gewünschte Tastaturfeld, so kann man die Auswahl durch einfaches Drücken des Multifunktionsknopfes bestätigen.If a keyboard is now shown on the display and the cursor is moved to the desired keypad by moving the mobile device (mobile phone), you can confirm the selection by simply pressing the multifunction button.
Dies weist gegenüber den vorbenannten Verfahren den Vorteil auf, dass hier eine Einhandbedienung zur Auswahl und Bestätigung eines Tastaturfeldes ausreicht, und auch kein weiteres Hilfsmittel, wie zum Beispiel ein Stift, wie bei einem Touchscreen notwendig ist.This has the advantage over the aforementioned methods that a one-hand operation for selecting and confirming a keypad is sufficient here, and no further aids, such as a pen, as in a touchscreen is necessary.
Des Weiteren besteht gegenüber den vorbenannten Verfahren der Vorteil, das bis auf einen Bedienknopf zur eigentlichen Selektion, keine weiteren Bedienelemente notwendig sind.Furthermore, there is the advantage over the previously mentioned methods that, with the exception of a control knob for the actual selection, no further operating elements are necessary.
Somit kann eine Tastatur in einem mobilen Endgerät, wie zum Beispiel in einem Handy eingespart werden, wobei das Gehäuse des Gerätes kleiner, bzw. das Display größer ausgebildet werden kann.Thus, a keyboard can be saved in a mobile terminal, such as in a cell phone, the housing of the device can be smaller, or the display can be made larger.
Aufgrund der rein optischen Erfassung ist zudem eine feinere Steuerung möglich, welche darüber hinaus auch nahezu keinen Verschleiß aufweist.Due to the purely optical detection also a finer control is possible, which also has almost no wear beyond.
Im Folgenden wird die Erfindung anhand von einer, lediglich einen Ausführungsweg darstellenden Zeichnung näher erläutert. Hierbei gehen aus der Zeichnung und ihrer Beschreibung weitere erfindungswesentliche Merkmale und Vorteile der Erfindung hervor.In the following, the invention will be explained in more detail with reference to a drawing which merely represents one embodiment. Here are from the drawings and their description further features essential to the invention and advantages of the invention.
Dabei zeigt:Showing:
Figur 1 : ein schematisches Fliessschema des erfindungsgemäßen VerfahrensFigure 1: a schematic flow diagram of the method according to the invention
Das in Figur 1 dargestellte Verfahren zur Darstellung einer virtuellen Tastatur in einem mobilen Endgerät 1 ist auf die Erkennung der Positionsveränderung des mobilen Endgerätes 1 in die Richtung einer der drei Raumachsen ausgerichtet, wodurch eine virtuelle Bewegung eines über der virtuellen Tastatur dargestellten Zeigers (Cursor) erzeugt wird.The method illustrated in FIG. 1 for displaying a virtual keyboard in a mobile terminal 1 is aimed at detecting the change in position of the mobile terminal 1 in the direction of one of the three spatial axes, thereby generating a virtual movement of a pointer (cursor) displayed above the virtual keyboard becomes.
In einem ersten Verfahrensschritt erfasst das mobile Endgerät 1 mittels seiner integrierten Kamera in der ersten Kameraposition 2 Bilddaten 3. Diese Bilddaten 3 der Kameraposition 2 werden in einem zweiten Verfahrensschritt entsprechend von gebildeten, phorisierten Pixelgruppen 4 gemäß dem Stand der Technik gespeichert.In a first method step, the mobile terminal 1 captures image data 3 in the first camera position 2 by means of its integrated camera. These image data 3 of the camera position 2 are stored in a second method step corresponding to formed, phorized pixel groups 4 according to the prior art.
Hierbei beschreiben gemäß dem aus dem Stand der Technik bekannten Verfahren die am höchsten priorisierten Pixelgruppen automatisch die relevanten Bereiche eines Bildes.In this case, according to the method known from the prior art, the highest-priority pixel groups automatically describe the relevant areas of an image.
In einem dritten Verfahrensschritt werden die Positionswerte 9 der priorisierten Pixelgruppen 4 der ersten Kameraposition 2 in dem mobilen Endgerät 1 gespeichert.In a third method step, the position values 9 of the prioritized pixel groups 4 of the first camera position 2 are stored in the mobile terminal 1.
Bewegt man die Kamera 2 in eine der drei Richtungen der Raumachsen zu einer zweiten Kameraposition 5, ändern sich in entsprechender Weise auch die Positionswerte 9 der gebildeten priorisierten Pixelgruppen 4.If the camera 2 is moved in one of the three directions of the spatial axes to a second camera position 5, the position values 9 of the formed prioritized pixel groups 4 likewise change in a corresponding manner.
In einem vierten Verfahrensschritt werden die Bilddaten 7 bei der zweiten Kameraposition 5 erfasst, wobei in einem fünften Verfahrenschritt die priorisierten Pixelgruppen 8 mit den zugehörigen Positionswerten bei der Kameraposition 5 gebildet werden.In a fourth method step, the image data 7 are acquired at the second camera position 5, wherein in a fifth method step the prioritized pixel groups 8 with the associated position values are formed at the camera position 5.
Im sechsten Verfahrenschritt werden die Positionswerte 10 der gebildeten priorisierten Pixelgruppen 8 bei der Kameraposition 5 mit den Positionswerten 9 der gebildeten priorisierten Pixelgruppen 4 der Kameraposition 2 verglichen.In the sixth method step, the position values 10 of the formed prioritized pixel groups 8 at the camera position 5 are compared with the position values 9 of the formed prioritized pixel groups 4 of the camera position 2.
Diese vorbenannten Verfahrensschritte sollen an einem einfachen Beispiel erläutert werden.These aforementioned method steps will be explained by a simple example.
Die am höchsten priorisierten Pixelgruppen A1 , B1 und C1 bei der Kameraposition 2 werden an den Positionen a1 , b1 und d einer Matrix ermittelt. Dabei werden A1 , B1 und C1 derart priorisiert, dass sich die Pixelwerte von A1 , B1 und C1 zusätzlich stark unterscheiden.The highest priority pixel groups A1, B1 and C1 at the camera position 2 are determined at positions a1, b1 and d of a matrix. In this case, A1, B1 and C1 are prioritized in such a way that the pixel values of A1, B1 and C1 additionally differ greatly.
Bei einem zweiten erfassten Bild bei der Kameraposition 5 werden die am höchsten priorisierten Pixelgruppen A2, B2 und C2 an den Positionen a2, b2 und c2 einer Matrix ermittelt.In a second captured image at the camera position 5, the highest priority pixel groups A2, B2 and C2 at the positions a2, b2 and c2 of a matrix.
Die Verschiebung der Positionen von a1 , b1 und d der Kameraposition 2 zu den Positionen a2, b2 und c2 der Kameraposition 5 stehen in einem direkten Zusammenhang mit der Bewegung des mobilen Endgerätes 1.The displacement of the positions of a1, b1 and d of the camera position 2 to the positions a2, b2 and c2 of the camera position 5 are directly related to the movement of the mobile terminal 1.
Aus dem Vergleich der Werte a1 zu a2, b1 zu b2 und d zu c2 werden die jeweiligen Verschiebungsvektoren 11 bestimmt.From the comparison of the values a1 to a2, b1 to b2 and d to c2, the respective displacement vectors 11 are determined.
Zeigen alle drei bestimmten Verschiebungsvektoren 11 in die gleiche Richtung, so hat sich das mobile Endgerät 1 in die entsprechende Richtung bewegt.If all three determined displacement vectors 11 point in the same direction, the mobile terminal 1 has moved in the corresponding direction.
Entsprechend der ermittelten Verschiebungsvektoren 11 wird ein Cursor auf dem Display des mobilen Endgerätes 1 bewegt 12.In accordance with the determined displacement vectors 11, a cursor is moved 12 on the display of the mobile terminal 1.
Wird auf dem Display zusätzlich eine Tastatur angezeigt, kann durch Drücken desIf additionally a keyboard is indicated on the display, by pressing the
Bedienknopfes ein Tastaturfeld mit einem zugeordneten Buchstaben, auf dem derControl button a keypad with an associated letter on which the
Cursor sich gerade befindet, zur Auswahl bestätigt werden.Cursor is currently being selected for selection.
Nachdem der Buchstabe selektiert ist, erscheint die Tastatur wieder in der neutralen Stellung.After the letter is selected, the keyboard reappears in the neutral position.
Dieses vorbenannte Beispiel verdeutlicht das prinzipielle Vorgehen des erfindungsgemäßen Verfahrens.This example above illustrates the basic procedure of the method according to the invention.
Selbstverständlich lässt sich das hier beschriebene Verfahren entsprechend den Anwendungsbedürfnissen auch zur Steuerung anderer Endgerätefunktionalitäten verwenden, wie zum Beispiel allgemeiner Funktionen zur Menuesteuerung.Of course, the method described herein may also be used to control other terminal functionalities, such as general menu control functions, according to the needs of the application.
Darüber hinaus kann das prinzipielle Verfahren um eine Vielzahl von Funktionen erweitert werden.In addition, the basic method can be extended by a variety of functions.
Anstelle von den 3 Pixelgruppen können auch mehr Pixelgruppen verwendet werden.Instead of the 3 pixel groups, more pixel groups can be used.
Sind in dem ersten Bild bei der Kameraposition 2 die drei besten Pixelgruppen 4 erkannt worden, werden die nachfolgend erfassten Bilder, wie zum Beispiel bei der Kameraposition 5 nicht mehr komplett, sondern nur im Umkreis der bereits gefundenen Pixelgruppen 8 ausgewertet. Auf diese Weise wird aufwendige Rechenzeit und somit Akku Laufzeit eingespart.If the three best pixel groups 4 have been recognized in the first image at the camera position 2, the subsequently acquired images, such as, for example, in the camera position 5 are no longer complete but only in the vicinity of the already found pixel groups 8 evaluated. In this way, complex computing time and thus battery life is saved.
Bei Dunkelheit wird ein zusätzliches Kameralicht eingesetzt, um die Bewegungen des mobilen Endgerätes 1 zu erkennen.In the dark, an additional camera light is used to detect the movements of the mobile terminal 1.
Durch Bewegen des mobilen Endgerätes 1 auf einen Gegenstand oder von einem Gegenstand weg können zusätzliche Menüfunktionen geöffnet oder geschlossen werden, wie zum Beispiel die Auswahlmöglichkeit von Sonderzeichen (@ oder μ oder dergleichen).By moving the mobile terminal 1 to or from an object, additional menu functions may be opened or closed, such as the selection of special characters (@ or μ or the like).
Es können sowohl lineare als auch nichtlineare Bewegungen zum schnellen Bewegen eines Cursors über größere Displaybereiche durchgeführt werden.Both linear and non-linear movements can be performed to move a cursor quickly over larger display areas.
So führt zum Beispiel eine parallele Verschiebung des mobilen Endgerätes 1 auf einer Oberfläche zu einer linearen Verschiebung des Cursors auf dem Display.For example, a parallel displacement of the mobile terminal 1 on a surface leads to a linear displacement of the cursor on the display.
Nichtlineare Verschiebungen des Cursors werden zum Beispiel durch eine zusätzliche Drehbewegung des mobilen Endgerätes 1 erzeugt.Non-linear displacements of the cursor are generated, for example, by an additional rotational movement of the mobile terminal 1.
Zur Vereinfachung der Steuerung wird zum Beispiel eine softwaremäßige Rasterung verwendet, um den Buchstaben/Menüpunkt des jeweiligen Tastaturfeldes sicher auszuwählen.To simplify the control, for example, a software-based screening is used to select the letter / menu item of the respective keypad safely.
Für eine weitere Anwendung kann auch der Cursor fest auf dem Display positioniert sein, wobei sich die Auswahlfelder, wie zum Beispiel die Tastaturfelder einer virtuellen Tastatur entsprechend der Bewegung des mobilen Endgerätes 1 verschieben.For a further application, the cursor may also be fixedly positioned on the display, whereby the selection fields, such as the keyboard fields of a virtual keyboard, shift according to the movement of the mobile terminal 1.
Der Erfindungsgegenstand der vorliegenden Erfindung ergibt sich nicht nur aus dem Gegenstand der einzelnen Patentansprüche, sondern auch aus der Kombination der einzelnen Patentansprüche untereinander. Alle in den Unterlagen, einschließlich der Zusammenfassung offenbarten Angaben und Merkmale, insbesondere die in den Zeichnungen dargestellte Ausbildung des Verfahrens, werden als erfindungswesentlich beansprucht, soweit sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind. The subject of the present invention results not only from the subject matter of the individual claims, but also from the combination of the individual claims with each other. All information and features disclosed in the documents, including the summary, in particular the embodiment of the method shown in the drawings, are claimed to be essential to the invention insofar as they are novel individually or in combination with respect to the prior art.
BezuqszeichenlisteLIST OF REFERENCES
1. mobiles Endgerät (z.B. Handy)1. mobile terminal (e.g., mobile phone)
2. erste Kameraposition 3. Bilddaten der ersten Kameraposition2. first camera position 3. image data of the first camera position
4. Bilden von priorisierten Pixelgruppen der ersten Kameraposition4. Forming prioritized pixel groups of the first camera position
5. zweite Kameraposition5. second camera position
6. Positionsänderung der Kamera6. Position change of the camera
7. Bilddaten der zweiten Kameraposition 8. Bilden von priorisierten Pixelgruppen der zweiten Kameraposition mit den zugehörigen Positionswerten7. Image data of the second camera position 8. Forming prioritized pixel groups of the second camera position with the associated position values
9. Speichern der Positionswerte der priorisierten Pixelgruppen der ersten Kameraposition9. Save the position values of the prioritized pixel groups of the first camera position
10. Vergleich der gespeicherten Positionswerte der ersten Kameraposition mit den Positionswerten der zweiten Kameraposition10. Comparison of the stored position values of the first camera position with the position values of the second camera position
11. Bilden von Verschiebungsvektoren11. Forming displacement vectors
12. Bewegen des Cursors oder der virtuellen Tastatur auf dem Display des mobilen Endgerätes12. Move the cursor or virtual keyboard on the display of the mobile device
13. Bestätigung des ausgewählten Tastaturfeldes mittels Bedienknopf 13. Confirmation of the selected keypad using the control knob

Claims

Patentansprüche claims
1. Verfahren zur Darstellung einer virtuellen Tastatur auf dem Display eines mobilen Endgerätes, wie zum Beispiel eines „Handys", wobei das mobile Endgerät eine Kamera zur Aufnahme von Bilddaten aufweist, ein Display zur Darstellung der Bilddaten und eine Tastatur zur Auswahl von Menüfunktionen oder Eingabe von zum Beispiel einer Textnachricht, dadurch gekennzeichnet, dass das Verfahren die Tastatur als virtuelle Tastatur auf dem Display des mobilen Endgerätes (1 ) darstellt und einen über der virtuellen Tastatur dargestellten Zeiger (Cursor) bewegungsfähig ausbildet, wobei sich der Zeiger (Cursor) entsprechend analog der in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf das entsprechende Tastaturfeld der virtuellen Tastatur bewegt.A method for displaying a virtual keyboard on the display of a mobile terminal, such as a "mobile", the mobile terminal having a camera for receiving image data, a display for displaying the image data, and a keyboard for selecting menu functions or input of, for example, a text message, characterized in that the method represents the keyboard as a virtual keyboard on the display of the mobile terminal (1) and a pointer (cursor) shown above the virtual keyboard is capable of movement, wherein the pointer (cursor) correspondingly analog moved in the spatial axes movements of the mobile terminal moves to the corresponding keypad of the virtual keyboard.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die auf dem Display des mobilen Endgerätes dargestellte, virtuelle Tastatur als bewegungsfähige Tastatur dargestellt ist, welche sich entsprechend in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes (1 ) auf dem Display entsprechend bewegt, wobei der Zeiger (Cursor) bewegungsunfähig und vorzugsweise mittig auf dem Display angeordnet ist.2. The method according to claim 1, characterized in that the displayed on the display of the mobile terminal, virtual keyboard is shown as a movable keyboard, which moves accordingly in the spatial axes executed movements of the mobile terminal (1) on the display accordingly, wherein the Pointer (cursor) is unable to move and preferably centered on the display.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren Bilddaten (3) einer ersten Kameraposition (2) der integrierten Kamera erfasst, welche in zu Bildenden, priorisierten Pixelgruppen (4) gespeichert werden, wobei die am höchsten priorisierten Pixelgruppen (4) automatisch die relevanten Bereiche eines Bildes beschreiben.3. The method according to any one of claims 1 or 2, characterized in that the method image data (3) of a first camera position (2) of the integrated camera detected, which are stored in to be formed, prioritized pixel groups (4), with the highest priority Pixel groups (4) automatically describe the relevant areas of an image.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zusätzlich zu den gebildeten Pixelgruppen (4) die entsprechenden Positionswerte (9) der Pixelgruppen der ersten Kameraposition (2) gespeichert werden.4. The method according to any one of claims 1 to 3, characterized in that in addition to the formed pixel groups (4) the corresponding position values (9) of the pixel groups of the first camera position (2) are stored.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verfahren bei einer Bewegung der Kamera von der ersten Kameraposition (2) zu einer zweiten Kameraposition (5) die Bilddaten (7) bei der zweiten Kameraposition (5) erfasst und priorisierte Pixelgruppen (8) mit den zugehörigen Positionswerten (10) bildet.5. The method according to any one of claims 1 to 4, characterized in that the method in a movement of the camera from the first camera position (2) to a second camera position (5) the image data (7) in the detected second camera position (5) and prioritized pixel groups (8) with the associated position values (10).
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Verfahren die Positionswerte (9) der priorisierten Pixelgruppen (4) von der ersten Kameraposition (2) mit den Positionswerten der priorisierten Pixelgruppen (8) von der zweiten Kameraposition (5) vergleicht, wobei eine Änderung der Kameraposition (2) entsprechend eine Änderung der Positionswerte (9) der priorisierten Pixelgruppen (4) ausbildet.6. Method according to claim 1, wherein the method comprises the position values (9) of the prioritized pixel groups (4) from the first camera position (2) with the position values of the prioritized pixel groups (8) from the second camera position (5 ), wherein a change in the camera position (2) correspondingly forms a change in the position values (9) of the prioritized pixel groups (4).
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Verfahren aus dem Vergleich der Positionswerte der ersten und zweiten Kameraposition (2, 5) Verschiebungsvektoren (11 ) bestimmt, welche den Zeiger (Cursor) auf dem Display des mobilen Endgerätes (1 ) bewegen (12), wenn die Verschiebungsvektoren (11 ) in eine Richtung gerichtet sind.7. The method according to any one of claims 1 to 6, characterized in that the method from the comparison of the position values of the first and second camera position (2, 5) displacement vectors (11) determines which the pointer (cursor) on the display of the mobile terminal (1) move (12) when the displacement vectors (11) are directed in one direction.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Bewegen des Zeigers (Cursor) auf der auf dem Display des mobilen Endgerätes (1 ) dargestellten Tastatur die Auswahl eines Tastaturfeldes ausbildet, wobei die Auswahl des Tastaturfeldes mittels einem angeordneten Bedienknopf bestätigt wird.8. The method according to any one of claims 1 to 7, characterized in that the movement of the pointer (cursor) on the display of the mobile terminal (1) shown keyboard forms the selection of a keypad, wherein the selection of the keypad by means of an arranged control knob is confirmed.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass nach Selektierung und Bestätigung eines Tastaturfeldes die dargestellte virtuelle Tastatur sich in eine neutrale Position bewegt.9. The method according to any one of claims 1 to 8, characterized in that after selection and confirmation of a keypad, the virtual keyboard shown moves in a neutral position.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das Verfahren eine Menüsteuerung ausbildet, wobei die Auswahl eines Menüpunktes mittels einer Positionsänderung des mobilen Endgerätes (1 ) durchführbar ist. 10. The method according to any one of claims 1 to 9, characterized in that the method forms a menu control, wherein the selection of a menu item by means of a change in position of the mobile terminal (1) is feasible.
EP08857639A 2007-12-08 2008-11-27 Virtual keyboard of a mobile terminal Ceased EP2217987A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007059273A DE102007059273A1 (en) 2007-12-08 2007-12-08 Virtual keyboard of a mobile device
PCT/EP2008/010063 WO2009071234A1 (en) 2007-12-08 2008-11-27 Virtual keyboard of a mobile terminal

Publications (1)

Publication Number Publication Date
EP2217987A1 true EP2217987A1 (en) 2010-08-18

Family

ID=40377375

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08857639A Ceased EP2217987A1 (en) 2007-12-08 2008-11-27 Virtual keyboard of a mobile terminal

Country Status (11)

Country Link
US (1) US8527895B2 (en)
EP (1) EP2217987A1 (en)
JP (1) JP5913806B2 (en)
KR (1) KR101352462B1 (en)
CN (1) CN101889256B (en)
BR (1) BRPI0820862A2 (en)
CA (1) CA2707917C (en)
DE (1) DE102007059273A1 (en)
MX (1) MX2010006117A (en)
RU (1) RU2494442C2 (en)
WO (1) WO2009071234A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007059273A1 (en) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtual keyboard of a mobile device
US8605039B2 (en) * 2009-03-06 2013-12-10 Zimpl Ab Text input
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
CN104423720B (en) * 2013-09-02 2018-01-05 颜涌 A kind of computer input apparatus and method based on camera
KR102484707B1 (en) 2020-08-03 2023-01-03 단국대학교 산학협력단 System for moving the cursor and its operation method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366272A (en) * 2001-06-05 2002-12-20 Kyocera Corp Portable terminal device and method for scrolling display image

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20001506A (en) * 1999-10-12 2001-04-13 J P Metsaevainio Design Oy Method of operation of the handheld device
JP2002164990A (en) * 2000-11-28 2002-06-07 Kyocera Corp Mobile communication terminal
DE10113880B4 (en) * 2001-03-21 2004-04-29 T-Mobile Deutschland Gmbh Method for compressing and decompressing video data
JP2003288161A (en) * 2002-03-28 2003-10-10 Nec Corp Mobile tool
US6876636B2 (en) 2002-07-09 2005-04-05 Qualcomm Inc. Method and system for a multicast service initiation in a communication system
JP3851601B2 (en) * 2002-09-27 2006-11-29 富士写真フイルム株式会社 Mobile terminal device
CA2409915C (en) * 2002-10-29 2012-01-03 Research In Motion Limited Electronic device having keyboard for thumb typing
US20060146009A1 (en) * 2003-01-22 2006-07-06 Hanno Syrbe Image control
DE10313019B4 (en) * 2003-03-24 2005-02-24 Siemens Ag One-hand operation of terminals using gesture recognition
GB2404819A (en) * 2003-08-05 2005-02-09 Research In Motion Ltd Mobile communications device with integral optical navigation
CA2531524A1 (en) * 2003-10-31 2005-05-12 Iota Wireless Llc Concurrent data entry for a portable device
EP1709519B1 (en) * 2003-12-31 2014-03-05 ABB Research Ltd. A virtual control panel
NO20044073D0 (en) * 2004-09-27 2004-09-27 Isak Engquist Information Processing System and Procedures
FR2876470B1 (en) * 2004-10-12 2006-12-22 Eastman Kodak Co DISPLAY CONTROL METHOD USING PORTABLE IMAGE SENSOR EQUIPMENT
DE102005024638A1 (en) * 2005-05-30 2006-12-07 Siemens Ag Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device
CN101000532A (en) * 2006-01-10 2007-07-18 鸿富锦精密工业（深圳）有限公司 Portable electronic device with optical inductor and its menu selection method
DE102007059273A1 (en) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtual keyboard of a mobile device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366272A (en) * 2001-06-05 2002-12-20 Kyocera Corp Portable terminal device and method for scrolling display image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2009071234A1 *

Also Published As

Publication number Publication date
CA2707917C (en) 2015-11-24
KR20100097207A (en) 2010-09-02
CN101889256A (en) 2010-11-17
RU2494442C2 (en) 2013-09-27
CN101889256B (en) 2013-04-17
MX2010006117A (en) 2010-06-25
DE102007059273A1 (en) 2009-06-18
JP5913806B2 (en) 2016-04-27
JP2011507058A (en) 2011-03-03
US8527895B2 (en) 2013-09-03
KR101352462B1 (en) 2014-01-17
WO2009071234A1 (en) 2009-06-11
CA2707917A1 (en) 2009-06-11
US20100313160A1 (en) 2010-12-09
BRPI0820862A2 (en) 2019-09-03
RU2010128177A (en) 2012-01-20

Similar Documents

Publication Publication Date Title
EP1184804B1 (en) Image reproduction system
DE102012004793B4 (en) Motor vehicle with an electronic rearview mirror
DE102010027915A1 (en) User interface device for controlling a vehicle multimedia system
DE102008000001A1 (en) Integrated hardware and software user interface
DE202008016872U1 (en) Electronic device and its input interface
EP2217987A1 (en) Virtual keyboard of a mobile terminal
WO2002095566A2 (en) Method and device for navigating inside an image
DE102012009429A1 (en) Method for remote configuration of electric car, involves displaying visually perceptible connection between two graphic elements of two display modes, where one of modes corresponds to actual control arrangement in vehicle
DE102012004640A1 (en) Motor vehicle with an electronic rearview mirror
DE19744941C2 (en) Method for remote control of a presentation device
DE102006055252B4 (en) Arrangement and method for multimodal selection of objects in telecommunication applications
EP2898402B1 (en) Client device, monitoring system, method for displaying images on a screen and computer program
DE102008050542A1 (en) Medical image recording system for obtaining graphic data, has control equipment, which is formed for receiving input signal of control unit operated by operator
WO2002060159A2 (en) Operating element for an electronic appliance
DE202008013195U1 (en) Hand control
DE102005024638A1 (en) Word/text inputs navigation method, for mobile telephone, involves displacing menu based on requirements of electronic device movement found by image recording device, where relative position of cursor and menu entry is found by device
DE102012100564B4 (en) Display unit for a door station
EP1830247B1 (en) Movement sensitive interaction with technical devices
DE10119648B4 (en) Arrangement for the operation of television technical devices
DE102015208578A1 (en) Method and apparatus for defining an interval through a graphical user interface
DE102008015398A1 (en) Method for operating a mobile device
DE102006020563A1 (en) Mobile terminal e.g. mobile radio unit, has detection and evaluation unit provided for detection and evaluation of three-dimensional movement of terminal using camera pictures of cameras
WO2016165842A1 (en) Method and system for detecting user inputs for a mobile unit by means of an input device of a vehicle
DE102006046812A1 (en) Mobile digital input device e.g. display notepad, for e.g. football coach, has video projector projecting sequence of game and tactics on screen, where input device has preset width, height, depth and weight
DE102005020289A1 (en) Telephone, in particular mobile telephone

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100531

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20141022

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20170926