EP2217987A1 - Virtuelle tastatur eines mobilen endgerätes - Google Patents

Virtuelle tastatur eines mobilen endgerätes

Info

Publication number
EP2217987A1
EP2217987A1 EP08857639A EP08857639A EP2217987A1 EP 2217987 A1 EP2217987 A1 EP 2217987A1 EP 08857639 A EP08857639 A EP 08857639A EP 08857639 A EP08857639 A EP 08857639A EP 2217987 A1 EP2217987 A1 EP 2217987A1
Authority
EP
European Patent Office
Prior art keywords
mobile terminal
display
keyboard
camera
pixel groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP08857639A
Other languages
English (en)
French (fr)
Inventor
Gerd Mossakowski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
T Mobile International AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by T Mobile International AG filed Critical T Mobile International AG
Publication of EP2217987A1 publication Critical patent/EP2217987A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Definitions

  • the invention relates to a method for displaying a movable keyboard or a movable pointer (cursor) on the display of a mobile terminal according to the preamble of claim 1.
  • Mobile devices such as a "cell phone”
  • functions such as camera and video function
  • the dimensions of the “mobile phone” should be as small as possible on the part of the operator. For this reason, the mobile terminals are getting smaller in size.
  • Keyboard is displayed on the screen.
  • this input function has the disadvantage that the representation of a keypad has a relatively large footprint.
  • a menu navigation of current mobile terminals for entering text is based in part on text or icon (icon), which are selected for example by means of a scroll wheel or a multifunction button.
  • the multifunction knob offers the option of moving the menu cursor (cursor) to the left, right, up or down and confirming the selection by pressing the multifunction knob. Intermediate areas are not provided due to the mechanics used.
  • An example of this is the overlaying of a photograph with, for example, a crosshair to indicate the central orientation of an image.
  • the main disadvantage of this aforementioned application is the large storage requirement for storing image data.
  • the object of the present invention can thus be seen to further develop a mobile terminal such that the input of texts via a keypad, the size of which is formed independently of the dimensions of the mobile terminal.
  • the invention is characterized by the features of the independent claim 1.
  • the method represents the keyboard as a virtual keyboard on the display of the mobile terminal and one above the virtual terminal Keyboard shown pointer (cursor) forms movable with the pointer (cursor) moves according to analogous to the executed in the spatial axes movements of the mobile device to the corresponding keyboard field of the virtual keyboard.
  • a method known from the prior art for compressing and decompressing such image data is disclosed by the publication DE 101 13 880 A1, wherein the method of prioritizing pixel groups is used to display images, such as a keyboard, with a Camera recorded image data having a matrix of individual pixels (pixels), which have a temporally variable pixel value, the color or brightness information of the pixel describes. Each pixel is assigned a priority and sorted according to this priority in the matrix. The pixels and pixel values are transmitted and stored, with one pixel having a high priority when the distance to the neighboring pixel is large. In a reconstruction, only the current pixel values are shown, wherein not yet transferred pixels are calculated from already transmitted pixels.
  • a camera is used to record the required image data, as is currently the case in most mobile terminals, such as in a "mobile phone".
  • a control knob is provided, which confirms the selection, for example by pressing.
  • a cursor is displayed on the display, which cursor is movable by movements of the mobile terminal (mobile phone) in the spatial axes in the analog direction in the display of the mobile terminal.
  • the recorded images of the camera are evaluated according to the known from the prior art method for compression and decompression of image data.
  • a keyboard can be saved in a mobile terminal, such as in a cell phone, the housing of the device can be smaller, or the display can be made larger.
  • Figure 1 a schematic flow diagram of the method according to the invention
  • the method illustrated in FIG. 1 for displaying a virtual keyboard in a mobile terminal 1 is aimed at detecting the change in position of the mobile terminal 1 in the direction of one of the three spatial axes, thereby generating a virtual movement of a pointer (cursor) displayed above the virtual keyboard becomes.
  • the mobile terminal 1 captures image data 3 in the first camera position 2 by means of its integrated camera. These image data 3 of the camera position 2 are stored in a second method step corresponding to formed, phorized pixel groups 4 according to the prior art.
  • the highest-priority pixel groups automatically describe the relevant areas of an image.
  • the position values 9 of the prioritized pixel groups 4 of the first camera position 2 are stored in the mobile terminal 1.
  • the position values 9 of the formed prioritized pixel groups 4 likewise change in a corresponding manner.
  • the image data 7 are acquired at the second camera position 5, wherein in a fifth method step the prioritized pixel groups 8 with the associated position values are formed at the camera position 5.
  • the position values 10 of the formed prioritized pixel groups 8 at the camera position 5 are compared with the position values 9 of the formed prioritized pixel groups 4 of the camera position 2.
  • the highest priority pixel groups A1, B1 and C1 at the camera position 2 are determined at positions a1, b1 and d of a matrix.
  • A1, B1 and C1 are prioritized in such a way that the pixel values of A1, B1 and C1 additionally differ greatly.
  • the displacement of the positions of a1, b1 and d of the camera position 2 to the positions a2, b2 and c2 of the camera position 5 are directly related to the movement of the mobile terminal 1.
  • a cursor is moved 12 on the display of the mobile terminal 1.
  • Control button a keypad with an associated letter on which the
  • Cursor is currently being selected for selection.
  • the subsequently acquired images such as, for example, in the camera position 5 are no longer complete but only in the vicinity of the already found pixel groups 8 evaluated. In this way, complex computing time and thus battery life is saved.
  • an additional camera light is used to detect the movements of the mobile terminal 1.
  • additional menu functions may be opened or closed, such as the selection of special characters (@ or ⁇ or the like).
  • Both linear and non-linear movements can be performed to move a cursor quickly over larger display areas.
  • a parallel displacement of the mobile terminal 1 on a surface leads to a linear displacement of the cursor on the display.
  • Non-linear displacements of the cursor are generated, for example, by an additional rotational movement of the mobile terminal 1.
  • a software-based screening is used to select the letter / menu item of the respective keypad safely.
  • the cursor may also be fixedly positioned on the display, whereby the selection fields, such as the keyboard fields of a virtual keyboard, shift according to the movement of the mobile terminal 1.
  • mobile terminal e.g., mobile phone
  • Image data of the second camera position 8. Forming prioritized pixel groups of the second camera position with the associated position values

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung einer virtuellen Tastatur auf dem Display eines mobilen Endgerätes, wie zum Beispiel eines "Handys", wobei das mobile Endgerät eine Kamera zur Aufnahme von Bilddaten aufweist, ein Display zur Darstellung der Bilddaten und eine Tastatur zur Auswahl von Menüfunktionen oder Eingabe von zum Beispiel einer Textnachricht. Die Erfindung ist dadurch gekennzeichnet, dass das Verfahren die Tastatur als virtuelle Tastatur auf dem Display des mobilen Endgerätes gebildet ist und ein über der virtuellen Tastatur dargestellter Zeiger (Cursor) bewegungsfähig ausgebildet ist, wobei sich der Zeiger (Cursor) entsprechend der in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf das entsprechende Tastaturfeld der virtuellen Tastatur bewegt.

Description

Virtuelle Tastatur eines mobilen Endqerätes
Die Erfindung betrifft ein Verfahren zur Darstellung einer bewegungsfähigen Tastatur oder eines bewegungsfähigen Zeigers (Cursor) auf dem Display eines mobilen Endgerätes nach dem Oberbegriff des Patentanspruches 1.
Stand der Technik:
Mobile Endgeräte, wie zum Beispiel ein „Handy" weisen heutzutage immer mehr Funktionen, wie zum Beispiel Kamera- und Videofunktion auf, wobei seitens des Bedieners die Abmessungen des „Handys" so klein wie möglich sein sollten. Aus diesem Grunde werden die mobilen Endgeräte in ihren Abmessungen immer kleiner.
Hierbei entsteht jedoch das Problem der Bedienbarkeit, insbesondere bei der Texteingabe für zum Beispiel einer SMS (short message Service) auf den immer kleiner werdenden Tastaturen.
Derzeit gibt eine Vielzahl von verschiedenen Eingabemöglichkeiten von Texten, welche wie folgt klassifiziert sind:
- Eingabe eines Textes über eine vollwertige Minitastatur, wie zum Beispiel einem MDA (monochrom display adapter), wobei diese Eingabefunktion den Nachteil zu kleiner Tasten aufweist und zur Falscheingabe eines Textes führt;
- Eingabe von Texten über eine Zahlentastatur durch Mehrfachbelegung der Zahlentasten, wie zum Beispiel bei einem Handy, wobei diese Eingabefunktion den Nachteil einer Falscheingabe und relativ hohen Zeitaufwand aufweist;
- Bedienung durch einen Touchscreen (Berührungsbildschirm), bei dem eine
Tastatur auf dem Display dargestellt wird. Zur Benutzung wird vorzugsweise ein kleiner Stift verwendet, wobei diese Eingabefunktion den Nachteil aufweist, dass die Darstellung eines Tastaturfeldes einen relativ großen Platzbedarf aufweist.
- Bedienung eines Touchscreens, welcher eine OCR Erkennung aufweist, wobei diese Eingabefunktion ebenfalls einen relativ großen Platzbedarf zur Darstellung eines Tastaturfeldes aufweist.
Eine Menüführung derzeitiger mobiler Endgeräte zur Eingabe von Texten basiert zum Teil auf Text- beziehungsweise Bildzeichen (icon), welche zum Beispiel mit Hilfe eines Scrollrades oder eines Multifunktionsknopfes ausgewählt werden. Dabei bietet der Multifunktionsknopf in der Regel die Auswahlmöglichkeit den Menüzeiger (cursor) nach links, rechts, oben oder unten zu bewegen und die Auswahl durch Drücken des Multifunktionsknopfes zu bestätigen. Zwischenbereiche sind aufgrund der verwendeten Mechanik nicht vorgesehen.
Weiterhin sind auch verschiedene Anwendungen im Bereich der erweiterten Realität (Augment Reality) bekannt.
Als Beispiel hierfür ist auf die Überlagerung einer Fotoaufnahme mit zum Beispiel einem Fadenkreuz zur mittigen Ausrichtung eines Bildes hinzuweisen.
Auch bekannt sind Spiele, welche auf diese Technologie aufbauen, bei denen der Spieler mit einer Kamera aufgenommen wird, und seine Bewegung in eine virtuelle Welt eingebunden wird, wie zum Beispiel bei einem Golf Simulator.
Wesentlicher Nachteil dieser vorbenannten Anwendung ist der große Speicherbedarf zur Speicherung von Bilddaten.
Die Aufgabe der vorliegenden Erfindung kann somit darin gesehen werden, ein mobiles Endgerät derart weiter zu bilden, dass die Eingabe von Texten über ein Tastaturfeld erfolgt, dessen Größe unabhängig von den Abmessungen des mobilen Endgerätes ausgebildet ist.
Zur Lösung der Aufgabe ist die Erfindung durch die Merkmale des unabhängigen Patentanspruches 1 gekennzeichnet.
Erfindungswesentlich ist, dass das Verfahren die Tastatur als virtuelle Tastatur auf dem Display des mobilen Endgerätes darstellt und einen über der virtuellen Tastatur dargestellten Zeiger (Cursor) bewegungsfähig ausbildet wobei sich der Zeiger (Cursor) entsprechend analog der in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf das entsprechende Tastaturfeld der virtuellen Tastatur bewegt.
Im Umkehrschluss dieser erfindungswesentlichen Ausbildung ist die auf dem Display des mobilen Endgerätes dargestellte virtuelle Tastatur als bewegungsfähige Tastatur dargestellt ist, welche sich entsprechend in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf dem Display entsprechend bewegt, wobei der Zeiger bewegungsunfähig und vorzugsweise mittig auf dem Display angeordnet ist.
Dies weist den Vorteil auf, dass die Eingabe einer Textnachricht oder eine Menüanwahl auch bei mobilen Endgeräten mit relativ geringen Gehäuseabmessungen realisierbar ist, da die Eingabe einer Textnachricht oder eine Menüanwahl über ein mechanisches Tastaturfeld zu zeitaufwendigen Fehleingaben führt.
Zur Realisierung eines bewegungsfähigen Cursors bzw. einer bewegungsfähigen Tastatur auf dem Display eines mobilen Endgerätes wird ein aus dem Stand der Technik bekanntes Verfahren zur Komprimierung und Dekomprimierung von Bilddaten angewendet.
Ein aus dem Stand der Technik bekanntes Verfahren zur Komprimierung und Dekomprimierung von derartigen Bilddaten wird mit der Druckschrift DE 101 13 880 A1 offenbart, wobei zur Darstellung von Bildern, wie zum Beispiel einer Tastatur, das Verfahren von priorisierenden Pixelgruppen angewendet wird, wobei die mit einer Kamera erfassten Bilddaten eine Matrix einzelner Bildpunkte (Pixel) aufweisen, welche einen sich zeitlich veränderbaren Pixelwert aufweisen, der Färb- oder Helligkeitsinformationen des Bildpunktes, beschreibt. Dabei wird jedem Bildpunkt eine Priorität zugeordnet und entsprechend dieser Priorität in der Matrix sortiert abgelegt. Die Bildpunkte und die Pixelwerte werden übertragen bzw. gespeichert, wobei ein Pixel eine hohe Priorität aufweist, wenn der Abstand zum benachbarten Pixel groß ist. Bei einer Rekonstruktion werden lediglich die aktuellen Pixelwerte dargestellt, wobei noch nicht übertragene Pixel aus schon übertragenen Pixel berechnet werden.
Zur Realisierung einer virtuell auf einem Display eines mobilen Endgerätes dargestellte Tastatur wird eine Kamera zur Aufnahme von den erforderlichen Bilddaten verwendet, wie sie heute in den meisten mobilen Endgeräten, wie zum Beispiel in einem „Handy" angeordnet ist.
Zur Bestätigung eines ausgewählten Tastaturfeldes ist vorzugsweise ein Bedienknopf vorgesehen, welcher zum Beispiel durch Drücken die Auswahl bestätigt.
Des Weiteren wird auf dem Display ein Cursor angezeigt, welcher Cursor durch Bewegungen des mobilen Endgerätes (Handy) in den Raumachsen in analoger Richtung im Display des mobilen Endgerätes bewegbar ist.
Zur Erkennung der Bewegung werden die aufgenommen Bilder der Kamera entsprechend dem aus dem Stand der Technik bekannten Verfahren zur Komprimierung und Dekomprimierung von Bilddaten ausgewertet.
Um Rechenleistung zu sparen, werden lediglich relevante Bildbereiche zur Auswertung berücksichtigt. Entsprechend der Bewegung können sowohl links, rechts, oben unten, vorne, hinten als auch die Geschwindigkeit erkannt werden.
Im Vergleich mit der Bedienung eines mechanischem Multifunktionsknopfes ist hier eine wesentlich feinere Rasterung als an/aus möglich.
Wird nun auf dem Display ein Tastatur dargestellt und bringt man den Cursor durch Bewegen des mobilen Endgerätes (Handy) auf das gewünschte Tastaturfeld, so kann man die Auswahl durch einfaches Drücken des Multifunktionsknopfes bestätigen.
Dies weist gegenüber den vorbenannten Verfahren den Vorteil auf, dass hier eine Einhandbedienung zur Auswahl und Bestätigung eines Tastaturfeldes ausreicht, und auch kein weiteres Hilfsmittel, wie zum Beispiel ein Stift, wie bei einem Touchscreen notwendig ist.
Des Weiteren besteht gegenüber den vorbenannten Verfahren der Vorteil, das bis auf einen Bedienknopf zur eigentlichen Selektion, keine weiteren Bedienelemente notwendig sind.
Somit kann eine Tastatur in einem mobilen Endgerät, wie zum Beispiel in einem Handy eingespart werden, wobei das Gehäuse des Gerätes kleiner, bzw. das Display größer ausgebildet werden kann.
Aufgrund der rein optischen Erfassung ist zudem eine feinere Steuerung möglich, welche darüber hinaus auch nahezu keinen Verschleiß aufweist.
Im Folgenden wird die Erfindung anhand von einer, lediglich einen Ausführungsweg darstellenden Zeichnung näher erläutert. Hierbei gehen aus der Zeichnung und ihrer Beschreibung weitere erfindungswesentliche Merkmale und Vorteile der Erfindung hervor.
Dabei zeigt:
Figur 1 : ein schematisches Fliessschema des erfindungsgemäßen Verfahrens
Das in Figur 1 dargestellte Verfahren zur Darstellung einer virtuellen Tastatur in einem mobilen Endgerät 1 ist auf die Erkennung der Positionsveränderung des mobilen Endgerätes 1 in die Richtung einer der drei Raumachsen ausgerichtet, wodurch eine virtuelle Bewegung eines über der virtuellen Tastatur dargestellten Zeigers (Cursor) erzeugt wird.
In einem ersten Verfahrensschritt erfasst das mobile Endgerät 1 mittels seiner integrierten Kamera in der ersten Kameraposition 2 Bilddaten 3. Diese Bilddaten 3 der Kameraposition 2 werden in einem zweiten Verfahrensschritt entsprechend von gebildeten, phorisierten Pixelgruppen 4 gemäß dem Stand der Technik gespeichert.
Hierbei beschreiben gemäß dem aus dem Stand der Technik bekannten Verfahren die am höchsten priorisierten Pixelgruppen automatisch die relevanten Bereiche eines Bildes.
In einem dritten Verfahrensschritt werden die Positionswerte 9 der priorisierten Pixelgruppen 4 der ersten Kameraposition 2 in dem mobilen Endgerät 1 gespeichert.
Bewegt man die Kamera 2 in eine der drei Richtungen der Raumachsen zu einer zweiten Kameraposition 5, ändern sich in entsprechender Weise auch die Positionswerte 9 der gebildeten priorisierten Pixelgruppen 4.
In einem vierten Verfahrensschritt werden die Bilddaten 7 bei der zweiten Kameraposition 5 erfasst, wobei in einem fünften Verfahrenschritt die priorisierten Pixelgruppen 8 mit den zugehörigen Positionswerten bei der Kameraposition 5 gebildet werden.
Im sechsten Verfahrenschritt werden die Positionswerte 10 der gebildeten priorisierten Pixelgruppen 8 bei der Kameraposition 5 mit den Positionswerten 9 der gebildeten priorisierten Pixelgruppen 4 der Kameraposition 2 verglichen.
Diese vorbenannten Verfahrensschritte sollen an einem einfachen Beispiel erläutert werden.
Die am höchsten priorisierten Pixelgruppen A1 , B1 und C1 bei der Kameraposition 2 werden an den Positionen a1 , b1 und d einer Matrix ermittelt. Dabei werden A1 , B1 und C1 derart priorisiert, dass sich die Pixelwerte von A1 , B1 und C1 zusätzlich stark unterscheiden.
Bei einem zweiten erfassten Bild bei der Kameraposition 5 werden die am höchsten priorisierten Pixelgruppen A2, B2 und C2 an den Positionen a2, b2 und c2 einer Matrix ermittelt.
Die Verschiebung der Positionen von a1 , b1 und d der Kameraposition 2 zu den Positionen a2, b2 und c2 der Kameraposition 5 stehen in einem direkten Zusammenhang mit der Bewegung des mobilen Endgerätes 1.
Aus dem Vergleich der Werte a1 zu a2, b1 zu b2 und d zu c2 werden die jeweiligen Verschiebungsvektoren 11 bestimmt.
Zeigen alle drei bestimmten Verschiebungsvektoren 11 in die gleiche Richtung, so hat sich das mobile Endgerät 1 in die entsprechende Richtung bewegt.
Entsprechend der ermittelten Verschiebungsvektoren 11 wird ein Cursor auf dem Display des mobilen Endgerätes 1 bewegt 12.
Wird auf dem Display zusätzlich eine Tastatur angezeigt, kann durch Drücken des
Bedienknopfes ein Tastaturfeld mit einem zugeordneten Buchstaben, auf dem der
Cursor sich gerade befindet, zur Auswahl bestätigt werden.
Nachdem der Buchstabe selektiert ist, erscheint die Tastatur wieder in der neutralen Stellung.
Dieses vorbenannte Beispiel verdeutlicht das prinzipielle Vorgehen des erfindungsgemäßen Verfahrens.
Selbstverständlich lässt sich das hier beschriebene Verfahren entsprechend den Anwendungsbedürfnissen auch zur Steuerung anderer Endgerätefunktionalitäten verwenden, wie zum Beispiel allgemeiner Funktionen zur Menuesteuerung.
Darüber hinaus kann das prinzipielle Verfahren um eine Vielzahl von Funktionen erweitert werden.
Anstelle von den 3 Pixelgruppen können auch mehr Pixelgruppen verwendet werden.
Sind in dem ersten Bild bei der Kameraposition 2 die drei besten Pixelgruppen 4 erkannt worden, werden die nachfolgend erfassten Bilder, wie zum Beispiel bei der Kameraposition 5 nicht mehr komplett, sondern nur im Umkreis der bereits gefundenen Pixelgruppen 8 ausgewertet. Auf diese Weise wird aufwendige Rechenzeit und somit Akku Laufzeit eingespart.
Bei Dunkelheit wird ein zusätzliches Kameralicht eingesetzt, um die Bewegungen des mobilen Endgerätes 1 zu erkennen.
Durch Bewegen des mobilen Endgerätes 1 auf einen Gegenstand oder von einem Gegenstand weg können zusätzliche Menüfunktionen geöffnet oder geschlossen werden, wie zum Beispiel die Auswahlmöglichkeit von Sonderzeichen (@ oder μ oder dergleichen).
Es können sowohl lineare als auch nichtlineare Bewegungen zum schnellen Bewegen eines Cursors über größere Displaybereiche durchgeführt werden.
So führt zum Beispiel eine parallele Verschiebung des mobilen Endgerätes 1 auf einer Oberfläche zu einer linearen Verschiebung des Cursors auf dem Display.
Nichtlineare Verschiebungen des Cursors werden zum Beispiel durch eine zusätzliche Drehbewegung des mobilen Endgerätes 1 erzeugt.
Zur Vereinfachung der Steuerung wird zum Beispiel eine softwaremäßige Rasterung verwendet, um den Buchstaben/Menüpunkt des jeweiligen Tastaturfeldes sicher auszuwählen.
Für eine weitere Anwendung kann auch der Cursor fest auf dem Display positioniert sein, wobei sich die Auswahlfelder, wie zum Beispiel die Tastaturfelder einer virtuellen Tastatur entsprechend der Bewegung des mobilen Endgerätes 1 verschieben.
Der Erfindungsgegenstand der vorliegenden Erfindung ergibt sich nicht nur aus dem Gegenstand der einzelnen Patentansprüche, sondern auch aus der Kombination der einzelnen Patentansprüche untereinander. Alle in den Unterlagen, einschließlich der Zusammenfassung offenbarten Angaben und Merkmale, insbesondere die in den Zeichnungen dargestellte Ausbildung des Verfahrens, werden als erfindungswesentlich beansprucht, soweit sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind.
Bezuqszeichenliste
1. mobiles Endgerät (z.B. Handy)
2. erste Kameraposition 3. Bilddaten der ersten Kameraposition
4. Bilden von priorisierten Pixelgruppen der ersten Kameraposition
5. zweite Kameraposition
6. Positionsänderung der Kamera
7. Bilddaten der zweiten Kameraposition 8. Bilden von priorisierten Pixelgruppen der zweiten Kameraposition mit den zugehörigen Positionswerten
9. Speichern der Positionswerte der priorisierten Pixelgruppen der ersten Kameraposition
10. Vergleich der gespeicherten Positionswerte der ersten Kameraposition mit den Positionswerten der zweiten Kameraposition
11. Bilden von Verschiebungsvektoren
12. Bewegen des Cursors oder der virtuellen Tastatur auf dem Display des mobilen Endgerätes
13. Bestätigung des ausgewählten Tastaturfeldes mittels Bedienknopf

Claims

Patentansprüche
1. Verfahren zur Darstellung einer virtuellen Tastatur auf dem Display eines mobilen Endgerätes, wie zum Beispiel eines „Handys", wobei das mobile Endgerät eine Kamera zur Aufnahme von Bilddaten aufweist, ein Display zur Darstellung der Bilddaten und eine Tastatur zur Auswahl von Menüfunktionen oder Eingabe von zum Beispiel einer Textnachricht, dadurch gekennzeichnet, dass das Verfahren die Tastatur als virtuelle Tastatur auf dem Display des mobilen Endgerätes (1 ) darstellt und einen über der virtuellen Tastatur dargestellten Zeiger (Cursor) bewegungsfähig ausbildet, wobei sich der Zeiger (Cursor) entsprechend analog der in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf das entsprechende Tastaturfeld der virtuellen Tastatur bewegt.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die auf dem Display des mobilen Endgerätes dargestellte, virtuelle Tastatur als bewegungsfähige Tastatur dargestellt ist, welche sich entsprechend in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes (1 ) auf dem Display entsprechend bewegt, wobei der Zeiger (Cursor) bewegungsunfähig und vorzugsweise mittig auf dem Display angeordnet ist.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren Bilddaten (3) einer ersten Kameraposition (2) der integrierten Kamera erfasst, welche in zu Bildenden, priorisierten Pixelgruppen (4) gespeichert werden, wobei die am höchsten priorisierten Pixelgruppen (4) automatisch die relevanten Bereiche eines Bildes beschreiben.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zusätzlich zu den gebildeten Pixelgruppen (4) die entsprechenden Positionswerte (9) der Pixelgruppen der ersten Kameraposition (2) gespeichert werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verfahren bei einer Bewegung der Kamera von der ersten Kameraposition (2) zu einer zweiten Kameraposition (5) die Bilddaten (7) bei der zweiten Kameraposition (5) erfasst und priorisierte Pixelgruppen (8) mit den zugehörigen Positionswerten (10) bildet.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Verfahren die Positionswerte (9) der priorisierten Pixelgruppen (4) von der ersten Kameraposition (2) mit den Positionswerten der priorisierten Pixelgruppen (8) von der zweiten Kameraposition (5) vergleicht, wobei eine Änderung der Kameraposition (2) entsprechend eine Änderung der Positionswerte (9) der priorisierten Pixelgruppen (4) ausbildet.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Verfahren aus dem Vergleich der Positionswerte der ersten und zweiten Kameraposition (2, 5) Verschiebungsvektoren (11 ) bestimmt, welche den Zeiger (Cursor) auf dem Display des mobilen Endgerätes (1 ) bewegen (12), wenn die Verschiebungsvektoren (11 ) in eine Richtung gerichtet sind.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Bewegen des Zeigers (Cursor) auf der auf dem Display des mobilen Endgerätes (1 ) dargestellten Tastatur die Auswahl eines Tastaturfeldes ausbildet, wobei die Auswahl des Tastaturfeldes mittels einem angeordneten Bedienknopf bestätigt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass nach Selektierung und Bestätigung eines Tastaturfeldes die dargestellte virtuelle Tastatur sich in eine neutrale Position bewegt.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das Verfahren eine Menüsteuerung ausbildet, wobei die Auswahl eines Menüpunktes mittels einer Positionsänderung des mobilen Endgerätes (1 ) durchführbar ist.
EP08857639A 2007-12-08 2008-11-27 Virtuelle tastatur eines mobilen endgerätes Ceased EP2217987A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007059273A DE102007059273A1 (de) 2007-12-08 2007-12-08 Virtuelle Tastatur eines mobilen Endgerätes
PCT/EP2008/010063 WO2009071234A1 (de) 2007-12-08 2008-11-27 Virtuelle tastatur eines mobilen endgerätes

Publications (1)

Publication Number Publication Date
EP2217987A1 true EP2217987A1 (de) 2010-08-18

Family

ID=40377375

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08857639A Ceased EP2217987A1 (de) 2007-12-08 2008-11-27 Virtuelle tastatur eines mobilen endgerätes

Country Status (11)

Country Link
US (1) US8527895B2 (de)
EP (1) EP2217987A1 (de)
JP (1) JP5913806B2 (de)
KR (1) KR101352462B1 (de)
CN (1) CN101889256B (de)
BR (1) BRPI0820862A2 (de)
CA (1) CA2707917C (de)
DE (1) DE102007059273A1 (de)
MX (1) MX2010006117A (de)
RU (1) RU2494442C2 (de)
WO (1) WO2009071234A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007059273A1 (de) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtuelle Tastatur eines mobilen Endgerätes
US8605039B2 (en) * 2009-03-06 2013-12-10 Zimpl Ab Text input
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
CN104423720B (zh) * 2013-09-02 2018-01-05 颜涌 一种基于摄像头的电脑输入设备和方法
KR102484707B1 (ko) 2020-08-03 2023-01-03 단국대학교 산학협력단 커서 이동시스템 및 커서 이동시스템의 운용방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366272A (ja) * 2001-06-05 2002-12-20 Kyocera Corp 携帯端末装置および表示画面のスクロール方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20001506A (fi) * 1999-10-12 2001-04-13 J P Metsaevainio Design Oy Kädessäpidettävän laitteen toimintamenetelmä
JP2002164990A (ja) * 2000-11-28 2002-06-07 Kyocera Corp 携帯通信端末装置
DE10113880B4 (de) * 2001-03-21 2004-04-29 T-Mobile Deutschland Gmbh Verfahren zur Komprimierung und Dekomprimierung von Videodaten
JP2003288161A (ja) * 2002-03-28 2003-10-10 Nec Corp 携帯機器
US6876636B2 (en) 2002-07-09 2005-04-05 Qualcomm Inc. Method and system for a multicast service initiation in a communication system
JP3851601B2 (ja) * 2002-09-27 2006-11-29 富士写真フイルム株式会社 携帯端末装置
US20040080487A1 (en) * 2002-10-29 2004-04-29 Griffin Jason T. Electronic device having keyboard for thumb typing
EP1588552A1 (de) * 2003-01-22 2005-10-26 Nokia Corporation Bildsteuerung
DE10313019B4 (de) * 2003-03-24 2005-02-24 Siemens Ag Einhandbedienung von Endgeräten per Gestikerkennung
GB2404819A (en) * 2003-08-05 2005-02-09 Research In Motion Ltd Mobile communications device with integral optical navigation
CA2531524A1 (en) * 2003-10-31 2005-05-12 Iota Wireless Llc Concurrent data entry for a portable device
US8225226B2 (en) * 2003-12-31 2012-07-17 Abb Research Ltd. Virtual control panel
NO20044073D0 (no) * 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
FR2876470B1 (fr) * 2004-10-12 2006-12-22 Eastman Kodak Co Procede de controle d'affichage utilisant un equipement portable a capteur d'images
DE102005024638A1 (de) * 2005-05-30 2006-12-07 Siemens Ag Verfahren zum Navigieren durch ein Menü eines elektronischen Geräts
CN101000532A (zh) * 2006-01-10 2007-07-18 鸿富锦精密工业（深圳）有限公司 具有光学感应器的便携式电子装置及其选单方法
DE102007059273A1 (de) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtuelle Tastatur eines mobilen Endgerätes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366272A (ja) * 2001-06-05 2002-12-20 Kyocera Corp 携帯端末装置および表示画面のスクロール方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2009071234A1 *

Also Published As

Publication number Publication date
KR20100097207A (ko) 2010-09-02
DE102007059273A1 (de) 2009-06-18
US8527895B2 (en) 2013-09-03
MX2010006117A (es) 2010-06-25
JP2011507058A (ja) 2011-03-03
KR101352462B1 (ko) 2014-01-17
CN101889256B (zh) 2013-04-17
RU2010128177A (ru) 2012-01-20
CA2707917C (en) 2015-11-24
RU2494442C2 (ru) 2013-09-27
JP5913806B2 (ja) 2016-04-27
US20100313160A1 (en) 2010-12-09
WO2009071234A1 (de) 2009-06-11
CN101889256A (zh) 2010-11-17
BRPI0820862A2 (pt) 2019-09-03
CA2707917A1 (en) 2009-06-11

Similar Documents

Publication Publication Date Title
DE102012004793B4 (de) Kraftfahrzeug mit einem elektronischen Rückspiegel
DE102010027915A1 (de) Benutzer-Schnittstellen-Einrichtung zum Steuern eines Fahrzeug-Multimedia-Systems
DE102008000001A1 (de) Integrierte Hardware- und Softwarebenutzerschnittstelle
DE202008016872U1 (de) Elektronisches Gerät und dessen Eingabeinterface
EP2217987A1 (de) Virtuelle tastatur eines mobilen endgerätes
EP1184804A2 (de) System zur Bildwiedergabe
WO2002095566A2 (de) Verfahren und anordnung zum navigieren innerhalb eines bildes
DE102012009429A1 (de) Verfahren zur Fernkonfiguration eines Fahrzeugs durch Visualisierung der Fahrzeugbedienung, sowie Endgerät und Fahrzeug hierfür
DE102012004640A1 (de) Kraftfahrzeug mit einem elektronischen Rückspiegel
DE19744941C2 (de) Verfahren zur Fernbedienung einer Präsentationseinrichtung
DE102006055252B4 (de) Anordnung und Verfahren zur multimodalen Auswahl von Objekten in Telekommunikationsanwendungen
EP2898402B1 (de) Clientvorrichtung, überwachungssystem, verfahren zum anzeigen von bildern auf einem bildschirm sowie computerprogramm
DE102008050542A1 (de) Medizinisches Bildaufnahmesystem, Bedieneinrichtung und Verfahren zum Steuern einer Bildaufnahmevorrichtung
WO2002060159A2 (de) Bedienelement für ein elektronisches gerät
EP2555097A1 (de) Methode und Vorrichtung zur Bestimmung eines Bildausschnitts und Auslösen einer Bilderfassung mittels einer einzigen berührungsbasierten Geste
DE202008013195U1 (de) Handkontrollgerät
DE102005024638A1 (de) Verfahren zum Navigieren durch ein Menü eines elektronischen Geräts
DE102012100564B4 (de) Anzeigeeinheit für eine Türstation
EP1830247B1 (de) Bewegungssensitive Interaktion mit technischen Geräten
DE10119648B4 (de) Anordnung zur Bedienung von fernsehtechnischen Geräten
DE102015208578A1 (de) Verfahren und Vorrichtung zum Festlegen eines Intervalls durch eine grafische Benutzeroberfläche
DE102008015398A1 (de) Verfahren zur Bedienung einer mobilen Vorrichtung
DE102006020563A1 (de) Bewegungserkennung mit einem Kamerahandy
DE10300442A1 (de) Tragbares Elektronikgerät, Adapter hierfür, Softwareprogramm und prozessorlesbares Speichermedium
WO2016165842A1 (de) Verfahren und system zum erfassen von benutzereingaben für eine mobile einheit mittels einer eingabeeinrichtung eines fahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100531

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20141022

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20170926