DE102007059273A1 - Virtuelle Tastatur eines mobilen Endgerätes - Google Patents

Virtuelle Tastatur eines mobilen Endgerätes Download PDF

Info

Publication number
DE102007059273A1
DE102007059273A1 DE102007059273A DE102007059273A DE102007059273A1 DE 102007059273 A1 DE102007059273 A1 DE 102007059273A1 DE 102007059273 A DE102007059273 A DE 102007059273A DE 102007059273 A DE102007059273 A DE 102007059273A DE 102007059273 A1 DE102007059273 A1 DE 102007059273A1
Authority
DE
Germany
Prior art keywords
mobile terminal
display
keyboard
camera
pixel groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102007059273A
Other languages
English (en)
Inventor
Gerd Mossakowski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
T Mobile International AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by T Mobile International AG filed Critical T Mobile International AG
Priority to DE102007059273A priority Critical patent/DE102007059273A1/de
Priority to BRPI0820862A priority patent/BRPI0820862A2/pt
Priority to US12/745,080 priority patent/US8527895B2/en
Priority to MX2010006117A priority patent/MX2010006117A/es
Priority to PCT/EP2008/010063 priority patent/WO2009071234A1/de
Priority to JP2010536362A priority patent/JP5913806B2/ja
Priority to EP08857639A priority patent/EP2217987A1/de
Priority to KR1020107015134A priority patent/KR101352462B1/ko
Priority to CA2707917A priority patent/CA2707917C/en
Priority to CN2008801198313A priority patent/CN101889256B/zh
Priority to RU2010128177/08A priority patent/RU2494442C2/ru
Publication of DE102007059273A1 publication Critical patent/DE102007059273A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung einer virtuellen Tastatur auf dem Display eines mobilen Endgerätes, wie zum Beispiel eines "Handys", wobei das mobile Endgerät eine Kamera zur Aufnahme von Bilddaten aufweist, ein Display zur Darstellung der Bilddaten und eine Tastatur zur Auswahl von Menüfunktionen oder Eingabe von zum Beispiel einer Textnachricht. Die Erfindung ist dadurch gekennzeichnet, dass das Verfahren die Tastatur als virtuelle Tastatur auf dem Display des mobilen Engerätes gebildet ist und ein über der virtuellen Tastatur dargestellter Zeiger (Cursor) bewegungsfähig ausgebildet ist, wobei sich der Zeiger (Cursor) entsprechend der in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf das entsprechende Tastaturfeld der virtuellen Tastatur bewegt.

Description

  • Die Erfindung betrifft ein Verfahren zur Darstellung einer bewegungsfähigen Tastatur oder eines bewegungsfähigen Zeigers (Cursor) auf dem Display eines mobilen Endgerätes nach dem Oberbegriff des Patentanspruches 1.
  • Stand der Technik:
  • Mobile Endgeräte, wie zum Beispiel ein „Handy" weisen heutzutage immer mehr Funktionen, wie zum Beispiel Kamera- und Videofunktion auf, wobei seitens des Bedieners die Abmessungen des „Handys" so klein wie möglich sein sollten. Aus diesem Grunde werden die mobilen Endgeräte in ihren Abmessungen immer kleiner.
  • Hierbei entsteht jedoch das Problem der Bedienbarkeit, insbesondere bei der Texteingabe für zum Beispiel einer SMS (short message service) auf den immer kleiner werdenden Tastaturen.
  • Derzeit gibt eine Vielzahl von verschiedenen Eingabemöglichkeiten von Texten, welche wie folgt klassifiziert sind:
    • – Eingabe eines Textes über eine vollwertige Minitastatur, wie zum Beispiel einem MDA (monochrom display adapter), wobei diese Eingabefunktion den Nachteil zu kleiner Tasten aufweist und zur Falscheingabe eines Textes führt;
    • – Eingabe von Texten über eine Zahlentastatur durch Mehrfachbelegung der Zahlentasten, wie zum Beispiel bei einem Handy, wobei diese Eingabefunktion den Nachteil einer Falscheingabe und relativ hohen Zeitaufwand aufweist;
    • – Bedienung durch einen Touchscreen (Berührungsbildschirm), bei dem eine Tastatur auf dem Display dargestellt wird. Zur Benutzung wird vorzugsweise ein kleiner Stift verwendet, wobei diese Eingabefunktion den Nachteil aufweist, dass die Darstellung eines Tastaturfeldes einen relativ großen Platzbedarf aufweist.
    • – Bedienung eines Touchscreens, welcher eine OCR Erkennung aufweist, wobei diese Eingabefunktion ebenfalls einen relativ großen Platzbedarf zur Darstellung eines Tastaturfeldes aufweist.
  • Eine Menüführung derzeitiger mobiler Endgeräte zur Eingabe von Texten basiert zum Teil auf Text- beziehungsweise Bildzeichen (icon), welche zum Beispiel mit Hilfe eines Scrollrades oder eines Multifunktionsknopfes ausgewählt werden. Dabei bietet der Multifunktionsknopf in der Regel die Auswahlmöglichkeit den Menüzeiger (cursor) nach links, rechts, oben oder unten zu bewegen und die Auswahl durch Drücken des Multifunktionsknopfes zu bestätigen. Zwischenbereiche sind aufgrund der verwendeten Mechanik nicht vorgesehen.
  • Weiterhin sind auch verschiedene Anwendungen im Bereich der erweiterten Realität (Augment Reality) bekannt.
  • Als Beispiel hierfür ist auf die Überlagerung einer Fotoaufnahme mit zum Beispiel einem Fadenkreuz zur mittigen Ausrichtung eines Bildes hinzuweisen.
  • Auch bekannt sind Spiele, welche auf diese Technologie aufbauen, bei denen der Spieler mit einer Kamera aufgenommen wird, und seine Bewegung in eine virtuelle Welt eingebunden wird, wie zum Beispiel bei einem Golf Simulator.
  • Wesentlicher Nachteil dieser vorbenannten Anwendung ist der große Speicherbedarf zur Speicherung von Bilddaten.
  • Die Aufgabe der vorliegenden Erfindung kann somit darin gesehen werden, ein mobiles Endgerät derart weiter zu bilden, dass die Eingabe von Texten über ein Tastaturfeld erfolgt, dessen Größe unabhängig von den Abmessungen des mobilen Endgerätes ausgebildet ist.
  • Zur Lösung der Aufgabe ist die Erfindung durch die Merkmale des unabhängigen Patentanspruches 1 gekennzeichnet.
  • Erfindungswesentlich ist, dass das Verfahren die Tastatur als virtuelle Tastatur auf dem Display des mobilen Endgerätes darstellt und einen über der virtuellen Tastatur dargestellten Zeiger (Cursor) bewegungsfähig ausbildet wobei sich der Zeiger (Cursor) entsprechend analog der in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf das entsprechende Tastaturfeld der virtuellen Tastatur bewegt.
  • Im Umkehrschluss dieser erfindungswesentlichen Ausbildung ist die auf dem Display des mobilen Endgerätes dargestellte virtuelle Tastatur als bewegungsfähige Tastatur dargestellt ist, welche sich entsprechend in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf dem Display entsprechend bewegt, wobei der Zeiger bewegungsunfähig und vorzugsweise mittig auf dem Display angeordnet ist.
  • Dies weist den Vorteil auf, dass die Eingabe einer Textnachricht oder eine Menüanwahl auch bei mobilen Endgeräten mit relativ geringen Gehäuseabmessungen realisierbar ist, da die Eingabe einer Textnachricht oder eine Menüanwahl über ein mechanisches Tastaturfeld zu zeitaufwendigen Fehleingaben führt.
  • Zur Realisierung eines bewegungsfähigen Cursors bzw. einer bewegungsfähigen Tastatur auf dem Display eines mobilen Endgerätes wird ein aus dem Stand der Technik bekanntes Verfahren zur Komprimierung und Dekomprimierung von Bilddaten angewendet.
  • Ein aus dem Stand der Technik bekanntes Verfahren zur Komprimierung und Dekomprimierung von derartigen Bilddaten wird mit der Druckschrift DE 101 13 880 A1 offenbart, wobei zur Darstellung von Bildern, wie zum Beispiel einer Tastatur, das Verfahren von priorisierenden Pixelgruppen angewendet wird, wobei die mit einer Kamera erfassten Bilddaten eine Matrix einzelner Bildpunkte (Pixel) aufweisen, welche einen sich zeitlich veränderbaren Pixelwert aufweisen, der Farb- oder Helligkeitsinformationen des Bildpunktes beschreibt. Dabei wird jedem Bildpunkt eine Priorität zugeordnet und entsprechend dieser Priorität in der Matrix sortiert abgelegt. Die Bildpunkte und die Pixelwerte werden übertragen bzw. gespeichert, wobei ein Pixel eine hohe Priorität aufweist, wenn der Abstand zum benachbarten Pixel groß ist. Bei einer Rekonstruktion werden lediglich die aktuellen Pixelwerte dargestellt, wobei noch nicht übertragene Pixel aus schon übertragenen Pixel berechnet werden.
  • Zur Realisierung einer virtuell auf einem Display eines mobilen Endgerätes dargestellte Tastatur wird eine Kamera zur Aufnahme von den erforderlichen Bilddaten verwendet, wie sie heute in den meisten mobilen Endgeräten, wie zum Beispiel in einem „Handy" angeordnet ist.
  • Zur Bestätigung eines ausgewählten Tastaturfeldes ist vorzugsweise ein Bedienknopf vorgesehen, welcher zum Beispiel durch Drücken die Auswahl bestätigt.
  • Des Weiteren wird auf dem Display ein Cursor angezeigt, welcher Cursor durch Bewegungen des mobilen Endgerätes (Handy) in den Raumachsen in analoger Richtung im Display des mobilen Endgerätes bewegbar ist.
  • Zur Erkennung der Bewegung werden die aufgenommen Bilder der Kamera entsprechend dem aus dem Stand der Technik bekannten Verfahren zur Komprimierung und Dekomprimierung von Bilddaten ausgewertet.
  • Um Rechenleistung zu sparen, werden lediglich relevante Bildbereiche zur Auswertung berücksichtigt. Entsprechend der Bewegung können sowohl links, rechts, oben unten, vorne, hinten als auch die Geschwindigkeit erkannt werden.
  • Im Vergleich mit der Bedienung eines mechanischem Multifunktionsknopfes ist hier eine wesentlich feinere Rasterung als an/aus möglich.
  • Wird nun auf dem Display ein Tastatur dargestellt und bringt man den Cursor durch Bewegen des mobilen Endgerätes (Handy) auf das gewünschte Tastaturfeld, so kann man die Auswahl durch einfaches Drücken des Multifunktionsknopfes bestätigen.
  • Dies weist gegenüber den vorbenannten Verfahren den Vorteil auf, dass hier eine Einhandbedienung zur Auswahl und Bestätigung eines Tastaturfeldes ausreicht, und auch kein weiteres Hilfsmittel, wie zum Beispiel ein Stift, wie bei einem Touchscreen notwendig ist.
  • Des Weiteren besteht gegenüber den vorbenannten Verfahren der Vorteil, das bis auf einen Bedienknopf zur eigentlichen Selektion, keine weiteren Bedienelemente notwendig sind.
  • Somit kann eine Tastatur in einem mobilen Endgerät, wie zum Beispiel in einem Handy eingespart werden, wobei das Gehäuse des Gerätes kleiner, bzw. das Display größer ausgebildet werden kann.
  • Aufgrund der rein optischen Erfassung ist zudem eine feinere Steuerung möglich, welche darüber hinaus auch nahezu keinen Verschleiß aufweist.
  • Im Folgenden wird die Erfindung anhand von einer, lediglich einen Ausführungsweg darstellenden Zeichnung näher erläutert. Hierbei gehen aus der Zeichnung und ihrer Beschreibung weitere erfindungswesentliche Merkmale und Vorteile der Erfindung hervor.
  • Dabei zeigt:
  • 1: ein schematisches Fliessschema des erfindungsgemäßen Verfahrens
  • Das in 1 dargestellte Verfahren zur Darstellung einer virtuellen Tastatur in einem mobilen Endgerät 1 ist auf die Erkennung der Positionsveränderung des mobilen Endgerätes 1 in die Richtung einer der drei Raumachsen ausgerichtet, wodurch eine virtuelle Bewegung eines über der virtuellen Tastatur dargestellten Zeigers (Cursor) erzeugt wird.
  • In einem ersten Verfahrensschritt erfasst das mobile Endgerät 1 mittels seiner integrierten Kamera in der ersten Kameraposition 2 Bilddaten 3.
  • Diese Bilddaten 3 der Kameraposition 2 werden in einem zweiten Verfahrensschritt entsprechend von gebildeten, priorisierten Pixelgruppen 4 gemäß dem Stand der Technik gespeichert.
  • Hierbei beschreiben gemäß dem aus dem Stand der Technik bekannten Verfahren die am höchsten priorisierten Pixelgruppen automatisch die relevanten Bereiche eines Bildes.
  • In einem dritten Verfahrensschritt werden die Positionswerte 9 der priorisierten Pixelgruppen 4 der ersten Kameraposition 2 in dem mobilen Endgerät 1 gespeichert.
  • Bewegt man die Kamera 2 in eine der drei Richtungen der Raumachsen zu einer zweiten Kameraposition 5, ändern sich in entsprechender Weise auch die Positionswerte 9 der gebildeten priorisierten Pixelgruppen 4.
  • In einem vierten Verfahrensschritt werden die Bilddaten 7 bei der zweiten Kameraposition 5 erfasst, wobei in einem fünften Verfahrenschritt die priorisierten Pixelgruppen 8 mit den zugehörigen Positionswerten bei der Kameraposition 5 gebildet werden.
  • Im sechsten Verfahrenschritt werden die Positionswerte 10 der gebildeten priorisierten Pixelgruppen 8 bei der Kameraposition 5 mit den Positionswerten 9 der gebildeten priorisierten Pixelgruppen 4 der Kameraposition 2 verglichen.
  • Diese vorbenannten Verfahrensschritte sollen an einem einfachen Beispiel erläutert werden.
  • Die am höchsten priorisierten Pixelgruppen A1, B1 und C1 bei der Kameraposition 2 werden an den Positionen a1, b1 und c1 einer Matrix ermittelt. Dabei werden A1, B1 und C1 derart priorisiert, dass sich die Pixelwerte von A1, B1 und C1 zusätzlich stark unterscheiden.
  • Bei einem zweiten erfassten Bild bei der Kameraposition 5 werden die am höchsten priorisierten Pixelgruppen A2, B2 und C2 an den Positionen a2, b2 und c2 einer Matrix ermittelt.
  • Die Verschiebung der Positionen von a1, b1 und c1 der Kameraposition 2 zu den Positionen a2, b2 und c2 der Kameraposition 5 stehen in einem direkten Zusammenhang mit der Bewegung des mobilen Endgerätes 1.
  • Aus dem Vergleich der Werte a1 zu a2, b1 zu b2 und c1 zu c2 werden die jeweiligen Verschiebungsvektoren 11 bestimmt.
  • Zeigen alle drei bestimmten Verschiebungsvektoren 11 in die gleiche Richtung, so hat sich das mobile Endgerät 1 in die entsprechende Richtung bewegt.
  • Entsprechend der ermittelten Verschiebungsvektoren 11 wird ein Cursor auf dem Display des mobilen Endgerätes 1 bewegt 12.
  • Wird auf dem Display zusätzlich eine Tastatur angezeigt, kann durch Drücken des Bedienknopfes ein Tastaturfeld mit einem zugeordneten Buchstaben, auf dem der Cursor sich gerade befindet, zur Auswahl bestätigt werden.
  • Nachdem der Buchstabe selektiert ist, erscheint die Tastatur wieder in der neutralen Stellung.
  • Dieses vorbenannte Beispiel verdeutlicht das prinzipielle Vorgehen des erfindungsgemäßen Verfahrens.
  • Selbstverständlich lässt sich das hier beschriebene Verfahren entsprechend den Anwendungsbedürfnissen auch zur Steuerung anderer Endgerätefunktionalitäten verwenden, wie zum Beispiel allgemeiner Funktionen zur Menuesteuerung. Darüber hinaus kann das prinzipielle Verfahren um eine Vielzahl von Funktionen erweitert werden.
  • Anstelle von den 3 Pixelgruppen können auch mehr Pixelgruppen verwendet werden.
  • Sind in dem ersten Bild bei der Kameraposition 2 die drei besten Pixelgruppen 4 erkannt worden, werden die nachfolgend erfassten Bilder, wie zum Beispiel bei der Kameraposition 5 nicht mehr komplett, sondern nur im Umkreis der bereits gefundenen Pixelgruppen 8 ausgewertet. Auf diese Weise wird aufwendige Rechenzeit und somit Akku Laufzeit eingespart.
  • Bei Dunkelheit wird ein zusätzliches Kameralicht eingesetzt, um die Bewegungen des mobilen Endgerätes 1 zu erkennen.
  • Durch Bewegen des mobilen Endgerätes 1 auf einen Gegenstand oder von einem Gegenstand weg können zusätzliche Menüfunktionen geöffnet oder geschlossen werden, wie zum Beispiel die Auswahlmöglichkeit von Sonderzeichen (@ oder μ oder dergleichen).
  • Es können sowohl lineare als auch nichtlineare Bewegungen zum schnellen Bewegen eines Cursors über größere Displaybereiche durchgeführt werden.
  • So führt zum Beispiel eine parallele Verschiebung des mobilen Endgerätes 1 auf einer Oberfläche zu einer linearen Verschiebung des Cursors auf dem Display.
  • Nichtlineare Verschiebungen des Cursors werden zum Beispiel durch eine zusätzliche Drehbewegung des mobilen Endgerätes 1 erzeugt.
  • Zur Vereinfachung der Steuerung wird zum Beispiel eine softwaremäßige Rasterung verwendet, um den Buchstaben/Menüpunkt des jeweiligen Tastaturfeldes sicher auszuwählen.
  • Für eine weitere Anwendung kann auch der Cursor fest auf dem Display positioniert sein, wobei sich die Auswahlfelder, wie zum Beispiel die Tastaturfelder einer virtuellen Tastatur entsprechend der Bewegung des mobilen Endgerätes 1 verschieben.
  • Der Erfindungsgegenstand der vorliegenden Erfindung ergibt sich nicht nur aus dem Gegenstand der einzelnen Patentansprüche, sondern auch aus der Kombination der einzelnen Patentansprüche untereinander.
  • Alle in den Unterlagen, einschließlich der Zusammenfassung offenbarten Angaben und Merkmale, insbesondere die in den Zeichnungen dargestellte Ausbildung des Verfahrens, werden als erfindungswesentlich beansprucht, soweit sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind.
    • 1
    mobiles Endgerät (z. B. Handy)
    2
    erste Kameraposition
    3
    Bilddaten der ersten Kameraposition
    4
    Bilden von priorisierten Pixelgruppen der ersten Kameraposition
    5
    zweite Kameraposition
    6
    Positionsänderung der Kamera
    7
    Bilddaten der zweiten Kameraposition
    8
    Bilden von priorisierten Pixelgruppen der zweiten Kameraposition mit den zugehörigen Positionswerten
    9
    Speichern der Positionswerte der priorisierten Pixelgruppen der ersten Kameraposition
    10
    Vergleich der gespeicherten Positionswerte der ersten Kameraposition mit den Positionswerten der zweiten Kameraposition
    11
    Bilden von Verschiebungsvektoren
    12
    Bewegen des Cursors oder der virtuellen Tastatur auf dem Display des mobilen Endgerätes
    13
    Bestätigung des ausgewählten Tastaturfeldes mittels Bedienknopf
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - DE 10113880 A1 [0016]

Claims (10)

  1. Verfahren zur Darstellung einer virtuellen Tastatur auf dem Display eines mobilen Endgerätes, wie zum Beispiel eines „Handys", wobei das mobile Endgerät eine Kamera zur Aufnahme von Bilddaten aufweist, ein Display zur Darstellung der Bilddaten und eine Tastatur zur Auswahl von Menüfunktionen oder Eingabe von zum Beispiel einer Textnachricht, dadurch gekennzeichnet, dass das Verfahren die Tastatur als virtuelle Tastatur auf dem Display des mobilen Endgerätes (1) darstellt und einen über der virtuellen Tastatur dargestellten Zeiger (Cursor) bewegungsfähig ausbildet, wobei sich der Zeiger (Cursor) entsprechend analog der in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes auf das entsprechende Tastaturfeld der virtuellen Tastatur bewegt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die auf dem Display des mobilen Endgerätes dargestellte, virtuelle Tastatur als bewegungsfähige Tastatur dargestellt ist, welche sich entsprechend in den Raumachsen ausgeführten Bewegungen des mobilen Endgerätes (1) auf dem Display entsprechend bewegt, wobei der Zeiger (Cursor) bewegungsunfähig und vorzugsweise mittig auf dem Display angeordnet ist.
  3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren Bilddaten (3) einer ersten Kameraposition (2) der integrierten Kamera erfasst, welche in zu Bildenden, priorisierten Pixelgruppen (4) gespeichert werden, wobei die am höchsten priorisierten Pixelgruppen (4) automatisch die relevanten Bereiche eines Bildes beschreiben.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zusätzlich zu den gebildeten Pixelgruppen (4) die entsprechenden Positionswerte (9) der Pixelgruppen der ersten Kameraposition (2) gespeichert werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verfahren bei einer Bewegung der Kamera von der ersten Kameraposition (2) zu einer zweiten Kameraposition (5) die Bilddaten (7) bei der zweiten Kameraposition (5) erfasst und priorisierte Pixelgruppen (8) mit den zugehörigen Positionswerten (10) bildet.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Verfahren die Positionswerte (9) der priorisierten Pixelgruppen (4) von der ersten Kameraposition (2) mit den Positionswerten der priorisierten Pixelgruppen (8) von der zweiten Kameraposition (5) vergleicht, wobei eine Änderung der Kameraposition (2) entsprechend eine Änderung der Positionswerte (9) der priorisierten Pixelgruppen (4) ausbildet.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Verfahren aus dem Vergleich der Positionswerte der ersten und zweiten Kameraposition (2, 5) Verschiebungsvektoren (11) bestimmt, welche den Zeiger (Cursor) auf dem Display des mobilen Endgerätes (1) bewegen (12), wenn die Verschiebungsvektoren (11) in eine Richtung gerichtet sind.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Bewegen des Zeigers (Cursor) auf der auf dem Display des mobilen Endgerätes (1) dargestellten Tastatur die Auswahl eines Tastaturfeldes ausbildet, wobei die Auswahl des Tastaturfeldes mittels einem angeordneten Bedienknopf bestätigt wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass nach Selektierung und Bestätigung eines Tastaturfeldes die dargestellte virtuelle Tastatur sich in eine neutrale Position bewegt.
  10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das Verfahren eine Menüsteuerung ausbildet, wobei die Auswahl eines Menüpunktes mittels einer Positionsänderung des mobilen Endgerätes (1) durchführbar ist.
DE102007059273A 2007-12-08 2007-12-08 Virtuelle Tastatur eines mobilen Endgerätes Withdrawn DE102007059273A1 (de)

Priority Applications (11)

Application Number Priority Date Filing Date Title
DE102007059273A DE102007059273A1 (de) 2007-12-08 2007-12-08 Virtuelle Tastatur eines mobilen Endgerätes
BRPI0820862A BRPI0820862A2 (pt) 2007-12-08 2008-11-27 teclado virtual de um aparelho terminal móvel
US12/745,080 US8527895B2 (en) 2007-12-08 2008-11-27 Virtual keyboard of a mobile terminal
MX2010006117A MX2010006117A (es) 2007-12-08 2008-11-27 Teclado virtual de un aparato terminal movil.
PCT/EP2008/010063 WO2009071234A1 (de) 2007-12-08 2008-11-27 Virtuelle tastatur eines mobilen endgerätes
JP2010536362A JP5913806B2 (ja) 2007-12-08 2008-11-27 携帯端末の仮想キーボード
EP08857639A EP2217987A1 (de) 2007-12-08 2008-11-27 Virtuelle tastatur eines mobilen endgerätes
KR1020107015134A KR101352462B1 (ko) 2007-12-08 2008-11-27 이동 단말의 가상 키보드
CA2707917A CA2707917C (en) 2007-12-08 2008-11-27 Virtual keyboard of a mobile terminal
CN2008801198313A CN101889256B (zh) 2007-12-08 2008-11-27 移动终端的虚拟键盘
RU2010128177/08A RU2494442C2 (ru) 2007-12-08 2008-11-27 Виртуальная клавиатура мобильного оконечного устройства

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102007059273A DE102007059273A1 (de) 2007-12-08 2007-12-08 Virtuelle Tastatur eines mobilen Endgerätes

Publications (1)

Publication Number Publication Date
DE102007059273A1 true DE102007059273A1 (de) 2009-06-18

Family

ID=40377375

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007059273A Withdrawn DE102007059273A1 (de) 2007-12-08 2007-12-08 Virtuelle Tastatur eines mobilen Endgerätes

Country Status (11)

Country Link
US (1) US8527895B2 (de)
EP (1) EP2217987A1 (de)
JP (1) JP5913806B2 (de)
KR (1) KR101352462B1 (de)
CN (1) CN101889256B (de)
BR (1) BRPI0820862A2 (de)
CA (1) CA2707917C (de)
DE (1) DE102007059273A1 (de)
MX (1) MX2010006117A (de)
RU (1) RU2494442C2 (de)
WO (1) WO2009071234A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007059273A1 (de) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtuelle Tastatur eines mobilen Endgerätes
US8605039B2 (en) * 2009-03-06 2013-12-10 Zimpl Ab Text input
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
CN104423720B (zh) * 2013-09-02 2018-01-05 颜涌 一种基于摄像头的电脑输入设备和方法
KR102484707B1 (ko) 2020-08-03 2023-01-03 단국대학교 산학협력단 커서 이동시스템 및 커서 이동시스템의 운용방법
CN113778312B (zh) * 2021-08-17 2024-04-23 咪咕数字传媒有限公司 虚拟键盘显示方法、装置、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10113880A1 (de) 2001-03-21 2002-10-17 T Mobile Deutschland Gmbh Verfahren zur Komprimierung und Dekomprimierung von Videodaten
DE10313019A1 (de) * 2003-03-24 2004-10-28 Siemens Ag Einhandbedienung von Endgeräten per Gestikerkennung
EP1507196A2 (de) * 2003-08-05 2005-02-16 Research In Motion Limited Mobiles Gerät mit optischer on-screen Navigation
WO2005043332A2 (en) * 2003-10-31 2005-05-12 Iota Wireless Llc Concurrent data entry for a portable device
DE102005024638A1 (de) * 2005-05-30 2006-12-07 Siemens Ag Verfahren zum Navigieren durch ein Menü eines elektronischen Geräts

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20001506A (fi) * 1999-10-12 2001-04-13 J P Metsaevainio Design Oy Kädessäpidettävän laitteen toimintamenetelmä
JP2002164990A (ja) * 2000-11-28 2002-06-07 Kyocera Corp 携帯通信端末装置
JP2002366272A (ja) * 2001-06-05 2002-12-20 Kyocera Corp 携帯端末装置および表示画面のスクロール方法
JP2003288161A (ja) * 2002-03-28 2003-10-10 Nec Corp 携帯機器
US6876636B2 (en) 2002-07-09 2005-04-05 Qualcomm Inc. Method and system for a multicast service initiation in a communication system
JP3851601B2 (ja) * 2002-09-27 2006-11-29 富士写真フイルム株式会社 携帯端末装置
CA2409915C (en) * 2002-10-29 2012-01-03 Research In Motion Limited Electronic device having keyboard for thumb typing
AU2003303787A1 (en) * 2003-01-22 2004-08-13 Nokia Corporation Image control
US8225226B2 (en) * 2003-12-31 2012-07-17 Abb Research Ltd. Virtual control panel
NO20044073D0 (no) * 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
FR2876470B1 (fr) * 2004-10-12 2006-12-22 Eastman Kodak Co Procede de controle d'affichage utilisant un equipement portable a capteur d'images
CN101000532A (zh) * 2006-01-10 2007-07-18 鸿富锦精密工业（深圳）有限公司 具有光学感应器的便携式电子装置及其选单方法
DE102007059273A1 (de) * 2007-12-08 2009-06-18 T-Mobile Internationale Ag Virtuelle Tastatur eines mobilen Endgerätes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10113880A1 (de) 2001-03-21 2002-10-17 T Mobile Deutschland Gmbh Verfahren zur Komprimierung und Dekomprimierung von Videodaten
DE10313019A1 (de) * 2003-03-24 2004-10-28 Siemens Ag Einhandbedienung von Endgeräten per Gestikerkennung
EP1507196A2 (de) * 2003-08-05 2005-02-16 Research In Motion Limited Mobiles Gerät mit optischer on-screen Navigation
WO2005043332A2 (en) * 2003-10-31 2005-05-12 Iota Wireless Llc Concurrent data entry for a portable device
DE102005024638A1 (de) * 2005-05-30 2006-12-07 Siemens Ag Verfahren zum Navigieren durch ein Menü eines elektronischen Geräts

Also Published As

Publication number Publication date
CA2707917A1 (en) 2009-06-11
CA2707917C (en) 2015-11-24
US20100313160A1 (en) 2010-12-09
MX2010006117A (es) 2010-06-25
CN101889256A (zh) 2010-11-17
RU2010128177A (ru) 2012-01-20
US8527895B2 (en) 2013-09-03
RU2494442C2 (ru) 2013-09-27
WO2009071234A1 (de) 2009-06-11
EP2217987A1 (de) 2010-08-18
BRPI0820862A2 (pt) 2019-09-03
KR20100097207A (ko) 2010-09-02
CN101889256B (zh) 2013-04-17
KR101352462B1 (ko) 2014-01-17
JP5913806B2 (ja) 2016-04-27
JP2011507058A (ja) 2011-03-03

Similar Documents

Publication Publication Date Title
DE102007059273A1 (de) Virtuelle Tastatur eines mobilen Endgerätes
DE102010027915A1 (de) Benutzer-Schnittstellen-Einrichtung zum Steuern eines Fahrzeug-Multimedia-Systems
EP1210811B1 (de) Eingabeelement für ein telefon
DE102012004793B4 (de) Kraftfahrzeug mit einem elektronischen Rückspiegel
DE202008016872U1 (de) Elektronisches Gerät und dessen Eingabeinterface
DE10209797A1 (de) Optische Pseudo-Rollkugel zur Steuerung des Betriebs einer Vorrichtung oder Maschine
DE10110943B4 (de) Positionieren von auf einer Benutzeroberfläche angezeigten Bereichen
DE102016210288A1 (de) Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
DE102012009429A1 (de) Verfahren zur Fernkonfiguration eines Fahrzeugs durch Visualisierung der Fahrzeugbedienung, sowie Endgerät und Fahrzeug hierfür
DE102012004640A1 (de) Kraftfahrzeug mit einem elektronischen Rückspiegel
DE19900984A1 (de) Vorrichtung und Verfahren zur Ermöglichung einer Manipulation von Graphikbildern zur Erzeugung eines Graphikbildes
DE102006055252B4 (de) Anordnung und Verfahren zur multimodalen Auswahl von Objekten in Telekommunikationsanwendungen
DE102018107447A1 (de) Sprechstelle für ein Intercom-Netzwerk
WO2002060159A2 (de) Bedienelement für ein elektronisches gerät
DE102014224599A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102005024638A1 (de) Verfahren zum Navigieren durch ein Menü eines elektronischen Geräts
WO2014044668A1 (de) Clientvorrichtung, überwachungssystem, verfahren zum anzeigen von bildern auf einem bildschirm sowie computerprogramm
DE102012100564B4 (de) Anzeigeeinheit für eine Türstation
DE10233608A1 (de) Eingabevorrichtung für ein Endgerät
DE102015208578A1 (de) Verfahren und Vorrichtung zum Festlegen eines Intervalls durch eine grafische Benutzeroberfläche
DE202009006450U1 (de) Elektronisches Gerät mit einem Display
DE102008015398A1 (de) Verfahren zur Bedienung einer mobilen Vorrichtung
DE102013001384A1 (de) Verfahren und System zum blickrichtungsabhängigen Steuern einer Mehrzahl von Funktionseinheiten sowie Kraftwagen und mobiles Endgerät mit einem solchen System
DE10300442A1 (de) Tragbares Elektronikgerät, Adapter hierfür, Softwareprogramm und prozessorlesbares Speichermedium
DE102006046812A1 (de) Tactic To Go-Mobiles Interface für Taktikanalyse und Visualisierung von Spielsystemen im Fußball

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
OP8 Request for examination as to paragraph 44 patent law
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee