-
Allgemeiner Stand der Technik
-
Die
vorliegende Erfindung betrifft Benutzerschnittstellen für mobile
Vorrichtungen.
-
Die
Popularität
mobiler Vorrichtungen, wie persönliche
digitale Assistenten und zur Nachrichtenübermittlung fähige Kommunikationsvorrichtungen, wächst schnell.
Mehr Merkmale werden in mobile Vorrichtungen aufgenommen. Beispielsweise
gibt es nun zur Nachrichtenübermittlung
fähige
Mobiltelefone, die Anzeigebildschirme und eingebaute Kameras aufweisen.
Solche Telefone gestatten, dass von der Kamera Bilder aufgenommen
werden, um auf dem Bildschirm angezeigt, auf dem Telefon gespeichert und
als digitale Fotos drahtlos übertragen
zu werden. Es wurde die Verwendung einer integrierten Kamera als
Eingabeschnittstelle für
eine mobile Kommunikationsvorrichtung vorgeschlagen, wodurch Bildinformationen
von der Kamera in Textdaten konvertiert werden, die als Telefonnummer,
Internetadresse oder Mail-Text verwendet werden können, um
Anrufe, eine Internetverbindung oder ein Weitergeben von Post zu
unterstützen.
-
Auf
Grund der kompakten Größe und der Tragbarkeit
von tragbaren mobilen Vorrichtungen, ist der Bereich von Eingabeschnittstellen
für eine on-screen
Navigation bzw. Bildschirm-Navigation
für solche
kompakte Vorrichtungen typischerweise stärker eingeschränkt als
für größere Vorrichtungen,
wie Laptops und Tischrechner. Anstatt optische und Kugelmäuse, Berührungsfelder
oder Joysticks zu verwenden, um einen on-screen Zeiger bzw. Bildschirm-Zeiger
oder Cursor zu bewegen, stützt
sich die Navigationssteuerung auf tragbaren Vorrichtungen typischerweise
auf eine Richtungstastatur, einen Stift und/oder weitere Eingabeeinrichtungen,
wie ein Einstellrad.
-
Somit
gibt es einen Bedarf für
eine alternative Eingabeschnittstelle für Bildschirm-Navigation bei mobilen
Vorrichtungen.
-
Die
EP-A-957448 offenbart
einen tragbaren Rechner mit einer Anordnung von optischen Sensoren
und einem Bildprozessor, die in einem Mausmodus verwendet werden
können.
In einem Mausmodus kann die Forderung nach dem Prozessor verringert
werden, indem nur einige Ränder
im Bild erfasst werden.
-
Die
US-A-2003/0040346 offenbart
ein tragbares Informationsendgerät
mit einem Bildaufnahmemodul, das als optische Maus verwendet werden kann.
-
Die
EP-A-12220143 offenbart
eine elektronische Vorrichtung mit einem Positionsinformationsdetektor,
der Bewegungsinformationen berechnet. Die Vorrichtung kann handgeschriebene
Zeichen und Graphiken eingeben.
-
Die
GB-A-358893 offenbart
ein Funktelefon, das mit einer eingebauten Bildsymbol-Positioniereinrichtung
zum Steuern der Position eines Cursors auf einer Anzeige.
-
Kurzdarstellung der Erfindung
-
Gemäß der vorliegenden
Erfindung wird ein geräteeigener
(on-board) optischer Sensor auf einer mobilen Vorrichtung verwendet,
um eine Relativbewegung der Vorrichtung und einer Bezugsfläche zu erfassen
und einen Bildschirmzeiger entsprechend zu bewegen. In einigen Ausführungsformen
kann der optische Sensor auch wie in verschiedenen Modi verwendet
werden, wie als Kamera und Scanner.
-
Gemäß Beispielaspekten
der Erfindung wird eine mobile Vorrichtung bereitgestellt, die einen Hauptkörper, einen
Prozessor und einen zugeordneten Speicher, der im Hauptkörper untergebracht
ist, einen Anzeigebildschirm, der im Hauptkörper unterbracht ist und auf
Signale vom Prozessor antwortet, einen optischen Sensor, der am
Hauptkörper
befestigt ist, zum Aufnehmen aufeinanderfolgender Bilder und Bereitstellen
von Bildsignalen, die für
die aufgenommenen Bilder repräsentativ
sind, an den Prozessor, und ein Navigationsmodul umfasst, das dem
Prozessor zugeordnet ist, zum Ermitteln, basierend auf den Bildsignalen,
einer Relativbewegung zwischen dem Hauptkörper und einer Bezugsfläche und
Bewegen eines Zeigers auf dem Anzeigebildschirm, basierend auf der
ermittelten Relativbewegung.
-
Gemäß weiteren
Aspekten der Erfindung wird ein Bildschirm-Navigationsverfahren
für eine mobile
Vorrichtung mit einem Anzeigebildschirm bereitgestellt. Das Verfahren
umfasst (a) Befestigen eines optischen Sensors zur Bewegung mit
dem Anzeigebildschirm, (b) Anzeigen eines Bildschirm-Zeigers auf
dem Anzeigebildschirm, (c) Aufnehmen aufeinanderfolgender Bilder
einer Bezugsfläche über den
optischen Sensor, (d) Vergleichen aufeinanderfolgender aufgenommener
Bilder, um eine Relativbewegung zwischen dem optischen Sensor und
der Bezugsfläche
zu ermitteln, und e) Bewegen des Bildschirm-Zeigers auf dem Bildschirm,
basierend auf der ermittelten Bewegung.
-
Weitere
Aspekte und Merkmale der vorliegenden Erfindung werden für Durchschnittsfachleute auf
dem Gebiet bei Durchsicht der folgenden Beschreibung spezieller
Ausführungsformen
der Erfindung in Verbindung mit den beigefügten Figuren deutlich.
-
Kurze Beschreibung der Zeichnungen
-
Es
werden nun, nur als Beispiel, Ausführungsformen der vorliegenden
Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben,
in denen:
-
1 ist
ein Blockdiagramm, das eine mobile Vorrichtung zeigt, bei der die
vorliegende Erfindung angewendet werden kann,
-
2 eine
Vorderansicht der mobilen Vorrichtung von 1 ist,
-
3 eine
Seitenansicht der mobilen Vorrichtung ist,
-
4 eine
Rückseitenansicht
der mobilen Vorrichtung ist,
-
5 eine
Teilschnittansicht der mobilen Vorrichtung entlang der Linien V-V
von 4 ist,
-
6 ein
Blockdiagramm der Betriebsmodule ist, die den Betriebsmodi einer
Kamera der mobilen Vorrichtung gemäß Ausführungsformen der vorliegenden
Erfindung zugeordnet sind,
-
7 ein
Blockdiagramm ist, das einen optischen Navigationsvorgang gemäß Ausführungsformen
der Erfindung zeigt, und
-
8 eine
Vorderansicht einer mobilen Vorrichtung gemäß einer weiteren Beispielausführungsform
der Erfindung ist.
-
In
den gesamten Figuren werden gleiche Bezugszahlen verwendet, um ähnliche
Elemente und Merkmale zu bezeichnen.
-
Ausführliche Beschreibung
-
Nun
unter Bezugnahme auf die Zeichnungen ist 1 ein Blockdiagramm
einer mobilen Vorrichtung 10, bei der die vorliegende Erfindung
in einer Beispielausführungsform
angewendet wird. In der Beispielausführungsform ist die mobile Vorrichtung 10 eine
tragbare mobile Zwei-Wege-Kommunikations vorrichtung mit wenigstens
Daten- und möglicherweise
auch Sprachkommunikationsfähigkeiten. In
einer Beispielausführungsform
hat die Vorrichtung 10 die Fähigkeit, mit weiteren Computersystemen
auf dem Internet zu kommunizieren. Abhängig von der durch die Vorrichtung 10 bereitgestellten
Funktionalität
kann in verschiedenen Ausführungsformen
die Vorrichtung 10 unter anderem eine Datenkommunikationsvorrichtung,
eine Kommunikationsvorrichtung mit mehreren Modi, die sowohl für Daten- als auch Sprachkommunikation
konfiguriert ist, ein Mobiltelefon, ein PDA (persönlicher
digitaler Assistent) (personal digital assistant), der zur drahtlosen
Kommunikation fähig
ist, oder ein Computersystem mit einem drahtlosen Modem sein. In
verschiedenen Ausführungsformen
kann die vorliegende Erfindung auch bei tragbaren Rechenvorrichtungen,
wie PDAs und Digitalkameras angewendet werden, die nicht zu Kommunikationen
fähig sind.
-
Die
Vorrichtung 10 umfasst ein Kommunikationsuntersystem 11,
das einen Empfänger 12,
einen Sender 14 und zugehörige Komponenten, wie ein oder
mehrere, vorzugsweise eingebettete oder interne, Antennenelemente 16 und 18 und
ein Verarbeitungsmodul, wie einen Digitalsignalprozessor (digital signal
processor) (DSP) 20, umfasst. In einigen Ausführungsformen
umfasst das Kommunikationsuntersystem 11 (einen) lokale(n)
Oszillator(en) (LO) 13 und in einigen Ausführungsformen
teilen sich das Kommunikationsuntersystem 11 und der Mikroprozessor 38 einen
Oszillator. Wie für
Fachleute auf dem Gebiet der Kommunikation offensichtlich ist, hängt die
jeweilige Gestaltung des Kommunikationsuntersystems 11 vom
Kommunikationsnetzwerk ab, in dem das Gerät arbeiten soll.
-
Von
der Antenne 16 über
ein drahtloses Kommunikationsnetzwerk 50 empfangene Signale werden
dem Empfänger 12 eingegeben,
der solche gewöhnlichen
Empfängerfunktionen
ausführen
kann, wie eine Signalverstärkung,
eine Frequenz-Abwärtswandlung,
eine Filterung, eine Kanalauswahl und dergleichen und in einigen
Ausführungsformen
eine Analog/Digital-Wandlung. In ähnlicher Weise werden zu übertragende
Signale verarbeitet, einschließlich beispielsweise
einer Modulation und einer Codierung durch den DSP 20,
und einer Eingabe in den Sender 14 zu einer Digital/Analog-Wandlung,
einer Frequenz-Aufwärtswandlung,
einer Filterung, einer Verstärkung
oder ein Senden über
das Kommunikationsnetzwerk 50 über die Antenne 18.
-
Die
Vorrichtung 10 umfasst einen Mikroprozssor 38,
der den Gesamtbetrieb der Vorrichtung 10 steuert. Der Mikroprozessor 38 wirkt
mit dem Kommunikationsuntersystem 11 und auch mit weiteren Untersystemen
der Vorrichtung, wie der Anzeige 22, einem Flash-Speicher 24,
einem Direktzugriffsspeicher (RAM) 26, zusätzlichen
Eingabe/Ausgabe(I/O)-Untersystemen 28, einem seriellem
Anschluss 30, einer Tastatur oder einem Tastenfeld 32, einem
Lautsprecher 34, einem Mikrofon 36, einem kurzreichweitigem
Kommunikationsuntersystem 40 und irgendwelchen weiteren
Untersystemen der Vorrichtung, die allgemein mit 42 bezeichnet
sind, zusammen. Die Vorrichtung 10 der vorliegenden Erfindung
umfasst eine eingebaute Kamera 44 und eine Hintergrundbeleuchtung 46,
die mit dem Mikroprozessor 38 zusammenwirken.
-
Einige
der in 1 gezeigten Untersysteme führen mit der Kommunikation
verbundene Funktionen aus, während
weitere Untersysteme "residente" oder vorrichtungseigene
Funktionen bereitstellen können.
Insbesondere können
einige Untersysteme, wie beispielsweise eine Tastatur 32 und
eine Anzeige 22, sowohl für mit der Kommunikation zusammenhängende Funktionen,
wie Eingeben einer Textnachricht zur Übertragung über ein Kommunikationsnetzwerk,
als auch vorrichtungsresidente Funktionen, wie einen Rechner oder
eine Aufgabenliste, verwendet werden.
-
Betriebssystemsoftware 54 und
verschiedene Software-Anwendungen 58,
die vom Mikroprozessor 38 verwendet werden, sind in einer
Beispielausführungsform
in einem dauerhaften Speicher, wie dem Flash-Speicher 24 oder
einem ähnlichen
Spei cherelement, gespeichert. Fachleute auf dem Gebiet werden einsehen,
dass das Betriebssystem 54, spezielle Vorrichtungsan-Wendungen 58 oder
Teile davon vorübergehend
in einen flüchtigen
Speicher, wie einem RAM 26, geladen werden können. Es
wird in Erwägung
gezogen, dass empfangene Kommunikationssignale auch in RAM 26 gespeichert
werden können.
-
Der
Mikroprozessor 38 ermöglicht
zusätzlich zu
seinen Betriebssystemfunktionen vorzugsweise die Ausführung von
Software-Anwendungen 58 auf der Vorrichtung 10.
Ein vorherbestimmter Satz von Software-Anwendungen 58,
die grundlegende Operationen der Vorrichtung steuern, einschließlich beispielsweise
wenigstens Daten- und Sprachkommunikationsanwendungen, werden normalerweise
während
der Herstellung auf der Vorrichtung 10 installiert. Weitere
Anwendungen können
ebenfalls über
das Netzwerk 50, ein zusätzliches I/O-Untersystem 28, den
seriellen Anschluss 30, das kurzreichweitige Kommunikationsuntersystem 40 oder
irgendein anderes geeignetes Untersystem 42 auf die Vorrichtung 10 geladen
werden und vom Benutzer im RAM 26 oder einem nicht-flüchtigen
Speicher zur Ausführung durch
den Mikroprozessor 38 installiert werden. Eine solche Flexibilität bei der
Anwendungsinstallation erhöht
die Funktionalität
der Vorrichtung 10 und kann verbesserte Vorrichtungsfunktionen,
mit der Kommunikation zusammenhängende
Funktionen oder beides bereitstellen. Beispielsweise können sichere Kommunikationsanwendungen
ermöglichen,
dass elektronische Handelsfunktionen und weitere solche Finanztransaktionen
unter Verwendung der Vorrichtung 10 ausgeführt werden.
-
In
einem Datenkommunikationsmodus wird ein empfangenes Signal, wie
das Herunterladen einer Textnachricht oder einer Web-Seite, vom
Kommunikationsuntersystem 11 verarbeitet und in den Mikroprozessor 38 eingegeben,
der vorzugsweise das empfangene Signal für eine Ausgabe an die Anzeige 22 oder
alternativ eine zusätzliche
I/O-Einrichtung 28 weiter verarbeitet. Ein Benutzer der
Vorrichtung 10 kann unter Verwendung der Tastatur 32 in Verbindung
mit der Anzeige 22 und möglicherweise einer zusätzlichen
I/O-Einrichtung 28 auch Datenelemente, wie beispielsweise
e-Mail-Nachrichten, verfassen. Solche verfassten Elemente können dann über das
Kommunikationsuntersystem 11 über ein Kommunikationsnetzwerk übertragen
werden.
-
Der
serielle Anschluss 30 in 1 wäre normalerweise
in einer Kommunikationsvorrichtung vom Typ eines persönlichen
digitalen Assistenten (PDA) implementiert, für welche eine Synchronisation
mit dem Tischrechner (nicht gezeigt) eines Benutzers wünschenswert
sein kann, aber eine optionale Vorrichtungskomponente ist. Ein solcher
Anschluss 30 würde
es einem Benutzer ermöglichen, über eine
externe Einrichtung oder Software-Anwendung Präferenzen festzusetzen, und
würde die
Fähigkeiten
der Vorrichtung 10 erweitern, indem für Informations- und Software-Downloads
auf die Vorrichtung 10 anders als über das Netzwerk 50 gesorgt
würde.
-
Ein
kurzreichweitiges Kommunikationsuntersystem 40 ist eine
weitere Komponente, die für
eine Kommunikation zwischen der Vorrichtung 10 und verschiedenen
Systemen oder Einrichtungen sorgen kann, die nicht notwendigerweise ähnliche
Einrichtungen zu sein brauchen. Beispielsweise kann das Untersystem 40 eine
Infraroteinrichtung und zugehörige
Schaltungen und Komponenten oder ein BluetoothTM-Kommunikationsmodul
umfassen, um für eine
Kommunikation mit ähnlich
befähigten
Systemen und Einrichtungen zu sorgen. Die Vorrichtung 10 kann
eine tragbare Vorrichtung sein.
-
Das
drahtlose Netzwerk 50 ist in einer Beispielausführungsform
ein drahtloses Paketdaten-Netzwerk (z.B. MobitexTM oder
DataTACTM), das eine Funkabdeckung für mobile
Vorrichtungen 10 bereitstellt, obwohl es irgendwelche andere
Arten von drahtlosen Netzwerken sein könnte.
-
Unter
Bezugsnahme auf 2 bis 4 sind in
einer Beispielausführungsform
die Komponenten und Untersysteme der mobilen Vorrichtung 10 in
einem harten Hauptkörpergehäuse 70 aus Kunststoff
untergebracht, das so konfiguriert ist, um mit einer oder zwei Händen gehalten
zu werden, während
die Vorrichtung 10 in Gebrauch ist. Das Gehäuse 70 kann
einen Haken (nicht gezeigt) umfassen, so dass es am Gürtel oder
dem oberen Teil der Hose eines Benutzers befestigt werden kann,
oder es kann in Verbindung mit einem weichen Gehäuse (nicht gezeigt) verwendet
werden, das am Gürtel oder
dem oberen Teil der Hose angebracht werden kann und in das die mobile
Vorrichtung 10 zum Tragen eingefügt werden kann. Die mobile
Vorrichtung 10 ist typischerweise klein genug, um in eine
Standard-Handtasche oder eine Anzugjackentasche zu passen. Der Bildschirm 22 ist
von der Vorderseite der Vorrichtung 10 aus sichtbar, wie
auch das Tastenfeld oder die Tastatur 32. Die Tastatur 32 umfasst
Knöpfe oder
Tasten 90, 92, die so angeordnet sind, dass sie mit
den Daumen oder Fingern des Benutzers betätigt werden. In der dargestellten
Ausführungsform
von 2 weist die Tastatur 32 relativ wenige
Tasten auf, in einigen Ausführungsformen
jedoch umfasst die Tastatur 32 26 oder mehr alphanumerische
und Steuerungstasten. Wie in 4 zu sehen,
umfasst das Gehäuse 70 eine
im Wesentlichen ebene Rückwand 72,
durch die hindurch eine Öffnung 74 bereitgestellt ist.
Eine Linse 76 deckt die Öffnung 74 ab, hinter
der sich Kamera 44 und Hintergrundbeleuchtung 46 befinden.
-
Wie
in 5 zu sehen, sind in einer Beispielausführungsform
die Kamera 44 und Hintergrundbeleuchtung 46 an
der Rückseite
einer gedruckten Leiterplatte 94 befestigt, die im Hauptkörpergehäuse 70 angebracht
ist. In einer Beispielausführungsform
hält die
gedruckte Leiterplatte 94 auch wenigstens einige der weiteren
elektronischen Hardware-Komponenten der Vorrichtung 10.
Die Kamera 44 umfasst einen optischen Sensor 78,
der der Linse 76 gegenüberliegt,
zum Empfangen von dort hindurch reflektiertem Licht 100.
Die Hintergrundbeleuchtung 46 ist so angeordnet, dass sie
Licht 98 durch die Linse 76 auf eine Bezugsfläche 96 scheinen
lässt,
von der es zurück
zum optischen Sensor 78 reflektiert wird. Obwohl es in
den Zeichnungen nicht dargestellt ist, können, wie für Fachleute auf dem Gebiet
offensichtlich ist, die Kamera 44, Linse 76 und
Hintergrundbeleuchtung 46 durch eine Vielfalt weiterer
Mittel an den Hauptkörper 70 angepasst sein,
ohne den Umfang der Erfindung zu schmälern. In einer ersten Ausführungsform
ist die Kamera am Hauptkörper
befestigt. In einer zweiten Ausführungsform
können
die Kamera 44, Linse 76 und Hintergrundbeleuchtung 46 in
einem sekundären
Gehäuse (nicht
gezeigt) untergebracht sein, das schwenkbar am Körper 70 der Vorrichtung 10 angebracht
ist. In noch einer weiteren Ausführungsform
kann das sekundäre
Gehäuse
abnehmbar am Körper 70 der
Vorrichtung 10 angebracht sein.
-
Nun
unter Bezugnahme auf 1 und 2 implementieren
wenigstens einige der spezialisierten Software-Anwendungen 58,
die auf die Vorrichtung 10 geladen sind, zusammen mit dem
Betriebssystem 54, graphische Benutzerschnittstellen, die
Text 82 und/oder Graphiken 80 auf dem Bildschirm 22,
zusammen mit einem Zeiger 84 oder einem Bildschirm-Indikator
anzeigen, den ein Benutzer selektiv auf dem Bildschirm 22 anordnen
kann, um unter angezeigten auswählbarem
Text und/oder graphischen Bildern zu navigieren, die Daten oder
Befehle repräsentieren.
Gemäß Ausführungsformen
der vorliegenden Erfindung arbeitet die Kamera 44, in verschiedenen
Modi, unter anderem als Benutzereingabeeinrichtung zum Steuern der
Bewegung des Bildschirm-Zeigers 84,
als Kamera zum Aufnehmen unbewegter Foto- oder Videobilder und als
Scanner. Die Vorrichtung 10 umfasst als eine der spezialisierten
Software-Anwendungen eine optische Schnittstellenmaschine 60 zum
Verarbeiten von Signalen, die durch den Mikroprozessor 38 von
der Kamera 44 her auf die unten beschriebene Weise empfangen werden.
Die gesamte oder Teile der optischen Schnittstellenmaschine 60 könnten in
verschiedenen Ausführungsformen
in das Betriebssystem 54 und/oder weitere spezialisierte
Anwendungen 58 integriert sein. In einigen Ausführungsformen
könnten einige
der Funktionen der optischen Schnittstellenmaschine in geeignet
konfigurierter Hardware implementiert sein, die sich im Hauptkörper 70 oder
im selben Gehäuse
wie die Kamera 44 befinden kann.
-
6 stellt
verschiedene Module der optischen Schnittstellenmaschine 60 gemäß Beispielausführungsformen
der Erfindung dar, die Betriebsmodi der Kamera 44 zugeordnet
sind, wenn sie aktiv ist. Insbesondere sind ein Navigationsmodul 112,
Digitalkameramodul 114 und Scannermodul 116 einem
optischen Navigationsmodus, einem Digitalkameramodus bzw. einem
Scannermodus zugeordnet. In verschiedenen Ausführungsformen kann die Kamera 44 so
konfiguriert sein, dass sie weniger oder mehr als drei Betriebsmodi
aufweist. In einem optischen Navigationsmodus werden die empfangenen Bilder
von der Kamera 44 dazu verwendet, eine Bildschirm-Navigation
zu steuern, wie unten ausführlicher
erläutert
wird.
-
Im
Digitalkameramodus wirkt die Kamera 44 als herkömmliche
Digitalkamera, die unbewegte Farb-Fotobilder oder digitale Videobilder
aufnimmt, die unter anderem als Bilddateien in einem Speicher der
Vorrichtung 10 gespeichert, auf dem Bildschirm 22 angesehen
und als Bilddateien über
das Netzwerk 50 an eine Zieladresse gesendet werden können.
-
Im
Scannermodus wird die Kamera 44 verwendet, um Bilder zu
erkennen, die alphanumerische Daten repräsentieren, und die aufgenommenen
Bilder in digitale alphanumerische Daten zu konvertieren. In einer
Ausführungsform
hat der Scannermodus beispielsweise zwei Untermodi, nämlich einen
Strichcode-Scanmodus und einen optischen Zeichenerkennungsmodus.
Im Strichcode-Scanmodus
wird die Kamera 44 verwendet, um Strichcodeinformationen zu
lesen, die dann von der Vorrichtung 10 in einen numerischen
oder alphanumerischen Wert konvertiert werden, der unter anderem
im Speicher der Vorrichtung 10 gespeichert, auf der Anzeige 22 angezeigt
und/oder über
das Netzwerk 50 zu einer Zieladresse gesendet werden kann.
Im optischen Zeichenerkennungsmodus werden erkannte alphanumerische
Zeichen in gescannten Bildern unter anderem im Speicher der Vorrichtung 10 gespeichert,
auf der Anzeige 22 angezeigt und/oder über das Netzwerk 50 zu
einer Zieladresse gesendet. Der optische Zei chenerkennungsmodus
kann verwendet werden, um beispielsweise Kontaktinformationen von
Visitenkarten in ein elektronisches Adressbuch zu scannen.
-
Ein
Modusauswahlmodul 110 implementiert einen Modusauswahlvorgang
zum Auswählen
unter den Kamerabetriebsmodi. In einer Ausführungsform wird dem Benutzer
während
des Modusauswahlvorgangs eine Bildschirmliste der verschiedenen
Modi gezeigt, aus denen der Benutzer unter Verwendung der Tastatur 32 eine
gewünschte
Wahl treffen kann. In weiteren Ausführungsformen ist der Modusauswahlvorgang
so konfiguriert, dass er basierend auf den Bildern, die die Kamera
gegenwärtig
aufnimmt, automatisch zwischen wenigstens zwei Kameramodi wählt. Wenn
beispielsweise die aufgenommenen Bilder angeben, dass sich die Kamera 44 innerhalb
eines Schwellenabstandes von einer Oberfläche 96 befindet, wird
der Navigationsmodus ausgewählt, wenn
sich die Kamera 44 aber weiter weg von der Oberfläche 96 als
der Schwellenabstand befindet, schaltet die Vorrichtung 10 automatisch
in den Digitalkameramodus.
-
In
einer Beispielausführungsform
ist der optische Sensor 78, um seine Verwendung in mehrfachen
Modi zu erleichtern, eine ladungsgekoppelte Schaltung (charge coupled
device) (CCD), die eine relativ hohe Auflösung aufweist und farbempfindlich ist.
Als nicht einschränkendes
Beispiel könnte
der Sensor 78 eine Auflösung
von wenigstens 100.000 Pixeln aufweisen, obwohl in einigen Ausführungsformen
Sensoren mit geringerer Auflösung
verwendet werden. Die Kamera 44 ist fähig, aufeinanderfolgende Rahmen
von Bildern in einer vorbestimmten Aufnahmerate Rahmen pro Sekunde
aufzunehmen.
-
Unter
Bezugnahme auf 5, wird nun der Betrieb der
Kamera 44 im Navigationsmodus gemäß den Ausführungsformen der Erfindung
ausführlicher beschrieben.
In einer Beispielausführungsform
hält der
Benutzer, wenn sich die Vorrichtung 10 im Navigationsmodus
befindet, die Vorrichtung 10 in einer oder beiden Händen, so
dass die Rückseite 72 der Vorrichtung 10 sich
relativ nahe bei einer Oberfläche 96 befindet.
In einer Ausführungsform
kann die Vorrichtung 10 in einer Hand gehalten werden,
wobei die andere Hand als Bezugsfläche 96 verwendet wird. Wenn
die Vorrichtung 10 bewegt wird, ist der Navigationsmodus 112 so
konfiguriert, dass er über
die Kamera 44 die Bewegung der Vorrichtung 10 relativ
zur Oberfläche 96 verfolgt
und basierend auf der verfolgten Bewegung den Bildschirm-Zeiger 84 bewegt.
Unter Bezugnahme auf 2 und der X-Y-Bezugsachse 86 führt beispielsweise
die Bewegung der Vorrichtung 10 relativ zur X-Achse um
eine festgelegte Strecke zu einer Bewegung des Bildschirm-Zeigers 84 in der
gleichen Richtung um eine skalierte Strecke. Ebenso führt eine
Bewegung der Vorrichtung 10 relativ zur Y-Achse um eine
festgesetzte Strecke zu einer Bewegung des Bildschirm-Zeigers 84 in
die gleiche Richtung um eine skalierte Strecke. Wenn der Bildschirm-Zeiger 84 auf
Text oder Graphiken (wie ein Bildsymbol) angeordnet wird, die der
Benutzer auszuwählen
wünscht,
drückt
der Benutzer beispielweise eine Steuerungstaste, wie Taste 90,
um eine Auswahl anzugeben. In einigen Ausführungsformen ist die Bewegung
des Bildschirm-Zeigers in die entgegengesetzte Richtung der tatsächlichen
Bewegung der Vorrichtung 10 – beispielsweise führt die
Bewegung der Vorrichtung 10 in negative X-Richtung zur positiven
X-Richtung des Bildschirm-Zeigers usw.
-
In
einer Beispielausführungsform
wird im Navigationsmodus die Hintergrundbeleuchtung 46 aktiviert,
um eine auftreffende Beleuchtung 98 auf die Oberfläche 96 bereitzustellen,
das zum Kamerasensor 78 reflektiert wird. Die Hintergrundbeleuchtung 46 kann
eine Leuchtdiode (light emitting diode) (LED) oder eine andere Beleuchtungseinrichtung
sein und kann in einem Impulsmodus betrieben werden, um Batterieleistung
zu sparen. In einigen Ausführungsformen
ist das Navigationsmodul 114 so konfiguriert, dass die
Hintergrundbeleuchtung 46 nur gepulst wird, wenn die Kamera 44 unzureichendes
Licht wahrnimmt, um ansonsten richtig zu arbeiten. Wie in 5 zu
sehen, weist die Linse 76 in der dargestellten Ausführungsform
einen ersten gewinkelten Abschnitt 118, der so konfiguriert ist,
dass er Licht 98 von der Hintergrundbeleuchtung 46 im
allgemeinen auf die Oberfläche 96 richtet,
und einen konvexen Abschnitt 120 zum Fokussieren des ankommenden Lichts 100 auf
den Kamerasensor 78 auf. In einer Beispielausführungsform
ist die Linse 76 gleitend in Schienen 89 angebracht,
die auf der Innenseite der Abdeckungsrückseite 72 ausgebildet
sind, so dass der Benutzer auf einen kleinen nach außen vorstehenden
Ansatz 88 Kraft ausüben
kann, um die Linse 76 in das Gehäuse und aus der Sichtlinie
der Hintergrundbeleuchtung 46 des Kamerasensors 78 zu schieben.
Ein Näherungsschalter
oder -sensor 91 (in 4 gestrichelt
angegeben) ist mit dem Mikroprozessor 38 verbunden, um
der optischen Schnittstellenmaschine 60 den Ort der Linse 76 anzugeben.
In einer Beispielausführungsform
befindet sich die Linse 76 in der geschlossenen Position
(wie in 5 gezeigt), wenn sich die Kamera
im Navigationsmodus befindet, um den Fokus der Kamera und die Hintergrundbeleuchtung
auf der nahen Oberfläche 96 zu verbessern.
Im Digitalkameramodus kann die Linse 76 geöffnet (aus
dem Weg geschoben) sein, um der Kamera zu gestatten, auf fernere
Objekte zu fokussieren. In einigen Ausführungsformen kann die Hintergrundbeleuchtung 46 bei
Bedingungen mit geringem Licht auch im Kameramodus verwendet werden. In
einer Ausführungsform
ist das Modusauswahlmodul 110 so konfiguriert, dass es
abhängig
vom Ort der Linse 76, wie er vom Näherungsschalter 91 erfasst wird,
zwischen Navigationsmodus und Kameramodus umschaltet.
-
7 zeigt
eine Blockdiagrammdarstellung eines Navigationsmodus, der vom Navigationsmodul 112 gemäß Beispielausführungsformen
der Erfindung ausgeführt
wird. Während
des Navigationsvorgangs nimmt die Kamera 44 periodisch
Bilder der Oberfläche 96 mit
einer vorbestimmten Aufnahmerate (typischerweise in Rahmen pro Sekunde
gemessen) auf. 7 stellt die Verarbeitung eines
einzelnen Bild-Rahmens dar. Wie in Schritt 202 angegeben,
ist die Vorrichtung 10 so konfiguriert, dass sie ein Bild
aufnimmt, und wie in Schritt 204 angegeben, wird dann das
Bild unter Verwendung von in der Technik bekannten Verfahren gefiltert,
um unter anderem den Kontrast zu vergrö ßern und die Helligkeit anzupassen.
Im Navigationsmodus ist die Farb-Fähigkeit und die volle Auflösung der
Kamera 44 nicht erforderlich, somit wird, um den beschränkten Verarbeitungsressourcen
entgegenzukommen, die mobile Vorrichtungen typischerweise aufweisen,
bei einer Beispielausführungsform
das gefilterte Bild in ein Schwarz-Weiß-Bild mit scharfem Kontrast
oder ein Graustufenbild konvertiert, und dann in der Auflösung verringert,
indem in verschiedenen Ausführungsformen
Pixel zu Clustern kombiniert und/oder ausgewählte Pixel verworfen werden,
wie in Schritt 206 angegeben. Als nicht einschränkende Beispiele wird
in verschiedenen Ausführungsformen
die Auflösung
des Bildes auf ein Bild mit relativ geringer Auflösung, wie
32 × 32
Pixel oder 16 × 16
Pixel, vermindert, obwohl andere Auflösungen ebenfalls verwendet
werden können.
Eine solche Konvertierung vereinfacht die Verarbeitung der Bilder.
-
Wie
in Schritt 208 angegeben, wird das konvertierte Bild dann
in einem Navigationsbildpuffer gespeichert, so dass es mit vorhergehenden
und nachfolgenden Bildern verglichen werden kann. Wie in Schritt 210 angegeben,
wird das gespeicherte konvertierte Bild mit einem oder mehreren
vorhergehenden gespeicherten konvertierten Bildern verglichen, um
die relative Strecke, um die sich die Vorrichtung 10 seit
dem vorhergehenden Bild bewegt hat, und die Richtung der Relativbewegung
zu ermitteln. Diese Informationen werden dann in eine Relativbewegung entlang
X- und Y-Koordinaten (dX und dY) übersetzt, wie in Schritt 212 angegeben.
-
Als
nicht einschränkendes
Beispiel kann ein modifizierter Reichardt-Algorithmus verwendet
werden, um die konvertierten Bilder mit geringer Auflösung zu
verarbeiten, um dX und dY zu ermitteln. Bei diesem Algorithmus wird
die Bewegung durch Lokalisieren der die Null überquerenden Ränder von
Bildern und Ermitteln ihres Auftretens und Wiederauftretens in sequenziellen
Bildern erfasst. Gemeinsame Merkmale zwischen zwei sequenziellen
Bildern werden identifiziert, um den Abstand zwischen ihnen zu ermitteln.
Diese Informationen werden dann in X- und Y-Koordinaten übersetzt.
Die Bewegungsgeschwindigkeit wird basierend auf der Bildaufnahmerate
(die ein bekannter Wert ist) und der berechneten Strecke, um die
sich zwischen Bildern bewegt wurde, ebenfalls berechnet.
-
Wie
in Schritt 214 angegeben, wird der Bildschirm-Zeiger 84 basierend
auf dX und dY bewegt. In einer Ausführungsform entspricht die Richtung,
in der der Bildschirm-Zeiger 84 bewegt
wird, der berechneten Bewegungsrichtung der Vorrichtung 10.
In einer weiteren Ausführungsform
wird der Bildschirm-Zeiger 84 in die entgegengesetzte Richtung
der Bewegung der Vorrichtung 10 bewegt. Die Richtung, in
der der Bildschirm-Zeiger 84 bewegt wird, ist ein skalierter
Wert von dX und dY, wobei der Skalierungsfaktor von der Bewegungsstrecke
und -geschwindigkeit abhängt.
Die Schritte 202 bis 214 werden ständig wiederholt,
während
sich die Vorrichtung 10 im Navigationsmodus befindet. Wenn
sich der Zeiger 84 in der gewünschten Position befindet,
verwendet der Benutzer eine oder mehrere vorbestimmte Tasten 92 und 90 für Auswahl-
und Steuerungsfunktionen. In verschiedenen Ausführungsformen werden einige der
Schritte von 7 weggelassen oder in einer
anderen als der gezeigten Reihenfolge ausgeführt.
-
Somit
wird eingesehen, dass die vorliegende Erfindung gestattet, eine
vorrichtungseigene Kamera 44 als Bildschirm-Navigationseinrichtung
zu verwenden. In verschiedenen Ausführungsformen befindet sich
die Kamera 44 an anderen Orten als an der Rückseite
der Vorrichtung 10 und weist die Vorrichtung 10 andere
Konfigurationen als die oben beschriebene Beispielausführungsform
auf. Beispielsweise kann die Kamera 44 von der Tastatur 32 nach außen zeigend
angeordnet sein, so dass ein Benutzer durch Bewegen der Handfläche seiner
Hand oder seines Daumens über
den Tastaturbereich navigieren kann. Als nicht einschränkendes
Beispiel zeigt 8 eine Vorderansicht einer tragbaren
Vorrichtung 100 gemäß einer
weiteren Ausführungsform
der Erfindung. Die tragbare Vorrichtung 100 ist ähnlich der Vorrichtung 10,
jedoch umfasst die Tastatur 32 der tragbaren Vorrichtung 100 eine
mit dem Daumen betätigte
QWERTY-Tastatur, neben der die Kamera 44 angeordnet ist,
und umfasst der Hauptkörper
oder das Gehäuse 102 der
tragbaren Vorrichtung 100 einen ersten Gehäuseabschnitt 104 und
einen zweiten Gehäuseabschnitt 106,
die schwenkbar aneinander angebracht sind. Der zweite Gehäuseabschnitt 106 nimmt
die Anzeige 22 auf und der erste Gehäuseabschnitt 104 nimmt
die Tastatur auf, die für
ein Tippen mit dem Daumen konfiguriert ist. Bei der tragbaren Vorrichtung 100 sind
die Linse 76 für
die Kamera 44 und die Hintergrundbeleuchtung 46 durch
die Öffnung 76 an
der Vorderseite des ersten Gehäuseabschnitts 104 bereitgestellt.
Die Kamera 44 zeigt in die gleiche Richtung wie die Tastatur 32 zum
Erfassen der Relativbewegung der Hand oder des Daumens eines Benutzers über der
Tastaturfläche
der tragbaren Vorrichtung 100.
-
In
einigen Ausführungsformen
ist die Kamera schwenkbar auf dem Gehäuse der tragbaren Vorrichtung
angebracht, so dass sie vom Benutzer für Navigationszwecke gedreht
werden kann, um in eine gewünschte
Richtung zu zeigen. Als Beispiel sind in 8 eine schwenkbar
angebrachte Kamera 44 und eine Hintergrundbeleuchtungseinheit 108 in
gestrichelten Linien gezeigt. Die Kamera 44 und die Hintergrundbeleuchtungseinheit 108 können vom
Gehäuse 102 abnehmbar
sein.
-
In
einigen Ausführungsformen,
in denen Kamera- und Scannermodi nicht erforderlich sind, kann an
Stelle der Kamera 44 ein optischer Sensor mit geringer
Auflösung
verwendet werden. In einigen Ausführungsformen kann die Linse 76 abnehmbar
sein, so dass die durch eine Linse ersetzt werden kann, die speziell
für den
Modus angepasst ist, in dem die Vorrichtung arbeitet – beispielsweise
könnte
für den
Navigationsmodus eine andere Linse verwendet werden als für den Kameramodus.
-
Die
oben beschriebenen Ausführungsformen der
vorliegenden Erfindung sollen nur Beispiele sein. Änderungen,
Modifikationen und Variationen können an
den besonderen Ausführungsformen
von Fachleuten auf dem Gebiet vorgenommen werden, ohne den Umfang
der Erfindung zu verlassen, der durch die hier beigefügten Ansprüche definiert
ist.