DE10124834A1 - Stift zur Informationseingabe - Google Patents

Stift zur Informationseingabe

Info

Publication number
DE10124834A1
DE10124834A1 DE10124834A DE10124834A DE10124834A1 DE 10124834 A1 DE10124834 A1 DE 10124834A1 DE 10124834 A DE10124834 A DE 10124834A DE 10124834 A DE10124834 A DE 10124834A DE 10124834 A1 DE10124834 A1 DE 10124834A1
Authority
DE
Germany
Prior art keywords
pen
position detection
detection unit
defined part
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE10124834A
Other languages
English (en)
Other versions
DE10124834C2 (de
Inventor
Eberhard Wahl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holo Light At GmbH
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE2001124834 priority Critical patent/DE10124834C2/de
Publication of DE10124834A1 publication Critical patent/DE10124834A1/de
Application granted granted Critical
Publication of DE10124834C2 publication Critical patent/DE10124834C2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Informationseingabe in eine Auswerteeinheit mit einem von Hand im Raum oder auf einer Unterlage führbaren Stift, dessen Bewegungen von einer getrennten Positionserfassungseinheit optisch ermittelt und an eine Auswerteeinheit übergeben werden. DOLLAR A Das Verfahren erlaubt, virtuell handgeschriebene Informationen in ein Datenverarbeitungsgerät einzugeben, sowie die Funktionen eines typischen Mauszeigers wahrzunehmen. DOLLAR A Der Unterlagen unabhängige Stift ermöglicht eine ergonomische Dateneingabe unter Verwendung bereits erlernter Schreib- und Zeichentechniken in Echtzeit und ohne Begrenzung auf eine mechanisch limitierte Schreibfläche, sowie zu geringen Herstellkosten des verlierbaren Stiftes.

Description

Die Erfindung betrifft ein auf einem Stift basiertes Eingabesystem für eine Mensch- Maschine Schnittstelle, die es erlaubt, virtuell handgeschriebene Informationen in ein Datenverarbeitungsgerät einzugeben, sowie die Funktionen eines typischen Mauszeigers wahrzunehmen.
Stift im Sinne dieser Abhandlung ist ein länglicher zur Durchführung von Schreibbewegungen in die Hand nehmbarer Gegenstand mit beliebiger Form, der sowohl markierend, als auch nicht-markierend ausgestaltet sein kann. Schreiben im Sinne dieser Abhandlung bezeichnet die Handbewegung zur Erzeugung einer Spur der Stiftspitze, die sowohl Buchstaben, als auch Zeichen oder Graphiken, bis hin zu kleineren Zeichnungen bilden kann.
Es sind verschiedene Eingabesysteme bekannt. Darunter sind auch bereits einige Systeme gebräuchlich, die handgeschriebene Informationen verarbeiten. Es handelt sich hierbei um folgende Verfahren, die jeweils die Schriftzeichenerkennung durch Softwareauswerteverfahren realisieren:
  • a) Konventionelle Erstellung des Schriftstückes (z. B. Tinte auf Papier) mit anschließendem optischen Abtasten (scannen) und Weiterverarbeitung des digitalen Bildes.
  • b) Schreiben auf einem touch-screen Bildschirm.
  • c) Schreiben auf einer sensitiven Fläche (reagiert z. B. auf Druck des Stiftes).
  • d) Schreiben mit einem Light-Pen (funktioniert in Verbindung mit Braunschen Röhren).
Zudem gibt es bereits verschiedenste Eingabesysteme die Bewegungen der Hand im 3D-Raum auswerten. Sie sind im Bereich der Virtual Reality und der Augmented Reality breit im Einsatz. Erwähnenswert ist insbesondere die Eingabe mittels eines sogenannten data-gloves, der die Bewegungen der Hand erfasst oder mittels am Finger montierten LEDs. Beide Verfahren erlauben die Verwendung von virtuellen Tastaturen in Verbindung mit kopfbefestigten Visualisierungssystemen (HMD = head mounted display).
Relevante Patente
Das Patent US 6064766 beschreibt ein tastaturloses Eingabesystem, bei dem mittels eines Stiftes und eines kontaktsensitiven Displays handgeschriebene Information in einen Rechner eingegeben werden kann. Zur Unterstützung des Benutzers erlaubt diese Eingabeform zudem die Darstellung der Schriftspur direkt bei der Stiftspitze. Die eingegebenen Handschriftzeichen werden anschließend vom Rechner interpretiert und können als Zeichencode weiterverarbeitet werden. Durch die Verwendung der natürlichen Schreibbewegung und der korrekten Darstellung des erwarteten Ergebnisses - der Schriftspur, stellt dies ein durchaus ergonomisches Eingabesystem dar.
Das Patent US 6084577 beschreibt einen elektronischen Stift, der eine dreidimensionale Beschleunigungsensorik besitzt, welche es erlaubt alle Bewegungen des Stiftes zu erfassen. Mittels eines integrierten Gyroskopes, sowie einer Recheneinheit, können diese Bewegungsdaten zur Berechnung der realisierten Spur der Stiftspitze verwendet werden. Dadurch ist es möglich die virtuelle Schriftspur ohne weitere Hilfsmittel in elektronischer Form verfügbar zu machen. Dieses System ist jedoch teuer, womit der Verlust eines solchen Stiftes problematisch ist.
Das Patent US 5781661 beschreibt ein Verfahren und eine Stiftzusatzeinheit, die an einem normalen Stift befestigt, ermöglicht die handgeschrieben Information der Schriftspur zu erfassen und auszuwerten. Dabei enthält die Stiftzusatzeinheit Beschleunigungssensoren zur Aufnahme der Bewegung. Die Zusatzeinheit behindert die normale Verwendung des Stiftes nahezu nicht.
Das Patent JP 10240491 A beschreibt die Verwendung eines Stiftes, eines berührungsempfindlichen Tabletts und eines kopfbefestigten Visualisierungssystemen (HMD) zur Realisierung eines Systems, bei dem die Stiftkontaktierung auf dem Tablett zu einer Anzeigeänderung auf dem HMD führen. Der Stift und das Tablett stellen hierbei das Eingabesystem dar, während das HMD (evtl. Gemeinsam mit einem Displaytablett) als Ausgabesystem dient.
Das Patent JP 0029621 beschreibt ein HMD ergänzendes tastatur- und stiftloses Eingabesystem, das durch die Bewegungserfassung der Finger, eine Dateneingabe ermöglicht. Das HMD projiziert dabei eine virtuelle Tastatur in den Raum, auf dem der Benutzer analog wie auf einer realen Tastatur Zeicheneingaben unter Ausnutzung der Kenntnis der Fingerpositionen durchführen kann. Die Benutzung des Systems bedarf allerdings einer gewissen Rüstzeit. Zudem ist es schwer realisierbar derartige anziehbare Systeme für jeden Menschen passend zu gestalten.
Das Patent JP 00276300 beschreibt ein optisches Positionserfassungssystem eines passiven Stiftes auf einer definierten Fläche (touch panel) mittels zweier optischer Scanner. Durch Auswertung der Abschattung der einzelner Winkelbereiche jedes Scanners aufgrund der Lichtunterbrechung durch den Stift, kann die Position des Stiftes auf dieser Fläche detektiert werden. Dies bedingt allerdings eine Umrahmung der Detektionsfläche mit einem retroreflektiven Material.
Die Patente JP 04062624 und JP 00020230 beschreiben eine optische Maus. Dabei wird die Positionsänderung der Maus durch eine optische Auswertung der sich unter der Maus relativ zu dieser bewegenden Unterlage detektiert. Die Bedienung der Maus erfolgt in der üblichen Art und Weise.
Die Position einer oder mehrer LEDs im Raum kann durch unterschiedlichste Verfahren und Aufbauten detektiert werden. Das Patent JP 06168065 beschreibt eine mögliche Art hierzu.
Keines der bekannten Systeme erlaubt die Echtzeiteingabe in ein mitgeführtes Datenverarbeitungsgerät basierend auf einer für den Menschen üblichen ergonomischen Schreibweise oder Zeichentechnik an beliebigen Orten ohne spezielle Schreibunterlage, sowie ohne aufwendige Elektronik im Stift und ohne elektronischen Datentransfer (teuer, störanfällig, hoher Energieverbrauch) zwischen Stift und Datenverarbeitungsgerät. Das Mitführen einer Schreibunterlage ist mühselig und stellt eine zusätzliche Beschränkung (unflexibler Einsatz, stark eingeschränkter Schreibbereich, großer Platzbedarf) dar.
Der nächstliegende Stand der Technik ist durch US 6084577 wiedergegeben.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zur Eingabe von Informationen anzugeben, dass auf der natürlichen Schreibbewegung beruht und ohne besondere Schreibunterlage durchführbar ist, sowie auf Grund der Verlierwahrscheinlichkeit des Stiftes dessen Herstellkosten minimal hält.
Dargelegt ist die Idee eines Unterlagen unabhängigen Stiftes [2], der beim Schreiben keine reale Spur auf einem Hintergrund hinterlassen muss. Statt dessen wird die Spur des vorderen Stiftendes [1] durch kontinuierliche optische Erfassung ihrer Position als digitales Bild erzeugt. Die das digitale Bild enthaltende Datei [6] kann nun wiederum mittels der bekannten Verfahren der Schriftzeichenerkennung in einer Auswerteeinheit [7] weiterverarbeitet [24] werden.
Die Ermittlung des vorderen Stiftendes [1] durch optische Verfahren kann entweder
  • - mittels einer Bildauswertung der ständig mitlaufenden Videoaufnahme, oder
  • - durch Verwendung mindestens einer mit einer definierten Wellenlänge leuchtenden LED innerhalb des Stiftes und Erfassung deren xy-Position
realisiert werden.
Beide Verfahren erlauben die Echtzeiteingabe von virtuell geschriebener Information in einen Rechner. Ein Problem bei der dynamischen Positionserfassung der Stiftspitze [1] ist die notwendige Verfügbarkeit einer ortsfixen Stiftpositionserfassungseinheit [4], welche ständig freie Sicht auf den optisch zu erfassenden Teil des Stiftes hat. Eine regelmäßig freie Sicht besteht:
  • 1. zwischen dem vorderen Teil des Stiftes [1] und den Augen des Benutzers. Zur Schließung des Regelkreises "Schreiben und Zeichnen" stellt die ständige Beobachtung der Stiftspitze eine bevorzugte Benutzungsform dar.
  • 2. üblicherweise von mindestens einer Seite der Stiftunterlage knapp über der Höhe der Unterlage auf das vordere Stiftende [1]. Bei einem Rechtshänder sind dies die linke und obere Seite, bei einem Linkshänder meist nur die rechte Seite, sowie bedingt die dem Bauch des Benutzers zugewandte Seite.
Damit ist die Lage der Positionserfassungseinheit(en) vorgegeben. Es kommen in Betracht:
  • 1. Befestigung der Positionserfassungseinheit(en) in der Nähe der Augen.
  • 2. Auf Höhe der Unterlage seitlich variabel positionierbare Positionserfassungseinheiten(en).
Zur Umsetzung des ersten Falles (nahe an den Augen) kann die Positionserfassungseinheit idealerweise äquivalent zu einem HMD am Kopf befestigt werden. Neben dem Problem des zusätzlichen Gewichtes verhindert die mit dem Kopf gekoppelte Bewegung (keine ortsfixe Einheit) allerdings eine korrekte Erfassung. Stattdessen wird der Bewegung der Stiftspitze die Bewegung der Erfassungseinheit überlagert. Dieses Problem kann auf dreierlei Arten gelöst werden:
  • - die Eigenbewegung der Erfassungseinheit wird mittels Beschleunigungssensoren gemessen und in einem zusätzlichen Schritt der Datenverarbeitung herausgerechnet.
  • - Die Position mindestens eines zusätzlichen ortsfixen Punktes wird mitgemessen und die relative Bewegung zwischen der Stiftspitze und dem ortsfixen Punkt errechnet.
  • - Zwei weit genug auseinander liegende Punkte des Stiftes werden positionsmäßig erfasst. Denkbar ist z. B. die relative Bewegung der Stiftspitze zum Stiftende zu messen.
Die dritte Lösung basiert auf dem typischen menschlichen Verhalten beim Schreiben und Zeichnen. Während eine horizontale Bewegung [18] durchgeführt wird, erfolgt meist eine Drehung um den Auflagepunkt des Handballens [21]. Bei einer Rechtsbewegung der Stiftspitze bewegt sich demzufolge das Stiftende leicht nach links (in ungünstigen Fällen ist auch eine geringere Bewegung richtungsparallel zur Stiftspitze möglich). Während einer vertikalen Bewegung der Stiftspitze [19] wirkt die Handfläche zwischen Daumen und Zeigefinger [22] als Drehschiebegelenk. Dadurch wandert das Stiftende ebenfalls nur deutlich weniger in dieselbe Richtung, oder aber es wechselt die Richtung. Die Relativbewegung zwischen der Stiftspitze und dem Stiftende liefert also typischerweise eine richtungskorrekte Orientierung der Spitzenbewegung. Die Größe der Relativbewegung ist abhängig vom jeweiligen Individuum, sowie von der jeweiligen Startposition. Durch ein entsprechendes Expertensystem, sowie eine einmalige Kalibrierung auf den Benutzer, lassen sich aus der Messung der Relativbewegung die geschriebenen Zeichen dechiffrieren. Eine alternative Auswerteform besteht darin, die Eigenbewegung der Erfassungseinheit mit der Gleichbewegungskomponente von Stiftende und Stiftspitze gleichzusetzen und sie dadurch herauszurechnen.
Zur Umsetzung des zweiten Falles (seitlich variabel positionierbar) können die Positionserfassungseinheit(en) in ein tragbares Gerät integriert werden, wobei dieses Gerät eine bereits funktionsfähige elektronische Einheit bilden kann. Bei seitlicher Betrachtung ist die korrekte Erfassung des Abstandes von den Positionserfassungseinheiten zur korrekten Ermittlung der Stiftspur unbedingt notwendig. Dieser Wert geht direkt in die auszuwertenden Bewegungsrichtungen in Zeilenrichtung [18], sowie orthogonal dazu [19] ein. Zur genaueren Ermittlung dieses Wertes ist die Verwendung mehrerer Positionserfassungseinheiten vorteilhaft.
Sinnvoll ist es die Positionserfassungseinheit(en) in das Rechengerät zu integrieren, für das die Informationseingabe ohnehin vorgesehen ist. Dies könnte im ersten Fall ein in das HMD integrierte Rechner sein und im zweiten Fall ein tragbares Funktelefon oder ein PDA. In beiden Fällen ist es vorteilhaft die Positionserfassungseinheit(en) als Kamera(s) auszubilden. Damit ist neben der Positionserfassung des Stiftes auch die Bilderzeugung in 2D (mindestens eine Kamera) oder sogar 3D (mindestens zwei Kameras) möglich.
Zur zusätzlichen Nutzung des Stiftes als Zeigeeingabegerät (Maus) sollten die damit verbundenen Funktionen wie Auswahl (z. B. durch Maustastenklick links), Bearbeitung (z. B. durch Maustastenklick rechts) sowie Ziehen (drag & drop mittels Halten der Maustaste) realisierbar sein. Dies bedarf einer zusätzlichen binären Information. Die Schnittstelle zum Menschen kann mittels Tasten oder druckempfindlicher Flächen an der Stiftaußenfläche, oder mittels einer drucksensitiven Stiftspitze (Benutzer drückt Stift auf den Untergrund) realisiert werden. Wird die Positionserfassung durch mindestens ein Leuchtelement realisiert, dann kann die Übertragung dieser zusätzlichen Informationseingabe durch Modulation dieses Lichts durchgeführt werden.
Die Lichtmodulation oder das Zu-/Abschalten mindestens einer LED kann auch zur Identifikation des Zeitfensters der Informationseingabe [23] genutzt werden. Dadurch wird eine unnötige und eventuell störende, ständige Auswertung der Stiftposition unterdrückt.
Eine sinnvolle Ergänzung des Unterlagen unabhängigen Stiftes ist die gleichzeitige Anzeige der erkannten Stiftspur [27]. Unter Verwendung eines HMD kann die Stiftspur [27] zudem auch dort angezeigt werden, wo der Benutzer sie virtuell erstellt hat. Dadurch empfindet der Benutzer ein typisches Schreibgefühl mit direkter Rückkopplung bei Fehlern. Da eine in das HMD integrierte Positionserfassung [28] die Position der Stiftspitze relativ zum HMD selbst misst, ist bei Verwendung eines HMD im Durchsichtmodus (see-through HMD) eine korrekte, driftfreie Anzeige realisierbar. Dieser Option ist bei einem System, dass die Bewegung des Stiftes nicht relativ zur Displayeinheit misst nur schwer umsetzbar.
Der Unterlagen unabhängige Stift ermöglicht eine ergonomische Dateneingabe unter Verwendung bereits erlernter Schreib- und Zeichentechniken in Echtzeit und ohne Begrenzung auf eine mechanisch limitierte Schreibfläche, sowie zu geringen Herstellkosten des verlierbaren Stiftes.
Ein Einsatz im Bereich der tragbaren Rechner, wie z. B. bei Organizern, Palmtops, hand-held-Rechnern, PDAs oder tragbaren Telefonterminals erscheint sinnvoll. Dadurch lassen sich leicht Kurztexte, wie sie dort üblicherweise anfallen (Termine, Adressen, SMS-Nachrichten, o. ä.) durch ein minimal raumbeanspruchendes System eingeben.
Ein denkbares zukünftiges System könnte in die Gesamtheit eines anziehbaren Kommunikations- und/oder Rechnersystems (analog z. B. den bereits erhältlichen wearable computer, wearable Internet appliance) integriert werden. Die Positionserfassungseinheit könnte demzufolge in die HMD eingebaut sein und sogar mit einer ohnehin vorhandenen Bildaufnahmeeinheit konvergieren. Dem Stift kann in dem Gesamtsystem ein Ablageplatz reserviert werden, an dem seine eventuellen Energiespeicher zudem zeitgleich mit dem Rest des Systems automatisch aufgeladen werden. Im Idealfall ersetzt der Stift damit die für diese Systeme vorgesehene Spracheingabe vollständig.
In den Bildern 8 + 5 ist ein Beispiel einer konkreten Ausgestaltung dargestellt. Nähere Details sind aus Bild 3 und 4 zu entnehmen. Am äußersten Ende der Spitze rollt der Stift mittels einer Kugel [9] über eine Schreibunterlage. Hinter der Kugelhalterung [10] befindet sich ein transparenter Ring (11) durch den Licht aus der LED [13] über Reflexionsflächen [17] der Kugelhalterung [10] von der Stiftspitze weg ausgestrahlt [16] wird. Am hinteren Ende des Stiftes ist eine zweite LED [20] angebracht. An der Stelle des Stiftes, an dem üblicherweise der Zeigefinger aufliegt, ist eine Taste [14] angebracht, die bei erhöhtem Gegendruck des Zeigefingers, der beim Schreiben auf einer Unterlage entsteht, auf Verbindung schaltet. Dieses Signal wird in einer Elektronikeinheit erfaßt und führt zum Einschalten des hinteren Lichtsignals. Im Schreibmodus wird dadurch die Erkennung der Eingabesequenzen ermöglicht, um die Schreibauswertung im Ruhezustand des Stiftes zu unterdrücken.
Das alleinige Leuchten der vorderen LED wird zur Steuerung eines Mauszeigers im Display eines HMD verwendet. Die vordere LED wird durch kurzfristige Betätigung der bereits erwähnten Taste [14] moduliert. Eine weitere Taste führt zu zusätzlichen Modulationsänderungen dieses Lichtsignals. Die Modulationen werden in der Positionserfassungseinheit (allgemein [4], die konkrete Ausgestaltung ist hier nicht dargestellt) ausgewertet und generieren die Steuersignale für die üblichen Programmsteuerungen Auswahl, Bearbeiten, sowie drag & drop. Die Positionserfassungseinheit, die lediglich aus einer Sammellinse und einem CCD Element besteht, ist in das HMD [28] eingebaut und kann auch als Kamera verwendet werden. Das HMD wird im Durchsichtmodus betrieben. Die Spur [27] des nicht markierenden Stiftes wird im HMD angezeigt und mit der Realität überlagert. Der Benutzer erhält damit die gewohnte Rückkopplung beim Schreiben/Zeichnen.
Im hinteren Teil des Stiftes sind Speicherzellen untergebracht. Wenn der Stift in eine dafür vorgesehene Lagerstelle im HMD gesteckt wird, schaltet sich auch die vordere LED [13] ab. Während des Ladevorgangs der Speicherzellen des HMDs werden auch die Speicherzellen des dort gelagerten Stiftes wieder aufgeladen. Die Auswertung des von der Stiftspitze zurückgelegten Strecke erfolgt in einer Auswerteeinheit, die in das HMD integriert ist. Der im HMD integrierte Rechner arbeitet mit Standardbetriebssystemen für PDAs (z. B. Palm OS oder Windows CE) und nützt das HMD als Ausgabeinheit und den Stift als Eingabeeinheit. Er kann zudem optional mit einem Funknetzendgerät (UMTS oder vergleichbar) kommunizieren.
Bild 7 zeigt ein alternatives Beispiel einer vorteilhaften Ausgestaltung. Der Stift [2] ist dabei nur mit einer LED am vorderen Ende [1] versehen. Zwei Kameras sind seitlich oben und unten in einem tragbaren Funktelefon (Handy) untergebracht, die als Positionserfassungseinheiten [4] dienen. Je nach persönlicher Präferenz kann das Handy [27] an eine beliebige Seite gelegt werden. Eine intelligente Auswerteeinheit erkennt die Ausrichtung der Schrift in einem zusätzlichen Auswerteschritt. Die Rückseite des Handys [27] ist rutschfest ausgebildet. Dadurch kann es als ortsfest angesehen werden und auf eine Erfassung der Eigenbewegung verzichtet werden. Der Stift kann zur Eingabe von Texten zur Erstellung von Datenbankeinträgen, Kalendereinträgen, Faxen, e-mails oder SMS verwendet werden. Die erstellten Texte werden während der Erstellung auf dem Display des Handys angezeigt. Dabei wird die Anzeige der Zeichen der Schreibrichtung der Stifteingabe angepaßt: Steht das Handy auf dem Kopf, dann werden die Zeichen trotzdem aus Betrachtersicht korrekt angezeigt.
Bezugszeichenliste
1
vorderer Teil des Stiftes
2
Stift
3
Abbildungsoptik
4
Positionserfassungseinheit (Kamera)
5
CCD-Element
6
Datei mit Bild der zurückgelegten Strecke der Stiftspitze
7
Dateiauswerfeeinheit
8
zugeordnetes Zeichen
9
frei drehbare Kugel in der Stiftspitze
10
Kugelhalterung
11
transparenter Ring (Lichtaustrittsfläche)
12
LED Halterung
13
LED
14
Taste
15
Elektronikeinheit
16
austretende Lichtstrahlen
17
Reflexionsflächen
18
Bewegung der Stiftspitze in Zeilenrichtung
19
Bewegung der Stiftspitze orthogonal zur Zeile
20
zweite LED an Stiftende
21
typische Auflage des Handballens auf dem Papier
22
Stiftauflage auf der Handfläche zwischen Daumen und Zeigefinger
23
"Zeicheneingabe aktiviert" - Abfrage
24
Stiftspur-Auswertung
25
Datei mit Code des zugeordneten Zeichens
26
tragbares Funktelefon (Handy)
27
Stiftspur (Schrift)
28
HMD mit Positionserfassungseinheit (Kamera)

Claims (32)

1. Verfahren zur Informationseingabe in eine Auswerteeinheit (Bild 6) mit einem von Hand im Raum oder auf einer Unterlage führbaren Stift, gekennzeichnet durch die Schritte:
  • - auf Grund einer Bewegung des Stiftes sich ändernde Koordinaten eines definierten Teils der Oberfläche des Stiftes werden von einer von der Bewegung des Stiftes und von der Unterlage örtlich unabhängigen Positionserfassungseinheit mit einem optischen Sensor berührungslos erfasst,
  • - die Koordinaten werden in der vom Stift getrennten Positionserfassungseinheit an eine Auswerteeinheit weitergegeben
  • - die Stiftbenutzung erfolgt identisch zu einem konventionellen Stift, bei Ausnützung der üblichen Schreibbewegung.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Stiftbenutzung auf einer beliebigen Unterlage erfolgt, wobei ein unterschrittener Abstand zur Unterlage oder deren Berührung durch den Stift zur automatischen Detektion des Eingabezeitfensters verwendet wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Koordinaten in der Auswerteeinheit zur Identifikation der Informationen ausgewertet werden, wobei als Ergebnis jedem Buchstaben oder Zeichen [8] ein Code zugeordnet wird, der in einer Datei [25] abgelegt werden kann.
4. Verfahren nach einem der Ansprüche 1, 4 bis 34, dadurch gekennzeichnet, dass zusätzlich weitere sich ändernde Koordinaten mindestens eines vom bereits definierten Teil der Oberfläche verschiedenen, zusätzlich definierten Teils der Oberfläche von der Positionserfassungseinheit erfasst werden und durch Vergleich in der Auswerteeinheit der sich ändernden Koordinaten und der weiteren sich ändernden Koordinaten mindestens ein Vektor einer relativen Bewegung zwischen dem ersten definierten Teil der Oberfläche und mindestens einem weiteren definierten Teil der Oberfläche ermittelt wird.
5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass gleichzeitig mittels in der Positionserfassungseinheit angebrachter Beschleunigungssensoren ein Vektor einer relativen Bewegung zwischen dem definierten Teil und der Positionserfassungseinheit ermittelt wird.
6. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass gleichzeitig ein ortsfester leuchtender Referenzpunkt erfasst wird und eine Vektor einer relativen Bewegung zwischen dem definierten Teil und dem Referenzpunkt ermittelt wird.
7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass ein Einfluss einer Eigenbewegung der Positionserfassungseinheit mit Hilfe des ermittelten Vektors kompensiert wird.
8. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass an dem definierten Teil der Oberfläche und/oder an mindestens einem zusätzlich definierten Teil der Oberfläche ein Lichtsignal ausgesendet wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass durch Modulation des Lichtsignals oder eines weiteren auf dem Stift angebrachten Lichtsignals eine Zustandsinformation übertragen wird.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass durch Modulation des Lichtsignals oder der Lichtsignale eine Identifikation der Lichtquelle(n) ermöglicht wird.
11. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass durch das Emissionsspektrum des Lichtsignals eine Identifikation der Lichtquelle ermöglicht wird.
12. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die ermittelte Stiftspur (Menge der erfassten Koordinaten) real oder virtuell an den momentanen Ort des Stiftes projiziert werden, so dass die Bewegungen des Stiftes für den Benutzer sichtbar werden.
13. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Entfernung zwischen dem Stift und der Positionserfassungseinheit durch Auswertung einer Schärfenänderung der Abbildung auf dem optischen Sensor ermittelt wird.
14. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die sich ändernden Koordinaten zusätzlich von einer zu der Positionserfassungseinheit räumlich getrennten weiteren Positionserfassungseinheit erfasst werden und eine Entfernung zwischen dem Stift und der Positionserfassungseinheit oder der weiteren Positionserfassungseinheit durch Triangulation der erfassten Koordinaten ermittelt wird.
15. Verfahren nach einem der Ansprüche 2 bis 14, dadurch gekennzeichnet, dass mit Hilfe des optischen Sensors der Abstand des definierten Teils der Oberfläche von der Unterlage ermittelt wird und die Dauer, in der ein bestimmter Abstand unterschritten wird zur Abgrenzung zusammengehöriger Einheiten der eingegebenen Informationen verwendet wird.
16. Stift zur Durchführung des Verfahrens nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der definierte Teil der Oberfläche eine von der restlichen Oberfläche optisch verschiedene Eigenschaft aufweist.
17. Stift nach Anspruch 16, dadurch gekennzeichnet, dass der definierte Teil der Oberfläche eine andere Farbe und/oder ein anderes Muster als die restliche Oberfläche aufweist.
18. Stift zur Durchführung des Verfahrens nach einem der Ansprüche 8, bis 15, dadurch gekennzeichnet, dass zur Aussendung des Lichtsignals ein elektrisches Leuchtelement in einem zylindrischen Abschnitt parallel zur Zylinderachse angeordnet ist und dass symmetrisch zur Zylinderlängsachse Mittel zur Reflektion des vom Leuchtelement ausgesendeten Lichtsignals vorgesehen sind.
19. Stift nach Anspruch 18, dadurch gekennzeichnet, dass die Mittel zur Reflektion so ausgeführt sind, dass das Licht ringförmig an der Oberfläche des zylindrischen Abschnitts austritt.
20. Stift nach einem der Ansprüche 16 oder 18 bis 19, dadurch gekennzeichnet, dass sich der definierte Teil der Oberfläche so am vorderen Ende des Stiftes befindet, dass er aus Sicht des Betrachters möglichst nahe auf einer Linie zwischen dessen Augen und dem Berührungspunkt Stift-Unterlage liegt.
21. Stift nach einem der Ansprüche 16 oder 18 bis 20, dadurch gekennzeichnet, dass bei Berührung des vorderen Stiftendes mit einem Untergrund automatisch ein Leuchtsignal ausgelöst oder moduliert wird.
22. Stift nach einem der Ansprüche 16 oder 18 bis 21, dadurch gekennzeichnet, dass der Stift mit einer oder mehreren Tasten ausgestattet ist, die die Modulation des ausgesendeten Lichtes verändern.
23. Stift nach Anspruch 17, dadurch gekennzeichnet, dass die Erfassung des definierten Teils der Oberfläche mittels einer Bildaufnahmeeinheit und einer nachfolgenden Bildauswertung (Photogrammetrie) in Echtzeit erfolgt.
24. Stift nach einem der Ansprüche 16 bis 23, dadurch gekennzeichnet, dass das vordere Stiftende so ausgeprägt ist, dass es eine minimale Flächenpressung auf den Untergrund ausübt. Dies schließt insbesondere breite, stumpfe und weiche vordere Enden mit ein.
25. Vorrichtung zur Eingabe von Informationen mittels des Verfahrens nach einem Ansprüche 1 bis 15, bestehend aus
einem Stift, der mindestens einen definierten Teil seiner Oberfläche einschließt, der im Verhältnis zur übrigen Oberfläche eine optisch verschiedene Eigenschaft aufweist, und
mindestens einer einen optischen Sensor aufweisenden Positionserfassungseinheit, die keinen Kontakt zum Stift besitzt, zur fortlaufenden Erfassung der Positionen mindestens eines definierten Teils der Oberfläche und
einer Auswerteeinheit, die an die Positionserfassungseinheit angeschlossen ist, zur Identifikation der Informationen aus den erfassten Positionen.
26. Vorrichtung nach Anspruch 25, dadurch gekennzeichnet, dass die Auswerteeinheit eine mobile Telekommunikationseinrichtung einschließt, die über eine Luftschnittstelle mit einer Rechenanlage verbunden ist.
27. Vorrichtung nach Anspruch 25, dadurch gekennzeichnet, dass die Positionserfassungseinheit am Kopf des Benutzers befestigt ist.
28. Vorrichtung nach Anspruch 27, dadurch gekennzeichnet, dass die Positionserfassungseinheit, die Auswerteeinheit und ein Bildprojektionssystem eine Einheit bilden.
29. Vorrichtung nach einem der Ansprüche 25 bis 28, dadurch gekennzeichnet, dass die Auswerteeinheit eine Schrifterkennung enthält, mit der aus den erfassten Positionen Buchstaben und definierte Zeichen erkennbar sind.
30. Vorrichtung nach einem der Ansprüche 27 bis 29, dadurch gekennzeichnet, dass das am Kopf befestigte Bildprojektionssystem direkt im Auge des Betrachters ein der Realität überlagertes Bild produziert, so dass die Spur des Stiftes so auf dem Display (überlagert zur Realität) dargestellt werden kann, dass auch bei Verwendung eines nicht markierenden Stiftes der Eindruck einer wirklichkeitsgetreuen Stiftspur entsteht.
31. Vorrichtung nach einem der Ansprüche 25 bis 27, dadurch gekennzeichnet, dass die Spur des Stiftes in einem unter dem vorderen Stiftende als Unterlage dienenden Display (z. B. elektronisches Papier) in Echtzeit dargestellt wird.
32. Vorrichtung nach einem der Ansprüche 25 bis 31, dadurch gekennzeichnet, dass der Stift dabei auch als Zeigeinstrument (Positionssteuerung eines Softwarepfeiles/Cursors) verwendet werden kann.
DE2001124834 2001-05-22 2001-05-22 Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens Expired - Lifetime DE10124834C2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE2001124834 DE10124834C2 (de) 2001-05-22 2001-05-22 Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2001124834 DE10124834C2 (de) 2001-05-22 2001-05-22 Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens

Publications (2)

Publication Number Publication Date
DE10124834A1 true DE10124834A1 (de) 2002-12-05
DE10124834C2 DE10124834C2 (de) 2003-08-21

Family

ID=7685658

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2001124834 Expired - Lifetime DE10124834C2 (de) 2001-05-22 2001-05-22 Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens

Country Status (1)

Country Link
DE (1) DE10124834C2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10349673A1 (de) * 2003-10-24 2005-05-25 Bayerische Motoren Werke Ag Vorrichtung und Verfahren zur Dateneingabe in einem Kraftfahrzeug
DE102005020142A1 (de) * 2005-04-29 2006-11-02 Siemens Ag Verfahren zum Eingeben von Schriftzeichen

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474120B1 (de) 2017-10-18 2024-03-20 AR Technology GmbH Eingabevorrichtung für computer
EP3650988A1 (de) 2018-11-09 2020-05-13 iXperienz GmbH & Co. KG Eingabevorrichtung und verfahren zur eingabe von informationen sowie verfahren zur erzeugung eines virtuellen zeigers

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
DE4336677C1 (de) * 1993-10-27 1995-03-30 Siemens Ag Anordnung zur Bestimmung einer räumlichen Position und zur Eingabe von Steuerinformationen in ein System mit graphischer Benutzeroberfläche
JPH07200130A (ja) * 1993-12-29 1995-08-04 Wacom Co Ltd 光学式ディジタイザおよびその表示装置
EP0679984A1 (de) * 1994-04-22 1995-11-02 Canon Kabushiki Kaisha Anzeigegerät
EP0716389A1 (de) * 1994-12-09 1996-06-12 International Business Machines Corporation Stiftförmiges Gerät zur Erfassung von räumlichen Daten und Verfahren und zur Bestimmung der Position und Orientierung eines Gegenstandes im Raum
US5945981A (en) * 1993-11-17 1999-08-31 Microsoft Corporation Wireless input device, for use with a computer, employing a movable light-emitting element and a stationary light-receiving element
JP2000029621A (ja) * 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
EP1041507A2 (de) * 1999-03-31 2000-10-04 Hitachi Software Engineering Co., Ltd. Koordinateneingabestift und elektronische Schreibtafel, Koordinateneingabesystem und elektronisches Schreibtafelsysstem, die diese Koordinateneingabestift gebrauchen
WO2001011554A1 (en) * 1999-08-06 2001-02-15 Hitachi Software Engineering Co., Ltd. Electronic board system and coordinates-inputting pen

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
DE4336677C1 (de) * 1993-10-27 1995-03-30 Siemens Ag Anordnung zur Bestimmung einer räumlichen Position und zur Eingabe von Steuerinformationen in ein System mit graphischer Benutzeroberfläche
US5945981A (en) * 1993-11-17 1999-08-31 Microsoft Corporation Wireless input device, for use with a computer, employing a movable light-emitting element and a stationary light-receiving element
JPH07200130A (ja) * 1993-12-29 1995-08-04 Wacom Co Ltd 光学式ディジタイザおよびその表示装置
EP0679984A1 (de) * 1994-04-22 1995-11-02 Canon Kabushiki Kaisha Anzeigegerät
EP0716389A1 (de) * 1994-12-09 1996-06-12 International Business Machines Corporation Stiftförmiges Gerät zur Erfassung von räumlichen Daten und Verfahren und zur Bestimmung der Position und Orientierung eines Gegenstandes im Raum
JP2000029621A (ja) * 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
EP1041507A2 (de) * 1999-03-31 2000-10-04 Hitachi Software Engineering Co., Ltd. Koordinateneingabestift und elektronische Schreibtafel, Koordinateneingabesystem und elektronisches Schreibtafelsysstem, die diese Koordinateneingabestift gebrauchen
WO2001011554A1 (en) * 1999-08-06 2001-02-15 Hitachi Software Engineering Co., Ltd. Electronic board system and coordinates-inputting pen

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10349673A1 (de) * 2003-10-24 2005-05-25 Bayerische Motoren Werke Ag Vorrichtung und Verfahren zur Dateneingabe in einem Kraftfahrzeug
DE10349673B4 (de) 2003-10-24 2024-06-13 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Dateneingabe in einem Kraftfahrzeug
DE102005020142A1 (de) * 2005-04-29 2006-11-02 Siemens Ag Verfahren zum Eingeben von Schriftzeichen

Also Published As

Publication number Publication date
DE10124834C2 (de) 2003-08-21

Similar Documents

Publication Publication Date Title
DE10221415B4 (de) Optische Druckknopfbildschirm-Zeigevorrichtung
CN1175344C (zh) 笔式计算机指示设备
DE69530395T2 (de) Interaktives projektiertes videobildanzeigesystem
US10203765B2 (en) Interactive input system and method
DE102009032637B4 (de) Bildvergrößerungssystem für eine Computerschnittstelle
DE112012006199T5 (de) Virtuelle Hand basierend auf kombinierten Daten
DE20221921U1 (de) Tragbare elektronische Vorrichtung mit mausähnlichen Fähigkeiten
DE19810452B4 (de) Optischer Digitalisierer
DE102009023875A1 (de) Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche
EP0622722B1 (de) Interaktives Kopiersystem
RU2536667C2 (ru) Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации, и лист, обеспечивающий ввод информации
DE60307077T2 (de) Berührungs-pad und verfahren zum betreiben des berührungs-pads
DE69629658T2 (de) Lichtstifteingabesysteme
WO2015173271A2 (de) Verfahren zur darstellung einer virtuellen interaktion auf zumindest einem bildschirm und eingabevorrichtung, system und verfahren für eine virtuelle anwendung mittels einer recheneinheit
CN101189570B (zh) 图像显示设备
DE102018116244A1 (de) Verformbares elektrisches Gerät und Verfahren und Systeme zum Steuern der verformten Benutzerschnittstelle
EP2325727A2 (de) Zeichen-, Schreib- und Zeigevorrichtung zur Mensch-Maschine Interaktion
KR20110038121A (ko) 펜 추적을 포함하는 멀티-터치 터치스크린
DE102009043800A1 (de) Optische Fingernavigation unter Verwendung von quantisierter Bewegungsinformation
KR20110038120A (ko) 펜 추적을 포함하는 멀티-터치 터치스크린
KR20020079847A (ko) 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
CN113672099A (zh) 一种电子设备及其交互方法
US20230057020A1 (en) Meeting interaction system
DE102021113770A1 (de) Verfahren und Systeme zur Bereitstellung von Statusanzeigen bei einem elektronischen Gerät
DE102004044999A1 (de) Eingabesteuerung für Geräte

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8304 Grant after examination procedure
8364 No opposition during term of opposition
R081 Change of applicant/patentee

Owner name: HOLO-LIGHT GMBH, AT

Free format text: FORMER OWNER: WAHL, EBERHARD, 73266 BISSINGEN, DE

R071 Expiry of right