DE112004002016T5 - In der Hand gehaltenes Gerät zur Navigation durch Daten und zur Datenanzeige - Google Patents

In der Hand gehaltenes Gerät zur Navigation durch Daten und zur Datenanzeige Download PDF

Info

Publication number
DE112004002016T5
DE112004002016T5 DE112004002016T DE112004002016T DE112004002016T5 DE 112004002016 T5 DE112004002016 T5 DE 112004002016T5 DE 112004002016 T DE112004002016 T DE 112004002016T DE 112004002016 T DE112004002016 T DE 112004002016T DE 112004002016 T5 DE112004002016 T5 DE 112004002016T5
Authority
DE
Germany
Prior art keywords
data
projection
projection surface
projected
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE112004002016T
Other languages
English (en)
Inventor
Georg Michelitsch
Stefan Dr. Rapp
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RAPP, STEFAN, DR., 78559 GOSHEIM, DE
Original Assignee
Conante Advanced Interface Solutions GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conante Advanced Interface Solutions GmbH filed Critical Conante Advanced Interface Solutions GmbH
Publication of DE112004002016T5 publication Critical patent/DE112004002016T5/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)

Abstract

In der Hand gehaltenes Gerät (1) zum Navigieren durch und zum Anzeigen von Daten, wobei das Gerät ein Projektionsmittel (10) zum Projizieren eines ausgewählten Bereichs einer größeren Datenmenge (3) auf eine Projektionsfläche (2), und ein Datennavigationsmittel, das in Reaktion auf die Orientierung und/oder Position und/oder Bewegung die durch das Projektionsmittel (10) anzuzeigenden Daten auswählt.

Description

  • Die vorliegende Erfindung betrifft ein Gerät, das dazu verwendet wird, durch Daten zu navigieren und Daten anzuzeigen.
  • Die allgemeine Aufgabe des Navigierens in großen Informationsräumen oder Datenmengen wurde für verschiedene Anwendungsszenarien und Hardwarekonfigurationen behandelt. Eine gemeinsame Eigenschaft beinahe aller bekannten Ansätze ist die Vorstellung, ein festes Anzeigemittel und zu diesem Zweck bestimmte Eingabevorrichtungen zu haben, zum Beispiel eine Maus, einen Stift etc., die der Benutzer betätigt, um das Sichtfeld auf den Informationsraum oder die Datenmenge zu wechseln. Nach der Auswahl eines neuen Sichtfelds wird der Informationsraum entsprechend auf dem Bildschirm wiedergegeben.
  • Das meistverwendete System zum Navigieren durch Datenmengen ist ein Computerbildschirm oder -monitor kombiniert mit einer Maus als Eingabevorrichtung. Durch Bewegen der Maus in verschiedene Richtungen kann der Benutzer das verfügbare Sichtfeld über die Datenmenge herumschwenken – die zum Beispiel als Landkarte dargestellt ist – bis der Bereich lokalisiert ist, für den sich der Benutzer interessiert. Mit jeder Mausbewegung wird das Sichtfeld innerhalb der Datenmenge gewechselt und die auf dem Anzeigefeld oder Monitor dargestellten Daten entsprechend aktualisiert. Diese Schwenkoperation ist die Basisoperation für das Navigieren in Datenmengen. Oft können zusätzliche Navigationskommandos eingegeben werden, um zum Beispiel in den interessierenden ausgewählten Bereich hineinzuzoomen oder die Visualisierung der angezeigten Daten zu ändern.
  • Die oben genannten klassischen Eingabevorrichtungen leiden manchmal unter dem Nachteil, dass eine Betätigung oder Manipulation der Eingabevorrichtung nicht intuitiv mit der Navigationsoperation in Verbindung gebracht werden kann, die mit dieser Operation initiiert oder ausgelöst wird. Oft muß ein Benutzer zuerst mehrere spezifische Navigationsprozeduren erlernen, um die Visualisierung der Daten wie gewünscht zu ändern.
  • Es ist deshalb eine Aufgabe der vorliegenden Erfindung, ein neues Verfahren und ein System bereitzustellen, das es erlaubt, auf eine effektive und angenehme Weise durch Daten zu navigieren und Daten anzuzeigen.
  • Gemäß der vorliegenden Erfindung wird ein Gerät zum Navigieren durch Daten und zum Anzeigen von Daten bereitgestellt, welches Projektionsmittel zum Projizieren eines ausgewählten Teilbereichs einer größeren Datenmenge auf eine Projektionsfläche und
    Datennavigationsmittel, die in Reaktion auf die Orientierung, Position und/oder Bewegung des Geräts die Daten auswählen, die durch die Projektionsmittel anzuzeigen sind, umfasst.
  • Die vorliegende Erfindung beruht auf einer neuartigen Idee, bei der die Anzeigevorrichtung und die Interaktionsvorrichtung dasselbe sind. Gemäß der vorliegenden Erfindung wird der anzuzeigende Inhalt auf eine beliebige Oberfläche projiziert durch ein in der Hand gehaltenes Gerät, das – gleichzeitig – auch als Eingabevorrichtung fungiert. Als ein Resultat stimmt die Schwenkbewegung, die ausgelöst wird durch die natürliche Handgeste, mit der das Projektionsgerät in die interessierende Richtung gedreht wird, überein mit der natürlichen Geste, den Kopf zu drehen, um das Sichtfeld zu wechseln. Auf diese Weise kann das Gerät gemäß der vorliegenden Erfindung intuitiv dazu verwendet werden, durch eine große Datenmenge zu schwenken und den interessierenden Bereich oder die interessierenden Bereiche sichtbar zu machen.
  • Wie oben angeführt kann eine bestimmte Datenteilmenge, die auf der Projektionsfläche angezeigt werden muss, durch Änderung der Orientierung oder Position des Geräts ausgewählt werden. Um die aktuelle Orientierung/Position oder Veränderungen in der Orientierung/Position zu erfühlen, kann das Datennavigationsmittel einen Beschleunigungsmesser und/oder ein Gyroskop und/oder einen Magnetfeldsensor umfassen.
  • Eine andere Möglichkeit, Orientierungs- oder Positionsänderungen des Geräts zu erkennen, besteht darin, eine Kamera zu verwenden, die wiederholt Bilder nahe des Projektionsbereichs aufnimmt und eine Bewegung des Geräts an einer Veränderung in den von der Kamera aufgenommenen Bildern erkennt. Diese bildbasierte Bewegungsvektorerkennung erfordert, dass das Gerät fähig ist, zwischen dem auf die Projektionsfläche projizierten Bild und dem physikalischen Hintergrund zu unterscheiden. Um dies zu erreichen, werden vorzugsweise Bilder aufgenommen, die mindestens einen die auf die Projektionsfläche projizierten Daten umgebenden Bereich abdecken, und nur der Anteil der Bilder, der nicht von den projizierten Daten beeinflußt ist, wird analysiert, um eine Änderung der Position und/oder Orientierung des Geräts zu erkennen. Alternativ kann das Gerät ein Bild neben, über oder unter dem projizierten Bild aufnehmen, wo keine Beeinflussung zwischen Projektion und Hintergrund zu erwarten ist.
  • Gemäß der vorliegenden Erfindung wird eine Bewegung des Projektionsgeräts umgesetzt in einen Wechsel des Sichtfelds auf die darzustellenden Daten. Da das Gerät üblicherweise in der Hand eines Benutzers gehalten wird, muß berücksichtigt werden, dass die Hand des Benutzers immer leicht zittert, was folglich zu kleinen Variationen der Position und/oder Orientierung des Geräts führt. Da diese kleinen Variationen unabhängig sind vom Wunsch des Benutzers, einen bestimmten Teilbereich der Datenmenge anzuzeigen, werden diese Variationen – gemäß einer ersten Alternative – nicht aufgefasst als eine Absicht, das Sichtfeld zu wechseln, sondern werden stattdessen kompensiert. In dieser ersten Lösung wird das projizierte Bild in entgegengesetzter Richtung zur unbeabsichtigten Handbewegung verschoben, um auf der Projektionsfläche ein stabiles Bild zu erhalten. Wenn jedoch einmal ein festgelegter Grenzwert an Bewegung überschritten wird, wird der Bewegungsvektor, der von der Handgeste erfasst wurde, dazu verwendet, das Sichtfeld in dieselbe Richtung zu bewegen wie die Bewegung des Geräts anzeigt.
  • Die oben genannte Lösung zur Kompensation kleiner Variationen in der Position des Geräts erlaubt, ein sehr stabiles Bild auf der Projektionsfläche zu erzeugen. Andererseits muß der Kompensationsmechanismus extrem schnell reagieren, um die gewünschte Funktion zu erfüllen.
  • Deshalb wird eine zweite Alternative bereitgestellt, bei der alle Bewegungen des Geräts aufgefasst werden als eine Absicht, das zugehörige Sichtfeld der anzuzeigenden Daten zu wechseln. Es wird keine Kompensationsbemühung unternommen, um das projizierte Bild zu stabilisieren. Als ein Er gebnis wird sich der Randbereich der angezeigten Daten ständig verändern, auch wenn der Benutzer das Sichtfeld fixiert zu halten beabsichtigt. Weil die beständige Veränderung des auf der Projektionsfläche angezeigten Randbereichs Leute wohl stören würde, die die dargestellten Daten betrachten, wird dieser "Zittereffekt" abgemildert, indem ein Filter über einem schmalen Teil des Randbereichs angewendet wird, der das projizierte Bild in diesem Randbereich "sanft auslaufend" wiedergibt (fade-out). Bei dieser Lösung werden, obwohl sich das Sichtfeld der Daten beständig ändert, diese Veränderungen nur schwerlich von Personen bemerkt, die die Projektionsfläche betrachten.
  • Wie oben angeführt, besteht die Hauptfunktion des vorliegenden Geräts darin, eine Bewegung des Geräts umzusetzen in einen Wechsel des Sichtfelds der darzustellenden Daten. Zusätzlich zu dieser Grundfunktion kann die Distanz zwischen dem Gerät und der Projektionsfläche dazu verwendet werden, die Größe des Sichtfelds einzustellen. Bewegen des Geräts näher zur Anzeigeoberfläche hin erlaubt dem Benutzer, in den Datenraum hineinzuzoomen, Wegbewegen von der Oberfläche hat den entgegengesetzten Effekt. Gleichwohl ändert sich die tatsächliche Größe der projizierten Darstellung – innerhalb bestimmter Grenzen der Fokussierungsfähigkeiten des Projektionsmittels – als Resultat dieser Bewegung nicht. Wenn jedoch einmal die Grenze der Fähigkeit erreicht ist, die Daten auf einer Projektionsfläche scharf anzuzeigen beziehungsweise zu fokussieren, kehrt das Gerät zum Standardverhalten von Projektionsgeräten zurück, was bedeutet, dass der Darstellungsbereich schrumpft, wenn sich das Gerät der Anzeigefläche nähert, und sich ausdehnt, wenn das Gerät davon weg bewegt wird.
  • In einer weiteren Entwicklung des der vorliegenden Erfindung gemäßen Geräts könnte die Bewegung des Geräts auch da zu verwendet werden, optische Information zu erzeugen, die auf der Projektionsfläche angezeigt wird. In einem besonderen Schreibmodus werden die Handbewegungen des Benutzers, der das Gerät hält, durch das Datennavigationsmittel aufgezeichnet und als Vorlagen verwendet, um die Gesten des Benutzers nachzuvollziehen. Die sich ergebenden Striche werden dann auf die Projektionsfläche gemalt, was es dem Benutzer erlaubt, Mitteilungen handschriftlich auf die Projektionsfläche zu schreiben. Gemäß einer bevorzugten Ausführungsform bleibt der Hintergrund aus den vom Gerät auf die Projektionsfläche projizierten Daten unverändert, während der Benutzer das Gerät dazu verwendet, Mitteilungen auf die Projektionsfläche zu schreiben.
  • Die vorliegende Erfindung bietet so eine völlig neue Lösung für das Navigieren durch Datenmengen und das Anzeigen zumindest eines Teils dieser Daten. Darüber hinaus folgen die Navigationskommandos der Bewegung der Hand des Benutzers, was eine sehr angenehme und intuitive Manipulation und Betätigung des Geräts erlaubt.
  • Die vorliegende Erfindung betrifft außerdem ein Verfahren zum Navigieren durch Daten und zum Anzeigen von Daten, in der ein ausgewählter Anteil einer größeren Datenmenge durch Verwenden einer Projektionsvorrichtung auf eine Projektionsfläche projiziert wird und in dem die auf die Projektionsfläche zu projizierenden Daten in Reaktion auf die Orientierung, Position und/oder Bewegung des Geräts ausgewählt werden.
  • Im folgenden wird die vorliegende Erfindung genauer erläutert anhand einer bevorzugten Ausführungsform, die in den beiliegenden Zeichnungen gezeigt wird, in denen:
  • 1 eine Ausführungsform eines erfindungsgemäßen Geräts zum Navigieren durch Daten und Anzeigen von Daten darstellt;
  • 2 eine schematische Ansicht der der vorliegenden Erfindung zugrunde liegenden Idee ist;
  • 3 ein Blockdiagramm ist, das die Bestandteile einer bevorzugten Ausführungsform eines erfindungsgemäßen Geräts darstellt;
  • 4 eine weitere schematische Ansicht ist, die eine zusätzliche Interaktionsmöglichkeit zum Zoomen in die angezeigten Daten darstellt;
  • 5 eine erste Alternative darstellt, worin kleine Bewegungen des Geräts kompensiert werden, um ein stabilisiertes Bild zu erhalten;
  • 6 eine zweite Alternative zur Reduktion des Effekts unbeabsichtigter Bewegungen des Geräts darstellt,
  • 7 schematisch die Visualisierung von Daten im Fall der zweiten Alternative darstellt; und
  • 8 das Gerät im Schreibmodus darstellt.
  • 1 und 2 stellen die Hauptidee dar, die der vorliegenden Erfindung zugrunde liegt. Das Projektionsgerät 1, das dazu verwendet wird, durch Daten zu navigieren und Daten anzeigen, ist daraufhin angelegt, in einer Hand des Benutzers gehalten zu werden. Es hat die Form einer kleinen Taschenlampe oder eines Laserpointers, die – wie in 1 dargestellt – als ein Schlüsselanhänger verwendet werden könnten.
  • Der Hauptbestandteil des Projektionsgeräts 1 ist eine Projektionseinheit, die dazu verwendet wird, Daten auf eine Projektionsfläche 2 zu projizieren. Die Projektionsfläche 2 könnte jegliche Oberfläche sein, die dazu geeignet ist, optische Information darauf zu projizieren, zum Beispiel eine Wand eines Zimmers oder ein Wandschirm.
  • Die Idee des der vorliegenden Erfindung gemäßen Projektionsgeräts 1 kann mit einem Punktstrahler verglichen werden, der auf eine Wand in einem dunklen Raum gerichtet ist. Wie in 1 und 2 dargestellt, definiert die mit dem Gerät 1 sichtbar zu machende Datenmenge einen großen Informationsraum 3, der beinahe die gesamte Projektionsfläche 2 abdeckt oder sogar größer sein kann als die Projektionsfläche 2. Gleichwohl wird dieser Informationsraum 3 nicht als Ganzes dargestellt. Wenn der Benutzer einen (nicht abgebildeten) Anzeigeknopf auf dem Gerät 1 drückt, wird ein festgelegter Bereich 4 des Informationsraums 3 ausgewählt und auf die Projektionsfläche 2 projiziert, während der verbleibende Teil des Informationsraums 3 und daher der verbleibende Teil der Projektionsfläche dunkel bleiben.
  • Um den ausgewählten Bereich 4 und die sichtbar zu machenden Daten zu wechseln, muss das Projektionsgerät 1 bewegt werden, um den "Lichtpunkt" in eine andere Richtung zu steuern. Wie durch die Pfeile in 2 kenntlich gemacht, kann der Benutzer auf diese Weise über den gesamten Informationsraum 3 schwenken, um das Sichtfeld zu wechseln. Als ein Ergebnis des Drehens des Geräts in eine bestimmte Richtung ändern sich nicht nur die sichtbar gemachten Dateninhalte, sondern es ändert sich auch die Position auf der Projektionsfläche 2, an der diese Daten erscheinen. Als ein Ergebnis stimmt die Schwenkbewegung, die ausgelöst wird durch die natürliche Handbewegung, mit der das Gerät 1 in die interessierende Richtung gedreht wird, überein mit der natürlichen Geste, den Kopf zu drehen, um das Sichtfeld zu wechseln.
  • Aus den obigen Erläuterungen folgt, dass eine wesentliche Eigenschaft des der vorliegenden Erfindung gemäßen Geräts darin besteht, dass das Gerät fähig ist, eine Veränderung in der Orientierung und/oder Position zu erkennen, um diese Veränderungen in einen Wechsel des Sichtfelds umzusetzen. Zwei Möglichkeiten, diese Bewegungserkennung zu realisieren, werden nachher anhand des Blockdiagramms von 3 erläutert.
  • In einer ersten Alternative der vorliegenden Erfindung beinhaltet das Gerät 1 eine Bewegungserkennungseinheit 15, die ein Gyroskop 16 und einen Beschleunigungsmesser 17 umfasst. Das Gyroskop 16 und der Beschleunigungsmesser 17 sind zusammengenommen in der Lage, jede Bewegung zu erfühlen, der das Gerät 1 unterliegt. Anstelle eines Gyroskops kann auch ein Magnetfeldsensor in Verbindung mit dem Beschleunigungsmesser 17 verwendet werden. Allgemein kann, um die Neigung des Geräts 1 zu messen, ein Beschleunigungsmesser verwendet werden, der die statische Erdschwerkraft misst neben den dynamischen Kräften, die durch Bewegungen induziert werden. Hinsichtlich einer Projektion auf eine Wand ist es mit Zwei-Wege-Beschleunigungsmessern so möglich, die Auf-Ab-Bewegung und die Rotationsrichtung des Geräts 1 zu messen. Wenn auch der Boden oder die Decke für eine Projektion verwendet werden sollen oder wenn eine 90°-Drehung des Geräts 1 erkannt werden soll, ist eine dritte Rotationsachse orthogonal zu den anderen beiden notwendig. Da Links-Rechts-Bewegungen von Beschleunigungsmessern nicht adäquat gemessen werden, muss zusätzlich ein Gyroskop (für dynamische Änderungen) oder ein Magnetfeldsensor (der das statische Erdmagnetfeld misst) eingesetzt werden.
  • Eine zweite Alternative verwendet, um eine Bewegung des Geräts 1 zu erfühlen, einen bildbasierten Mechanismus zur Extraktion von Bewegungsvektoren. In dieser Lösung umfasst das Gerät 1 ein Kameramodul 18, das eine Kamera enthält, die wiederholt Bilder des Bereichs der Projektionsfläche aufnimmt, auf den das Gerät 1 gerichtet ist. Durch Analysieren der Bilder, insbesondere durch Analysieren der Unterschiede zwischen zwei aufeinanderfolgenden Bildern, ist das Kameramodul 18 wiederum in der Lage, eine Änderung in der Position oder Orientierung des Geräts 1 zu erkennen. Diese zweite Lösung erfordert, dass das Kameramodul 18 fähig ist, zwischen dem projizierten Bild und dem Bild des physikalischen Hintergrunds, d.h., der Projektionsfläche 2, zu unterscheiden. Dies kann erreicht werden durch Anpassung des Kameramoduls 18 derart, dass die Kamera den Teilbereich des Bilds ausschließt, der durch die projizierten Daten "beeinträchtigt" ist, und nur die umgebenden Bereiche liest und analysiert.
  • In beiden Ausführungsalternativen erfühlen die Bewegungserkennungseinheit 15 oder das Kameramodul 18 eine Veränderung in der Position und/oder Orientierung des Geräts 1 und leiten diese Information zu einer Verarbeitungseinheit 11 weiter, welche Verarbeitungseinheit 11 zusammen mit dem Kameramodul 18 oder der Bewegungserkennungseinheit 15 den Kern des obengenannten Datennavigationsmittels bildet. Die Verarbeitungseinheit 11 wählt dann die entsprechenden Daten aus, die an die Projektionseinheit 10 weitergeleitet werden, um diese Daten auf die Projektionsfläche 2 zu projizieren. Die Projektionseinheit 10 könnte eine auf MEMS (Mikro-Elektromechanisches System) basierende Laser-Projektionseinheit sein oder eine andere Projektionsvor richtung, die geeignet ist, die Daten auf eine Oberfläche zu projizieren. Der gesamte Informationsraum, d.h., die größere Datenmenge, aus der die tatsächlich projizierten Daten ausgewählt werden, könnte entweder lokal in einem im Gerät 1 enthaltenen Speicher 12 gespeichert sein. Alternativ könnten diese Daten auch in einem externen Speicher 13 gespeichert sein, wobei die Verarbeitungseinheit 12 die benötigten Daten über eine drahtlose Kommunikationsverbindung herunterlädt, zum Beispiel via Bluetooth.
  • Schließlich umfasst das Gerät 1 ein Abstandsmessmodul 14, das dazu verwendet wird, die Distanz zwischen dem Projektionsgerät und der Projektionsfläche 2 zu messen. Die von diesem Modul 14 gewonnene Information kann dazu benutzt werden, die Darstellung der Daten weiter zu manipulieren wie jetzt anhand von 4 erläutert werden wird.
  • Wie oben angemerkt besteht die Hauptfunktion des der vorliegenden Erfindung gemäßen Projektionsgeräts 1 darin, über eine große Datenmenge zu schwenken, indem verschiedene Positionen auf der Projektionsfläche 2 angesteuert werden, d.h., indem das Gerät 1 gedreht und/oder parallel zur Projektionsfläche 2 bewegt wird. Zusätzlich zu dieser Grundfunktion kann das Gerät 1 auch betätigt werden, um die Größe des Sichtfelds einzustellen. Dies wird erreicht durch Änderung der Distanz zwischen dem Gerät 1 und der Projektionsfläche 2. Bewegen des Geräts 1 näher zur Projektionsfläche 2 hin veranlasst das Gerät, in den Datenraum hineinzuzoomen, Wegbewegen von der Oberfläche 2 erbringt das entgegengesetzte Resultat. Es ist wichtig anzumerken, dass sich die tatsächliche Größe der projizierten Anzeige, d.h., die Größe des von den dargestellten Daten bedeckten Bereichs, als Resultat dieser Bewegung nicht ändert. Diese Zoom-Operation ändert lediglich den Detaillierungsgrad, mit welchem die Daten auf der Projektionsfläche 2 dargestellt werden. Wenn – zum Beispiel – die Daten in Form einer Straßenkarte dargestellt sind, könnte das Einzoomen in das Sichtfeld dazu verwendet werden, Einzelheiten des gewählten interessierenden Bereichs anzuzeigen, etwa, Straßennamen und so weiter zu zeigen.
  • Der maximale Bewegungsumfang, der zum derartigen Zoomen genutzt werden kann, hängt einerseits ab von der Komplexität des Datenraums und andererseits von der Fähigkeit der Projektionseinheit 10, auf der Projektionsfläche 2 zu fokussieren. Sobald eine dieser Grenzen erreicht ist, kehrt das Gerät 1 zu seinem Standardverhalten zurück, was bedeutet, dass der Anzeigebereich schrumpft, wenn sich das Gerät der Projektionsfläche 2 annähert, und sich ausdehnt, wenn das Gerät davon wegbewegt wird. Es ist auch möglich, einen besonderen Knopf auf dem Gehäuse des Geräts 1 vorzusehen, um selektiv den oben beschriebenen Zoom-Modus zu aktivieren und zu deaktivieren.
  • Die Distanz zwischen dem Gerät 1 und der Projektionsfläche 2 wird von der Abstandmesseinheit 14 gemessen. Diese Einheit könnte – zum Beispiel – die Zeitverzögerung des Laserstrahls bestimmen, der für die Bildprojektion verwendet wird und von der Reflektionsfläche 2 zurück reflektiert wird. Andere Möglichkeiten für die Abstandsmessung könnten die Verwendung zusätzlicher auf Infrarot- oder Ultraschall-Technologie beruhender Abstandsmessgeräte einbeziehen.
  • Da das der vorliegenden Erfindung gemäße Gerät 1 dazu vorgesehen ist, in einer Hand eines Benutzers gehalten zu werden, muß berücksichtigt werden, dass sich die Position oder Orientierung des Geräts 1 ständig irgendwie ändert. Diese kleinen Variationen der Handhaltung des Benutzers, die zum Beispiel von Handzittern herrühren können, sind üblicherweise nicht dazu beabsichtigt, eine Änderung in der Positi on des Sichtfelds zu veranlassen. Zwei Arten werden nun erläutert, diese unbeabsichtigten Bewegungen des Geräts 1 in die Idee der vorliegenden Erfindung zu integrieren.
  • Gemäß einer ersten Ausführungsform werden kleine Variationen der Handhaltung des Benutzers nicht aufgefasst als Absicht, das Sichtfeld zu wechseln. In diesem Fall werden die Variationen in der Position und/oder Orientierung des Geräts 1 kompensiert, was bedeutet, dass das projizierte Bild in entgegengesetzter Richtung der unbeabsichtigten Handbewegung verschoben wird, um ein stabiles Bild zu erhalten. Wie in 5 dargestellt, wird die kleine Änderung der Geräteposition, die durch Vektor 20-1 bezeichnet ist, aufgewogen durch Verschieben der Projektionsrichtung um den Vektor 20-2. Als ein Ergebnis verbleibt das angezeigte Bild 4 auf der gleichen Position auf der Projektionsfläche 2.
  • Wenn jedoch einmal ein gewisser Grenzwert überschritten ist, wird der Bewegungsvektor 21, der von dieser Handgeste erfasst wurde, dazu verwendet, das Sichtfeld in dieselbe Richtung zu bewegen wie die Bewegung anzeigt. Als ein Ergebnis ändern sich die Dateninhalte, die auf der Oberfläche 2 dargestellt werden, und der Bereich 4' wird auf der Oberfläche 2 verschoben wie von Vektor 21 angezeigt.
  • Gemäß einer zweiten Ausführungsform werden alle Handbewegungen aufgefasst als Absicht, das zugehörige Sichtfeld zu wechseln. Es wird keine Kompensationsbemühung unternommen, um das projizierte Bild zu stabilisieren. Als ein Ergebnis wird sich der Randbereich des projizierten Bildes ständig verändern, auch wenn der Benutzer das Sichtfeld fixiert zu halten beabsichtigt. Weil dies für den Benutzer und andere Personen, die die angezeigte Information betrachten, zu Beeinträchtigungen führen könnte, wird dieser Effekt eines sich beständig veränderndes Bildes abgemildert, indem ein Filter über einem schmalen Teil des Randbereichs angewendet wird. Wie in 6 und 7 dargestellt, hat der Filter zur Folge, dass das projizierte Bild 4 innerhalb des Randbereichs 4a sanft auslaufend dargestellt wird, was bedeutet, dass die beständige Veränderung des dargestellten Bilds vom Benutzer oder anderen Personen, die die Projektionsfläche 2 betrachten, nicht bemerkt werden kann. Gebräuchliche Techniken, um diesen Fade-out-Effekt zu erreichen, lassen sich in dieser Ausführungsform einsetzen.
  • Bis hierher wurde das der vorliegenden Erfindung gemäße Anzeigegerät nur eingesetzt, um durch Daten zu navigieren und Daten anzuzeigen. Jedoch kann die Kombination aus Bewegungsaufzeichnung und der stabilen Bildprojektion, wie sie in der ersten oben genannten Ausführungsalternative verwendet wird, auch dazu verwendet werden, eine attraktive Art der Dateneingabe mit dem vorliegenden erfindungsgemäßen Gerät anzubieten. Diese zusätzliche Fähigkeit wird nun anhand von 8 erläutert.
  • In dieser Weiterbildung des der vorliegenden Erfindung gemäßen Geräts kann das Gerät 1 in einem besonderen Schreibmodus betrieben werden, indem ein ebenfalls auf der äußeren Gehäuseoberfläche des Geräts 1 bereitgehaltener Knopf gedrückt wird. In diesem Schreibmodus werden all die Handbewegungen des Benutzers durch die Bewegungserfassungssensoren des Geräts 1 zuverlässig erfasst und als eine Vorlage verwendet, um die Handschrift des Benutzers nachzuvollziehen. Die resultierenden Striche werden in Daten umgesetzt, welche auf die Projektionsoberfläche 2 projiziert werden, um die Bewegung der Hand des Benutzers sichtbar zu machen.
  • In diesem Schreibmodus bleibt vorzugsweise der Hintergrund aus den aus dem größeren Informationsraum ausgewählten und sichtbar gemachten Daten stabil, indem die Bilder in die entgegengesetzte Richtung zur Handbewegung des Benutzers verschoben werden. Wenn die Schrifteingaben des Benutzers das Gerät bis an seinen maximalen Ablenkungswinkel bringen, endet die Kompensationsbewegung und die am weitesten rechts liegenden Anteile der Schriftzüge verschwinden aus dem Sichtfeld. Dies würde den Benutzer veranlassen, seine Hand in die ursprüngliche Position zurückzubewegen und die Schreibbewegung von dort aus neu aufzunehmen. Als eine Alternative kann sich die projizierte Anzeige mit der Handbewegung mitbewegen, wenn die geschriebene Information erst dem Rand des Anzeigebereichs nahe kommt.
  • Die vorliegende Erfindung bietet so eine völlig neue Lösung für das Navigieren durch Datenmengen und das Anzeigen zumindest eines Teils dieser Daten. Die Navigationskommandos entsprechen der Bewegung der Hand des Benutzers, was eine sehr angenehme und intuitive Navigation in den Daten erlaubt.
  • Zusammenfassung
  • Ein in der Hand gehaltenes Gerät (1) zum Navigieren durch und zum Anzeigen von Daten umfasst ein Projektionsmittel (10) zum Projizieren eines ausgewählten Bereichs (4) einer größeren Datenmenge (3) auf eine Projektionsfläche (2), und ein Datennavigationsmittel, das in Reaktion auf die Orientierung, Position und/oder Bewegung des Geräts (1) die durch das Projektionsmittel (10) anzuzeigenden Daten auswählt. Das Gerät (1) kann intuitiv verwendet werden, um über eine große Datenmenge zu schwenken und einen Bereich von Interesse darzustellen.

Claims (20)

  1. In der Hand gehaltenes Gerät (1) zum Navigieren durch und zum Anzeigen von Daten, wobei das Gerät ein Projektionsmittel (10) zum Projizieren eines ausgewählten Bereichs einer größeren Datenmenge (3) auf eine Projektionsfläche (2), und ein Datennavigationsmittel, das in Reaktion auf die Orientierung und/oder Position und/oder Bewegung die durch das Projektionsmittel (10) anzuzeigenden Daten auswählt.
  2. Gerät gemäß Anspruch 1, worin die Datennavigationsmittel ein Gyroskop (16) zum Erfühlen der Orientierung, der Position und/oder der Bewegung des Geräts (1) umfassen.
  3. Gerät gemäß Anspruch 1 oder 2, worin die Datennavigationsmittel einen Beschleunigungsmesser (17) zum Erfühlen der Orientierung, der Position und/oder der Bewegung des Geräts (1) umfassen.
  4. Gerät gemäß Anspruch 1, 2 oder 3, worin die Datennavigationsmittel einen Magnetfeldsensor (17) zum Erfühlen der Orientierung, der Position und/oder der Bewegung des Geräts (1) umfassen.
  5. Gerät gemäß Anspruch 1, worin die Datennavigationsmittel eine Kamera (18) umfassen, welche Bilder von wenigstens einem Teil der Projektionsfläche (2) aufnimmt, wobei eine Veränderung der Position und/oder Orientierung des Geräts (1) anhand einer Veränderung der von der Kamera (18) aufgenommenen Bilder erkannt wird.
  6. Gerät gemäß Anspruch 5, worin nur der Bereich, der die projizierten Daten (4) auf der Projektionsfläche (2) umgibt, analysiert wird, um eine Veränderung der Position und/oder Orientierung des Geräts (1) zu erkennen.
  7. Gerät gemäß einem der voranstehenden Ansprüche, das weiterhin Mittel (14) zum Messen des Abstands zwischen dem Gerät (1) und der Projektionsfläche (2) umfasst, wobei der Zoom- oder Detaillierungsgrad der projizierten Daten vom Abstand zwischen dem Gerät (1) und der Projektionsfläche (2) abhängt.
  8. Gerät gemäß Anspruch 7, worin besagte Mittel (14) zum Messen des Abstands zwischen dem Gerät (1) und der Projektionsfläche (2) die Zeitverzögerung eines Laserstrahls bestimmen, der für die Bildprojektion verwendet wird, und welcher von der Reflektionsfläche (2) zurück zum Gerät (1) reflektiert wird.
  9. Gerät gemäß Anspruch 7, worin besagte Mittel (14) zum Messen des Abstands zwischen dem Gerät (1) und der Projektionsfläche (2) Infrarot Ultraschall-Technik verwenden.
  10. Gerät gemäß einem der voranstehenden Ansprüche, worin der auf die Projektionsfläche (2) projizierte ausgewählte Datenteil (3) nur verändert wird, wenn die Veränderung der Orientierung, Position und/oder Bewegung des Geräts (1) einen festgelegten Grenzwert überschreitet.
  11. Gerät gemäß Anspruch 10, worin Veränderungen in der Orientierung, Position und/oder der Bewegung des Geräts (1), welche den besagten Grenzwert nicht erreichen, durch das Projektionsmittel (10) kompensiert werden.
  12. Gerät gemäß einem der voranstehenden Ansprüche, worin der Randbereich (4a) des auf die Projektionsfläche (2) projizierten ausgewählten Datenteils (3) sanft auslaufend (fade-out) dargestellt wird.
  13. Gerät gemäß einem der voranstehenden Ansprüche, worin in einem Schreibmodus des Geräts (1) der auf die Projektionsfläche (2) projizierte Datenteil (3) unverändert bleibt und die Bewegung des Geräts (1) erfasst und auf die Projektionsfläche (2) projiziert wird.
  14. Gerät nach einem der voranstehenden Ansprüche, worin die Projektionsmittel (10) umfassen
  15. Verfahren zum Navigieren durch und zum Anzeigen von Daten, wobei ein ausgewählter Teil (4) einer größeren Datenmenge (3) auf eine Projektionsfläche (2) mittels eines Projektionsgeräts (1) projiziert wird, und wobei die auf die Projektionsfläche (2) zu projizierenden Daten in Reaktion auf die Orientierung, die Position und/oder die Bewegung des Projektionsgeräts (1) ausgewählt werden.
  16. Verfahren gemäß Anspruch 15, wobei der Zoom- oder Detaillierungsgrad der projizierten Daten vom Abstand zwischen dem Gerät (1) und der Projektionsfläche (2) abhängt.
  17. Verfahren gemäß Anspruch 15 oder 16, wobei der auf die Projektionsfläche (2) projizierte ausgewählte Datenteil (3) nur verändert wird, wenn die Veränderung der Orientierung, Position und/oder der Bewegung des Geräts (1) einen festgelegten Grenzwert überschreitet.
  18. Verfahren gemäß Anspruch 17, wobei Veränderungen in der Orientierung, Position und/oder der Bewegung des Geräts (1), welche den besagten Grenzwert nicht erreichen, durch das Projektionsgerät (1) kompensiert werden.
  19. Verfahren gemäß einem der Ansprüche 15 bis 18, wobei ein Randbereich (4a) der auf die Projektionsfläche (2) projizierten ausgewählten Datenteils (3) sanft auslaufend (fade-out) dargestellt wird.
  20. Verfahren gemäß einem der Ansprüche 15 bis 19, wobei in einem Schreibmodus des Geräts (1) der auf die Projektionsfläche (2) projizierte Datenteil (3) unverändert bleibt und die Bewegung des Geräts (1) erfasst und auf die Projektionsfläche (2) projiziert wird.
DE112004002016T 2003-10-22 2004-10-13 In der Hand gehaltenes Gerät zur Navigation durch Daten und zur Datenanzeige Ceased DE112004002016T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03023977.6 2003-10-22
EP03023977A EP1533685A1 (de) 2003-10-22 2003-10-22 Tragbares Gerät zur Navigation und Anzeigen von Daten
PCT/EP2004/011502 WO2005041017A2 (en) 2003-10-22 2004-10-13 Handheld device for navigating and displaying data

Publications (1)

Publication Number Publication Date
DE112004002016T5 true DE112004002016T5 (de) 2006-10-05

Family

ID=34429240

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112004002016T Ceased DE112004002016T5 (de) 2003-10-22 2004-10-13 In der Hand gehaltenes Gerät zur Navigation durch Daten und zur Datenanzeige

Country Status (4)

Country Link
EP (1) EP1533685A1 (de)
DE (1) DE112004002016T5 (de)
GB (1) GB2423685B (de)
WO (1) WO2005041017A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006052570B4 (de) 2005-11-06 2022-01-05 Stefan Rapp Anzeigevorrichtung

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7808478B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Autonomous handheld device having a drawing tool
US20100031201A1 (en) * 2008-07-31 2010-02-04 Sony Ericsson Mobile Communications Ab Projection of a user interface of a device
US8147071B2 (en) * 2009-04-29 2012-04-03 Nokia Corporation Processor for an apparatus, an apparatus and associated methods
EP2437488A4 (de) * 2009-05-27 2016-12-14 Kyocera Corp Tragbares elektronisches gerät
KR20110069946A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 외부 조사 장치를 가지는 휴대 단말기 및 이의 운용 방법
US8659626B2 (en) * 2010-12-16 2014-02-25 Sony Corporation Projection control

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6832724B2 (en) * 1993-03-26 2004-12-21 Symbol Technologies, Inc. Electro-optical assembly for image projection, especially in portable instruments
TW320717B (de) * 1995-11-13 1997-11-21 Motorola Inc
US20020163511A1 (en) * 2000-11-29 2002-11-07 Sekendur Oral Faith Optical position determination on any surface
US20030071798A1 (en) * 2001-04-23 2003-04-17 Ehud Baron System and method for transmitting, receiving, and generating digital ink from triangulation data of a transponder-stylus
EP1302891A1 (de) * 2001-10-12 2003-04-16 Siemens Aktiengesellschaft Vorrichtung zum Erfassen und Darstellen von Bewegungen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006052570B4 (de) 2005-11-06 2022-01-05 Stefan Rapp Anzeigevorrichtung

Also Published As

Publication number Publication date
WO2005041017A2 (en) 2005-05-06
GB2423685A (en) 2006-08-30
EP1533685A1 (de) 2005-05-25
GB2423685B (en) 2008-05-07
GB0610145D0 (en) 2006-06-28
WO2005041017A3 (en) 2006-02-23

Similar Documents

Publication Publication Date Title
DE10007891C2 (de) Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
DE69530395T2 (de) Interaktives projektiertes videobildanzeigesystem
DE60028894T2 (de) Präsentationssystem mit einer interaktiven Darstellung
DE60132201T2 (de) Ansichtsnavigation und vergrösserung eines tragbaren geräts mit einer anzeige
DE60205662T2 (de) Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige
DE102009032637B4 (de) Bildvergrößerungssystem für eine Computerschnittstelle
DE102009023875A1 (de) Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche
DE69530367T2 (de) Kontrolle eines Mikroskopprobenträgers
DE19710686C2 (de) Verfahren zum Markieren eines Fensters einer fensterorientierten Benutzeroberfläche
DE102006037156A1 (de) Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
DE602004011676T2 (de) Tragbares Kommunikationsgerät mit einer dreidimensionalen Anzeigevorrichtung
EP1047014A2 (de) Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
DE102006037154A1 (de) Navigationsgerät und Verfahren zum Betreiben eines Navigationsgeräts
DE102014204320A1 (de) Informationsabfrage durch Zeigen
DE112004002016T5 (de) In der Hand gehaltenes Gerät zur Navigation durch Daten und zur Datenanzeige
EP3707547B1 (de) System und verfahren zum bestimmen einer pose einer augmented-reality-brille, system und verfahren zum einmessen einer augmented-reality-brille, verfahren zum unterstützen einer posenbestimmung einer augmented-reality-brille und für das verfahren geeignetes kraftfahrzeug
DE112019002798T5 (de) Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
EP2663909A1 (de) Fernsteuerungseinrichtung und schnittstellen-modul zur steuerung einer vorrichtung anhand eines beweglichen objektes
DE102004061841A1 (de) Markerloses Tracking System für Augmented Reality Anwendungen
DE102019133753A1 (de) Werkzeuge für augmentierte realität in der lichtgestaltung
DE102010036904A1 (de) Haptische Messvorrichtung und Messverfahren
DE102011119082A1 (de) Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm
DE69017286T2 (de) Vorrichtung und Verfahren zum elektronischen Aktenablegen.
DE102013211046A1 (de) Verfahren und Vorrichtung zum Gewinnen eines Stellsignals aus einer Bediengeste
EP2625582B1 (de) Computer und verfahren zur visuellen navigation in einem dreidimensionalen bilddatensatz

Legal Events

Date Code Title Description
8127 New person/name/address of the applicant

Owner name: RAPP, STEFAN, DR., 78559 GOSHEIM, DE

R012 Request for examination validly filed
R005 Application deemed withdrawn due to failure to request examination
R409 Internal rectification of the legal status completed
R409 Internal rectification of the legal status completed
R409 Internal rectification of the legal status completed
R012 Request for examination validly filed

Effective date: 20111012

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final
R003 Refusal decision now final

Effective date: 20141028