DE69913371T2 - Eingabevorrichtung mit abtastsensoren - Google Patents

Eingabevorrichtung mit abtastsensoren Download PDF

Info

Publication number
DE69913371T2
DE69913371T2 DE69913371T DE69913371T DE69913371T2 DE 69913371 T2 DE69913371 T2 DE 69913371T2 DE 69913371 T DE69913371 T DE 69913371T DE 69913371 T DE69913371 T DE 69913371T DE 69913371 T2 DE69913371 T2 DE 69913371T2
Authority
DE
Germany
Prior art keywords
image
user
projected
block
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69913371T
Other languages
English (en)
Other versions
DE69913371D1 (de
Inventor
Randy Dunton
Thomas Charlesworth
John Richardson
Kelan Silvester
Marion Shimoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/187,903 external-priority patent/US6690357B1/en
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE69913371D1 publication Critical patent/DE69913371D1/de
Application granted granted Critical
Publication of DE69913371T2 publication Critical patent/DE69913371T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662Details related to the integrated keyboard
    • G06F1/1673Arrangements for projecting a virtual keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device

Description

  • Hintergrund
  • Diese Erfindung bezieht sich allgemein auf Eingabegeräte elektronischer Geräte einschließlich Computersysteme und speziell auf solche Geräte bzw. Einrichtungen, welche Videosteuereingänge verwenden.
  • Eine Vielzahl von Zeigegeräten bzw. Mäusen sind in Computersystemem zum Steuern der Position eines Zeigers oder Cursors auf einem Bildschirm verwendet worden. Ein Zeiger oder Cursor ist ein Bild, das zum Auswählen einer speziellen, in Form einer physischen Darstellung auf einer Nutzerschnittstelle bereitgestellten Option über den Bildschirm bewegt werden kann. Auf diese Weise kann der Nutzer zum Ermöglichen des Fokussierens spezieller, durch die Nutzerschnittstelle angebotener Aufgaben und Aktivitäten mit einem Videobildschirm interagieren.
  • Bekannte Zeigegeräte umfassen die Maus, den Trackball und den Zeigestift. Jedes dieser Geräte umfasst im allgemeinen eine elektromechanische Schnittstelle, welche dazu neigt auszufallen. Wenn die Schnittstelle ausfällt, kann dies in einem inkorrekten Signal resultieren, welches bewirkt, dass die Bewegung des Zeigegerätes inkorrekt in der Zeigerposition des Bildschirmes reflektiert wird.
  • Ein anderes bekanntes Zeigergerät, das Touchpadzeigegerät, erlaubt es dem Nutzer, eine Kontaktoberfläche zu berühren. Bewegungen des Nutzerfingers auf der Kontaktoberfläche werden als korrespondierende Bewegungen des Zeigers auf dem Computerbildschirm abgebildet. Normalerweise weisen Touchpads kapazitive Sensoren auf, welche die Fingerposition und -bewegung erfassen und diese Bewegungen in Positionssteuerungssignale übersetzen.
  • Die Tochpadzeigegeräte neigen dazu, durch Dreck oder Feuchtigkeit verschmutzt zu werden, was wie oben beschrieben in inkorrekten Signalen resultiert. Zusätzlich bieten Touchpadgeräte ein begrenztes Maß an Bewegungsspielraum, was es schwierig macht, den Zeiger unter Verwendung des durch die Zeigegeräte begrenzten verfügbaren Bewegungsspielraums steuern zu lernen.
  • Eine Anzahl von Computersystemen verwenden Tastaturen zum Eingeben von Textinformation in den Computer. Die Tastatur ist im allgemeinen durch ein Kabel mit dem Computer verbunden. Wie das Zeigegerät weist die Tastatur eine elektromechanische Schnittstelle auf, welche dazu neigt auszufallen. Diese Ausfälle können in der Unfähigkeit einer speziellen Taste, ein spezielles Eingabesignal zu aktivieren, resultieren. In jedem Fall werden der Tastatur bereitgestellte Eingaben möglicherweise inakkurat im Text, welcher auf dem Bildschirm erscheint, reflektiert.
  • Daher besteht ein Bedürfnis nach einem verbesserten Eingabegerät, welches es dem Nutzer erlaubt, Information auf Wegen einzugeben, welche weniger zum Ausfallen neigen.
  • Eine Anzahl elektronischer Geräte, einschließlich Computersysteme, umfassen relativ sperrige Eingabegeräte wie Tastaturen. Zum Beispiel werden in vielen tragbaren Computern wie Laptops oder Notebooks aufklappbare Gehäuse verwendet, in welchen der Bildschirm notwendigennreise ein Teil des Gesamtgehäuses und die Tastatur der andere Teil ist. Daher wird ein beträchtlicher Teil der Gesamtmasse der Gerätes von der Tastatur beansprucht. Ähnlich beanspruchen in einigen persönlichen digitalen Assistenten (PDAs) oder handflächengroßen Computern die Tastatur oder das Keypadeingabegerät einen beachtlichen Teil der Gesamtmasse des Geräts.
  • Es besteht ein Bedarf an immer kleineren Computergeräten. Tragbare Computer wie Laptops oder Notebooks werden zunehmend kleiner. Ähnlich existiert ein steigendes Interesse an handflächengroßen oder PDA-ähnlichen Computersystemen.
  • Daher existiert eine kontinuierliche Nachfrage nach neuen Wegen, die Größe elektronischer Geräte einschließlich Computersystemen zu verringern.
  • Beispiele von Einrichtungen aus dem Stand der Technik sind in EP 0 626 636 , EP 0 554 492 , DE 298 02 435 und EP 0 866 419 offenbart. Ein virtuelles Computereingabegerät ist aus DE 19612949 C bekannt.
  • Zusammenfassung
  • Gemäß der vorliegenden Erfindung wird ein Verfahren zum Eingeben von Daten in ein elektronisches Gerät bereitgestellt, wobei das Verfahren folgende Schritte umfasst:
    Projizieren eines Bildes eines Computereingabegerätes auf eine Oberfläche; und
    Erfassen von Nutzerbewegungen relativ zu dem projizierten Bild;
    gekennzeichnet dadurch, dass:
    das projizierte Bild das Bild einer Computermaus ist; und
    Bestimmen der Richtung und Geschwindigkeit der Nutzerbewegungen relativ zu dem projizierten Bild zum Steuern der Position eines Zeigers in Reaktion auf die Nutzerbewegungen.
  • Ferner wird gemäß der vorliegenden Erfindung ein System bereitgestellt, welches folgendes umfasst:
    einen Prozessor;
    einen mit dem Prozessor verbundenen Sensor;
    einen mit dem Prozessor verbundenen Projektor; und
    einen dem Prozessor zugehörigen Speicher, wobei der Speicher ein Computerprogramm speichert, das den Prozessor veranlasst:
    ein Bild eines Eingabegerätes unter Verwendung des Projektors zu projizieren; und
    den Sensor zum Erfassen von Nutzerbewegungen relativ zu dem Bild eines Eingabegerätes zu verwenden;
    dadurch gekennzeichnet, dass:
    der Projektor ein Bild einer Computermaus projiziert; und
    der Sensor die Richtung und Geschwindigkeit von Nutzerbewegungen relativ zum Bild bestimmt, was das Programm veranlasst, die Position eines Zeigers in Reaktion auf die Nutzerbewegungen zu steuern.
  • Die Erfindung wird durch die Ansprüche definiert, welche gegenüber EP 626 636 A abgegrenzt sind.
  • Kurzbeschreibung der Zeichnung
  • 1 ist eine seitlicher Querschnitt eines Ausführungsbeispiels gemäß der Erfindung;
  • 2 ist ein Frontquerschnitt des in 1 gezeigten Ausführungsbeispiels;
  • 3 ist eine Draufsicht auf die Bilder, welche von dem in 1 gezeigten Gerät projiziert werden können;
  • 4 ist ein Blockdiagramm eines Ausführungsbeispiels gemäß der Erfindung zum Implementieren des in 1 gezeigten Geräts;
  • 5 ist ein Flussdiagramm des Prozesses des Bildens eines Gerätes, welches die Merkmale des in 1 gezeigten Gerätes bereitstellen kann, in einer Ausführungsform gemäß der Erfindung;
  • 6 ist ein Flussdiagramm für eine Softwareimplementation der in 1 gezeigten Ausführungsform; und
  • die 7 und 8 sind Flussdiagramme für Einmessungssoftware in einer Ausführungsform gemäß der Erfindung.
  • Detaillierte Beschreibung
  • Ein elektronisches Gerät, welches wie das in 1 gezeigte Computersystem 10 implementiert sein kann, kann ein Gehäuse 12 aufweisen, welches einen Bildschirm 18 aufweist. Anders als konventionelle Computersysteme kann das System 10 möglicherweise keine Tastatur oder kein Zeigegerät aufweisen. Abtastsensoren 14 und 16 können zum Ermöglichen des Abtastens des Bereichs vor dem Gehäuse 12 an verlängerten Armen bereitgestellt sein. Die Abtastsensoren 14 und 16 können zum Beispiel digitale Kameras sein, die einen Videodatenstrom produzieren, welcher durch in den Armen 26 und 30 enthaltene Kabel zum Gehäuse 12 geleitet wird. Ein zusätzlicher Abtastsensor 22 kann, wie in 2 gezeigt, an der Vorderseite des Gehäuses 12 neben dem Bildschirm 18 bereitgestellt sein.
  • Ebenso befindet sich auf dem Gehäuse ein Projektor 20, der ein Bild auf eine Oberfläche, wie einen Tisch, projiziert, die sich vor dem Gehäuse 12 befindet. Der Projektor 20 kann zum Beispiel ein Flüssigkristallbildschirm- (engt. liquid crystal display, LCD), ein Laser- oder ein Lichtmaschineprojektor, wie eine digitale Licht verarbeitende (engt. digital light processing, DLP) Lichtmaschine von Texas Instruments, Inc., sein. Der Bereich, auf den das Bild projiziert wird, kann derselbe Bereich sein, welche von den Abtastsensoren 14, 16 und 22 abgetastet wird. Jeder Abtaster kann zum besseren dreidimensionalen Abbilden schräg zu jedem der anderen Abtaster ausgerichtet sein. Das Gehäuse 12 kann in abgewinkelter Richtung durch den Ständer 24 gestützt werden.
  • In einem Ausführungsbeispiel gemäß der Erfindung können eines oder mehrere in 3 gezeigte Eingabegeräte, wie eine virtuelle Tastatur 34a und Maus 34b, auf eine Oberfläche vor dem Gehäuse 12 projiziert werden. Jedoch ist die Erfindung nicht auf diese veranschaulichte Ausführungsbeispiel beschränkt. Wenn der Nutzer seine oder ihre Hände über dem Bild positioniert, wie er es bei der Verwendung eines physischen Eingabegerätes täte, können die Abtastsensoren die Bewegung der Hände des Nutzers erfassen und diese Bewegung in Eingabebefehlssignale konvertieren. Zum Beispiel können Bewegungen der Hand des Nutzers über die Oberfläche, auf welche das Mausbild 34b projiziert wurde, in Zeigerpositionssignale zum Bewegen der Position des Zeigers auf dem Bildschirm 18 konvertiert werden. Ähnlich können Tippbewegungen der Hände des Nutzers auf der Oberfläche, auf welche das Tastaturbild 34a projiziert worden ist, das Erfassen und Erscheinen der korrespondierenden Texteingabe auf dem Bildschirm 18 bewirken. Daher kann ein elektromechanisches Eingabegerät entfernt werden.
  • Alternativ können die Abtastsensoren das von den Händen des Nutzers reflektierte projizierte Licht abtasten. Die Abtastsensoren können ebenso die Kombination des reflektierten projizierten Lichts und der Hände des Nutzers Erfassen. Ebenso können die projizierten Bilder sich bewegen, um so der detektierten Bewegung der Hände des Nutzers zu „folgen".
  • Übergehend zu 4, kann ein Beispiel eines Computersystems 35 zum Implementieren einer Ausführungsform gemäß der Erfindung einen mit einem Hostbus 38 verbundenen Prozessor 36 umfassen. Das veranschaulichte Computersystem 35 umfasst das 440BX-Chipset mit einem bei Intel Corporation erhältlichen Pentium®II-Prozessor. Der Hostbus 38 ist mit einer Hostbrücke 40 verbunden, welche wiederum mit einem Hauptspeicher 42 verbunden ist. Die Hostbrücke 40 ist ebenso mit einem Bus eines beschleunigten Grafikports (engt. accelerated graphic port, AGP) 48 verbunden (siehe „Accelerated Graphics Port Interface Specification", Revision 1.0, veröffentlicht von der Intel Corporation of Santa Clara, Kalifornien, am 31. Juli 1996), welcher mit einem Grafikgerät 50 verbunden ist. Das Grafikgerät 50 kann Eingaben der Abtastsensoren 14, 16 und 22 empfangen und die resultierenden Eingaben auf einem Bildschirm 18 darstellen, welcher ebenso mit dem Grafikgerät 50 verbunden ist. Das Grafikgerät 50 kann ebenso ein Video-Basis-Eingabe/Ausgabe-System (engl. Video basic input/output system, BIOS) 54 und einen lokalen Grafikspeicher 56 aufweisen.
  • Die Hostbrücke 40 ist ebenso mit einem Bus 44 verbunden, welcher eine Vielzahl von Slots 46 zum Empfangen peripherer Geräte aufweisen kann. Der Bus 44 ist ebenso mit einer Bus-zu-Bus-Brücke 58 verbunden, welche wiederum mit einem zusätzlichen Bus 70 verbunden ist. Der Bus 70 umfasst eine Vielzahl von Slots 72 zum Empfangen zusätzlicher peripherer Geräte und das System-BIOS 74.
  • Die Brücke 58 kann ebenso mit einer Vielzahl von Ports 60 und 66 verbunden sein. Der Port 60 kann zum Beispiel mit einem Festplattenlaufwerk 62 verbunden sein, welches, wie angezeigt, eines oder mehrere Programme 64, 106 und 122 speichert. Der Port 66 kann mit dem Projektor 20 verbunden sein.
  • Während ein Beispiel eines Computersystems in 4 gezeigt ist, versteht sich für einen Fachmann, dass eine Anzahl anderer Systeme zum Erreichen der hier dargelegten Zielsetzung verwendet werden können. Deshalb sollte es selbstverständlich sein, dass das veranschaulichte System nur ein Beispiel ist.
  • Übergehend zu 5, ist ein Ausführungsbeispiel eines Verfahrens zum Bereitstellen der Geräte, welche die oben beschriebene Funktionalität aufweisen, gemäß der Erfindung veranschaulicht. Zunächst wird, wie in Block 76 angezeigt, ein System mit Videotauglichkeit versehen. Zum Beispiel kann ein Computersystem mit der Fähigkeit zum Verarbeiten einer Vielzahl von Videodatenstromeingaben versehen werden. Das System kann ebenso mit einer Vielzahl von Digitalkameras ausgestattet werden. Ein Projektor wird aktiviert, um ein Bild eines Eingabegeräts auf eine Oberfläche zu projizieren, wie in Block 78 angezeigt ist. Die Fähigkeit zum Bereitstellen einer Videoanalyse der resultierenden Bewegungen der Hände des Nutzers kann zum Beispiel ebenso bereitgestellt werden, wie in Block 80 angezeigt. Gemäß einer Ausführungsform kann die Videoanalyse eine konventionelle Mustererkennungssoftware sein, welche den Umriss der Hand des Nutzers und entsprechende Bewegungen derselben erkennt. Als nächstes kann die Fähigkeit zum Konvertieren der Bewegungen des Nutzers in Zusammenhang mit den projizierten Bildern in ein Zeigerpositionssteuerungssignal bereitgestellt sein, wie in Block 82 angezeigt. Schließlich kann die Fähigkeit zum Konvertieren der Bewegungen des Nutzers in Texteingaben bereitgestellt sein, wie in Block 84 angezeigt. Zusätzlich kann eine hörbare Bestätigung wie ein Tastenklickgeräusch produziert werden, wenn ein Tastenanschlag erkannt wird.
  • Übergehend zu 6, kann in einem Ausführungsbeispiel der Erfindung Software auf dem Festplattenlaufwerk 62 gespeichert sein. Zunächst bewirkt die Software, dass das Bild eines oder mehrerer Eingabegeräte auf eine Oberfläche projiziert wird. Zum Beispiel kann das Bild einer Tastatur und einer Maus projiziert werden, wie in Block 86 angezeigt. Danach kann ein Videodatenstrom empfangen werden (Block 87), und ein spezielles Videobild kann ausgewählt werden, wie in Block 88 angezeigt. Das Bild kann willkürlich oder in regelmäßigen Intervallen ausgewählt werden, zum Beispiel unter Verwendung einer Auswahltechnik.
  • Zusätzlich kann ein Szenenänderungsdetektor zum Bestimmen, wann eine signifikante Änderung der Szene vorliegt, verwendet werden. Wenn eine signifikante Änderung der Szene erfolgt, kann ein Bild zur nachfolgenden Analyse festgehalten werden. Szenenänderungsdetektoren sind im Stand der Technik bekannt und können eine Analyse des Musters von Intensitätssignalen umfassen, welche durch die Pixel bestimmt werden, die ein Bildfeld in einer oder mehreren Kameras bilden. Zum Beispiel können die verschiedenen Pixelsensoren Ausgangssignale bereitstellen. Falls ein Ausgangssignal über einem bestimmten Intensitätslevel liegt, kann es als weiß angenommen werden, und falls es unter einem bestimmten Level liegt, kann es als schwarz angenommen werden. Eine signifikante Veränderung in der Anzahl weißer gegenüber schwarzen Ausgangssignalen kann als eine Veränderung der Szene erkannt werden, was die Auswahl eines Bildes aus dem Videodatenstrom bewirkt.
  • Während die vorliegende Erfindung mit Bezug auf die Verwendung eines Einzelbilds für diese Analyse beschrieben worden ist, kann eine kontinuierliche Analyse durch aufeinanderfolgendes oder kontinuierliches Analysieren aufeinanderfolgender Frames erfolgen. Überabtastung kann zum Versichern, dass Bewegungen detektiert wurden, verwendet werden.
  • In der in 6 veranschaulichten Ausführungsform kann, sobald ein Frame, wie in Block 88 angezeigt ist, ausgewählt ist, konventionelle Mustererkennungssoftware zum Bestimmen, ob ein spezielles Bildmuster vom Digitalvideodatenstrom, wie in Block 92 angezeigt ist, repräsentiert ist, verwendet werden. Diese Software kann ein spezielles vorprogrammiertes Bild wie die Position der Finger des Nutzers auf einer virtuellen Tastatur oder die Position der Hand des Nutzers über einer virtuellen Maus erkennen. Diese Software kann das Bild durch Vergleichen mit einer vorher aufgezeichneten Darstellung erkennen, oder die Software kann unter Verwendung einer Lernsoftware auf das Kennenlernen eines speziellen Bildes durch Zusammenarbeit mit dem Computerbesitzer oder -nutzer trainiert werden.
  • In der Raute 94 prüft die Software zum Bestimmen, ob das ausgewählte Bild ein Muster umfasst, welches mit einem vorbestimmten Muster übereinstimmt, welches mit einem speziellen Eingabebefehl korrespondiert. Falls nicht, wiederholt sich der Ablauf zum Auswählen eines anderen Bildes.
  • Falls eine Musterübereinstimmung detektiert wurde, werden das erste und ein nachfolgendes Bild verglichen, wie in Block 96 angezeigt. Als nächstes bestimmt eine Prüfung, ob der Vergleich auf einen Wechsel in der Position hinweist (Raute 98). Falls dies so ist, können die Geschwindigkeit und die Richtung der Bewegung des Bildes bestimmt werden (Block 100). Die Geschwindigkeit und/oder Richtung der Bewegung können zum Bereitstellen korrespondierender Befehlseingaben verwendet werden. Zum Beispiel können in Verbindung mit der Bewegung der Hand des Nutzers zusammen mit de Mausbild die Richtung und Geschwindigkeit der Bewegung in korrespondierenden Bewegungen des Zeigers auf dem Bildschirm 18 reflektiert werden. Zum Beispiel kann ein Korrelationsfaktor zum Berechnen der dreidimensionalen Position eines „Onscreen"-Zeigers verwendet werden (Block 102). Die Nutzereingaben können durch ein Signal an das Grafikgerät 50 repräsentiert werden, den Zeiger auf dem Bildschirm gemäß der Richtung oder Geschwindigkeit der Bewegung der Hand des Nutzers zu bewegen (Block 104). Der Ablauf wiederholt sich zum Auswählen eines neues Bildes (in Block 88), um den Vergleich erneut zu starten.
  • Alternativ kann dem Nutzer ein erkennbares Objekt zugeordnet werden, so dass das Objekt einfach erkannt werden kann. Zum Beispiel kann ein erkennbar farbiger Ring verwendet werden, welcher einfach detektiert werden kann. Die Bewegung des Rings kann als ein Zeigerpositionsbefehl detektiert werden.
  • Eine Software 106, welche es dem System ermöglicht, einen Fokuspunkt für Zeigerpositionsbefehle einzumessen, ist durch 7 veranschaulicht. Die Software 106 kann während der Einmessungsperiode verwendet werden, um das System zum Erkennen der gewünschten Eingaben zu programmieren. Gemäß 7 wird zunächst ein Videodatenstrom empfangen, wie in Block 108 angezeigt. Ein Bild dieses Videodatenstroms wird festgehalten, wie in Block 110 veranschaulicht.
  • Als nächstes wird das System zu einer Bewegung in einer definierten Richtung veranlasst, wie in Block 112 gezeigt. Zum Beispiel kann eine Onscreen-Darstellung den Nutzer durch den Lernprozess leiten. Zum Beispiel kann ein Onscreen-Darstellung den Nutzer als erstes anleiten, einen linken Cursorpositionsbefehl zu zeigen. Die Sequenz durchläuft dann jede der Cursorbefehlsrichtungen. Sobald das System weiß, welcher Cursorbefehl programmiert ist, kann es ein neues Bild des Videos festhalten, wie in Block 114 angezeigt. Das neue Bild und das vorherige Bild werden zum Bestimmen eines Unterschiedes verglichen, der einem gegebenen Cursorbefehl gleichkommt (Block 116). Ein Test bei Raute 118 bestimmt, ob ein Fokuspunkt identifiziert worden ist. In anderen Worten, das System muss in der Lage sein, die beiden Bilder ausreichend zu unterscheiden, um danach diese Unterschiede als einen speziellen Zeigerpositionsbefehl erkennen zu können. Falls nicht, wird der Prozess wiederholt. Andernfalls sichert das System die Fokuspunktdaten des identifizierten Fokuspunktes, wie in Block 120 angezeigt.
  • Gemäß 8 ermöglicht die Software 122 eine Einmessung von Geschwindigkeit und Richtung von Zeigerpositionsbefehlen. Die von der Software 106 bestimmten Fokuspunktdaten werden in Block 123 geladen. Ein Videodatenstrom wird empfangen, wie in Block 124 angezeigt, und ein Bild wird festgehalten, wie in Block 126 gezeigt. Ein Fokuspunkt wie die Finger des Nutzers wird identifiziert, wie in Block 128 angezeigt, und eine Bewegungsaufforderung wird bereitgestellt (Block 130). Die Aufforderung kann ein Nachrichtblock auf dem Bildschirm sein, welcher den Nutzer auffordert zu implementieren, was dieser als eine gewünschte Bewegung verwenden will. Ein neues (nachfolgendes) Bild wird in Block 132 festgehalten und mit dem in Block 126 festgehaltenen Bild verglichen, wie in Block 134 veranschaulicht.
  • Die Fokuspunktbewegung wird identifiziert (Block 136), und eine Richtung und Geschwindigkeit der Bewegung werden berechnet, wie in Block 138 angezeigt. Ein Korrelationsfaktor für x-, y-, und z-Richtungen wird zum Berechnen der korrespondierenden Geschwindigkeit und Richtung der Bewegung des Bildschirmzeigers verwendet (Block 140). Der Bildschirmzeiger wird dann bewegt, wie in Block 142 angezeigt. Der Nutzer kann dann das Ausmaß der Zeigerbewegung für eine gegebene Bewegung seiner Finger anpassen, zum Beispiel durch von einer Bildschirmaufforderung bereitgestellte Eingaben, wie in Block 144 angezeigt. Zusätzlich kann der Nutzer alternative Eingaben bereitstellen, welche als ein spezieller Zeigerpositionsbefehl empfangen werden könnten. Der Nutzer wird dann in Raute 146 aufgefordert anzuzeigen, ob er fertig ist. Falls nicht, wiederholt sich der Ablauf, und neue Befehle können wie oben beschrieben gelernt werden. Andernfalls wird der Ablauf beendet und die Information gesichert (Block 148).
  • Die Anzahl von Kameras, die verwendet werden können, unterliegt einer beträchtlichen Variation. Mehr Kameras können in einer besseren dreidimensionalen Abbildung resultieren. Dies kann es ermöglichen, Bewegungen in drei Dimensionen als Eingabebefehlssignale zu erkennen. Zusätzlich kann eine Kameraredundanz zum Eliminieren von Fehlern verwendet werden.
  • Während die vorliegende Erfindung gemäß separater, auf einem Computer angebrachter Kameras veranschaulicht worden ist, könnten die Kameras in das Gehäuse des Computersystems selbst integriert sein. Zusätzlich könnten, während die Erfindung in Verbindung mit Kameras veranschaulicht wurde, welche sensibel für Licht aus einem sichtbaren Spektrum sind, ebenso infrarot Erfassende Kameras verwendet werden.
  • Durch Verwenden eines Videodatenstrom zum Steuern von Eingabeinformation kann eine elektromechanische Verbindung (welche zu Fehlern oder Ausfällen neigen kann) in einigen Ausführungsformen eliminiert werden. Zusätzlich kann die Genauigkeit der Eingaben in einigen Ausführungsformen zum Beispiel im Vergleich zu Touchpadzeigegeräten gesteigert werden, weil die Möglichkeit inkorrekter Betätigung aufgrund von Schmutz oder Feuchtigkeit eliminiert werden kann.
  • Andere Eingabegeräte können in derselben Art behandelt werden. Zum Beispiel kann ein Telefon durch das projizierte Bild eines Telefons ersetzt werden. Ein Computermikrophon kann aktiviert werden, wenn der Hörer, wie vom Abtastsensorensystem erkannt, ergriffen und angehoben wird. Der Wählvorgang könnte in derselben, oben beschriebenen Art in Verbindung mit der Betätigung des projizierten Tastaturbildes behandelt werden.
  • Das projizierte Bild kann verändert werden, um dem Teil des Eingabegerätes zu entsprechen, welches der Nutzer sieht, während seine oder ihre Hände sich über einem normalen Eingabegerät befinden. Dieses veränderte Bild kann produziert werden, wenn erkannt wird, dass die Hände des Nutzers sich über der Oberfläche befinden, welche das projizierte Bild empfangen hat. Darüber hinaus kann das Eingabegerätbild selbst modifiziert werden, um die Interaktion des Nutzers mit diesem Bild zu reflektieren. Zum Beispiel kann das projizierte Bild, wenn Fingerbewegungen mit Tastenanschlägen korrespondieren, verändert werden, um anzuzeigen, dass die virtuelle Taste bewegt worden ist.
  • Während die vorliegende Erfindung in Bezug auf eine begrenzte Anzahl von Ausführungsbeispielen beschrieben worden ist, werden Fachleute viele Modifikationen und Variationen derselben erkennen. Es ist beabsichtigt, dass die anhängigen Ansprüche den Schutzbereich der Erfindung festlegen.
  • Was beansprucht wird, ist:

Claims (10)

  1. Verfahren zum Eingeben von Daten in ein elektronisches Gerät (12), wobei das Verfahren die folgenden Schritte umfasst: Projizieren eines Bildes (34) eines Computereingabegerätes auf eine Oberfläche; und Erfassen von Nutzerbewegungen relativ zu dem projizierten Bild; dadurch gekennzeichnet, dass: das projizierte Bild das Bild einer Computermaus ist; und durch Bestimmen der Richtung und Geschwindigkeit der Nutzerbewegungen relativ zu dem projizierten Bild zum Steuern der Position eines Zeigers in Reaktion auf die Nutzerbewegungen.
  2. Verfahren nach Anspruch 1, ferner umfassend ein Festhalten eines Digitalvideobildes des Nutzers und des projizierten Bildes (34) und Eingeben einer Darstellung des festgehaltenen Bildes in das elektronische Gerät (12).
  3. Verfahren nach Anspruch 2, ferner umfassend ein Analysieren des Digitalvideobildes einschließlich unter Verwendung von Mustererkennungssoftware (92).
  4. Verfahren nach Anspruch 3, ferner umfassend ein Bestimmen einer Richtung der Bewegung eines in dem Digitalvideobild dargestellten Objekts.
  5. Verfahren nach Anspruch 1, wobei das Projizieren eines Bildes (34) das Projizieren des Bildes (34a) einer Tastatur und das Erfassen von Nutzerbewegungen relativ zum Tastaturbild (34a) umfasst.
  6. System (35), umfassend: einen Prozessor (36); einen mit dem Prozessor (36) verbundenen Sensor (14); einen mit dem Prozessor (36) verbundenen Projektor; und einen zum Prozessor (36) gehörigen Speicher (62), wobei der Speicher (62) ein Computerprogramm (64) speichert, welches veranlasst, dass der Prozessor (36): ein Bild (34) eines Eingabegerätes unter Verwendung des Projektors (20) projiziert; und den Sensor (14) zum Erfassen von Nutzerbewegungen relativ zu dem Bild (34) eines Eingabegerätes verwendet; dadurch gekennzeichnet, dass: der Projektor (20) ein Bild einer Computermaus projiziert; und der Sensor (14) die Richtung und Geschwindigkeit von Nutzerbewegungen relativ zum Bild bestimmt, was das Programm (64) veranlasst, die Position eines Zeigers in Reaktion auf die Nutzerbewegungen zu steuern.
  7. System nach Anspruch 6, welches eine Vielzahl von Digitalvideokameras (14, 16, 22) umfasst.
  8. System nach Anspruch 6, wobei das System (35) ein Computersystem (35) ist.
  9. System nach Anspruch 6, wobei der Speicher (62) eine Mustererkennungssoftware (92) umfasst.
  10. System nach Anspruch 6, wobei der Projektor (20) ein Bild (34a) einer Tastatur projiziert.
DE69913371T 1998-10-07 1999-08-26 Eingabevorrichtung mit abtastsensoren Expired - Lifetime DE69913371T2 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16781498A 1998-10-07 1998-10-07
US167814 1998-10-07
US187903 1998-11-06
US09/187,903 US6690357B1 (en) 1998-10-07 1998-11-06 Input device using scanning sensors
PCT/US1999/019598 WO2000021024A1 (en) 1998-10-07 1999-08-26 Input device using scanning sensors

Publications (2)

Publication Number Publication Date
DE69913371D1 DE69913371D1 (de) 2004-01-15
DE69913371T2 true DE69913371T2 (de) 2004-05-27

Family

ID=26863501

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69913371T Expired - Lifetime DE69913371T2 (de) 1998-10-07 1999-08-26 Eingabevorrichtung mit abtastsensoren

Country Status (9)

Country Link
EP (1) EP1127332B1 (de)
JP (2) JP2002526867A (de)
CN (1) CN1322329B (de)
AT (1) ATE255745T1 (de)
AU (1) AU6240499A (de)
CA (1) CA2344352C (de)
DE (1) DE69913371T2 (de)
TW (1) TW464800B (de)
WO (1) WO2000021024A1 (de)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2361146A (en) * 2000-02-04 2001-10-10 Roke Manor Research User interface for a mobile telecommunications system
US6650318B1 (en) 2000-10-13 2003-11-18 Vkb Inc. Data input device
WO2001093182A1 (en) 2000-05-29 2001-12-06 Vkb Inc. Virtual data entry device and method for input of alphanumeric and other data
IL136434A0 (en) * 2000-05-29 2001-06-14 Gal Moshe Ein Wireless cursor control
USRE40368E1 (en) * 2000-05-29 2008-06-10 Vkb Inc. Data input device
IL136432A0 (en) * 2000-05-29 2001-06-14 Vkb Ltd Data input device
FI112706B (fi) * 2000-06-28 2003-12-31 Nokia Corp Menetelmä ja järjestely tiedon syöttämiseksi elektroniseen laitteeseen ja elektroninen laite
KR100734894B1 (ko) * 2000-09-07 2007-07-03 카네스타, 인코포레이티드 사용자 오브젝트와 가상 입력 장치의 상호작용을 탐색하고 배치하는 준 3차원 방법 및 장치
TR200002828A3 (tr) * 2000-09-29 2002-05-21 Cetin Yasemin Bilgisayarli Yapay Görmeye Dayali Kablosuz ve Antensiz Klavye Cihazi.
FI113094B (fi) * 2000-12-15 2004-02-27 Nokia Corp Parannettu menetelmä ja järjestely toiminnon aikaansaamiseksi elektronisessa laitteessa ja elektroninen laite
JP2002196877A (ja) * 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
JP2004523031A (ja) 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
GB2374266A (en) 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
WO2003054683A2 (en) * 2001-12-07 2003-07-03 Canesta Inc. User interface for electronic devices
US7071924B2 (en) 2002-01-10 2006-07-04 International Business Machines Corporation User input method and apparatus for handheld computers
US6977643B2 (en) 2002-01-10 2005-12-20 International Business Machines Corporation System and method implementing non-physical pointers for computer devices
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
EP1540641A2 (de) 2002-06-26 2005-06-15 VKB Inc. Integrierter mehrfunktions-bildsensor und anwendung auf die virtuelle schnittstellentechnologie
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US6654001B1 (en) 2002-09-05 2003-11-25 Kye Systems Corp. Hand-movement-sensing input device
DE50308437D1 (de) * 2003-02-03 2007-11-29 Siemens Ag Projektion von synthetischer information
JP2005095405A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
JP2005095407A (ja) * 2003-09-25 2005-04-14 Samii Kk 遊技機
GB0414578D0 (en) 2004-06-30 2004-08-04 Ncr Int Inc Self-service terminal
CN100410857C (zh) * 2005-01-27 2008-08-13 时代光电科技股份有限公司 资料输入装置
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
WO2006090386A2 (en) 2005-02-24 2006-08-31 Vkb Inc. A virtual keyboard device
CN100367159C (zh) * 2005-04-04 2008-02-06 技嘉科技股份有限公司 虚拟键盘
US7616191B2 (en) * 2005-04-18 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Electronic device and method for simplifying text entry using a soft keyboard
US8037414B2 (en) 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
JP5214223B2 (ja) * 2007-11-15 2013-06-19 船井電機株式会社 プロジェクタ
DE102007055204B4 (de) * 2007-11-19 2010-04-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Roboter, medizinischer Arbeitsplatz und Verfahren zum Projizieren eines Bildes auf die Oberfläche eines Objekts
KR100907286B1 (ko) * 2007-11-26 2009-07-13 (주)디앤티 프로젝션 키보드를 이용한 마우스 포인터 제어 방법
DE102008001629A1 (de) * 2008-05-07 2009-11-12 Robert Bosch Gmbh Projektionsmittel umfassende Vorrichtung
CN101650520A (zh) 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
CN101729652A (zh) * 2008-10-31 2010-06-09 深圳富泰宏精密工业有限公司 具有多媒体功能的便携式电子装置
GB2466023A (en) 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
JP5347673B2 (ja) * 2009-04-14 2013-11-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5740822B2 (ja) 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN102893293A (zh) * 2010-03-12 2013-01-23 莎法·瓦拉 位置捕获输入设备、系统及其方法
HK1147905A2 (en) 2010-06-30 2011-08-19 Chi Ching Lee System and method for virtual touch sensing
CN102402277B (zh) * 2010-09-16 2014-11-05 联想(北京)有限公司 电子终端及信息输入处理方法
US8839134B2 (en) * 2010-12-24 2014-09-16 Intel Corporation Projection interface techniques
WO2012119308A1 (en) * 2011-03-09 2012-09-13 Nokia Corporation An apparatus and method for remote user input
CN102546935A (zh) * 2011-12-20 2012-07-04 上海电机学院 利用光反射光感应的投影手机
JP5494853B2 (ja) * 2013-02-25 2014-05-21 船井電機株式会社 プロジェクタ
CN103391480B (zh) * 2013-07-15 2017-11-28 Tcl集团股份有限公司 一种向电视机输入字符的方法及系统
JP2015079169A (ja) * 2013-10-18 2015-04-23 増田 麻言 投影装置
WO2015116157A2 (en) * 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Display unit manager
WO2015162722A1 (ja) * 2014-04-23 2015-10-29 日立マクセル株式会社 映像投写装置
US9841847B2 (en) 2014-12-25 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method, for projecting a first image based on a position of a moving object and a second image without depending on the position
TWI717199B (zh) * 2020-01-21 2021-01-21 台灣骨王生技股份有限公司 醫療手術用控制系統及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0554492B1 (de) * 1992-02-07 1995-08-09 International Business Machines Corporation Verfahren und Vorrichtung zum optischen Eingang von Befehlen oder Daten
DE571702T1 (de) * 1992-05-26 1994-04-28 Takenaka Corp Handzeige-Eingabegerät und Wandcomputereinheit.
US5436639A (en) * 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
DE19612949C1 (de) * 1996-04-01 1997-08-14 Siemens Ag Verfahren zur Erkennung mindestens eines fingerförmigen Objekts in einem ersten, handförmigen Objekt durch einen Rechner
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
DE29802435U1 (de) * 1998-02-12 1998-05-07 Siemens Nixdorf Inf Syst Anordnung der Projektionsfläche einer virtuellen Eingabeeinheit

Also Published As

Publication number Publication date
EP1127332B1 (de) 2003-12-03
CN1322329B (zh) 2010-06-02
JP2006323866A (ja) 2006-11-30
CN1322329A (zh) 2001-11-14
AU6240499A (en) 2000-04-26
WO2000021024A1 (en) 2000-04-13
DE69913371D1 (de) 2004-01-15
CA2344352C (en) 2005-05-03
JP2002526867A (ja) 2002-08-20
CA2344352A1 (en) 2000-04-13
EP1127332A1 (de) 2001-08-29
TW464800B (en) 2001-11-21
ATE255745T1 (de) 2003-12-15

Similar Documents

Publication Publication Date Title
DE69913371T2 (de) Eingabevorrichtung mit abtastsensoren
US6690357B1 (en) Input device using scanning sensors
US6154558A (en) Intention identification method
DE69530395T2 (de) Interaktives projektiertes videobildanzeigesystem
DE60028894T2 (de) Präsentationssystem mit einer interaktiven Darstellung
JP3419050B2 (ja) 入力装置
DE102008028223B4 (de) Modusabhängige Verarbeitung von Berührungsdaten
KR100452413B1 (ko) 컴퓨터-생성 투사 영상의 캘리브레이션을 위한 방법 및 장치
Stafford-Fraser et al. BrightBoard: A video-augmented environment
DE69535640T2 (de) Bestimmung der absoluten optischen position
DE202008000261U1 (de) Vielfach-Berührungsdatenfussionssystem
US20090153468A1 (en) Virtual Interface System
DE20221921U1 (de) Tragbare elektronische Vorrichtung mit mausähnlichen Fähigkeiten
DE102009023875A1 (de) Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche
US6933979B2 (en) Method and system for range sensing of objects in proximity to a display
DE102009032637A1 (de) Bildvergrößerungssystem für eine Computerschnittstelle
CA2424673A1 (en) Multiple camera control system
US8264457B2 (en) System and method for simulating a computer mouse
DE60222380T2 (de) System und verfahren zum extrahieren eines interessierenden punktes bei einem objekt, das sich vor einer computersteuerbaren anzeige befindet und von einem bildgebenden gerät aufgenommen wird
WO2004034241A2 (de) Schnell-eingabevorrichtung
KR100687237B1 (ko) 카메라 렌즈를 이용한 이동통신단말기용 포인팅장치 및 그제어방법
Kälviäinen et al. Houghtool—a software package for the use of the Hough transform
Khan et al. Computer vision based mouse control using object detection and marker motion tracking
Stark et al. Video based gesture recognition for human computer interaction
DE102011119082A1 (de) Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm

Legal Events

Date Code Title Description
8364 No opposition during term of opposition