DE10241392B4

DE10241392B4 - Vorrichtung und Verfahren zum Erfassen einer dreidimensionalen Relativbewegung

Info

Publication number: DE10241392B4
Application number: DE10241392.4A
Authority: DE
Inventors: Thomas M. Walley
Original assignee: Pixart Imaging Inc
Current assignee: Samsung Electronics Co Ltd
Priority date: 2001-10-26
Filing date: 2002-09-06
Publication date: 2015-02-19
Anticipated expiration: 2022-09-07
Also published as: US20030080282A1; JP2003148919A; GB0223600D0; GB2385418A; US6770863B2; DE10241392A1; GB2385418B

Abstract

Ein Verfahren mit einer Vorrichtung (500) zum Erfassen einer dreidimensionalen Relativbewegung, wobei die Vorrichtung folgende Merkmale aufweist: einen bewegbaren Bewegungssensor (300 oder 400), der ein erstes und ein zweites zweidimensionales Array von Photodetektoren (302A und 302B) aufweist; und mindestens eine Linse (406A und 406B) zum Richten von Fernfeldbildern auf das erste und das zweite Array von Photodetektoren, wobei das Verfahren aufweist: Erzeugen digitaler Darstellungen der Fernfeldbilder, Erzeugen dreidimensionaler Relativbewegungsdaten basierend auf einer Korrelation der digitalen Darstellungen der Fernfeldbilder, Korrelieren zweier aufeinanderfolgender Bilder von dem ersten zweidimensionalen Array von Photodetektoren (302A), Korrelieren zweier aufeinanderfolgender Bilder von dem zweiten zweidimensionalen Array von Photodetektoren (302A), und Korrelieren der Ergebnisse dieser zwei Korrelationen, und wobei die Bewegungsdaten anzeigend für die Bewegung des Sensors in drei Dimensionen sind.

Description

Diese Erfindung bezieht sich allgemein auf optische Sensorvorrichtungen. Diese Erfindung bezieht sich insbesondere auf ein erfahren mit einer Vorrichtung zum Erfassen einer Relativbewegung in drei Dimensionen.
Die Verwendung einer handbetriebenen Zeigevorrichtung zur Verwendung mit einem Computer und dessen Anzeige ist fast überall anzutreffen. Bei weitem am meisten verbreitet von den verschiedenen Vorrichtungen ist die herkömmliche (mechanische) Maus, die in Verbindung mit einem mitwirkenden Mauspad (bzw. Mausunterlage) verwendet wird. Zentral innerhalb der unteren Oberfläche der Maus ist ein Loch positioniert, durch das sich ein Abschnitt der Unterseite einer Stahlkugel mit Gummioberfläche erstreckt. Innerhalb der Maus befinden sich Rollen oder Räder, die die Kugel an deren Umfang kontaktieren und deren Rotation in elektrische Signale umwandeln, die orthogonale Komponenten der Mausbewegung darstellen. Diese elektrischen Signale sind mit einem Computer gekoppelt, bei dem die Software auf die Signale antwortet, um sich um DELTA X und DELTA Y der angezeigten Position eines Zeigers (Cursors) gemäß der Bewegung der Maus zu ändern.
Zusätzlich zu den mechanischen Typen der Zeigevorrichtungen, wie zum Beispiel einer herkömmlichen Maus, wurden ebenfalls optische Zeigevorrichtungen entwickelt, wie zum Beispiel jene, die in den durch Bezugnahme aufgenommenen Patenten und Patentanmeldungen beschrieben sind. Bei einer Form einer optischen Zeigevorrichtung wird anstelle des Verwendens eines sich bewegenden, mechanischen Elements, wie einer Kugel in einer herkömmlichen Maus, eine Absolutbewegung zwischen einer Bilderzeugungsoberfläche, wie zum Beispiel einem Finger oder einem Desktop-Computer und Photodetektoren innerhalb der optischen Zeigevorrichtung optional erfasst und in Bewegungsinformationen umgewandelt.
Die Photodetektoren in optischen Zeigevorrichtungen sind üblicherweise in einem flachen, zweidimensionalen Array implementiert. Das Array von Photodetektoren ist in der Lage, eine zweidimensionale Absolutbewegung zu messen. Wenn sich das Array über ein Bild bewegt oder das Bild sich über ein stationäres Array bewegt kann eine Bewegung durch Vergleichen aufeinanderfolgender Bilder erfasst werden. Die erfasste Bewegung erfolgt im Hinblick auf die Anzahl von Pixeln, um die sich das Bild auf dem Pixelarray bewegt hat. Das Array befindet sich an einer festen Distanz und einem festen Winkel von der Oberfläche, die abgebildet wird, so dass die Bewegung, die erfasst wird, absolut ist (innerhalb der Fehlertoleranz des Systems). Die Oberfläche oder die Szene, die durch eine optische Zeigevorrichtung abgebildet wird, ist ein Nahfeldbild, was bedeutet, dass die Oberfläche sehr nahe an dem Sensorarray liegt.
Wenn Optiken verwendet werden, die es dem Sensorarray ermöglichen, Fernfeldobjekte zu fokussieren, dann ist die Distanz zu den Objekten nicht bekannt und die erfasste Bewegung ist relativ. Es wäre wünschenswert, eine Erfassungsvorrichtung für eine dreidimensionale Relativbewegung unter Verwendung von mehreren, herkömmlichen, zweidimensionalen Photodetektorarrays und entsprechenden Optiken zum Fokussieren von Fernfeldobjekten zu schaffen.
Aus der Fachveröffentlichung P. Saeedi, P. Lawrence, D. Lowe: 3D Motion Tracking of a Mobile Robot in a Natural Environment, in: Proceedings of the 2000 IEEE International Conference an Robotics & Automation, San Francisco, CA, April 2000, S1681–1687 ist bereits ein Verfahren zur dreidimensionalen Bewegungsüberwachung eines beweglichen Roboters in einer natürlichen Umgebung bekannt. Der Roboter verfügt über drei Kameras, die die gleiche Szene aus unterschiedlichen Perspektiven erfassen. Aus den Bildern werden bestimmte Merkmale, wie beispielsweise die Lage von Ecken ermittelt, wobei die zeitliche Weiterbewegung eben dieser ermittelten Merkmale in Abhängigkeit von der Zeit erfasst wird, um aus der zeitlichen Weiterbewegung der ermittelten Merkmale auf eine Kamerabewegung bezogen auf die ermittelten Merkmale rückzuschließen.
Aus der US 4,752,569 A ist ein Verfahren zum Kalibrieren einer durch einen Computer gesteuerten Robotervorrichtung bekannt. Mit einer Kamera wird ein vorbestimmtes Muster von wenigstens drei Punkten erfasst, wobei eine Abweichung des vorbestimmten Musters von einem vorgegebenen Ort zur Lageermittlung verwendet wird.
EP 0 840 255 A2 offenbart ein Gerät zu Verfolgung einer Bewegung in drei Dimensionen. Das Gerät weist eine erste Kamera und eine zweite Kamera auf, die beliebig orientiert werden. Dabei wird die erste Kamera zur Verfolgung der Bewegung in einer in einer Ebene benutzt, indem von der Kamera aufgenommene Bilder miteinander korreliert werden. Die Bewegung in einer orthogonalen Richtung wird durch eine Korrelation der von der ersten Kamera aufgenommenen nicht-korrelierten Bilder mit den von der zweiten Kamera aufgenommenen Bildern durchgeführt.
Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erfassen einer dreidimensionalen Relativbewegung mit verbesserten Charakteristika zu schaffen.
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1, 8, 15 und 19 gelöst.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
1 eine piktographische Seitenansicht, die die Hauptkomponenten einer bekannten, optischen Anzeigevorrichtung vom Bewegungsumsetzungstyp darstellt.
2 ein Diagramm, das ein einzelnes, zweidimensionales Photodetektorarray darstellt, das konfiguriert ist, um Bilder von Fernfeldobjekten zu erfassen.
3 ein Diagramm, das eine Photodetektorarrayanordnung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
4 ein Diagramm, das eine Photodetektorarrayanordnung gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung darstellt.
5 ein elektrisches Blockdiagramm, das einen Sensor zum Erfassen einer dreidimensionalen Relativbewegung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
1 zeigt eine vereinfachte Darstellung einer Seitenansicht einer bekannten Bewegungserfassungsvorrichtung 1, die zum Verfolgen der Bewegung eines menschlichen Fingers 7 geeignet ist, der gegen eine Oberfläche 5 eines transparenten Stifts 3 gedrückt wird. Eine Bewegungserfassungsvorrichtung wie die, die in 1 gezeigt ist, ist in der oben durch Bezugnahme aufgenommenen U.S.-Patentanmeldung Nr. 6,057,540 (in dem Patent '540) detailliert beschrieben. Die Operation der Bewegungserfassungsvorrichtung 1 ist ferner nachfolgend zusammengefaßt.
Eine LED 2 emittiert Licht, das durch die Linse 4 auf eine Region 5 projiziert wird, die Teil einer Arbeitsoberfläche 6 ist, die für eine Navigation abgebildet werden soll. Wenn die Spitze 6 des Fingers 7 gegen die Oberfläche 5 gedrückt wird, sind die Hautrillen und jegliche andere Mikrogewebemerkmale in der Ebene der Oberfläche 5 sichtbar, so als ob sie Teil der Oberfläche 5 wären. Die Linse 8 fokussiert Licht von diesen Merkmalen auf ein Array von Photodetektoren, das Teil des Bewegungssensors 9 ist. Bei einem Ausführungsbeispiel ist der Bewegungssensor 9 eine integrierte Schaltung (IC = integrated circuit), die ein Array von Photodetektoren, einen Speicher und arithmetischen Schaltungen aufweist, die angeordnet sind, um eine Bildkorrelation und Nachverfolgungsfunktionen zu implementieren. Ein Bild der beleuchteten Region 6 wird durch ein optisches Fenster (das der transparente Stift 3 selbst sein kann) auf ein Paket (nicht gezeigt) der integrierten Schaltung 9 und auf das Array von Photodetektoren projiziert. Die Linse 8 hilft bei der Projektion des Bildes auf die Photodetektoren. Ein Bewegungssensor 9 erfaßt und verfolgt automatisch jegliches geeignete Bild. Beim Verfolgen eines Bildes produziert der Bewegungssensor 9 inkrementelle (X, Y) Signale.
2 ist ein Diagramm, das ein einzelnes zweidimensionales Photodetektorarray 200 darstellt, das konfiguriert ist, um Bilder von Fernfeldobjekten zu erfassen. Das Photodetektorarray 200 ist senkrecht zu dem Papier in 2. Das Photodetektorarray 200 ist auf eine Szene oder einen Satz von Objekten 204 gerichtet, die sich in einer unbekannten Distanz D von dem Array 200 befinden. Eine Linse (nicht gezeigt) fokussiert den Abschnitt der Szene 204 innerhalb des Blickfeldes 206 der Linse auf die Oberfläche des Photodetektorarrays 200. Das Array 200 ist ein herkömmliches Photodetektorarray, wie zum Beispiel das, das bei optischen Zeigevorrichtungen verwendet wird, erzeugt aber Bilder von Fernfeldobjekten und nicht Nahfeldobjekten, wie bei optischen Zeigevorrichtungen.
Ein dreidimensionales (X, Y, Z) Koordinatensystem ist ferner in 2 gezeigt. Das Photodetektorarray 200 ist mit der Ebene ausgerichtet, die durch die X-Achse (in dem Papier) und der Y-Achse gebildet ist. Wenn das Photodetektorarray 200 um die Y-Achse gedreht wird (d. h. wenn man die Szene 204 betrachtet, wird das Array 200 nach links oder rechts gedreht), dann bewegt sich das Bild auf der Oberfläche des Photodetektorarrays 200, wenn das Array 200 gedreht wird. Und die Bewegung kann durch Korrelieren aufeinanderfolgender Bilder erfaßt werden. Der absolute Betrag der winkligen Bewegung ist aus einigen Gründen unbekannt, einschließlich: (1) die Distanz D von dem Array 200 zu der Szene 204 ist unbekannt; (2) die Distanz von dem Array 200 zu der Szene 204 ändert sich, wenn sich der Winkel des Arrays 200 im Hinblick auf die Szene 204 ändert; und (3) die Größe der Merkmale in der Szene 204 ist unbekannt.
Trotz dieser unbekannten Werte kann die relative Winkelbewegung des Arrays 200 bezüglich der Szene 204, die betrachtet wird, erfaßt werden. Wenn das Array 200 um die X-Achse gedreht wird (wenn man die Szene 204 betrachtet, wird das Array 200 nach oben oder unten gedreht), dann kann die relative Winkelbewegung in einer zweiten Dimension erfaßt werden. Das Array 200 kann ferner die lineare Relativbewegung in zwei Dimensionen erfassen.
3 ist ein Diagramm, das eine Photodetektorarrayanordnung 300 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Die Photodetektorarrayanordnung 300 umfaßt Photodetektorarrays 302A und 302B (zusammen als Photodetektorarray 302 bezeichnet), die mit einem Winkel θ bezüglich zueinander konstruiert sind. Bei einer Form der Erfindung entspricht θ 90 Grad, obwohl andere Konfigurationen verwendet werden können. Das Photodetektorarray 302A umfaßt eine aktive Oberfläche 304A mit einer Mehrzahl von Photodetektoren, und das Photodetektorarray 302B umfaßt eine aktive Oberfläche 304B, die eine Mehrzahl von Photodetektoren aufweist. Die aktiven Oberflächen 304A und 304B werden kollektiv als die aktive Oberflächen 304 bezeichnet.
Bei einem Ausführungsbeispiel ist die Photodetektorarrayanordnung 300 in drei Dimensionen drehbar und/oder ist linear in drei Dimensionen bewegbar. Unter Verwendung der entsprechenden Linsen 406A und 406B (gezeigt in 4) zum Fokussieren von Fernfeldobjekten 204 auf die aktiven Oberflächen 304A und 304B der Photodetektorarrays 302A und 302B kann eine Winkelrelativbewegung in drei Dimensionen (d. h. die Drehung der Photodetektoranordnung 300 um jede der drei Achsen – X, Y und Z) durch Korrelieren aufeinanderfolgend erfaßter Bilder bestimmt werden. Die Anordnung 300 kann ferner eine lineare dreidimensionale Relativbewegung erfassen. Die Erfassung einer derartigen linearen und winkeligen Relativbewegung wird nachfolgend detailliert beschrieben.
4 ist ein Diagramm, das eine Photodetektorarrayanordnung 400 gemäß einen zweiten Ausführungsbeispiel der vorliegenden Erfindung darstellt. Die Photodetektorarrayanordnung 400 umfaßt die Photodetektorarrays 302A und 302B (die gemeinschaftlich als die Photodetektorarrays 302 bezeichnet werden), die im wesentlichen senkrecht zueinander konstruiert sind, und umfaßt Linsen 406A und 406B (die gemeinschaftlich als die Linsen 406 bezeichnet werden). Die Photodetektorarrayanordnung 400 ist ähnlich der Anordnung 300, aber das Ende eines Arrays 302A ist bei der Anordnung 400 in der Nähe des Endes des zweiten Arrays 302B positioniert, wobei bei der Anordnung 300 das Ende des einen Arrays 302A in der Nähe der Mitte des zweiten Arrays 302B positioniert ist und nicht in der Nähe des Endes des zweiten Arrays 302B.
Wie bei der Anordnung 300 ist ein Ausführungsbeispiel der Photodetektorarrayanordnung 400 in drei Dimensionen drehbar und/oder ist linear in drei Dimensionen bewegbar. Unter Verwendung der Linsen 406 zum Fokussieren von Fernfeldobjekten 204 auf den aktiven Oberflächen 304A und 304B der Photodetektorarrays 302A und 302B kann eine Winkelrelativbewegung in drei Dimensionen bestimmt werden. Die Anordnung 400 kann ferner eine dreidimensionale, lineare Relativbewegung erfassen.
Bei einer Form der Erfindung sind die Linsen 406 Standardlinsen zum Fokussieren von Fernfeldbildern, wie zum Beispiel jene, die bei vielen aktuell erhältlichen, kostengünstigen Kameras verwendet werden. Derartige Linsen weisen üblicherweise eine Feldtiefe von ungefähr 0,6 m (2 Fuß) bis unendlich auf, so daß Objekte innerhalb dieses Distanzbereichs und innerhalb des Blickfeldes 402 oder 404 der Linsen 406 im Fokus sind. Bei einem alternativen Ausführungsbeispiel wird ein Autofokussystem zum Fokussieren von Bildern auf Arrays 302 verwendet.
Eine bevorzugte Bewegungserfassungstechnik gemäß der vorliegenden Erfindung unter Verwendung der Photodetektorarrayanordnung 300 oder 400 umfaßt das optische Erfassen einer Bewegung durch direktes Bilderzeugen der verschiedenen bestimmten optischen Merkmale, die auf die Arrays 302 projiziert werden als ein Array von Pixeln. Das Licht, das von einem Satz von Fernfeldobjekten 204 reflektiert wird, wird durch die Linsen 406 auf die aktiven Oberflächen 304 eines geeigneten Arrays von Photodetektoren 302 fokussiert. Die Antworten der individuellen Photodetektoren werden in eine geeigneten Auflösung digitalisiert und als ein Rahmen in entsprechende Positionen innerhalb eines Speicherarrays gespeichert. Die digitalisierten Bilder werden korreliert, um Bewegungsinformationen zu bestimmen.
5 zeigt ein elektrisches Blockdiagramm, das Hauptkomponenten eines Bewegungssensors 500 für eine dreidimensionale Relativbewegung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt. Der Bewegungssensor 500 umfaßt Linsen 406, lichtempfindliche Photosensoren 548A–548C (gemeinschaftlich bezeichnet als Photosensoren 548) und eine Steuerung 502. Die Steuerung 502 umfaßt eine elektronische Verriegelung 550 mit einer ersten Mehrzahl von Schaltern 551A–551C (gemeinschaftlich bezeichnet als Schalter 551) und einer zweiten Mehrzahl von Schaltern 553A–553C (gemeinschaftlich bezeichnet als Schalter 553). Die Steuerung 502 umfaßt ferner eine Mehrzahl von Erfassungskondensatoren 554A–554C (gemeinschaftlich bezeichnet als Erfassungskondensatoren 554), einen Multiplexer 556, einen Verstärker 557, einen Analog/Digital-(A/D-)Wandler 558, einen Korrelierer 560, eine Systemsteuerung 562 und eine Verriegelungssteuerung 564.
Die Operation der Steuerung 502 wird primär durch die Systemsteuerung 562 gesteuert, die mit dem Multiplexer 556, dem A/D-Wandler 558, dem Korrelierer 560 und der Verriegelungssteuerung 564 gekoppelt ist. In Betrieb wird das Licht gemäß einem Ausführungsbeispiel auf eine Oberfläche gerichtet oder auf einen Satz von Fernfeldobjekten 204. Das von der Oberfläche 204 reflektierte Licht wird durch Linsen 406 auf lichtempfindliche Photosensoren 548 gerichtet. Die Photosensoren 548 stellen Photodetektoren in Arrays 302 dar und werden ferner als Photodetektoren 548 bezeichnet. Bei einem Ausführungsbeispiel liefern die Photodetektoren 548 jeweils einen Strom, dessen Größe basierend auf der Lichtintensität variiert, die auf die Photodetektoren 548 einfällt.
Die Verriegelungsschalter 551 und 553 werden durch ein Verriegelungssignal von der Verriegelungssteuerung 564 gesteuert. Eine elektronische Verriegelung 550 ist „offen”, wenn die Schalter 551 offen und die Schalter 553 geschlossen sind, und eine elektronische Verriegelung 550 ist „geschlossen”, wenn die Schalter 553 offen sind. Die Schalter 551 sind mit einer Referenzspannung (V_REF) gekoppelt. Wenn die Verriegelungsschalter 551 offen sind und die Verriegelungsschalter 553 geschlossen sind (d. h. der Verriegelungsschalter 550 ist offen), sammelt sich die Ladung an den Erfassungskondensatoren 554 an und erzeugt eine Spannung, die mit der Intensität des Lichts, das auf die Photodetektoren 548 einfällt, in Beziehung steht. Wenn die Verriegelungsschalter 553 geöffnet sind (d. h. die elektronische Verriegelung 550 ist geschlossen) sammelt sich keine weitere Ladung an oder geht von den Erfassungskondensatoren 554 verloren. Der Multiplexer 556 verbindet jeden Erfassungskondensator 554 wiederum mit dem Verstärker 557 und dem A/D-Wandler 558, um die Spannung von jedem Erfassungskondensator 554 zu verstärken und in einen digitalen Wert umzuwandeln. Die Erfassungskondensatoren 554 werden dann durch Schließen der Schalter 551 und 553 entladen. Nach dem Entladen der Erfassungskondensatoren 554 werden die Schalter 551 geöffnet, so daß der Ladeprozeß wiederholt werden kann.
Basierend auf dem Spannungspegel der Erfassungskondensatoren 554 erzeugt der A/D-Wandler 558 einen digitalen Wert einer geeigneten Auflösung (z. B. ein bis acht Bit), der den Spannungspegel anzeigt. Die digitalen Werte stellen digitale Bilder oder digitale Darstellungen der optischen Bilder dar, die durch die Linsen 406 auf die Arrays 302 gerichtet werden. Die digitalen Werte können verarbeitet werden, dann als Rahmen in entsprechende Positionen innerhalb eines Speicherarrays innerhalb des Korrelators 560 gespeichert werden. Bei einem Ausführungsbeispiel entspricht jedes Pixel in einem Rahmen einem der Photodetektoren 548.
Die Gesamtanzahl von Photodetektoren 548 für jedes Array 302 ist vorzugsweise groß genug, um ein Bild zu empfangen, das verschiedene Merkmale aufweist. Auf diese Weise erzeugen Bilder derartiger Merkmale umgewandelte Muster von Pixelinformationen wenn sich die Photodetektorarrayanordnung 300 oder 400 bewegt. Die Anzahl von Photodetektoren 548 in jedem Array 302 und die Rahmengeschwindigkeit, mit der ihre Inhalte digitalisiert und erfaßt werden, arbeiten zusammen, um zu beeinflussen, wie schnell die Photodetektorarrayanordnung 300 oder 400 bewegt und trotzdem noch nachverfolgt werden kann. Das Nachverfolgen wird durch den Korrelator 560 durch Vergleichen neu erfaßter Musterrahmen mit vorangehend erfaßten Referenzrahmen erreicht, um die Bewegungsinformationen zu bestätigen.
Bei einem Ausführungsbeispiel wird der gesamte Inhalt von einem dieser Rahmen durch den Korrelator 560 um eine Distanz eines Pixels nacheinander in jede der acht Richtungen verschoben, was durch eine Pixelversatz-Versuchverschiebung (eins rüber, eins rüber, eins nach unten, eins nach unten, eins nach oben, eins nach oben, und eins rüber, eins rüber in die andere Richtung, etc.) ermöglicht wird. Dies ergibt insgesamt acht Versuche. Da vielleicht keine Bewegung stattgefunden hat wird ferner ein neunter Versuch „Nullverschiebung” verwendet. Nach jeder versuchten Verschiebung werden jene Abschnitte der Rahmen, die überlappen durch den Korrelator 560 auf einer Pixel-für-Pixel-Basis abgezogen, und die resultierenden Differenzen werden vorzugsweise hoch 2 genommen und dann summiert, um ein Maß der Ähnlichkeit (Korrelation) innerhalb dieser Überlappungsregion zu bilden. Es sind größere Versuchsverschiebungen möglich, natürlich (z. B. zwei rüber und zwei nach unten), aber an einem bestimmten Punkt ruiniert die damit verbundene Komplexität den Vorteil und es wird bevorzugt, eine ausreichend hohe Rahmengeschwindigkeit mit geringen Versuchsverschiebungen zu haben. Die Versuchsverschiebung mit der geringsten Differenz (höchste Korrelation) kann als eine Anzeige der Bewegung zwischen den zwei Rahmen genommen werden.
Bei einem Ausführungsbeispiel werden zwei aufeinanderfolgende Rahmen von einem Photodetektorarray 302A korreliert, zwei aufeinanderfolgende Rahmen von einem zweiten Photodetektorarray 302B werden korreliert und dann werden die Ergebnisse dieser zwei Korrelationen korreliert, um die Informationen der dreidimensionalen Relativbewegung zu bestimmen. Durch das Korrelieren von Bildern von jedem Array 302 getrennt und durch nachfolgendes Korrelieren der Ergebnisse kann die Photodetektorarrayanordnung 300 oder 400 zwischen Drehung und Translation unterscheiden. Wenn die Anordnung 300 oder 400 zum Beispiel nach links oder rechts gedreht wird (z. B. um die Y-Achse in 3 gedreht wird) dann sind die Bewegungsinformationen, die von dem Array 302A erhalten werden ähnlich dem Bewegungsinformationen, die von dem Array 302B erhalten werden. Im Gegensatz dazu, wenn die Anordnung 300 oder 400 linear übersetzt wird, zum Beispiel entlang der X-Achse in 3, ändern sich die Bilder des Arrays 302A wahrscheinlich wesentlich, wobei die Bilder des Arrays 304B sich vielleicht nicht viel ändern. Bei dieser linearen Translation sind die Bewegungsinformationen, die von den Arrays 302A und 302B erhalten werden, wahrscheinlich sehr unterschiedlich.
Zusätzlich zum Bereitstellen digitaler Bilder an dem Korrelator 560 gibt der A/D-Wandler 558 ferner digitale Bilddaten an die Verriegelungssteuerung 564 aus. Die Verriegelungssteuerung 564 hilft sicherzustellen, daß aufeinanderfolgende Bilder ein ähnliches Erscheinungsbild aufweisen, und hilft zu verhindern, daß die digitalen Werte auf einen Wert gesättigt werden. Die Steuerung 564 prüft die Werte der digitalen Bilddaten und bestimmt, ob zu viele Minimalwerte oder zu viele Maximalwerte vorhanden sind. Wenn zu viele Minimalwerte vorhanden sind, erhöht die Steuerung 564 die Ladungsakkumulationszeit der elektronischen Verriegelung 550. Wenn zu viele Maximalwerte vorhanden sind senkt die Steuerung 564 die Ladungsakkumulationszeit der elektronischen Verriegelung 550.
Ein Fachmann auf dem Gebiet wird erkennen, daß die Funktionen, die durch den Bewegungssensor 500 durchgeführt werden in der Hardware, der Software, der Firmware oder einer Kombination aus denselben implementiert sein können. Die Implementierung kann über einen Mikroprozessor, eine programmierbare Logikvorrichtung oder eine Zustandsmaschine erfolgen. Komponenten der vorliegenden Erfindung können in der Software oder einem oder mehreren computerlesbaren Medien vorliegen. Der Ausdruck computerlesbares Medium, wie er hierin verwendet wird, ist definiert, um jegliche Art von Speicher zu umfassen, flüchtig oder nicht flüchtig, wie zum Beispiel Disketten, Festplatten, CD-ROMs, Flashspeicher, Nur-Lese-Speicher (ROM) und Direktzugriffsspeicher.
Ausführungsbeispiele der vorliegenden Erfindung können praktisch bei jeglicher Anwendung verwendet werden, bei der die Erfassung einer dreidimensionalen Relativbewegung erwünscht ist, einschließlich elektronischer Spielanwendungen. Die Ausführungsbeispiele der vorliegenden Erfindung können zum Beispiel zum Steuern der Bewegung eines Objekts (z. B. eines Bildschirmzeigers) verwendet werden, der auf einem Anzeigebildschirm für eine elektronische Vorrichtung angezeigt wird. Ein Ausführungsbeispiel der vorliegenden Erfindung kann auf dem Kopf einer Person positioniert sein, so daß sich dasselbe nach links oder rechts neigt, nach oben oder nach unten nickt oder andere Bewegungen macht, die den dreidimensionalen Relativbewegungsdaten entsprechen, die erzeugt und durch den Sensor 500 ausgegeben werden, wenn sich der Kopf der Person nach links oder rechts dreht.
Die Verwendung von mehreren zweidimensionalen Sensorarrays liefert eine erhöhte Winkelauflösung gegenüber der, die durch ein einzelnes Array erhalten werden kann, und erfordert weniger komplexe Bildverarbeitungsalgorithmen. Zusätzlich zu der Erfassung einer dreidimensionalen Relativbewegung können mehrere zweidimensionale Sensorarrays ferner verwendet werden, um Fehler bei optischen Navigationssystemen zu reduzieren. Eine große Fehlerquelle bei optischen Navigationssystemen ist der Abrundefehler. Abrundefehler neigen dazu, ein Nullmittel aufzuweisen, so daß der RMS-Wert durch die Verwendung von mehreren Sensorarrays gesenkt werden kann, wie zum Beispiel den Sensorarrayanordnungen 300 oder 400.

Claims

Ein Verfahren mit einer Vorrichtung (500) zum Erfassen einer dreidimensionalen Relativbewegung, wobei die Vorrichtung folgende Merkmale aufweist: einen bewegbaren Bewegungssensor (300 oder 400), der ein erstes und ein zweites zweidimensionales Array von Photodetektoren (302A und 302B) aufweist; und mindestens eine Linse (406A und 406B) zum Richten von Fernfeldbildern auf das erste und das zweite Array von Photodetektoren, wobei das Verfahren aufweist: Erzeugen digitaler Darstellungen der Fernfeldbilder, Erzeugen dreidimensionaler Relativbewegungsdaten basierend auf einer Korrelation der digitalen Darstellungen der Fernfeldbilder, Korrelieren zweier aufeinanderfolgender Bilder von dem ersten zweidimensionalen Array von Photodetektoren (302A), Korrelieren zweier aufeinanderfolgender Bilder von dem zweiten zweidimensionalen Array von Photodetektoren (302A), und Korrelieren der Ergebnisse dieser zwei Korrelationen, und wobei die Bewegungsdaten anzeigend für die Bewegung des Sensors in drei Dimensionen sind.
Verfahren gemäß Anspruch 1, bei dem die dreidimensionalen Relativbewegungsdaten relative dreidimensionale Winkelrotationsdaten aufweisen, die für die Drehung des Sensors in drei Dimensionen anzeigend sind.
Verfahren gemäß Anspruch 1 oder 2, bei dem die dreidimensionalen Relativbewegungsdaten relative dreidimensionale Translationsdaten aufweisen, die für die lineare Bewegung des Sensors in drei Dimensionen anzeigend sind.
Verfahren gemäß einem der Ansprüche 1 bis 3, bei dem die dreidimensionalen Relativbewegungsdaten relative dreidimensionale Winkelrotationsdaten aufweisen, die für die Drehung des Sensors in drei Dimensionen anzeigend sind, und dreidimensionale Relativtranslationsdaten, die für die lineare Bewegung des Sensors in drei Dimensionen anzeigend sind.
Verfahren gemäß einem der Ansprüche 1 bis 4, bei dem die mindestens eine Linse eine erste Linse (406A) zum Richten von Fernfeldbildern auf das erste Array von Photodetektoren, und eine zweite Linse (406B) zum Richten von Fernfeldbildern auf das zweite Array von Photodetektoren aufweist.
Verfahren gemäß einem der Ansprüche 1 bis 5, bei dem das erste zweidimensionale Array von Photodetektoren senkrecht zu dem zweiten zweidimensionalen Array von Photodetektoren positioniert ist.
Verfahren zum Erfassen einer dreidimensionalen Relativbewegung, das folgende Schritte aufweist: Bereitstellen eines ersten und zweiten zweidimensionalen Arrays von Photodetektoren (302A und 302B); Richten eines ersten Satzes von Fernfeldbildern auf das erste und das zweite Array von Photodetektoren; Digitalisieren (558) der Ausgaben der Photodetektoren in dem ersten und dem zweiten Array, wodurch ein erster Satz von digitalen Darstellungen der Fernfeldbilder erzeugt wird; Ermöglichen einer ersten Bewegung des ersten und des zweiten Arrays von Photodetektoren; Richten eines zweiten Satzes von Fernfeldbildern auf das erste und das zweite Array von Photodetektoren; Digitalisieren der Ausgaben der Photodetektoren in dem ersten und dem zweiten Array, wodurch ein zweiter Satz von digitalen Darstellungen der Fernfeldbilder erzeugt wird; Korrelieren der digitalen Darstellungen der Ausgabe der Photodetektoren des ersten Arrays in dem ersten Satz mit digitalen Darstellungen der Ausgabe der Photodetektoren des ersten Arrays in dem zweiten Satz; Korrelieren der digitalen Darstellungen der Ausgabe der Photodetektoren des zweiten Arrays in dem ersten Satz mit digitalen Darstellungen der Ausgabe der Photodetektoren des zweiten Arrays in dem zweiten Satz; Korrelieren der Ergebnisse dieser zwei Korrelationen; und Erzeugen eines Satzes von Bewegungsdaten basierend auf der Korrelation, die die Relativbewegung des ersten und des zweiten Arrays in drei Dimensionen anzeigt.
Verfahren gemäß Anspruch 7, bei dem die Bewegungsdaten dreidimensionale, relative Winkelrotationsdaten aufweisen, die für die Drehung des ersten und des zweiten Arrays in drei Dimensionen anzeigend sind.
Verfahren gemäß Anspruch 7 oder 8, bei dem die Bewegungsdaten dreidimensionale Relativtranslationsdaten aufweisen, die für die lineare Bewegung des ersten und des zweiten Arrays in drei Dimensionen anzeigend sind.
Verfahren gemäß einem der Ansprüche 7 bis 9, bei dem die Bewegungsdaten dreidimensionale Relativwinkelrotationsdaten aufweisen, die für die Drehung des ersten und des zweiten Arrays in drei Dimensionen anzeigend sind, und dreidimensionale Relativtranslationsdaten, die für die lineare Bewegung des ersten und des zweiten Arrays in drei Dimensionen anzeigend sind.
Verfahren gemäß einem der Ansprüche 7 bis 10, bei dem das erste zweidimensionale Array von Photodetektoren senkrecht zu dem zweiten zweidimensionalen Array von Photodetektoren aufgebaut ist.
Verfahren gemäß einem der Ansprüche 7 bis 11, das ferner folgende Merkmale aufweist: Ausgeben der Bewegungsdaten an eine elektronische Vorrichtung, die einen Anzeigebildschirm aufweist; und Bewegen eines Objekts, das auf dem Anzeigebildschirm angezeigt ist, basierend auf den Bewegungsdaten.
Verfahren mit einer Vorrichtung (500) zum Erfassen einer dreidimensionalen Relativbewegung, wobei die Vorrichtung folgende Merkmale aufweist: ein erstes und ein zweites zweidimensionales Array von Photodetektoren (302A und 302B), die zueinander in einer senkrechten Anordnung aufgebaut sind; eine erste Linse (406A) zum Richten von Fernfeldbildern auf das erste Array von Photodetektoren; eine zweite Linse (406B) zum Richten von Fernfeldbildern auf das zweite Array von Photodetektoren; und eine Steuerung (502), die mit dem ersten und dem zweiten Array von Photodetektoren gekoppelt ist, wobei das Verfahren aufweist: Erzeugen digitaler Darstellungen der Fernfeldbilder, Erzeugen von Bewegungsdaten basierend auf einer Korrelation der digitalen Darstellungen der Fernfeldbilder, Korrelieren zweier aufeinanderfolgender Bilder von dem ersten zweidimensionalen Array von Photodetektoren (302A), Korrelieren zweier aufeinanderfolgender Bilder von dem zweiten zweidimensionalen Array von Photodetektoren (302A), und Korrelieren der Ergebnisse dieser zwei Korrelationen, und wobei die Bewegungsdaten die Bewegung des ersten und des zweiten Arrays in drei Dimensionen anzeigen.
Verfahren gemäß Anspruch 13, bei dem die Bewegungsdaten dreidimensionale Relativwinkelrotationsdaten aufweisen, die anzeigend für die Rotation des ersten und zweiten Arrays in drei Dimensionen sind.
Verfahren gemäß Anspruch 13 oder 14, bei dem die Bewegungsdaten dreidimensionale Relativtranslationsdaten aufweisen, die anzeigend für eine lineare Bewegung des ersten und des zweiten Arrays in drei Dimensionen sind.
Verfahren gemäß einem der Ansprüche 13 bis 15, bei dem die Bewegungsdaten dreidimensionale Relativwinkelrotationsdaten aufweisen, die anzeigend für die Rotation des ersten und des zweiten Arrays in drei Dimensionen sind, und dreidimensionale Relativtranslationsdaten, die anzeigend für die lineare Bewegung des ersten und des zweiten Arrays in drei Dimensionen sind.
Verfahren mit einer Vorrichtung (500) zum Erfassen einer dreidimensionalen Relativbewegung, wobei die Vorrichtung folgende Merkmale aufweist: einen bewegbaren Bewegungssensor (300 oder 400), der ein erstes und ein zweites zweidimensionales Array von Photodetektoren (302A und 302B) aufweist, wobei das erste zweidimensionale Array von Photodetektoren (302A) senkrecht zu dem zweiten zweidimensionalen Array von Photodetektoren (302B) angeordnet ist; und mindestens eine Linse (406A und 406B) zum Richten von Fernfeldbildern auf das erste und zweite Array von Photodetektoren, wobei das Verfahren aufweist: Erzeugen digitaler Darstellungen der Fernfeldbilder, Erzeugen dreidimensionaler Relativbewegungsdaten basierend auf den digitalen Darstellungen der Fernfeldbilder, Korrelieren zweier aufeinanderfolgender Bilder von dem ersten zweidimensionalen Array von Photodetektoren (302A), Korrelieren zweier aufeinanderfolgende Bilder von dem zweiten zweidimensionalen Array von Photodetektoren (302A), und Korrelieren der Ergebnisse dieser zwei Korrelationen, und wobei die Bewegungsdaten anzeigend für die Bewegung des Sensors in drei Dimensionen sind.