DE10232415A1

DE10232415A1 - Eingabegerät für eine Datenverarbeitungsanlage

Info

Publication number: DE10232415A1
Application number: DE2002132415
Authority: DE
Inventors: Bernd Holz Auf Der Heide
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2002-07-17
Filing date: 2002-07-17
Publication date: 2003-10-23

Abstract

Offenbart ist ein Eingabegerät für eine Datenverarbeitungsanlage. Das Eingabegerät umfasst dabei einen ersten optischen Sensor (SER) zum Erfassen eines oberhalb des Sensors befindlichen zumindest einen Objekts und zum Ausgeben eines ersten Bildes. Es umfasst ferner einen um einen bestimmten Abstand von dem ersten optischen Sensor (SER) beabstandeten zweiten optischen Sensor (SEL) zum Erfassen des oberhalb des Sensors befindlichen zumindest einen Objekts und zum Ausgeben eines zweiten Bildes desselben. Ferner umfasst das Eingabegerät eine Auswerteeinrichtung bzw. Steuereinheit zum Berechnen einer räumlichen Position des zumindest einen Objekts durch Vergleich des ersten und des zweiten Bildes und zum Erzeugen eines Steuersignals für die Datenverarbeitungsanlage (COM) in Abhängigkeit der berechneten räumlichen Position. Das erfindungsgemäße Eingabegerät ermöglicht eine verschleißfreie sowie intuitive Steuerung bzw. Interaktion auch in virtuellen (dreidimensionalen) Räumen.

Description

Die vorliegende Erfindung betrifft ein Eingabegerät für eine Datenverarbeitungsanlage, eine Datenverarbeitungsanordnung mit einer Datenverarbeitungsanlage und einem damit verbundenen Eingabegerät, sowie ein Verfahren zum Steuern einer Datenverarbeitungsanlage.
Im Stand der Technik gibt es verschiedenste Geräte für die Eingabe von dreidimensionalen Bewegungs- und Positionsdaten. Ihr Haupteinsatzgebiet liegt im Bereich des computergestützten Entwurfs (CAD), der virtuellen Realität, der Visualisierung von mehrdimensionalen Daten sowie der Simulation usw.
Ein einfaches 3D-Eingabegerät, das insbesondere für Aufgaben in der Konstruktion und Architektur eingesetzt wird, ist die sogenannte "Knob-Box", die für jeden der sechs Freiheitsgrade im Raum (drei Freiheitsgrade für die Position und drei Freiheitsgrade für die Orientierung im Raum) einen separaten Drehknopf bzw. Drehregler hat. Eine weitere Gruppe von Eingabegeräten zur Eingabe von 3D-Steuersignalen, die insbesondere im Bereich der virtuellen Realität eingesetzt werden, bilden stationäre Geräte mit einer beweglichen Kappe oder Kugel. Diese lässt sich gegenüber einer Null-Lage, die das Gerät bei Nichtbenutzung automatisch einnimmt, auslenken oder verkippen. Die Daten der sechs Freiheitsgrade werden aus der Stärke und Richtung der Auslenkung berechnet und relativ als Bewegungs- bzw. Rotationsgeschwindigkeit geliefert. Produkte dieser Gruppe sind beispielsweise der "Space-Ball 2003", der "Geoball" und die "Space-Mouse". Eine weitere Gruppe von Eingabegeräten im Bereich der virtuellen Realität bilden sogenannte Datenhandschuhe ("Data Gloves"). Hierbei werden Krümmungen der einzelnen Handgelenke bzw. Fingergelenke erfasst. Zusätzlich wird die Lage und Position nach einem Sender- Empfänger-Prinzip ermittelt. Geräte dieser Art sind beispielsweise der "VPL Data Glove", der "Dexterous Hand Master", der "Cyber Glove" oder der "Power Glove".
Bei all diesen genannten 3D-Eingabegeräten müssen letztlich bestimmte Teile oder Elemente (beispielsweise Drehregler, Kappen usw.) bewegt bzw. bedient werden, was im Sinne einer möglichst intuitiven und verschleißfreien Benutzung einen gravierenden Nachteil darstellt.
Es ist somit die Aufgabe der vorliegenden Erfindung, eine Eingabemöglichkeit zu schaffen, durch die auf einfache Weise komplexe Eingaben in eine Datenverarbeitungsanlage durchführbar sind.
Diese Aufgabe wird durch ein Eingabegerät gemäß Anspruch 1, durch eine Datenverarbeitungsanordnung gemäß Anspruch 11 und durch ein Verfahren zum Steuern einer Datenverarbeitungsanlage gemäß Anspruch 15 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
Der Kern der Erfindung liegt darin, ein bestimmtes Objekt bzw. Steuerobjekt aus zwei unterschiedlichen Perspektiven zu erfassen, um durch einen Vergleich von korrespondierenden Bildern aus den unterschiedlichen Perspektiven die räumliche Position bzw. Änderung der räumlichen Position zu berechnen und ein Steuersignal in Abhängigkeit der Position bzw. der Änderung der Position des Steuerobjekts zur Steuerung einer Datenverarbeitungsanlage zu erzeugen.
Ein Eingabegerät für eine Datenverarbeitungsanlage hat dabei insbesondere folgende Merkmale. Es weist einen ersten optischen Sensor zum Erfassen eines zumindest einen Objekts bzw. Steuerobjekts und zum Ausgeben eines ersten Bildes desselben auf. Ferner hat das Eingabegerät einen um einen bestimmten Abstand von dem ersten optischen Sensor beabstandeten zweiten optischen Sensor zum Erfassen des zumindest einen Objekts (aus einer anderen Perspektive) und zum Ausgeben eines zweiten Bildes desselben. Außerdem hat das Eingabegerät eine Auswerteeinrichtung zum Berechnen einer räumlichen Position des zumindest einen Objekts durch Vergleich des ersten und des zweiten Bildes, und zum Erzeugen eines Steuersignals für die Datenverarbeitungsanlage in Abhängigkeit der berechneten räumlichen Position bzw. in Abhängigkeit der Änderung der räumlichen Position. Das zumindest eine Objekt kann dabei eine Mehrzahl (zwei oder mehr) Objekte umfassen, die insbesondere Teil eines dreidimensionalen Gegenstands sind. Beispielsweise kann ein derartiger dreidimensionaler Gegenstand eine Hand sein, und können die speziell erfassten (Steuer-)Objekte charakteristische Merkmale der Hand, wie die Fingernägel sein, wobei der unterschiedliche Reflexionsgrad von Haut und Fingernägeln an der Hand dabei die Präzision bei der Erkennung von (Steuer-)Objekte und somit bei der Bestimmung der räumlichen Position dieser Objekte erhöht. Durch die Verwendung von mehreren (Steuer-)Objekten ist es zum Einen möglich, die räumlichen Position dieser Steuerobjekte zu erfassen und es ist ferner möglich, wenn diese (Steuer-)Objekte einem dreidimensionalen Gegenstand zugeordnet sind, Bewegungen dieses dreidimensionalen Gegenstands im Raum, d. h. Positionsänderungen der einzelnen (Steuer-)Objekte zu erfassen. Diese Bewegungen im Raum können dabei Translationsbewegungen, beispielsweise in einem kartesischen Koordinationssystem in X-, Y-, bzw. Z-Richtung, umfassen. Sie können jedoch auch im Falle der Erfassung mehrerer Objekte eines dreidimensionalen Gegenstands Rotationen dieses Gegenstands im Raum, wie ein Nicken, Gieren bzw. Rollen, umfassen.
Gemäß einer vorteilhaften Ausgestaltung werden als optische Sensoren optische Kameras, wie CCD(Charged Coupled Device: Ladungsgekoppelte Vorrichtung)-Kameras oder CMOS(Complementary Metal-Oxide Semiconductor: komplementäre Metall-Oxid- Halbleiter)-Kameras verwendet, um Bilder des zumindest einen Objekts bzw. Steuerobjekts zu erfassen. Diese erfassten Bildern können dann nach Prinzipien bzw. Algorithmen zur Mustererkennung, die technisch als Soft- oder Hardware realisiert sein können, miteinander verglichen bzw. ausgewertet werden. In dem Fall, in dem beispielsweise eine Hand eines Benutzers des Eingabegeräts als "Steuerobjekt" bzw. "Steuergegenstand" dient, können mittels der optischen Sensoren bzw. Kameras Bilder der Hand aus zwei verschiedenen Positionen erfasst werden. In einem dafür vorgesehenen Mustererkennungsverfahren können dann bestimmte charakteristische Merkmale der Hand festgelegt werden, die die Auswerteeinrichtung sowohl aus dem ersten als auch aus dem zweiten erfassten Bild extrahiert. Auf Grund der Stereo-Disparität, die sich aus dem Vergleich der Bilder des ersten und des zweiten optischen Sensors ergibt, kann die Auswerteeinheit dann nach Erkennung bzw. Extraktion der bestimmten Handcharakteristika die räumliche Position dieser Handcharakteristika bezüglich des Eingabegeräts berechnen. Genauer gesagt, kann die räumliche Position eines bestimmten Handcharakteristikums (in der Funktion eines Steuerobjekts) aus dem unterschiedlichen Ort der Abbildung auf der jeweiligen Sensorfläche des ersten und des zweiten optischen Sensors, und somit an Hand des unterschiedlichen Orts in dem jeweilig erzeugten ersten und zweiten Bild berechnet werden. Auf die gerade erwähnte Art und Weise kann somit eine intuitive, einfache und auch verschleißfreie Steuerung bzw. Interaktion mit einem Eingabegerät zur Eingabe von dreidimensionalen Steuerdaten geschaffen werden, was insbesondere vorteilhaft für die Interaktion mit Anwendungen bzw. Software- Anwendungen im Bereich der virtuellen Realität ist.
Gemäß einer vorteilhaften Ausgestaltung umfasst das Eingabegerät ferner eine erste Lichtquelle zum Beleuchten des zumindest einen Objekts bzw. Steuerobjekts mit Licht einer bestimmten Wellenlänge, wobei der erste und der zweite optische Sensor an die bestimmte Wellenlänge angepasst sind. Das bedeutet, der erste und der zweite optische Sensor sind in der Lage, das Licht mit der bestimmten Wellenlänge und somit ein jeweiliges Bild des zumindest einen Objekts zu erfassen. Es ist jedoch auch möglich, dass das Eingabegerät eine erste Lichtquelle zum Beleuchten des zumindest einen Objekts mit Licht einer bestimmten ersten Wellenlänge und eine zweite Lichtquelle zum Beleuchten des zumindest einen Objekts mit Licht einer bestimmten zweiten Wellenlänge aufweist, wobei der erste optische Sensor an die bestimmte erste Wellenlänge und der zweite optische Sensor an die bestimmte zweite Wellenlänge angepasst sind. Das bedeutet, durch die letztere Ausgestaltung können zwei völlig getrennte optische Einheiten aus Lichtquelle bzw. Lichtsender und optischem Sensor geschaffen werden, was durch die Verwendung von Lichtquellen unterschiedlicher Wellenlänge und darauf abgestimmter optischer Sensoren, insbesondere Kameras, erreicht wird. Diese Abstimmung der optischen Sensoren bzw. Kameras kann dadurch erreicht werden, dass optische Vorsatzfilter an den optischen Sensoren vorgesehen werden, die bewirken, dass nur Licht mit einer bestimmten Wellenlänge bzw. bestimmten Wellenlängen auf den optischen Sensor trifft. Durch die Verwendung von Licht mit bestimmten verschiedenen Wellenlängen pro optischer Einheit ist es möglich, gegenseitige Störungen und Beeinflussungen der optischen Einheiten zu vermeiden.
Gemäß einer vorteilhaften Ausgestaltung liegen die Wellenlängen des Lichts der jeweiligen ersten und/oder zweiten Lichtquelle vorteilhafter Weise im Infrarot-Bereich, um Störeinflüsse zu reduzieren und die Erkennungspräzision zu erhöhen. Es ist jedoch auch möglich, andere Wellenlängen, wie die im sichtbaren Bereich des Lichts, zu verwenden.
Gemäß einer vorteilhaften Ausgestaltung weist das Eingabegerät ein vorrichtungseigenes Koordinatensystem mit senkrecht zueinander stehenden X-, Y- und Z-Richtungsachsen auf, so dass sich die Erfassungsebene in einer durch die X- und y- Richtungsachsen aufgespannten Ebene befindet und sich das zumindest eine Objekt "oberhalb" der Erfassungsebene in einem bestimmten Abstand in Z-Richtung von der Erfassungsebene befindet, wobei der erste optische Sensor in einem X-Abstand +a/2 vom Nullpunkt des Koordinatensystems in X-Richtung und der zweite optische Sensor in einem X-Abstand -a/2 vom Nullpunkt des Koordinatensystems in X-Richtung angeordnet sind. Es sei bemerkt, dass der Begriff "oberhalb" nicht eine zwingende Anordnung bzw. Ausrichtung der optischen Sensoren "nach oben" bedeuten soll, sondern vielmehr zum Ausdruck bringen soll, dass sich das zumindest eine Objekt in einem Abstand von den optischen Sensoren bzw. der Erfassungsebene befindet und von den optischen Sensoren erfassbar ist.
Unter Einbeziehung des oben erläuterten vorrichtungseigenen Koordinatensystems des Eingabegeräts kann der erste optische Sensor folgende Merkmale aufweisen. Er kann ein erstes sensoreigenes Koordinatensystem mit senkrecht zueinander stehenden X_r-, Y_r- und Z_r-Richtungsachsen aufweisen, wobei der Nullpunkt des Koordinatensystems um einen bestimmten X-Betrag +a/2 in Richtung der X-Richtungsachse und um einen Z-Betrag -b in Richtung der Z-Richtungsachse bezüglich des Nullpunkts des vorrichtungseigenen Koordinatensystems verschoben ist. Ferner karin der erste optische Sensor eine erste Sensorfläche aufweisen, die sich am Nullpunkt in der X_r-Y_r-Ebene befindet, und kann eine erste Linsenanordnung aufweisen, die sich am Nullpunkt der X_r-Y_r-Ebene in einem Z_r-Abstand b in Z-Richtung über der ersten Sensorfläche befindet.
Wiederum ausgehend von dem vorrichtungseigenen Koordinatensystem kann der zweite optische Sensor folgende Merkmale aufweisen. Er kann ein zweites sensoreigenenes Koordinatensystem mit senkrecht zueinander stehenden X₁-, Y₁- und Z₁ -Richtungsachsen aufweisen, wobei der Nullpunkt des sensoreigenen Koordinatensystems um den X-Betrag -a/2 in Richtung der X- Richtungsachse und um einen Z-Betrag -b in Richtung der Z- Richtungsachse bezüglich des Nullpunkts des vorrichtungseigenen Koordinatensystems verschoben ist. Ferner kann der zweite optische Sensor eine zweite Sensorfläche aufweisen, die sich am Nullpunkt der X₁-Y₁-Ebene befindet, und kann eine zweite Linsenanordnung aufweisen, die sich am Nullpunkt der X₁-Y₁- Ebene in einem Z₁-Abstand b in Z-Richtung über der zweiten Sensorfläche befindet.
Ausgehend von der oben dargestellten Definition des vorrichtungseigenen Koordinatensystems sowie der jeweiligen sensoreigenen Koordinatensysteme lassen sich die X-Koordinate und die Z-Koordinate des zumindest einen Objekts folgendermaßen berechnen. Ausgehend von einer X_r-Koordinate X_r' im ersten sensoreigenen Koordinatensystem, die sich als Schnittpunkt der X_r-Richtungsachse mit einer Geraden ergibt, welche durch das zumindest eine Objekt und die erste Linsenanordnung verläuft, und ausgehend von einer X₁-Koordinate X₁' im zweiten sensoreigenen Koordinatensystem, die sich als Schnittpunkt der X₁-Richtungsachse mit einer Gerade ergibt, welche durch das zumindest eine Objekt und die zweite Linsenanordnung verläuft, kann die X-Koordinate der Position des zumindest einen Objekts im vorrichtungseigenen Koordinatensystem zu X_O = a/2.(X₁' + X_r')/(X₁' - X_r') und kann die Z-Koordinate im vorrichtungseigenen Koordinatensystem zu Z₀ = a.b/(X₁'-X_r') berechnet werden.
Es sei bemerkt, dass bei dem gerade dargestellten Fall der Verwendung eines vorrichtungseigenen Koordinatensystems sowie der sensoreigenen Koordinatensysteme Beziehungen zwischen den Koordinatensystemen derart gewählt worden sind, um eine möglichst einfache mathematische Berechnung der X-Koordinate bzw. Z-Koordinate der Position des zumindest einen Objekts durchführen zu können. Es ist jedoch auch möglich, eine andere Beziehung, beispielsweise der sensoreigenen Koordinatensysteme zu dem vorrichtungseigenen Koordinatensystem zu wählen, wobei in diesem Fall eine Koordinatentransformation durchzuführen ist, um oben beschriebene Berechnungsformeln für die X- oder Z-Koordinate verwenden zu können. Es sei ferner bemerkt, dass an Stelle einer parallelen Anordnung der Sensorflächen der jeweiligen Sensoren, wie sie sich aus der obigen Definition des vorrichtungseigenen Koordinatensystems und den sensoreigenen Koordinatensystemen ergibt, es auch möglich ist, die jeweiligen Sensorflächen der Sensoren derart anzuordnen, dass die jeweiligen Senkrechten der Sensorflächen konvergieren. In diesem Fall ist wiederum eine Anpassung der Koordinaten bzw. eine Koordinatentransformation notwendig, um auf die X-Koordinate bzw. die Z-Koordinate des zumindest einen Objekts schließen zu können.
Gemäß einem weiteren Aspekt der Erfindung wird eine Datenverarbeitungsanordnung geschaffen. Diese umfasst ein Eingabegerät, in einer Ausführung bzw. vorteilhaften Ausgestaltung, wie es oben beschrieben worden ist, und umfasst eine Datenverarbeitungsanlage, die in Abhängigkeit des von dem Eingabegerät erzeugten Steuersignal steuerbar ist. Das bedeutet, wird von dem Eingabegerät beispielsweise eine bestimmte Bewegung eines zumindest einen (Steuer-)Objekts in X- und Z- Richtung erfasst, so kann diese Bewegung als Steuersignal interpretiert werden und in der Datenverarbeitungsanlage einen bestimmten Steuervorgang auslösen.
Insbesondere ist es vorteilhaft, wenn die Datenverarbeitungsanlage eine Anzeigeeinrichtung aufweist, auf der eine Benutzeroberfläche darstellbar ist, wobei auf der Benutzeroberfläche wiederum ein bestimmtes Benutzeroberflächenobjekt darstellbar ist. Hierbei ist es möglich, das zumindest eine Benutzeroberflächenobjekt in Abhängigkeit des von dem Eingabegerät erzeugten Steuersignals zu bewegen oder allgemein zu manipulieren (dessen Größe, dessen Farbe usw. zu ändern).
Gemäß einer vorteilhaften Ausgestaltung ist das Eingabegerät in der Datenverarbeitungsanlage integriert. Es ist jedoch auch möglich, das Eingabegerät als eine separate Vorrichtung (bzw. ein Modul) auszubilden, die jedoch mit der Datenverarbeitungsanlage lösbar verbindbar sein kann. Dadurch wird es ermöglicht, dass die Datenverarbeitungsanlage mit geringen Abmessungen ausgebildet werden kann, und nur im Bedarfsfall durch das Eingabegerät erweitert werden kann.
Gemäß einer weiteren vorteilhaften Ausgestaltung ist die Datenverarbeitungsanlage als ein stationäre Computer, als ein tragbarer Computer, wie ein PDA (PDA: Personal Digital Assistant = Persönlicher Digitaler Assistent), als ein Mobilfunkgerät bzw. Mobiltelefon, oder als eine Kombination aus tragbarem Computer und Mobiltelefon (als eine sogenanntes Smart- Phone) ausgebildet.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Steuern einer Datenverarbeitungsanlage geschaffen, bei dem zunächst ein erstes Bilds von zumindest einem Objekt aus einer ersten Perspektive und ein zweites Bilds des zumindest einen Objekts aus einer zur ersten verschiedenen zweiten Perspektive erzeugt werden. Anschließend wird eine räumliche Position des zumindest einen Objekts durch Vergleich des ersten und des zweiten Bildes berechnet und die Datenverarbeitungsanlage in Abhängigkeit der berechneten räumlichen Position bzw. der Änderung der räumlichen Position des zumindest einen Steuerobjekts gesteuert. Vorteilhafterweise hat die Datenverarbeitungsanlage eine Anzeigeeinrichtung zum Anzeigen einer Benutzeroberfläche, die in Abhängigkeit der berechneten räumlichen Position des zumindest einen Objekts gesteuert wird. Dabei kann die Benutzeroberfläche ferner zumindest ein Benutzeroberflächenobjekt aufweisen, das in Abhängigkeit der berechneten räumlichen Position des zumindest einen Steuerobjekts manipuliert wird.
Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1 eine Draufsicht (auf die X-Y-Ebene) einer Datenverarbeitungsanlage, die ein Eingabegerät bzw. eine Eingabeeinrichtung gemäß einer bevorzugten Ausführungsform der Erfindung aufweist;
Fig. 2 eine schematische Darstellung der wichtigsten Komponenten für ein Eingabegerät gemäß einer bevorzugten Ausführungsform mit Blick auf dessen X-Z-Ebene.
Es sei nun auf Fig. 1 verwiesen, in der eine Draufsicht auf einen kleinen tragbaren Computer COM als Beispiel einer Datenverarbeitungsanlage gezeigt ist. Es sei bemerkt, dass die folgende Beschreibung ohne Einschränkung auch für eine Datenverarbeitungsanlage in Form eines Mobilfunkgeräts bzw. eines Smart-Phones gültig wäre. Von oben nach unten betrachtet umfasst der Computer COM eine Anzeige DSP, auf der eine Benutzeroberfläche zum Interagieren mit einem Benutzer darstellbar ist. Auf der Benutzeroberfläche wird momentan ein Benutzeroberflächenobjekt BOO dargestellt, das über die Benutzeroberfläche bzw. die Anzeige DSP hinweg bewegbar ist. Aus Gründen der besseren Erläuterung der Erfindung sei die Ebene, die die Benutzeroberfläche repräsentiert, die X_BO-Z_BO-Ebene. Die Anzeige DSP ist mit einer Anzeigesteuereinheit AS zur Steuerung der Anzeige DSP bzw. der auf dieser dargestellten Benutzeroberfläche verbunden. Die Anzeigesteuereinheit AS ist mit einer Steuereinheit S, welche wiederum mit wesentlichen Komponenten zum optischen Erfassen zumindest eines über dem Computer COM befindlichen Objekts bzw. Steuerobjekts verbunden ist. Zum Einen ist die Steuereinheit S dabei mit einer Lichtquelle ILQ verbunden, die in diesem Fall eine Infrarotlichtquelle darstellt. Ferner ist die Steuereinheit S mit einer ersten Kamera bzw. einem ersten Kameraelement SER als erstem optischen Sensor verbunden. Außerdem ist die Steuereinheit S mit einer zweiten Kamera bzw. mit einem zweiten Kameraelement SEL als zweitem optischen Sensor verbunden. Somit können die Steuereinheit 5, die Lichtquelle ILQ sowie die Kameras SER und SEL als eine (optische) Eingabeeinrichtung bzw. als Eingabegerät des Computers COM bezeichnet werden.
Die jeweiligen Kameras SER und SEL sind dabei an den von der Infrarotlichtquelle ILQ abgestrahlten Wellenlängenbereich angepasst. Um Störungen und Beeinflussungen der jeweiligen Kameras zu verhindern bzw. um die Erkennungsgenauigkeit zu verbessern, ist es auch möglich, dass die Infrarotlichtquelle ILQ zwei getrennte Lichtabstrahlungsabschnitte aufweist, die jeweils Licht in einem unterschiedlichen Wellenlängenbereich abstrahlen, wobei eine der Kameras (SER oder SEL) an den Wellenlängenbereich eines Lichtabstrahlungsabschnitts und die jeweilige andere Kamera an den anderen Lichtabstrahlungsabschnitt angepasst ist.
Wie es später auch bezüglich Fig. 2 erläutert werden wird, sind die Kameras SER und SEL dafür ausgelegt, ein Objekt bzw. Steuerobjekt aus unterschiedlichen Perspektiven zu erfassen, das sich über dem Computer COM befindet. Die jeweiligen erfassten (zweidimensionalen) Bilder werden dann an die Steuereinheit S weitergeleitet, um anhand der Bilder eine X- oder Y-Koordinate sowie eine Z-Koordinate der Position des Steuerobjekts zu ermitteln. Um eine kontinuierliche bzw. quasi kontinuierliche Erfassung des zumindest einen Steuerobjekts zu ermöglichen, ist es vorteilhaft, eine Mehrzahl von jeweiligen Bildern der Kameras SER und SEL pro Sekunde zu erfassen, beispielsweise im Bereich von 10 bis 20 Bildern pro Sekunde und insbesondere 15 Bilder pro Sekunde.
Der Computer COM umfasst ein vorrichtungseigenes Koordinatensystem, bestehend aus senkrecht zueinander stehenden X-, Y- und Z-Richtungsachsen, wobei in der Draufsicht von Fig. 1 lediglich die X- und Y-Richtungsachsen dargestellt sind und die Z-Richtungsachse senkrecht aus der Bildebene herausragen würde. Außerdem umfassen die jeweiligen Kameras bzw. Kameraelemente SER und SEL sensoreigene Koordinatensysteme mit drei jeweiligen senkrecht zueinander stehenden Richtungsachsen. Dabei sind in Fig. 1 die X_r- und Y_r-Richtungsachsen der ersten Kamera SER und die X₁- und Y₁-Richtungsachsen der zweiten Kamera SEL dargestellt. Wie es ausführlicher in Fig. 2 dargestellt werden wird, ist der Nullpunkt des ersten sensoreigenen Koordinatensystems der ersten Kamera SER um einen Betrag +a/2 vom Nullpunkt des vorrichtungseigenen Koordinatensystems in X-Richtung verschoben. Entsprechend ist der Nullpunkt des zweiten sensoreigenen Koordinatensystems der zweiten Kamera SEL um einen Betrag -a/2 vom Nullpunkt des vorrichtungseigenen Koordinatensystems in X-Richtung, d. h. um einen Betrag a/2 in negativer X-Richtung, verschoben.
Es sei nun auf Fig. 2 verwiesen, anhand der die Bestimmung der räumlichen Position eines zumindest einen Steuerobjekts P erläutert werden soll, das die Koordinaten X_O, Y_O, Z_O im vorrichtungseigenen Koordinatensystem hat. Aus Gründen der übersichtlicheren Darstellung sind in Fig. 2 lediglich die wichtigsten Komponenten einer Eingabevorrichtung bzw. eines Eingabegeräts zur Erläuterung der Bestimmung der räumlichen Position eines Steuerobjekts dargestellt. Dabei zeigt Fig. 2 eine schematische Ansicht auf die X-Z-Ebene des vorrichtungseigenen Koordinatensystems, wie sie auch erhalten wird, wenn beispielsweise in der Darstellung von Fig. 1 von unten nach oben, d. h. entlang der Y-Richtungsachse, auf den Computer COM geblickt wird. In der Mitte von Fig. 2 sind sich schneidende X- und Z-Richtungsachsen des vorrichtungseigenen Koordinatensystems dargestellt. In einem Abstand a/2 nach rechts in Richtung der X-Achse und in einem Abstand b nach unten in Richtung der Z-Richtungsachse befindet sich der Nullpunkt des ersten sensoreigenen Koordinatensystems, der durch den Schnittpunkt der X_r- und Z_r-Richtungsachsen des ersten sensoreigenen Koordinatensystems dargestellt wird. Entsprechend befindet sich um einen Betrag a/2 nach links in Richtung der X-Richtungsachse und in einem Abstand b nach unten in Z- Richtung der Nullpunkt des zweiten sensoreigenen Koordinatensystems, der durch den Schnittpunkt der X₁- und Z₁ -Richtungsachsen des zweiten sensoreigenen Koordinatensystems dargestellt wird. Der Abstand a kann beispielsweise zu 6 cm gewählt werden, um zum einen eine gute Stereo-Disparität zu gewährleisten und zum anderen die Abmessungen der Eingabevorrichtung möglichst gering zu halten.
Eine erste Sensorfläche SFR zum Erfassen eines ersten Bildes befindet sich in der X_r-Y_r-Ebene (vgl. dazu auch Fig. 1) des ersten sensoreigenen Koordinatensystems. Entsprechend befindet sich eine zweite Sensorfläche SFL zum Erfassen eines zweiten Bildes in einer X₁-Y₁-Ebene (vgl. dazu auch Fig. 1) des zweiten sensoreigenen Koordinatensystems. Oberhalb der Sensorflächen SFR befindet sich, um einen Betrag b vom Nullpunkt der Sensorfläche SFR nach oben in Z_r-Richtung verschoben, eine erste optische Baugruppe, wie eine Linse bzw. Linsenanordnung LAR, zum Abbilden eines Bildes des zumindest einen Steuerobjekts P auf der Sensorflächen SFR. Entsprechend befindet sich über der zweiten Sensorfläche SFL eine zweite optische Baugruppe, wie eine Linse bzw. Linsenanordnung LAL, um einen Betrag b vom Nullpunkt des zweiten sensoreigenen Koordinatensystems nach oben in Z₁-Richtung verschoben. Die Linse LAL dient entsprechend dazu, ein Bild des zumindest einen Steuerobjekts P auf der zweiten Sensorfläche SFL abzubilden. Wie es aus der Fig. 2 hervorgeht, befinden sich die Linsen LAL und LAR in einer Ebene, die von den X- und Y- Richtungsachsen des vorrichtungseigenen Koordinatensystem aufgespannt wird. Ferner ist in Fig. 2 zu erkennen, dass die Sensorflächen SFR und SFL in einer Ebene liegen bzw. die Senkrechten der Sensorflächen parallel zueinander verlaufen.
Betrachtet man nun eine Gerade L1 entsprechend einem von dem Steuerobjekt P abgegebenen ersten Lichtstrahl, so verläuft diese Gerade durch die erste Linse LAR hindurch und wird auf der ersten Sensorfläche SFR an der Stelle X_r' abgebildet. Entsprechend verläuft eine zweite Gerade L2 von dem Steuerobjekt P ausgehend durch die zweite Linse LAL und wird auf der zweiten Sensorfläche SFL an der Stelle X₁' abgebildet. Es sei bemerkt, dass bei einer Berechnung der räumlichen Position des Steuerobjekts natürlich für den Parameter X₁' ein negativer Wert einzusetzen ist, wenn sich der Schnittpunkt der Geraden L2 mit der X₁-Richtungsachse links von der Z₁- Richtungsachse befindet.
Ausgehend von der gerade dargestellten Geometrie können die räumlichen Koordinaten X_O und Z_O des Steuerobjekts P im vorrichtungseigenen Koordinatensystem wie folgt berechnet werden:

X₀ = a/2.(X₁' + X_r')/(X₁' - X_r') und

Z_O = a.b/(X₁'- X_r')
Die Ermittlung der Koordinate Y₀ wird hier nicht näher erläutert, da sie unmittelbar anhand der Abbildung auf den Sensorflächen SFR und SFL des Steuerobjekts P in Verbindung mit der berechneten Z_O-Koordinate zu entnehmen ist.
Es sei bemerkt, dass die erste Sensorfläche SFR und die erste Linse LAR Bestandteile der ersten Kamera SER sind und dass die zweite Sensorfläche SFL und die zweite Linse LAL Bestandteile der zweiten Kamera SEL sind.
Wie bereits erwähnt, ist die Steuereinheit S (vergleiche Fig. 1) in der Lage, mittels der von den Kameras SER und SEL erfassten Bildern zumindest eines Steuerobjekts P mit Hilfe obiger Gleichungen die räumliche Position des zumindest einen Steuerobjekts P zu berechnen. Dabei können die von den Kameras SER und SEL erfassten Bilder nach Prinzipien bzw. Algorithmen zur Mustererkennung derart analysiert werden, dass ein Objekt, das bestimmten Kriterien eines Steuerobjekts entspricht, aus den erfassten Bildern extrahiert wird und die entsprechende X_r/1-Position im jeweiligen sensoreigenen Koordinatensystem bestimmt wird. Aufgrund ihrer Funktion kann die Steuereinheit S auch als Auswerteeinheit S bezeichnet werden. Betrachtet man beispielsweise die Erkennung einer Hand oder eines Fingers, so werden aufgrund der unterschiedlichen Reflexionsgrade von Haut und Fingernägeln charakteristische Muster auf den jeweiligen erfassten Bildern zu erkennen sein, die als Muster eines Steuerobjekts identifiziert und extrahiert werden können.
Gemäß einer vorteilhaften Ausgestaltung ist es auch möglich, als Steuerobjekte Objekte zu verwenden, die besondere optische Eigenschaften aufweisen. So ist es beispielsweise möglich, mit einem oder mehreren Fingern einer Hand verbindbare Elemente (z. B. in der Form eines Rings oder eines Fingerhuts, usw.) zu verwenden, die einen sehr hohen Reflexionsgrad für den von der Infrarotlichtquelle ILQ abgestrahlten Wellenlängenbereich des Lichts haben. Diese an den Fingern angebrachten Objekte führen dann zu überdurchschnittlich hellen Bildpunkten auf den durch die Sensorflächen SFR und SFL erfassten Bildern. Zur Verbesserung der Erkennung des einen oder der mehreren Steuerobjekte (im Falle mehrerer Finger einer Hand) kann ein jeweiliges erfasstes Bild, vorzugsweise ein Graustufenbild, der Sensorflächen SFR und SFL einem Binärisierungsprozess unterzogen werden, bei dem Bildpunkte mit einem Graustufenwert über einem vorbestimmten Schwellenwert auf einen "Weiß"-Wert bzw. einen binären "1"-Wert gesetzt werden und die übrigen Bildpunkte auf einen "Schwarz"-Wert bzw. einen binären "0"-Wert gesetzt werden. Ausgehend von einem derartigen bearbeiteten Bild können schließlich weitere Kriterien für die neu gefundenen "weißen" Bildbereiche gefunden werden, die als Steuerobjekte extrahiert werden sollen. Dabei können beispielsweise nur solche weißen Bereiche als Steuerobjekt repräsentierende Bereiche verifiziert werden, die eine bestimmte Form und/oder Größe aufweisen, wobei die übrigen Bereiche verworfen werden und auf einen "Schwarz"- Wert gesetzt werden.
Wurden in einem jeweiligen von den Sensorflächen SFR und SFL erfassten Bild Steuerobjekte erkannt, so können die jeweiligen Koordinaten (X_r/1 und Y_r/1) gespeichert werden, um bei einem folgenden erfassten Bild an diesen oder in der Nähe dieser Koordinaten wieder nach Steuerobjekten suchen zu können. Durch die Kenntnis der Koordinaten von Steuerobjekten in einem vorangegangenen Bild können somit Objekte in der Nähe der vorangegangenen Koordinaten von Steuerobjekten bei einer Plausibilitätsprüfung mit einer höheren Wahrscheinlichkeit des Vorhandenseins von ein Steuerobjekt repräsentierenden weißen Bereichen eingestuft werden, wodurch einen Verfolgung bzw. ein Tracking von Steuerobjekten erleichtert bzw. verbessert wird.
Es sei bemerkt, dass die gerade erläuterte Verwendung von Steuerobjekten mit besonderen optischen Eigenschaften sowie die Erfassung und Ermittlung deren Position nicht nur auf Eingabevorrichtungen anzuwenden ist, deren Lichtquelle und deren Kameras an Licht im infraroten Wellenlängenbereich angepasst ist. Es ist denkbar, die für Licht im infraroten Wellenlängenbereich vorgeschlagenen Prinzipien auch auf Eingabevorrichtungen basierend auf Licht anderer Wellenlängen, wie die des sichtbaren Lichts, anzuwenden.
Ist nun die Steuereinheit S in der Lage, zumindest ein Steuerobjekt P bzw. dessen räumliche Position zu erkennen und mit der Zeit zu folgen, so ist es möglich, entsprechend der räumlichen Position des Steuerobjekts P Steuervorgänge in dem Computer COM durchzuführen. Beispielsweise ist es möglich, das in Fig. 1 dargestellte Benutzeroberflächenobjekt BOO in Abhängigkeit der erfassten X_O-Z_O-Position des Steuerobjekts P auf der Anzeige bzw. Benutzeroberfläche DSP entsprechend zu bewegen, d. h. auf der dort dargestellten X_BO-Z_BO-Ebene zu bewegen. Das bedeutet, durch Erfassen und Analysieren der X_O- Z_O-Position des Steuerobjekts P mittels der Steuereinheit S, kann diese ein dementsprechendes Steuersignal erzeugen und an die Anzeigesteuereinheit AS leiten. Diese wiederum kann Steuersignale an die Anzeige DSP senden, um das Benutzeroberflächenobjekt BOO auf der Benutzeroberfläche bzw. Anzeige DSP zu bewegen.
Es ist jedoch auch möglich, nicht nur Objekte auf der Anzeige DSP des Computers COM zu bewegen, sondern auch andere Steuervorgänge in dem Computer COM auszulösen. Beispielsweise kann auf Grund eines Durchlaufens einer bestimmten Trajektorie des Steuerobjekts, beispielsweise durch Beschreiben eines Kreises, in der X-Z-Ebene ein bestimmtes Anwendungsprogramm aufgerufen werden, kann der Computer COM ausgeschaltet werden, usw. Das Beschreiben von bestimmten Trajektorien kann mittels zumindest einem Steuerobjekt kann beispielsweise auch dazu verwendet werden, um alphanumerische Zeichen oder Symbole den Computer einzugeben.
Durch die Verwendung mehrere Steuerobjekte, die gleichzeitig erfasst werden, ist es möglich, auch komplexe Steuervorgänge auszulösen, wie beispielsweise ein virtuelles Drehen eines Benutzeroberflächenobjekts in einer oder mehreren der drei Raumrichtungen usw.
Es sei noch bemerkt, dass zur Verbesserung der von den Kameras SER, SEL erfassten Bildern, d. h. zum Erhalten von möglichst "scharfen" Bildern, es insbesondere bei stark wechselnden bzw. großen Entfernungen von zu erfassenden Steuerobjekten (z. B. von Fingern) vorteilhaft ist, die Kameras mit jeweiligen Fixiations- bzw. Akkomodationseinheiten zu versehen, welche beispielsweise auf herkömmlichen Autofokus- Techniken basieren. Auf diese Weise ist es möglich, die Präzision der räumlichen Positionsbestimmung weiter zu verbessern. Bezugszeichenliste a Abstand zwischen SER und SEL
AS Anzeigesteuereinheit von COM
b Abstand von SFR zu LAR bzw. von SFL zu LAL
BOO Benutzeroberflächenobjekt
COM tragbarer Computer
DSP Anzeige von COM
ILQ Infrarotlichtquelle von COM
L1 Gerade von P durch LAR zu SFR
L2 Gerade von P durch LAL zu SFL
LAL zweite Linse bzw. Linsenanordnung von SEL
LAR erste Linse bzw. Linsenanordnung von SER
P Steuerobjekt
5 Steuereinheit der optischen Eingabevorrichtung
SEL zweite bzw. linke Kamera von COM
SER erste bzw. rechte Kamera von COM
SFL zweite Sensorfläche von SEL
SFR erste Sensorfläche von SER

Claims

1. Eingabegerät für eine Datenverarbeitungsanlage (COM), mit folgenden Merkmalen:
einem ersten optischen Sensor (SER) zum Erfassen eines oberhalb des Sensors befindlichen zumindest einen Objekts (P) und zum Ausgeben eines ersten Bildes desselben;
einem um einen bestimmten Abstand (a) von dem ersten optischen Sensor (SER) beabstandeten zweiten optischen Sensor (SEL) zum Erfassen des oberhalb des Sensors befindlichen zumindest einen Objekts (P) und zum Ausgeben eines zweiten Bildes desselben;
einer Auswerteeinrichtung (5) zum Berechnen einer räumlichen Position des zumindest einen Objekts durch Vergleich des ersten und des zweiten Bildes, und zum Erzeugen eines Steuersignals für die Datenverarbeitungsanlage (COM) in Abhängigkeit der berechneten räumlichen Position.

2. Eingabegerät nach Anspruch 1, bei dem sich der erste und der zweite optische Sensor in einer Erfassungsebene befinden, oberhalb der sich das zumindest eine Objekt (P) befindet.

3. Eingabegerät nach Anspruch 1 oder 2, das ferner eine erste Lichtquelle (ILQ) zum Beleuchten des zumindest einen Objekts mit einer bestimmten Wellenlänge aufweist, wobei der erste (SER) und der zweite (SEL) optische Sensor an die bestimmte Wellenlänge angepasst sind.

4. Eingabegerät nach Anspruch 1 oder 2, das ferner eine erste Lichtquelle zum Beleuchten des zumindest einen Objekts mit Licht einer bestimmten ersten Wellenlänge und eine zweite Lichtquelle zum Beleuchten des zumindest einen Objekts mit Licht einer bestimmten zweiten Wellenlänge aufweist, wobei der erste optische Sensor an die bestimmte erste Wellenlänge und der zweite optische Sensor an die bestimmte zweite Wellenlänge angepasst ist.

5. Eingabegerät nach einem der Ansprüche 3 oder 4, bei dem die Wellenlänge des Lichts von der oder den Lichtquelle(n) im Infrarotbereich liegt.

6. Eingabegerät nach einem der Ansprüche 2 bis 5, das ein vorrichtungseigenes Koordinatensystem mit senkrecht zueinander stehenden X-, Y- und Z-Richtungsachsen aufweist, so dass sich die Erfassungsebene in einer durch die X- und Y- Richtungsachsen aufgespannten Ebene befindet und sich das zumindest eine Objekt oberhalb der Erfassungsebene in einem bestimmten Abstand in Z-Richtung befindet, wobei der erste optische Sensor in einem X-Abstand +a/2 vom Nullpunkt des Koordinatensystems in X-Richtung und der zweite optische Sensor in einem X-Abstand -a/2 vom Nullpunkt des Koordinatensystems in X-Richtung angeordnet sind.

7. Eingabegerät nach Anspruch 6, bei dem der erste optische Sensor (SER) folgende Merkmale aufweist:
ein erstes sensoreigenes Koordinatensystem mit senkrecht zueinander stehenden X_r-, Y_r- und Z_r-Richtungsachsen, wobei der Nullpunkt des sensoreigenen Koordinatensystems um einen X-Betrag +a/2 in Richtung der X-Richtungsachse und um einen Z-Betrag -b in Richtung der Z-Richtungsachse bezüglich des Nullpunkts des vorrichtungseigenen Koordinatensystems verschoben ist;
eine erste Sensorfläche (SFR), die sich am Nullpunkt der X_r-Y_r-Ebene befindet;
eine erste Linsenanordnung (LAR), die sich am Nullpunkt der X_r-Y_r-Ebene in einem Abstand b in Z-Richtung über der ersten Sensorfläche (SFR) befindet.

8. Eingabegerät nach Anspruch 7, bei dem der zweite optische Sensor (SEL) folgende Merkmale aufweist:
eih zweites sensoreigenes Koordinatensystem mit senkrecht zueinander stehenden X₁-, Y₁- und Z₁-Richtungsachsen, wobei der Nullpunkt des Koordinatensystems um einen X-Betrag -a/2 in Richtung der X-Richtungsachse und um einen Z- Betrag -b in Richtung der Z-Richtungsachse bezüglich des Nullpunkts des vorrichtungseigenen Koordinatensystems verschoben ist;
eine zweite Sensorflächen (SFL), die sich am Nullpunkt der X₁-Y₁-Ebene befindet;
eine zweite Linsenanordnung (LAL), die sich am Nullpunkt der X₁-Y₁-Ebene in einem Abstand b in Z-Richtung über der zweiten Sensorfläche (SFL) befindet.

9. Eingabegerät nach Anspruch 8, bei der sich eine Koordinate X_r' als Schnittpunkt der X_r- Richtungsachse mit einer Geraden ergibt, die durch das zumindest eine Objekt (P) und die erste Linsenanordnung (LAR) verläuft und sich eine Koordinate X₁' als Schnittpunkt der X₁- Richtungsachse mit einer Geraden ergibt, die durch das zumindest eine Objekt (P) und die zweite Linsenanordnung (LAL) verläuft, wobei sich die X-Koordinate der Position des zumindest einen Objekts (P) im vorrichtungseigenen Koordinatensystem zu XO = a/2.(X₁' + X_r')/(X₁' - X_r') und die Z-Koordinate zu Z_O = a.b/(X₁' - X_r') berechnet.

10. Eingabegerät nach einem der Ansprüche 1 bis 9, bei dem der erste (SER) und der zweite (SEL) optische Sensor eine optische Kamera, wie eine CCD-Kamera oder eine CMOS- Kamera, aufweisen.

11. Datenverarbeitungsanordnung mit folgenden Merkmalen:
einem Eingabegerät (S. SER, SEL, ILQ) nach einem der Ansprüche 1 bis 10 zum Erzeugen eines Steuersignals;
eine Datenverarbeitungsanlage, die mit dem Eingabegerät verbunden ist;
wobei die Datenverarbeitungsanlage in Abhängigkeit des von dem Eingabegerät erzeugten Steuersignals steuerbar ist.

12. Datenverarbeitungsanordnung nach Anspruch 11, wobei die Datenverarbeitungsanlage eine Anzeigeeinrichtung (DSP) aufweist, auf der eine Benutzeroberfläche einschließlich eines Benutzeroberflächenobjekts (BOO) darstellbar ist, wobei das Benutzeroberflächenobjekt (BOO) in Abhängigkeit des von dem Eingabegerät erzeugten Steuersignals manipulierbar ist.

13. Datenverarbeitungsanordnung nach Anspruch 11 oder 12, bei der das Eingabegerät in der Datenverarbeitungsanlage (COM) integriert ist.

14. Datenverarbeitungsanordnung nach einem der Ansprüche 11 bis 13, bei der die Datenverarbeitungsanlage (COM) als ein stationärer Computer, ein tragbarer Computer (COM), ein Mobilfunkgerät oder ein Smart-Phone ausgebildet ist.

15. Verfahren zum Steuern einer Datenverarbeitungsanlage, mit folgenden Schritten:

- Erzeugen eines ersten Bilds von zumindest einem Objekt (P) aus einer ersten Perspektive;

- Erzeugen eines zweiten Bilds des zumindest einem Objekts (P) aus einer zur ersten verschiedenen zweiten Perspektive;

- Berechnen einer räumlichen Position des zumindest einen Objekts durch Vergleich des ersten und des zweiten Bildes;

- Steuern der Datenverarbeitungsanlage (COM) in Abhängigkeit der berechneten räumlichen Position des zumindest einen Steuerobjekts (P).

16. Verfahren nach Anspruch 15, bei dem die Datenverarbeitungsanlage (COM) eine Anzeigeeinrichtung (DSP) zum Anzeigen einer Benutzeroberfläche aufweist, die in Abhängigkeit der berechneten räumlichen Position des zumindest einen Objekts (P) gesteuert wird.

17. Verfahren nach Anspruch 16, bei der die Benutzeroberfläche zumindest ein Benutzeroberflächenobjekt (BOO) aufweist, das in Abhängigkeit der berechneten räumlichen Position des zumindest einen Steuerobjekts (P) manipuliert wird.