-
Die Erfindung betrifft eine Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm.
-
Eine Aufgabe der Erfindung liegt darin, Eingabemittel für Computersysteme oder andere elektronische Vorrichtungen oder Systeme weiterzuentwickeln und zu verbessern.
-
Diese Aufgabe wird durch eine Vorrichtungsanordnung mit den Merkmalen von Anspruch 1 gelöst. Vorteilhafte und zweckmäßige Ausführungsformen der Erfindung sind aus den Unteransprüchen ersichtlich.
-
Mit der erfindungsgemäßen Vorrichtungsanordnung soll aus einem Bildschirm ein interaktiver Bildschirm entstehen. Die Vorrichtungsanordnung umfasst eine optische Benutzerschnittstelle, die eine oder mehrere den Bildschirm erfassende Kameras aufweist, und eine Steuereinheit, die mit der optischen Benutzerschnittstelle gekoppelt ist. Die optische Benutzerschnittstelle ist so ausgebildet, dass sie von wenigstens einem Zeiger wenigstens eines Benutzers ausgeführte Gesten im 3D-Raum abtastet. Die Gesten werden in unmittelbarer Korrelation mit dem Bildschirm abgetastet. Die Steuereinheit ist so ausgebildet, dass sie auf die abgetasteten Gesten bezogene Daten als Benutzereingabe interpretiert.
-
Im Sinne der Erfindung wird der Begriff 'Bildschirm” in einem allgemeinen Kontext benutzt und kann sich speziell auf einen echten, physischen Bildschirm oder auf einen von einem Projektor projizierten virtuellen Bildschirm beziehen.
-
Die Erfindung macht sich die Erkenntnis zunutze, dass es viele Möglichkeiten gibt, einem Benutzer Informationen, Medieninhalte etc. (im Folgenden einfach als Bilder bezeichnet) optisch anzuzeigen, sei es über klassische Anzeigevorrichtungen wie LCD-Displays oder über Projektoren, mit denen Daten auf eine Projektionsfläche projiziert werden. Erfindungsgemäß können diese Bildschirme interaktiv zur Eingabe von Daten in ein Hostgerät, zur Steuerung von Prozessen in diesem oder zur Einleitung von Ereignissen (Aktionen) in diesem benutzt werden. Durch die optische Benutzerschnittstelle können Benutzeraktionen, die mit einem oder mehreren Zeigern wie der Hand bzw. den Händen oder einem Finger bzw. den Fingern des Benutzers oder einem anderen Gegenstand bzw. anderen Gegenständen ausgeführt werden, im 3D-Raum wahrgenommen werden. Die Steuereinheit interpretiert die abgetasteten Gesten als beabsichtigte Eingabe des Benutzers. Die unmittelbare Korrelation zwischen der Zeigerposition und dem Anzeigebildschirm gibt dem Benutzer das Gefühl eines unmittelbaren Berührungserlebens, im Gegensatz zu einer Maus oder einer Fernbedienung. Ein einfaches Beispiel ist die Projektion eines Dokuments zum Lesen. Die Seiten können umgeblättert werden, indem einfach mit der Hand gewinkt wird. Die interaktive Benutzung solcher Bildschirme ist nicht auf einen einzigen Benutzer beschränkt. Somit lässt sich der Umfang der Erfindung dahingehend zusammenfassen, dass aus einem beliebigen Bildschirm, sei er physisch oder virtuell, ein Bildschirm geschaffen wird, an dem mehrere Benutzer unter Verwendung von Gesten im 3D-Raum interagieren können.
-
Gemäß einem ersten Aspekt der Erfindung umfasst die Vorrichtungsanordnung ferner einen Projektor, der so ausgebildet ist, dass er Daten auf einer Projektionsfläche anzeigt, wobei die Projektionsfläche den ”Bildschirm” repräsentiert. Mit dem Projektor lassen sich Bilder, die dargestellt werden sollen, auf jede dem Benutzer gerade zur Verfügung stehende Oberfläche projizieren. Dies kann zum Beispiel die Oberfläche eines Tisches oder ein Blatt Papier sein, das außen an eine Aktentasche gelegt wird.
-
Hinsichtlich der Positionierung des Projektors und der Formkompensation des projizierten Bildes gibt es eine Reihe von Möglichkeiten, dem Benutzer ein schattenfreies Bild bereitzustellen. Vorzugsweise ist der Projektor zur Befestigung an einer Wand, einer tischlampenartigen Konstruktion, einer Decke und/oder der Kleidung eines Benutzers ausgebildet. Wenn der Projektor an einer Wand befestigt wird, kann ein Nahprojektor verwendet werden, der ein großes Bild auf kurze Entfernung herstellt, was den an der Wand erzeugten Schatten minimiert. Wird der Projektor an einer Tischlampe oder einer vergleichbaren Konstruktion befestigt, so kann der Projektor entweder auf die Tischplatte oder an eine Wand projizieren. Der Projektor kann auch an der Decke befestigt werden und Bilder auf einen Tisch oder Fußboden oder jede andere horizontale Oberfläche projizieren. Schließlich kann der Projektor auch vom Benutzer getragen werden, indem dieser ihn an seine Kleidung ansteckt. In diesem Fall könnte die Projektion auf eine vom Benutzer in der Hand gehaltene Oberfläche oder auf einen Tisch oder eine Wand erfolgen.
-
Wahlweise kann die erfindungsgemäße Vorrichtungsanordnung einen Neigungs- und/oder einen Ausrichtungssensor aufweisen, um Informationen über die Positionierung des Projektors zu gewinnen, damit eine Formkompensation erzielt werden kann. Insbesondere kann der Sensor den absoluten Winkel des Projektors bestimmen, und je nach dem Ausrichtungswinkel können Annahmen darüber getroffen werden, ob die Projektionsoberfläche horizontal oder vertikal ist. Darüber hinaus kann aus den von der optischen Benutzerschnittstelle aufgenommenen Videoströmen die Verzerrung der Projektionsfläche festgestellt werden. Ist die relative Ausrichtung des Projektors bezüglich der Projektionsaberfläche erst einmal bekannt, kann eine optimale Bildverzerrungsfunktion berechnet werden, um sicherzustellen, dass das projizierte Bild eine rechteckige Form hat. Der Neigungs- und/oder Ausrichtungssensor kann einen 3-Achsen-Beschleunigungsmesser aufweisen, wie er beispielsweise bei bestimmten Smartphones verwendet wird.
-
Um eine Beziehung zwischen der Position des Zeigers und dem angezeigten Bild herzustellen, ist es erforderlich, das projizierte Bild in den von der Kamera bzw. den Kameras der optischen Benutzerschnittstelle aufgenommenen Videoströmen festzustellen. Für diese Kalibrierung der Anzeige umfasst die Vorrichtungsanordnung vorzugsweise ferner einen Mustergenerator im sichtbaren und/oder infraroten Spektrum, wobei das Muster ein Rand ist, der vorzugsweise die Projektionsfläche umgibt, oder das Muster ist ein Gitter oder ein strukturiertes Lichtmuster, das die projizierten Daten überlagert. Dies ermöglicht die mehreren Optionen, wie in der ausführlichen Beschreibung der bevorzugten Ausführungsformen erläutert.
-
Der Mustergenerator ist vorzugsweise zusammen mit dem Projektor installiert oder Teil desselben.
-
Gemäß einem zweiten Aspekt der Erfindung umfasst die Vorrichtungsanordnung ferner eine elektronische Anzeige, die Daten anzeigt und den ”Bildschirm” repräsentiert. In diesem Fall wird, anstelle der Projektion von Bildern auf eine Oberfläche durch einen Projektor wie oben beschrieben, eine bestehende physische Anzeige verwendet, die von der optischen Benutzerschnittstelle und der damit gekoppelten Steuereinheit interaktiv gemacht wird. Es ist jedoch auch möglich, einen kombinierten Bildschirm vorzusehen, d. h. eine Kombination aus einer elektronischen Anzeige und einer Projektionsfläche auf der Anzeige.
-
Bei einer bevorzugten Ausführungsform der Erfindung weist die optische Benutzerschnittstelle eine oder mehrere Infrarotkameras auf, und die Vorrichtungsanordnung umfasst vorzugsweise ferner eine anpassbare Infrarotbeleuchtungseinheit. Die Intensität der Infrarotbeleuchtung wird so angepasst, dass sichergestellt ist, dass die optische Benutzerschnittstelle Videoströme immer mit einer vorgegebenen Bildfrequenz erfasst. Die kontinuierliche Anpassung erfolgt auf der Grundlage von Variablen wie etwa der Umgebungsbeleuchtung, dem Abstand der Projektionsfläche, der Qualität der aufgenommenen Bilder, der momentanen Bildfrequenz etc.
-
Wahlweise weist die optische Benutzerschnittstelle der Vorrichtungsanordnung wenigstens eine Kamera auf, die mit dem Licht des sichtbaren Spektrums arbeitet (im Folgenden einfach als ”sichtbare” Kamera bezeichnet), besonders dann, wenn kein Infrarotmustergenerator verwendet wird.
-
Bei einem sehr kompakten Aufbau der Vorrichtungsanordnung benutzen der Projektor und der Musterprojektor und/oder wenigstens eine der Kameras der optischen Benutzerschnittstelle gemeinsam dieselbe Linse.
-
Es ist ferner vorteilhaft, wenn die optische Benutzerschnittstelle und wenigstens ein Teil der Steuereinheit der Vorrichtungsanordnung zusammen eine vorgefertigte Einheit bilden, insbesondere indem sie in ein gemeinsames Gehäuse integriert sind. Beispielsweise ist ein Teil der Steuereinheit in die Kameras der optischen Benutzerschnittstelle in Form eines FPGA oder eines ASIC eingebunden und mit einem gesonderten Hostgerät verbunden, das den übrigen Teil der Steuereinheit bereitstellt. Vorzugsweise ist dieses Hostgerät dasjenige, welches die erfindungsgemäße Vorrichtungsanordnung als Eingabemittel verwendet. Das Hostgerät kann ein PC, ein Smartphone oder jede andere Rechenvorrichtung sein. Die erforderliche Verbindung zwischen der optischen Benutzerschnittstelle und dem Hostgerät kann entweder eine drahtgebundene oder eine drahtlose Verbindung sein, bei der Standard- oder herstellerspezifische Schnittstellen und Protokolle verwendet werden.
-
Als Alternative wird die gesamte Steuereinheit von einem eigenen Hostgerät bereitgestellt.
-
Bei einem typischen Anwendungsszenario weist die erfindungsgemäße Vorrichtungsanordnung, insbesondere die Steuereinheit, einen Wandler, insbesondere einen Software-Treiber auf, der die abgetasteten Gesten in Eingabeaktionen umwandelt, die dem Betriebssystem eines Hostgeräts eigen sind. Die von der optischen Benutzerschnittstelle abgetasteten Gesten können beispielsweise in Tastenfeld-, Maus- oder Berührungsfeldaktionen umgewandelt werden.
-
Für eine effektive Gestenerkennung im 3D-Raum sind die optische Benutzerschnittstelle und die Steuereinheit so ausgebildet, dass sie die abgetasteten Gesten unter Verwendung eines bestimmten Koordinatensystems (x, y, z) abbilden. Die x- und y-Koordinaten bezeichnen den Ort eines Zeigers, wie er virtuell auf den Bildschirm S projiziert ist, und die Z-Koordinate stellt den Abstand des Zeigers vom Bildschirm S dar.
-
Gemäß einer ersten Alternative werden zwei Infrarotkameras verwendet, um die Position des Zeigers unabhängig voneinander zu erfassen. Die Z-Koordinate des Zeigers ist dann durch den Abstand zwischen den Zeigerpositionen in einem neu zugeordneten Bild bestimmt.
-
Gemäß einer zweiten Alternative bilden ein Mustergenerator und die optische Benutzerschnittstelle einen Strukturlicht-3D-Scanner (streifenprojektionsbasierter Scanner) zur Bestimmung der Z-Koordinate des Zeigers, indem bei Einführung oder Bewegung des Zeigers die Änderung des Musters festgestellt wird.
-
Weitere Merkmale und Vorteile der Erfindung sind aus der nachfolgenden Beschreibung und aus den beigefügten Zeichnungen ersichtlich, auf die Bezug genommen wird. In den Zeichnungen zeigen:
-
1 einen Projektor und einen Mustergenerator einer Vorrichtungsanordnung gemäß einer ersten Ausführungsform der Erfindung,
-
2 eine Seitenansicht des Projektors und des Mustergenerators aus 1,
-
3 einen Projektor und einen Mustergenerator einer Vorrichtungsanordnung gemäß einer Variante der ersten Ausführungsform der Erfindung,
-
4 eine Seitenansicht des Projektors und des Mustergenerators aus 3,
-
5 eine optische Benutzerschnittstelle einer erfindungsgemäßen Vorrichtungsanordnung,
-
6 veranschaulichend die Technik des Erfassens der Position eines Zeigers bezüglich eines Bildschirms,
-
7 eine erste Variante der Vorrichtungsanordnung gemäß der ersten Ausführungsform der Erfindung,
-
8 eine Seitenansicht der Vorrichtungsanordnung aus 7,
-
9 eine zweite Variante der Vorrichtungsanordnung gemäß der ersten Ausführungsform der Erfindung,
-
10 eine Seitenansicht der Vorrichtungsanordnung aus 9,
-
11 ein erstes Anwendungsszenario der Vorrichtungsanordnung gemäß der ersten Ausführungsform,
-
12 das erste Anwendungsszenario der Vorrichtungsanordnung gemäß der ersten Variante der ersten Ausführungsform,
-
13 ein zweites Anwendungsszenario der Vorrichtungsanordnung gemäß der ersten Ausführungsform,
-
14 das zweite Anwendungsszenario der Vorrichtungsanordnung gemäß der ersten Variante der ersten Ausführungsform,
-
15 ein drittes Anwendungsszenario der Vorrichtungsanordnung gemäß der ersten Ausführungsform,
-
16 das dritte Anwendungsszenario der Vorrichtungsanordnung gemäß der ersten Variante der ersten Ausführungsform,
-
17 das erste Anwendungsszenario der Vorrichtungsanordnung gemäß einer zweiten Ausführungsform der Erfindung,
-
18 das zweite Anwendungsszenario der Vorrichtungsanordnung gemäß der zweiten Ausführungsform, und
-
19 das dritte Anwendungsszenario der Vorrichtungsanordnung gemäß der zweiten Ausführungsform.
-
In den 1 und 2 ist schematisch ein Projektor 10 einer Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm gemäß einer ersten Ausführungsform dargestellt. Der Projektor 10, hier ein RGB-Projektor, projiziert Daten, d. h. sichtbare Bilder, durch eine Linse 14 auf eine Oberfläche innerhalb einer Projektionsfläche 12. Die Projektionsfläche 12 wird im Folgenden als Bildschirm S bezeichnet.
-
Ein Mustergenerator 16 ist in dieselbe Vorrichtung integriert, in der der Projektor 10 enthalten ist. Der Mustergenerator 16 erzeugt ein Muster 18 im sichtbaren und/oder infraroten Spektrum. Bei dem in den 1 und 2 gezeigten Beispiel ist der Mustergenerator 16 ein Infrarotmustergenerator mit einer gesonderten Infrarotlichtquelle 20, die dieselbe Linse 14 zum Projizieren des Musters 18 verwendet, d. h. die Linse 14 wird sowohl für den Projektor 10 als auch für den Mustergenerator 16 verwendet. In seiner einfachsten Form ist das Muster 18 nur ein Rand, der die Projektionsfläche umgibt. Vorzugsweise ist das Muster 18 jedoch ein Gitter oder ein strukturiertes Lichtmuster, das die projizierten Bilder überlagert.
-
Ein alternativer Aufbau des Projektors 10 und des Mustergenerators 16 ist in den 3 und 4 gezeigt. Gemäß dieser Variante werden zwei getrennte Linsen 14 für den Projektor 10 bzw. für den Mustergenerator 16 verwendet.
-
Die Vorrichtungsanordnung umfasst ferner eine optische Benutzerschnittstelle 22, die dem Bildschirm S zugewandt ist, wie in 5 gezeigt. Die optische Benutzerschnittstelle 22 ist so ausgebildet, dass sie von einem oder mehreren Zeigern eines oder mehrerer Benutzer ausgeführte Gesten im 3D-Raum abtastet, wobei die Gesten in unmittelbarer Korrelation mit dem Bildschirm S abgetastet werden. Die von der optischen Benutzerschnittstelle abgetastete Fläche wird insgesamt als A bezeichnet.
-
Zum Abtasten der Gesten weist die optische Benutzerschnittstelle 22 wenigstens eine Kamera 24 auf, die eine Infrarotkamera oder eine Vollspektrum-Kamera sein kann, die sowohl im infraroten als auch im sichtbaren Spektrum arbeitet.
-
Bei dem Aufbau der optischen Benutzerschnittstelle 22 gemäß 5 sind mehrere Kameras 24, 26, 28 vorgesehen, die den Bildschirm S und den Raum zwischen den Kameras und dem Bildschirm erfassen. Zu den Kameras gehören zwei Infrarotkameras 24, 26, die ein stereoskopisches Infrarotsichtsystem bilden, sowie eine Kamera 28, die mit dem Licht des sichtbaren Spektrums arbeitet (”sichtbare” Kamera).
-
Je nach der tatsächlichen Ausführung und Funktionsweise der Vorrichtungsanordnung sind die zweite Infrarotkamera 26 und/oder die sichtbare Kamera 28 nur optional. Wenn zum Beispiel der Mustergenerator 16 als Mittel zur Feststellung einer Beziehung zwischen einer Zeigerposition und einem auf dem Bildschirm S angezeigten Bild verwendet wird, ist nur eine Infrarotkamera 24 nötig, wobei jede weitere Infrarot- oder sichtbare Kamera optional ist. Ansonsten sind wenigstens zwei Infrarotkameras 24, 26 und wenigstens eine zusätzliche sichtbare Kamera 28 erforderlich. Die Funktionalität der verschiedenen Ausführungen der Vorrichtungsanordnung in dieser Hinsicht wird weiter unten erläutert.
-
Weiterhin ist eine anpassbare Infrarotbeleuchtungseinheit 30 zusammen mit den Kameras 24, 26, 28 in einem gemeinsamen Gehäuse der optischen Benutzerschnittstelle 22 aufgenommen. Wiederum ist je nach der tatsächlichen Ausführung der Vorrichtungsanordnung die Infrarotbeleuchtungseinheit erforderlich oder nicht.
-
Die optische Benutzerschnittstelle 22 kann am Projektor 10 befestigt sein, oder sie kann gemäß einer zweiten Ausführungsform der Vorrichtungsanordnung ohne Projektor verwendet werden, wie weiter unten beschrieben wird.
-
Der Projektor 10 ist wahlweise mit einem Neigungs- und/oder Ausrichtungssensor 32 ausgestattet. Dieser Sensor 32 kann sogar Teil der die optische Benutzerschnittstelle 22 bildenden Vorrichtung sein, wenn er unbeweglich mit dem Projektor 10 gekoppelt ist. Der Neigungs- und/oder Ausrichtungssensor 32 ermittelt den absoluten Winkel des Projektors 10. Anhand der Sensordaten kann eine optimale Bildverzerrungsfunktion berechnet werden, um zu gewährleisten, dass das projizierte Bild eine rechteckige Form hat.
-
Eine Steuereinheit 34 ist mit der optischen Benutzerschnittstelle 22 gekoppelt. Die Steuereinheit 34 oder ein Teil davon kann als FPGA oder ASIC in eine oder mehrere der Kameras 24, 26, 28 integriert sein.
-
Die optische Benutzerschnittstelle 22 (sowie gegebenenfalls der Teil der Steuereinheit 34) ist z. B. über einen USB, Netzanschluss, Bluetooth oder eine andere geeignete drahtlose Verbindung mit einem Hostgerät verbunden. Das Hostgerät kann auch den übrigen Teil oder die ganze Steuereinheit 34 bereitstellen, oder die Steuereinheit 34 ist Teil einer gesonderten, mit der optischen Benutzerschnittstelle 22 und/oder mit dem Hostgerät verbundenen Rechenvorrichtung.
-
Nachstehend wird das Abtasten der Gesten beschrieben, insbesondere wie jede Zeigerposition bestimmt und mit der Ebene des Bildschirms S in Beziehung gesetzt wird.
-
Die Kameras 24, 26, 28 erfassen den Bildschirm S und auch die Bewegung des Zeigers vor dem Bildschirm S. Die Intensität der Infrarotbeleuchtung wird so angepasst, dass sichergestellt ist, dass die Infrarotkameras 24, 26 Videoströme stets mit einer vorgegebenen Bildfrequenz erfassen. Die fortlaufende Anpassung wird anhand von Variablen wie etwa der Umgebungsbeleuchtung, dem Abstand des Bildschirms S, der Qualität der aufgenommenen Bilder, der momentanen Bildfrequenz etc. vorgenommen.
-
Aus dem Kameraeingang ermittelt ein in der Steuereinheit 34 ablaufendes Softwareprogramm die Position des Zeigers. Es ermittelt auch die Relativposition des Zeigers in Bezug auf das angezeigte Bild.
-
Zur Bestimmung einer Beziehung zwischen der Zeigerposition und dem auf dem Bildschirm S angezeigten Bild ist es erforderlich, das projizierte Bild in den von den Kameras aufgenommenen Videoströmen zu identifizieren. Dafür gibt es entsprechend dem jeweiligen Aufbau des Projektors 10 und der optischen Benutzerschnittstelle 22 die folgenden drei Optionen:
- – Der Mustergenerator 16 erzeugt ein Infrarotmuster 18 wie etwa ein Gitter oder einen Kasten oder dergleichen und projiziert dieses bzw. diesen auf den Bildschirm S, wo der Projektor 10 das sichtbare Bild anzeigt. Die (feste) Position des Mustergenerators 16 relativ zum Projektor 10 ist der Steuereinheit 34 bekannt. Somit kann die Steuereinheit 34 die Position des sichtbaren Bildes nach Erfassung der Position des Infrarotmusters 18 aus dem von wenigstens einer der Infrarotkameras 24, 26 aufgenommenen Strom rekonstruieren.
- – Ein spezielles, sichtbares Muster 18 wird jedes Mal, wenn die optische Benutzerschnittstelle 22 eingeschaltet wird, auf dem Bildschirm S angezeigt. Die sichtbare Kamera 28 erfasst dieses Muster 18, und das Muster 18 wird dann zur Feststellung der Position des Bildschirms S verwendet. Die genaue Position des Bildschirms S relativ zu den Infrarotbildern erhält man unter Verwendung der homographischen Beziehung zwischen den von der sichtbaren Kamera 28 und den Infrarotkameras 24, 26 aufgenommenen Bildern. Dazu ist eine vorherige Kalibrierung erforderlich. Jedes Mal, wenn die Vorrichtungsanordnung oder der Bildschirm S bewegt wird, wird dieser Vorgang wiederholt. Die Bewegung der optischen Benutzerschnittstelle 22 kann von einem eingebauten Bewegungssensor erfasst werden.
- – Ein spezielles, sichtbares Muster 18 wird zusammen mit dem sichtbaren Bild in jedem Frame projiziert. Die sichtbare Kamera 28 erfasst dieses Muster 18 und benutzt dieses zur Feststellung der Position des Bildschirms S. Dies kann auf zweierlei Weise durchgeführt werden: 1.) Jeder projizierte Frame hat ein eingebundenes Muster 18, oder 2.) ein Frame von jeweils N projizierten Frames ist ein Muster 18. Die Zahl N wird so gewählt, dass sichergestellt ist, dass das Muster 18 aufgrund der Trägheit der Augen für den Benutzer unsichtbar ist. Der Projektor 10, die optische Benutzerschnittstellenvorrichtung 22 und/oder der Bildschirm S können bei diesem Szenario kontinuierlich in Bewegung sein.
-
Als nächstes wird die Erfassung der 3D-Koordinaten des Zeigers beschrieben. Um die erforderlichen 3D-Informationen über die Gesten des Benutzers zusammenzutragen, wird der Ort jedes Zeigers im 3D-Interaktionsraum beobachtet, d. h. die Koordinaten des Ortes des Zeigers und seine Änderung über die Zeit werden ständig ermittelt. Nach Auswertung der entsprechenden Bewegungsdaten wird eine 3D-Geste einer vordefinierten Aktion (Ereignis) zugeordnet, die bzw. das dann ausgelöst wird.
-
Es ist zweckdienlich, zum Gewinnen der 3D-Informationen über die Gesten des Benutzers ein bestimmtes Koordinatensystem (x, y, Z) zu verwenden. Die Koordinaten x und y bezeichnen den Ort eines Zeigers, wie er virtuell auf den Bildschirm S projiziert ist. Diese Koordinaten werden durch Abgleichen eines abgetasteten Bildes des Bildschirms S mit dem Referenzbild bestimmt, das projiziert wurde, so dass die Position des Zeigers auf dem Referenzbild ausgewertet werden kann. Die Bestimmung der Koordinaten x und y kann dadurch unterstützt werden, dass ein Muster 18 abgetastet wird, das, wie oben beschrieben, zusammen mit dem Bild projiziert wird.
-
Die Z-Koordinate stellt den Abstand des Zeigers vom Bildschirm S in Richtung auf die optische Benutzerschnittstelle 22 dar. Wenn der Zeiger auf dem Bildschirm S ist, so ist die Z-Koordinate 0. Eine Möglichkeit zur Bestimmung der Z-Koordinate besteht darin, eine 3D-Tiefenkarte der gesamten Szene zu erstellen und die Tiefe der Projektionsoberfläche von der des Zeigers zu subtrahieren. Die Extraktion einer Tiefenkarte erfordert jedoch spezielle 3D-Kameras und/oder umfangreiche Berechnungen. Es wird daher vorgeschlagen, dieses Problem auf folgende Weise unter Verwendung einfacherer Hardware und eines geringeren Rechenumfangs zu lösen, wie in 6 veranschaulicht.
-
Die beiden Infrarotkameras 24, 26 werden dazu verwendet, die Position des Zeigers 36 unabhängig voneinander zu erfassen. Aufgrund der Positionierung dieser Kameras relativ zueinander ist die Position des Zeigers 36 in den von ihnen aufgenommenen Strömen unterschiedlich.
-
Der Bildschirm S wird bei beiden Infrarot-Videoströmen getrennt bestimmt. Die von den beiden Infrarotkameras 24, 26 aufgenommenen Bilder werden auf die Referenzebene des Bildschirms S rekonstruiert. Dafür kann die Position des Infrarotmusters 18 in den aufgenommenen Bildern verwendet werden. Die Position des Bildschirms S kann auch aus dem aufgenommenen Bild der sichtbaren Kamera 28 abgeleitet werden. In diesem Fall wird die Positionierung der sichtbaren Kamera 28 relativ zu jeder der Infrarotkameras 24, 26 dazu verwendet, eine Homographiematrix zu berechnen und vorab zu speichern, die später zur Bestimmung der Position des Bildschirms S in den Infrarot-Videoströmen aus der Position des Bildschirms S im sichtbaren Videostrom verwendet wird. An beiden Bildern wird eine Zeigererfassung vorgenommen, und die Position des Zeigers 36 in jedem Bild wird wie oben erläutert verglichen.
-
Ist die Position des Bildschirms S und des Zeigers 36 in jedem der Infrarotbilder einmal bekannt, so kann die Position des Zeigers 36 ihrer entsprechenden Position auf dem Bildschirmpufferspeicher homographisch zugeordnet werden. Wenn der Zeiger 36 auf der gleichen Ebene wie die Projektionsoberfläche liegt, so ist die zugeordnete Position des Zeigers 36 für beide Infrarotbilder genau die gleiche. Je weiter sich der Zeiger 36 von der Ebene der Projektionsoberfläche entfernt befindet, desto größer wird der Abstand Δx des zugeordneten Zeigers 36 von den beiden Infrarotbildern. Mit anderen Worten, der Abstand Δx zwischen den neu zugeordneten Zeigerpositionen gibt den Abstand Z des Zeigers 36 vom Bildschirm S an.
-
Bei einer alternativen Möglichkeit zur Bestimmung der Z-Koordinate ist der Mustergenerator 16 beteiligt. In diesem Kontext wird der Mustergenerator 16 als Projektor von strukturiertem Licht benutzt. Indem die Änderung des Musters 18 festgestellt wird, wenn ein Zeiger 36 eingeführt oder bewegt wird, kann die Tiefe bzw. der Abstand des Zeigers 36 vom Bildschirm S bestimmt werden. Somit funktionieren der Mustergenerator 16 und die optische Benutzerschnittstelle 22 nach Art eines Strukturlicht-3D-Scanners.
-
Wenn die Geste vollständig zugeordnet ist, dann stellt die Steuereinheit 34 die entsprechende Interaktion fest, die der Benutzer ausführen möchte, wie etwa auf ein Objekt zu klicken, eine Seite umzublättern, mit einer Soft-Tastatur zu schreiben etc., unter Berücksichtigung der genauen Position auf dem Bildschirm S, wo die Interaktion geschieht.
-
Für den Fall, dass die Vorrichtungsanordnung mit einem Hostgerät verbunden ist, kann die Benutzerinteraktion in Tastatur-, Maus- und/oder Berührungsfeldaktionen umgewandelt werden, die dem Betriebssystem des Hostgeräts eigen sind.
-
In den 7 und 8 und den 9 und 10 sind zwei Varianten der Vorrichtungsanordnung dargestellt, wobei die optische Benutzerschnittstelle 22 in dieselbe Vorrichtung wie der Projektor 10 eingebunden ist. Der Mustergenerator 16 und/oder der Neigungs- und/oder Ausrichtungssensor 32 und/oder andere Komponenten der Vorrichtungsanordnung können ebenfalls im Gehäuse einer einzelnen Vorrichtung aufgenommen sein.
-
Gemäß der in den 7 und 8 gezeigten Variante wird eine einzige Linse 14 für den Projektor 10, den Mustergenerator 16 und die Kamera 24 der optischen Benutzerschnittstelle 22 verwendet.
-
Gemäß der in den 9 und 10 gezeigten Variante werden zwei verschiedene Linsen 14 für den Projektor 10 und den Mustergenerator 16 bzw. für die Kamera 24 der optischen Benutzerschnittstelle 22 verwendet.
-
Bei einer zweiten Ausführungsform der Vorrichtungsanordnung ist der Projektor 10 durch eine physische Anzeige ersetzt. Das heißt, dass der Bildschirm S in diesem Fall keine von einem entfernten Projektor mit Bildern ausgefüllte, projizierte Fläche, sondern der Bildschirm einer echten, physischen Anzeigevorrichtung wie eines LCD-Displays ist. Die optische Benutzerschnittstelle 22 und die Steuereinheit 34 sind im Prinzip die gleichen wie bei der oben beschriebenen ersten Ausführungsform und werden entsprechend betrieben. Wie bei der ersten Ausführungsform befinden sich die Kameras 24, 26, 28 der optischen Benutzerschnittstelle 22 in einem Abstand vom Bildschirm S, derart, dass sie den gesamten Bildschirm S erfassen. Zusätzliche Komponenten wie der Mustergenerator 16 und die anpassbare Infrarotbeleuchtungseinheit 30 können in geeigneter Weise wie oben beschrieben verwendet werden.
-
In den 11 und 12 ist ein erstes Anwendungsszenario der Vorrichtungsanordnung gemäß der ersten Ausführungsform gezeigt, das den Projektor 10 aufweist. Der Projektor 10 (mit dem Mustergenerator 16) und die optische Benutzerschnittstelle 22 (mit den Infrarotkameras 24, 26 und der optionalen, sichtbaren Kamera 28) sind an einer Decke 38 befestigt. Der Projektor 10 projiziert Bilder auf einen Tisch 40, d. h. ein Teil der Tischplatte ist der interaktive Bildschirm S, der von der optischen Benutzerschnittstelle 22 erfasst wird. Die Gesten mehrerer Benutzer 42 werden ausgewertet. Dieses Anwendungsszenario kann somit als ”gemeinschaftlicher Tisch” bezeichnet werden. Bei der Variante des Aufbaus in 11 sind der Projektor 10 (und der Mustergenerator 16) und die optische Benutzerschnittstelle 22 als getrennte Vorrichtungen, jedoch unbeweglich relativ zueinander an der Decke befestigt, wohingegen bei der Variante des Aufbaus von 12 sämtliche Komponenten der Vorrichtungsanordnung in einer einzigen Vorrichtung aufgenommen sind, wobei eine einzige Linse 14 verwendet wird.
-
Gemäß einem in den 13 und 14 gezeigten zweiten Anwendungsszenario sind der Projektor 10 und die optische Benutzerschnittstelle 22 auch an einer Decke 38 befestigt. Sie sind jedoch so auf eine Wand 44 gerichtet, dass ein Teil der Wand 44 als interaktiver Bildschirm S dient. Dieser Aufbau kann als öffentlicher, interaktiver Infobildschirm benutzt werden. Ähnlich wie bei dem ersten Anwendungsszenario können der Projektor 10 und die optische Benutzerschnittstelle 22 getrennt (13) oder als Einzeleinheit (14) angebracht sein.
-
Das in den 15 und 16 gezeigte dritte Anwendungsszenario unterscheidet sich von dem in den 13 und 14 gezeigten nur darin, dass der Projektor 10 und die optische Benutzerschnittstelle 22 an der Wand 44 und nicht an der Decke 38 befestigt sind.
-
In den 17 bis 19 sind drei Anwendungsszenarien gezeigt, die denen der 11, 12, 13, 14 bzw. 15, 16 ähnlich sind. Bei diesen Anwendungsszenarien kommt jedoch die Vorrichtungsanordnung gemäß der zweiten Ausführungsform zum Einsatz, d. h. mit einer echten Anzeige 46 als Bildschirm S anstelle einer Projektionsfläche eines Projektors. Die Anzeige 46 ist entweder auf dem Tisch 40 (17) oder an der Wand 44 (18 und 19) befestigt.
-
Generell können die optische Benutzerschnittstelle 22 und gegebenenfalls der Projektor 10 auch an einer Tischlampe oder dergleichen befestigt oder an die Kleidung eines Benutzers angesteckt werden.
