-
ALLGEMEINER STAND DER TECHNIK
-
Die Berührungstechnologie wurde für die Anzeigeinteraktion mit mobilen Vorrichtungen wie Smartphones und Tablets verwendet. Die Berührungstechnologie kann zum Unterstützen von Berührungserfahrungen eines PC bei größeren Bildschirmen, z. B. Desktop-Computern, verwendet werden. Bei Zunahme der Anzeigeformatgröße können sich jedoch die Kosten einer Berührungstechnologie der gesamten Anzeige drastisch erhöhen und zu einem ”Gorilla-Arm” (ein menschlicher Arm, der lange in einer nicht abgestützten horizontalen Position gehalten wird, ermüdet und schmerzt) führen, wenn ein großflächiger Berührungsbildschirm verwendet wird. Ein separates Trackpad kann als indirekte Berührungsvorrichtung verwendet werden, die sich mit dem Host-Computer als Mauszeiger verbindet, wenn ein einzelner Finger verwendet wird. Das Trackpad kann mit Gesten verwendet werden, einschließlich Rollen, Wischen, Drücken, Zoomen und Drehen. Aber das separate Trackpad/Anzeige stellt aufgrund der Trennung zwischen der Art und Weise, wie das Trackpad zum Interagieren mit der Anzeige verwendet wird, ggf. nicht den Typ interaktiver Erfahrung wie ein Berührungsbildschirm bereit.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN/FIGUREN
-
Es zeigen:
-
1 ein Blockdiagramm eines Computersystems mit einer Eingabevorrichtungemäß einer Ausführungsform;
-
2 ein Blockdiagramm eines Computersystems mit einer Eingabevorrichtung gemäß einer Ausführungsform;
-
3 ein Blockdiagramm einer Eingabevorrichtung gemäß einer Ausführungsform;
-
4A bis 4D Blockdiagramme, welche die Interaktion mit einem System mit einer Eingabevorrichtung gemäß einer Ausführungsform darstellen;
-
5 ein Blockdiagramm basierend auf dem Erzeugen einer virtuellen Hand basierend auf einer Eingabevorrichtung gemäß einer Ausführungsform;
-
6 ein Blockdiagramm basierend auf der Anzeige einer virtuellen Hand in Zusammenhang mit einer Erfassungssitzung gemäß einer Ausführungsform.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die beispielhaften Systeme können eine direkte Berührungserfahrung bereitstellen, sogar auf großflächigen Berührungsumgebungen (z. B. PCs und Tablets). Es kann ein kostengünstigeres Trackpad oder eine Trackpad-Variante zum Bereitstellen großformatigeren bündigen Berührungsanzeigen wie einer PCT-Anzeige über den gesamten Bildschirm (PCT = projektiv-kapazitiver Touchscreen) Einsparungen bereitstellen. Das Trackpad kann den schmerzhaften Zustand des sogenannten ”Gorilla-Arms” verhindern und gleichzeitig eine immersive Berührungserfahrung ermöglichen.
-
Ein beispielhaftes Computersystem kann eine Anzeige und eine Eingabevorrichtung aufweisen. Die Eingabevorrichtung kann einen Berührungssensor zum Bereitstellen von Berührungsdaten und einen berührungslosen Sensor zum Bereitstellen von berührungslosen Daten aufweisen. Ein Sichtfeld des berührungslosen Sensors ist von dem Berührungssensor weg gerichtet. Eine Steuerung muss die Berührungsdaten und die berührungslosen Daten zu kombinierten Daten kombinieren, um eine virtuelle Hand zu erzeugen, die auf der Anzeige angezeigt wird. Die virtuelle Hand muss ein nicht erfasstes Merkmal aufweisen.
-
Beispielhafte Systeme können eine transponierte direkte Berührungserfahrung durch die Verwendung eines Berührungs-Trackpads ermöglichen. Das Trackpad kann einen kostengünstigen Mechanismus zum Ermöglichen einer bündigen Interaktionserfahrung mit einer Berührungs-PC-Anzeige bereitstellen. Eine durchscheinende virtuelle Hand kann dargestellt und über eine Anzeige gelegt werden, z. B. mithilfe von Software und/oder einer Steuerung. Eine verlockende bündige Berührungsinteraktion mit einer Vollbild-Anzeige kann erfahren werden, obwohl keine teure PCT-basierte Berührungsanzeige verwendet wird. Ein berührungsloser Sensor (z. B. eine periskopische Kamera) können mit dem Touchpad zum Bereitstellen von zusätzlichen (z. B. dreidimensionalen (3D) perspektivischen) Informationen zum Ermöglichen einer transparenten virtuellen Hand, die auf der Anzeige erzeugt/dargestellt wird, verwendet werden.
-
1 ist ein Blockdiagramm eines Computersystems 100 mit einer Eingabevorrichtung 110 gemäß einer Ausführungsform. Das Computersystem 100 kann auch eine Steuerung 120 und eine Anzeige 130 aufweisen. Die Anzeigevorrichtung 110 kann einen Berührungssensor 112 und einen berührungslosen Sensor 114 aufweisen. Die Eingabevorrichtung 110 kann Berührungsdaten 122 (z. B. basierend auf dem Berührungssensor 112) und berührungslose Daten 124 (z. B. basierend auf dem berührungslosen Sensor 114) erzeugen. Die Steuerung 120 kann kombinierte Daten 126 basierend auf den Berührungsdaten 122 und den berührungslosen Daten 124 bereitstellen.
-
Die Steuerung 120 kann basierend auf den kombinierten Daten 126 bewirken, dass eine virtuelle Hand 150 auf der Anzeige 130 angezeigt wird. Die virtuelle Hand 150 kann ein nicht erfasstes Merkmal 154 (z. B. eine Rückseite der virtuellen Hand 154, Fingernägel, Zwischenräume zwischen den Fingern, Fingerknöchel, Haut, Falten, Haare und so weiter) aufweisen. Die virtuelle Hand 150 kann durchscheinend auf einem angezeigten Element 132 sein, sodass das darunter liegende Element 132 durch die virtuelle Hand 150 hindurch sichtbar ist. Die virtuelle Hand 150 kann eine virtuelle Berührung 152 anzeigen, die einer erfassten Berührung 142 der erfassten Hand 140 entspricht.
-
Der berührungslose Sensor 114 kann mit einem Sichtfeld (FOV) 116 assoziiert sein. Das FOV 116 ist von dem Berührungssensor 112 der Eingabevorrichtung 110 weg gerichtet, wie von dem gestrichelten Pfeil angezeigt. Mit anderen Worten zeigt der berührungslose Sensor 114 in Bezug auf die Eingabevorrichtung nach oben (oder seitwärts) bzw. nach unten von einer Draufsichtperspektive in Bezug auf die Eingabevorrichtung 110. Das FOV 116 ist mit weniger als 180 Grad dargestellt, kann aber größer oder kleiner sein, und kann sogar ein vollständig sphärisches FOV sein, das auf einem berührungslosen Sensor 114 und/oder mehreren berührungslosen Sensoren 114 basiert. Daher kann das FOV 116 die erfasste Hand 140 aus einer Nicht-Draufsicht-Perspektive erfassen, z. B. von unterhalb (Anzeigen einer Fläche der erfassten Hand 140) oder von einer Seite der erfassten Hand 140.
-
Das FOV 116 kann auf einer Brennweite und der Sensorgröße des berührungslosen Sensors 114 basieren. Daher kann das FOV 116 basierend auf verschiedenen Eigenschaften eines bestimmten Sensors unterschiedlich sein und andere Merkmale wie eine Optik einschließen, die mit einem bestimmten Sensor verwendet wird. In einer Ausführungsform kann der berührungslose Sensor 114 eine Linse und einen entsprechenden Sensor zum Bereitstellen eines 160-Grad-FOV aufweisen, es kann jedoch ein Interaktionsraum gewählt werden, der ein schmaleres FOV 116 von weniger als 160 Grad verwendet.
-
Verschiedene Elemente, die in Verbindung mit den hierin offenbarten Ausführungsformen beschrieben werden, können als elektronische Hardware, Computersoftware oder Kombinationen aus beiden implementiert werden. Zum Beispiel kann die Steuerung 120 durch Verwenden von Softwaremodulen, Hardwaremodulen oder Komponenten implementiert werden, oder einer Kombination aus Software- und Hardwaremodulen oder -komponenten. In einer anderen Ausführungsform kann mindestens eines der Elemente einen Softwarecode umfassen, der auf einem nicht transitorischen computerlesbaren Speichermedium gespeichert ist, und der von einem Prozessor und/oder Speicher ausgeführt werden kann. Die Steuerung 120 kann jede beliebige Kombination aus Hardware und Software sein, welche Anweisungen, Datentransaktionen, Codes oder Signale ausführt oder auslegt. Zum Beispiel kann die Steuerung 120 ein Mikroprozessor, eine anwendungsspezifische integrierte Schaltung (kurz ASIC), ein verteilter Prozessor wie ein Cluster oder Netzwerk von Prozessoren oder Computervorrichtungen oder eine virtuelle Maschine sein. Die Steuerung 120 ist separat von der Anzeige 130 und der Eingabevorrichtung 110 dargestellt, in anderen Ausführungsformen können verschiedene Elemente jedoch darin integriert sein (z. B. durch Integrieren der Steuerung 120 und/oder Anzeige 130 in der Anzeigevorrichtung 110).
-
Die kombinierten Daten 126 können zum Identifizieren verschiedener Merkmale der erfassten Hand verwendet werden. Die kombinierten Daten 126 können die Sensorverschmelzung ermöglichen, wobei die Berührungsdaten 122 mit den berührungslosen Daten 124 zum Bereitstellen verbesserter Informationswerte und -präzision bereitgestellt werden. Zum Beispiel kann die Steuerung 120 identifizieren, dass ein Ringfinger der erfassten Hand 140 die erfasste Berührung 142 basierend auf den Berührungsdaten 122 bereitstellt und einen einzelnen Kontaktpunkt mit dem Berührungssensor 112 anzeigt, und die berührungslosen Daten 124 eine Position der erfassten Hand 140 in Bezug auf die erfasste Berührung 142 und/oder die Eingabevorrichtung 110 anzeigen. Entsprechend kann die virtuelle Hand 150 mit einem virtuellen Ringfinger dargestellt werden, der die virtuelle Berührung 152 bereitstellt, wobei die virtuelle Hand 150 die Ausrichtung der erfassten Hand 140 widerspiegelt. Mehrere der erfassten Berührungen können erfasst und mit den berührungslosen Daten zum Bereitstellen einer realistischen Visualisierung der erfassten Hand 140 abgeglichen werden, einschließlich der 10-Finger-Berührungsunterstützung durch Verwenden von zwei erfassten Händen 140. Das Bild der virtuellen Hand 150 kann auf der Anzeige 130 unter Verwendung der derzeitigen Ausgabe des Berührungssensors 112 dargestellt werden, einschließlich der Berührungsdaten 122, die anzeigen, wo sich sämtliche Finger befinden. Die präzise Positionierung der virtuellen Hand 150 kann auf der Anzeige 130 bereitgestellt werden, zusammen mit einer relativen Stelle der virtuellen Finger auf der Anzeige 130 gegenüber dem, was die kombinierten Daten 126 in Bezug auf die erfasste Hand 140 anzeigen. Eine solche Sensorverschmelzung kann eine verbesserte Interaktion und Nachverfolgung zwischen der erfassten Hand und der virtuellen Hand 150 bereitstellen, und die transponierte direkte Berührungserfahrung ermöglichen.
-
Die virtuelle Hand 150 kann auf der Anzeige 130 die Ausrichtung und Bewegung der erfassten Hand 140 realistisches nachvollziehen. Die virtuelle Hand 150 kann angezeigt werden, während die erfasste Hand 140 mit dem Berührungssensor 112 in Kontakt steht und kann auch angezeigt werden, während die erfasste Hand 140 über dem Berührungssensor 112 schwebt, basierend auf den kombinierten Daten 126 gemäß der Sensorverschmelzung und anderer Vergrößerung der Sensordaten. Die virtuelle Hand 150 kann virtuell erzeugt werden und nicht nur ein erfasstes/transponiertes/wiedergegebenes Bild/Video der erfassten Hand sein.
-
Durch Berühren des Berührungssensors 112 werden hochaufgelöste Berührungsdaten 122 in Bezug darauf erzeugt, wo die Finger der erfassten Hand 140 positioniert sind. Daher sind die Hochauflösungsinformationen gewichtiger als die anderen Sensordaten, je nach der relativen Auflösung der verschiedenen Sensoren.
-
Der berührungslose Sensor 114 kann zusätzliche Informationen erfassen, um die hochaufgelösten Berührungsdaten 122 bezüglich der Finger zu vergrößern, sodass die Finger gekrümmt sein können oder spezifische Ausrichiungen/Winkel und so weiter aufweisen. Der berührungslose Sensor 114 kann 3D-/Tiefeninformationen (zusammen mit anderen berührungslosen Daten 124) erfassen. Zum Beispiel kann der berührungslose Sensor 114 ein 3D-Sensor oder ein Sensoren-Array zum Triangulieren und oder Auslegen der Tiefeninformationen sein. Die Tiefeninformationen können zum Vergrößern/Erhöhen der Präzision im Hinblick auf die Ausrichtung und/oder Position der Finger, Fingerknöchel und anderer Merkmale der erfassten Hand 140 verwendet werden, um die entsprechende virtuelle Hand 150 zu erzeugen/konstruieren.
-
Die von der Eingabevorrichtung 110 erzeugten Daten können gewichtet werden. Zum Beispiel kann den Berührungsdaten 122 mehr Gewicht zukommen als den berührungslosen Daten 124, wenn diese zum Bereitstellen der kombinierten Daten 126 verwendet werden. Die relative Gewichtung kann mit einem Grad der Genauigkeit und/oder Präzision in Zusammenhang mit einem Sensor korrelieren, in einem Beispiel kann der Berührungssensor 112 Daten mit hoher Präzision und Genauigkeit bereitstellen, gegenüber einem relativ geringeren Präzisions- und Genauigkeitsgrad im Zusammenhang mit dem berührungslosen Sensor 114. Entsprechend kann den Berührungsdaten 122 mehr Gewicht als den berührungslosen Daten 124 zukommen. Die Gewichtung der Daten kann der Steuerung 140 die Priorisierung der Berührungsdaten 122 über die berührungslosen Daten 124 ermöglichen. In einem Beispiel kann, wenn die Berührungsdaten 122 eine Position anzeigen und die berührungslosen Daten eine leicht andere entsprechende Position anzeigen, die Steuerung 120 die Berührungsdaten 122 verwenden, um die berührungslosen Daten 124 zu übergehen. In anderen Ausführungsformen kann den berührungslosen Daten 124 ein höheres Gewicht zukommen als den Berührungsdaten 122 (z. B. hochauflösender berührungsloser Sensor 114, der die erfasste Hand 140 im Nahbereich erfasst, oder in einer Situation, bei der die erfasste Berührung 142 sehr leicht oder unterbrochen ist). In einer Ausführungsform können die von der Eingabevorrichtung 110 erzeugten Daten auf Anomalien (z. B. sporadische Auslesungen der Berührungsdaten 122 von dem Berührungssensor 112, die durch Verunreinigungen/Schwitzen auf dem Berührungssensor 112 entstehen) und Anomalien, die durch Verwendung anderer verfügbaren Daten kompensiert werden können (z. B. Verwenden der berührungslosen Daten 124), überwacht werden. Eine Form von Daten kann zum Verstärken einer anderen Form von Daten verwendet werden, und die Gewichtung kann zur Information verwendet werden, wie die Steuerung 120 bestimmen kann, welche Daten priorisiert werden oder welchen mehr Gewicht zukommt. Daten können auf Grundlage der Überwachung der erfassten Daten über die Zeit als sporadisch oder anderweitig fragwürdig bestimmt werden. z. B. um Abweichungen zu identifizieren.
-
Die kombinierten Daten 126 können unter Verwendung von herkömmlichen oder gebrauchsfertigen Komponenten erzeugt werden, wie einer USB-Kamera und Touchpad-Komponenten. Die Eingabevorrichtung 110 ist mit der Steuerung 120 und der Anzeige 130 gekoppelt dargestellt, wobei die Kopplung auf Drähten basieren kann (z. B. USB-Kabel). Andere Ausführungsformen können drahtlos unter Verwendung von Wi-Fi Direct, Bluetooth, WLAN (drahtloses lokales Bereichsnetzwerk – wireless local area network) oder anderen drahtlosen Implementierungen implementiert werden.
-
Die Eingabevorrichtung 110 und Anzeige 130 können als eine Computervorrichtung integriert werden, z. B. auf mindestens einer Oberfläche einer mobilen tragbaren Computervorrichtung. Die verschiedenen Elemente des Computersystems 100 brauchen nicht auf der gleichen Oberfläche der Vorrichtung zu sein. Obschon der Berührungssensor 112 in 1 kleiner als die Anzeige 130 dargestellt ist, können die Größen der verschiedenen Elemente variieren. Zum Beispiel kann der Berührungssensor 112 die gleiche Größe oder eine größere Größe als die Anzeige 130 aufweisen. Die Ausführungsformen sind nicht auf den Berührungssensor 112 beschränkt, der kleiner als die Anzeige 130 ist.
-
Die virtuelle Hand 150 kann zum Interagieren mit den angezeigten Elementen 132 verwendet werden, wie Benutzerschnittstellenkomponenten, Dokumente, computergestützte Entwurfsmodelle (CAD-Modelle) oder andere angezeigte Elemente 132. Die von der Steuerung 120 identifizierten Gesten können zum Einleiten von Erfassungssitzungen verwendet werden. 1 zeigt die virtuelle Hand 150, die mit dem angezeigten Element 132 basierend auf einer virtuellen Berührung 152 interagiert. Wie dargestellt, hält die virtuelle Hand 150 das angezeigte Element 132 und ermöglicht dem angezeigten Element 132, manipuliert zu werden.
-
Die Interaktion mit angezeigten Elementen 132 kann auf Gesten zum Erreichen verschiedener Aufgaben basieren, wie Größenveränderung, Greifen, Bewegen, Rollen, Wischen, Zeigen, Zoomen, Drehen und auf anderen Interaktionen. Die virtuelle Hand 150 kann mit den unterstützten Gestensteuerungen eines Computerbetriebssystems interagieren, wie der Berührungsimplementierung von Windows 8® und anderen Betriebssystemen. Solche Gestensteuerungen können Mehrberührungsgesten und andere Merkmale ermöglichen, basierend auf einem HID-definierten Vorrichtungstreiber des Betriebssystems, einem zweckgebildeten herkömmlichen Treiber, der mit dem Computersystem 100 bereitgestellt wird, einer Application Programming Interface (API – Anwendungsprogrammierschnittstelle) und einem Software Development Kit (SDK) oder auf anderen Techniken zum Interagieren mit einem Computersystem und/oder Betriebssystem. Außerdem kann die virtuelle Hand 150 basierend auf zusätzlichen Gesten wie 3D-Gesten oder anderen Interaktionen interagieren, die von einem eingebauten Gesten-Support eines Betriebssystems unterstützt werden (z. B. Greifen eines Elements in einem 3D-Raum, Ziehen des Elements in dem 3D-Raum und Drehen der Vorrichtung entlang aller freien/beweglichen Achsen).
-
Eine erfasste Berührung 142 ist in 1 dargestellt, wobei die erfasste Berührung 142 mit einem darunter liegenden angezeigten Element 132 korreliert, sodass die Steuerung 120 bestimmt, dass die erfasste Berührung 142 dem Greifen des angezeigten Elements 132 entspricht (z. B. Greifgeste). Entsprechend können die kombinierten Daten 126 im Hinblick auf die virtuelle Hand 150 im Kontext einer angezeigten Position in Bezug auf die angezeigten Elemente 132 ausgelegt werden. Zum Beispiel kann die Steuerung 120 bestimmen, dass das angezeigte Element 132 ein anklickbarer Taster ist, sodass die erfasste Berührung 142 einer Clickgeste anstelle einer Greifgeste entspricht. Daher kann die Steuerung 120 kontextbewusste Gesten ermöglichen, die auf kombinierten Daten und/oder auf der virtuellen Hand 150 und ihren virtuellen Umgebungen basieren (z. B. den angezeigten Elementen 132).
-
Die Steuerung 120 kann auch unterschiedliche Modalitäten ermöglichen. Die Ausführungsform aus 1 zeigt eine Auswahlmodalität, wobei die virtuelle Hand 150 in einem Modus zum Auswählen des angezeigten Elements 132 betrieben wird. Die erfasste Berührung 142 kann von der Steuerung 120 als Auslöser für den Übergang z. B. von der Auqswahlmodalität zu einer 3D-Interaktionsmodalität identifiziert werden. Ein solcher Übergang kann auf einer speziellen Geste (z. B. dreifaches Klopfen) basieren und auf einem Kontext früherer Gesten und/oder Stati der angezeigten Elemente 132 und/oder der virtuellen Hand 150 basieren. In einem Beispiel kann die Steuerung 120 eine Positionierungsmodalität zum Erfassen der Bewegung der erfassten Hand 140 und Fingerpositionen usw. ermöglichen. Wenn die erfasste Hand 140 von der Eingabevorrichtung 110 gehoben wird (z. B. den Kontakt mit dem Berührungssensor 112 unterbricht und/oder sich einen spezifischen Abstand innerhalb oder außerhalb des Interaktionsraums bewegt), kann die Steuerung 120 eine Veränderung der Modalität zu einer Neupositionierungsphase/-modus erkennen. Alternativ kann die Steuerung 120 eine solche Geste als Übergang zu einer 3D-Interaktionsmodalität statt einer Neupositionierungsmodalität erkennen. Basierend auf einer Modalität des Computersystems 100 kann die Steuerung 120 selektiv Informationen übergehen und/oder die virtuelle Hand beibehalten. Zum Beispiel kann während einer Neupositionierungsmodalität/-phase die Steuerung 120 ein statisches Bild der virtuellen Hand 150 anzeigen, während die erfasste Hand 140 neu positioniert wird. Daher kann die Steuerung 120 bei der Neupositionierung die Nachverfolgung der Ausrichtung und/oder die Positionsinformationen zwischen der erfassten Hand 140 und der virtuellen Hand 150 anhalten, bis die Neupositionierungsmodalität endet (z. B. der Benutzer die Hand auf oder innerhalb eines Abstands von und/oder innerhalb des Interaktionsraums der Eingabevorrichtung 110 neu anordnet).
-
2 ist ein Blockdiagramm eines Computersystems 200 mit einer Eingabevorrichtung 210 gemäß einer Ausführungsform. Das Computersystem 200 kann auch eine Steuerung 220 und eine Anzeige 230 aufweisen. Die Anzeigevorrichtung 210 kann einen Berührungssensor 212 und einen berührungslosen Sensor 214 aufweisen. Die Eingabevorrichtung 210 kann Berührungsdaten 222 (z. B. basierend auf dem Berührungssensor 212) und berührungslose Daten 224 (z. B. basierend auf dem berührungslosen Sensor 214) erzeugen. Die Steuerung 220 kann kombinierte Daten 226 basierend auf den Berührungsdaten 222 und den berührungslosen Daten 224 bereitstellen.
-
Die Steuerung 220 kann basierend auf den kombinierten Daten 226 bewirken, dass eine virtuelle Hand 250 auf der Anzeige 230 angezeigt wird. Die virtuelle Hand 250 kann mit einem angezeigten Element 232 interagieren, z. B. basierend auf einem Gestenübergang interagieren. Ein beispielhafter Gestenübergang ist als Dreifach-Klopfen durch drei erfasste Berührungen 242 in schneller Abfolge und in engster Nähe zueinander dargestellt. Die Steuerung 220 kann einen solchen Gestenübergang für den Übergang zu einer Modalität/Sitzung/Phase erfassen. Zum Beispiel kann die Steuerung 220 von einer Berührungsmodalität zu einer 3D-Interaktionsmodalität übergehen. Entsprechend kann die Steuerung 220 verschiedene Bewegungs-/Drehgesten innerhalb eines 3D-Raums 260 überwachen und diese in Interaktionen mit dem angezeigten Element 232 übersetzen. Das angezeigte Element 232 ist von der virtuellen Hand 250 als ergriffen und gedreht in dem 3D-Raum dargestellt, die auf berührungslosen Daten 224 und der kontextuellen Kenntnis der Modalität und des angezeigten Elements 232 in Bezug auf die virtuelle Hand 250 basiert. Durch die Kenntnis verschiedener lnteraktionsmodalitäten kann die Steuerung 220 die kombinierten Daten 226 intelligent überwachen und diese entsprechend anwenden. Zum Beispiel kann die Steuerung 220 die Handdrehungen und andere Bewegungen während einer Neupositionierungsphase ignorieren, gegenüber der Nachverfolgung solcher Drehungen/Bewegungen während einer 3D-Interaktionsphase/-modalität. Obgleich eine Dreifach-Klopfgeste in 2 als Übergang zu der 3D-Interaktionsmodalität/-phase dargestellt ist, können andere Gesten verwendet werden, einschließlich berührungsbasierte, bewegungsbasierte, tonbasierte und andere Gesten.
-
3 ist ein Blockdiagramm einer Eingabevorrichtung 310 gemäß einer Ausführungsform. Die Anzeigevorrichtung 310 kann mindestens einen Berührungssensor 312, einen Sensorsender 318 und/oder einen berührungslosen Sensor 314 aufweisen. Die berührungslosen Sensoren 314 sind mit einem Sichtfeld 316 verknüpft, das von der Eingabevorrichtung 310 weg weist, wie von den gestrichelten Pfeilen angezeigt. Die Eingabevorrichtung 310 kann einen Interaktionsraum 362 zum Erfassen der erfassten Hand 340 bereitstellen, der 3D-Positionsinformationen 360 und die erfasste Berührung 342 aufweist. Der Interaktionsraum 362 kann unabhängig von den Fähigkeiten des Berührungssensors 312 und/oder des berührungslosen Sensors 314 sein. Zum Beispiel kann das FOV 316 eine berührungslose Erkennung einer erfassten Hand 340 über eine große Distanz bereitstellen, der Interaktionsraum 362 aber über eine vergleichsweise kürzere Distanz eingestellt werden. In einer Ausführungsform kann der Interaktionsraum 362 willkürlich von der Steuerung und/oder anderen softwareeinstellbaren Einstellungen/Vorlieben eingestellt werden.
-
Die in 3 dargestellte Ausführungsform weist drei berührungslose Sensoren 314, einen Berührungssensor 312 und einen Sensorsender 318 auf. Es kann jedoch jede Anzahl von Elementen verwendet werden. Zum Beispiel kann der Berührungssensor 312 als mehrere einzelne Berührungssensoren bereitgestellt werden. In anderen Ausführungsformen können auch die dargestellten Positionen der Elemente variieren.
-
Der berührungslose Sensor 314 kann eine Wärmebildkamera oder ein anderer informationsverbessernder Sensor zum Erfassen von Gesten und der anatomischen Positionierung der erfassten Hand 340 in Bezug auf die Eingabevorrichtung 310 sein. Der Interaktionsraum 362 kann basierend auf den kombinierten Daten von mindestens einem berührungslosen Sensor 314 und/oder Berührungssensor 312 bereitgestellt werden. Der Interaktionsraum 362 ermöglicht die Überwachung der erfassten Hand 340, die bündig mit dem Berührungssensor 312 und während des Schwebens der erfassten Hand 340 über dem Berührungssensor 312 interagiert. Zum Beispiel kann sich der Interaktionsraum 362 in einem Abstand von etwa 6 Inch über der Eingabevorrichtung 310 erstrecken. Der Interaktionsraum 362 wird von den spezifischen Sensoren nicht eingeschränkt und kann unabhängig von der verwendeten spezifischen Hardware ausgewählt werden.
-
Zwei berührungslose Sensoren 314 sind in den Ecken der Eingabevorrichtung 310 angezeigt. Daher kann das FOV 316 der berührungslosen Sensoren 314 die Seiten und eine Unterseite (z. B. Handfläche) der erfassten Hand 340 überwachen (gleiche Position wie in 3; es können andere Aspekte der erfassten Hand 340 erfasst werden, je nach Ausrichtung der erfassten Hand 340 in Bezug auf die Eingabevorrichtung 310). Die berührungslosen Sensoren 314 können angeordnet werden, um auf Seiten der erfassten Hand 340 gerichtet zu sein, z. B. entlang der Ränder und/oder der Unterseite der Eingabevorrichtung 310. Die berührungslosen Sensoren 314 können Informationen über die erfasste Hand 340 aus einer erfassten Perspektive sammeln, wobei die erfasste Perspektive von einer angezeigten Perspektive, wie die Hand auf einer Anzeige angezeigt wird, abweicht. Die virtuelle Hand kann mit Daten erzeugt werden, die nicht von den berührungslosen Sensoren 314 und/oder dem Berührungssensor 312 aufgenommen werden, wie einer Rückseite einer Hand, die nicht innerhalb der Sichtlinie in Zusammenhang mit dem FOV 316 liegt.
-
Die Ausführungsformen können mehr als zwei berührungslose Sensoren 314 verwenden. Die Informationen von mehreren berührungslosen Sensoren 314 können zusammengefügt werden, um ein zusammengesetztes Bild basierend auf einem zusammengesetzten Sichtfeld zu bilden. Zum Beispiel kann ein zusammengesetztes Sichtfeld einen größeren Gesichtswinkel als ein FOV 316 in Zusammenhang mit einem einzelnen berührungslosen Sensor 314 aufweisen.
-
Das Erfassen einer erfassten Hand 340 von einer Unterseite und/oder Seite der erfassten Hand 340 kann immer noch Daten bereitstellen, die einer Steuerung das Erzeugen einer virtuellen Hand von einer Perspektive von oben nach unten ermöglichen. Des Weiteren können die berührungslosen Sensoren 314 ein Niederprofil in Bezug auf die Eingabevorrichtung 310 aufweisen. Es besteht kein Bedarf daran, die berührungslosen Sensoren 314 von dem Berührungssensor 312 zu heben, um eine Perspektive/einen Gesichtswinkel von oben nach unten für die berührungslosen Sensoren 314 zu erhalten. Zum Beispiel können die berührungslosen Sensoren 314 innerhalb einer Oberfläche der Eingabevorrichtung 310 eingebettet sein oder in einer Erhebung bereitgestellt sein. Daher kann eine dünne und schlanke Eingabevorrichtung 310 bereitgestellt werden, die eine reduzierte vertikale Abmessung aufweist, welche die Verwendung einer angehobenen Vorrichtung mit den berührungslosen Sensoren 314, die aus dem Berührungssensor 312 hervorsteht und zu diesem hin nach unten gerichtet ist, vermeidet. Die Aufnahme der berührungslosen Sensoren 314 in der Eingabevorrichtung 310 ermöglicht eine schlanke, dünne, elegante Niederprofileinheit ohne klobige oder auffällige Vorrichtung, die für die berührungslosen Sensoren 314 absteht.
-
Das Beispiel aus 3 weist einen berührungslosen Sensor 314 mit einem Umfang des Berührungssensors 312 auf. Ein solcher berührungsloser Sensor 314 kann ein FOV aufweisen, das weg von und im Wesentlichen senkrecht zu einer Ebene des Berührungssensors 312 weist. Mit anderen Worten richtet sich der berührungslose Sensor 314 im Wesentlichen primär nach außen von dem Berührungssensor 314, obgleich berücksichtigt wird, dass sich ein Abschnitt eines FOV des berührungslosen Sensors 314 mit dem Berührungssensor überschneiden kann. In einer Ausführungsform weist der Berührungssensor 312 eine Öffnung zum Aufnehmen des berührungslosen Sensors 314 auf. Mehrere der Berührungssensoren 312 können zum Bereitstellen von Fugen verwendet werden, über die der berührungslose Sensor 314 Erfassungsdaten erhalten kann. In einer anderen Ausführungsform weist der Berührungssensor 312 eine Oberfläche auf, die erfasste Daten zu dem eingebetteten berührungslosen Sensor 314 leiten kann. Zum Beispiel kann die Oberfläche transparent sein, um visuelle Lichtdaten zu dem berührungslosen Sensor 314 zu senden, einschließlich des Lichts in nicht sichtbaren Spektren, sowie andere Daten (z. B. aurale), die den Berührungssensor 312 passieren können.
-
Einige Ausführungsformen können Sensoren verwenden, die einen Sender und/oder einen Empfänger aufweisen. Zum Beispiel kann der Sensorsender 318 ein Signal bereitstellen, das von der erfassten Hand 340 reflektiert und von einem Sensorempfänger in einem berührungslosen Sensor 314 aufgenommen wird. Der berührungslose Sensor 314 selbst kann mindestens einen Sender und/oder Empfänger aufweisen, der als berührungsloser Sensor 314 bereitgestellt wird. In einer Ausführungsform kann eine Fast-Infrarot (IR) Lichtdiode (LED) als ein Beleuchtungssender bereitgestellt werden, und ein angemessener optischer IR-Empfänger (z. B. ein Empfänger mit einem Ausschnittfilter zum Isolieren von IR-Wellenlängen von anderen optischen Wellenlängen) kann in den berührungslosen Sensor 314 aufgenommen werden. Eine solche IR-basierte Ausführungsform kann die Systemfunktion in einer Umgebungslichtumgebung durch Verwenden einer eigenen Signalquelle und/oder Filtrierung zum Abblocken von Umgebungslicht/-rauschen und Verbessern der Signalantwort ermöglichen.
-
Ein berührungsloser Sensor 314 (und/oder Sensorsender 318) können ein Sendermuster verwenden, das zum Interaktionsraum 362 gesendet/geleitet werden soll. In einer Ausführungsform können der berührungslose Sensor 314 und/oder Sensorsender 318 einen Mechanismus zum Strukturieren der Beleuchtung aufweisen, während diese auf die erfasste Hand 340 projiziert wird, z. B. unter Verwendung eines Hologramms oder einer anderen Technik zum Strukturieren der Beleuchtung. Die strukturierte Beleuchtung kann erweiterte 3D-Informationen bezüglich der physischen Ausrichtung und Position der erfassten Hand 340 bereitstellen. Projizierte Muster können Punktematrix, Mehrlinien- und andere Muster aufweisen. Die Muster können basierend auf einem Laser erzeugt werden, z. B. eines Wärmebildlasers und eines Hologramms, um das Licht zu senden und mit einem Muster zu versehen.
-
Der berührungslose Sensor 314 kann 3D-Kamera-Erfassungstechnologien wie PMD [vision]® aufweisen, die von Vertrieben wie PMD Technologies® entwickelt wurden. Der berührungslose Sensor 314 kann aktiv und/oder passiv sein. Aktive berührungslose Sensoren 314 können Sensoren basierend auf Flugzeitpunkt, Triangulation, konoskopische Holografie, einem tragbaren Laserscanner, strukturiertem Licht, moduliertem Licht, volumetrischen Technologien und anderen aktiven Erfassungstechniken aufweisen. Passive berührungslose Sensoren 314 können Sensoren aufweisen, die auf stereoskopischen, fotometrischen, Silhouetten- und Fotogrammetrietechnologien basieren, sowie auf anderen passiven Erfassungstechniken. Ein berührungsloser Sensor 314 kann eine Linse oder andere Optik zum Erweitern oder Verändern der erfassten Daten, die von Sensor 314 erhalten werden, aufweisen. Die berührungslosen Sensoren brauchen nicht in Kontakt mit einer Oberfläche zu sein, von welcher der Parameter gemessen wird. Berührungslose Sensoren 314 können Sensoren zum Erkennen der Aspekte der erfassten Hand 340 wie einen Metallring, Handschuhe, Nagellack oder andere Merkmale aufweisen, die einer menschlichen Hand nicht inhärent sind (z. B. einen Pointer, Stylus, Avatar, Strichcode, RFID (Funkfrequenzidentifizierung), QR-Code und so weiter). Die berührungslosen Sensoren 314 können verschiedene Formen von Daten erkennen, wie Fingerabdrücke, Schweiß, Temperaturen, Drücke, Positionen, Geschwindigkeiten, Beschleunigungen, Drehmomente, Winkel, Abstände, Tiefen, Chemikalien, Kräfte, Momente, Magnetfelder, elektrische Felder (einschließlich Kapazität), Ultraschallmessungen, Spannungen usw. Daher können mehrere berührungslose Sensoren 314 verwendet werden, die verschiedenen Formen von zu sammelnden Daten als Teil der kombinierten Daten für die Steuerung entsprechen.
-
Die Eingabevorrichtung 310 kann eine in dem Berührungssensor 312 integrierte Anzeige aufweisen, sodass die Eingabevorrichtung 310 als Tablet- oder Smartphone-Formfaktor bereitgestellt werden kann. Eine solche Eingabevorrichtung 310 kann erfasste Daten bereitstellen, um eine virtuelle Hand auf einer externen Anzeige bereitzustellen, wie einem großen Präsentationsbildschirm, der für eine interaktive Präsentationssitzung verwendet wird.
-
4A bis 4D sind Blockdiagramme, welche die Interaktion mit einem System mit einer Eingabevorrichtung 410A bis 410D gemäß einer Ausführungsform darstellen. Die Interaktionen stellen eine 1:1 (eins-zu-eins) Bewegungsdarstellung dar, sowie eine Nicht-1:1-Darstellung, die verwendet werden kann. Solche Variationen der Darstellungsstrategien können Systemen ermöglichen, Unterschiede in der Größe zwischen Eingabevorrichtungen 410A bis 410D und Anzeigen 430A bis 430D vorteilhaft zu nutzen, um verschiedene Darstellungsebenen der Genauigkeit, Präzision und/oder Geschwindigkeit oder anderer Faktoren bereitzustellen. Eine beispielhafte Eingabevorrichtung 410A bis 410D kann eine Größe mit einer 9 Zoll-Diagonalen gegenüber einer beispielhaften Anzeige 430A bis 430D mit einer Größe mit einer 23 Zoll-Diagonalen aufweisen. Die Bewegung und Positionierung der erfassten Hand 440A bis 440D in Bezug auf die kleinere Eingabevorrichtung 410A bis 410D kann zum Bewegen und Positionieren der virtuellen Hand 450B bis 450D in Bezug auf die größere Anzeige 430A bis 430D basierend auf einer Kombination aus absoluten und/oder relativen Techniken zum Bereitstellen der Interaktion und Fluidität dargestellt werden.
-
4A zeigt einen Interaktionsraum 462A und eine Anzeige 430A, die mit der Eingabevorrichtung 410A verknüpft sind. Eine erfasste Hand 440A ist vor dem Eintritt in den Interaktionsraum 462A dargestellt; die Anzeige 430A zeigt keine virtuelle Hand.
-
Obschon der Interaktionsraum 462A im Allgemeinen als Halbkugel dargestellt ist, die sich über die Eingabevorrichtung 410A erstreckt, können andere Formen (z. B. rechteckiges Prisma, zusammengesetzte/zusammengefügte Formen oder amorphe Formen) mit dem Interaktionsraum 462A in Zusammenhang gebracht werden. In alternativen Ausführungsformen kann eine Form des Interaktionsraums 462A mit der Zeit variieren. Zum Beispiel kann der Interaktionsraum 462A während einer erfassten Berührungssitzung schrumpfen und während einer Leerlaufzeit (z. B. zwischen Sitzungen) und/oder während einer 3D-Interaktionsmodalität zunehmen, wodurch ein hoher Grad an Bewegungsfreiheit der 3D-Gestik und Manipulationsbewegung ermöglicht wird. Die Anzeige 430A ist ohne Anzeige einer virtuellen Hand dargestellt, was einen Status vor jeder Interaktion anzeigt (z. B. vor einer Erfassungssitzung, während einer Nicht-Anzeige-Phase einer Erfassungssitzung oder während einer Zeit zwischen Erfassungssitzungen).
-
4B zeigt eine Eingabevorrichtung 410B, die die erfasste Hand 440B in Zusammenhang mit einer erfassten Berührung 442B erfasst. Die Anzeige 430B beinhaltet eine virtuelle Hand 450B und eine virtuelle Berührung 452B.
-
Eine Erfassungssitzung kann durch Eingeben eines Interaktionsraums eingeleitet werden, durch Eingeben eines bestimmten Abstandbereichs von der Eingabevorrichtung 410B und/oder durch Berühren der Eingabevorrichtung 410B. Die Eingabevorrichtung 410B kann basierend auf der Näherungserfassung (z. B. Wärme/Infrarot) erkennen, dass die erfasste Hand 440B in den Interaktionsraum eingetreten ist, und/oder aufgrund einer anderen Erkennung, die anzeigt, dass die erfasste Hand 440B innerhalb eines Sichtfeldes oder Interaktionsraums in Zusammenhang mit der Eingabevorrichtung 410B befindlich ist. Die Erfassungssitzung kann mit der Anzeige der virtuellen Hand 450B auf der Anzeige 430B in Zusammenhang gebracht werden. Die Eingabevorrichtung 410B kann kombinierte Daten basierend auf der Sensorverschmelzung bereitstellen, damit die virtuelle Hand 450B eine Position, Ausrichtung und andere Merkmale der erfassten Hand 440B widerspiegeln kann. Wie dargestellt, spiegelt die virtuelle Hand 450B die ausgestreckten Finger parallel zu den Seiten der Anzeige 430B wider, ähnlich, wie die erfasste Hand 440B die ausgestreckten Finger parallel zu den Seiten der Eingabevorrichtung 410B aufweist. Außerdem hat die Eingabevorrichtung 410B bestimmt, dass die erfasste Berührung 442B einem Ringfinger entspricht, und zeigt die virtuelle Hand 450B und die virtuelle Berührung 452B entsprechend an.
-
Eine Stelle der erfassten Hand 440B zum Einleiten der Erfassungssitzung kann auf einer Stelle der erfassten Berührung 442B auf der Eingabevorrichtung 410B basieren. Die Position der erfassten Hand 440B (z. B. eine Position in Bezug auf die Eingabevorrichtung 410B) kann einer relativen Stelle der virtuellen Hand 450B und virtuellen Berührung 452B, die auf der Anzeige eingeleitet wurde, entsprechen. Daher kann eine relative und/oder skalierte Stelle für die anfängliche Anzeige der virtuellen Hand 450B ausgewählt werden, obgleich andere Techniken verwendet werden können. Zum Beispiel kann eine nicht relative Darstellung verwendet werden, wie die anfängliche Anzeige der virtuellen Hand 450B in der Mitte der Anzeige 430B. Die Erfassungssitzung aus 4B zeigt die Position der erfassten Hand 440B und der erfassten Berührung 442B als außermittig in Bezug auf die Eingabevorrichtung 410B, sodass die virtuelle Hand 450B und die virtuelle Berührung 452B ähnlich außermittig angezeigt werden. So kann eine Erfassungssitzung durch Positionieren der erfassten Hand 440B und/oder durch Berühren der erfassten Berührung 442B an einer Position auf der Eingabevorrichtung 410B entsprechend einer gewünschten Position auf der Anzeige 430B eingeleitet werden. In einem Beispiel kann ein angezeigtes Element wie ein Taster oder ein anderes Benutzerschnittstellenelement in der Anzeige 430B rechts vorhanden sein. Entsprechend kann eine Erfassungssitzung mit einer relativen Positionierung eingeleitet werden, sodass die virtuelle Hand 450B an oder neben dem angezeigten Element angeordnet ist, wodurch ein Bedarf an zusätzlichen Bewegungen/Gesten beseitigt wird, damit die virtuelle Hand 450B und/oder die virtuelle Berührung 452B in den Bereich des angezeigten Zielelements gelangen.
-
Beispielhafte Eingabevorrichtungen 410B können auch kosmetische Merkmale einer erfassten Hand identifizieren, sodass die Eingabevorrichtung 410B die virtuelle Hand 450B skalieren und einstellen kann, um die tatsächliche Größe der erfassten Hand und den Hautton abzugleichen, oder andere Merkmale, die ein Gefühl des Eintauchens in die direkte Berührungserfahrung verbessern. In einem Beispiel kann eine Steuerung die Größe der Anzeige 430B und die Größe der Eingabevorrichtung 410B identifizieren, um, wie gewünscht, eine angemessene visuelle Skalierung der virtuellen Hand 450B bereitzustellen.
-
4C zeigt die erfasste Hand 440C und die erfasste Berührung 442C, die mit der Eingabevorrichtung 410C verknüpft sind, nach der erfassten Bewegung der erfassten Hand 440C und der erfassten Berührung 442C. Die Bewegung und/oder Ausrichtung der erfassten Hand 440C kann basierend auf kombinierten Daten erkannt werden, einschließlich Berührungsdaten und/oder berührungslosen Daten. Die Anzeige 430C zeigt die virtuelle Hand 450C und die virtuelle Berührung 452C an, welche die Bewegung und/oder Ausrichtung der erfassten Hand 440C und der erfassten Berührung 442C nachverfolgt. Eine solche Berührungsnachverfolgung kann mit einer 2D-Interaktionsmodalität/-sitzung verknüpft sein.
-
Die Bewegung ist in der Darstellung in einem 1:1-Verhältnis zwischen der erfassten Hand 440C und der virtuellen Hand 450C dargestellt. Die 1:1-Darstellung ist immer dann möglich, wenn die Eingabevorrichtung 410C eine andere Größe als die Anzeige 430C aufweist. Daher kann es sein, dass, obwohl die erfasste Berührung 442C fast über die gesamte Eingabevorrichtung 410C von einer Seite zur anderen bewegt wurde, die virtuelle Berührung 452C von einem Rand der Anzeige 430C zu einer Stelle gerade innerhalb des Randes der Anzeige 430C bewegt wurde. In einer Ausführungsform weisen die erfasste Bewegung und die virtuelle Bewegung ungefähr den gleichen tatsächlichen Abstand auf.
-
Die erfasste Hand 440C kann auch so bewegt werden, dass fast die gesamte erfasste Hand 440C (außer eines Abschnitts der erfassten Finger) nicht mehr auf der Eingabevorrichtung 410C befindlich ist. Dennoch ist die virtuelle Hand 450C im Wesentlichen in der Anzeige 430C dargestellt (außer einem kleinen Teil der Handfläche). Daher kann die virtuelle Hand 450C unabhängig davon erzeugt und angezeigt werden, in welcher Menge die erfasste Hand 440C innerhalb des Sichtfeldes und/oder Interaktionsraums der Eingabevorrichtung 410C ist.
-
Andere Darstellungstechniken können für die Bewegung verwendet werden, einschließlich Nicht-1:1-Darstellungen/Verhältnisse (größer oder kleiner als 1:1). Zum Beispiel kann die Bewegungsrate der virtuellen Hand 450C basierend auf Faktoren wie Beschleunigung und/oder Druck in Zusammenhang mit der erfassten Hand 440C und/oder erfassten Berührung 442C variieren. In einer Ausführungsform kann die virtuelle Hand 450C eine erhöhte Bewegungsgenauigkeit basierend auf einer Skalierung von weniger als 1:1 bereitstellen. Eine solche Veränderung der Darstellung/Skalierung kann von einer Geste ausgelöst werden und/oder kann konstant überwacht und eingestellt werden (z. B. basierend auf der Beschleunigung oder dem Druck bei Erfassen davon). Daher können die beispielhaften Systeme eine verbesserte Interaktion bei größerer Geschwindigkeit, Genauigkeit, Präzision und anderen Faktoren bereitstellen als die Rohdaten, die von der erfassten Hand 440C bereitgestellt werden. In einem Beispiel kann die Bewegungsdarstellung zwischen der virtuellen Hand 450C und der erfassten Hand 440C basierend auf der Druckzunahme in Zusammenhang mit der erfassten Berührung 442C zunehmen.
-
4D zeigt die Eingabevorrichtung 410D in Zusammenhang mit der erfassten Hand 440D und der erfassten Berührung 442D nach einer Neupositionierungsgeste. Die Neupositionierungsgeste kann als separate Erfassungssitzung aufgenommen werden und kann als eine Phase in einer bestehenden Erfassungssitzung bereitgestellt werden (z. B. ohne Unterbrechung der derzeitigen Erfassungssitzung bereitgestellt werden). Die erfasste Hand 440D hat ihre Position und Ausrichtung verändert, einschließlich der Ausrichtung der Finger und Handknöchel der erfassten Hand 440D. Wie von dem hohlen gestrichelten Pfeil dargestellt, wurde die erfasste Hand 440D von der Eingabevorrichtung 410D gehoben und für die erfasste Berührung 442D neu positioniert. Die Anzeige 430D enthält die virtuelle Hand 450D und die virtuelle Berührung 452D. Die virtuelle Berührung 452D weist einen erweiterten Bereich auf, basierend auf einem erhöhten Druck nach unten in Zusammenhang mit der erfassten Berührung 442D. Der erweiterte Bereich kann für verschiedene Interaktionen verwendet werden, wie Zeichnen mit einem breiteren Pinselstrich, Auswählen mehrerer Dokumente, Bewegen entlang einer Z-Achse in einem 3D-Raum und so weiter. Daher kann die Eingabevorrichtung 430D ein Kraftpad zum Erfassen des Drucks oder einer anderen Anzeige dafür, wie hart eine erfasste Hand 440D auf die Eingabevorrichtung 430D drückt, um die erfasste Berührung 442D zu erzeugen, aufweisen. Der Druck (oder die andere Eingabe) können durch Erweitern oder Schrumpfen der virtuellen Berührung 452D oder der anderen Anzeigen (z. B. Wechseln der virtuellen Hand 450D (z. B. Farbe), Cursor oder anderer Anzeigen) dargestellt werden.
-
Während der Neupositionierung (z. B. wenn die erfasste Hand 440D von der Eingabevorrichtung 410D gehoben wird) kann eine Position der virtuellen Hand 450D beibehalten werden. Zum Beispiel kann ein statisches Bild der virtuellen Hand 450D angezeigt werden. Durch das Beibehalten der Position der virtuellen Hand 450D kann die erfasste Hand 440D zusätzliche Bewegungsfreiheit in Bezug auf die kleiner bemessene Eingabevorrichtung 410D erhalten, z. B. wenn die erfasste Hand 440D einen Rand der Eingabevorrichtung 410D erreicht. In der Ausführungsform aus 4D ermöglicht die Neupositionierung der erfassten Hand 440D, in einer Position zu sein, die weiter nach links bewegt werden kann, wodurch die virtuelle Hand 450D sich noch weiter nach links bewegen kann. Daher kann die Bewegung der virtuellen Hand 450D über die Anzeige 430D in zunehmenden Schritten erreicht werden, basierend auf der Bewegungsskalierung bei verschiedenen Verhältnissen, einschließlich der 1:1-Bewegungsskalierung.
-
Unabhängig von der Bewegung der virtuellen Hand 450D können die Ausrichtung und andere Aspekte der erfassten Hand 440D nachverfolgt werden. Zum Beispiel kann die erfasste Hand 440D drei abgeknickte Finger aufweisen und leicht gegen den Uhrzeigersinn gedreht sein. Die Eingabevorrichtung 410D kann solche Ausrichtungsmerkmale nachverfolgen und die virtuelle Hand 450D veranlassen, dies widerzuspiegeln. Diese Spiegelung kann auch dann fortgesetzt werden, wenn die Position der virtuellen Hand 450D beibehalten wird (z. B. während der Neupositionierung). Alternativ kann die virtuelle Hand 450D während der Neupositionierung aus der Anzeige 430D entfernt werden (z. B. die verschiedenen Drehungen, Ausrichtungen und/oder Positionierung der erfassten Hand 440D während der Neupositionierung ignoriert werden). Die virtuelle Hand 450 kann mit der aktualisierten Ausrichtung/Position nach der Neupositionierung erneut auf der Anzeige 430D angezeigt werden. Entsprechend kann ein Gefühl des Eintauchens beibehalten werden, auch wenn die 1:1-Nachverfolgung (und/oder die Bewegung basierend auf einer Nicht-1:1-Nachverfolgung) zwischen der erfassten Hand 440D und der virtuellen Hand 450D unterbrochen wird. Ferner kann die Verwendung verschiedener Gesten den Übergang zwischen Eingabemodalitäten ermöglichen, sodass eine Form der Eingabe (z. B. Drehen der Hand über der Eingabevorrichtung 410D) unterschiedliche Interaktionen bereitstellen kann, je nach der Geste und der entsprechenden Modalität, zu der der Übergang stattgefunden hat.
-
Daher stellen die oben beschriebenen Szenarien eine beispielhafte Bewegung der virtuellen Hand basierend auf einem tatsächlich-zu-virtuellen Handverknüpfungsmodell bereit. Beispielhafte Systeme können relative und/oder absolute Interaktionsgebrauchsmodelle alternativ und/oder in Kombination aufweisen. In einem solchen Gebrauchsmodell wird eine Erfassungssitzung eingeleitet (z. B. durch Näherung, Berührung und/oder Sichtfeld ausgelöst) und die virtuelle Hand erscheint in einer Anzeige an einer skalierten ”absoluten” Stelle, die der erfassten Hand in Bezug auf die Eingabevorrichtung entspricht. Die virtuelle Hand kann auf eine ähnliche anatomische Weise wie die erfasste Hand erscheinen, basierend auf der virtuellen Computerrekonstruktion/-erzeugung unter Verwendung der kombinierten Daten. Die Bewegung der erfassten Hand in Bezug auf die Eingabevorrichtung kann zu einer eins-zu-eins-Darstellung zwischen dem Eingabevorrichtungsraum und dem Anzeigenraum zurückkehren. Das Anheben und Neupositionieren der erfassten Hand kann von einem Berührungs- und/oder einem berührungslosen Sensor erfasst werden, was von einer Steuerung und/oder Software erkannt wird, wodurch die virtuelle Hand ihre angezeigte Position beibehalten kann. Nach der Neupositionierung kann die virtuelle Hand ihre vorherige ”absolute” Position auf der Anzeige beibehalten und jeglichen anatomischen Veränderungen der Ausrichtung der Hand/Finger usw. einstellen. Die absolute eins-zu-eins-Darstellung zwischen der erfassten Hand (in Bezug auf die Eingabevorrichtung) und der virtuellen Hand (in Bezug auf die Anzeige) kann fortgesetzt werden. Andere Gebrauchsmodelle sind möglich, einschließlich Modelle, die keine Neupositionierung beinhalten. Ausführungsformen können die direkte, präzise 1:1-Korrelierung der Bewegung ermöglichen, während sich eine virtuelle Hand über die gesamte Anzeige bewegt, obgleich die Anzeige im Wesentlichen größer als die Eingabevorrichtung ist. In anderen Gebrauchsmodellen/Ausführungsformen können andere Darstellungen neben 1:1 verwendet werden.
-
Gesten wie Fingerdruck- und -spreizung zum Zoomen, Zwei-Finger-Schnipsen zur Rahmentransposition und andere werden unterstützt und auf der Anzeige von der durchscheinenden Hand in Echtzeit sichtbar dargestellt. Andere Gesten können unterstützt werden, einschließlich Gesten, die eine Berührung der Eingabevorrichtung betreffen, sowie Gesten in dem Interaktionsraum ohne Kontakt mit der Eingabevorrichtung.
-
Der Übergang einer Sitzung und/oder Phase einer Sitzung kann basierend auf dem Entfernen der erfassten Hand aus dem Interaktionsraum ausgelöst werden (z. B. eingeleitet, übergangen, beendet werden, usw.). Ein solcher Übergang kann z. B. eine Erfassungssitzung zu einem neuen Status zurücksetzen. Zum Beispiel kann ein System von einer absoluten 1:1-Darstellung zu einer skalierten relativen Nicht-1:1-Darstellung umschalten. Die virtuelle Handanordnung kann zu einer skalierten Darstellung der vollen Größe der Anzeige veranlasst werden oder zu einer anderen Veränderung der anfänglichen Anordnung der virtuellen Hand.
-
5 ist ein Blockdiagramm 500 basierend auf dem Erzeugen einer virtuellen Hand basierend auf einer Eingabevorrichtung gemäß einer Ausführungsform. Bei Block 510 werden Berührungsdaten aus einem Berührungssensor einer Eingabevorrichtung empfangen und die berührungslosen Daten von einem berührungslosen Sensor der Eingabevorrichtung empfangen. Zum Beispiel kann eine kapazitive Anordnung als Berührungssensor verwendet werden und ein 3D-Sensor kann als berührungsloser Sensor verwendet werden. Ein Sichtfeld des berührungslosen Sensors weist von dem Berührungssensor weg. Zum Beispiel kann der 3D-Sensor seitwärts/nach oben im Wesentlichen weg von dem Berührungssensor eigen, um eine Unterseite und/oder Seite der erfassten Hand abzubilden, die mit der Eingabevorrichtung interagiert. Bei Block 520 wird eine virtuelle Hand basierend auf den kombinierten Daten, welche die Berührungsdaten und die berührungslosen Daten enthält, erzeugt. Zum Beispiel kann die virtuelle Hand unter Verwendung der kombinierten Daten zum Identifizieren der Fingerpositionen und Verwendung der Berührungsdaten zum Verfeinern der Informationen aus dem berührungslosen Sensor zum Erzeugen der virtuellen Hand verwendet werden, welche die erfasste Hand imitiert. Bei Block 530 wird die virtuelle Hand mit einem nicht erfassten Merkmal angezeigt, das für die virtuelle Hand erzeugt wird. Zum Beispiel kann das nicht erfasste Merkmal durch Einschalten der kombinierten Daten konstruiert werden. In einem Beispiel kann das nicht erfasste Merkmal eine Rückseite der virtuellen Hand sein, die aus kombinierten Daten erzeugt wird, die eine Vorderseite (Handflächenseite) der erfassten Hand anzeigen. In alternativen Ausführungsformen kann das nicht erfasste Merkmal Bereiche zwischen Fingern, Knöchelausrichtung und andere Merkmale aufweisen (die basierend auf allgemeinen anatomischen Handmodellen abgeleitet werden können).
-
6 ist ein Blockdiagramm 600 basierend auf der Anzeige einer virtuellen Hand in Zusammenhang mit einer Erfassungssitzung gemäß einer Ausführungsform. Bei Block 610 wird eine Erfassungssitzung eingeleitet. Zum Beispiel kann die Erfassungssitzung basierend auf dem Erfassen einer Hand in einem Interaktionsraum und/oder einem Sichtfeld eines berührungslosen Sensors oder Erkennen einer erfassten Berührung eingeleitet werden. In alternativen Ausführungsformen können andere Sitzungen auf die gleiche Weise eingeleitet werden, wie eine Gestensitzung, eine Neupositionierungssitzung, eine 3D-Interaktionserkennungssitzung und andere Sitzungen. Die Erfassungssitzung, die bei Block 610 einsetzt, kann mindestens einen Status aufweisen, wie einen Anzeigestatus, einen relativen Positionsstatus, einen Bewegungsstatus, einen Neupositionierungsstatus und so weiter. Die Erfassungssitzung kann basierend auf den kombinierten Daten zwischen unterschiedlichen Stati übergehen. Bei Block 620 wird eine virtuelle Hand als Reaktion auf die Einleitung einer Erfassungssitzung angezeigt, in einer Anfangsposition der Anzeige. Die Anfangsposition basiert auf der Skalierung einer erfassten Position, wie von den kombinierten Daten in Bezug auf die Eingabevorrichtung angezeigt. Zum Beispiel kann eine erfasste Hand in einer Mitte der Eingabevorrichtung erkannt werden und die virtuelle Hand anfangs in einer Mitte der Anzeige angezeigt werden. In einer alternativen Ausführungsform kann eine erfasste Hand in einer oberen linken Ecke der Eingabevorrichtung erkannt werden und die virtuelle Hand anfangs in einer oberen linken Ecke der Anzeige angezeigt werden. Bei Block 630 wird eine Position der virtuellen Hand während einer Erfassungssitzung basierend auf einer nicht skalierten absoluten 1:1-Bewegungsübersetzung aktualisiert, wie von den kombinierten Daten, die von der Eingabevorrichtung erfasst werden, angezeigt. Zum Beispiel können die kombinierten Daten die erfasste Bewegung einer zweiten Hand als ein Inch in Bezug auf die Eingabevorrichtung anzeigen. Entsprechend kann die virtuelle Hand als sich ein Inch bewegend auf der Anzeige angezeigt werden, was der erfassten Bewegung entspricht. Eine solche 1:1-Darstellung der Bewegung zwischen der erfassten Hand und der virtuellen Hand ist sogar dann möglich, wenn der Berührungssensor der Eingabevorrichtung kleiner als die Anzeigenoberfläche der Anzeige ist (z. B. ein Größenverhältnis zwischen dem Berührungssensor und der Anzeige nicht 1:1 beträgt). In anderen Ausführungsformen kann die virtuelle Hand in einem Verhältnis bewegt/aktualisiert werden, dass nicht 1:1 in Bezug auf die erfasste Hand beträgt, z. B. für eine verbesserte Präzision (ein Verhältnis von weniger als 1:1) und/oder verbesserte Geschwindigkeit (einem Verhältnis von mehr als 1:1). Die Darstellung kann sich über die Zeit verändern, z. B. basierend auf der Bewegungsbeschleunigung und/oder Druck. Bei Block 640 werden die kombinierten Daten auf eine visuelle Geste für den Übergang eines Erfassungssitzung-Status überwacht. Zum Beispiel können die kombinierten Daten anzeigen, dass die Erfassungssitzung von einem Bewegungsstatus zu einem stationären Status zu einem Neupositionierungsstatus und dann zu einem Beendigungsstatus übergeht (und/oder andere Stati). Bei Block 650 wird eine Neupositionierungsgeste während einer Erfassungssitzung erfasst. Die kombinierten Daten können zum Beispiel anzeigen, dass eine erfasste Hand von der Eingabevorrichtung gehoben wird (z. B. zeigt der Berührungssensor keinen Kontakt an und/oder der berührungslose Sensor zeigt an, dass eine erfasste Hand aus einem Sichtfeld und/oder Interaktionsraum der Eingabevorrichtung bewegt wurde). Während der Neupositionierungsphase wird die absolute Postion der virtuellen Hand auf der Anzeige beibehalten, während eine erfasste Hand in Bezug auf die Eingabevorrichtung neu positioniert wird. Zum Beispiel wird die angezeigte virtuelle Hand an ihrer Position gehalten. Die virtuelle Hand kann auch aktualisiert werden, um die Ausrichtung der erfassten Hand und/oder Hand-/Fingerpositionierung während der Neupositionierungsgeste nachzuverfolgen. Bei Block 660 wird eine Erfassungssitzung beendet und die virtuelle Hand aus der Anzeige entfernt. Zum Beispiel können die kombinierten Daten anzeigen, dass eine erfasste Hand eine Zeit lang bewegungslos war und/oder aus einem Sichtfeld und/oder Interaktionsraum der Eingabevorrichtung entfernt wurde. In einem Beispiel wird die virtuelle Hand durch schrittweises Verblassen durch Erhöhen ihrer Transparenz der virtuellen Hand entfernt.
