DE102009034413B4 - Erkennung zusammengesetzter Gesten - Google Patents
Erkennung zusammengesetzter Gesten Download PDFInfo
- Publication number
- DE102009034413B4 DE102009034413B4 DE102009034413A DE102009034413A DE102009034413B4 DE 102009034413 B4 DE102009034413 B4 DE 102009034413B4 DE 102009034413 A DE102009034413 A DE 102009034413A DE 102009034413 A DE102009034413 A DE 102009034413A DE 102009034413 B4 DE102009034413 B4 DE 102009034413B4
- Authority
- DE
- Germany
- Prior art keywords
- gesture
- input
- sub
- visual content
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 150000001875 compounds Chemical class 0.000 title description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims abstract description 41
- 239000002131 composite material Substances 0.000 claims description 154
- 210000003811 finger Anatomy 0.000 claims description 68
- 210000003813 thumb Anatomy 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 19
- 230000003139 buffering effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 210000004247 hand Anatomy 0.000 description 16
- 230000009471 action Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000004932 little finger Anatomy 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000011165 3D composite Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
- Technisches Gebiet
- Die Erfindung bezieht sich allgemein auf Schnittstellensysteme und insbesondere auf die Erkennung zusammengesetzter Gesten.
- Technischer Hintergrund
- Mit der Zunahme der mit einem Computer ausgeführten Tätigkeiten werden vielfach neue und innovative Wege zur Schaffung einer Schnittstelle mit einem Computer entwickelt, um die Veränderungen in der Computerfunktionalität und Aufmachung zu ergänzen. So können es berührungsempfindliche Bildschirme einem Benutzer zum Beispiel erlauben, Eingabe in den Computer ohne eine Maus und/oder eine Tastatur zu machen, so dass zur Eingabe kein Platz auf dem Schreibtisch mit dem Computer erforderlich ist. Beispiele solcher berührungsempfindlicher Bildschirme umfassen berührungsempfindliche Membranen, Strahl unterbrechungstechniken mit längs des Umfangs vorgesehenen Lichtquellen und Sensoren und akustisch abtastende Techniken. Diese Arten von Computerschnittstellen können jedoch nur Informationen an den Computer bezüglich eines Berührungsereignisses selbst geben und sind folglich in ihrer Anwendbarkeit beschränkt. Hinzu kommt, dass diese Arten von Schnittstellen hinsichtlich der Anzahl von Berührungsvorgängen, die in einer vorgegebenen Zeitspanne verarbeitet werden können, beschränkt sind, und dass sie der Gefahr der Verarbeitung unbeabsichtigter Berührungen ausgesetzt sind, wenn sie beispielsweise Berührungen, die von der Manschette eines Hemdes oder der Handfläche stammen, als Berührungsereignisse werten. Hinzu kommt, dass berührungsempfindliche Bildschirme prohibitiv teuer sein können und dass sehr großen Bildschirmgrößen, wie sie beispielsweise bei Präsentationen verwendet werden, unpraktisch sind.
US 2008/0013826 A1 US 2001/0043719 A1 US 6,147,678 offenbart eine dreidimensionale Video-Hand-Bild Computerschnittstelle mit mehreren Freiheitsgraden. Das System umfasst einen Computer und zumindest zwei mit dem Computer verbundene Kameras. Das System verarbeitet dabei die Position und Ausrichtung von zwei Fingern einer Hand und bildet daraus Informationen, die zur Steuerung einer virtuellen Umgebung verwendet werden.US 2006/0187196 A1 EP 0 571 702 A2 offenbart ein Handzeige-Eingabegerät und eine Wandcomputereinheit. Mittels der in EP 0 571 702 A2 offenbarten Einheit wird das Hinweisen auf und das Auswählen von dargestellten Objekten berührungsfrei über zwei Gesten dargestellt. Es ist daher Aufgabe der vorliegenden Erfindung ein Verfahren zur Ausführung und Auswertung von Gesteneingaben in einem Schnittstellensystem für Gestenerkennung bereitzustellen, bei welchem komplexe Operationen durch Gesten erfasst und verarbeitet werden können. Zudem ist es Ausgabe ein Verfahren zum Ausführen und Interpretieren von Gesteneingaben in einem Schnittstellensystem zur Gestenerkennung anzugeben, bei welchem komplexe Operationen durch Gesten ausgeführt werden können. Eine weitere Aufgabe ist es, ein Schnittstellensystem anzugeben, bei welchem komplexe Gesten erkannt werden können. - Zusammenfassung
- Eine Ausführungsform der Erfindung umfasst ein Verfahren zur Ausführung und Auswertung von Gesteneingaben in ein Schnittstellensystem für die Gestenerkennung. Das Verfahren weist das Erfassen und Übertragen einer ersten Untergeste in einer dreidimensionalen Gestenerkennungsumgebung in eine erste Geräteeingabe auf, die einen vorgegebenen Bezug definiert, der mit einem Ausschnitt eines angezeigten visuellen Inhalts bzw. Contents verknüpft ist. Das Verfahren umfasst auch das Erfassen und Übertragen einer zweiten Untergeste in einer dreidimensionalen Gestenerkennungsumgebung in eine zweite Geräteeingabe, die einen Ausführungsbefehl für den Teil des angezeigten visuellen Inhalts definiert, auf den sich der vorgegebene Bezug bezieht, sowie das Erfassen und Übertragen einer dritten Untergeste in eine dritte Geräteeingabe, die zur Ausführung eines mit der Manipulation des Ausschnitts des angezeigten visuellen Inhalts verknüpften Befehls ausgebildet ist.
- Eine andere Ausführungsform der Erfindung weist ein Verfahren zur Ausführung und Auswertung von Gesteneingaben in ein Schnittstellensystem für die Gestenerkennung auf. Das Verfahren umfasst das Aufnehmen einer Vielzahl sequenzieller Bilder einer Gesteneingabeumgebung, das Erkennen einer ersten Untergeste aufgrund eines Ortes im dreidimensionalen Raum von wenigstens einem Finger einer ersten Hand eines Benutzers relativ zum angezeigten visuellen Inhalt in jedem der Vielzahl sequenzieller Bilder der Gesteneingabeumgebung. Das Verfahren umfasst ferner das Übertragen bzw. Übersetzen der ersten Untergeste in eine erste Geräteeingabe, die einen vorgegebenen Bezugspunkt definiert, der mit einem Ausschnitt des angezeigten visuellen Inhalts verknüpft ist. Das Verfahren umfasst weiterhin das Erfassen einer zweiten Untergeste aufgrund von Änderungen des Orts im dreidimensionalen Raum von wenigstens einem Finger einer zweiten Hand des Benutzers während die erste Untergeste durch die erste Hand des Benutzers beibehalten wird in jedem der Vielzahl aufeinanderfolgender Bilder der Gesteneingabeumgebung. Darüber hinaus weist das Verfahren das Übertragen der zweiten Untergeste in eine zweite Geräteeingabe auf, die einen auszuführenden Befehl für einen Ausschnitt des angezeigten visuellen Inhalts definiert, auf den sich der vorgegebene Bezugspunkt bezieht.
- Eine andere Ausführungsform der Erfindung ist ein Gestenerkennungssystem. Das System umfasst Mittel zum Anzeigen visuellen Inhalts und Mittel zum Aufnehmen einer Vielzahl von sequenziellen Bildern einer Gesteneingabeumgebung, die dem visuellen Inhalt zugeordnet ist. Das System weist ferner Mittel zur Bestimmung einer zusammengesetzten Gesteneingabe auf, die eine erste Eingabegeste und eine zweite Eingabegeste enthält, die wenigstens einem Eingabeobjekt zugeordnet sind, auf der Grundlage dreidimensionaler Orte wenigstens eines Merkmals wenigstens eines Eingabeobjekts in jedem der Vielzahl von sequenziellen Bildern der Gesteneingabeumgebung. Das System weist weiterhin Mittel zum Übertragen der zusammengesetzten Gesteneingaben in eine erste Geräteeingabe basierend auf der ersten Eingabegeste und eine zweite Geräteeingabe basierend auf der zweiten Eingabegeste auf. Die erste Geräteeingabe kann zum Hinweisen auf einen Ausschnitt aus dem visuellen Inhalt ausgebildet sein, und die zweite Geräteeingabe kann zur Ausführung zumindest eines Befehls ausgestaltet sein, der einem Benutzer erlaubt, mit dem ausgewählten Ausschnitt des angezeigten visuellen Inhalts unter Verwendung der ersten Eingabegeste während die zweite Untergeste beibehalten wird wechselzuwirken.
- Kurze Beschreibung der Zeichnungen
-
1 stellt ein Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
2 stellt ein Beispiel einer Darstellung von Geräteeingaben dar, die gemäß einem Aspekt der Erfindung über eine zusammengesetzte Handgeste verwirklicht sind. -
3 stellt ein Beispiel einer Darstellung dar, die Geräteeingaben, die über eine zusammengesetzte Handgeste gemäß einem Aspekt der Erfindung erfolgen, zeigt. -
4 zeigt ein Beispiel einer Darstellung von zusammengesetzten Gesten zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. -
5 stellt ein anderes Beispiel einer Darstellung von zusammengesetzten Handbewegungen für die Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
6 zeigt ein Beispiel einer zusammengesetzten Geste von zwei Händen zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. -
7 stellt ein Beispiel einer Abbildung eines Satzes zusammengesetzter Gesten von zwei Händen zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
8 stellt ein anderes Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
9 stellt ein weiteres Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
10 stellt ein Beispiel eines Verfahrens zur Erzeugung von Gesteneingaben in einen Computer gemäß einem Aspekt der Erfindung dar. - Ausführliche Beschreibung
- Die Erfindung betrifft allgemein Schnittstellensysteme und insbesondere die Erkennung zusammengesetzter Gesten. Ein Benutzer verwendet ein Eingabeobjekt zur Erzeugung simulierter Eingaben in einen Computer oder einem anderen elektronischen Gerät. Dabei versteht sich, dass die simulierten Eingaben durch zusammengesetzte Gesten unter Verwendung des Eingabeobjekts erzeugt werden können. Der Benutzer kann zum Beispiel Gesten erzeugen, die unter Verwendung des Eingabeobjekts vordefinierte Bewegungen in einer Umgebung zur Gestenerkennung, wie sie durch den Vordergrund eines Anzeigebildschirms, der visuellen Inhalt anzeigt, definiert sind, beinhalten. Das Eingabeobjekt könnte zum Beispiel eine oder beide Hände des Benutzers umfassen, oder kann ein Stab, ein Schreibstift, ein Zeigestock oder eine Vielfalt anderer Geräte sein, mit denen der Benutzer gestikulieren kann. Die simulierten Eingaben können beispielsweise simulierte Mauseingaben sein, mit denen z. B. ein Bezug auf angezeigten visuellen Inhalt hergestellt wird und mit denen ein Befehl auf Ausschnitten des visuellen Inhalts, auf die sich der Bezug bezieht, ausgeführt werden kann. Folglich kann eine zusammengesetzte Geste eine Geste sein, mit der vielfache Untergesten zur Erzeugung vielfach verknüpfte Geräteeingaben eingesetzt werden können. So kann zum Beispiel eine erste Untergeste eine Bezugsgeste zur Verknüpfung mit einem Ausschnitt des visuellen Inhalts sein und eine zweite Untergeste kann eine Ausführungsgeste sein, die gleichzeitig mit oder unmittelbar im Anschluss an die erste Untergeste ausgeführt wird, um z. B. einen Befehl auf dem Ausschnitt des visuellen Inhalts auszuführen, auf den sich die erste Untergeste bezieht.
- Jedes einer Vielfalt von Schnittstellensystem zur Gestenerkennung kann zur Erkennung der zusammengesetzten Gesten eingesetzt werden. So können zum Beispiel eine oder mehrere Infrarot (IR) Lichtquellen eine Gestenerkennungsumgebung beleuchten, die durch einen Bereich in einem physikalischen Raum im Vordergrund bzw. vor oder über einer vertikalen bzw. horizontalen Anzeigefläche definiert ist. Ein Satz von Stereokameras kann jeweils eine Vielzahl von Bildern des Eingabeobjekts erzeugen. Die Vielzahl der Bilder kann zum Beispiel auf dem Kontrast reflektierten Lichts von dem Infrarotlicht beruhen, das von dem Eingabeobjekt relativ zum im wesentlichen nicht reflektierten Licht oder stärker reflektierten Licht von einer rück-reflektierenden Hintergrundfläche reflektiert wird. Die Vielzahl der Bilder des Eingabeobjekts von jeder Kamera kann zum Beispiel eine Vielzahl zusammengehöriger Sätze von Bildern des Eingabeobjekts bilden, derart, dass jedes Bild in dem zusammengehörigen Satz von Bildern dem Eingabeobjekt aus einer unterschiedlichen Perspektive zu im wesentlichen der gleichen Zeit entspricht. Ein gegebener zusammengehöriger Satz von Bildern kann zur Bestimmung des Ortes des Eingabeobjekts eingesetzt werden und die Vielzahl der zusammengehörigen Sätze von Bildern kann zur Bestimmung der physischen Bewegung des Eingabeobjekts benutzt werden.
- Ein Kontroller kann zum Empfang der Vielzahl der Bilder für die Bestimmung von dreidimensionalen Lageinformationen von dem Eingabeobjekt eingesetzt werden. Zum Beispiel kann der Kontroller einen Algorithmus zur Bestimmung von Merkmalen des Eingabeobjekts einsetzen, zum Beispiel den Endpunkten, der Länge und der Neigung länglicher Abschnitte des Eingabeobjekts im dreidimensionalen Raum. Der Kontroller kann dann die simulierten Eingaben in Geräteeingaben auf der Grundlage der Lageinformation in den drei Dimensionen umsetzen. Zum Beispiel kann der Kontroller Gesteneingaben auf der Grundlage von Bewegungen übertragen, die mit dem Eingabeobjekt verknüpft sind und die Gesteneingaben in Eingaben in einen Computer oder ein anderes Gerät übertragen. Der Kontroller kann auch die mit dem einen oder den mehreren Endpunkten des Eingabeobjekts verknüpfte Bewegung mit einer Vielzahl vordefinierter, in einem Speicher gespeicherten Gesten vergleichen, so dass eine Übereinstimmung mit einer gegebenen vordefinierten Geste einer bestimmten Geräteeingabe entspricht.
-
1 zeigt ein Ausführungsbeispiel eines Schnittstellensystems10 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Schnittstellensystem10 zur Gestenerkennung umfasst eine erste Kamera12 , eine zweite Kamera14 , eine erste Infrarotlichtquelle16 und eine zweite Infrarotlichtquelle18 , die alle über einer vertikalen Anzeigefläche20 angebracht sind. Die vertikale Anzeigefläche20 kann beispielsweise eine Projektionsleinwand sein. Die erste Kamera12 und die zweite Kamera14 können jeweils Infrarotfilter aufweisen, so dass die jeweilige Kamera nur Infrarotlicht zu empfangen in der Lage ist. Die erste Infrarotlichtquelle16 und die zweite Infrarotlichtquelle18 beleuchten jede eine Gestenerkennungsumgebung22 , die als der dreidimensionale physische Raum im Vordergrund der vertikalen Anzeigefläche20 definiert ist, die von der ersten Kamera12 und der zweiten Kamera14 erfassbar sind. - Ein Eingabeobjekt
24 kann simulierte Eingaben über der vertikalen Anzeigefläche20 erzeugen. In dem Ausführungsbeispiel nach1 ist als Eingabeobjekt24 die Hand eines Benutzers dargestellt, derart, dass simulierte Eingaben über die Handgesten erzeugt werden können. Es versteht sich jedoch, dass die Verwendung einer Hand zur Erzeugung simulierter Eingaben über Handgesten nur eine beispielhafte Verkörperung für das Schnittstellensystems10 zur Gestenerkennung darstellt. Beispiele anderer Arten von Eingabeobjekten können einen Schreibstift, einen Stab, einen Zeigestock oder eine Vielzahl anderer Geräte umfassen, mit denen Gesten zur Simulation von Eingaben erzeugt werden können. Hinzu kommt, dass als Beispiel zur Ausführung von Gesten mittels der Hand eines Benutzers als dem Eingabeobjekt24 zur Erzeugung simulierter Eingaben die Hand des Benutzers einen Handschuh und/oder eine Fingerspitze oder Gelenksensoren aufweisen können oder es kann die nackte Hand eines Benutzers sein. - Bei dem Ausführungsbeispiel nach
1 empfangen die erste Kamera12 und die zweite Kamera14 getrennte Bilder des Eingabeobjekts24 , von denen jedes der von der ersten Kamera12 bzw. der zweiten Kamera14 aufgenommenen Bilder einen zusammengehörigen Satz (z. B. ein zusammengehöriges Paar) bilden. Als ein Beispiel kann sowohl die erste Kamera als auch die zweite Kamera schneit fotografische Standbilder mit zum Beispiel60 Bildern je Sekunde aufnehmen, so das jedes Standfoto, das mit der ersten Kamera12 aufgenommen wurde, zu einem Standfoto, das mit der zweiten Kamera14 zu praktisch der gleichen Zeit aufgenommen wurde, zugehörig ist. Das Eingabeobjekt24 kann in jedem Bild des zusammengehörigen Satzes, der durch die erste Kamera12 und die zweite Kamera14 jeweils aufgenommen wurde, aufgrund der Parallaxe, die durch die unterschiedlichen Befestigungsorte für sowohl die erste Kamera12 als auch die zweite Kamera14 verursacht sind, an einem anderen Ort zu sein erscheinen. In dem Beispiel nach1 kann die erste Kamera12 und die zweite Kamera14 jeweils unter einem Winkel auf das Zentrum der vertikalen Anzeigefläche20 ausgerichtet sein, so dass eine genauere Bestimmng der Position des Eingabeobjekts24 ermöglicht ist. - Bei dem Ausführungsbeispiel nach
1 können die sowohl von der ersten Kamera12 als auch die von der zweiten Kamera14 empfangenen Bilder des Eingabeobjekts24 auf Infrarotlicht beruhen, das von dem Eingabeobjekt relativ zum im wesentlichen nicht-reflektierten Licht in der Gestenerkennungsumgebung reflektiert ist. Insbesondere ist ein Objekt mit einer relativen Helligkeitsintensität beleuchtet, die 1/D2 ist, mit D dem Abstand von der Lichtquelle. Folglich erscheint ein Objekt, das zweimal so weit entfernt wie ein anderes ist, vier mal schwächer. Das hat zur Folge, dass, obwohl einiges Infrarotlicht, das von der ersten und zweiten der Infrarotlichtquellen16 und18 ausgestrahlt wird, vom Boden28 unterhalb der vertikalen Anzeigefläche20 reflektiert wird, die Intensität des so reflektierten Lichtes deutlich geringer als die des vom Eingabeobjekt24 reflektierten Lichts ist. - Die erste Kamera
12 und die zweite Kamera14 können jede ihre entsprechenden getrennten Bilder des Eingabeobjekts an einen Kontroller26 übergeben. Der Kontroller könnte in einem nicht dargestellten Computer vorgesehen sein, für das das Schnittstellensystem10 zur Gestenerkennung für die Bildung einer Gestenerkennungsschnittstelle ausgebildet ist. Dabei versteht es sich jedoch, dass das Unterbringen eines Kontrollers nicht auf einen alleinstehenden Computer beschränkt ist und dass dieser zum Beispiel in einem Prozessor eingebettet sein kann. Der Kontroller kann die entsprechenden, mit dem Eingabeobjekt verknüpften Bilder verarbeiten, um dreidimensionale, mit dem Eingabeobjekt verknüpfte Ortsdaten zu erzeugen. - Es können zum Beispiel die erste Kamera
12 und die zweite Kamera14 jeweils unter vorgegebenen Winkeln relativ zum Boden28 unterhalb der vertikalen Anzeigefläche20 montiert sein. Für ein gegebenes zusammengehöriges Paar von Bildern des Eingabeobjekts24 hat dann, wenn der vorbestimmte Winkel jeder der Kameras12 und14 der gleiche ist, jeder Punkt des Eingabeobjekts24 in einem zweidimensionalen Raum in einem gegebenen Bild von der Kamera12 den gleichen Abstand von einem entsprechenden Punkt des Eingabeobjekts24 in dem entsprechenden zugehörigen Bild von der Kamera14 . Der Kontroller26 könnte den physikalischen Ort des Eingabeobjekts24 aufgrund einer relativen Parallaxenverschiebung des zusammengehörigen Satzes von Bildern des Eingabeobjekts24 zu einer gegebenen Zeit dreidimensional bestimmen. Zusätzlich könnte der Kontroller26 unter Verwendung eines Computeralgorithmusses auch dreidimensional den physischen Ort von Merkmalen, die mit Abschnitten des Eingabeobjekts24 verknüpft sind, zum Beispiel Finger oder Fingerspitzen, bestimmen. Als Beispiel sei genannt, dass der Kontroller26 zur Bestimmung und Übertragung der Gesten ausgebildet sein kann, die in der Gestenerkennungsumgebung auf eine von vielen verschiedenen Weisen erzeugt wurden, wie beispielsweise jenen, die sowohl in der US-Patentanmeldung mit dem Titel ”Gesture Recognition Interface System” (Schnittstellensystem zur Gestenerkennung), Seriennummer 11/485,788, angemeldet am 13. Juli 2006 und veröffentlicht alsUS 2008/0013826 A1 US 2008/0244468 A1 - Das Schnittstellensystem
10 zur Gestenerkennung kann auch einen Projektor30 umfassen. Der Projektor30 kann visuellen Inhalt, mit dem der Benutzer wechselseitig zusammenwirken und Eingaben erzeugen kann, zur Verfügung stellen. In dem Ausführungsbeispiel der1 kann der Projektor30 visuellen Inhalt auf die vertikale Anzeigefläche20 projizieren. Da die Infrarotlichtquellen16 und18 kein sichtbares Licht abgeben, kann die Infrarotbeleuchtung den sichtbaren Inhalt, den der Projektor30 projiziert, nicht stören. Der Benutzer kann folglich das Eingabeobjekt24 in der Gestenerkennungsumgebung22 zum Simulieren von Eingaben in interaktiver Weise mit dem visuellen Inhalt einsetzen. - Der Kontroller
26 kann in einem Beispiel zusammengesetzte Gesten bestimmen, die von einem Benutzer unter Verwendung des Eingabeobjekts24 gemacht werden, und kann die zusammengesetzten Gesten in simulierte Mauseingaben übertragen. So kann der Kontroller26 zum Beispiel das Zeigen auf die vertikale Anzeigefläche24 mit Hilfe des Eingabeobjekts24 derart übertragen bzw. übersetzen, wie mit einem ausgestreckten Zeigefinger, um einen Bezug32 auf den visuellen Inhalt zu erzeugen, der auf der vertikalen Anzeigefläche20 gezeigt ist. Bei dem Ausführungsbeispiel nach1 ist der Bezug32 als ein Mauszeiger wiedergegeben, aber es versteht sich, dass der Bezug32 auch auf eine von vielen anderen Weisen programmiert sein kann, um sich auf Ausschnitte des visuellen Inhalts zu beziehen. Der Kontroller26 kann folglich zur Übertragung von einer zweidimensionalen Bewegung der Endpunkte des ausgestreckten Zeigefingers des Eingabeobjekts24 über die vertikale Anzeigefläche20 als eine Bewegung des Bezugs32 über den visuellen Inhalt deuten, wie dies im Beispiel der1 mit Hilfe des Pfeils34 dargestellt ist. - Die Gewinnung des Bezugs
32 kann eine erste von vielen Untergesten einer zusammengesetzten Geste sein. Insbesondere kann eine zusätzliche Untergeste unter Verwendung des Eingabeobjekts24 erfolgen oder ein zusätzliches Eingabeobjekt, wie z. B. die andere Hand des Benutzers, kann zur Erzeugung einer Ausführungsgeste vorgesehen sein, die in einen Ausführungsbefehl zur Wechselwirkung mit einem Ausschnitt des visuellen Inhalts, auf den der Bezug32 hinweist, wie aufgrund eines visuellen Überlappens, übertragen wird. Der Ausschnitt des visuellen Inhalts, mit dem sich der Bezug32 überlappt, könnte ein aktiver Abschnitt sein, wie ein solcher, der eine Wechselwirkung aufgrund der Ausführungsbefehle erzeugt. Der Kontroller26 kann daher die zusätzliche Untergeste der zusammengesetzten Geste als einen Linksklick der Maus, einen rechten Mausklick, einen Doppelklick der Maus oder ein Klicken und Halten der Maus interpretieren. Folglich könnte der Benutzer des Schnittstellensystems10 zur Gestenerkennung durch eine Anzahl von Computermenüs, grafischen Benutzerschnittstellenikons (GUI) navigieren und/oder mit einem Computer verknüpfte Programme ausführen, und dies nur durch Bewegung seiner oder ihrer Fingerspitze durch die Luft in der Gestenerkennungsumgebung22 und durch Auslösen einer oder mehrerer komplementärer Gesten ohne Berührung einer Maus oder der vertikalen Anzeigefläche20 . -
2 stellt ein Ausführungsbeispiel einer Abbildung50 dar, die Geräteeingaben zeigt, die über eine zusammengesetzte Handgeste gemäß einem Aspekt der Erfindung erzeugt sind. Die Abbildung50 entspricht einer zusammengesetzten Handgeste, die mit einem von vielen möglichen Schnittstellensystemen zur Gestenerzeugung ausgeführt wird, derart, wie beispielsweise dem Schnittstellensystem10 zur Gestenerkennung des Ausführungsbeispiels nach1 . Die Abbildung50 ist in dem Beispiel 2 mit einem ersten Ausschnitt52 , einem zweiten Ausschnitt54 und einem dritten Ausschnitt56 gezeigt. - Der erste Ausschnitt
52 der Abbildung50 zeigt, wie die Hand58 eines Benutzers eine erste Untergeste derart ausführt, dass die Hand58 des Benutzers als ein Eingabeobjekt verwendet wird, das mit dem Schnittstellensystem zur Gestenerkennung verknüpft ist. Die erste Untergeste wird in dem Beispiel der2 als ein ausgestreckter Zeigefinger verkörpert, der auf eine Anzeigefläche, die visuellen Inhalt wiedergibt, zeigt. In dem Beispiel der2 ist visueller Inhalt in Form von drei Ikons62 wiedergegeben, die mit OBJECT 1, OBJECT 2 und OBJECT 3 auf einem Hintergrundfeld (d. h. einer Desktopfläche) bezeichnet sind. In einem Beispiel kann das Ikon62 Ordnern, Dateien und/oder ausführbaren Programmen entsprechen. Als Ergebnis eines zugeordneten, nicht dargestellten Kontrollers, der die erste Untergeste des ausgestreckten Zeigefingers erkennt, kann der zugeordnete Kontroller die erste Untergeste in eine Geräteeingabe übertragen, die einen auf den visuellen Inhalt überlagerten Bezug64 erzeugt. Daher entspricht die erste Untergeste einer Bezugsgeste für den Bezug auf spezielle Ausschnitte des visuellen Inhalts auf der Anzeigefläche60 . Dementsprechend kann der Bezug64 über den visuellen Inhalt auf der Anzeigefläche60 mit einer Quer- oder Winkelbewegung des Zeigefingers der Hand58 des Benutzers bewegt werden. - Der zweite Ausschnitt
54 der Abbildung50 zeigt, dass, nachdem sich der Bezug64 auf das Objekt bezieht, der Benutzer eine zweite Untergeste der zusammengesetzten Geste mit der Hand58 durch Ausstrecken des Daumens der Hand58 erzeugt. Die zweite Untergeste, die durch Ausstrecken des Daumens der Hand58 erzeugt wird, kann somit eine Ausführungsgeste sein. Daher könnte in dem zweiten Ausschnitt54 der Abbildung50 das Ausstrecken des Daumens durch den zugeordneten Kontroller als ein ”Klick und Halte”-Befehl übertragen werden, derart, dass ein Klicken und Halten der linken Maustaste simuliert wird. Dementsprechend ist in dem zweiten Ausschnitt54 der Abbildung50 das OBJECT 3 zur Wechselwirkung mit dem Benutzer nur durch Ausstrecken des Daumens gewählt. - Der dritte Ausschnitt
56 der Abbildung50 zeigt das wechselseitige Zusammenwirken des OBJECTS 3 aufgrund der Implementierung der ersten Geste der zusammengesetzten Geste durch den Benutzer. Wie im Beispiel der2 durch die Pfeile66 gezeigt, kann der Benutzer das OBJECT 3, während der Benutzer die erste Untergeste (d. h. den ausgestreckten Zeigefinger) und die zweite Untergeste (d. h. den ausgestreckten Daumen) beibehält, über die Hintergrundumgebung des Desktops des visuellen Inhalts aufgrund der Bewegung ihrer oder seiner Hand58 über die Anzeigefläche60 bewegen. Mit andere Worten, durch Beibehaltung der Bezugsuntergeste der zusammengesetzten Geste zur Herstellung des Bezugs64 und der Ausführung einer Untergeste der zusammengesetzten Geste zur Auswahl des OBJECTS 3 zur Wechselwirkung kann der Benutzer eine Klick- und Zieh-Geräteeingabe mit der zusammengesetzten Geste ausführen, so wie sie mit einer Maus ausgeführt werden könnte. Der Benutzer kann somit das OBJECT 3 auch abwählen, z. B. durch Einziehen des Daumens oder des Fingers oder durch Herausbewegen der Hand58 aus der Umgebung der Gestenerkennung. - Das Beispiel der
2 zeigt somit ein Beispiel einer zusammengesetzten Geste derart, dass die zusammengesetzte Geste eine Bezugsgeste und eine Ausführungsgeste umfasst, die in die Ausführung zugehöriger Geräteeingaben übersetzt werden. Es versteht sich jedoch, dass die Abbildung50 nicht als auf das Beispiel der2 beschränkt auszulegen ist. Es könnte zum Beispiel die Bezugsgeste durch Ausstrecken irgendeines der Finger der Hand58 ausgeführt werden oder durch Ausstrecken mehrerer Finger, also zum Beispiel sowohl des Zeigefingers als auch des Mittelfingers. Nach einem anderen Beispiel kann die Ausführung der Geste durch Ausstrecken eines anderen Fingers als dem Daumen oder zusätzlich zu dem Daumen erfolgen, wie z. B. durch Ausstrecken des kleinen Fingers (d. h. des Pinky-Fingers). Somit kann jede einer Vielzahl von zusammengesetzten Gesten zur Ausführung einer Klick- und Zieh-Geräteeingabe, wie sie im Beispiel der2 dargestellt ist, verwendet werden. - Die zusammengesetzte Geste, die im Beispiel der
2 dargestellt ist, ist derart, dass die Bezugsgeste und die Ausführungsgeste gleichzeitig ausgeführt werden. Betrachtet man noch einmal das Beispiel der1 , sollte der Kontroller26 somit sowohl die Bezugsgeste als auch die Ausführungsgeste gleichzeitig übersetzen bzw. übertragen. Für eine bestimmte zusammengesetzte Geste könnte die Ausführungsgeste jedoch so beschaffen sein, dass sie die Verwendung des Merkmals des Eingabeobjekts24 erfordert, das für die Bezugsgeste vorgesehen ist. So kann es zum Beispiel die Ausführungsgeste für eine bestimmte zusammengesetzte Geste erfordern, dass der Benutzer ihren oder seinen Zeigefinger derart verwendet, dass es nicht länger möglich ist, auf den Ausschnitt des visuellen Inhalts zu weisen, aufgrund dessen der Ausführungsbefehl auf die Ausführungsgeste hin auszuführen ist. Dann müsste der Kontroller26 so ausgestaltet sein, dass er die Bezugsgeste und die Ausführungsgeste einer gegebenen zusammengesetzten Geste nacheinander ausführt, um sicherzustellen, dass die Ausführung des Befehls auf dem richtigen Ausschnitt des visuellen Inhalts ausgeführt wird. - Bei dem Beispiel der
1 umfasst der Kontroller26 einen Bildspeicher36 , der zur Speicherung nacheinander aufgenommener Bilder von sowohl der ersten Kamera12 als auch der zweiten Kamera14 vorgesehen ist. Der Bildspeicher36 kann zum Beispiel ein Speicher sein, der derart als eine Folge konfiguriert ist, dass neue Bilder die von der ersten und zweiten Kamera12 und14 aufgenommen wurden, an den Bildspeicher36 zum Überschreiben der darin gespeicherten ältesten Bilder übergeben werden. Die aufeinanderfolgenden Bilder, die in dem Bildspeicher36 gespeichert sind, können vom Kontroller26 zur Übersetzung der Gesten, die in der Gestenerkennungsumgebung22 ausgeführt wurden, in Geräteeingaben verwendet werden. Der Kontroller26 kann zum Beispiel so ausgebildet sein, dass er die aufeinanderfolgenden Bilder, die in dem Bildspeicher36 gespeichert sind, analysiert, um die dreidimensionale Bewegung des dem Eingabeobjekt24 zugeordneten Merkmals zu bestimmen. Der Kontroller26 kann somit die dreidimensionale Bewegung mit der vordefinierten Geste, die in der Bibliothek38 für vordefinierte Gesten gespeichert sind, vergleichen. Folglich kann der Kontroller die zutreffende Geräteeingabe aufgrund der Ausführung der korrespondierenden Gesten bestimmen. - Zusätzlich zum Übertragen der Gesten in Geräteeingaben aufgrund der in dem Bildspeicher
36 gespeicherten aufeinanderfolgenden Bildern kann der Kontroller26 folglich auch auf die im Bildspeicher36 gespeicherten aufeinanderfolgenden Bilder zugreifen, um einen Ausschnitt des visuellen Inhalts, auf den die Bezugsgeste vor der Ausführung der nachfolgend auszuführenden Ausführungsgeste gewiesen hat, zu identifizieren. So kann der Kontroller26 z. B. die Zeitdauer, die die Bezugsgeste auf einen vorgegebenen Ausschnitt des visuellen Inhalts gewiesen hat und/oder die Zeitdauer zwischen der Beendigung einer Bezugsgeste und der Ausführung der Ausführungsgeste überwachen. Damit kann der Kontroller26 die Ausführungsgeste mit der Bezugsgeste aufgrund einer einzelnen oder Zeitschwelle zuordnen, so dass der Kontroller26 auf frühere Bilder aus den aufeinanderfolgenden Bildern, die im Bildspeicher36 gespeichert sind, zugreifen kann, um den entsprechenden Ausführungsbefehl auf dem geeigneten Ausschnitt des visuellen Inhalts auszuführen. -
3 stellt ein anderes Beispiel mit einer Abbildung100 dar, die Geräteeingaben zeigt, die über eine zusammengesetzte Handgeste gemäß einem Aspekt der Erfindung ausgeführt werden. Die Abbildung100 kann einer zusammengesetzten Handgeste entsprechen, die auf einem von vielen möglichen Schnittstellensystemen zur Gestenerkennung ausgeführt wird, wie zum Beispiel dem Schnittstellensystem10 zur Gestenerkennung nach dem Beispiel der1 . Die Abbildung100 stellt in dem Beispiel der3 einen ersten Ausschnitt102 , einen zweiten Ausschnitt104 und einen dritten Ausschnitt106 dar. - Der erste Ausschnitt
102 der Abbildung100 zeigt die Hand108 eines Benutzers, der eine erste Untergeste derart ausführt, dass dabei die Hand108 des Benutzers als ein Eingabeobjekt verwendet wird, das dem Schnittstellensystem zur Gestenerkennung zugeordnet ist. Die erste Untergeste ist in dem Beispiel der3 als ein ausgestreckter Zeigefinger dargestellt, der auf eine Anzeigefläche110 zeigt, die visuellen Inhalt anzeigt. In dem Beispiel der3 ist der visuelle Inhalt in Form von drei Ikons112 dargestellt, die als OBJECT 1, OBJECT 2 und OBJECT 3 auf einem Hintergrundfeld bezeichnet sind, ähnlich dem Beispiel der2 . Das Ikon112 kann beispielsweise einem Ordner, einer Datei und/oder ausführbaren Programmen entsprechen. In dem Beispiel der2 ist das OBJECT 3 als ein Desktopordner gezeigt, wie dies mit weiteren Einzelheiten an späterer Stelle gezeigt wird. Als ein Ergebnis eines zugeordneten, nicht dargestellten Kontrollers, der die erste Untergeste des ausgestreckten Zeigefingers bestimmt, kann der zugeordnete Kontroller die erste Untergeste in eine Geräteeingabe übertragen, die einen Bezug114 erzeugt, der den visuellen Inhalt überlagert. Daher entspricht die erste Untergeste einer Bezugsgeste zum Verweisen auf spezielle Ausschnitte des visuellen Inhalts auf der Anzeigefläche110 . Der Bezug114 kann folglich über den visuellen Inhalt auf der Anzeigefläche110 auf eine Quer- oder Winkelbewegung des Zeigefingers der Hand108 des Benutzers hin bewegt werden. - Der zweite Ausschnitt
104 der Abbildung100 zeigt, dass auf das Hinweisen des Bezugs114 auf OBJECT 3 der Benutzer eine zweite Untergeste der zusammengesetzten Geste mit der Hand108 durch Schnalzen der Finger der Hand108 ausführt. Die zweite Untergeste, die durch Schnalzen der Finger der Hand108 erzeugt wird, kann somit eine Ausführungsgeste sein. Im zweiten Ausschnitt104 der Abbildung100 kann somit das Schnalzen der Finger durch den zugeordneten Kontroller als ein Ausführungsbefehl übersetzt werden, um z. B. einen Doppelklick der linken Maustaste zu simulieren. - Wie es im Beispiel der
3 gezeigt ist, ist die erste Untergeste (d. h. die Bezugsgeste) nicht länger durch den Benutzer ausgeführt, da der Benutzer eine zweite Untergeste (d. h. die Ausführungsgeste) ausführt. Wie bereits oben mit dem Beispiel der1 beschrieben, kann der zugeordnete Kontroller so ausgebildet sein, dass er auf gespeicherte Bilder der Hand108 zugreift, um zu bestimmen, auf welchen Ausschnitt des visuellen Inhalts der Benutzer vor der Ausführung der Ausführungsgeste hingewiesen hatte. Somit bestimmt der zugeordnete Kontroller im Beispiel der3 , dass es das OBJECT 3 war, auf das durch die Bezugsgeste hingewiesen worden ist. Der zugeordnete Kontroller übersetzt die Ausführungsgeste in einen Ausführungsbefehl auf dem OBJECT 3. - Der dritte Ausschnitt
106 der Abbildung100 zeigt die Wirkung des Ausführungsbefehls, der auf dem OBJECT 3 ausgeführt worden ist. Wie insbesondere zuvor beschrieben wurde, ist das OBJECT 3 als ein Desktopordner ausgebildet. Daher ist die Wirkung eines simulierten Doppelklicks mit der linken Maustaste das Öffnen des Desktopordners, was im Beispiel der3 durch ein Untermenü bzw. Unterfenster116 gezeigt ist, das als OBJECT 3 bezeichnet ist. Das Unterfenster116 umfasst zusätzliche Ikons118 , die als SUB-OBJECT 1, SUB-OBJECT 2 und SUB-OBJECT 3 bezeichnet sind, die ebenso als Ordner, Dateien und/oder ausführbare Programme ausgestaltet sein können. Folglich kann der Benutzer wiederum eine Bezugsgeste und/oder eine oder mehrere zusätzliche Ausführungsgesten zum Navigieren durch die zusätzlichen Ikons118 , ähnlich wie Mauseingaben, ohne jedoch die Anzeigefläche110 oder eine Maus zu berühren, ausführen. - Das Beispiel der
3 zeigt somit ein Beispiel einer zusammengesetzten Geste, der Art, bei der die zusammengesetzte Geste eine Bezugsgeste und eine Ausführungsgeste enthält, die zur Ausführung einer zugehörigen Geräteeingabe übersetzt werden. Es versteht sich jedoch, dass die Abbildung50 nicht dazu dient, auf das Beispiel der3 beschränkt zu werden. Es wird noch in den Beispielen der4 –7 gezeigt werden, dass eine von vielen zusammengesetzten Gesten zum Simulieren eines Doppelklicks mit der linken Maustaste ausgeführt werden kann. Hinzukommt, dass das damit verknüpfte Schnittstellensystem zur Gestenerkennung weitere Eingabekomponenten aufweisen kann, wie zum Beispiel ein Mikrofon, das zur Ausführung des Ausführungsbefehls auf das hörbare Klicken der geschnalzten Finger ausgebildet sein kann. Somit kann eine von vielen zusammengesetzten Gesten implementiert sein, um den Doppelklick der linken Maustaste, der durch die zusammengesetzte Geste im Beispiel der3 dargestellt ist, auszuführen. - Betrachtet man noch einmal das Beispiel der
1 , so versteht man, dass das Schnittstellensystem10 zur Gestenerkennung nicht auf das Beispiel der1 eingeschränkt sein soll. So ist zum Beispiel das Schnittstellensystem10 zur Gestenerkennung nicht auf die Verwendung eines IR Reflektionskontrastes zur Bestimmung der Gesten beschränkt, die in der Gestenerkennungsumgebung22 ausgeführt werden. Der Benutzer kann zum Beispiel einen von vielen Sensoren auf ihrer oder seiner Hand vorsehen oder er könnte eine in der Hand gehaltene Vorrichtung verwenden, die Sensoren zur Ausführung der Gesten aufweisen. Als ein anderes Beispiel der Schnittstelle10 zur Gestenerkennung kann eine horizontale Anzeigefläche anstelle einer vertikalen Anzeigefläche eingesetzt werden, wie dies mit weiteren Einzelheiten mit Bezug auf das Beispiel nach8 an späterer Stelle gezeigt werden wird. Hinzukommt, dass die zusammengesetzten Gesten, die in das Schnittstellensystem10 zur Gestenerkennung implementiert sind, nicht auf dreidimensionale Gesten beschränkt sind, sondern zweidimensionale zusammengesetzte Gesten anstelle von oder zusätzlich zu dreidimensionalen zusammengesetzten Gesten eingesetzt werden können. Fernerhin muss das Schnittstellensystem10 zur Gestenerkennung nicht eine Anzeigefläche aufweisen, sondern es können andere Arten von Anzeigen, wie beispielsweise holographische und/oder nicht-planare Anzeigen vorgesehen sein. Das Schnittstellensystem10 zur Gestenerkennung kann folglich auf eine von vielen Weisen ausgestaltet sein. -
4 zeigt ein Beispiel einer Abbildung150 von zusammengesetzten Handgesten zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. So können die zusammengesetzten Handgesten der Abbildung150 in einem Schnittstellensystem zur Gestenerkennung eingesetzt sein, wie es das Schnittstellensystem10 zur Gestenerkennung aus dem Beispiel der1 darstellt. Daher ist auf das Beispiel der1 in der folgenden Beschreibung des Beispiels der10 Bezug zu nehmen. - Die Abbildung
150 zeigt einen Satz von zusammengesetzten Gesten, von denen jede die Verwendung der Hand152 eines Benutzers zur Ausführung der zusammengesetzten Gesten umfasst. Jede der im Beispiel der4 dargestellten zusammengesetzten Gesten ist mit der Hand152 des Benutzers beginnend bei einer Bezugsgeste154 dargestellt So zeigt ein ausgestreckter Zeigefinger auf einen Ausschnitt des visuellen Inhalts, auf den sich die zusammengesetzte Geste bezieht, und somit auf einen, auf den die zugeordnete Ausführungsgeste für den Ausführungsbefehl zu übertragen ist. Jede der im Beispiel der4 gezeigten zusammengesetzten Gesten zeigt eine Ausführungsgeste156 , die mit der gleichen Hand152 ausgeübt wird. Ferner zeigt jede der zusammengesetzten Gesten eine mit der gleichen Hand152 auszuführende Ausführungsgeste156 . Jede der zusammengesetzten Gesten, die in der Abbildung150 gezeigt sind, kann mit einem unterschiedlichen Ausführungsbefehl zur Interaktion mit dem Ausschnitt des visuellen Inhalts auf verschiedene Weise interaktiv zusammenwirken. Folglich können alle oder ein Untersatz aller zusammengesetzten Gesten, die in der Abbildung150 dargestellt sind, in dem Schnittstellensystem10 zur Gestenerkennung implementiert sein. - Eine erste zusammengesetzte Geste
158 ist in der Abbildung150 gezeigt, ähnlich der zusammengesetzten Geste, die im Beispiel der2 dargestellt ist. Die erste zusammengesetzte Geste158 ist eine zusammengesetzte Geste, die insbesondere eine Umkehrung der im Beispiel der2 gezeigten zusammengesetzten Geste ist Mit der ersten zusammengesetzten Geste158 wird die Bezugsgeste154 als das Ausstrecken des Daumens der Hand152 des Benutzers dargestellt. Daher ist die Ausführungsgeste156 gezeigt, wenn der Benutzer den Daumen der Hand152 eingezogen hat. Folglich kann ein Benutzer die Bezugsgeste154 beibehalten, während er eine Ausführungsgeste156 ausführt, ähnlich der zusammengesetzten Geste, die oben im Beispiel der2 beschrieben ist. Die erste zusammengesetzte Geste158 kann zum Beispiel zur Ausführung eines Klick- und Ziehbefehls einer Maus ausgebildet sein, ähnlich, wie es zuvor z. B. bei der2 beschrieben wurde. Bei einem anderen Beispiel kann die erste zusammengesetzte Geste158 auch zur Ausführung eines Doppelklicks einer Maus, eines rechten Mausklicks oder eines von einer Anzahl anderer Befehle ausgestaltet sein. - Eine zweite zusammengesetzte Geste
160 ist auf der Abbildung150 als mit der Bezugsgeste154 beginnend gezeigt. Die Ausführungsgeste156 ist jedoch dargestellt, während der Benutzer die Bezugsgeste154 mit der Hand152 beibehält, außer dass die Hand152 schnell nach vorne und zurück gestoßen wird. Der Kontroller26 kann folglich die Ausführungsgeste156 aufgrund des schnellen Wechsels der Hand152 nach vorne und zurück übersetzen. Hinzu kommt, dass ein Benutzer die Bezugsgeste154 beibehalten kann, während die Ausführungsgeste156 ausgeführt wird, ähnlich wie bei der zusammengesetzten Geste, die im Beispiel der2 beschrieben wurde, derart, dass der Kontroller26 gleichzeitig sowohl die Bezugsgeste154 als auch die Ausführungsgeste156 bestimmen kann. Die zweite zusammengesetzte Geste160 kann beispielsweise zur Auswahl eines Ikons auf dem Desktop ausgebildet sein, das anschließend über die vertikale Anzeigefläche20 gezogen werden kann, bis eine zusätzliche Geste ausgeführt wird, oder bis der Benutzer die Hand152 aus der Gestenerkennungsumgebung herausbewegt. Bei einem anderen Beispiel kann die zweite zusammengesetzte Geste160 zum Doppelklicken oder Rechtsklicken eines Desktopikons ausgebildet sein. - Eine dritte zusammengesetzte Geste
162 ist in der Abbildung150 beginnend mit der Bezugsgeste154 gezeigt. Die Ausführungsgeste156 ist jedoch dargestellt als das Aufrechterhalten des ausgestreckten Zeigefingers, während der Zeigefinger auf einem Kreis bewegt wird. In einem Beispiel kann die dritte zusammengesetzte Geste162 so ausgestaltet sein, dass ein Bildlauf durch ein Dokument oder eine Liste, die auf der vertikalen Anzeigefläche20 dargestellt ist, vorgenommen wird, abhängig von der Richtung des Kreisens des Zeigefingers. Der Kontroller26 könnte beispielsweise für den Zugriff auf den Bildpuffer36 ausgestaltet sein, um das Dokument oder die Liste zu bestimmen, auf welche die Bezugsgeste154 vor der Ausführungsgeste156 gewiesen hat. Die dritte zusammengesetzte Geste162 könnte gemäß einem anderen Beispiel mit einer anderen Geste derart kombiniert werden, dass die Liste oder das Dokument mit einer anderen zusammengesetzten Geste vor der Ausführungsgeste156 der dritten zusammengesetzten Geste162 ausgewählt werden könnte. - Eine vierte zusammengesetzte Geste
164 ist in der Abbildung150 als mit der Bezugsgeste154 beginnend dargestellt. Die Ausführungsgeste156 ist jedoch in der Form dargestellt, dass der Benutzer einen Klemmgriff mit dem Daumen und allen Finger formt. Die vierte zusammengesetzte Geste164 kann zum Beispiel zur Auswahl eines Ausschnitts aus dem visuellen Inhalt, zur Bewegung oder zur Manipulation implementiert sein. Es versteht sich, dass die vierte zusammengesetzte Geste164 ein Subjekt von allen Fingern, die einen Greif- oder Klemmgriff formen, umfassen könnte, oder es könnte jede andere Anzahl oder jeder Satz von Finger einem anderen Ausführungsbefehl entsprechen. Der Greif- bzw. Klemmgriff muss nicht durch Berühren der Fingern und/oder des Daumen ausgeführt werden, sondern kann leicht ausgestreckte oder etwas gekrümmte Finger und/oder Daumen umfassen. - Eine fünfte zusammengesetzte Geste
166 ist in der Abbildung150 beginnend mit dem Bezugszeichen154 gezeigt. Die Ausführungsgeste156 ist jedoch so dargestellt, dass der Benutzer eine offene Handfläche formt. In der Abbildung150 ist ferner eine sechste zusammengesetzte Geste168 als mit der Bezugsgeste154 beginnend gezeigt, bei der die Ausführungsgeste156 als die Bildung einer geschlossenen Faust durch den Benutzer dargestellt ist. Die fünfte zusammengesetzte Geste166 und/oder die sechste zusammengesetzte Geste168 können zum Beispiel zur Auswahl eines Ausschnitts aus dem visuellen Inhalt für eine Bewegung oder eine Manipulation ausgeführt sein. Ferner könnte entweder die fünfte zusammengesetzte Geste166 oder die sechste zusammengesetzte Geste168 beispielsweise die Bewegung des Daumens zur Einbeziehung einer anderen Ausführungsgeste beinhalten. - Die Abbildung
150 in dem Beispiel der4 zeigt somit verschiedene Ausführungsbeispiele von zusammengesetzten Gesten, die in dem Schnittstellensystem10 zur Gestenerkennung in dem Beispiel der1 ausgebildet sein können. Es versteht sich jedoch, dass die Abbildung150 nicht beabsichtigt, auf diese zusammengesetzten Gesten beschränkt zu sein. Kleine Abweichungen der in der Abbildung150 dargestellten zusammengesetzten Gesten können in dem Schnittstellensystem10 zur Gestenerkennung vorgesehen werden. In jeder der zusammengesetzten Gesten der Abbildung150 können die Bezugsgesten154 zum Beispiel mit dem gestreckten Daumen anstelle des eingezogenen Daumens ausgeführt werden, ähnlich der ersten zusammengesetzten Geste158 . In der ersten zusammengesetzten Geste158 kann der Benutzer nach einem anderen Beispiel den ausgestreckten Zeigefinger schnell einziehen und wieder ausstrecken, die ausgestreckten Zeigefinger zur Ausführung der Ausführungsgeste156 , anstelle des Zurückziehens des Daumens nehmen. Folglich kann jede von vielen unterschiedlichen Gesten zur Erzeugen von Gesteneingaben über das Schnittstellensystem10 zur Gestenerkennung eingesetzt werden. -
5 zeigt ein anderes Beispiel einer Abbildung200 von zusammengesetzten Handgesten zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. Jede der zusammengesetzten Handgesten der Abbildung200 kann zum Beispiel in einem Schnittstellensystem zur Gestenerkennung derart implementiert sein, wie in dem Schnittstellensystem10 zur Gestenerkennung aus dem Beispiel der1 . Als solches wird auf das Beispiel der1 in der folgenden Beschreibung des Beispiels der5 Bezug genommen. - Die Abbildung
200 umfasst eine erste zusammengesetzte Geste202 , eine zweite zusammengesetzte Geste203 , eine dritte zusammengesetzte Geste204 und eine vierte zusammengesetzte Geste205 , die alle die Hand206 des Benutzers zur Erzeugung der zusammengesetzten Gesten benutzen. Jede der in dem Beispiel der5 gezeigten zusammengesetzten Gesten ist mit der Hand206 des Benutzers beginnend mit der Bezugsgeste208 dargestellt. Eine oder mehrere ausgestreckte Finger zeigen auf einen Ausschnitt des visuellen Inhalts, auf den sich die zusammengesetzte Geste bezieht und damit auf den Ausschnitt in welchen die zugehörige Ausführungsgeste für einen Ausführungsbefehl zu übersetzen ist. Insbesondere in der ersten und zweiten zusammengesetzten Geste202 und203 wird der ausgestreckte Zeigefinger des Benutzers als Bezugsgeste208 eingesetzt. Bei der dritten zusammengesetzten Geste204 werden die ausgestreckten Zeige- und Mittelfinger als Bezugsgeste208 verwendet, wobei der ausgestreckte Zeige- und Mittelfinger als Bezugsgeste208 eingesetzt werden und als die vierte zusammengesetzte Geste205 werden der ausgestreckte Zeigefinger und der ausgestreckte kleine Finger als Bezugsgeste208 eingesetzt. Ferner zeigt jede der im Beispiel der5 dargestellten zusammengesetzten Gesten eine erste Ausführungsgeste210 und eine zweite Ausführungsgeste212 , die durch die gleiche Hand206 erzeugt werden. Die erste Ausführungsgeste210 kann zum Beispiel zur Auswahl eines Ausschnitts des visuellen Inhalts zur Wechselwirkung bzw. Interaktion mit dem Ausschnitt und die zweite Ausführungsgeste212 kann zum Manipulieren des Ausschnitts des visuellen Inhalts ausgeführt werden. Ferner können beide zusammengesetzten, in der Abbildung200 gezeigten zusammengesetzten Gesten mit anderen Ausführungsbefehlen zur Interaktion mit dem Ausschnitt des visuellen Inhalts auf verschiedene Weise korrespondieren. Folglich können beide in der Abbildung200 gezeigten zusammengesetzten Gesten in dem Schnittstellensystem100 zur Gestenerkennung eingesetzt werden. - Die erste zusammengesetzte Geste
202 , die in der Abbildung150 dargestellt ist, ist der vierten zusammengesetzten Geste154 , die im Beispiel der4 gezeigt ist, ähnlich. Die erste Ausführungsgeste210 ist dargestellt, während der Benutzer mit dem Daumen und allen Fingern einen Greif- oder Klemmgriff ausführt. Es versteht sich jedoch, dass die erste zusammengesetzte Geste202 mit weniger als allen Finger einen Greifgriff ausführen kann, oder jede andere Anzahl oder jeder andere anderer Satz von Fingern könnte einem anderen Ausführungsbefehl entsprechen. Die erste Ausführungsgeste210 könnte zum Beispiel zur Auswahl eines Ausschnitts aus dem visuellen Inhalt ausgebildet sein. Daher kann die zweite Ausführungsgeste212 zur Wechselwirkung mit dem ausgewählten Ausschnitt des visuellen Inhalts ausgeführt werden. So kann der Benutzer die Hand206 drehen und/oder bewegen, um den ausgewählten Ausschnitt aus dem visuellen Inhalt zu drehen und/oder zu bewegen. - Die zweite zusammengesetzte Geste
203 ist in der Abbildung200 ähnlich der fünften zusammengesetzten Geste166 , die im Beispiel der4 gezeigt ist, dargestellt. Insbesondere die erste Ausführungsgeste210 ist als das Bilden einer offenen Hand durch den Benutzer dargestellt. Die erste Ausführungsgeste210 kann zum Beispiel zur Auswahl eines Ausschnitts des visuellen Inhalts vorgesehen sein. Daher kann die zweite Ausführungsgeste212 zur Interaktion mit dem ausgewählten Ausschnitt des visuellen Inhalts ausgeführt werden. Insbesondere kann der Benutzer zum Beispiel die Hand206 in sechs Freiheitsgraden bewegen derart, dass die Hand axial in X-, Y- und Z-Richtung bewegt sowie um die Hoch-, die Quer- oder die Längsachse gedreht werden kann. Folglich kann der ausgewählte Ausschnitt des visuellen Inhalts entsprechend in sechs Freiheitsgraden bewegt werden. - Die dritte zusammengesetzte Geste
204 ist in Abbildung150 ähnlich der ersten zusammengesetzten Geste168 in dem Beispiel der4 dargestellt, mit der Ausnahme der Bezugsgeste208 , die oben beschrieben wurde. Insbesondere die erste Ausführungsgeste210 könnte zur Auswahl eines Ausschnitts des visuellen Inhalts vorgesehen sein. Daher kann die zweite Ausführungsgeste212 zur Interaktion mit dem ausgewählten Ausschnitt des visuellen Inhalts ausgeführt werden. Wie im Beispiel der5 gezeigt, kann der Benutzer insbesondere den Ausschnitt des visuellen Inhalts neigen und/oder schwenken, z. B. aufgrund einer Drehung der Hand206 um das Gelenk, um den ausgewählten Ausschnitt des visuellen Inhalts entsprechend zu neigen und/oder zu schwenken, wie dies durch die Pfeile214 angedeutet ist. - Die vierte zusammengesetzte Geste
205 ist in der Abbildung200 ähnlich der ersten zusammengesetzte Geste168 , die im Beispiel der4 dargestellt ist, mit der Ausnahme der Bezugsgeste208 , wie oben beschrieben, gezeigt. Die erste Ausführungsgeste210 ist somit dargestellt, während der Benutzer den Daumen einzieht. Die erste Ausführungsgeste210 kann zum Beispiel zur Auswahl eines Ausschnitts des visuellen Inhalts vorgesehen sein, derart, dass sie ein Fenster mit Bildlauf (in dem gescrollt werden kann) aufweist. Die zweite Ausführungsgeste212 kann daher zur Wechselwirkung mit dem ausgewählten Ausschnitt aus dem visuellen Inhalt ausgeführt werden. Wie im Beispiel der5 gezeigt, kann der Benutzer insbesondere die Hand206 derart nach oben und nach unten bewegen, dass durch die Bewegung des Arms des Benutzers die Hand206 um das Handgelenk geschwenkt wird, um ein Scrollen des in dem Fenster mit Bildlauf dargestellten visuellen Inhalts vorzusehen. Das Scrollen des visuellen Inhalts kann ein langsames Scrollen sein und könnte aber auch ein schnelles Scrollen sein, derart, dass es dem Herunterdrücken des Rads einer Maus und dem Bewegen der Maus auf und ab ähnlich ist. Der Benutzer kann zusätzlich eine zusätzliche Geste zur Steuerung oder zum Umschalten zwischen Geschwindigkeiten vorsehen, die mit dem Scrollen des visuellen Inhalts verknüpft sind, derart, dass durch Zurückziehen des kleinen Fingers das schnelle Scrollen anstelle einem langsamen Scrollen ausgeführt wird. - Die Abbildung
200 des Beispiels von5 zeigt somit Beispiele zusammengesetzter Gesten, die mehr als eine Ausführungsgeste umfassen, wie sie mit dem Schnittstellensystem10 zur Gestenerkennung des Beispiels nach1 ausgeführt werden könnten. Es versteht sich jedoch, dass die Abbildung200 nicht beabsichtigt, auf diese zusammengesetzten Gesten begrenzt zu sein, sondern dass jede von vielen unterschiedlichen Gesten zur Erzeugung von Gesteneingaben über das Schnittstellensystem10 zur Gestenerkennung herangezogen werden kann. Auf ähnliche Weise zu der im Beispiel von4 beschriebenen Weise können ferner die in der Abbildung200 gezeigten Abwandlungen der zusammengesetzten Gesten zur Erzeugung von Eingaben in das Schnittstellensystem10 zur Gestenerkennung verwendet werden. -
6 zeigt ein Beispiel einer mit zwei Händen erzeugten zusammengesetzten Geste250 zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. So kann z. B. die mit zwei Händen auszuführende zusammengesetzte Handgeste der Abbildung250 in einem Schnittstellensystem zur Gestenerkennung ähnlich dem Schnittstellensystem10 zur Gestenerkennung des Beispiels der1 eingesetzt werden. Dazu ist auf das Beispiel der1 in der nachfolgenden Beschreibung des Beispiels der6 Bezug zu nehmen. - Die mit zwei Händen auszuführende zusammengesetzte Geste
250 , die im Beispiel der6 gezeigt ist, zeigt die linke Hand252 des Benutzers während der Ausführung einer Bezugsgeste254 . Dabei deutet ein ausgestreckter Zeigefinger auf einen Ausschnitt des visuellen Inhalts, auf den sich die zweihändige zusammengesetzte Geste250 bezieht und somit auf den auf den eine zugehörige Ausführungsgeste256 zur Ausführung eines Befehls zu übertragen ist. Im Gegensatz zu den zusammengesetzten im Beispiel der4 und5 gezeigten zusammengesetzten Gesten wird die mit zwei Händen auszuführende zusammengesetzte Geste250 im Beispiel der6 derart ausgeführt, dass die Ausführungsgeste256 mit der rechten Hand258 des Benutzers erzeugt wird. Die rechte Hand258 ist hier als Schnalzen mit den Finger dargestellt, ähnlich der im Beispiel der1 gezeigten zusammengesetzten Geste. Somit kann der Benutzer die Bezugsgeste254 beibehalten, während er die Ausführungsgeste256 vollführt und kann die Ausführungsgeste256 mit einer oder mehreren Ausführungsgesten kombinieren, die mit der linken Hand252 ausgeführt werden können, so wie jede der vielen zusammengesetzten Gesten, die in den Beispielen der4 und5 gezeigt sind. - Das Beispiel der
6 zeigt somit zusätzliche mögliche zusammengesetzte Gesten und Kombinationen aus zusammengesetzten Gesten, die unter Verwendung beider Hände des Benutzers für das Schnittstellensystem10 zur Gestenerkennung ausgeführt werden können. Es versteht sich jedoch, dass die zusammengesetzte Geste250 nicht auf die Verwendung der beiden Hände252 und258 zur Ausführung der Bezugsgeste254 und der Ausführungsgeste256 beschränkt sein soll. Der Benutzer kann zum Beispiel einen Schreibstift oder Stab mit der linken Hand252 zur Ausführung der Bezugsgeste anstelle des ausgestreckten Zeigefingers verwenden. Es versteht sich auch, dass das Schnittstellensystem10 zur Gestenerkennung zur Erkennung der Bezugsgeste254 und der Ausführungsgeste256 ausgestaltet sein kann, unabhängig davon, welche der Hände252 und258 sie vollführen. Folglich kann jede der beiden Hände252 und258 zur Ausführung der Bezugsgeste254 und der Ausführungsgeste256 für jeden beliebigen Benutzer implementiert sein. -
7 zeigt ein Beispiel einer Abbildung300 mit einem Satz von mit zwei Händen auszuführenden zusammengesetzten Gesten zur Anwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. Die zusammengesetzten Handgesten der Abbildung300 können zum Beispiel jeweils in einem Schnittstellensystem zur Gestenerkennung implementiert sein, wie z. B. dem Schnittstellensystem10 zur Gestenerkennung des Beispiels von1 . Auf das Beispiel der1 ist in der folgenden Beschreibung des Beispiels der7 als solches Bezug zu nehmen. - Die Abbildung
300 umfasst einen Satz von zusammengesetzten Gesten, die jeweils die Verwendung der linken Hand302 und der rechten Hand304 eines Benutzers zur Ausführung der zusammengesetzten Gesten vorsieht. Jede der zusammengesetzten Gesten, die im Beispiel der7 dargestellt ist, sind mit der linken Hand302 des Benutzers beginnend mit einer Bezugsgeste306 und der rechten Hand304 des Benutzers sich in einer Bereitschaftsstellung308 befindend gezeigt. In dem Beispiel der7 ist die Bereitschaftsposition308 als die rechte Hand304 mit jedem Finger und dem Daumen ausgestreckt gezeigt. Hierbei zeigt der ausgestreckte Zeigefinger der linken Hand302 auf einen Ausschnitt des visuellen Inhalts, auf den sich die zusammengesetzte Geste bezieht, und somit wohin die zugehörige Ausführungsgeste, die mit der rechten Hand304 auszuführen ist, für einen Ausführungsbefehl zu übersetzen ist. Jede der zusammengesetzten Gesten, die die Abbildung300 zeigt, kann zusätzlich mit einem anderen Ausführungsbefehl zur Wechselwirkung mit dem Ausschnitt des visuellen Inhalts auf andere Weise korrespondieren. Zusätzlich kann jede einzelne der zusammengesetzten Gesten, die in der Abbildung300 gezeigt ist, mit einem anderen Ausführungsbefehl zur Wechselwirkung mit dem Ausschnitt des visuellen Inhalts auf andere Weisen korrespondieren. Folglich können alle oder eine Untermenge aller, in der Abbildung300 gezeigten zusammengesetzten Gesten in dem Schnittstellensystem10 zur Gestenerkennung implementiert sein. - Die erste zusammengesetzte Geste
310 ist in der Abbildung300 ähnlich der zusammengesetzten Geste168 , wie sie im Beispiel der4 gezeigt ist, dargestellt. Die erste zusammengesetzte Geste310 wird hier gezeigt, wie die rechte Hand304 aus der Bereitschaftsstellung308 in eine Ausführungsgeste312 wechselt, was hier das Formen der Finger und des Daumens der rechten Hand in eine geschlossene Faust ist. Die erste zusammengesetzte Geste310 kann zum Beispiel zur Auswahl eines Ausschnitts des visuellen Inhalts zur Bewegung oder zur Manipulation implementiert sein. Die erste zusammengesetzte Geste310 kann zum Beispiel zusätzlich eine Bewegung des Daumens entweder der linken Hand302 oder der rechten Hand304 zur Aufnahme einer anderen Ausführungsgeste umfassen. - Eine zweite zusammengesetzte Geste
314 ist in der Abbildung300 ähnlich den zusammengesetzten Gesten164 und202 , die in den Beispielen der4 und5 gezeigt sind, gezeigt. Insbesondere die zweite zusammengesetzte Geste314 ist dargestellt, wie die rechte Hand304 aus der Bereitschaftsstellung308 in eine Ausführungsgeste316 wechselt, die das Bilden eines Greif- oder Klemmgriffs mit dem Daumen und allen Fingern beinhaltet. Es versteht sich jedoch, dass die zweite zusammengesetzte Geste314 eine Untermenge aller Finger, die einen Klemmgriff formen, aufweisen können, oder jede andere Anzahl oder andere Satz von Finger könnte einem anderen Ausführungsbefehl entsprechen. Zum Beispiel könnte die Ausführungsgeste316 in zwei Teilen ausgeführt werden, ähnlich der zusammengesetzten Geste202 im Beispiel der5 . Die rechte Hand304 kann hier insbesondere den klemmartigen Griff als einen ersten Teil der Ausführungsgeste316 zur Auswahl eines Ausschnitts des visuellen Inhalts formen, auf den sich die Bezugsgeste306 bezieht. Daher kann der Benutzer die rechte Hand304 drehen und/oder bewegen, um in entsprechender Weise den ausgewählten Ausschnitt des visuellen Inhalts zu schwenken und/oder zu bewegen als den zweiten Teil der Ausführungsgeste316 . - Eine dritte zusammengesetzte Geste
318 ist in der Abbildung300 ähnlich den zusammengesetzten Gesten166 und203 , die in den Beispielen der4 und5 dargestellt sind, gezeigt. Die dritte zusammengesetzte Geste318 ist hier so dargestellt, dass die rechte Hand304 aus der Bereitschaftsstellung308 in eine Ausführungsgeste320 wechselt, die das Bilden einer offenen Handfläche beinhaltet. Ähnlich wie die zusammengesetzte Geste314 , die oben als ein Beispiel beschrieben ist, könnte die Ausführungsgeste320 zum Beispiel in zwei Teilen ausgeführt werden, ähnlich wie die zusammengesetzte Geste203 in dem Beispiel der5 . Die rechte Hand304 kann hier die offene Handfläche als ersten Teil der Ausführungsgeste320 ausführen, um einen Ausschnitt des visuellen Inhalts auszuwählen, auf den sich die Bezugsgeste306 bezieht. Der Benutzer kann daher die rechte Hand304 in sechs Freiheitsgraden als einen zweiten Teil der Ausführungsgeste320 bewegen. Somit kann die rechte Hand304 axial in den X-, Y- und Z-Richtungen bewegt werden und kann zusätzlich um die Hoch-, die Quer- oder die Längsachse gedreht werden, um den ausgewählten Ausschnitt aus dem visuellen Inhalt entsprechend den sechs Freiheitsgraden zu bewegen. - Es versteht sich, dass nicht beabsichtigt ist, die Abbildung
300 als auf mit zwei Händen auszuführende zusammengesetzte Gesten, die mit dem Schnittstellensystem10 zur Gestenerkennung ausführbar sind, beschränkt anzusehen. Die mit zwei Händen auszuführenden zusammengesetzten Gesten sind zum Beispiel nicht auf die Implementierung der ausgestreckten Finger und des Daumens aus der Bereitschaftsstellung308 der rechten Hand beschränkt, sondern dass andere Anordnungen der Finger und des Daumens an deren Stelle vorgesehen sein können. Es versteht sich ferner, dass gemäß anderen Beispielen die mit zwei Händen auszuführenden zusammengesetzten Gesten in der Abbildung300 mit einer von vielen anderen Gesten kombiniert werden können, wie zum Beispiel den mit einer Hand auszuführenden zusammengesetzten Gesten in den Beispielen der4 und5 , oder durch Permutationen, um Geräteeingaben über das Schnittstellensystem10 zur Gestenerkennung zu erzeugen. Darüber hinaus kann eine Ausführungsgeste für eine gegebene mit zwei Händen auszuführende zusammengesetzte Geste Gesten aufweisen, die mit beiden Händen302 und304 des Benutzers verknüpft sind. Somit kann jede der vielen mit zwei Händen auszuführenden zusammengesetzten Gesten in dem Schnittstellensystem10 zur Gestenerkennung vorgesehen werden. -
8 zeigt ein anderes Beispiel eines Schnittstellensystems400 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Schnittstellensystem400 zur Gestenerkennung kann ein weiteres Beispiel eines Schnittstellensystems zur Gestenerkennung sein, bei dem die zusammengesetzten Gesten als Geräteeingabe erkannt und übertragen werden, ähnlich dem weiter oben beschriebenen Beispiel der1 . - Das Schnittstellensystem
400 zur Gestenerkennung umfasst eine erste Kamera402 und eine zweite Kamera404 . Sowohl mit der ersten Kamera402 als auch mit der zweiten Kamera404 ist jeweils eine erste IR Lichtquelle404 und eine zweite IR Lichtquelle408 gekoppelt. Die erste Kamera402 und die zweite Kamera404 können jeweils ein IR Filter enthalten, so dass die entsprechende Kamera IR Licht durchlassen und das andere Lichtspektrum im Wesentlichen ausfiltern kann. Die erste IR Lichtquelle406 und die zweite IR Lichtquelle408 beleuchten jeweils eine Hintergrundoberfläche410 , die nicht-reflektierend ausgebildet sein kann. Das IR Licht von der ersten IR Lichtquelle406 kann im wesentlichen direkt zurück auf die erste Kamera402 und das IR Licht von der zweiten IR Lichtquelle408 kann im wesentlichen direkt zurück auf die zweite Kamera404 zurückgeworfen werden. Folglich wird ein Objekt, das oberhalb der Hintergrundfläche410 angeordnet wurde, eine signifikant geringere Menge an IR Licht zu sowohl der ersten Kamera402 als auch der zweiten Kamera404 zurück reflektieren. Somit kann ein Objekt sowohl der ersten Kamera402 als auch der zweiten Kamera404 als ein Schatten- bzw. Umrissbild derart erscheinen, dass es ein wesentlich dunkleres Objekt im Vordergrund einer stark beleuchteten Hintergrundfläche410 zu sein scheint. Es versteht sich jedoch, dass die Hintergrundfläche410 nicht völlig zurück reflektierend sein muss, sondern dass sie einen Lambert-Faktor zur Erleichterung der Betrachtung durch den Benutzer unter verschiedenen Winkeln relativ zur Hintergrundfläche410 aufweisen kann. - Ein Eingabeobjekt
412 kann simulierte Eingaben vor der Hintergrundfläche410 erzeugen. Bei dem Beispiel der8 ist das Eingabeobjekt412 als die Hand eines Benutzers gezeigt, derart, dass die simulierten Eingaben durch zusammengesetzte Eingaben erzeugt werden können, wie es hier in den Beispielen der2 bis7 beschrieben ist. Es versteht sich jedoch, dass die Verwendung einer Hand zur Erzeugung simulierter Eingaben über zusammengesetzte Eingaben nur ein Beispiel der Ausführung des Schnittstellensystems400 zur Gestenerkennung ist. Beispiele anderer Arten von Eingabeobjekten könnten einen Schreibstift, einen Stab, einen Zeigestock oder einen aus einer Vielzahl von anderen Geräten aufweisen, mit denen Gesten für simulierte Eingaben erzeugt werden könnten. Es versteht sich fernerhin, dass das Eingabeobjekt412 ohne Sensoren ausgeführt sein kann, indem es nicht speziell ausgebildet oder zur Verwendung in dem Schnittstellensystem400 zur Gestenerkennung geeignet sein muss. So kann zum Beispiel die nackte Hand eines Benutzers als das Eingabeobjekt verwendet werden. Nach einem anderen Beispiel könnte der Benutzer einen Handschuh tragen, der ein rückreflektierendes Material aufweist, oder einen oder mehrere Positionssensoren auf Gelenken und/oder Fingerspitzen zur Erzeugung von Eingabegesten in das Schnittstellensystem400 zur Gestenerkennung gemäß einem Aspekt der Erfindung aufweisen. - Bei dem Ausführungsbeispiel der
8 empfangen sowohl die erste Kamera402 als auch die zweite Kamera404 jeweils voneinander getrennte Umrissbilder des Eingabeobjekts412 , wobei jedes der voneinander getrennten Umrissbilder getrennt empfangen wird, wodurch die erste Kamera402 und die zweite Kamera404 ein zusammengehöriges Paar bilden. Sowohl die erste Kamera402 als auch die zweite Kamera404 können fotografische Standbilder schnell, zum Beispiel mit sechzig Bilder je Sekunde, derart aufnehmen, dass jedes fotografische Standbild, das von der ersten Kamera402 aufgenommen wurde, zu einem fotografischen Standbild, das mit der zweiten Kamera404 zu im wesentlichen der gleichen Zeit aufgenommen wurde, passt. Das Eingabeobjekt kann an unterschiedlichen Orten zu dem zurück reflektierenden Schirm in jedem der zusammengehörigen Paare von Umrissbildern, die sowohl mit der ersten Kamera402 als auch der zweiten Kamera404 aufgenommen wurden, aufgrund der Parallaxe zu sein erscheinen, die von den unterschiedlichen Befestigungsorten sowohl der ersten Kamera402 als auch der zweiten Kamera404 verursacht ist. - Die erste Kamera
402 und die zweite Kamera404 können jeweils entsprechende voneinander getrennte Umrissbilder des Eingabeobjekts412 an den Kontroller414 liefern. Der Kontroller414 könnte zum Beispiel in einem nicht dargestellten Computer vorgesehen sein, für den das Schnittstellensystem400 zur Gestenerkennung ausgelegt ist, um eine Gestenerkennungsschnittstelle zu bilden. Es versteht sich jedoch, dass das Vorsehen eines Kontrollers nicht auf einen alleinstehenden Computer begrenzt ist, sondern er auch eingebettet in einem Prozessor vorgesehen sein kann. Der Kontroller414 kann die entsprechenden Umrissbilder, die von dem Eingabeobjekt412 gemacht sind, zur Erzeugung dreidimensionaler Ortsdaten, die zum Eingabeobjekt412 gehören, verarbeiten. - Sowohl die erste Kamera
402 als auch die zweite Kamera404 können zum Beispiel unter einem vorgegebenen Winkel relativ zur Hintergrundfläche410 montiert sein. Für ein gegebenes zusammengehöriges Paar von Bildern des Eingabeobjekts412 , hat, wenn der vorgegebene Winkel sowohl der Kamera402 als auch der Kamera404 der gleiche ist, jeder Punkt des Eingabeobjekts412 im zweidimensionalen Raum in einem gegebenen Bild der Kamera402 den gleichen Abstand von dem entsprechenden Punkt des Eingabeobjekts412 in dem entsprechenden zugehörigen Bild von der Kamera404 . Der Kontroller412 könnte jedoch den physischen Ort des Eingabeobjekts412 im dreidimensionalen Raum auf der Grundlage einer relativen Parallaxenverschiebung des zusammengehörigen Paars von Bildern des Eingabeobjekts412 zu einer gegebenen Zeit bestimmen. Hinzu kommt, dass unter Verwendung eines Computeralgorithmus der Kontroller414 auch den physischen Ort im dreidimensionalen Raum wenigstens eines Endpunktes, zum Beispiel einer Fingerspitze, die dem Eingabeobjekt412 zugeordnet ist, bestimmen. - Das Schnittstellensystem
400 zur Gestenerkennung kann auch einen Projektor416 aufweisen, der zur Projektion von Bilddaten ausgelegt ist. Der Projektor416 kann eine Ausgabeschnittstelle bilden, wie zum Beispiel für Computermonitordaten, für die der Benutzer unter Verwendung des Eingabeobjekts412 in Wechselwirkung treten und Eingaben erzeugen kann. Bei dem Beispiel der8 kann der Projektor416 Bilddaten auf die Hintergrundfläche410 projizieren. Da die IR Lichtquellen406 und408 kein sichtbares Licht abstrahlen, stört die Beleuchtung nicht die vom Projektor416 projizierten Bilddaten. Der Benutzer kann somit das Eingabeobjekt412 unmittelbar auf die Bilddaten zum Simulieren von Eingaben, wie zum Beispiel Mauseingaben, verwenden. - Es sei darauf hingewiesen, dass das Schnittstellensystem
400 zur Gestenerkennung nicht dazu dienen soll, auf das Beispiel nach8 beschränkt zu sein. Vielmehr kann der Projektor416 anstelle der IR Lichtquellen406 und408 ein IR Filter als eine der Farben von einem zugeordneten Farbrad aufweisen, wie zum Beispiel bei einem Projektor vom Typ digitaler Lichtprojektor (DLP). Anstelle einer Hintergrundfläche410 , die zurück reflektierend ist, kann zum Beispiel die Hintergrundfläche410 lichtdiffundierend ausgebildet sein, so dass die IR Lichtquellen406 und408 unterhalb der Hintergrundfläche410 vorgesehen sind. Als Ergebnis hiervon erkennen die erste und die zweite Kamera402 und404 den IR Helligkeitskontrast als Schatten des Eingabeobjekts412 relativ zur IR diffusen Hintergrundfläche410 . Folglich kann das Schnittstellensystem400 zur Gestenerkennung auf eine von vielen Weisen ausgestaltet sein. -
9 zeigt ein anderes Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Schnittstellensystem450 zur Gestenerkennung umfasst vier Kameras452 , von denen jede eine entsprechende IR Lichtquelle454 einschließt. Die Kameras452 können jeweils ein IR Filter aufweisen, so dass jede der entsprechenden Kameras452 nur IR Licht zu empfangen in der Lage ist. Die IR Lichtquellen454 beleuchten jeweils eine zurück reflektierende Oberfläche456 , so dass IR Licht von den IR Lichtquellen454 im Wesentlichen unmittelbar zurück auf die entsprechende eine der Kameras452 reflektiert wird. - Das Schnittstellensystem
450 zur Gestenerkennung umfasst ein dreidimensionales Anzeigesystem458 , das im Beispiel der9 als ein holographischer Projektor dargestellt ist. In dem Beispiel der9 projiziert das dreidimensionale Anzeigesystem458 ein holographisches Bild eines simulierten Objekts460 . Das dreidimensionale Anzeigesystem458 ist in dem Beispiel der9 als unmittelbar oberhalb der zurückreflektierenden Oberfläche456 angebracht dargestellt. Dementsprechend kann ein Benutzer zusammengesetzte Geste erzeugen, wie dies zuvor in den Beispielen der2 bis7 erläutert worden ist, um unmittelbar mit dem holographischen Bild des simulierten Objekts460 wechselwirkend zusammenzuarbeiten. Hinzukommt, dass das holographische Bild des simulierten Objekts460 eine Vielzahl von funktionellen Komponenten462 umfassen kann, die in dem Beispiel der9 als an einem Ende des simulierten Objekts460 angebrachte Schrauben dargestellt sind. - Das Eingabeobjekt
464 , das als die Hand eines Benutzers in dem Beispiel der9 dargestellt ist, kann zur Erzeugung von zusammengesetzten Gesten über der zurück reflektierenden Oberfläche456 verwendet werden. Um eine Interaktion zwischen dem Eingabeobjekt464 und der gegebenen funktionalen Komponente462 zu schaffen, kann ein nicht dargestellter zugehöriger Kontroller einen physischen Ort im dreidimensionalen Raum von einem oder mehreren Merkmalen des Eingabeobjekts464 erkennen. Der Kontroller könnte zum Beispiel den physischen Ort im dreidimensionalen Raum der Merkmale des Eingabeobjekts464 bestimmen, ähnlich wie dies zuvor für das Beispiel der8 beschrieben worden ist. Nach der Bestimmung einer Korrelation der physischen Orte des Eingabeobjekts464 und einer vorgegebenen funktionellen Komponente462 kann der Kontroller eine Gestenbewegung bestimmen, die dem Eingabeobjekt zugeordnet ist, um zu bestimmen, ob es einer vordefinierten Aktion, die mit der funktionellen Komponente verknüpft ist, entspricht. Nach der Bestimmung, dass die Eingabegeste der vordefinierten Aktion entspricht, kann der Kontroller für die Simulationsanwendung das dreidimensionale Anzeigesystem458 anweisen, die geeignete simulierte Aktion auszugeben. - Ein Benutzer des Schnittstellensystems
450 der Gestenerkennung könnte zum Beispiel eine Bezugsgeste mit dem Eingabeobjekt464 ausführen, um auf eine der funktionellen Komponenten462 , die in dem Beispiel der9 jeweils als eine Schraube466 dargestellt sind, zu verweisen. Der Kontroller kann die Bezugsgeste in einen Bezug übertragen, der auf die Schraube466 verweist, derart, dass die vom dreidimensionalen Anzeigesystem458 angezeigte Farbe gewechselt wird. Der Benutzer kann eine Ausführungsgeste zur Ausführung eines mit einem Herausdrehen der Schraube466 verknüpften Befehls ausführen. Die Ausführungsgeste könnte zum Beispiel im wesentlichen gleich den Ausführungsgesten210 und212 der zusammengesetzten Geste202 des Beispiels der5 ausgebildet sein. Die Schraube466 als solche kann durch die Ausführungsgeste212 ausgewählt und gedreht (d. h. herausgedreht) werden. Während der Benutzer eine geeignete Ausführungsgeste vollführt, weist der Kontroller das dreidimensionale Anzeigesystem458 zur Ausgabe der geeigneten simulierten Aktion an, die in dem Beispiel der9 die Schraube466 ist, die herausgedreht und aus dem simulierten Objekt460 entfernt wird. - Das Schnittstellensystem
450 zur Gestenerkennung ist als ein weiteres Beispiel der Verwendung von zusammengesetzten Gesten zur Erzeugung von Geräteeingaben in einen Computer dargestellt. Es soll verstanden werden, dass das Schnittstellensystem450 zur Gestenerkennung nicht zur Beschränkung auf das Beispiel der8 bestimmt ist. Das dreidimensionale Anzeigesystem458 kann zum Beispiel auf eine von vielen unterschiedlichen Weisen konfiguriert sein, so zum Beispiel als ein dreidimensionaler Anzeigebildschirm. Bei einem anderen Beispiel können die Kameras452 und die IR Lichtquellen454 auf eine von vielen Arten und Weisen vorgesehen sein sowie Anzahlen für den Kontroller zur Bestimmung der zusammengesetzten Gesten, die durch einen Benutzer ausgeführt werden, ausgestaltet sein. Folglich kann das Schnittstellensystem450 zur Gestenerkennung auf eine von vielen Weisen konfiguriert werden. - In Anbetracht der zuvor beschriebenen strukturellen und funktionellen Merkmale wird eine Methodik in Übereinstimmung mit verschiedenen Aspekten der vorliegenden Erfindung unter Bezugnahme auf
10 besser verstanden werden können. Während zum Zwecke der Einfachheit der Erläuterung die Methodik (Verfahrensschritte) der10 gezeigt und als nacheinander ausgeführt beschrieben werden, versteht es sich und ist augenscheinlich, dass die vorliegende Erfindung nicht auf die dargestellte Reihenfolge beschränkt ist, da einige Aspekte in Übereinstimmung mit der vorliegenden Erfindung in anderer Reihenfolge auftreten können und/oder gleichzeitig mit anderen Aspekten als den dargestellten und beschriebenen ausgeführt werden können. Darüber hinaus gilt, dass nicht alle dargestellten Merkmale zur Implementierung einer Methodik gemäß einem Aspekt der vorliegenden Erfindung erforderlich sind. -
10 zeigt ein Beispiel eines Verfahrens500 zur Erzeugung von Gesteneingaben in einen Computer gemäß einem Aspekt der Erfindung. Bei502 wird eine Vielzahl von aufeinanderfolgenden Bildern einer Gesteeingabeumgebung aufgenommen. Die Bilder können mit Hilfe von Stereokameras aufgenommen werden, die jeweils gleichzeitige Bilder nacheinander erfassen. Die Gestenerkennungsumgebung kann als ein physikalisches Volumen freien Raums definiert sein, in dem Gesten durch einen Benutzer erzeugt werden, so wie in einem Vordergrund einer Anzeigeoberfläche in einer Anzeigeumgebung. Bei504 wird die Vielzahl der aufeinanderfolgend aufgenommenen Bilder der Gesteneingabeumgebung in einem Speicher gepuffert bzw. zwischengespeichert. Die Pufferung der sequentiellen Bilder kann auf einer Reihefolge basieren, so dass neuere Bilder ältere Bilder überschreiben. - Bei
506 wird eine erste Gesteneingabe aufgrund des dreidimensionalen Ortes von wenigstens einem Merkmal des ersten Eingabeobjekts gegenüber dem angezeigten visuellen Inhalt in jedem der Vielzahl von sequentiellen Bildern der Gesteneingabeumgebung bestimmt. Die erste Gesteneingabe kann ein Teil einer zusammengesetzten Geste sein, so dass sie eine Bezugsgeste ist. Die Geste kann auf der Grundlage eines IR Helligkeitskontrastes bestimmt werden, wie er von einem Kontroller in jedem der sequentiellen Bilder wahrgenommen wird. Der dreidimensional bestimmte Ort kann auf der Grundlage einer Parallaxenverschiebung eines Merkmals in jedem der gleichzeitig auftretenden Bilder in der Sequenz beruhen. Bei508 wird eine erste Geste in eine erste Geräteeingabe in den Computer übertragen, wobei die erste Geräteeingabe so ausgestaltet ist, dass sie sich auf einen Teil des visuellen Inhalts bezieht. Der Bezug auf den Ausschnitt des visuellen Inhalts kann auf der Erzeugung eines Bezugs beruhen, wie beispielsweise einem Mauszeiger auf dem visuellen Inhalt aufgrund der ersten Geste. Folglich könnte die erste Gesteneingabe ein spitzer Zeigefinger zur Simulierung eines Mauscursors sein. - Bei
510 wird eine zweite Gesteneingabe auf der Grundlage von Wechseln des dreidimensional bestimmten Orts wenigstens eines Merkmals wenigstens entweder des ersten Eingabeobjekts oder eines zweiten Eingabeobjekts in jedem der Vielzahl sequentieller Bilder der Gesteneingabeumgebung bestimmt, wobei die zweite Geste sich von der ersten Geste unterscheidet. Die zweite Gesteneingabe kann ein Teil einer zusammengesetzten Geste sein, so dass er eine Ausführungsgeste ist. Die zweite Gesteneingabe könnte mit der gleichen Hand wie die erste Gesteneingabe, mit der anderen Hand oder mit beiden Händen erzeugt werden. Bei512 wird eine zweite Geste in eine zweite Geräteeingabe für den Computer übertragen bzw. umgesetzt, wobei die zweite Geräteeingabe zur Ausführung eines Befehls, der mit dem Ausschnitt des visuellen Inhalts, auf den sich die erste Gesteneingabe in wenigstens eines der gepufferten Vielzahl von sequentiellen Bildern bezieht, ausgestaltet sein. Der ausgeführte Befehl kann einer von vielen Befehlen sein, der den Ausschnitt des visuellen Inhalts, auf den sich die erste Eingabegeste bezieht, manipuliert, wie beispielsweise ein linker, ein rechter oder ein Bildlaufbefehl einer Maus, und/oder wie zum Beispiel ein Einmalklick, Doppelklick oder Klick-und-Halte-Befehl. - Was hier zuvor beschrieben wurde, sind Beispiele der vorliegenden Erfindung. Es ist jedoch nicht möglich, alle denkbaren Kombinationen der Komponenten oder Methoden zum Zwecke der Erläuterung der vorliegenden Erfindung zu beschreiben, aber ein durchschnittlicher Fachmann auf dem vorliegenden Gebiet wird erkennen, dass viele weitere Kombinationen und Permutationen der vorliegenden Erfindung möglich sind. Folglich ist es beabsichtigt, dass die vorliegende Erfindung alle solchen Abänderungen, Modifikationen und Variationen unter den Gedanken und Umfang der beigefügten Patentansprüche fallen.
Claims (17)
- Ein Verfahren zur Ausführung und Auswertung von Gesteneingaben in einem Schnittstellensystem für die Gestenerkennung, bei dem das Verfahren umfasst: Erfassen und Übertragen einer ersten Untergeste in einer dreidimensionalen Gestenerkennungsumgebung in eine erste Geräteeingabe, die eine vorgegebene Bezugsgröße definiert, die mit einem Ausschnitt eines angezeigten visuellen Inhalts verknüpft ist, und Erfassen und Übertragen einer zweiten Untergeste in der dreidimensionalen Gestenerkennungsumgebung in eine zweite Geräteeingabe, die einen Ausführungsbefehl für den Teil des angezeigten visuellen Inhalts definiert, auf den sich die vorgegebene Bezugsgröße bezieht; Erfassen und Übertragen einer dritten Untergeste in eine dritte Geräteeingabe, die zur Ausführung eines mit der Manipulation des Ausschnitts des angezeigten visuellen Inhalts verknüpften Befehls ausgebildet ist.
- Das Verfahren nach Anspruch 1, bei dem das Erfassen und Übertragen der ersten Untergeste das Erfassen und Übertragen der ersten Untergeste umfasst, die mit einer Hand eines Benutzers erzeugt wurde.
- Das Verfahren nach Anspruch 2, bei dem die erste Untergeste das Zeigen mit wenigstens einem ausgestreckten Finger auf den Ausschnitt des angezeigten visuellen Inhalts umfasst und bei dem die zweite Untergeste entweder das Bewegen eines Daumens einer ersten Hand des Benutzers umfasst, bei dem die erste Hand des Benutzers schnell ausgestreckt und zurückgezogen wird, der wenigstens eine ausgestreckte Finger gedreht wird, mit dem Daumen und wenigstens einem Finger der ersten Hand des Benutzers ein Greifen erzeugt wird, eine Faust geformt wird oder mit den Fingern der ersten Hand des Benutzers geschnalzt wird.
- Das Verfahren nach Anspruch 2, bei dem das Erfassen und Übertragen der zweiten Untergeste das Erfassen und Übertragen der zweiten Untergeste umfasst, die mit der zweiten Hand des Benutzers erzeugt wird, und bei dem das Verfahren weiterhin das Beibehalten der ersten Untergeste mit der ersten Hand des Benutzers gleichzeitig den Einsatz der zweiten Hand des Benutzers zur Erzeugung der zweiten Untergeste umfasst.
- Das Verfahren nach Anspruch 1, das ferner das Beibehalten der zweiten Untergeste zur Wechselwirkung mit dem ausgewählten Bereich des angezeigten visuellen Inhalts umfasst.
- Das Verfahren nach Anspruch 1, bei dem die erste Untergeste dem Zeigen auf den Bereich des angezeigten visuellen Inhalts entspricht und bei dem der Bezugs einem Mauscursor entspricht.
- Das Verfahren nach Anspruch 1, bei dem die zweite Geräteeingabe entweder einem Doppelklick mit einer Maus oder einem Klick und Halten der Maus entspricht.
- Das Verfahren nach Anspruch 1, bei dem das Übertragen der ersten und zweiten Untergesten umfasst: das Aufnehmen einer Vielzahl sequenzieller Bilder eines Eingabeobjekts, Bestimmen eines Orts des Eingabeobjekts im dreidimensionalen Raum in jedem der Vielzahl von sequenziellen Bildern des Eingabeobjekts, Bestimmen der Bewegung des Eingabeobjekts auf der Grundlage von Änderungen des Orts des Eingabeobjekts im dreidimensionalen Raum in jedem der Vielzahl sequenzieller Bilder des Eingabeobjekts, und Korrelieren der Bewegung des Eingabeobjekts mit einer Vielzahl von vorgegebenen Gesten, die jeweils zu einer zugeordnete Geräteeingabe gehören.
- Das Verfahren nach Anspruch 8, bei dem die erste Untergeste und die zweite Untergeste jeweils durch das erste Eingabeobjekt erzeugt werden und bei dem die Übersetzung der ersten Untergeste weiterhin umfasst: Puffern der Vielzahl von sequenziellen Bildern in einem Speicher, Zugreifen auf die gepufferte Vielzahl sequenzieller Bilder in dem Speicher im Anschluss an die Übersetzung der zweiten Geste, und Bestimmen, worauf sich der vorgegebene Bezugswert auf dem angezeigten visuellen Inhalt bezieht auf der Basis der Vielzahl sequenzieller Bilder, auf die zugegriffen wurde.
- Das Verfahren nach Anspruch 8, bei dem das Erzeugen der Vielzahl sequenzieller Bilder des Eingabeobjekts das gleichzeitige Aufnehmen einer Vielzahl sequenzieller Bilder des Eingabeobjekts mit einer Vielzahl von Stereokameras umfasst und bei dem die dreidimensionale Bestimmung des Orts des Eingabeobjekts umfasst: Beleuchten des Eingabeobjekts mit Infrarot (IR) Licht, Bestimmen eines Ortes des Eingabeobjekts in jedem der Vielzahl von sequenziellen Bildern von jeder der Vielzahl von Stereokameras auf der Grundlage eines Infrarothelligkeitskontrastes zwischen dem Eingabeobjekt und einem Hintergrund und Bestimmen des Orts des Eingabeobjekts im dreidimensionalen Raum aufgrund einer Parallaxenverschiebung des Eingabeobjekts auf jedem der gleichzeitig aufgenommenen sequenziellen Bilder von jeder der entsprechenden Vielzahl von Stereokameras.
- Ein Schnittstellensystem zur Gestenerkennung, das zur Ausführung des Verfahrens nach Anspruch 1 ausgebildet ist.
- Ein Verfahren zum Ausführen und Interpretieren von Gesteneingaben in einem Schnittstellensystem zur Gestenerkennung, bei dem das Verfahren umfasst: Aufnehmen einer Vielzahl von sequenziellen Bildern einer Gesteneingabeumgebung, Erkennen einer ersten Untergeste aufgrund eines dreidimensional bestimmten Ortes von wenigstens einem Finger einer ersten Hand eines Benutzers relativ zum angezeigten visuellen Inhalt in jedem der Vielzahl sequenzieller Bilder der Gesteneingabeumgebung, Übertragen der ersten Untergeste in eine erste Geräteeingabe, die einen vorgegebenen Bezug definiert, der einem Ausschnitt des angezeigten visuellen Inhalts zugeordnet ist, Erfassen einer zweiten Untergeste aufgrund von Änderungen des Orts im dreidimensionalen Raum von wenigstens einem Finger einer zweiten Hand des Benutzers während die erste Untergeste durch die erste Hand des Benutzers beibehalten wird in jedem der Vielzahl sequenzieller Bilder der Gesteneingabeumgebung, und Übertragen der zweiten Untergeste in eine zweite Geräteeingabe, die einen auszuführenden Befehl für einen Ausschnitt des angezeigten visuellen Inhalts definiert, auf den sich der vorgegebene Bezugspunkt bezieht.
- Das Verfahren nach Anspruch 12, bei dem das Bestimmen des dreidimensional bestimmten Orts von wenigstens dem einen Finger der ersten Hand das Bestimmen des Ausschnitts des visuellen Inhalts auf der Grundlage eine Orts auf dem visuellen Inhalt umfasst, auf den der wenigstens eine Finger zeigt, und bei dem die zweite Untergeste entweder das Bewegen des Daumens, der zur zweiten Hand des Benutzers gehört, das schnelle Ausstrecken und Zurückziehen der zweiten Hand des Benutzers, das Kreisen wenigstens eines Fingers, das Formen eines Greifens mit einem Daumen und wenigstens einem Finger der zweiten Hand oder das Schnalzen mit den Fingern der ersten oder zweiten Hand umfasst.
- Das Verfahren nach Anspruch 12, das umfasst: das Erfassen einer dritten Untergeste aufgrund von Änderungen in der dreidimensional bestimmten Lage wenigstens eines Fingers von wenigstens entweder der ersten Hand oder der zweiten Hand in jedem der Vielzahl von sequenziellen Bildern der ersten Eingabeumgebung, und das Übertragen der dritten Untergeste in eine dritte Geräteeingabe in den Computer, bei dem die dritte Geräteeingabe zur Ausführung eines Befehls ausgestaltet ist, der mit einer Manipulation des Ausschnitts des visuellen Inhalts verknüpft ist.
- Ein Schnittstellensystem zur Gestenerkennung, das umfasst: Mittel zum Anzeigen von visuellem Inhalt, Mittel zum Aufnehmen einer Vielzahl von sequenziellen Bildern einer Gesteneingabeumgebung, die dem visuellen Inhalt zugeordnet ist, Mittel zur Bestimmen einer zusammengesetzten Gesteneingabe, die eine erste Eingabegeste und eine zweite Eingabegeste enthält, die wenigstens einem Eingabeobjekt zugeordnet sind, auf der Grundlage dreidimensional bestimmter Orte wenigstens eines Merkmals wenigstens eines Eingabeobjekts in jedem der Vielzahl von sequenziellen Bildern der Gesteneingabeumgebung, und Mittel zum Übertragen der zusammengesetzten Gesteneingaben in eine erste Geräteeingabe basierend auf der ersten Eingabegeste und eine zweite Geräteeingabe basierend auf der zweiten Eingabegeste, von denen die erste Geräteeingabe zum Hinweisen auf einen Ausschnitt aus dem visuellen Inhalt ausgebildet ist, und die zweite Geräteeingabe zur Ausführung zumindest eines Befehls ausgestaltet ist, der einem Benutzer erlaubt, mit dem ausgewählten Ausschnitt des angezeigten visuellen Inhalts unter Verwendung der ersten Eingabegeste während die zweite Untergeste beibehalten wird wechselzuwirken.
- Das System nach Anspruch 15, bei dem das Mittel zum Aufnehmen der Vielzahl von Bildern mehrere Mittel zur gleichzeitigen Aufnahme der Vielzahl von sequenziellen Bildern aus unterschiedlichen Perspektiven umfasst und bei dem die Mittel zum Bestimmen der zusammengehörenden Gesteneingaben umfasst: Mittel zum Beleuchten wenigstens eines Eingabeobjekts mit Infrarot (IR) Licht und Mittel zum Bestimmen der dreidimensional bestimmten Orte des wenigstens einen Merkmals des wenigstens einen Eingabeobjekts auf der Grundlage eines Infrarotlichthellig keitskontrastes zwischen dem wenigstens einen Eingabeobjekt und einem Hintergrund und aufgrund von Parallaxenverschiebungen des wenigstens einen Merkmals des wenigstens einen Eingabeobjekts aus den unterschiedlichen Perspektiven der gleichzeitig aufgenommenen Vielzahl von sequenziellen Bildern.
- Das System nach Anspruch 15, bei dem die Mittel zum Bestimmen der zusammengehörigen Gesten Änderungen des Orts des wenigstens einen Merkmals des wenigstens einen Eingabeobjekts in jedem der Vielzahl der sequenziellen Bilder der Gesteneingabeumgebung im dreidimensionalen Raum bestimmt und bei dem die Mittel zum Übertragen der zusammengehörigen Gesteneingaben auf die gepufferte Vielzahl von sequenziellen Bildern vor den Änderungen des dreidimensional bestimmten Orts des wenigstens einen Merkmals des wenigstens einen Eingabeobjekts zur Bestimmung des Ausschnitts des visuellen Inhalts zugreift, auf den der Befehl auszuführen ist.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/196,767 | 2008-08-22 | ||
US12/196,767 US8972902B2 (en) | 2008-08-22 | 2008-08-22 | Compound gesture recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102009034413A1 DE102009034413A1 (de) | 2010-02-25 |
DE102009034413B4 true DE102009034413B4 (de) | 2012-02-02 |
Family
ID=41129397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102009034413A Expired - Fee Related DE102009034413B4 (de) | 2008-08-22 | 2009-07-23 | Erkennung zusammengesetzter Gesten |
Country Status (3)
Country | Link |
---|---|
US (1) | US8972902B2 (de) |
DE (1) | DE102009034413B4 (de) |
GB (1) | GB2462709B (de) |
Families Citing this family (156)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1283899B1 (de) * | 2000-05-24 | 2007-01-17 | PH Plate Microplate Techniques AB | Neues verfahren und vorrichtung dafür |
US7509588B2 (en) | 2005-12-30 | 2009-03-24 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US10313505B2 (en) | 2006-09-06 | 2019-06-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
US8519964B2 (en) | 2007-01-07 | 2013-08-27 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
US8619038B2 (en) | 2007-09-04 | 2013-12-31 | Apple Inc. | Editing interface |
US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
US8331682B2 (en) * | 2008-08-27 | 2012-12-11 | Northrop Grumman Systems Corporation | System and method for single stroke character recognition |
US8516397B2 (en) * | 2008-10-27 | 2013-08-20 | Verizon Patent And Licensing Inc. | Proximity interface apparatuses, systems, and methods |
JP4816713B2 (ja) * | 2008-11-25 | 2011-11-16 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理用プログラム |
US8610673B2 (en) * | 2008-12-03 | 2013-12-17 | Microsoft Corporation | Manipulation of list on a multi-touch display |
KR101531363B1 (ko) * | 2008-12-10 | 2015-07-06 | 삼성전자주식회사 | 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법 |
DE102009004898A1 (de) * | 2009-01-16 | 2010-08-19 | Siemens Aktiengesellschaft | Verfahren zur Darstellung zweier unterschiedlicher Bilder eines Fusionsbildes und Vorrichtung hierfür |
US8849570B2 (en) * | 2009-03-19 | 2014-09-30 | Microsoft Corporation | Projected way-finding |
US20100241987A1 (en) * | 2009-03-19 | 2010-09-23 | Microsoft Corporation | Tear-Drop Way-Finding User Interfaces |
US20100241999A1 (en) * | 2009-03-19 | 2010-09-23 | Microsoft Corporation | Canvas Manipulation Using 3D Spatial Gestures |
US8121640B2 (en) | 2009-03-19 | 2012-02-21 | Microsoft Corporation | Dual module portable devices |
JP5256109B2 (ja) * | 2009-04-23 | 2013-08-07 | 株式会社日立製作所 | 表示装置 |
US9498718B2 (en) * | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
TW201101198A (en) * | 2009-06-17 | 2011-01-01 | Sonix Technology Co Ltd | Command input method |
US8601402B1 (en) * | 2009-09-29 | 2013-12-03 | Rockwell Collins, Inc. | System for and method of interfacing with a three dimensional display |
US8754856B2 (en) * | 2009-09-30 | 2014-06-17 | Ncr Corporation | Multi-touch surface interaction |
GB2483168B (en) | 2009-10-13 | 2013-06-12 | Pointgrab Ltd | Computer vision gesture based control of a device |
US20110151974A1 (en) * | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Gesture style recognition and reward |
US10007393B2 (en) * | 2010-01-19 | 2018-06-26 | Apple Inc. | 3D view of file structure |
GB201003883D0 (en) * | 2010-03-09 | 2010-04-21 | Univ Southampton | Apparatus and method for measurement of hand joint movement |
US10788976B2 (en) | 2010-04-07 | 2020-09-29 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
US20110252349A1 (en) | 2010-04-07 | 2011-10-13 | Imran Chaudhri | Device, Method, and Graphical User Interface for Managing Folders |
DE102010014462A1 (de) * | 2010-04-09 | 2011-10-13 | Ecomal Deutschland Gmbh | Steuereinrichtung zum Ansteuern eines elektrischen Verbrauchers und Verfahren zum Betrieb einer solchen Steuereinrichtung |
US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
US20110314427A1 (en) * | 2010-06-18 | 2011-12-22 | Samsung Electronics Co., Ltd. | Personalization using custom gestures |
US20120005632A1 (en) * | 2010-06-30 | 2012-01-05 | Broyles Iii Paul J | Execute a command |
JP5625599B2 (ja) * | 2010-08-04 | 2014-11-19 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2012094111A (ja) * | 2010-09-29 | 2012-05-17 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8919848B2 (en) * | 2011-11-16 | 2014-12-30 | Flextronics Ap, Llc | Universal console chassis for the car |
KR101727040B1 (ko) * | 2010-10-14 | 2017-04-14 | 엘지전자 주식회사 | 전자 장치 및 메뉴 제공 방법 |
US9195345B2 (en) * | 2010-10-28 | 2015-11-24 | Microsoft Technology Licensing, Llc | Position aware gestures with visual feedback as input method |
JP2012103938A (ja) * | 2010-11-11 | 2012-05-31 | Seiko Epson Corp | 光学式検出システム及びプログラム |
WO2012088634A1 (en) * | 2010-12-30 | 2012-07-05 | Technicolor (China) Technology Co., Ltd. | User interface, apparatus and method for gesture recognition |
US8863040B2 (en) | 2011-01-04 | 2014-10-14 | Google Inc. | Gesture-based selection |
KR20130105725A (ko) * | 2011-01-06 | 2013-09-25 | 포인트그랩 엘티디. | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 |
WO2012107892A2 (en) | 2011-02-09 | 2012-08-16 | Primesense Ltd. | Gaze detection in a 3d mapping environment |
US9058059B2 (en) | 2011-03-03 | 2015-06-16 | Omron Corporation | Gesture input device and method for controlling gesture input device |
US9292112B2 (en) * | 2011-07-28 | 2016-03-22 | Hewlett-Packard Development Company, L.P. | Multimodal interface |
US8891868B1 (en) * | 2011-08-04 | 2014-11-18 | Amazon Technologies, Inc. | Recognizing gestures captured by video |
US10088924B1 (en) | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
EP2575006B1 (de) * | 2011-09-27 | 2018-06-13 | Elo Touch Solutions, Inc. | Interaktion eines Benutzers mit einer Vorrichtung auf Berührungs- und berührungsloser Basis |
JP5846662B2 (ja) | 2011-12-06 | 2016-01-20 | トムソン ライセンシングThomson Licensing | 3次元で表示されるオブジェクトのユーザの選択ジェスチャに応答する方法およびシステム |
BR112014015394A8 (pt) * | 2011-12-23 | 2017-07-04 | Koninklijke Philips Nv | método de exibição de dados de ultrassom tridimensional (3d), sistema de obtenção de imagem médica e método de realização do procedimento médico pré intervencional ou pré cirúrgico dentro de um campo estéril |
DE102012000274A1 (de) * | 2012-01-10 | 2013-07-11 | Daimler Ag | Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt |
DE102012000263A1 (de) * | 2012-01-10 | 2013-07-11 | Daimler Ag | Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt |
JP6196017B2 (ja) * | 2012-01-13 | 2017-09-13 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
US8902198B1 (en) * | 2012-01-27 | 2014-12-02 | Amazon Technologies, Inc. | Feature tracking for device input |
US20130211843A1 (en) * | 2012-02-13 | 2013-08-15 | Qualcomm Incorporated | Engagement-dependent gesture recognition |
US20150220149A1 (en) * | 2012-02-14 | 2015-08-06 | Google Inc. | Systems and methods for a virtual grasping user interface |
US20130229345A1 (en) * | 2012-03-01 | 2013-09-05 | Laura E. Day | Manual Manipulation of Onscreen Objects |
WO2013144807A1 (en) | 2012-03-26 | 2013-10-03 | Primesense Ltd. | Enhanced virtual touchpad and touchscreen |
KR101370022B1 (ko) * | 2012-05-02 | 2014-03-25 | 주식회사 매크론 | 동작 인식 리모트 컨트롤러 |
US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
WO2012126426A2 (zh) * | 2012-05-21 | 2012-09-27 | 华为技术有限公司 | 一种非接触式手势控制方法及装置 |
US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
US9098516B2 (en) * | 2012-07-18 | 2015-08-04 | DS Zodiac, Inc. | Multi-dimensional file system |
US9507513B2 (en) | 2012-08-17 | 2016-11-29 | Google Inc. | Displaced double tap gesture |
US9201585B1 (en) * | 2012-09-17 | 2015-12-01 | Amazon Technologies, Inc. | User interface navigation gestures |
JP2014109885A (ja) * | 2012-11-30 | 2014-06-12 | Toshiba Corp | 表示装置及び通知方法 |
TWI454968B (zh) | 2012-12-24 | 2014-10-01 | Ind Tech Res Inst | 三維互動裝置及其操控方法 |
US9176588B2 (en) * | 2013-01-14 | 2015-11-03 | Maxm Integrated Products, Inc. | System and method for discerning complex gestures using an array of optical sensors |
US10809865B2 (en) | 2013-01-15 | 2020-10-20 | Microsoft Technology Licensing, Llc | Engaging presentation through freeform sketching |
JP2014153663A (ja) * | 2013-02-13 | 2014-08-25 | Sony Corp | 音声認識装置、および音声認識方法、並びにプログラム |
US20140229873A1 (en) * | 2013-02-13 | 2014-08-14 | Corel Corporation | Dynamic tool control in a digital graphics system using a vision system |
US10134267B2 (en) | 2013-02-22 | 2018-11-20 | Universal City Studios Llc | System and method for tracking a passive wand and actuating an effect based on a detected wand path |
US8818716B1 (en) | 2013-03-15 | 2014-08-26 | Honda Motor Co., Ltd. | System and method for gesture-based point of interest search |
US8886399B2 (en) | 2013-03-15 | 2014-11-11 | Honda Motor Co., Ltd. | System and method for controlling a vehicle user interface based on gesture angle |
JP6044426B2 (ja) * | 2013-04-02 | 2016-12-14 | 富士通株式会社 | 情報操作表示システム、表示プログラム及び表示方法 |
US9829984B2 (en) * | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
EP2811318B1 (de) * | 2013-06-05 | 2015-07-22 | Sick Ag | Optoelektronischer Sensor |
US9665259B2 (en) * | 2013-07-12 | 2017-05-30 | Microsoft Technology Licensing, Llc | Interactive digital displays |
US9430045B2 (en) * | 2013-07-17 | 2016-08-30 | Lenovo (Singapore) Pte. Ltd. | Special gestures for camera control and image processing operations |
TWI688850B (zh) | 2013-08-13 | 2020-03-21 | 飛利斯有限公司 | 具有電子顯示器之物品 |
US20150058774A1 (en) * | 2013-08-22 | 2015-02-26 | Intuit Inc. | Gesture-based visualization of financial data |
WO2015031501A1 (en) | 2013-08-27 | 2015-03-05 | Polyera Corporation | Attachable device having a flexible electronic component |
WO2015031426A1 (en) | 2013-08-27 | 2015-03-05 | Polyera Corporation | Flexible display and detection of flex state |
US20150067603A1 (en) * | 2013-09-05 | 2015-03-05 | Kabushiki Kaisha Toshiba | Display control device |
WO2015038684A1 (en) | 2013-09-10 | 2015-03-19 | Polyera Corporation | Attachable article with signaling, split display and messaging features |
WO2015065341A1 (en) * | 2013-10-29 | 2015-05-07 | Intel Corporation | Gesture based human computer interaction |
KR102405189B1 (ko) | 2013-10-30 | 2022-06-07 | 애플 인크. | 관련 사용자 인터페이스 객체를 표시 |
KR102206053B1 (ko) * | 2013-11-18 | 2021-01-21 | 삼성전자주식회사 | 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법 |
US20150177842A1 (en) * | 2013-12-23 | 2015-06-25 | Yuliya Rudenko | 3D Gesture Based User Authorization and Device Control Methods |
WO2015100224A1 (en) | 2013-12-24 | 2015-07-02 | Polyera Corporation | Flexible electronic display with user interface based on sensed movements |
WO2015100333A1 (en) | 2013-12-24 | 2015-07-02 | Polyera Corporation | Support structures for an attachable, two-dimensional flexible electronic device |
KR20160103072A (ko) | 2013-12-24 | 2016-08-31 | 폴리에라 코퍼레이션 | 가요성 전자 부품용 지지 구조체 |
EP3087559B1 (de) | 2013-12-24 | 2021-05-05 | Flexterra, Inc. | Stützstrukturen für ein flexibles elektronisches bauteil |
US9720506B2 (en) * | 2014-01-14 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D silhouette sensing system |
JP2015138360A (ja) * | 2014-01-22 | 2015-07-30 | コニカミノルタ株式会社 | オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法 |
US20150227245A1 (en) | 2014-02-10 | 2015-08-13 | Polyera Corporation | Attachable Device with Flexible Electronic Display Orientation Detection |
US9653044B2 (en) | 2014-02-14 | 2017-05-16 | Microsoft Technology Licensing, Llc | Interactive display system |
US10025990B2 (en) | 2014-05-21 | 2018-07-17 | Universal City Studios Llc | System and method for tracking vehicles in parking structures and intersections |
US9616350B2 (en) | 2014-05-21 | 2017-04-11 | Universal City Studios Llc | Enhanced interactivity in an amusement park environment using passive tracking elements |
US9600999B2 (en) | 2014-05-21 | 2017-03-21 | Universal City Studios Llc | Amusement park element tracking system |
US10207193B2 (en) * | 2014-05-21 | 2019-02-19 | Universal City Studios Llc | Optical tracking system for automation of amusement park elements |
US9429398B2 (en) | 2014-05-21 | 2016-08-30 | Universal City Studios Llc | Optical tracking for controlling pyrotechnic show elements |
EP2947635B1 (de) * | 2014-05-21 | 2018-12-19 | Samsung Electronics Co., Ltd. | Anzeigevorrichtung, fernsteuerungsvorrichtung, system und steuerungsverfahren dafür |
US10061058B2 (en) | 2014-05-21 | 2018-08-28 | Universal City Studios Llc | Tracking system and method for use in surveying amusement park equipment |
US9433870B2 (en) | 2014-05-21 | 2016-09-06 | Universal City Studios Llc | Ride vehicle tracking and control system using passive tracking elements |
TWI692272B (zh) | 2014-05-28 | 2020-04-21 | 美商飛利斯有限公司 | 在多數表面上具有可撓性電子組件之裝置 |
US9575560B2 (en) | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
US10936050B2 (en) | 2014-06-16 | 2021-03-02 | Honda Motor Co., Ltd. | Systems and methods for user indication recognition |
US9811164B2 (en) | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
US10268321B2 (en) | 2014-08-15 | 2019-04-23 | Google Llc | Interactive textiles within hard objects |
US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
US10238979B2 (en) | 2014-09-26 | 2019-03-26 | Universal City Sudios LLC | Video game ride |
US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
US10156906B2 (en) * | 2014-10-13 | 2018-12-18 | Honda Motor Co., Ltd. | Systems and methods for distinguishing gestures |
DE102014226546A1 (de) * | 2014-12-19 | 2016-06-23 | Robert Bosch Gmbh | Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug |
US10452195B2 (en) | 2014-12-30 | 2019-10-22 | Samsung Electronics Co., Ltd. | Electronic system with gesture calibration mechanism and method of operation thereof |
US10534502B1 (en) * | 2015-02-18 | 2020-01-14 | David Graham Boyers | Methods and graphical user interfaces for positioning the cursor and selecting text on computing devices with touch-sensitive displays |
WO2016138356A1 (en) | 2015-02-26 | 2016-09-01 | Polyera Corporation | Attachable device having a flexible electronic component |
TWI552892B (zh) * | 2015-04-14 | 2016-10-11 | 鴻海精密工業股份有限公司 | 車輛控制系統及其操作方法 |
CN107430443B (zh) | 2015-04-30 | 2020-07-10 | 谷歌有限责任公司 | 基于宽场雷达的手势识别 |
JP6427279B2 (ja) | 2015-04-30 | 2018-11-21 | グーグル エルエルシー | ジェスチャの追跡および認識のための、rfに基づいた微細動作追跡 |
KR102011992B1 (ko) | 2015-04-30 | 2019-08-19 | 구글 엘엘씨 | 타입-애그노스틱 rf 신호 표현들 |
US9693592B2 (en) | 2015-05-27 | 2017-07-04 | Google Inc. | Attaching electronic components to interactive textiles |
US10088908B1 (en) | 2015-05-27 | 2018-10-02 | Google Llc | Gesture detection and interactions |
US20160364003A1 (en) * | 2015-06-10 | 2016-12-15 | Wayne Patrick O'Brien | Holographic interface for manipulation |
EP3130998A1 (de) * | 2015-08-11 | 2017-02-15 | Advanced Digital Broadcast S.A. | Verfahren und system zur steuerung einer berührungsschirm-benutzeroberfläche |
US10261584B2 (en) | 2015-08-24 | 2019-04-16 | Rambus Inc. | Touchless user interface for handheld and wearable computers |
US10817065B1 (en) | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
US10310618B2 (en) | 2015-12-31 | 2019-06-04 | Microsoft Technology Licensing, Llc | Gestures visual builder tool |
US9898256B2 (en) * | 2015-12-31 | 2018-02-20 | Microsoft Technology Licensing, Llc | Translation of gesture to gesture code description using depth camera |
US10492302B2 (en) | 2016-05-03 | 2019-11-26 | Google Llc | Connecting an electronic component to an interactive textile |
US10285456B2 (en) | 2016-05-16 | 2019-05-14 | Google Llc | Interactive fabric |
WO2017200570A1 (en) | 2016-05-16 | 2017-11-23 | Google Llc | Interactive object with multiple electronics modules |
DK201670595A1 (en) | 2016-06-11 | 2018-01-22 | Apple Inc | Configuring context-specific user interfaces |
US11816325B2 (en) | 2016-06-12 | 2023-11-14 | Apple Inc. | Application shortcuts for carplay |
US20180088671A1 (en) * | 2016-09-27 | 2018-03-29 | National Kaohsiung University Of Applied Sciences | 3D Hand Gesture Image Recognition Method and System Thereof |
KR20180060328A (ko) | 2016-11-28 | 2018-06-07 | 삼성전자주식회사 | 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버 |
US10579150B2 (en) | 2016-12-05 | 2020-03-03 | Google Llc | Concurrent detection of absolute distance and relative movement for sensing action gestures |
JP6822234B2 (ja) * | 2017-03-15 | 2021-01-27 | セイコーエプソン株式会社 | プロジェクターシステム |
USD825584S1 (en) | 2017-03-29 | 2018-08-14 | Becton, Dickinson And Company | Display screen or portion thereof with transitional graphical user interface |
CN107422856A (zh) * | 2017-07-10 | 2017-12-01 | 上海小蚁科技有限公司 | 用于机器处理用户命令的方法、装置和存储介质 |
US20190079591A1 (en) * | 2017-09-14 | 2019-03-14 | Grabango Co. | System and method for human gesture processing from video input |
EP3735652A1 (de) * | 2018-01-03 | 2020-11-11 | Sony Semiconductor Solutions Corporation | Gestenerkennung unter verwendung einer mobilen vorrichtung |
US11023067B2 (en) * | 2018-12-19 | 2021-06-01 | Intel Corporation | Input control using fingerprints |
JP2020160807A (ja) * | 2019-03-27 | 2020-10-01 | セイコーエプソン株式会社 | 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター |
US11675476B2 (en) | 2019-05-05 | 2023-06-13 | Apple Inc. | User interfaces for widgets |
US11726553B2 (en) | 2021-07-20 | 2023-08-15 | Sony Interactive Entertainment LLC | Movement-based navigation |
US11786816B2 (en) | 2021-07-30 | 2023-10-17 | Sony Interactive Entertainment LLC | Sharing movement data |
US20230051703A1 (en) * | 2021-08-16 | 2023-02-16 | Sony Interactive Entertainment LLC | Gesture-Based Skill Search |
WO2023220843A1 (zh) * | 2022-05-14 | 2023-11-23 | 华为技术有限公司 | 一种显示方法、装置和车辆 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0571702A2 (de) * | 1992-05-26 | 1993-12-01 | Takenaka Corporation | Handzeige-Eingabegerät und Wandcomputereinheit |
US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
US20010043719A1 (en) * | 1997-03-21 | 2001-11-22 | Kenichi Harakawa | Hand pointing device |
US20060187196A1 (en) * | 2005-02-08 | 2006-08-24 | Underkoffler John S | System and method for gesture based control system |
US20080013826A1 (en) * | 2006-07-13 | 2008-01-17 | Northrop Grumman Corporation | Gesture recognition interface system |
Family Cites Families (109)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4468694A (en) | 1980-12-30 | 1984-08-28 | International Business Machines Corporation | Apparatus and method for remote displaying and sensing of information using shadow parallax |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
JPS62264390A (ja) | 1986-05-12 | 1987-11-17 | Omron Tateisi Electronics Co | 監視ロボツト用視覚認識装置 |
US4924506A (en) | 1986-07-22 | 1990-05-08 | Schlumberger Systems & Services, Inc. | Method for directly measuring area and volume using binocular stereo vision |
JPH0431996A (ja) | 1990-05-28 | 1992-02-04 | Matsushita Electric Works Ltd | 画像認識型の防犯センサー |
US5220441A (en) | 1990-09-28 | 1993-06-15 | Eastman Kodak Company | Mechanism for determining parallax between digital images |
US5239373A (en) | 1990-12-26 | 1993-08-24 | Xerox Corporation | Video computational shared drawing space |
JP3114813B2 (ja) | 1991-02-27 | 2000-12-04 | 日本電信電話株式会社 | 情報入力方法 |
US5483261A (en) | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
US5999185A (en) | 1992-03-30 | 1999-12-07 | Kabushiki Kaisha Toshiba | Virtual reality control using image, model and control data to manipulate interactions |
DE69430153T2 (de) | 1993-06-21 | 2002-09-05 | Nippon Telegraph & Telephone | Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten |
US5528263A (en) * | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
US20020126161A1 (en) | 1994-07-05 | 2002-09-12 | Hitachi, Ltd. | Information processing system |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6327381B1 (en) | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
US20010006426A1 (en) | 1996-07-18 | 2001-07-05 | Korea Institute Of Science And Technology | Holographic projection screen for displaying a three-dimensional color images and optical display system using the holographic screen |
US6002808A (en) | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
RU2123718C1 (ru) | 1996-09-27 | 1998-12-20 | Кузин Виктор Алексеевич | Способ ввода информации в компьютер |
EP0837418A3 (de) * | 1996-10-18 | 2006-03-29 | Kabushiki Kaisha Toshiba | Verfahren und System zum Erzeugen von Eingabeinformationen unter Verwendung des Zielobjektbildes, das aus reflektiertem Licht hergestellt ist |
US6956573B1 (en) | 1996-11-15 | 2005-10-18 | Sarnoff Corporation | Method and apparatus for efficiently representing storing and accessing video information |
EP0849697B1 (de) | 1996-12-20 | 2003-02-12 | Hitachi Europe Limited | Verfahren und System zur Erkennung von Handgesten |
DE19708240C2 (de) | 1997-02-28 | 1999-10-14 | Siemens Ag | Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich |
US7532372B2 (en) | 1997-07-08 | 2009-05-12 | Kremen Stanley H | Method for creating a holographic screen that reconstructs uniformly magnified three-dimensional images from projected integral photographs |
KR19990011180A (ko) * | 1997-07-22 | 1999-02-18 | 구자홍 | 화상인식을 이용한 메뉴 선택 방법 |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
DE19739285C1 (de) | 1997-09-08 | 1998-11-19 | Siemens Nixdorf Inf Syst | Vorrichtung zur Darstellung und virtuellen Eingabe von Daten |
JP3795647B2 (ja) | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
FR2771202B1 (fr) | 1997-11-19 | 2000-01-21 | Inst Nat Rech Inf Automat | Dispositif electronique de traitement de donnees-image, pour la simulation du comportement deformable d'un objet |
US6195104B1 (en) | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6512507B1 (en) | 1998-03-31 | 2003-01-28 | Seiko Epson Corporation | Pointing position detection device, presentation system, and method, and computer-readable medium |
US6377229B1 (en) | 1998-04-20 | 2002-04-23 | Dimensional Media Associates, Inc. | Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing |
US6064354A (en) | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
DE19845030A1 (de) | 1998-09-30 | 2000-04-20 | Siemens Ag | Bildsystem |
US6690357B1 (en) | 1998-10-07 | 2004-02-10 | Intel Corporation | Input device using scanning sensors |
US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
US6204852B1 (en) | 1998-12-09 | 2001-03-20 | Lucent Technologies Inc. | Video hand image three-dimensional computer interface |
EP1161740A1 (de) | 1999-03-17 | 2001-12-12 | Siemens Aktiengesellschaft | Anordnung zur interaktion |
WO2000059581A1 (en) | 1999-04-01 | 2000-10-12 | Dominic Choy | Simulated human interaction systems |
US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US7006236B2 (en) | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
JP4332964B2 (ja) * | 1999-12-21 | 2009-09-16 | ソニー株式会社 | 情報入出力システム及び情報入出力方法 |
SE0000850D0 (sv) | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
US6624833B1 (en) | 2000-04-17 | 2003-09-23 | Lucent Technologies Inc. | Gesture-based input interface system with shadow detection |
US6803928B2 (en) | 2000-06-06 | 2004-10-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Extended virtual table: an optical extension for table-like projection systems |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
EP1323019A2 (de) | 2000-09-26 | 2003-07-02 | Eugenio Bustamante | Erzeugung von eingangssignalen |
CN100489881C (zh) | 2001-01-08 | 2009-05-20 | Vkb有限公司 | 数据输入装置和数据输入方法 |
DE10100617A1 (de) | 2001-01-09 | 2002-07-18 | Siemens Ag | Steuerbare Anordnung mit Benutzerauthentisierung |
DE10100615A1 (de) | 2001-01-09 | 2002-07-18 | Siemens Ag | Handerkennung mit Positionsbestimmung |
US6775014B2 (en) | 2001-01-17 | 2004-08-10 | Fujixerox Co., Ltd. | System and method for determining the location of a target in a room or small area |
US7030861B1 (en) * | 2001-02-10 | 2006-04-18 | Wayne Carl Westerman | System and method for packing multi-touch gestures onto a hand |
US7215322B2 (en) | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
EP1689172B1 (de) | 2001-06-05 | 2016-03-09 | Microsoft Technology Licensing, LLC | Interaktives Video-Anzeigesystem |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7007236B2 (en) | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
US7110569B2 (en) | 2001-09-27 | 2006-09-19 | Koninklijke Philips Electronics N.V. | Video based detection of fall-down and other events |
US20030067537A1 (en) | 2001-10-04 | 2003-04-10 | Myers Kenneth J. | System and method for three-dimensional data acquisition |
US6983065B1 (en) | 2001-12-28 | 2006-01-03 | Cognex Technology And Investment Corporation | Method for extracting features from an image using oriented filters |
US7138997B2 (en) | 2002-06-28 | 2006-11-21 | Autodesk, Inc. | System for physical rotation of volumetric display enclosures to facilitate viewing |
AU2003217587A1 (en) * | 2002-02-15 | 2003-09-09 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US6857746B2 (en) | 2002-07-01 | 2005-02-22 | Io2 Technology, Llc | Method and system for free-space imaging display and interface |
US7321386B2 (en) | 2002-08-01 | 2008-01-22 | Siemens Corporate Research, Inc. | Robust stereo-driven video-based surveillance |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
ES2212739B1 (es) | 2003-01-02 | 2005-04-01 | Sociedad Española De Carburos Metalicos, S.A. | Sistema analizador para la deteccion de gases reductores y oxidantes en un gas portador y sensor de gases basado en oxidos metalicos de tipo semiconductor. |
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US8132011B2 (en) * | 2003-05-09 | 2012-03-06 | Emc Corporation | System and method for authenticating at least a portion of an e-mail message |
US7088243B2 (en) | 2003-05-26 | 2006-08-08 | S1 Corporation | Method of intruder detection and device thereof |
WO2004111688A2 (en) | 2003-06-06 | 2004-12-23 | New York University | Method and apparatus for determining a bidirectional reflectance distribution function of a subject |
US6796656B1 (en) | 2003-06-14 | 2004-09-28 | Imatte, Inc. | Generating a matte signal from a retro reflective component of a front projection screen |
CA2530987C (en) | 2003-07-03 | 2012-04-17 | Holotouch, Inc. | Holographic human-machine interfaces |
US20050012817A1 (en) | 2003-07-15 | 2005-01-20 | International Business Machines Corporation | Selective surveillance system with active sensor management policies |
WO2005010623A2 (en) | 2003-07-24 | 2005-02-03 | Zebra Imaging, Inc. | Enhanced environment visualization using holographic stereograms |
FR2858692B1 (fr) | 2003-08-08 | 2006-01-06 | Rosenthal Patrick Olivier Levy | Systeme permettant la visualisation d'images en trois dimensions avec un rendu en relief sur 36o degres |
KR100588042B1 (ko) * | 2004-01-14 | 2006-06-09 | 한국과학기술연구원 | 인터액티브 프레젠테이션 시스템 |
US7755608B2 (en) | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
US7969409B2 (en) | 2004-02-18 | 2011-06-28 | Rafal Jan Krepec | Camera assisted pen tablet |
US7738151B2 (en) | 2004-04-13 | 2010-06-15 | Board Of Regents, The University Of Texas System | Holographic projector |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
JP3944188B2 (ja) * | 2004-05-21 | 2007-07-11 | 株式会社東芝 | 立体画像表示方法、立体画像撮像方法及び立体画像表示装置 |
JP4424088B2 (ja) | 2004-06-25 | 2010-03-03 | 株式会社日立製作所 | 撮像装置 |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US7724242B2 (en) | 2004-08-06 | 2010-05-25 | Touchtable, Inc. | Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter |
US8560972B2 (en) | 2004-08-10 | 2013-10-15 | Microsoft Corporation | Surface UI for gesture-based interaction |
US20060092178A1 (en) | 2004-10-29 | 2006-05-04 | Tanguay Donald O Jr | Method and system for communicating through shared media |
KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
US7643051B2 (en) | 2005-09-09 | 2010-01-05 | Roy Benjamin Sandberg | Mobile video teleconferencing system and control method |
US8086971B2 (en) | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
US8180114B2 (en) | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US9696808B2 (en) | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US8432448B2 (en) | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
US9317124B2 (en) * | 2006-09-28 | 2016-04-19 | Nokia Technologies Oy | Command input by hand gestures captured from camera |
US8356254B2 (en) * | 2006-10-25 | 2013-01-15 | International Business Machines Corporation | System and method for interacting with a display |
KR101312625B1 (ko) * | 2006-11-03 | 2013-10-01 | 삼성전자주식회사 | 동작 추적 장치 및 방법 |
JP2008146243A (ja) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
US9317110B2 (en) * | 2007-05-29 | 2016-04-19 | Cfph, Llc | Game with hand motion control |
US9052575B2 (en) | 2007-07-12 | 2015-06-09 | Hewlett-Packard Development Company, L.P. | Determining correspondence mappings from infrared patterns projected during the projection of visual content |
US8139110B2 (en) | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US20090172606A1 (en) * | 2007-12-31 | 2009-07-02 | Motorola, Inc. | Method and apparatus for two-handed computer user interface with gesture recognition |
US9772689B2 (en) * | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
US8345920B2 (en) | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
-
2008
- 2008-08-22 US US12/196,767 patent/US8972902B2/en not_active Expired - Fee Related
-
2009
- 2009-07-23 DE DE102009034413A patent/DE102009034413B4/de not_active Expired - Fee Related
- 2009-07-31 GB GB0913330.7A patent/GB2462709B/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0571702A2 (de) * | 1992-05-26 | 1993-12-01 | Takenaka Corporation | Handzeige-Eingabegerät und Wandcomputereinheit |
US20010043719A1 (en) * | 1997-03-21 | 2001-11-22 | Kenichi Harakawa | Hand pointing device |
US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
US20060187196A1 (en) * | 2005-02-08 | 2006-08-24 | Underkoffler John S | System and method for gesture based control system |
US20080013826A1 (en) * | 2006-07-13 | 2008-01-17 | Northrop Grumman Corporation | Gesture recognition interface system |
Also Published As
Publication number | Publication date |
---|---|
US20100050133A1 (en) | 2010-02-25 |
GB0913330D0 (en) | 2009-09-16 |
GB2462709A (en) | 2010-02-24 |
DE102009034413A1 (de) | 2010-02-25 |
GB2462709B (en) | 2012-11-14 |
US8972902B2 (en) | 2015-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102009034413B4 (de) | Erkennung zusammengesetzter Gesten | |
DE102009043798B4 (de) | Verfahren zur Erkennung von Handgesten | |
DE102009025236B4 (de) | Schnittstellensystem zur Gestenerkennung mit einem lichtstreuenden Bildschirm | |
DE102009023875A1 (de) | Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche | |
DE102009032637B4 (de) | Bildvergrößerungssystem für eine Computerschnittstelle | |
EP2989524B1 (de) | Verfahren zum interagieren mit einem auf einer datenbrille angezeigten objekt | |
EP2240843B1 (de) | Verfahren und vorrichtung für zweihändige computerschnittstelle mit gestenerkennung | |
DE112014000441T5 (de) | Dynamische Benutzerinteraktionen für Displaysteuerung und Angepaßte Gesten Interpretation | |
DE102015110495A1 (de) | Informationsverarbeitungsvorrichtung, die ein bestimmtes objekt in einem aufgenommenen bild erkennt, und verfahren zu deren steuerung | |
DE102009010744A1 (de) | Simulation von Mehrpunktgesten mit einer Einfachzeigevorrichtung | |
DE202008000261U1 (de) | Vielfach-Berührungsdatenfussionssystem | |
DE112007000278T5 (de) | Gestikulieren mit einer Mehrpunkt-Abtastvorrichtung | |
DE102012020607B4 (de) | Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements | |
DE112012007203T5 (de) | Informations-Anzeigevorrichtung, Anzeigeinformations-Operationsverfahren | |
EP2406697B1 (de) | Programm und system zum erkennen eines objektes in einer bildschirmdarstellung | |
CN112527112B (zh) | 一种多通道沉浸式流场可视化人机交互方法 | |
DE102012014098A1 (de) | Verfahren zur Imitation der Touchscreen-Steuerung durch eine Maus | |
DE202017105614U1 (de) | Systeme und Computerprogrammprodukte für eine Touchscreen-Benutzeroberfläche eines kollaborativen Bearbeitungstools | |
EP1425653A2 (de) | Desktopmanager | |
GB2477044A (en) | Compound two handed gesture recognition | |
New et al. | Facilitating user interaction with complex systems via hand gesture recognition | |
DE102016115479A1 (de) | Nutzerschnittstelle für Elektronikgerät, Eingabeverarbeitungsverfahren und Elektronikgerät | |
DE112020003221T5 (de) | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm | |
DE102011119082A1 (de) | Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm | |
DE112010005854T5 (de) | Eingeben eines Befehls |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |
Effective date: 20120503 |
|
R082 | Change of representative |
Representative=s name: WUESTHOFF & WUESTHOFF PATENT- UND RECHTSANWAEL, DE |
|
R081 | Change of applicant/patentee |
Owner name: NORTHROP GRUMMAN SYSTEMS CORPORATION (N.D.GES., US Free format text: FORMER OWNER: NORTHROP GRUMMAN SPACE & MISSION SYSTEMS CORPORATION, LOS ANGELES, CALIF., US Effective date: 20120809 Owner name: NORTHROP GRUMMAN SYSTEMS CORPORATION (N.D.GES., US Free format text: FORMER OWNER: NORTHROP GRUMMAN SPACE & MISSION SYSTEMS CORPORATION, LOS ANGELES, US Effective date: 20120809 Owner name: NORTHROP GRUMMAN SYSTEMS CORP. (N.D.GES.D. STA, US Free format text: FORMER OWNER: NORTHROP GRUMMAN SPACE & MISSION SYSTEMS CORPORATION, LOS ANGELES, US Effective date: 20120809 |
|
R082 | Change of representative |
Representative=s name: WUESTHOFF & WUESTHOFF, PATENTANWAELTE PARTG MB, DE Effective date: 20120809 Representative=s name: WUESTHOFF & WUESTHOFF PATENT- UND RECHTSANWAEL, DE Effective date: 20120809 |
|
R082 | Change of representative |
Representative=s name: WUESTHOFF & WUESTHOFF PATENT- UND RECHTSANWAEL, DE |
|
R081 | Change of applicant/patentee |
Owner name: NORTHROP GRUMMAN SYSTEMS CORPORATION (N.D.GES., US Free format text: FORMER OWNER: NORTHROP GRUMMAN SYSTEMS CORP. (N.D.GES.D. STAATES DELAWARE), LOS ANGELES, CALIF., US Effective date: 20121210 Owner name: NORTHROP GRUMMAN SYSTEMS CORPORATION (N.D.GES., US Free format text: FORMER OWNER: NORTHROP GRUMMAN SYSTEMS CORP. (N.D.GES.D. STAATES DELAWARE), LOS ANGELES, US Effective date: 20121210 |
|
R082 | Change of representative |
Representative=s name: WUESTHOFF & WUESTHOFF, PATENTANWAELTE PARTG MB, DE Effective date: 20121210 Representative=s name: WUESTHOFF & WUESTHOFF PATENT- UND RECHTSANWAEL, DE Effective date: 20121210 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |