-
Hintergrund der Erfindung
-
Informationsverarbeitungsgeräte („Geräte“), zum Beispiel Laptop- oder Desktopcomputer, Tabletcomputergeräte, Smartphongeräte, Kioskgeräte und dergleichen, werden für viele Aufgaben verwendet. Konventionellerweise sind Benutzer mit derartigen Geräten über eine Vielzahl von Nutzereingabegeräten verbunden. Beispielshafte Nutzereingabegeräte umfassen, sind aber nicht beschränkt auf Berührungseingabegeräte, wie Touchscreens und Touchpads, als auch mechanische Eingabegeräte, wie ein physikalisches Keyboard, das mechanische Tasten aufweist. Bei einigen Geräten wurde begonnen Gesteneingabe-Funktionalitäten einzubauen, zum Beispiel zum Ausführen von Aktionen in Relation auf eine Gesteneingabe wie ein Fingerschnippen oder eine Handbewegung, was zum Beispiel unter Verwendung eines optischen oder kapazitiven Sensors erfasst wird.
US 2010/0259482 A1 beschreibt Tastaturgesten auf einem Eingabegerät eines Computersystems, wobei ein Tastaturlayout abhängig von einer Gesteneingabe konfiguriert wird.
EP 2 306 289 A2 beschreibt ein Verfahren zum Steuern eines mobilen Endgeräts, wobei eine Abfolge von Zeichen durch eine Gesteneingabe eingegeben werden können.
-
Kurze Zusammenfassung
-
Ausgehend von dem Stand der Technik ist es eine Aufgabe ein Verbessertes Verfahren, ein verbessertes Informationshandhabungsgerät und ein verbessertes Programmprodukt bereitzustellen.
-
Diese Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1.
-
Die eingangs genannte Aufgabe wird ebenfalls gelöst durch ein Informationsverarbeitungsgerät gemäß Anspruch 7.
-
Die eingangs genannte Aufgabe wird auch gelöst durch ein Programmprodukt gemäß Anspruch 12.
-
Das Vorhergehende ist eine Zusammenfassung und enthält somit Vereinfachungen, Verallgemeinerungen und Auslassungen von Details; konsequenterweise wird ein Fachmann anerkennen, dass die Zusammenfassung nur darstellend ist, und es nicht beabsichtigt ist, in irgendeiner Weise eine Abgrenzung zu bilden.
-
Für ein besseres Verständnis der Ausführungsformen, zusammen mit anderen und weiteren Merkmalen und Vorteilen davon, wird auf die nachfolgende Beschreibung in Zusammenhang mit den zugehörigen Zeichnungen Bezug genommen. Der Umfang der Erfindung wird in den anhängenden Ansprüchen aufgezeigt.
-
Kurze Beschreibung der unterschiedlichen Ansichten der Zeichnungen
- 1 zeigt ein beispielhaftes Informationsverarbeitungsgerät und Komponenten davon.
- 2 zeigt ein beispielhaftes Verfahren zur Identifikation und zur Verwendung von Gesten in der Nähe eines Sensors.
- 3 zeigt ein Beispiel einer Gesteneingabe.
- 4 zeigt ein anderes Beispiel einer Gesteneingabe.
- 5 zeigt ein anderes Beispiel einer Gesteneingabe.
- 6 zeigt ein anderes Beispiel einer Gesteneingabe.
- 7 zeigt ein anderes Beispiel einer Gesteneingabe.
- 8 zeigt ein anderes Beispiel einer Gesteneingabe.
- 9(A-B) zeigt ein anderes Beispiel einer Gesteneingabe.
- 10 zeigt ein anderes Beispiel einer Gesteneingabe.
-
Detaillierte Beschreibung
-
Es ist ohne Weiteres verständlich, dass die Komponenten der Ausführungsformen, wie sie generell beschrieben sind und in den Figuren hierin illustriert sind, in einer breiten Vielfalt unterschiedlicher Konfigurationen zusätzlich zu den beschriebenen beispielhaften Ausführungsformen angeordnet und konstruiert werden können. Somit ist die nachfolgende detaillierte Beschreibung von beispielhaften Ausführungsformen, wie sie in den Figuren repräsentiert werden, nicht zum Abgrenzen des Umfangs der Ausführungsformen, wie beansprucht, vorgesehen, sondern ist vielmehr repräsentativ für beispielhafte Ausführungsformen.
-
Die Bezugnahme in der gesamten Spezifikation auf „eine einzelne Ausführungsform“ oder „eine Ausführungsform“ (oder dergleichen) bedeutet, dass ein bestimmtes Merkmal, eine Struktur oder eine Kennzeichnung, die in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform enthalten ist. Somit bezieht sich das Erscheinen der Phrase „in einer einzelnen Ausführungsform“ oder „in einer Ausführungsform“ oder dergleichen an unterschiedlichen Stellen in dieser Spezifikation nicht notwendigerweise auf die gleiche Ausführungsform.
-
Weiterhin können die beschriebenen Merkmale, Strukturen oder Kennzeichnungen in jeder geeigneten Weise in einer oder mehreren Ausführungsformen kombiniert werden. In der folgenden Beschreibung wird eine Vielzahl spezieller Details bereitgestellt, um ein sorgfältiges Verständnis der Ausführungsformen zu vermitteln. Ein Fachmann wird jedoch anerkennen, dass die unterschiedlichen Ausführungsformen ohne ein oder mehrere spezifische Details oder mit anderen Verfahren, Komponenten, Materialien, usw. ausgeführt werden können. Andererseits werden äußerst bekannte Strukturen, Materialien oder Bearbeitungen nicht im Detail gezeigt oder beschrieben, um eine Konfusion zu vermeiden.
-
Während unterschiedliche Geräte eine auf Gesteneingabe basierende Funktionalität implementiert haben, ist die gegenwärtige Gesteneingabe mit Bezug auf die Oberfläche eines Informationsverarbeitungsgerätes (z.B. eine Oberfläche einer Hülle eines Laptopcomputergerätes, das ein Keyboard enthält) streng begrenzt (z.B. auf eine Touchpad-Eingabe). Darüber hinaus ist die Gesteneingabe, die gegenwärtig akzeptiert wird, nicht in ein kohärentes System von Eingaben integriert, wodurch andere Steuerungen des Informationsverarbeitungsgerätes, z.B. Tasten oder Bereiche von Eingabegeräten wie einem Keyboard, im Zusammenwirken mit Gesteneingaben verwendet werden. Zum Beispiel ist eine Gesteneingabe an ein Touchpad-Gerät nicht in einen Multi-Eingabe-Mechanismus integriert, wie zum Beispiel das Niederhalten einer Taste auf einem Keyboard zusammen mit dem Bereitstellen einer Gesteneingabe, um eine bestimmte Funktion auszuführen.
-
Das Fehlen einer Integration zwischen den unterschiedlichen Eingaben, die durch gegenwärtige Eingabegeräte angeboten werden, dehnt sich auf weitere Szenarien aus. Zum Beispiel ist die Keyboardeingabe nicht logischer Weise mit der Gesteneingabe verbunden. Somit kann ein Nutzer nicht die Keyboardtaste niederhalten während eines Bereitstellens einer Gesteneingabe, um die Gesteneingabe zu ändern. Somit ergibt sich mit einem konventionellen Gerät beim Niederhalten einer Taste auf einem Keyboard ein Registrieren eines vielfachen Tastendruckes. Für einige Tasten, wie einer „Rückstelltaste“, ist das sinnvoll. Für die meisten Tasten (Buchstaben, Nummern, Interpunktionstasten, usw.) ist dies jedoch nicht sinnvoll und kann sicherlich nicht beeinflusst werden, um andere Eingaben (z.B. Gesten) zu ändern.
-
Zusätzlich kann eine Gesteneingabe, die über ein Berühren einer Oberfläche (z.B. einem physikalischen Berühren eines Touchpads) einige Probleme darstellen. Zum Beispiel können Touchpads zu klein für die Hände einiger Personen sein, was es schwierig machen kann, Gesten zu verwenden. Ein Gestikulieren auf einem Touchpad erfordert auch von dem Nutzer, seine/ihre Hände von dem Keyboard wegzunehmen, um Gesten auszuführen. Dieses kann den Arbeitsfluss unterbrechen. Wenn das Touchpad das bevorzugte Eingabegerät eines Nutzers ist, kann ein Gestikulieren auf dem Touchpad unbeabsichtigte Cursorbewegungen und dergleichen verursachen. Das Durchführen von Gesten auf einem Touchscreen (im Gegensatz zu einem Touchpad) ist ähnlich restriktiv, wie es bei einigen Geräten implementiert ist, weil das Gestenobjekt (z.B. der/die Finger eines Nutzers) einen Teil der Anzeige abdeckt. Abhängig von der Art der Geste, wie einem Verschieben der fünf Finger, kann dieses mit einem substantiellen Teil der Anzeige interferieren.
-
Dementsprechend stellt eine Ausführungsform eine integrierte Gesteneingabe-Funktionalität bereit. Die integrierte Gesteneingabe-Funktionalität, die durch eine Ausführungsform bereitgestellt wird, ermöglicht viel besser verfeinerte Gesteneingaben bereitzustellen und zu interpretieren und ermöglicht auch Mechanismen zum Integrieren von Gesteneingaben mit Standardeingaben, um eine zusätzliche Funktionalität zu erreichen, die vorher unrealistisch war. Zum Beispiel stellt eine Ausführungsform eine nützlichere Funktion bereit, wenn eine Taste auf einem Keyboard unter Verwendung einer Gesteneingabe niedergehalten wird, um eine derartige Tastendruckeingabe oder umgekehrt zu ergänzen. In einem anderen Beispiel stellt eine Ausführungsform für eine höhere Auflösung der Gesteneingabe zum Beispiel ein Teilen der Oberfläche eines Eingabegerätes, wie eines Keyboards in Unterregionen (in der „x“-, „y“-Dimension), bereit, was die Reaktion auf die Gesteneingabe, die in der Nähe dazu erfasst wird, einengt. Darüber hinaus stellt eine Ausführungsform, welche die erfasste Nähe der Gesteneingabe relativ zur Oberfläche (nämlich die Höhe der Geste) als ein zusätzliches Kennzeichen bereit, das die Reaktion auf die Gesteneingabe einengt. Diese und andere zusätzliche Eingabemöglichkeiten, wie sie weiterhin hierin beschrieben werden, bieten den Nutzern eine reichhaltigere und nützlichere Erfahrung, wenn eine Datenverarbeitung und Modifikationsaufgaben, die Gesteneingaben betreffen, durchgeführt werden.
-
Die dargestellten beispielhaften Ausführungsformen werden am besten mit Bezug auf die Figuren verstanden. Die folgende Beschreibung ist nur als Beispiel vorgesehen und illustriert in einfacher Weise bestimmte beispielhafte Ausführungsformen.
-
1 veranschaulicht ein Blockdiagramm eines Beispiels von Informationsverarbeitungsgeräte-Schaltkreisen, Schaltungen oder Komponenten. Das abgebildete Beispiel in 1 kann Computersystemen entsprechen wie den THINKPAD-Serien von Personalcomputern, die durch Lenovo (US) Inc., aus Morrisville, NC, verkauft werden, oder anderen Geräte. Wie es von der Beschreibung hierin naheliegend ist, können die Ausführungsformen andere Merkmale oder nur einige der Merkmale des in 1 dargestellten Beispiels umfassen.
-
Das Beispiel der 1 umfasst einen sogenannten Chipsatz 110 (eine Gruppe von integrierten Schaltkreisen, oder Chips, die als Chipsätze zusammenwirken) mit einer Architektur, die abhängig vom Hersteller (zum Beispiel INTEL, AMD, ARM, usw.) variieren kann. Die Architektur des Chipsatzes 110 umfasst eine Kern- und Speichersteuerungsgruppe 120 und einen EIN/AUS-Steuernetzknoten 150, der Informationen (zum Beispiel Daten, Signale, Befehle, und so weiter) über eine Direktmanagementschnittstelle (DMI) 142 oder ein Verbindungssteuergerät 144 austauscht. In 1 ist das DMI 142 eine Chip-zu-Chip-Schnittstelle (auf die manchmal auch als Verbindung zwischen einer „northbridge“ und einer „southbridge“ Bezug genommen wird). Die Kern- und Speichersteuerungsgruppe 120 umfasst einen oder mehrere Prozessoren 122 (zum Beispiel Einzel- oder Mehrkern) und einen Speichersteuerungsnetzknoten 126, der Informationen über einen Frontseiten-Bus (FSB) 124 austauscht; es ist anzumerken, dass Komponenten der Gruppe 120 in einem Chip integriert sein können, der die konventionelle „north-bridge“-artige Architektur ersetzt.
-
In 1 bildet der Speichersteuerungsnetzknoten 126 eine Schnittstelle mit dem Speicher 140 (um zum Beispiel eine Unterstützung für einen RAM-artigen Speicher bereitzustellen, auf den als „Systemspeicher“ oder „Speicher“ Bezug genommen werden kann). Der Speichersteuerungsnetzkonten 126 umfasst weiterhin eine LVDS-Schnittstelle 132 für ein Anzeigegerät 192 (zum Beispiel einen CRT, einen Flachbildschirm, einen Touchscreen und so weiter). Ein Block 138 schließt einige Technologien ein, die über die LVDS-Schnittstelle 132 unterstützt werden können (zum Beispiel ein serielles digitales Video, ein HDMI/DVI, einen Anzeigeport). Der Speichersteuerungsnetzknoten 126 umfasst auch eine PCI-Expressschnittstelle (PCI-E) 134, welche diskrete Graphiken 136 unterstützen kann.
-
In 1 umfasst der EIN/AUS Steuernetzknoten 150 eine SATA-Schnittstelle 151 (zum Beispiel für HDDs, SDDs, 180 und so weiter), eine PCI-E-Schnittstelle 152 (zum Beispiel für drahtlose Verbindungen 182), eine USB-Schnittstelle 153 (zum Beispiel für Geräte 184 wie einen Digitalisierer, ein Keyboard, eine Maus, Kameras, Telefone, Mikrofone, Speicher, andere angeschlossene Geräte und so weiter), eine Netzwerk-Schnittstelle 154 (zum Beispiel LAN), eine GPIO-Schnittstelle 155, eine LPC-Schnittstelle 170 (für ASICs 171, einen TPM 172, einen Super-I/O 173, einen Firmenwaren Netzknoten 174, eine BIOS-Stütze 175 sowie unterschiedliche Arten von Speichern 176 wie ROM 177, Flash 178 und NVRAM 179), eine Leistungsmanagement-Schnittstelle 161, eine Taktgenerator-Schnittstelle 162, eine Audio-Schnittstelle 163 (zum Beispiel für Lautsprecher 194), eine TCO-Schnittstelle 164, eine Systemmanagement-Bus-Schnittstelle 165 und einen SPI-Flash 166, der BIOS 168 und Boot Code 190 umfassen kann. Der EIN/AUS Steuernetzknoten 150 kann eine Gigabit-Ethernet-Unterstützung umfassen.
-
Das System kann nach dem Einschalten konfiguriert sein, um einen Boot Code 190 für das BIOS 168 auszuführen, wie es innerhalb des SPI-Flash 166 gespeichert ist, und danach Daten unter der Steuerung von einem oder mehreren der Verarbeitungssysteme und Anwendungssoftware (zum Beispiel im Systemspeicher 140 gespeichert) durchführen. Ein Verarbeitungssystem kann an irgendeiner einer Vielzahl von Lokalitäten gespeichert werden und darauf zum Beispiel gemäß den Instruktionen des BIOS 168 zugegriffen werden. Wie hierin beschrieben kann ein Gerät weniger oder mehr Merkmale als in dem System der 1 gezeigt einschließen.
-
Informationsverarbeitungsgeräte, wie zum Beispiel die in 1 aufgezeigten, können Nutzergeräte wie ein Eingabegerät, zum Beispiel ein Keyboard, mit einer Oberfläche einschließen, die eine oder mehrere Standardsteuerungen (z.B. mechanische Tasten, ein Touchpad, Trackpoints oder dergleichen) aufweisen. Das Eingabegerät kann konfiguriert sein, um auf ein oder mehrere Eingaben ohne eine Geste zu reagieren (z.B. mechanisches Tastendrücken, Touchpad-Eingabe usw.) zusätzlich zu einer Gesteneingabe. Das Informationsverarbeitungsgerät umfasst zusätzlich einen oder mehrere Sensoren, die eine Gesteneingabe erfassen, einschließlich zweidimensionaler Charakteristiken der Gesteneingabe (z.B. „x“-, „y“-Koordinaten davon) und/oder die Nähe der Gesteneingabe (z.B. die Höhe über der Oberfläche, z.B. „z“ Abstand über einem Keyboard eines Laptopcomputergerätes). Die einen oder mehreren Sensoren können abhängig von der Art der Gesteneingabe, die zu erfassen ist, ausgewählt sein. Die einen oder mehreren Sensoren können zum Beispiel optische oder kapazitive Sensoren einschließen oder eine Kombination davon. Somit können mehr als ein Sensor und mehr als ein Sensortyp eingesetzt werden.
-
Bezugnehmend auf 2 wird ein genereller Überblick der Operationen eines Gestenerkennungssystems dargestellt. In einer Ausführungsform wird ein Gestensystem aktiviert z.B. beim Start des Informationsverarbeitungsgerätes und verbleibt in Bereitschaft, um mögliche Gesten zu erfassen. Das Gestensystem kann zu dem Bereitschaftsstatus auf unterschiedlichen Wegen zurückkehren, einschließlich aber nicht beschränkt auf ein Durchführen einer speziellen Geste, einer Leerlaufzeit während einer möglichen Gestenerfassung oder bei einem Scheitern einer Identifizierung einer erfassten Geste, wie hierin weiter beschrieben wird.
-
Eine Nutzerbewegung kann auftreten (z.B. der Nutzer stellt eine Gesteneingabe über einer Oberfläche eines Keyboards bereit), die als mögliche Geste durch einen oder mehrere Sensoren erkannt wird. Zum Beispiel kann als Reaktion auf eine Nutzerhandbewegung eine Eingabe erkannt werden (z.B. Überschreiten eines minimalen Rauschschwellwerts) und das System fährt fort bei 210 zu versuchen bei 210 die Bewegung als Geste zu identifizieren. Wenn die Bewegung einen Gestenschwellwert (z.B. wenn die Bewegung über einem minimalen Rauschpegelwert erfasst wird) bei 210 überschreitet, kann das System versuchen, die erfasste Geste zu identifizieren. Andererseits kann die Eingabe auch, obwohl sie bei einigem Pegel erfasst wird, als Gesteneingabe unbeachtet bleiben (z.B. wenn die Eingabe einen vorbestimmten Rauschschwellwert überschreitet, aber einen vorbestimmten Gestenschwellwert nicht überschreitet). Wenn somit das System bestimmt, dass die erfasste Eingabe keine Geste bei 210 ist, kehrt das System in den Anfangszustand zurück, bereit mögliche Gesten zu erfassen.
-
Wenn jedoch die Eingabe als Gesteneingabe bei 210 erfasst ist, analysiert der Gestenmotor die Eingabe und bestimmt, was als nächstes bei 220 zu tun ist. Wenn die Gesteneingabe bei 220 erfolgreich ist (was z.B. bedeutet, dass die erfasste Gesteneingabe zu einer Geste in einer Gestenbibliothek passt), gibt der Gestenmotor eine erfolgreiche Gestenidentifikation aus und initiiert die Durchführung der Reaktionsaktion(en) bei 230, die der besonderen Geste entspricht. Wenn andererseits die Gestenidentifikation bei 220 scheitert (was z.B. bedeutet, dass die Geste nicht irgendeiner in der Gestenbibliothek entspricht), kehrt das System in den Anfangszustand zurück, bereit mögliche Gesten zu erfassen. Wenn die Gesteneingabe erfolgreich ist und das System die genaue entsprechende Reaktionsaktion(en) bei 230 durchführt, kehrt das System, nachdem dieses erreicht ist, zurück in den Anfangszustand, und ist bereit mögliche Gesten bei 210 zu erfassen.
-
Wenn somit das System erst einmal eingeschaltet ist und bereit ist Gesten zu erfassen, beginnt es den Bereich(e) über der relevanten Oberfläche für eine potentielle Gesteneingabe zu überwachen. Wenn alle oder einige Teile der Kriterien, die in 2 aufgeführt sind, erreicht sind, arbeitet der Gestenmotor, um die Gesteneingabedaten zu interpretieren und geeignete Reaktionsaktion(en) durchzuführen. Einige beispielhafte Parameter, die der Gestenmotor verwenden kann, um eine mögliche Gesteneingabe zu erfassen, und zum Auswählen einer oder mehrerer geeigneter Reaktionsaktionen, umfassen, aber sind nicht beschränkt auf Schicht/Höhe, die mit der Geste assoziiert ist, Lokalität (z.B. „x“-, „y“-Dimensionen der Geste) der erfassten Geste, Form der erfassten Geste und Geschwindigkeit der erfassten Geste.
-
Zur Klarstellung sind einige Terme, die in der gesamten Beschreibung verwendet werden, hier wie folgt definiert. Wie hierin beschrieben bezieht sich der Term „Sensor“ auf eine Hardware- und Softwarekombination, die erfasst, erkennt, interpretiert und agiert durch ein Sammeln von Informationen über Gesten, ein Analysieren dieser Informationen, und stellt Informationen für ein Bestimmen, welche (wenn überhaupt) Geste durch den Nutzer ausgeführt wurde, bereit. Ein Sensor kann zum Beispiel ein optischer Sensor (z.B. ein Sensor, der auf Infrarot oder sichtbares Licht basiert) oder ein Sensor, der auf einer projizierten Kapazität basiert, oder eine Kombination davon sein; es können jedoch auch andere Sensortypen eingesetzt werden, die geeignet sind, Gesteneingaben zu spüren, wie hierin weiter beschrieben. Darüber hinaus bedeutet der Term „schweben“ (oder schwebend oder dergleichen), wie er in diesem Dokument verwendet wird, eine Eingabe, die durch einen Sensor ohne einen physikalischen Kontakt zwischen dem zu erfassenden Objekt und dem Sensor erfasst wird. Der Term „streifen“ (oder eine ähnliche Variation), wie er in diesem Dokument verwendet wird, hat die Bedeutung eines leichten physikalischen Kontakts (z.B. ein physikalischer Kontakt mit der Oberfläche von einer Keyboardtaste, der nicht ausreicht die Taste zu drücken und eine Steuerung auszulösen, wie ein Aktivieren einer Eingabe eines Tastendruckes auf die Keyboardtaste, unter Verwendung einer Kapazität).
-
In einer Ausführungsform kann die Schicht/Höhe der erfassten Gesteneingabe (z.B. der „z“-Abstand über einem Sensor oder einer Oberfläche, der damit assoziiert ist) durch eine Ausführungsform verwendet werden, um eine Reaktion auf die Gesteneingabe zu verfeinern. Je näher die erfasste Gesteneingabe zum Beispiel ist (relativ zu einem Sensor oder einer Oberfläche, die damit assoziiert ist), desto mehr „x“-, „y“-Unterregionen sind dort vorhanden. Somit kann eine Gesteneingabe näher an dem Sensor besser verfeinerte Eingabedaten bereitstellen (aufgrund der erhöhten Anzahl der „x“-, „y“-Unterregionen), als die einer Gesteneingabe, die weiter weg von dem Sensor ist (z.B. wenn der Nutzer eine Verlaufsgesteneingabe bereitstellt). Weiterhin kann die Schicht, in der eine Geste stattfindet, wie sie durch einen Sensor erfasst wird, darüber informieren, dass die geeignete Reaktionsaktion ausgewählt wurde. Eine „Schicht“ ist ein Höhenmaß, das eine Ausführungsform verwenden kann, um den vertikalen Abstand des gestikulierenden Körpers (z.B. die Hand oder der Finger des Nutzers) von dem Sensor zu bestimmen. Eine Schicht kann in mehrfache Unterschichten aufgeteilt werden, wie es in dem nachfolgenden Beispiel beschrieben wird.
-
Zur Erfassung von höhenabhängigen schwebenden Gesten kann eine Ausführungsform eine Gesteneingabe in Abhängigkeit von der Höhe der Geste über der Oberfläche interpretieren (colokalisiert mit einem oder mehreren Sensoren, z.B. optischen Sensoren, die über einem Keyboard des Laptopcomputergerätes angeordnet sind). Eine Geste kann somit über der Oberfläche, ohne einen aktuellen Kontakt mit der Oberfläche auszuführen, erfasst werden (z.B. Verschieben eine oder beide Hände des Nutzers über dem Keyboard, ohne Berühren des Keyboards) und die Reaktion auf die Gesteneingabe kann von der erfassten Höhe (z.B. der Höhe der Hand des Nutzers über dem Keyboard) abhängig sein. Die Höhenerfassung kann auf eine vielfältige Art festgestellt werden, zum Beispiel durch die Intensität der optischen Reflexion oder die Kapazität eines Signals, die durch die Gesteneingabe erzeugt werden.
-
Eine Ausführungsform für höhenabhängige schwebende Gesten kann auf der Interpretation der Gesteneingabe basieren, unabhängig von der Höhe der Gestenbewegung über der Oberfläche. Wenn zum Beispiel die Gestenbewegung über der Oberfläche ist, ohne aktuellen Kontakt aufzunehmen (nämlich als schwebende Eingabe), kann die Reaktion auf die Gestenbewegung, welche die Gesteneingabe bereitstellt, gleich sein, unabhängig von der Höhe der Gesteneingabe. Zusätzlich kann der Schritt des Erfassens oder Schließens auf die Höhe der Gesteneingabe weggelassen werden (die Höhe der Gesteneingabe kann nämlich bei einer Ausführungsform für spezielle Gesteneingabeszenarien unberücksichtigt bleiben).
-
Für eine streifende Gesteneingabe kann eine Ausführungsform der Gesteneingabe verwendet werden zusammen mit einem Unterschwellwert für den Kontakt mit der Oberfläche, um eine Reaktionsaktion bereitzustellen. Ein Nutzer kann zum Beispiel einen ersten Schwellwert des Kontaktes überschreiten (z.B. ein minimaler Kontakt mit einer Oberfläche wie einer Keyboardtaste) , ohne die Oberfläche zu aktivieren oder die zugehörige Steuerung der Oberfläche in eine Aktivität zu versetzen (z.B. kann der Nutzer eine Keyboardtaste nicht mit der ausreichenden Kraft kontaktieren, um einen Schwellwert eines aktuellen Eindrückens und Aktivierens der Taste zu überschreiten). Als ein Beispiel kann der Nutzer mit einem Finger von rechts nach links über die Oberfläche der Rücksetztaste wischen, um ein gesamtes Wort zu löschen. In diesem Beispiel erfasst eine Ausführungsform die streifende Gesteneingabe (das Wischen über die Taste), aber da der Nutzer die Rücksetztaste nicht drückt, interpretiert eine Ausführungsform die Gesteneingabe der Wischrichtung, um die Aktion des Löschens eines Wortes auszuführen und verwendet keinen Tastendruck.
-
Für eine Druckeingabe kann eine Ausführungsform die Gesteneingabe zusammen mit einem Pressen des Kontakts auf eine Oberfläche verwenden, um die Oberfläche oder die zugehörige Steuerung der Oberfläche zu aktivieren. Zum Beispiel kann, in Reaktion auf ein Drücken und Halten der „C“-Taste durch einen Nutzer und einem Wischen (mit einer zweiten Hand) während die „C“-Taste entlastet wird, eine Ausführungsform eine Auswahl- und/oder Kopieraktion durchführen, ohne ein Eingeben der „C“-Buchstaben Eingabeaktion.
-
Eine Ausführungsform kann eine „Fuzzy“- oder unbestimmte Zone für eine geschichtete Eingabe durchführen. Zum Beispiel kann in einer höchsten Schicht (beabstandet von der Oberfläche/dem Sensor), während der Sensor weiterhin den gestikulierenden Körper abtastet, dieser Sensor nicht genügend spezifische Daten zum Bestimmen der möglichen Gesten erfassen. Bei dem Ereignis des Empfangens einer Gesteneingabe in der Fuzzy-Zone kann das System das Gestikulieren ignorieren, obgleich es erfasst wurde, oder den Nutzer veranlassen, die Eingabe zu wiederholen. Dies kann der Aktion bei 210 der 2 entsprechen, nämlich Wahrnehmen der Eingabe, aber nicht Erfassen einer Geste, oder kann der Aktion bei 220 der 2 entsprechen, nämlich Wahrnehmen der Gesteneingabe, aber nicht ein Vervollständigen einer Gleichwertigkeit mit einer vorbestimmten Geste. Wieder kann diese Bestimmung mit einer Anzeige an den Nutzer ergänzt werden, dass der gestikulierende Körper/die Eingabe davon erfasst worden ist, aber mehr Informationen erforderlich sind (z.B. ein wiederholter Versuch des Bereitstellens einer ersten Eingabe, die näher an dem Sensor ist, usw.).
-
Eine Ausführungsform kann schwebende Gesten entweder in statischer oder dynamischer Form verwenden (nämlich Gesteneingaben ohne Kontakt mit einer Oberfläche, mit oder ohne Bewegung), um Reaktionsaktionen durchzuführen. Zum Beispiel kann das Gestensystem eine Schwebegeste, basierend aber nicht begrenzt auf die Attribute oder die Kombination von Attributen in einer Schwebegeste, die über einem Sensor bereitgestellt wird, kennzeichnen. Einige nicht begrenzende Beispielsattribute und ihre Beschreibungen werden in Tabelle 1 bereitgestellt.
Tabelle 1: Beispiel von Schwebeattributen
| SCHWEBEGESTEN |
| Attribute | Beschreibung |
| Schicht | Variieren der Höhe der Geste über der Oberfläche |
| Lokalität | Der bestimmte Bereich, in dem die Geste auf die Oberfläche projiziert ist |
| Form | Die Form des Bereichs in der Oberfläche, auf welche die Geste senkrecht projiziert ist |
| Geschwindigkeit | Die Bewegungsgeschwindigkeit der Geste in Relation zu der Oberfläche |
| Vorauslösedauer | Der Zeitschwellwert, der erforderlich ist für eine Geste, eine Reaktion auszulösen |
| Vorauslösewiederholung | Die Wiederholung, die für eine Geste erforderlich ist, um eine Reaktion auszulösen |
| Ablauf | Das Ablaufmuster der Reaktion seit eine Geste ausgelöst ist |
| Trajektorie | Der Bewegungspfad der Geste im dreidimensionalen Raum in Relation zu der Schwebefläche |
| Modifizierer | Eine Reaktion wird modifiziert durch ein oder mehrere aktivierte Steuerungen (z.B. Taste, Touchpad, Knopf, usw.) bevor oder während oder nach der Geste |
-
Eine Ausführungsform kann zweidimensional (2-D) mit einer, „x“, „y“, Lokalitätserfassung durchgeführt werden, um Reaktionsaktionen von unterschiedlichen Gesteneingaben zu verfeinern. Zum Beispiel kann eine Ausführungsform Lokalitätsdaten verwenden, um zu bestimmen, wo das Gestenobjekt (die Gestenobjekte) (z.B. Hand (Hände), Finger und/oder Gegenstände wie ein Stift, ein Federhalter, ein Zellentelefon) auf einem 2-D-Bereich innerhalb eines Bereichs des Gestensensors (der Gestensensoren) lokalisiert ist (sind). Wie hierin beschrieben kann die gesammelte Menge an Daten mit der Höhe/Schicht-Bestimmung koordiniert werden, zum Beispiel können die „x“-, „y“-Unterregionen unterschiedlich geteilt werden, basierend auf der Höhe der erfassten Gesteneingabe. Zum Beispiel kann eine Ausführungsform Regionen definieren, die das Keyboard, das Trackpad und die Handflächenbereiche umfassen, aber nicht darauf beschränkt sind. Somit können Gesteneingaben oder irgendwelche dieser Bereiche unterschiedlich gehandhabt/- interpretiert werden (und unterschiedliche Aktionen können in Reaktion auf ein Bestimmen der Gesteneingabe, die in den unterschiedlichen Unterregionen oder Bereiche bereitgestellt wurden, durchgeführt werden).
-
Eine Ausführungsform kann steuerungsabhängige Interpretationen der Gesteneingabe bereitstellen. Somit kann die Interpretation von der Steuerung unterhalb der Gesteneingabe abhängen. Beispielsweise wird ein Druck auf die „Rückstelltaste“ auf der Keyboardoberfläche unterschiedlich interpretiert als ein Druck auf die „Leertaste“. Als ein anderes Beispiel kann eine Geste über der Nummerntastenregion auf der Keyboardoberfläche unterschiedlich interpretiert werden als eine Geste über der Buchstabentastenregion.
-
Eine Ausführungsform kann eine Form der Gesteneingabe verwenden (nämlich statische Gesteneingabe), um eine entsprechende Reaktionsaktion zu definieren, entweder allein oder in Kombination mit anderen Gestenattributen. Zum Beispiel kann eine Ausführungsform die Form eines Gestenkörpers bestimmen, zum Beispiel erfasste offene gegenüber geschlossener Hand, um eine gegebene Reaktionsaktion auszuführen. Unter den unterschiedlich geformten gestikulierenden Körpern, die erfasst werden können, sind zum Beispiel geschlossene gegenüber offene(n) Hand (Hände), eine Anzahl von gestreckten Fingern, der Abstand zwischen gestreckten Fingern, ein gleichförmiger gestikulierender Körper gegenüber einem nicht gleichförmig gestikulierenden Körper oder geeignete Kombinationen der vorherhergehenden. Diese statischen Gesteneingaben können verwendet werden, um eine Form der Geste zu bestimmen und unterschiedliche Reaktionsaktionen auszuführen.
-
Eine Ausführungsform kann die Form in Verbindung mit anderen Attributen der Geste verwenden, z.B. dem Bereich der Oberfläche oder Region davon, bei der die Gesteneingabe rechtwinklig darauf projiziert wird. Eine Ausführungsform kann die Form bestimmen, ist aber nicht beschränkt auf ein Erfassen der 2-D-Form, Erfassen der 3-D-Form, Folgern der Position oder der Orientierung des gestikulierenden Körpers in der Projektion des Bereichs, der durch den (die) Sensor(en) und dergleichen erfassbar ist. Zum Beispiel kann eine Ausführungsform das Erfassen von einem oder mehreren Fingern, Hand (Händen), Körperteil(en) (z.B. Gesicht) und/oder Gegenstände, die in dem Gestengebiet vorhanden sind, verwenden. Beispiele für unterschiedliche Formen, die erfasst werden können, umfassen, sind aber nicht auf die Kombination beschränkt von einem oder mehreren gestreckten Fingern, Fingerkrümmung oder Grad der Krümmung (zwischen kontrahiert und gestreckt). Eine Ausführungsform kann eine unterschiedliche Anzahl von gestreckten Fingern zum Unterscheiden unterschiedlicher Arten von Gesten erfassen. Die erfassten Finger können von einer gleichen Hand oder unterschiedlichen Händen sein mit unterschiedlichen Gesteneingabeerfassungen, die daraus resultieren. Eine Ausführungsform kann zusätzlich die Kombination von einer oder beiden Händen in geschlossener, offener oder mittlerer Position als Anzeichen unterschiedlicher Gesteneingaben erfassen. In ähnlicher Weise kann ein Fingerspreizen (aktives Bewegen der Finger näher zusammen oder weiter auseinander) erfasst werden als eine Form der Geste, die dynamisch ist. Kombinationen der obigen Beispiele oder ähnlicher Beispiele können als Formeingabe erfasst werden, welche die erste Eingabeaktion bestimmen, die durch das System durchzuführen ist.
-
Eine Ausführungsform kann dynamische Charakteristiken der Gesteneingabe zum Definieren der Gesteneingabeaktionen verwenden. Zum Beispiel kann eine Ausführungsform die Geschwindigkeit der Geste (in Relation zu der Oberfläche) als dynamisches Kennzeichen der Gesteneingabe zum Auswählen einer auszuführenden Aktion verwendet werden. Dynamische Eingaben können geschwindigkeitsunabhängig oder geschwindigkeitsabhängige im Unterschied zu statischen Eingaben sein. Zum Beispiel ist eine statische Geste eine, in der die Geste in einer Position gehalten wird (so dass die Geschwindigkeit Null oder im Wesentlichen Null ist). Eine dynamische, geschwindigkeitsabhängige Geste ist eine, in der die Gesamtgeste in Relation zu der Oberfläche bewegt wird, jedoch ist die Interpretation der Gesteneingabe nicht abhängig von der Geschwindigkeit der Geste. Eine dynamische, geschwindigkeitsabhängige Geste ist eine Geste, in der die gesamte Gesteneingabe in Relation zu der Oberfläche bewegt wird und weiterhin die Interpretation der Geste abhängig von der erfassten Geschwindigkeit ist.
-
Eine Ausführungsform kann zusätzlich die Dauer oder Wiederholung allein oder in einer gewissen Kombination miteinander oder mit anderen Attributen einer Geste verwenden, um Gesteneingaben zu interpretieren. Zum Beispiel können Vorauslöseereignisse in Bezug auf die Dauer der Verwendung eines Zeitschwellwertes einschließen, der für eine Gesteneingabe erforderlich ist, um eine Reaktionsaktion auszulösen. Somit kann eine Auslösung durch ein im Wesentlichen augenblickliches Auslösen einer Reaktionsaktion einsetzen, sobald die Gesteneingabe erkannt ist. Auch kann eine Auslösung vorgesehen sein, um eine Eingabe für eine bestimmten Dauer zu fordern (z.B. einen Schwellwert, der für die Dauer einer Eingabe benötigt wird), wobei eine Reaktionsaktion nur auftritt, nachdem die Gesteneingabe für eine Zeitdauer, die den Zeitschwellwert übersteigt registriert wird.
-
Eine Vorauslösung mit Bezug auf eine Wiederholung kann eine erforderliche wiederholte Gesteneingabe zum Auslösen einer Reaktionsaktion einschließen. Zum Beispiel kann eine Ausführungsform im Gegensatz zum Durchführen einer Reaktionsaktion, sobald die Gesteneingabe erkannt ist, erfordern, dass eine Wiederholung als ein Auslöseereignis gefordert wird. Somit erfolgt eine Wiederholungsaktion nur nachdem eine Geste selbst für eine Anzahl von Zeiten wiederholt wird (z.B. ein Bewegungsmuster wird als Gesteneingabe wiederholt).
-
Die Trajektorie einer Gesteneingabe kann zusätzlich verwendet werden, um die Gesteneingabe und das Auslösen einer Reaktionsaktion zu interpretieren. Zum Beispiel kann eine Ausführungsform den Bewegungspfad der Geste in einem dreidimensionalen (3-D) Raum in Bezug auf eine Oberfläche bestimmen. Eine Trajektorie kann zum Beispiel entweder durch die Bewegung der(s) Finger(s), der Hand (Hände) oder eines anderen (anderer) Körperteils (Teile) und/oder Gegenstand(Gegenstände), welche die Geste umfassen, oder die Bewegung des gesamten Gestenobjekts (z.B. als zusammen gemittelt) bestimmt werden. Bemerkenswert ist, dass die Trajektorie die Bewegungsfahrt der Geste über ein Zeitfenster, anstelle eines bestimmten Zeitpunktes, ist, was genauer als Gestenform charakterisiert wird (z.B. Orientierung einer Handgesteneingabe). Somit wird das Trajektorien-Attribut nicht als statische Geste verwendet. Beispiele von Trajektorien Gesten können einschließen, sind aber nicht beschränkt auf: drückende Bewegungen (z.B. auf einer Oberfläche), Rotationsbewegung (z.B. auf oder über einer Oberfläche), schiebende Bewegungen (z.B. auf oder über einer Oberfläche), winkende Bewegungen (z.B. auf oder über einer Oberfläche), rollende Bewegungen (z.B. auf oder über einer Oberfläche), Ändern einer Finger- und/oder Handorientierung (z.B. Ändern der Form eines Gestenkörpers über der Zeit) und/oder zeichnende Bewegungen (z.B. frei von der Eingabe auf oder über einer Oberfläche).
-
Die Reaktionsaktion oder Aktionen, die in Reaktion auf die Interpretation der Gesteneingabe(n) ergriffen werden, können unterschiedliche Formen einnehmen. Die Reaktionsaktion(en) kann (können) ihrerseits modifiziert sein in Reaktion auf einen oder mehrere zusätzliche Gesteneingaben oder anderen Eingaben eines Eingabegerätes. Zum Beispiel kann das Ablaufmuster einer Reaktionsaktion diskret oder kontinuierlich sein. Somit kann eine Gesteneingabe eine Reaktionsaktion auslösen mit einem Ablaufmuster, das diskret ist, nämlich eine Reaktionsaktion wird als Einzelereignis ausgelöst. Ein Beispiel einer diskreten Reaktionsaktion ist ein Verfolgen über eine Kreuzung oder eine „X“-Form als Gesteneingabe, gefolgt von einem Schließen eines Anwendungsfensters eines Bildschirms. Das bedeutet, sobald die Gesteneingabe von „X“ ausgelöst ist, ist die ausgelöste Reaktion diskret.
-
Ein Ablaufmuster kann auch kontinuierlich sein, nämlich wenn die Reaktionsaktion auftritt und fortgesetzt wird (und modifiziert sein kann), während die Gesteneingabe fortgesetzt wird. Ein Beispiel eines kontinuierlichen Ablaufmusters einer Reaktionsaktion ist ein Zwei-Finger-Runterfahren einer WEB-Seite. Hier kann die anfängliche Reaktion des Herunterfahrens (scrolling) zu Beginn der Gesteneingabe initiiert werden und kann während des Empfangs der Gesteneingabe fortgesetzt werden.
-
Eine Reaktionsaktion kann auch durch einen Modifizierer modifiziert werden. Zum Beispiel kann eine Reaktion durch eine oder mehrere aktivierte Steuerungen modifiziert sein (z.B. eine Taste, ein Touchpad, ein Knopf, usw.) bevor, während oder nachdem die Gesteneingabe bereitgestellt wird. Beispiele der können Modifizierer einschließen, sind aber nicht beschränkt auf einen oder mehrere Tastendrucke, einen oder mehrere Knopfdrucke oder eine Kombination der vorhergehenden.
-
3 bis 10 stellen Beispiele von Gesteneingaben und Reaktionsaktionen dar. Jedes Beispiel wird angegeben, um Aspekte unterschiedlicher Ausführungsformen hervorzuheben, und jedes Beispiel kann in Verbindung mit einem oder mehreren anderen Beispielen verwendet werden. In jedem Beispiel wird eine Gesteneingabe irgendeiner Form identifiziert, basierend auf einem oder mehreren Attributen, und eine Reaktionsaktion oder Aktionen werden in Reaktion auf eine Gleichwertigkeit der identifizierten Gesteneingabe mit einer vorbestimmten Gesteneingabe, wie sie zum Beispiel in einer Gestenbibliothek gespeichert ist, durchgeführt.
-
Beispiel I: Zwei-Hand-Rotation
-
Wie in 3 dargestellt, platziert ein Nutzer zwei Hände, die über eine Oberfläche streifen oder schweben (z.B. eine kapazitive Keyboardoberfläche, wie in einem Beispiel gezeigt wird) und bewegt eine Hand aufwärts, während die andere Hand abwärts bewegt wird. Unter Verwendung dieser Gestenbewegung ahmt der Benutzer eine gewünschte Rotation im Uhrzeigersinn/im Gegenuhrzeigersinn nach, z.B. auf einem Bildschirminhalt. Das Gestensystem (wie es in 2 gezeigt wird) wird die Gesteneingabe erfassen, sie an eine Geste, die in einer Gestenbibliothek gespeichert ist, anpassen und eine Reaktionsaktion durchführen, z.B. ein Rotieren des geeigneten Inhalts (z.B. eine Figur, eine WEB-Seite, ein Dokument, usw.). Während sich die zwei Hände weiterhin in einer Kreisbewegung bewegen, wird die Gesteneingabe kontinuierlich empfangen und eine Ausführungsform, welche eine kontinuierliche Ablaufmuster-Reaktionsaktion ausführt, kann die Rotationsreaktionsaktion fortsetzen. Die Geschwindigkeit der Rotation kann an die Geschwindigkeit der Handbewegung angepasst werden, nämlich kann die Gesteneingabe die Reaktionsaktion modifizieren.
-
Tabelle 2 enthält die Attribute/Bedeutungspaare, welche die Attribute oder Charakteristik der erfassten Gesteneingabe und die Bedeutung davon für das Beispiel der
3 repräsentieren.
Tabelle 2. Zwei-Hand-Rotation
| Attribut | Bedeutung |
| Schicht | Überstreichen |
| Lokalität | N/A |
| Form | Zwei Hände offen |
| Geschwindigkeit | dynamisch, geschwindigkeitsabhängig |
| Vorauslösedauer | augenblicklich |
| Vorauslösewiederholung | einmalig |
| Dauer | kontinuierlich |
| Trajektorie | Rotation |
| Modifizierer | N/A |
-
Beispiel II: Zwei-Hand-Schieben
-
Wie in 4 gezeigt, platziert ein Nutzer zwei Hände über eine Oberfläche (z.B. eine kapazitive Keyboardoberfläche, wie sie als ein Beispiel gezeigt wird) und führt eine Schiebebewegung aus. Das Gestensystem wird diese Gesteneingabe als passend zu einer Schiebebewegung, die in der Gestenbibliothek gespeichert ist, erfassen (z.B. passend zu einer zusammenschiebenden oder auseinanderschiebenden Geste) und ein Signal an einen Anzeigebildschirm ausgeben, den entsprechenden Inhalt ineinander/auseinander zu zoomen (z.B. ein Bild, eine WEB-Seite oder ein Dokument, usw.). Während der Nutzer weiterhin seine oder ihre zwei Hände in der Schiebebewegung bewegt, wird das Zoomen fortsetzen, nämlich um ein kontinuierliches Ablaufmuster, wie es hierin beschrieben ist, durchzuführen. Die Geschwindigkeit des Zoomens kann von der Geschwindigkeit der Handbewegungen abhängen, nämlich die Geschwindigkeit der Handgeste wirkt als ein Modifizierer der Reaktionsaktion.
-
Tabelle 3 enthält die Attribute/Bedeutungspaare, welche die Attribute oder Charakteristik der erfassten Gesteneingabe und die Bedeutung davon für das Beispiel der
4 repräsentieren.
Tabelle 3: Zwei-Hand-Schieben
| Attribut | Bedeutung |
| Schicht | Überstreichen |
| Lokalität | N/A |
| Form | zwei Hände offen |
| Geschwindigkeit | dynamisch, geschwindigkeitsabhängig |
| Vorauslösedauer | augenblicklich |
| Vorauslösewiederholung | einmalig |
| Dauer | kontinuierlich |
| Trajektorie | Schieben |
| Modifizierer | N/A |
-
Beispiel III: Ein-Hand-Winken
-
Wie in 5 illustriert, kann ein Nutzer mit einer offenen Hand über einer Oberfläche zurück- und vorwärtswinken (wieder ist das gezeigte Beispiel in 5 ein Keyboard) in einer lateralen Rückwärts- und Vorwärtsbewegung (oder alternativ Benutzen des Handgelenks als eine Achse und Bewegen der Hand in einer bogenförmigen Bewegung) für eine vorbestimmte Anzahl von Zeiten (z.B. dreimal). In Reaktion auf diese gestikulierende Eingabe einschließlich einer Auslösung, kann das Gestensystem die erfasste Gesteneingabe an eine Gesteneingabe in der Gestenbibliothek anpassen und kann zu einem unterschiedlich installierten Keyboard oder einem Eingabeverfahren umschalten. Zum Beispiel könnte das Schalten zwischen Keyboard-Layouts (wie das Schalten von einem QWERTY-Layout zu einem DVORAK-Layout) oder Keyboard-Sprachen (wie von Englisch auf Französisch) erfolgen. Somit verwendet eine Ausführungsform ein vorausgelöstes Muster (z.B. wiederholte Winkbewegungen - dreifach), um eine diskrete Reaktionsaktion auszulösen, z.B. ein Umschalten des Keybordlayouts.
-
Tabelle 4 enthält die Attribute/Bedeutungspaare, welche die Attribute oder Charakteristik der erfassten Gesteneingabe und die Bedeutung davon für das Beispiel der
5 repräsentieren.
Tabelle 4: Ein-Hand-Winken
| Attribut | Bedeutung |
| Schicht | Überstreichen |
| Lokalität | N/A |
| Form | eine Hand offen |
| Geschwindigkeit | dynamisch, geschwindigkeitsabhängig |
| Vorauslösedauer | N/A |
| Vorauslösewiederholung | dreifach |
| Dauer | diskret |
| Trajektorie | Winken |
| Modifizierer | N/A |
-
Beispiel IV: Ein-Finger-Zeichnen in einer Region
-
Wie in 6 dargestellt, kann ein Nutzer einen Finger (oder Gegenstand, wie einen Stift) über dem Nummerntastenabschnitt positionieren und den Finger in einem vorbestimmten Zeichnungsmuster bewegen. Wenn der Nutzer erfolgreich ein vorbestimmtes Symbolmuster zeichnet, zum Beispiel eine mathematische Funktion, wird die Gesteneingabe durch das Gestensystem angepasst an eine gespeicherte Geste für dieses Symbol in der Gestenbibliothek. Dann wird das Gestensystem ein Signal ausgeben, um die geeignete Reaktionsaktion zu initiieren. Wenn als Beispiel der Nutzer „√“ über dem Nummerntastenabschnitt zeichnet, wird diese Gesteneingabe interpretiert/angepasst als/an das mathematische Symbol „√“ und diese Mathematik kann angezeigt werden, als ob der Nutzer dieses mathematische Symbol in einer Anwendung ausgewählt (z.B. das Symbol in einem MICROSOFT WORD Dokument aus einem Symbolmenü eingefügt) hätte. Deshalb verwendet eine Ausführungsform regionale Interpretationen (z.B. Gesteneingabe über dem Nummerntastenabschnitt), um eine diskrete Reaktionsaktion auszuführen (z.B. Einfügen eines mathematischen Symbols).
-
Tabelle 5 enthält die Attribute/Bedeutungspaare, welche die Attribute oder Charakteristik der erfassten Gesteneingabe und die Bedeutung davon für das Beispiel der
6 repräsentieren.
Tabelle 5: Ein-Finger-Zeichnen
| Attribut | Bedeutung |
| Schicht | Überstreichen |
| Lokalität | regionsabhängig: über dem Nummerntastenabschnitt |
| Form | ein gestreckter Finger |
| Geschwindigkeit | dynamisch, geschwindigkeitsunabhängig |
| Vorauslösedauer | augenblicklich |
| Vorauslösewiederholung | einmalig |
| Ablauf | diskret |
| Trajektorie | Freizeichnen |
| Modifizierer | N/A |
-
Beispiel V: Ein-Finger-Druckgeste über einer Unterregion der Oberfläche, um eine diskrete Aktion auszuführen
-
Wie in 7 dargestellt, kann ein Nutzer eine Gesteneingabe relativ zu einer teilweisen Oberfläche der Unterregion bereitstellen, um eine Aktion auszuführen. Bei einem geeigneten Inhalt (z.B. Dokument auf einem Anzeigeschirm, usw.) kann ein Nutzer zum Beispiel eine Fingerdruck-Gesteneingabe bereitstellen, z.B. ein Streifen über die „Rückstelltaste“, um das letzte Eingabewort zu löschen. Somit verwendet eine Ausführungsform eine regionale Interpretation (z.B. Gesteneingabe über einer speziellen Taste) gemeinsam mit einer Höheninterpretation (nämlich einer streifenden Eingabe), um eine diskrete Reaktionsaktion (z.B. Löschen einer vorbestimmten Eingabe wie dem letzten eingegebenen Wort) auszuführen.
-
Tabelle 6 enthält die Attribute/Bedeutungspaare, welche die Attribute oder Charakteristik der erfassten Gesteneingabe und die Bedeutung davon für das Beispiel der
7 repräsentieren.
Tabelle 6: Ein-Finger-Drücken über der „Rückstelltaste“
| Attribut | Bedeutung |
| Schicht | Überstreichen |
| Lokalität | steuerungsabhängig: Die Geste ist über der „Rückstelltaste“ |
| Form | ein gestreckter Finger |
| Geschwindigkeit | dynamisch, geschwindigkeitsabhängig |
| Vorauslösedauer | augenblicklich |
| Vorauslösewiederholung | einmalig |
| Ablauf | diskret |
| Trajektorie | Drücken |
| Modifizierer | N/A |
-
Beispiel VI: Ein-Finger-Druckgeste über der „Entertaste“ zur Auswahl
-
Wie in 8 dargestellt, kann der Nutzer eine Ein-Finger-Druckgeste (streichende Eingabe) über der „Entertaste“ auf einer Benutzer-Interface-Steuerung (z.B. Laptop-Keyboard) bereitstellen. In Reaktion zu dieser empfangenen Eingabe kann das Gestensystem die Gesteneingabe an eine Geste in der Gestenbibliothek anpassen und ein Signal bereitstellen, welches das Hauptsystem zum Anzeigen einer Veranlassung für den Nutzer veranlasst. Die Veranlassung, die für den Nutzer angezeigt wird, kann den Nutzer veranlassen, eine Auswahl zu treffen (z.B. eine Listenbox, eine Combobox, eine Dialogbox, usw.). Die Gesteneingabe kann alternativ verwendet werden, um dem Nutzer zu ermöglichen, durch wählbare, bereits aufgelistete Punkte (items) zu navigieren, zum Beispiel durch Vorwärts- oder Rückwärtsbewegen in einer Liste, abhängig von der Richtung der gedrückten Geste.
-
Darüber hinaus kann eine Ausführungsform eine Geschwindigkeit als eine Gesteneingabecharakteristik verwenden, zum Beispiel unter Interpretieren einer schnelleren Druckbewegung (z.B. einer flinken Bewegung, welche eine vorbestimmte Geschwindigkeit übersteigt), um durch die Optionen schneller zu navigieren. Darüber hinaus kann eine Ausführungsform unterschiedliche Gesteneingaben interpretieren, um unterschiedliche diskrete Reaktionsaktionen auszuführen. Zum Beispiel kann eine Druckgeste nach oben oder nach unten auf der „Entertaste“ eine Reaktionsaktion zum Bewegen eines Auswahlindikators zum Anfang einer Liste oder zum Ende einer Liste und umgekehrt auslösen. Wenn erstmal der gewünschte Punkt mit einem Auswahlindikator hervorgehoben ist, kann der Nutzer eine zusätzliche Eingabe bereitstellen (z.B. einen mechanischen Druck auf die Entertaste), um die Auswahl durchzuführen.
-
Tabelle 7 enthält die Attribute/Bedeutungspaare, welche die Attribute oder Charakteristik der erfassten Gesteneingabe und die Bedeutung davon für das Beispiel der
8 repräsentieren.
Tabelle 7: Ein-Finger-Druckgeste über der Entertaste
| Attribut | Bedeutung |
| Schicht | Überstreichen |
| Lokalität | steuerungsabhängig: Die Geste ist über der „Entertaste“ |
| Form | ein gestreckter Finger |
| Geschwindigkeit | dynamisch, geschwindigkeitsabhängig |
| Vorauslösedauer | augenblicklich |
| Vorauslösewiederholung | einmalig |
| Ablauf | diskret |
| Trajektorie | Drücken |
| Modifizierer | N/A |
-
Beispiel VII: Gesteneingabe mit Drücken und Halten einer Hottaste
-
Wie in 9A dargestellt kann ein Nutzer eine Hottaste (z.B. eine Buchstabentaste) für eine vorbestimmte Schwellwertzeit (z.B. eine Sekunde) drücken und halten. Eine Ausführungsform kann diese Eingabe interpretieren als Initiieren einer Gesteneingabe/eines Reaktionsaktionspaares. Reaktiv auf ein Pressen und Halten einer Hottaste wird zum Beispiel das System durch Empfangsbereitschaft auf bestimmte Gesteneingaben reagieren. Wie in 9A dargestellt, kann der Nutzer zum Beispiel in mehrere Richtungen drücken, um Hottasten-Gestenaktionen mit Bezug auf diesen Buchstaben auszuwählen. Zum Beispiel kann durch Halten der „C“-Buchstabentaste und Drücken nach links dieses in ein „Kopieren“ (Ctrl+C) resultieren, Aufwärtsdrücken kann in einem Großbuchstagen „C“ (entsprechend der mechanischen Eingabe von Shift+C) resultieren und Drücken nach rechts kann in Alt+C resultieren oder Herunterdrücken kann in Fn+C resultieren. In dem Beispiel, das in 9B gezeigt wird, können nur bestimmte Gesten in einer Geste resultieren, basierend auf Hottastenfunktionen, während keine Funktion mit einer andern Hottasten/Gesteneingabe assoziiert sein kann (z.B. Drücken der „C“-Buchstabentaste und Streifen nach rechts).
-
Tabelle 8 enthält die Attribute/Bedeutungspaare, welche die Attribute oder Charakteristik der erfassten Gesteneingabe und die Bedeutung davon für das Beispiel der
9 (A-B) repräsentieren.
Tabelle 8: Gesteneingabe mit Drücken und Halten einer Hottaste
| Attribut | Bedeutung |
| Schicht | Drücken |
| Lokalität | steuerungsabhängig: Die Geste ist über einer spezifischen Buchstabentaste (z.B. „C“) |
| Form | ein gestreckter Finger |
| Geschwindigkeit | dynamisch, geschwindigkeitsunabhängig |
| Vorauslösedauer | Schwellwert erforderlich |
| Vorauslösewiederholung | einmalig |
| Ablauf | diskret |
| Trajektorie | Drücken |
| Modifizierer | Buchstabentaste (z.B. „C“) |
-
Beispiel VIII: Formänderung, um eine Funktion auszuführen
-
Wie in 10 dargestellt, können das Strecken der Finger und Spreizen voneinander (z.B. das Ausstrecken von fünf Fingern eines Nutzers in einer Position, dass die Finger voneinander weg sind) verwendet werden, um offene Anwendungen oder Anwendungen, die auf dem Aufgabenbalken in einem Bearbeitungssystem wie WINDOWS 8 Bearbeitungssystem festgelegt sind, zu zeigen. Somit erfasst das System eine vorbestimmte Geste, zum Beispiel wie der Nutzer seine oder ihre linke Hand öffnet, wie es in 10 dargestellt wird, und legt diese erfasste Gesteneingabe zu einer Geste in der Gestenbibliothek fest. Als Reaktion auf eine Gleichwertigkeit führt eine Ausführungsform eine vorbestimmte diskreite Funktion durch, wie ein Anzeigen der offenen Anwendungen, die auf einem Aufgabenbalken festgelegt sind.
-
Folglich kann ein Gestensystem, wie in den hierin beschriebenen unterschiedlichen beispielhaften Ausführungsformen aufgeführt, Gesteneingaben detektieren und diese Gesten genau als eine Geste einer Bibliothek der gespeicherten Gesteneingaben festlegen. Als Reaktion auf eine Gleichwertigkeit kann eine Ausführungsform eine diskrete oder kontinuierliche Reaktionsaktion durchführen, welche durch zusätzliche Eingabe(n) modifiziert werden kann(können). Demgemäß sehen die unterschiedlichen Ausführungsformen vor, ein Empfangen von Gesteneingaben über einer Oberfläche wie einem Keyboard eines Laptopcomputergerätes und damit ein Ausführen von angemessenen Aktionen.
-
Während die unterschiedlichen beispielhaften Ausführungsformen beschreiben in Verbindung mit Beispielen, die hierin bereitgestellt werden, worden sind, wurden diese als nicht begrenzende Beispiele bereitgestellt. Entsprechend können Ausführungsformen in ähnlichen Kontexten mit ähnlichen Geräten und Verfahren verwendet werden. Obgleich Geräte wie Laptopcomputergeräte in der Beschreibung als spezifische Beispiele verwendet wurden, können gleichermaßen Ausführungsformen in Verbindung mit anderen Arten von Geräten, zum Beispiel Desktopcomputern, Smart Telefonen und Anzeigen, Kioskgeräten und dergleichen, verwendet werden.
-
Es ist auch verständlich, dass unterschiedliche Ausführungsformen in einem oder mehreren Informationsverarbeitungsgeräten verwendet werden können, die geeignet konfiguriert sind, um Programminstruktionen auszuführen, welche konsistent mit der Funktionalität der Ausführungsformen, wie sie hierin beschrieben werden, sind. In dieser Beziehung zeigt 1 ein nicht begrenzendes Beispiel eines derartigen Gerätes und Komponenten davon.
-
Wie von dem Fachmann erkannt wird, können unterschiedliche Aspekte wie ein System, Verfahren oder Geräteprogrammprodukt eingesetzt werden. Demgemäß können Aspekte die Form einer vollständigen Hardware-Ausführungsform oder einer Ausführungsform, die Software einschließt, einnehmen, auf die alle im Allgemeinen als ein „Schaltkreis“, „Modul“ oder „System“ Bezug genommen werden kann. Weiterhin können Aspekte die Form eines Geräteprogrammprodukts, das eine oder mehrere gerätelesbare Medien einschließt, die einen gerätelesbaren Programmcode einschließen, einnehmen.
-
Jede Kombination von einem oder mehreren nicht-signal gerätelesbare Medien kann verwendet werden. Das nicht-signal Medium kann eine Speichermedium sein. Ein Speichermedium kann zum Beispiel ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, Vorrichtung oder Gerät sein oder irgendeine geeignete Kombination des Vorhergehenden. Spezifischere Beispiele eines Speichermediums würden die Folgenden einschließen: eine tragbare Computerdiskette, eine Harddisk, ein Direktzugriffsspeicher (RAM, random access memory), ein Nur-Lese-Speicher (ROM, read-only memory), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM, erasable programmable read-only memory, oder Flash-Speicher), eine optische Faser, ein tragbarer Kompaktdisk-Nur-Lese-Speicher (CD-ROM, compakt disc read-only memory), ein optisches Speichergerät, ein magnetisches Speichergerät oder irgendeine geeignete Kombination des Vorhergehenden.
-
Ein Programmcode, der in ein Speichermedium eingebaut ist, kann unter Verwendung irgendeines geeigneten Mediums übertragen werden, einschließlich aber nicht begrenzt auf drahtlos, drahtgebunden, optische Faserkabel, Hochfrequenz (RF), usw. oder irgendeine geeignete Kombination des Vorhergehenden.
-
Programmcodes können zum Durchführen von Operationen in irgendeiner Kombination von einer oder mehreren Programmsprachen geschrieben sein. Der Programmcode kann vollständig auf einem einzelnen Gerät, teilweise auf einem einzigen Gerät, als ein alleinstehendes Softwarepaket, teilweise auf einem einzelnen Gerät oder teilweise auf einem anderen Gerät oder vollständig auf dem anderen Gerät, ausgeführt werden. In einigen Fällen können die Geräte über irgendeine Art von Verbindung oder Netzwerk, einschließlich einem lokalen Bereichsnetzwerk (LAN, lokal area network) oder einem weiten Bereichsnetzwerk (WAN, wide area network) verbunden sein oder die Verbindung kann durch andere Geräte (zum Beispiel durch das Internet unter Verwendung eines Internet-Service-Providers) oder durch eine Hardwareverbindung, wie über eine USB-Verbindung hergestellt sein.
-
Hierin sind Aspekte mit Bezug auf die Figuren beschrieben, welche beispielhafte Verfahren, Geräte und Programmprodukte gemäß unterschiedlicher beispielhafter Ausführungsformen darstellen. Es ist verständlich, dass die Aktionen und Funktionalitäten, die dargestellt sind, mindestens teilweise durch Programminstruktionen verwendet werden können. Diese Programminstruktionen können bereitgestellt werden: von einem Prozessor eines für allgemeine Zwecke Informationsverarbeitungsgerätes, eines für spezielle Zwecke Informationsverarbeitungsgerätes oder eines anderen programmierbaren Datenverarbeitungsgerätes oder eines Informationsverarbeitungsgerätes, um eine Maschine derart herzustellen, dass die Instruktionen, welche durch einen Prozessor des verwendeten Gerätes ausgeführt werden, die spezifizierten Funktionen/Aktionen durchführen.
-
Die Programminstruktionen können auch in einem gerätelesbaren Medium gespeichert werden, das ein Gerät veranlassen kann, in einer bestimmten Weise zu funktionieren, so dass die Instruktionen, die in dem gerätelesbaren Medium gespeichert sind, einen Gegenstand eines Herstellers produzieren, der Instruktionen umfasst, welche die spezifizierten Funktionen/Aktionen durchführen kann.
-
Die Programminstruktionen können auch auf einem Gerät geladen sein, um zu veranlassen, dass eine Serie von Betriebsschritten auf dem Gerät durchgeführt wird, um einen geräteimplementierten Prozess derart herzustellen, dass die Instruktionen, die auf dem Gerät durchgeführt werden, Prozesse zum Durchführen der spezifizierten Funktionen/Aktionen bereitstellen.
-
Diese Offenbarung wurde für Zwecke der Darstellung und Beschreibung präsentiert, aber es ist nicht beabsichtigt, dass diese erschöpfend oder begrenzend ist. Viele Modifikationen und Variationen sind für den Fachmann der Technik naheliegend. Die beispielhaften Ausführungsformen wurden gewählt und beschrieben, um die Prinzipien und praktische Ausführungsform zu erläutern, um andere Fachleute dieser Technik in die Lage zu versetzen, die Offenbarung der unterschiedlichen Ausführungsformen mit unterschiedlichen Modifikationen zu verstehen, die für den besonderen betrachteten Bereich geeignet sind.
-
Obwohl somit die dargestellten beispielhaften Ausführungsformen mit Bezug auf die begleitenden Figuren hierin beschrieben worden sind, ist es verständlich, dass diese Beschreibung nicht begrenzend ist und dass unterschiedliche andere Änderungen und Modifikationen durch einen Fachmann ausgeführt werden können, ohne von dem Umfang und dem Geist der Offenbarung abzuweichen.
