DE112014000441T5

DE112014000441T5 - Dynamische Benutzerinteraktionen für Displaysteuerung und Angepaßte Gesten Interpretation

Info

Publication number: DE112014000441T5
Application number: DE112014000441.3T
Authority: DE
Inventors: David Holz
Original assignee: Leap Motion Inc
Current assignee: Ultrahaptics Ip Two Ltd Gb
Priority date: 2013-01-15
Filing date: 2014-01-15
Publication date: 2015-10-15
Also published as: WO2014113507A1; CN105308536A; CN113568506A

Abstract

Die offenbarte Technik bezieht sich auf die Unterscheidung von nahe sinn Gesten nicht sinn Gesten in einer dreidimensionalen (3D) Sensorraum. Sie betrifft auch gleichmäßig reagiert auf Eingaben von Gesten eines Benutzers unabhängig von einer Position des Benutzers. Sie betrifft ferner erfassen, ob ein Benutzer bestimmt ist, mit einem virtuellen Objekt basierend auf Messung eines Fertigstellungsgrad von Gesten und Erstellen Oberflächenelemente im 3D-Raum zu interagieren. Die offenbarte Technik bezieht sich auf die Unterscheidung von nahe sinn Gesten nicht sinn Gesten in einer dreidimensionalen (3D) Sensorraum. Sie betrifft auch gleichmäßig reagiert auf Eingaben von Gesten eines Benutzers unabhängig von einer Position des Benutzers. Sie betrifft ferner erfassen, ob ein Benutzer bestimmt ist, mit einem virtuellen Objekt basierend auf Messung eines Fertigstellungsgrad von Gesten und Erstellen Oberflächenelemente im 3D-Raum zu interagieren.

Description

GEBIET DER TECHNIK VERÖFFENTLICHT
Die offenbarte Technologie bezieht sich im Allgemeinen, um die Kontrolle und Gestenerkennung anzuzeigen, insbesondere die Kontrolle angezeigt werden, basierend auf dynamischen Benutzerinteraktionen und die Verwendung von Freiraum-Gesten, wie Benutzereingaben an Maschinen.
HINTERGRUND
Traditionell Benutzer haben mit elektronischen Geräten (wie beispielsweise einen Computer oder einen Fernseher) oder Computing-Anwendungen (wie Computerspiele, Multimedia-Anwendungen oder Office-Anwendungen) über indirekte Eingabegeräte, darunter beispielsweise Tastaturen, Joysticks interagiert, oder Fernbedienungen. Der Benutzer manipuliert die Eingabeeinrichtungen, um eine bestimmte Operation durchzuführen, wie zum Beispiel die Auswahl eines bestimmten Eintrags aus der Liste der Operationen. Moderne Eingabevorrichtungen umfassen jedoch mehrere Tasten, die häufig in einer komplexen Konfiguration zu erleichtern Kommunikation von Benutzerbefehlen an die elektronischen Vorrichtungen oder Computeranwendungen; korrekte Funktion dieser Eingabevorrichtungen wird oft eine Herausforderung für den Benutzer. Zusätzlich Aktionen auf eine Eingabevorrichtung durchgeführt wird in der Regel nicht in jeder intuitiven Sinn entsprechen den daraus resultierenden Veränderungen auf, beispielsweise eine Bildschirmanzeige von der Vorrichtung gesteuert. Eingabegeräte können auch verloren, und die häufige Erfahrung der Suche nach verlegten Geräten hat sich zu einem frustrierenden Klammer des modernen Lebens.
Direkt auf benutzergesteuerte Vorrichtungen implementiert Touchscreens die Notwendigkeit für separate Eingabevorrichtungen vermieden. Ein Touchscreen erkennt das Vorhandensein und die Position einer "touch" mit dem Finger eines Benutzers oder ein anderes Objekt auf dem Bildschirm durchgeführt, so dass der Benutzer einen gewünschten Eingang, indem Sie einfach die richtige Fläche von einem Bildschirm zu berühren eingeben. Während für kleine Anzeigegeräte wie Tablets und Mobiltelefonen, sind Touch-Screens unpraktisch für große Entertainment-Geräte, die der Nutzer aus der Ferne. Besonders für Spiele auf solchen Geräten implementiert haben Elektronikhersteller Systeme, die Bewegungen oder Gesten eines Benutzers zu erkennen und die Anzeige auf in einem engen Zusammenhang zu reagieren entwickelt. Zum Beispiel kann ein Benutzer in der Nähe eines Fernseh einen Schiebehandbewegung, die durch die Gesten-Erkennungssystem erkannt wird zuführen, in Reaktion auf den erfassten Geste kann das Fernsehgerät zu aktivieren und ein Steuerfeld auf dem Bildschirm, so dass der Benutzer, um Auswahl darauf mit anschließender Gesten, beispielsweise kann der Benutzer ihre Hand in einer "up" oder "down" Richtung, die wiederum festgestellt und interpretiert, um die Kanalauswahl zu erleichtern, zu bewegen.
Während diese Systeme haben den Verbrauchern erhebliche Aufregung erzeugt und letztendlich verdrängen herkömmliche Steuer Modalitäten, die physischen Kontakt zwischen dem Benutzer und einem Steuerelement erfordern, aktuelle Geräte leiden unter niedrigen Nachweisempfindlichkeit. Der Nutzer ist verpflichtet, breit, oft übertrieben und manchmal ungeschickte Bewegungen, um eine Antwort von der Gestenerkennungssystem hervorrufen durchzuführen. Kleine Gesten sind entweder nicht nachweisbar oder wie Lärm behandelt wegen der geringen Auflösung. Zum Beispiel, um einen Cursor auf dem TV in einem Abstand von einem Zentimeter zu bewegen, kann die Hand des Benutzers eine sehr viel größere Distanz zu durchlaufen. Diese Nichtübereinstimmung legt nicht nur eine umständliche betriebliche Belastung für den Benutzer – insbesondere, wenn es Bewegung Einschränkungen – aber wiederum verschlechtert die intuitive Beziehung zwischen Geste und Reaktion. Darüber hinaus ist die Reaktion des Systems oft einheitlich, dh die physikalische Spanne einer Geste entspricht immer dem gleichen Bildschirm-Steuerschritt, unabhängig von der Benutzerpräferenz.
Es stellt sich die Gelegenheit, eine neue Geste-Erkennungssystem, das kleine Gesten erkennt in Echtzeit und ermöglicht es Benutzern, die die Beziehung zwischen Körperbewegungen und die entsprechenden Aktionen auf dem Bildschirm einstellen einzuführen.
Um eine gewünschte virtuelle Objekt auf dem Bildschirm des elektronischen Gerät angezeigt wählen, kann der Benutzer benötigt, um ihre Hand über eine große Distanz zu kehren werden. Überstreichen zu kurzer Abstand kann entweder nachweisbar oder als Rauschen behandelt, aufgrund geringer Empfindlichkeit, wodurch die gewünschte virtuelle Objekt, das nicht ausgewählte zu bleiben. Als Ergebnis kann der Benutzer sich selbst zu finden, die die gleiche Handbewegung wiederholt, mit verschiedenen Graden der Bewegung, bis die gewünschte Auswahl wird bestätigt. Die wiederholte Durchführung eines Geste ist nicht nur ärgerlich, sondern macht es für den Benutzer schwierig, genau zu bestimmen, wenn das virtuelle Objekt erfolgreich ausgewählt. Dementsprechend besteht ein Bedarf für eine Gestenerkennungssystem, das Vollendung Geste des Benutzers anzeigt.
Weiterhin ist eine Aktion des Benutzers als eine einzige Geste gedacht sind, können dennoch einzubeziehen miteinander Bewegungen, die jeweils als eigene Geste interpretiert werden kann. Als Ergebnis kann eine herkömmliche Gestenerkennungssystem nicht richtig interpretieren Absicht des Benutzers, und damit fehlerhafte Signale transportieren (oder überhaupt kein Signal) an eine elektronische Vorrichtung gesteuert wird. Nehmen wir zum Beispiel, dass der Benutzer Wellen ihren Arm, während unbewusst biegt die Finger; die Geste-Erkennungssystem kann nicht in der Lage, um die beabsichtigte Gesten erkennen aufgrund der zusammenhängenden Bewegung oder die Leistung von zwei Gesten signalisiert (die in Konflikt stehen könnten, zu überwältigen das gesteuerte Gerät, oder eine der Gesten kann fehlschlagen, um zulässige Eingangs entsprechen).
Bestehende Systeme beruhen jedoch auf Eingabeelemente (zB Computermäuse und Tastaturen), jede Geste der Anerkennung, die sie ausführen kann ergänzen. Diese Systeme verfügen nicht über die für etwas mehr als einfache Befehle erforderlich Benutzerschnittstellenelemente, und oft, erkennen diese Befehle nur, nachdem der Benutzer eine Gestenerkennungsumgebung über eine Tastatur und -Maus-Set. Daher stellt sich eine weitere Gelegenheit, eine neue Geste-Erkennungssystem, mit dem Benutzer mit einer größeren Vielfalt von Anwendungen und Spiele in einer anspruchsvolleren Art und Weise interagieren einzuführen.
ZUSAMMENFASSUNG
Implementierungen der offenbarten Technologie beziehen sich auf Verfahren und Systeme, die eine hohe Nachweisempfindlichkeit für die Gesten des Benutzers, um den Benutzer genau und schnell zu ermöglichen (dh ohne unnötige Verzögerung) gesteuert eine elektronische Vorrichtung mit kleinen Gesten und in einigen Implementierungen, um die Beziehung zwischen dem physischen Spanne einer Geste und dem resultierenden angezeigten Reaktion zu steuern. Bei verschiedenen Implementierungen können die Formen und Positionen der einen oder mehrere Körperteile des Benutzers, der die Gesten (im Folgenden zusammenfassend als "gesturers", zB Finger, Hände, Arme usw. bezeichnet) zuerst erkannt und erfasst zwei- identifiziert (2D) Bild; eine zeitliche Auflistung der gesturers in einem Satz von zeitlich abgestimmten Bilder wird dann zusammengebaut, um die ausgeführten Bewegungen im dreidimensionalen (3D-)Raum zu rekonstruieren. Absicht des Benutzers kann identifiziert werden durch, beispielsweise durch Vergleichen der detektierten Geste, mit einem Satz von in einer Datenbank gespeicherten Gestendaten. Jede Geste Datensatz auf einen erkannten Geste (codiert, zum Beispiel als ein Vektor) zu einer Aktion, Befehl oder eine andere Eingabe, die durch das gegenwärtig laufende Anwendung verarbeitet wird – beispielsweise, um eine entsprechende Anweisung oder Anweisungssequenz, die daraufhin ausgeführt wird, aufzurufen oder den Wert eines Parameters oder einer anderen Eingabedaten bereitzustellen. Weil die Gestenerkennungssystem in der Technik offenbarten eine hohe Nachweisempfindlichkeit, kleine Bewegungen (zB eine Bewegung von einigen Millimetern), kann der Körperteil (zum Beispiel ein Finger) genau erfaßt und erkannt werden kann, wodurch es dem Benutzer ermöglicht, genau Interaktion mit der elektronischen Vorrichtung und / oder dem darauf angezeigten Anwendungen.
Einige Implementierungen der Technologie offen discern, in Echtzeit, eine beherrschende Geste von unabhängigen Bewegungen, die jeweils als eine Geste qualifizieren können, und kann ein Signal, das die dominante Geste ausgegeben. Verfahren und Systeme in Übereinstimmung mit der Technologie in wünschenswerter Weise offengelegt haben hohe Nachweisempfindlichkeit für Bewegungen, die als Benutzer Gesten qualifizieren können, und diese Fähigkeit, wenn sie mit schnellen Unterscheidung einer beherrschenden Geste, ermöglichen es dem Benutzer, genau und schnell (dh ohne unnötige Verzögerungszeit) zu steuern ein elektronisches Gerät.
Bei verschiedenen Implementierungen identifiziert der Gestenerkennungssystem dominant Geste eines Nutzers, wenn mehr als eine Geste (zum Beispiel ein Arm winken Gesten und Fingerbiegung) festgestellt wird. Zum Beispiel kann die Geste-Erkennungssystem rechnerisch stellen den winkenden Geste als eines winkenden Flugbahn und die Finger beugen Gesten als fünf separate (und kleiner) Trajektorien. Jede Bahn kann in einen Vektor entlang in Euler-Raum umgewandelt werden, zum Beispiel sechs Euler Freiheitsgraden. Der Vektor mit dem größten Betrag stellt die dominante Komponente der Bewegung (zB winken in diesem Fall) und der Rest der Vektoren können ignoriert oder anders als die dominante Geste verarbeitet werden. In einigen Implementierungen ein Vektor-Filter, der mit durchgeführt werden können Filtertechniken wird auf die mehreren Vektoren angewendet, um herauszufiltern kleinere Vektoren und Identifizierung des dominanten Vektor. Dieser Prozess kann sich wiederholen, bis eine Iteration vector – der dominierende Bestandteil der Bewegung – ist identifiziert. Die identifizierte dominante Komponente kann dann verwendet werden, um das elektronische Gerät oder die Anwendungen davon zu manipulieren.
In einigen Implementierungen kann die Geste-Erkennungssystem aktiviert oder stellt eine Anzeige auf dem Bildschirm, die in Echtzeit das Maß der Geste der Fertigstellung. Zum Beispiel kann das Gestenerkennungssystem die Geste durch Abgleich mit einem Datenbankdatensatz, die mehrere Bilder umfasst, von denen jeder mit einem Grad (zB um 100%, von 1%) der Beendigung der Geste ausgeführt zugeordnet erkennen. Der Fertigstellungsgrad der durchgeführten Geste wird dann auf dem Bildschirm wiedergegeben. Zum Beispiel, wenn der Benutzer den Finger näher an eine elektronische Vorrichtung, ein Klick oder rührende Geste auszuführen bewegt, wobei die Vorrichtung Anzeige kann einen hohlen kreisförmigen Symbol, das eine Wiedergabe-Anwendung allmählich füllt mit einer Farbe ergibt, wie nahe Bewegung des Benutzers auf die Vollendung zeigen die Geste. Wenn der Benutzer vollständig führt die Maustaste oder berühren Geste wird der Kreis vollständig ausgefüllt; Dies kann dazu führen, beispielsweise die Kennzeichnung des gewünschten virtuellen Objekt als ein Objekt ausgewählt. Die Anpassungsgrad-Abschlussindikator ermöglicht somit dem Benutzer, den genauen Zeitpunkt zu erkennen, wenn das virtuelle Objekt ausgewählt.
Bei anderen Implementierungen ein virtuelles Puck auf dem Bildschirm verwendet werden, um einen Wert einer Variablen oder anderer Parameter, der von einem Benutzer ermöglicht, den Puck, indem auf die Seite zu gleiten auszuwählen. Der Benutzer kann andere Benutzerschnittstellenelemente durch weitere Gesten erstellen und, sobald die Elemente erstellt werden, verwenden Sie sie als Ein- oder Kontrollen zu Software-Anwendungen.
In einer Ausführung stellt das Gestenerkennungssystem-Funktionalität für den Benutzer, um die Beziehung zwischen den tatsächlichen Bewegung und der daraus resultierenden Reaktion, beispielsweise auf dem Bildschirm des elektronischen Geräts angezeigten Objektbewegung statisch oder dynamisch anzupassen. Im statischen Betrieb, manuelles Einstellen der Benutzer diese Empfindlichkeit durch Manipulation eines angezeigten Schiebeschalter oder andere Symbol unter Verwendung von zum Beispiel dem hier beschriebenen Gestenerkennungssystem. Im dynamischen Betrieb, reagiert das System automatisch auf den Abstand zwischen dem Nutzer und der Vorrichtung ist die Art der Tätigkeit angezeigt wird, die verfügbaren physikalischen Raum und / oder der nutzereigenen Antwortmuster (zB Skalieren der Reaktion bezogen auf das Volumen der Raum, in dem die Gesten des Benutzers angezeigt beschränkt sein). Beispielsweise, wenn wenig Platz zur Verfügung steht, kann der Benutzer die Beziehung zu einem Verhältnis einzustellen kleiner als eins (zB 1,10) ist, so dass jede Einheit (beispielsweise einem Millimeter) ihres tatsächlichen Bewegung resultiert in zehn Einheiten (zB 10 Pixel oder 10 Millimeter) der Objektbewegung auf dem Bildschirm angezeigt. Ebenso, wenn der Benutzer relativ nahe zu der elektronischen Vorrichtung ist, kann sie anzupassen (oder das Gerät, Tastweite des Benutzers, autonom zu justieren), die die Beziehung zu einem Verhältnis größer als eins (zB 10:1), zu kompensieren. Dementsprechend Einstellen des Verhältnisses der tatsächlichen Bewegung des Benutzers an die daraus resultierenden Maßnahmen (zB Objektbewegung) auf dem Bildschirm angezeigt bietet zusätzliche Flexibilität für den Anwender remote Befehl der elektrischen Vorrichtung und / oder Kontrolle angezeigt die virtuelle Umgebung darauf.
Die ebenfalls offenbarte Technologie bezieht sich auf Filter Gesten, gemäß einer Implementierung. Insbesondere bezieht sie sich auf die Unterscheidung zwischen interessante Gesten aus nicht interessant Gesten in einer dreidimensionalen (3D) Raum, der durch sensorische Vergleichen von Charakteristiken von benutzerdefinierten Bezugs Gesten gegen Charakteristika im 3D Sensorraum tatsächlich durchgeführten Bewegungen. Basierend auf dem Vergleich wird ein Satz von Gesten von Interesse aus allen Gesten im 3D-Raum durchgeführt sensorischen gefiltert.
Die weitere offenbarte Technologie bezieht sich auf die Anpassung Geste Auslegung für einen bestimmten Benutzer, gemß einer anderen Ausführung. Insbesondere bezieht sie sich auf Einstellparameter zum Erkennen von Gesten Auffordern des Benutzers, um Werte für Eigenschaften der Gesten auszuwählen. In einer Implementierung der offenbarten Technik das Durchführen charakteristischen fokussierten Demonstrationen der Grenzen der Geste. Es beinhaltet ferner die Prüfung der Interpretation von Gesten durch den Benutzer auffordert, komplette Geste Demonstrationen durchführen und empfangen Auswertung von dem Benutzer über die Auslegung.
Weitere Aspekte und Vorteile der vorliegenden Technologie kann zur Überprüfung der Zeichnungen, der detaillierten Beschreibung und den Ansprüchen, die folgen, ersichtlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
In den Zeichnungen bezeichnen gleiche Bezugszeichen im Allgemeinen auf die gleichen Teile überall in den unterschiedlichen Ansichten. Auch sind die Zeichnungen nicht notwendigerweise maßstabsgerecht, wobei der Schwerpunkt stattdessen allgemein auf die Veranschaulichung der Prinzipien der offenbarten Technologie getätigt. In der folgenden Beschreibung werden verschiedene Implementierungen der offenbarten Technologie unter Bezugnahme auf die folgenden Zeichnungen beschrieben, in denen:
1A zeigt ein System zur Erfassung von Bilddaten gemäß einer Ausführung der offenbarten Technologie.
1B ist ein vereinfachtes Blockdiagramm eines Gestenerkennungssystem Umsetzung einer Bildanalysevorrichtung nach einer Ausführung der offenbarten Technologie.
2A stellt eine elektronische Vorrichtung durch Gesten eines Benutzers in Übereinstimmung mit einer Ausführung der offenbarten Technologie gesteuert.
2B zeigt mehrere Gesten durch den Gestenerkennungssystems in Übereinstimmung mit einer Ausführung der offenbarten Technologie nachgewiesen.
Die 3A und 3B stellen einen Indikator auf dem Bildschirm, was einem Grad der Vollendung der Geste des Benutzers in Übereinstimmung mit einer Ausführung der offenbarten Technologie.
3C ist ein Flussdiagramm ein Verfahren zur Vorhersage, wenn das virtuelle Objekt wird von einem Benutzer ausgewählt und anschließend rechtzeitig Manipulieren des ausgewählten Objekts in Übereinstimmung mit einer Implementierung der offenbarten Technologie.
Die 4A und 4B zeigen eine dynamische Anpassung der Beziehung zwischen den tatsächlichen Bewegungen des Benutzers und die resultierende Wirkung auf den Bildschirm in Übereinstimmung mit einer Ausführung der offenbarten Technologie angezeigt.
4C ist ein Flussdiagramm eines Verfahrens zum dynamischen Anpassen der Beziehung zwischen der tatsächlichen Bewegung eines Benutzers und die erhaltene Objektbewegung auf dem Bildschirm des elektronischen Geräts in Übereinstimmung mit einer Ausführung der offenbarten Technologie angezeigt.
Die 5A und 5B zeigen einen Puck Anwenderschnittstellenelementes gemß Implementierungen der offenbarten Technologie.
6 ist ein Flußdiagramm, das ein Verfahren zum Filtern von Gesten gemß Implementierungen der offenbarten Technologie.
7 ist ein Flussdiagramm, das ein Verfahren zum Anpassen Geste Auslegung für einen bestimmten Benutzer.
Die 8A, 8B und 8C veranschaulichen eine beispielhafte Ausbildung Führungs Fluss für Benutzerdefinitionen von Gesten in Übereinstimmung mit einer Implementierung.
DETAILLIERTE BESCHREIBUNG
Implementierungen der offenbarten Technologie beziehen sich auf Verfahren und Systeme, die eine Bewegungserfassungssystem mit reduziertem Stromverbrauch mit Audiosignalen. Zum Beispiel kann eine Sequenz von Bildern in Beziehung gesetzt werden, um eine 3-D-Modell des Objekts, einschließlich der Position und der Form zu konstruieren. Eine Reihe von Bildern mit der gleichen Technik, um die Bewegung des Objektmodells wie Freiform Gesten untersucht werden. In Situationen mit wenig Licht, in dem Freiform-Gesten können optisch nicht mit hinreichender Sicherheit erkannt werden kann, können Audiosignale die Richtung und Lage des Objekts, wie hier weiter beschrieben zu liefern.
Wie hier verwendet, ein bestimmtes Signal, Ereignis oder Wert ist "abhängig" ein Vorgänger-Signal, Ereignis oder Wert, wenn die Vorgänger-Signal, Ereignis oder Wert beeinflusst die gegebene Signal, Ereignis oder Wert. Wenn es eine dazwischen Verarbeitungs Element, Schritt, eine Aktion oder einen Zeitraum, der gegebene Signal, ein Ereignis oder Wert kann immer noch "abhängig von" der Vorläufer Signal, ein Ereignis oder Wert. Wenn die dazwischen Verarbeitungs Element oder Schritt kombiniert mehr als ein Signal, Ereignis oder Wert, den Signalausgang der Verarbeitungselement oder Schritt "abhängig" zu jedem der Signal, Ereignis oder Werteingänge berücksichtigt. Wenn die gegebene Signal, ein Ereignis oder Wert der gleiche ist wie der Vorgänger-Signal, ein Ereignis oder Wert ist, ist dies lediglich ein degenerierter Fall, in dem die gegebene Signal, ein Ereignis oder Wert ist immer noch als "abhängig von" der Vorläufer Signal, ein Ereignis oder sein Wert.
"Reaktionsfähigkeit" eines gegebenen Signals, Ereignis oder Wert auf ein anderes Signal, Ereignis oder Wert ist ähnlich definiert.
Unter Bezugnahme zunächst auf 1A, die eine beispielhafte Gestenerkennungssystem 100A mit einem Paar von Kameras 102, 104 auf ein Bildanalysesystem 106 gekoppelt Kameras 102 veranschaulicht, 104 kann jede Art von Kamera sein, einschließlich Kameras über das sichtbare Spektrum oder typischer empfindlichen, mit erhöhter Empfindlichkeit gegenüber einem engen Wellenlängenband (beispielsweise das Infrarot (IR) oder Ultraviolettbänder); ganz allgemein der Begriff "Kamera" bezeichnet hier jede Vorrichtung (oder eine Kombination von Vorrichtungen), die zum Erfassen eines Bildes eines Objekts und repräsentiert das Bild in Form von digitalen Daten. Während einem Beispiel zwei Kamera Implementierung dargestellt ist, sind andere Implementierungen leicht erreicht unter Verwendung einer unterschiedlichen Anzahl von Kameras oder nicht-lichtempfindlichen Kamera-Bildsensoren oder Kombinationen davon. Beispielsweise können Zeilensensoren oder Zeilenkameras anstatt herkömmliche Vorrichtungen, die eine zweidimensionale (2D) Bild zu erfassen, verwendet werden. Der Begriff "Licht" wird allgemein verwendet, um jede elektromagnetische Strahlung, die möglicherweise nicht innerhalb des sichtbaren Spektrums sein kann implizieren, und können Breitband- (zB weißes Licht) oder Schmalband (zB eine einzelne Wellenlänge oder schmalen Band von Wellenlängen) werden.
Kameras 102, 104 sind vorzugsweise in der Lage, die Erfassung der Videobilder (dh aufeinanderfolgenden Einzelbilder mit einer konstanten Rate von mindestens 15 Bilder pro Sekunde), obwohl keine besondere Bildrate erforderlich. Die Fähigkeiten der Kameras 102, 104 sind nicht kritisch für die Technik offenbart, und die Kameras können variieren, um zu bewerten, die Bildauflösung (zB Pixel pro Bild), Farb- oder Intensitätsauflösung (Rahmen zB die Anzahl der Bits von Intensitätsdaten pro Pixel), die Brennweite der Linsen, Schärfentiefe, usw. Im Allgemeinen wird für eine bestimmte Anwendung, irgendwelche Kameras, die sich auf Objekte in einem Raumvolumen von Interesse verwendet werden. Um beispielsweise die Bewegung der Hand eines ansonsten stationäre Person zu erfassen, kann das interessierende Volumen als ein Würfel etwa einem Meter auf einer Seite definiert werden.
In einigen Implementierungen 100A umfasst das dargestellte System ein Paar von Quellen 108, 110, die an beiden Seiten der Kamera 102, 104 angeordnet sein kann, und durch Bildanalysesystem 106 gesteuert In einer Implementierung wird die Quellen 108, 110 sind Lichtquellen. Beispielsweise können die Lichtquellen Infrarot-Lichtquellen, beispielsweise Infrarotlicht emittierenden Dioden (LEDs) und Kameras 102, 104 kann Infrarotlicht empfindlich zu sein. Verwendung von Infrarot-Licht kann es dem Gestenerkennungssystem 100A unter einem breiten Bereich von Lichtbedingungen zu betreiben und kann verschiedene Unannehmlichkeiten oder Ablenkungen, die mit Leitung sichtbares Licht in den Bereich, wo die Person sich bewegt verbunden sein können, zu vermeiden. Jedoch wird eine spezielle Wellenlänge oder einer Region des elektromagnetischen Spektrums erforderlich ist. In einer Implementierung Filter 120, 122 sind vor der Kamera 102 angeordnet ist, 104 heraus zu filtern sichtbarem Licht, so daß nur Infrarotlicht in den von den Kameras 102, 104. In einer anderen Implementierung aufgenommenen Bilder registriert, die Quellen 108, 110 sind Schall Quellen. Die Schallquellen senden Schallwellen an den Benutzer; der Benutzer entweder Blöcke (oder "sonic Shadowing"), oder ändert die Schallwellen (oder "sonic Ablenkungen"), die auf sie auftreffen. Solche Schallschatten und / oder Auslenkungen können auch verwendet werden, um Bewegungen des Benutzers zu detektieren. In einigen Implementierungen können die Schallwellen, beispielsweise Ultraschall, das nicht für den Menschen hörbaren.
Es ist zu betonen, dass die Anordnung gezeigt werden. 1A ist und nicht einschränkend. Beispielsweise können Laser oder andere Lichtquellen anstelle von LEDs verwendet werden. In Implementierungen, Laser (s), zusätzliche Optik (beispielsweise eine Linse oder ein Diffusor) umfassen kann verwendet werden, um den Laserstrahl zu erweitern (und machen sein Sichtfeld ähnlich dem von den Kameras). Nützliche Vereinbarungen können auch Kurz- und Weitwinkelilluminatoren für verschiedene Bereiche. Lichtquellen sind in der Regel diffus und nicht spiegelnden Punktquellen; sind beispielsweise verpackte LEDs mit Lichtstreuung Einkapselung geeignet.
Im Betrieb werden Lichtquellen 108, 110 angeordnet sind, um einen interessierenden Bereich 112, der einen Teil eines menschlichen Körpers 114 enthält (in diesem Beispiel eine Hand), die wahlweise hält ein Werkzeug oder ein anderes Objekt von Interesse zu beleuchten, Kameras 102, 104 in Richtung des Bereichs 112 ausgerichtet, um Videobilder des Hand 114 erfassen In einigen Implementierungen kann die Operation von Lichtquellen 108, 110 und Kameras 102, 104 wird durch das Bildanalysesystem 106 gesteuert, bei der es sich beispielsweise ein Computersystem. Basierend auf den aufgenommenen Bildern, Bildanalysesystem 106 bestimmt die Position und / oder Bewegung des Objekts 114.
1B ist ein vereinfachtes Blockdiagramm eines Computersystems 100B Umsetzung Bildanalysesystem 106 (auch als ein Bildanalysegerät bezeichnet) gemß einer Ausführung des offenbarten Technologie. Bild-Analysesystem 106 umfassen oder bestehen aus einem beliebigen Gerät oder Gerätekomponente, die in der Lage ist die Erfassung und Verarbeitung von Bilddaten ist. In einigen Implementierungen umfasst Computersystem 100B einen Prozessor 132, einen Speicher 134, eine Kamera-Schnittstelle 136, eine Anzeige 138, Lautsprecher 139, eine Tastatur 140 und eine Maus 141. Speicher 134 kann zum Speichern von Anweisungen verwendet werden, um durch den Prozessor ausgeführt werden, 132 sowie Ein- und / oder Ausgangsdaten mit der Ausführung der Befehle zugeordnet ist. Insbesondere Speicher 134 enthält Anweisungen, konzeptionell als eine Gruppe von im folgenden näher beschriebenen Module dargestellt, die den Betrieb des Prozessors 132 und seine Wechselwirkung mit anderen Hardware-Komponenten zu steuern. Ein Betriebssystem leitet die Durchführung von Low-Level, grundlegende Systemfunktionen wie Speicherzuweisung, Datei-Management und den Betrieb von Massenspeichern. Das Betriebssystem kann sein, oder er gibt eine Vielzahl von Betriebssystemen wie Microsoft Windows-Betriebssystem, das Unix-Betriebssystem, das Linux-Betriebssystem, das Xenix-Betriebssystem, das IBM AIX-Betriebssystem, das Hewlett Packard UX-Betriebssystem, die Novell Net Ware-Betriebssystem, die Sun Microsystems Solaris-Betriebssystem, das OS / 2-Betriebssystem, das BeOS-Betriebssystem, das Macintosh-Betriebssystem, der Apache-Betriebssystem, ein open Betriebs System, iOS, Android oder anderen mobilen Betriebssystemen oder ein anderes Betriebssystem der Plattform.
Die Datenverarbeitungsumgebung kann auch andere entfernbare / nicht-entfernbare, flüchtige / nichtflüchtige Computerspeichermedien. So kann beispielsweise eine Festplatte lesen oder zu schreiben, um nicht entfernbaren, nicht-flüchtigen magnetischen Medien. Ein Magnetplattenlaufwerk kann gelesen oder schreibt auf eine entfernbare, nicht flüchtige Magnetplatte, und ein optisches Plattenlaufwerk kann von einer entfernbaren, nichtflüchtigen optischen Platte wie einer CD-ROM oder anderen optischen Medien zu lesen oder zu schreiben. Andere entfernbare / nicht-entfernbare, flüchtige / nicht-flüchtige Computerspeichermedien, die in der exemplarischen Arbeitsumgebung verwendet werden können, umfassen, sind aber nicht beschränkt auf, Magnetbandkassetten, Flash-Speicherkarten, Digital Versatile Disks, digitales Videoband, Solid State RAM beschränkt, Festkörper-ROM und dergleichen. Die Speichermedien sind typischerweise mit dem Systembus über eine entfernbare oder nicht-entfernbare Speicherschnittstelle verbunden.
Der Prozessor 132 kann ein Allzweck-Mikroprozessor sein, aber abhängig von der Implementation kann alternativ ein Mikrokontroller, peripheren integrierten Schaltkreiselement, einem CSIC (kundenspezifische integrierte Schaltung), eine ASIC (anwendungsspezifische integrierte Schaltung), eine logische Schaltung, einem digitalen Signalprozessor, eine programmierbare Logikvorrichtung, wie beispielsweise einem FPGA (Field Programmable Gate Array), eine PLD (programmierbare Logikvorrichtung), eine PLA (programmierbare Logikanordnung), ein RFID-Prozessor, Smart-Chip, oder jede andere Vorrichtung oder Anordnung von Vorrichtungen, die für die Umsetzung der Aktionen der Prozesse der offenbarten Technologie ist.
Die Kamera-Schnittstelle 136 kann beinhalten Hardware und / oder Software, die die Kommunikation zwischen dem Computersystem 100B und Kameras, wie beispielsweise in Fig Kameras 102, 104 ermöglicht. 1A, sowie die damit verbundenen Lichtquellen, wie beispielsweise Lichtquellen 108, 110 von 1A. So kann zum Beispiel die Kamera-Schnittstelle 136 kann eine oder mehrere Datenschnittstellen 146, 148, an die Kameras angeschlossen werden kann, sowie Hardware und / oder Software-Signalprozessoren umfassen zum Ändern von Datensignalen von den Kameras (beispielsweise zur Verringerung von Lärm oder empfangenen formatieren Daten) vor dem Bereitstellen der Signale als Eingänge zu einem Bewegungserfassung ("mocap") Programm 144 der auf dem Prozessor 132. In einigen Implementierungen Kamera-Schnittstelle 136 kann auch Signale an die Kameras übertragen, beispielsweise zur Aktivierung bzw. Deaktivierung der Kameras, um die Kameraeinstellungen (Bildrate, Bildqualität, Empfindlichkeit, etc.), oder dergleichen zu steuern. Solche Signale übertragen werden können, beispielsweise in Reaktion auf Signale von dem Prozessor 132, die wiederum in Reaktion auf Benutzereingaben oder andere detektierten Ereignisse erzeugt werden können, zu steuern.
Die Kamera-Schnittstelle 136 kann auch Controller 147, 149, um die Lichtquellen (beispielsweise Lichtquellen 108, 110) angeschlossen werden kann. In einigen Implementierungen Steuerungen 147, 149 Betriebsstromversorgung an die Lichtquellen, beispielsweise in Reaktion auf Anweisungen von dem Prozessor 132 ausführt mocap Programm 144. In anderen Implementierungen können die Lichtquellen zeichnen Betriebsstrom von einer externen Stromversorgung (nicht gezeigt) und Steuereinheiten 147, 149 kann Steuersignale für die Lichtquellen zu erzeugen, beispielsweise Papiere mit dem Lichtquellen eingeschaltet oder ausgeschaltet wird oder die Helligkeit zu ändern. In einigen Implementierungen kann eine einzelne Steuerung verwendet werden, mehrere Lichtquellen zu steuern.
Anleitung mocap Programm 144 definiert, werden im Speicher 134 gespeichert sind, und diese Anweisungen, wenn sie ausgeführt werden, Motion-Capture-Analyse auf Bilder von Kameras Kameraschnittstelle 136 verbunden In einer Ausführung geliefert, enthält mocap Programm 144 verschiedene Module, wie zB ein Objekt-Erkennungsmodul 152, ein Objekt-Analysemodul 154 und eine Geste-Erkennungsmodul 156 Objektdetektionsmodul 152 können Bilder (zB Bilder via Kameraschnittstelle 136 erfasst), um Kanten eines Objekts zu erfassen und / oder andere Informationen über darin zu analysieren Lage des Objekts. Objekt-Analysemodul 154 kann die Objektinformationen durch Objektdetektionsmodul 152 vorgesehen, um die 3D-Position und / oder Bewegung des Objekts (beispielsweise der Hand eines Benutzers) zu bestimmen, zu analysieren. Beispiele der Operationen, die in der Code-Module mocap Programm 144 implementiert werden können, werden nachfolgend beschrieben. Speicher 134 kann auch andere Informationen und / oder Code-Module von mocap Programm 144 verwendet.
Anzeigen 138, 139 Lautsprecher, Tastatur 140 und eine Maus 141 verwendet werden, um Benutzerinteraktion mit Computersystem 100B erleichtern. In einigen Implementierungen Ergebnisse Geste Capture mit Kameraschnittstelle 136 und mocap Programm 144 kann als Benutzereingaben interpretiert werden. Zum Beispiel kann ein Benutzer die Handgesten Verwendung mocap Programm 144 analysiert ausführen können, und die Ergebnisse dieser Analyse kann als ein Befehl an ein anderes Programm der auf dem Prozessor 132 (zB einen Web-Browser, Wortprozessor oder einer anderen Anwendung zu interpretieren). So zur Veranschaulichung, ein Benutzer nach oben oder unten verwenden könnte swiping Gesten zu "blättern" eine Webseite derzeit auf dem Display 138 angezeigt wird, kreisenden Bewegungen zu erhöhen oder verringern die Lautstärke der Audioausgabe über die Lautsprecher 139, und so weiter zu verwenden.
Es versteht sich, dass das Computersystem 100B ist illustrativ, und dass Variationen und Modifikationen möglich sind. Computersysteme können in einer Vielzahl von Formfaktoren, einschließlich Server-Systeme, Desktop-Systeme, Laptop-Systemen, PCs, Smartphones oder PDAs, und so weiter durchgeführt werden. Eine besondere Implementierung kann eine andere Funktionalität, die hier nicht beschrieben ist, beispielsweise drahtgebundene und / oder drahtlose Netzwerkschnittstellen, Medienwiedergabe und / oder Aufnahmefunktion, usw. In einigen Implementierungen können ein oder mehrere Kameras können in den Computer eingebaut werden, anstatt wie geliefert umfassen separate Komponenten. Ferner kann ein Bildanalysegerät unter Verwendung von nur einer Untergruppe von Computersystemkomponenten (zB durchgeführt werden, wie ein Prozessor, der Programmcode, ein ASIC oder eine feste Funktion digitaler Signalprozessor, mit geeigneten I / O-Schnittstellen, um Bilddaten zu empfangen und Ausgabeanalyse Ergebnisse).
Während Computersystem 100B ist hierin unter Bezugnahme auf bestimmte Blöcke beschrieben wurde, versteht es sich, dass die Blöcke für die Bequemlichkeit der Beschreibung definiert, und es ist nicht beabsichtigt, eine bestimmte physikalische Anordnung der Komponenten implizieren. Weiterhin müssen die Blöcke nicht entsprechen physisch getrennten Komponenten. In dem Maße, physisch getrennte Komponenten verwendet werden, können Verbindungen zwischen den Komponenten (beispielsweise für die Datenkommunikation) verdrahtet und / oder drahtlos, wie gewünscht.
Mit Bezug auf die 1A, 1B und 2A, führt der Benutzer eine Geste, die durch die Kameras 102, 104 als eine Reihe von zeitlich aufeinanderfolgenden Bildern erfasst wird. Diese werden durch eine Gestenerkennungsmodul 156, der als ein weiteres Modul des mocap 144. Gesture-Erkennungssysteme sind auf dem Gebiet der Computervision bekannten implementiert werden kann und Algorithmen verwenden, basierend auf 3D-Modellen analysiert (dh volumetrische oder Skelett-Modelle), vereinfachte Skelett-Modelle, die eine vereinfachte Darstellung des menschlichen Körpers oder Geste relevante Karosserieteile oder bildbasierte Modelle auf Basis von, beispielsweise, verformbaren Schablonen von gesten relevanten Körperteile oder andere Techniken. Siehe zB Wu et al, "Vision-basierte Bewegungserkennung: A Review". In Gesture-basierte Kommunikation in Mensch-Computer Interaktion (Springer 1999); Pavlovic et al, "visuelle Interpretation von Handgesten für Mensch-Computer Interaktion: A Review", IEEE Trans. Pattern Analysis and Machine Intelligence (19(7): 677–695, July 1997).
Das Gestenerkennungsmodul 156 eine Eingabe in eine elektronische Vorrichtung 214, durch das ein Benutzer der elektronischen Vorrichtung 214 aus der Ferne zu steuern und / oder Manipulation von virtuellen Objekten 216, wie Prototypen / Modelle, Blöcke, Kugeln oder andere Formen, Knöpfe, Hebel oder andere Steuerelemente, in einer virtuellen Umgebung auf dem Bildschirm 218 des Endgeräts angezeigt Der Benutzer kann die Geste mit einem beliebigen Teil ihres Körpers, wie eines Fingers, einer Hand oder einem Arm auszuführen. Im Rahmen der Gestenerkennung oder unabhängig, der Bildanalysator 106 können die Formen und Positionen der Hand des Benutzers im 3D-Raum und in Echtzeit zu bestimmen; siehe beispielsweise US Serien-Nr. 61 / 587.554 , 13 / 446.585 und 61 / 724.091 , am 17. Januar 2012, 7. März 2012 und 8. November 2012 eingereicht wurde, jeweils die gesamte Offenbarungen hiermit durch einge Referenz. Als Ergebnis der Bildanalysator 106 kann nicht nur Gesten erkannt zu Zwecken der Eingaben in das elektronische Gerät 214, kann aber auch die Position und die Form der Hand des Benutzers in aufeinanderfolgenden Videobilder zu erfassen, um die Handgeste im 3D-Raum charakterisieren und reproduzieren sie auf dem Bildschirm 218.
Bei einer Ausführungsform vergleicht der Gestenerkennungsmodul 156 den erfassten Geste zu einer Bibliothek von Gesten elektronisch als Datensätze in einer Datenbank 220, die in dem Bildanalysesystem 106 implementiert wird, der elektronischen Vorrichtung 214 gespeichert sind, oder auf einem externen Speichersystem 222. (Wie hier verwendet, umfasst der Begriff "elektronisch gespeicherten" Lagerung in flüchtigen oder nicht-flüchtigen Speicher, wobei der letztere Platten, Flash-Speicher, etc., und erstreckt sich auf jedes rechnerisch adressierbaren Speichermedien (einschließlich beispielsweise optische Speicher)) kann beispielsweise Gesten als Vektoren, also mathematisch festgelegten räumlichen Bahnen gespeichert werden, und die Geste Datensatz kann ein Feld der einschlägige Teil des Körpers des Benutzers macht die Geste zu haben; so können ähnliche Flugbahnen von Hand und dem Kopf eines Benutzers ausgeführt wird in der Datenbank als verschiedene Gesten gespeichert werden, so dass eine Anwendung können sie unterschiedlich interpretieren. Typischerweise wird die Trajektorie eines erfassten Geste rechnerisch mit den gespeicherten Bahnen verglichen, um eine beste Übereinstimmung zu finden, und die Geste als entsprechend der Datenbankeintrag entfernt, wenn der Grad der Übereinstimmung einen Grenzwert übersteigt. Der Vektor kann so skaliert werden, dass zum Beispiel, werden große und kleine Bögen durch die Hand eines Benutzers zurückgeführt als die gleiche Geste erkannt wird (dh entsprechend der gleichen Datenbank-Datensatz), aber die Gestenerkennungsmodul sowohl die Identität und einen Wert zurückgeben, was die Skalierung für die Geste. Die Skala kann auf eine in der Leistung der Geste quert tatsächlichen Geste Abstand entsprechen, oder sie können bis zu einem gewissen Abstand kanonischen normalisiert werden.
Bei einigen Implementierungen, erkennt das Gestenerkennungsmodul 156 mehr als eine Geste. Bezugnehmend auf 2B beispielsweise der Benutzer eine Armwedeln Geste mit den Fingern Biegen durchzuführen. Die Geste Erkennungsmodul 156 erfasst die winken und biegt Gesten 200B und zeichnet eine winkenden Flugbahn 330 und fünf Walkflugbahnen 332, 334, 336, 338, 340 für die fünf Finger. Jede Bahn kann in einen Vektor entlang umgewandelt werden, beispielsweise sechs Euler Freiheitsgraden (x, y, z, Roll-, Nick- und Gier) in Euler Flächen. Der Vektor mit dem größten Betrag, zum Beispiel, stellt die dominante Komponente der Bewegung (zB winken in diesem Fall) und der Rest der Vektoren können ignoriert werden. Selbstverständlich können die feinen Bewegungen der Finger die dominante Geste, isoliert und interpretiert werden, während der größere winkenden Bewegung der Hand wird ignoriert. In einer Implementierung wird ein Vektor-Filter, die mit Filtertechniken implementiert werden kann, um die mehreren Vektoren angewendet, um die kleine Vektoren herausgefiltert und zu identifizieren, die dominierende Vektor. Dieser Prozess kann sich wiederholen, bis eine Iteration vector – der dominierende Bestandteil der Bewegung – ist identifiziert. In einigen Implementierungen wird ein neuer Filter jedes Mal neue Gesten erkannt werden erzeugt.
Wenn der Gestenerkennungssystem 156 ist als Teil einer bestimmten Anwendung (beispielsweise ein Spiel oder eine Steuerungslogik für einen Fernseh) umgesetzt, wobei die Datenbank Gestensatz kann auch einen Eingangsparameter entsprechend der Geste (die skaliert werden können, enthalten, unter Verwendung der Skalierungswert); in generischen Systemen, wo der Gestenerkennungssystem 156 ist als Dienstprogramm zur Verfügung, um mehrere Anwendungen implementiert wird diese anwendungsspezifischen Parameter weggelassen: wenn eine Anwendung ruft die Gestenerkennungssystem 156, das identifiziert Geste interpretiert sie nach im Einklang mit ihren eigenen Programmierung.
Somit kann mit Bezug auf 2A, das Gestenerkennungssystem 156 identifiziert die Handgeste durch Bezugnahme auf die Datenbank 220 und überträgt Signale, die die identifizierten Gesten zu der elektronischen Vorrichtung 214. Die Vorrichtung 214, die wiederum behandelt den identifizierten Gesten und der Signalwert als Eingangs und weist einen Eingabeparameter Wert darauf; der Eingangsparameter wird dann durch die Anwendungsausführungs auf der elektronischen Vorrichtung 214 verwendet wird, gestenbasierten Interaktionen des Benutzers mit diesem zu erleichtern. Zum Beispiel kann der Benutzer zuerst ihre Hand in einer sich wiederholenden oder unverwechselbare Weise zu bewegen (zB Durchführung einer winkenden Handbewegung), um die Kommunikation mit dem elektronischen Gerät 214 Nach dem Erfassen und Erkennen dieses Handbewegung zu initiieren, überträgt der Gestenerkennungssystem 156 ein Signal an die elektronische Vorrichtung 214 anzeigt, Benutzererkennung in Antwort auf die das Gerät 214 als Reaktion macht eine entsprechende Anzeige (zB ein Bedienfeld 224). Der Benutzer führt dann eine andere Geste (zB Bewegung der Hand in einer "up" oder "down" Richtung), die wiederum durch die Gestenerkennungssystem 156. Die Gestenerkennungssystem 156 erkannt identifiziert die Geste und eine Skala zugeordnet ist, und überträgt diese Daten an das elektronische Gerät 214; die Vorrichtung 214 wiederum interpretiert diese Informationen als Eingabeparameter (als hätte der Benutzer eine Taste auf einer Fernsteuerung gedrückt wird), das eine gewünschte Wirkung, so dass der Benutzer die auf dem Bedienfeld 224 angezeigten Daten zu manipulieren (beispiels wie Auswahl eines Kanals von Interesse, die Anpassung der Audio-Sound, oder Variieren der Helligkeit des Bildschirms). Bei verschiedenen Implementierungen kann das Gerät 214 eine Verbindung zu einer Quelle von Videospielen (beispielsweise eine Videospielkonsole oder CD oder Web-basierte Videospiel); der Benutzer verschiedene Gesten ausführen, um aus der Ferne mit den virtuellen Objekten 216 in der virtuellen Umgebung (Videospiel) interagieren. Die erkannten Gesten und Waagen werden als Eingabeparameter für die derzeit laufende Spiel, die sie interpretiert und führt kontext geeignete Maßnahmen, dh erzeugt Bildschirmanzeigen, die auf die Gesten zur Verfügung gestellt. Die verschiedenen Komponenten des Systems – die Geste-Erkennungssystem 156 und die operativen Elemente der Vorrichtung 214, die Gesten zu interpretieren und erzeugen darauf basierende Displays – getrennt sein, wie dargestellt, oder kann organisiert werden oder konzeptionell als innerhalb des Bildanalysesystems angesehen 106.
Bei verschiedenen Implementierungen, nachdem der Benutzer erfolgreich initiiert die Kommunikation mit dem Gestenerkennungssystem 156 und dem elektronischen Gerät 214, die Geste-Erkennungssystem 156 erzeugt einen Cursor 226 oder eine Zahl 228 (im Folgenden "Cursor"), die die erfassten Körpers Teil (zB eine Hand) und zeigt sie auf dem Bildschirm des Geräts 218. Bei einer Implementierung der Gestenerkennungssystem 156 kohärent sperrt die Bewegung des Cursors 226 auf dem Display 218, um die tatsächliche Bewegung der Geste des Benutzers zu folgen. Zum Beispiel, wenn der Benutzer die Hand in der Aufwärtsrichtung, der angezeigte Cursor 226 bewegt sich ebenfalls nach oben auf dem Anzeigebildschirm in Reaktion. Als Ergebnis wird die Bewegung des Cursors 226 direkt zugewiesen Benutzergesten angezeigten Inhalts, so dass beispielsweise die Hand des Benutzers und der Cursor 226 verhalten sich wie eine PC-Maus und eines Cursors auf dem Monitor auf. Dies ermöglicht dem Benutzer, um die Beziehung zwischen den tatsächlichen physikalischen Gestenbewegung und die daraus resultierenden Aktionen, die auf dem Bildschirm 218, beispielsweise die Bewegung von virtuellen Objekten 216 darauf angezeigt zu bewerten. Die absolute Position der Hand ist daher typischerweise nicht wichtig zur Anzeigesteuerung; vielmehr eine relative Position und / oder Richtung der Bewegung des Körpers des Benutzers steuert die Aktionen auf dem Bildschirm, beispielsweise die Bewegung des Cursors 226.
Ein Beispiel 300A von Benutzerinteraktivität ist in 3A. Wie gezeigt, führt der Benutzer-Gesten, die angezeigte Cursor 310 zu bewegen, um zumindest teilweise mit einem angezeigten virtuellen Objekts 312 von Interesse überlappen. Der Benutzer führt dann eine andere Geste (zB "Fingerklick"), um das gewünschte Objekt auszuwählen 312. Um das Objekt 312 als Benutzer ausgewählte Objekt, Bewegung des Benutzers zu kennzeichnen (dh Bewegung des Körperteils) erforderlich sein, um gerecht zu werden, einen vorbestimmten Schwellenwert (zum Beispiel 95%) der Beendigung der Geste; dieser Wert wird in der Datenbank 220 gespeichert ist oder durch die Anwendung derzeit auf dem elektronischen Gerät 316 ausgeführt implementiert.
Zum Beispiel kann ein Abschluss eines "Klicken" Geste, die eine virtuelle Steuerung wie eine Schaltfläche aktiviert, kann der Finger des Benutzers erfordern, um eine Strecke von fünf Zentimeter zu bewegen; beim Erfassen einer Fingerbewegung von einem Zentimeter, die Geste-Erkennungssystem 314 erkennt die Geste, indem er auf einen Datenbanksatz und ermittelt einen Grad (in diesem Fall 20%) der Beendigung der Geste erkannt. In einer Implementierung wird jede Geste in der Datenbank beinhaltet mehrere Bilder oder Vektoren, von denen jeder mit einem gewissen Grad (beispielsweise von 1% bis 100%) der Beendigung der durchgeführten Geste zugeordnet ist; In anderen Implementierungen wird der Grad der Fertigstellung durch Interpolation oder einfacher Vergleich des beobachteten Vektor mit dem gespeicherten Vektor berechnet. Der Fertigstellungsgrad der durchgeführten Geste (zum Beispiel, wie viel der Benutzer ihre Hand bewegt) kann auf dem Bildschirm wiedergegeben werden, und in der Tat kann die Beurteilung der gestischen Abschluss durch die Rendering-Anwendung auf dem Gerät 316 ausgeführt und nicht durch gehandhabt werden die Geste-Erkennungssystem 314.
Beispielsweise kann die elektronische Vorrichtung 316 kann einen hohlen Kreissymbol 318, dass die Rendering-Anwendung nach und nach füllt mit einer Farbe oder mehreren Farben, wie das Gerät überhaupt einfache Bewegung (Positionswechsel) Signale aus dem Gestenerkennungssystem 314, wie angezeigt der Benutzer den Finger näher an das Gerät 316, wie sie ein Klicken oder "berühren" Geste ausführt. Das Ausmaß, in dem der Kreis gefüllt zeigt, wie nah Bewegung des Nutzers ist es, die Vollendung des Geste (oder, wie weit der Finger des Benutzers hat sich von seinem ursprünglichen Speicherort verschoben). Wenn der Benutzer vollständig führt die Maustaste oder berühren Geste wird der Kreis vollständig ausgefüllt; Dies kann dazu führen, beispielsweise die Kennzeichnung des virtuellen Objekts 312 als ein Objekt ausgewählt.
In einigen Implementierungen zeigt vorübergehend die Vorrichtung eine zweite Anzeige (beispielsweise die Änderung der Form, Farbe oder Helligkeit der Anzeige), um das Objekt bestätigen. Die Anzeige für den Grad der Geste Fertigstellung und / oder die Anzeige der Bestätigung Objektauswahl ermöglicht somit dem Benutzer, leicht vorhersagen, die genau in dem Moment, wenn das virtuelle Objekt ausgewählt ist; Dementsprechend kann der Benutzer anschließend zu manipulieren das ausgewählte Objekt auf dem Bildschirm in einer intuitiven Weise. Obwohl die Beschreibung hier konzentriert sich auf Füllung des Hohl Kreis 318 ist die offenbarte Technik nicht auf eine bestimmte Art der Darstellung auf dem Bildschirm, die die Beendigung der Geste ausgeführt anzeigen kann, angezeigt beschränkt. Zum Beispiel kann eine Hohlstange 320 schrittweise durch Farbe, in einer Grauabstufung 322 gefüllt ist, kann die Helligkeit einer Farbe oder einem anderen geeigneten Indikator zur Darstellung eines Grades der Geste Beendigung durch den Benutzer verwendet werden, und liegt im Rahmen der aktuellen Technik offenbart.
Die Gestenerkennungssystem 314 kontinuierlich erkennt und identifiziert Gesten des Benutzers basierend auf den Formen und Positionen der Gestik Teil des Körpers des Benutzers in den aufgenommenen 2D-Bilder. Ein 3D-Bild der Geste kann durch die Analyse der zeitlichen Korrelationen der identifizierten Formen und Positionen der Gestikulieren Körperteil des Benutzers in nacheinander aufgenommenen Bildern rekonstruiert werden. Weil die rekonstruierten 3D-Bild kann genau erkennen und mit kleinen Gesten (beispielsweise einen Finger ein Abstand von weniger als einem Zentimeter) in Echtzeit, die Geste-Erkennungssystem 314 bietet hohe Nachweisempfindlichkeit. Bei verschiedenen Implementierungen kann einmal die Geste erkannt wird und die damit zugeordnete Befehl erkannt wird, der Gestenerkennungssystem 314 überträgt Signale zu der Vorrichtung 316, um eine Anzeige auf dem Bildschirm, Anzeigen einer Fertigstellungsgrad von Gestik des Benutzers zu aktivieren. Die Anzeige auf dem Bildschirm eine Rückmeldung, die dem Benutzer der elektronischen Vorrichtung 316 zu steuern und / oder zu manipulieren, die angezeigte virtuelle Objekte 312 mit verschiedenen Bewegungsgraden ermöglicht. Zum Beispiel kann die Benutzergeste so groß wie eine Körperlänge Sprung oder so klein wie eine Fingertaste sein.
Bei einer Implementierung, wenn das Objekt 312 ist als ein ausgewähltes Objekt, das Gestenerkennungssystem 314 verriegelt das Objekt 312 mit dem Cursor 310 auf dem Bildschirm markiert, um anschließend durchgeführte Bewegung des Benutzers zu reflektieren. Zum Beispiel, wenn der Benutzer die Hand in der Richtung nach unten, wird der angezeigte Cursor 310 und das ausgewählte virtuelle Objekt 312 zusammen nach unten bewegen sich auch auf dem Anzeigebildschirm in Reaktion. Auch ermöglicht dies dem Benutzer, 312 genau zu manipulieren die virtuellen Objekte in der virtuellen Umgebung.
In einer anderen Implementierung 300B, wenn eine virtuelle Objekt wird als gewählte Element markiert ist, eine nachfolgende Bewegung des Benutzers rechnerisch auf eine auf das ausgewählte Objekt angewendet simuliert physikalische Kraft umgesetzt. Bezugnehmend auf 3B ist der Benutzer zum Beispiel zuerst zieht ihren ersten Finger nach vorne über eine Strecke von einem Zentimeter, um die Auswahl des virtuellen Objekts 330 zu vollenden; Diese Auswahl kann durch den hohlen Kreis 332 auf dem Bildschirm ist vollständig ausgefüllt angezeigt bestätigt werden. Der Benutzer kann dann bewegen ihren ersten Finger nach vorne für einen weiteren Zentimeter. Beim Erkennen einer solchen Bewegung, wandelt die Gestenerkennungssystem 314 an einen simulierten Kraft; die Kraft auf der Grundlage einer Physik-Simulation Modell überführt werden, das Ausmaß der Bewegung des Körpers, der Masse und der Bewegungsgeschwindigkeit des Körperteils, Schwerkraft und / oder sonstige relevante Parameter. Die Anwendung auf der Vorrichtung 316, die das virtuelle Objekt 330 erzeugt läuft, reagiert auf die Kraftdaten durch Rendern einer Simulation das Verhalten des virtuellen Objekts 330 unter dem Einfluss der Kraft, beispielsweise auf der Basis eines Bewegungsmodells, das die Newtonsche physikalischen umfasst Prinzipien.
Wenn beispielsweise die Bewegung des Anwenders ist relativ klein innerhalb eines vorbestimmten Bereichs (beispielsweise weniger als einem Zentimeter) und / oder relativ langsam ist, verformt sich die umgewandelte Kraft die Form des gewählten Objekts 330; Wenn jedoch die Bewegung des Benutzers den bestimmten Bereich (dh mehr als 10 Zentimeter) oder eine Grenzgeschwindigkeit, die Vorrichtung 316 behandelt die umgewandelte Kraft groß genug ist, übersteigt (dh größer als der simulierte Haftreibungskraft), um das ausgewählte Objekt zu bewegen 330. Die Bewegung des Gegenstandes 330 nach dem Empfang der Druckkraft wird durch die Wiedergabeanwendung der Vorrichtung 316 auf der Grundlage des Bewegungsmodells simuliert; Diese Bewegungsverhalten wird dann auf dem Bildschirm aktualisiert. Die Wiedergabeanwendung können auch andere Maßnahmen in Bezug auf das virtuelle Objekt 330, beispielsweise zu nehmen, Dehnen, Biegen oder Betriebs mechanische Steuerungen über Knöpfe, Hebel, Scharniere, Griffe, usw. Als Ergebnis repliziert das simulierte Kraft die Wirkung der Ersatzkräfte in die reale Welt und macht die Interaktion vorhersehbar und realistisch für den Benutzer.
Es sollte betont werden, dass die vorstehende funktionelle Trennung zwischen dem Gestenerkennungssystem 314 und der Rendering-Anwendung auf dem Gerät 316 ausgeführt ist nur eine exemple; in einigen Implementierungen die zwei Einheiten sind mehr eng gekoppelt oder auch einheitliche, so dass anstatt einfach hindurchgenerische Kraft-Daten an die Anwendung, das Gestenerkennungssystem 314 weist Weltwissen für die Umwelt auf der Vorrichtung 316 wiedergegeben Hierdurch die Geste-Erkennungssystem 314 können objektspezifische Kenntnisse (zB Reibungskräfte und Trägheitsmoment) für die Kraftdaten, so dass die physikalischen Auswirkungen der Benutzerbewegungen auf den gerenderten Objekte werden direkt berechnet (und nicht auf der Basis generischer durch die erzeugte Kraft Daten gelten Gestenerkennungssystem 314 und auf einem Objekt-für-Objekt-Basis durch die Vorrichtung 316 verarbeitet werden). Darüber hinaus wird in verschiedenen Implementierungen die mocap 144 läuft auf dem Gerät 316 und das Bauteil 314 ist ein einfacher Sensor, der lediglich sendet Bilder (zB Bilder mit hohem Kontrast) zu der Vorrichtung 316 zur Analyse durch den mocap 144. Bei derartigen Implementierungen die mocap 144 kann eine separate Anwendung, die Geste Informationen an die Rendering-Anwendung (wie zB ein Spiel) bietet auf dem Gerät 316 ausgeführt werden, da, wie oben beschrieben, kann in dem Rendering-Anwendung integriert werden (zB kann ein Spiel Anwendung zur Verfügung gestellt werden mit geeigneten mocap Funktionalität). Diese Teilung der Verantwortung zwischen dem Rechensystem 314 und dem Gerät 316 sowie zwischen Hardware und Software, stellt eine Design-Wahl.
Ein repräsentatives Verfahren 300C für die Unterstützung gestischer Interaktion eines Benutzers mit einer elektronischen Vorrichtung, insbesondere den Grad des gestischen Fertigstellung überwachen, so dass auf dem Bildschirm Aktion kann aufgeschoben, bis die Geste beendet ist, ist in 3C. In einer ersten Aktion 352, initiiert der Benutzer die Kommunikation mit einem elektronischen Gerät über Durchführung einer Geste. In einer zweiten Aktion 354 wird die Geste durch eine Geste-Erkennungssystem erkannt. In einer dritten Aktion 356 vergleicht der Geste-Erkennungssystem das erkannte Geste mit in einer Datenbank gespeichert sind, um sowohl die Geste identifizieren und zu bewerten, in Echtzeit, eine Fertigstellungsgrad Geste Aufzeichnungen. Das Gestenerkennungssystem überträgt dann Signale an das elektronische Gerät (in einer vierten Aktion 358). (Wie bereits erwähnt, wird der Grad-der-Completion-Funktionalität auf der Vorrichtung und nicht durch die Gestenerkennungssystem implementiert werden, wobei das letztere System lediglich eine Bewegung-Erfassungsdaten.) Basierend auf den Signalen, zeigt die elektronische Vorrichtung eine auf -Bildschirm Indikator, der einen Grad der Fertigstellung der Geste des Benutzers (in einem fünften Aktion 360). Wenn der Fertigstellungsgrad einen Schwellenwert (zB 95%), das elektronische Gerät und / oder die virtuellen Objekte auf dem Bildschirm angezeigt überschreitet dann anschließend rechtzeitig durch den Benutzer basierend auf den gegenwärtig oder nachfolgend durchgeführt Gesten manipuliert (Aktionen 362, 364).
Unter Bezugnahme auf 4A, in einer Implementierung 400A, die angezeigte Bewegung 410 des Objekts 412 auf dem Bildschirm 414 auf der Grundlage des absoluten räumlichen Verschiebung der tatsächlichen Bewegung des Benutzers bestimmt. Zum Beispiel kann der erste Benutzer seine Hand gleiten 416 nach rechts, wie bei 418 zu einem Zentimeter angezeigt; beim Erfassen und Erkennen diese Geste mit der Hand, die Geste-Erkennungssystem 420 sendet ein Signal an das elektronische Gerät 422, das die Bewegung, die das Gerät interpretiert als Eingabeparameter und als Antwort, Maßnahmen ergreifen, um zu bewegen (dh zu machen, wie Bewegen) des Cursors oder virtuelles Objekt 412 in die gleiche Richtung, beispielsweise hundert Pixel auf dem Bildschirm 414. Die Beziehung zwischen der physikalischen Bewegung des Benutzers und der gerenderten Bewegung durch den Benutzer eingestellt werden kann, beispielsweise zur Änderung des Skalierungs Faktor durch die Gestenerkennungssystem 420 für die zugeordnete Geste gespeichert. Wenn der Gestenerkennungssystem 420 ist mit einem Rendering-Anwendung integriert, kann der Benutzer diese Änderung mit Gesten zu machen.
Beispielsweise kann der Benutzer eine größere Bewegung auf dem Bildschirm angeben (dh quert mehr Pixel) des Cursors oder Objekt 412 in Reaktion auf ein gegebenes Handbewegung. Der Benutzer kann zuerst ein Verhältnis Bedienfeld 424 auf dem Bildschirm angezeigt zu aktivieren, indem eine deutliche Geste. Die Steuertafel 424 kann gemacht werden, zum Beispiel als ein Schieberegler, einer kreisförmigen Skala, oder jede geeignete Form aufweisen. Der Benutzer führt anschließend eine andere Geste, um das Verhältnis auf der Grundlage der Art der Skala Bedienfeld 424 einstellen Wenn die Waage Bedienfeld ist ein Schieberegler, schiebt der Benutzer den Finger, um das Verhältnis variieren. In einer anderen Implementierung wird kein Maßstab Bedienfeld auf dem Bildschirm angezeigt; das Verhältnis wird auf der Grundlage nachfolgender Bewegungen des Benutzers angepasst. Als weiteres Beispiel kann der Benutzer den Maßstab durch Öffnen der Faust oder bewegt ihre Daumen und Zeigefinger auseinander zu erhöhen und die Maßstabsverhältnis durch Schließen der Faust oder bewegten ihre erste Finger in Richtung des Daumens. Obwohl die Diskussion hier konzentriert sich auf die Hand oder Finger-Gesten zum Zwecke der Darstellung ist die offenbarte Technik nicht auf eine Geste von einem bestimmten Teil des menschlichen Körpers durchgeführt beschränkt. Jede geeignete Geste für die Kommunikation zwischen dem Benutzer und der elektronischen Vorrichtung verwendet werden können und innerhalb des Umfangs des offenbarten Stand der Technik.
In weiteren Implementierungen kann die Übersetzungsverstellung wird mit einer Fernsteuervorrichtung, erreicht die der Benutzer steuert, indem Sie Tasten, oder mit einem Wireless-Gerät, wie eine Tablette oder Smartphone. Eine andere Skalierungsverhältnis kann mit jeder Geste, in Verbindung gebracht werden (dh das Skalierungsverhältnis lokalen und potenziell für jede Geste) und wird in der spezifischen Geste Datensatz in der Datenbank gespeichert. Alternativ kann das Skalierungsverhältnis für mehrere oder alle Gesten im Gestendatenbank gespeichert werden (dh die globale Skalierungsverhältnis und das gleiche für mindestens mehrere Gesten).
Alternativ kann die Beziehung zwischen physischen und Bildschirmbewegungen bestimmt wird, zumindest teilweise basierend auf den Eigenschaften des Displays und / oder der gerenderten Umgebung. Beispielsweise unter Bezugnahme auf 4B in einer Implementierung 400B, die erworbene (Kamera) Bild 430 der Benutzer über Lichthelligkeitswerte in Form einer Matrix von Bildpunkten und das (gerendert) Rahmen der Anzeigeschirm der elektronischen Vorrichtung 422 weist Pixel. Wenn der Benutzer mit der Hand winken Geste 420, die in einem m-Pixel horizontale Verschiebung ergibt (oder m-Pixelabstand) und eine n-Pixel vertikale Verschiebung (oder n-Pixelabstand) in den Kamerabildern, die relative horizontale und vertikale Hand Bewegungen werden als m / M, n / N, festgesetzt, für die Skalierung Zwecke. In Reaktion auf diese Handbewegung, die der Cursor oder das Objekt 412 auf dem Anzeigebildschirm 414 (x, y) Pixel verschoben werden, wobei x und y wie, bzw. im einfachsten Fall bestimmt. Aber auch zum Anzeigen im wesentlichen einheitliche (1:1) Skalierung der relativen Größen der Umgebung des Benutzers und dem Bildschirm angepasst, Konto wird in der Regel von der Kameraposition und Entfernung von dem Benutzer, Brennweite, Auflösung des Bildsensors aufgenommen, Anzeigen Winkel, etc., und als Ergebnis werden die Mengen x und y werden mit einer Konstanten multipliziert, dass die Ergebnisse im Wesentlichen affine Abbildung von "Benutzerraum" auf den gerenderten Bildes. Wiederum können die Konstante eingestellt werden, zu verstärken oder zu verringern Bildschirmbewegung Reaktionsfähigkeit. Solche Benutzerinteraktionen mit dem virtuellen Objekt 412 auf dem Anzeigebildschirm kann den Benutzer mit einem realistischen Gefühl bereitzustellen, während Bewegung des Objekts in der virtuellen Umgebung.
Die Skalierung Beziehung zwischen Ist-Bewegung des Benutzers und die daraus resultierenden Maßnahmen statt auf dem Bildschirm kann in Leistungsanforderungen führen, vor allem, wenn wenig Platz zur Verfügung steht, um den Benutzer. Wenn zum Beispiel zwei Familienmitglieder sitzen zusammen auf einer Couch spielt ein Videospiel auf einem TV angezeigt wird, effektive Reichweite von Bewegung jedes Benutzers wird durch die Anwesenheit des anderen Benutzers beschränkt. Dementsprechend kann der Skalierungsfaktor verändert werden, um einen eingeschränkten Bewegungsbereich zu reflektieren, so dass kleine physische Bewegungen entsprechen größere Bildschirmbewegungen. Dies kann automatisch beim Nachweis von mehreren benachbarten Benutzern zu nehmen, durch die Gestenerkennungssystem. Das Skalierungsverhältnis kann auch von in verschiedenen Implementierungen auf den gerenderten Inhalt des Bildschirms. Beispielsweise in einem langen gerenderten Umgebung mit vielen Objekten kann ein kleiner Skalierungsverhältnis erwünscht sein, dem Benutzer zu erlauben, mit Präzision zu navigieren; während für einfachere oder offenen Umgebungen, wie zB in dem der Benutzer gibt vor, einen Ball zu werfen oder einen Golfschläger zu schwingen und die erfasste Aktion wird auf dem Bildschirm wiedergegeben, kann eine große Skalierungsverhältnis vorzuziehen.
Wie oben erwähnt, wird die richtige Beziehung zwischen der Bewegung des Benutzers und der entsprechenden Bewegung auf dem Bildschirm angezeigt wird, hängt von der Position relativ zu der Aufnahmekamera des Benutzers. Zum Beispiel ist das Verhältnis der tatsächlichen Bewegung m des Benutzers auf die Pixelgröße M in dem aufgenommenen Bild abhängig vom Blickwinkel der Kamera in dem Gestenerkennungssystem 420 sowie die Entfernung zwischen der Kamera und dem Nutzer durchgeführt. Wenn der Betrachtungswinkel breit ist oder der Benutzer in einem Abstand weit weg von der Kamera, der erfaßten relativen Bewegung Geste des Nutzers (dh, m / M), die kleiner ist als sie sein würde, wenn der Betrachtungswinkel war nicht so breit oder Benutzer näher an der Kamera. Dementsprechend kann in dem erstgenannten Fall, bewegt sich das virtuelle Objekt zu wenig auf der Anzeige in Reaktion auf eine Geste, während im letzteren Fall das virtuelle Objekt bewegt, zu weit. Bei verschiedenen Implementierungen kann auf dem Bildschirm dargestellt das Verhältnis der tatsächlichen Bewegung des Benutzers auf die entsprechende Bewegung automatisch grob eingestellt basierend auf beispielsweise der Abstand zwischen dem Benutzer und dem Gestenerkennungssystem (das durch bis hin verfolgt werden kann); dies ermöglicht es dem Benutzer, zu oder weg von der Gestenerkennungssystem zu bewegen, ohne Unterbrechung der intuitives Gefühl, dass der Benutzer für die Beziehung zwischen dem tatsächlichen und gerendert Bewegungen erworben hat.
Bei verschiedenen Implementierungen wird, wenn die Geste erkannt wird, sondern das erfasste Benutzerbewegung Minuskel (dh unter einen vorbestimmten Schwellenwert), das Gestenerkennungssystem 420 schaltet von einem niedrigen Empfindlichkeitserfassungsmodus zu einem Hochempfindlichkeitsmodus, wo ein 3D-Bild des Handbewegung wird genau auf der Grundlage der erfassten 2D-Bildern und / oder ein 3D-Modell rekonstruiert. Weil der hochempfindlichen gesten Erkennungs System kann genau kleine Bewegungen zu detektieren (beispielsweise weniger als einige Millimeter), die durch einen kleinen Teil des Körpers durchgeführt, beispielsweise angezeigt, ein Finger, das Verhältnis der tatsächlichen Bewegung des Benutzers zu der resultierenden Bewegung auf der Bildschirm kann in einem großen Bereich eingestellt werden kann, beispielsweise zwischen 1000:1 und 1:1000.
Ein repräsentatives Verfahren 400C ist in Fig einem Benutzer, der die Beziehung zwischen ihren tatsächlichen Bewegung und der daraus resultierenden Objektbewegung auf dem Bildschirm des elektronischen Geräts gemäß Umsetzungen der beschriebenen derzeitigen Technologie angezeigt dynamisch anzupassen. 4C. In einer ersten Aktion 452, initiiert der Benutzer-Datenübertragungen mit einer elektronischen Vorrichtung durch Durchführen einer Geste. In einer zweiten Aktion 454 wird die Geste erkannt und durch eine Gestenerkennungssystem erfasst. In einer dritten Aktion 456 identifiziert das Gestenerkennungssystem eine Anweisung mit der Geste durch Vergleichen der detektierten Geste mit Gesten in einer Datenbank gespeichert sind. Das Gestenerkennungssystem bestimmt dann das Verhältnis der tatsächlichen Bewegung des Benutzers zu einer resultierenden virtuellen Aktion auf einem Bildschirm des Geräts auf der Basis des Befehls angezeigt wird (in einer vierten Aktion 458). Das Gestenerkennungssystem überträgt dann Signale an das elektronische Gerät (in einer fünften Aktion 460), das die Instruktion. In einer sechsten Aktion 462, bei Empfang der Signale, zeigt die elektronische Vorrichtung eine virtuelle Aktion auf dem Bildschirm auf der Grundlage des bestimmten Verhältnisses, und eine nachfolgende Bewegung eines Benutzers.
Das System 100B, über die Anzeige 138, können eine Vielzahl von Benutzerschnittstellenelemente für den Benutzer darstellen, um die Interaktion damit zu erleichtern. Die Benutzerschnittstellenelemente in Reaktion auf bestimmte Bewegungen (oder andere Formen der Eingabe) von dem Benutzer die Software-Programme ausführen auf dem Prozessor 132 erzeugt bzw. erstellt werden (zB das mocap Programm 144 oder anderen Anwendungsspielprogramme). In einer Implementierung wird die Anzeige 138 verfügt über einen scheibenartigen "Puck" Benutzerschnittstellenelement 502 auf der Anzeige 138, wie in gezeigt. 5A. Das Gestenerkennungssystem 314, wie oben beschrieben, erkennt eine Geste eines Benutzers und, in Übereinstimmung mit Ausführungen der Technik offenbart ist, bewegt sich die Scheibe 502 entsprechend. In einer Implementierung wird eine Darstellung 504 von einer Hand eines Benutzers ebenfalls auf dem Display 138; wie die Darstellung 504 berührt und bewegt sich gegen eine Seite 506 des Pucks 502 in einer ersten Richtung 508 bewegt sich der Puck in eine entsprechende Richtung 510 mit der Bewegung der Darstellung 504. Der Benutzer kann über die Darstellung 504, ähnlich den Puck berührt 502 an einer beliebigen Stelle auf der Seite, eine Geste "schieben" den Puck 502 und dadurch zu bewirken, der Puck 502, um in eine entsprechende Richtung zu bewegen.
Die Umsetzung der Technik offenbart in 5A ist eine veranschaulichenden Beispiel zeigt; Die offenbarte Technik ist nicht nur auf diese Implementierung beschränkt. Die Darstellung 504 von der Hand des Benutzers möglicherweise nicht auf dem Bildschirm 138 vorhanden sein; die Geste-Erkennungssystem 314 kann eine Geste von einem Benutzer zu erkennen, wie eine Geste bedeutete, den Puck 502 ohne Anzeige der Darstellung 504. Der Benutzer kann die Geste mit anderen Abschnitten der auf seiner Hand (zB die Handfläche) zu erstellen oder zu schieben andere Körperteile oder Gegenstände. In anderen Implementierungen kann die Darstellung 504, wenn angezeigt wird, können andere Gegenstände, wie ein Stift oder Pinsel, oder andere Körperteile eines Benutzers umfassen. Der Puck 502 kann eine beliebige Größe oder Form, wie ein Kreis, Quadrat, Oval oder Dreieck.
Die Position des Pucks 502 kann als Eingang oder anderen Variablen auf ein Computerprogramm, Anzeigeeinstellung, Spiel, oder jede andere solche Software-Anwendung verwendet werden. In einer Implementierung ist der x-Position des Pucks 502 steuert eine erste Variable und die y-Position der Scheibe 502 steuert einen zweiten (verwandten oder nicht verwandten) variabel. FEIGE. 5B veranschaulicht eine derartige Anwendung; ein Graustufenauswahl-Widget 512 umfasst eine Scheibe 502. Durch Drücken der Puck 502, über einen oder mehrere Gesten, kann ein Benutzer einen Grauwert auf dem Selektions Widget 512. So wählen Sie die Graustufenwert, der dem Zentrum der Scheibe 502 wodurch zur Verwendung mit beispielsweise einem Computerzeichenprogramm ausgewählt werden. Die Auswahl-Widget 512 kann eine Vielzahl von anderen solchen Werten (zB Farbe) zur Auswahl daraus durch den Puck 502 umfassen.
Der Puck 502 zu bewegen, in Reaktion auf eine Benutzergeste, in einer beliebigen Anzahl von verschiedenen Moden. Zum Beispiel kann die Scheibe 502 weiter für eine Zeitdauer bewegt, nachdem der Benutzer aufgehört hat, drückt er und kann zu einem Stop in Übereinstimmung mit einer virtuellen Masse und virtuellen Reibungskoeffizienten mit dem Widget 512 (oder eine andere ähnliche Werte) zu verzögern. Die Scheibe 502 kann anfänglich bewegen sich nur, nachdem Geste des Benutzers für eine Berührung mit einer Seite davon, und eine weitere Bewegung des Benutzers gemacht hat einen minimalen Schwellenwert Strecke überfahren ist (dh der Puck "klebrig" und erfordert eine anfängliche Mindestmenge Abstand zu decken durch die Geste, bevor es "ablösen"). In einer Implementierung ist der Puck 502 angebunden an einem Punkt auf den Widget-512 durch eine virtuelle "Frühling" und kehrt zu dem Punkt, in Übereinstimmung mit der virtuellen Federkoeffizienten, als Geste des Benutzers nicht mehr Kontakt mit dem Puck 502. Durch Drücken der oberen Oberfläche der Scheibe, wie eine traditionelle Taste, kann eine weitere Aktion erfolgen kann. In einer Implementierung nach dem Drücken der oberen Fläche der Puck 502, kann der Benutzer eine Drehgeste zu machen, und die Gestenerkennungssystem 314 kann den Puck entsprechend drehen (und einen Parameter einer Anwendung verändert entsprechend).
In anderen Implementierungen der Technik offenbart ist, kann der Benutzer zusätzliche Benutzerschnittstellenelemente mit Gesten zu erstellen und anschließend mit diesen Elementen wechselwirken. Zum Beispiel kann die Geste-Erkennungssystem 314 zu erkennen, dass ein Benutzer einen Kreis Bewegung mit dem Finger (oder ein anderes Objekt) vorgenommen und die Auslegung des Kreisbewegung wie ein Wunsch, eine Taste auf dem Display zu erstellen 138. Einmal erstellt, kann der Benutzer Interaktion mit der Benutzerschnittstellenelement (beispielsweise durch Drücken der Taste), und wodurch eine zugeordnete Funktion ausgeführt werden soll. Die Funktion kann durch den Rahmen auf dem Display 138 auf dem Display 138, bei dem die Benutzerschnittstellenelement erzeugt wird, oder durch andere Benutzereingabe präsentiert, durch die Lage bestimmt werden.
In einer anderen Implementierung kann das Gestenerkennungssystem 314 erzeugt ein Schieberegler in Antwort auf eine Benutzergeste, wie der Benutzer, der sich mit zwei Fingern (zB seinen oder ihren Zeigefinger und Mittelfinger) und eine Geste mit dieser (zB eine Bewegung parallel zur Ebene der Anzeige 138). Einmal erstellt, kann der Schieberegler verwendet werden, um einen entsprechenden Antrag zu steuern (zB Scrollen durch Seiten oder Teilbereiche eines Dokuments, Menü oder Liste).
In einer anderen Implementierung Gestenerkennungssystem 314 interpretiert einen Vorwärts- oder Rückwärtsschuldzuweisungen Geste durch den Benutzer als "Mausklick" (oder eine ähnliche Auswahl oder Bestätigung Befehl). Der Benutzer kann seine oder ihre Finger auf oder in Richtung der Anzeige 138 darauf und bewegen Sie den Finger in Richtung seiner Längsachse in oder in Richtung der Anzeige 138; die Geste-Erkennungssystem 314 interpretiert diese Geste wie ein Mausklick, wenn der Abstand, über den die Finger bewegt einen Schwellenwert (beispielsweise 1, 5 oder 10 cm) übersteigt. In einer Implementierung wird die Geste als einen Mausklick nur, wenn zumindest ein bestimmter Prozentsatz (zB 50%) seiner Bewegung in Richtung der Finger zeigt interpretiert. Eine ähnliche Geste in einer Richtung weg von der Anzeige 138 kann wie der andere oder unterschiedliche Benutzereingaben interpretiert werden. In einer Implementierung ist ein Vorwärts-Geste ein linker Mausklick und ein Reverse-Geste ist eine rechte Maustaste.
Andere Benutzergesten, Bewegungen anderer Objekte oder Kombinationen davon können gemeinsam erfasst und verwendet, um eine Rotationsfaktor zu bestimmen. Die Gestenerkennungssystem 314 kann all die meisten, der in einer Reihe von aufgenommenen Bildern vorhanden Bewegung zu analysieren, oder und erzeugen eine einzige Drehung darauf Faktor basiert (Express, zum Beispiel als eine Anzahl von Grad Drehung). In einer Implementierung wird der Gestenerkennungssystem 314 wählt einen Brennpunkt in oder nahe der Mitte des erfassten Bewegung berechnet einen Betrag einer Drehung für jedes der sich bewegenden Objekte bezüglich des Brennpunkts, und berechnet eine durchschnittliche Größe der Drehung bezogen darauf. Die Bewegungen verschiedener Objekte können in der mittleren Basis ihrer Beschleunigung, Geschwindigkeit, Grße, Nähe zu der Anzeige 138, oder andere ähnliche Faktoren gewichtet werden. Die einzelne Rotationsfaktor kann dann als ein Eingang an ein Programm auf dem System ausgeführt 100B verwendet werden.
Wie oben, eine Gestenerkennungssystem diskutiert (beispielsweise das System 100 in 1A dargestellt.) Erfasst Bilder eines Objekts, wie beispielsweise eine Hand 114, mit einer oder mehreren Kameras 102, 104; Das Objekt kann mit einer oder mehreren Lichtquellen 108, 110. Eine Objektdetektionsmodul 152 detektiert das Objekt beleuchtet wird, und einem Gestenerkennungsmodul 156 erkennt eine Geste mit dem Objekt. Sobald festgestellt wird, ist die Geste in eine elektronische Vorrichtung, die die Geste in einer Vielzahl von Wegen (wie bei der Manipulation eines virtuellen Objekts) verwenden kann. Viele verschiedene Arten von Gesten kann festgestellt werden, aber, und eine Anwendung auf dem elektronischen Gerät läuft nicht nutzen oder brauchen jeden erfassten Geste. Die Versendung von den nicht verwendeten Gesten an die Anwendung kann unnötige Komplexität in der Anwendung zu erstellen und / oder verbrauchen unnötige Bandbreite über die Verbindung zwischen der Anwendung und dem Gestenerkennungsmodul 156.
In einer Implementierung wird nur eine Teilmenge der durch die Gestenerkennungsmodul 156 erfassten Bewegungen werden auf die Anwendung auf einer elektronischen Vorrichtung ausgeführt wird gesendet. Die erkannten Gesten kann aus der Gesten-Erkennungsmodul 156, eine Geste Filter 158 gesendet werden, wie in 1A, und auf der Grundlage einer oder mehrerer Charakteristiken der Gesten filtriert. Gesten, die die Kriterien des Filters 158 passieren, werden an die Anwendung gesendet, und Gesten, die nicht bestehen, werden nicht gesendet und / oder gelöscht werden. Die Geste Filter 158 ist als ein separates Modul in dem Speicher 134 dargestellt, aber die offenbart ist nicht nur auf diese Implementierung beschränkt Technik; die Funktionalität des Filters 158 kann ganz oder teilweise in die Gestenerkennungsmodul 156. In verschiedenen Implementierungen eingearbeitet werden, erkennt das Gestenerkennungsmodul 156 alle erkannten Gesten unabhängig von den Einstellungen des Filters 158 oder erkennt eine Teilmenge der erfassten Gesten entsprechend den Einstellungen des Filters 158.
6 ist ein Flußdiagramm 600, das ein Verfahren zum Filtern von Gesten gemß Implementierungen der offenbarten Technologie. In einer Ausführung wird ein Verfahren zum Unterscheiden zwischen interessante Gesten aus nicht interessant Gesten in einer dreidimensionalen (3D) Sensorraum beschrieben. Das Verfahren umfasst das Empfangen einer Eingabe der Definition Objektmerkmale von einem oder mehreren Referenz Gesten Aktion 652, Erfassen eines oder mehrerer Ist-Bewegungen in einer dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors und der Bestimmung der tatsächlichen Eigenschaften unter Verwendung von Daten aus dem elektronischen Sensor am Aktions 654, den Vergleich der tatsächlichen Gesten gegen die Referenz Gesten, eine Reihe von Gesten der Zinsen in Aktion 656 zu bestimmen, und die Bereitstellung der Satz von Gesten von Interesse und entsprechende Geste Parameter ein weiteres Verfahren zu Aktion 658.
In einer Ausführung, wenn ein Referenzmerkmal ist Geste Weg, tatsächliche Gesten mit geraden Wegen, wie seitliche Durchläufe werden als der Satz von Gesten von Interesse interpretiert. Wenn eine Referenzkennlinie ist Geste Geschwindigkeit, werden die tatsächlichen Gesten mit hohen Geschwindigkeiten als der Satz von Gesten von Interesse gemäß einer Implementierung interpretiert. Wenn eine Referenzkennlinie ist Geste Konfiguration werden tatsächliche Gesten gemacht unter Verwendung einer Hand, die mit einem bestimmten Finger als der Satz von Gesten von Interesse gemäß einer Implementierung interpretiert. Wenn eine Referenzkennlinie ist Geste Konfiguration werden tatsächliche Gesten Hände machen eine Faust als der Satz von Gesten von Interesse gemäß einer Implementierung interpretiert.
In einer anderen Implementierung, wenn ein Referenzmerkmal ist Geste Form, tatsächliche Gesten der Hände mit Daumen-up werden als der Satz von Gesten von Interesse interpretiert. Wenn eine Referenzkennlinie ist Geste Länge, winken Gesten als die Menge der Gesten von Interesse gemäß einer Implementierung interpretiert. In noch einer anderen Implementierung kann, wenn ein Referenzcharakteristik Geste Position werden tatsächliche Bewegungen innerhalb eines Schwellen Nähe der elektronischen Sensor als Satz von Gesten interessiere interpretiert. Wenn ein Referenzcharakteristik Geste Dauer tatsächlichen Bewegungen innerhalb des 3D-Sensorraum für eine Schwellenzeitperiode als der Satz von Gesten von Interesse nicht auf tatsächliche Bewegungen innerhalb des 3D-Sensorraum zur Zeitperiode kleiner als die Schwellenzeitperiode interpretiert. Natürlich mehr als eine einzige Eigenschaft kann zu einem Zeitpunkt verwendet werden.
Die Merkmale des Filters 158 kann definiert werden, um eine bestimmte Anwendung oder eine Gruppe von Anwendungen. In verschiedenen Implementierungen können die Merkmale von einer Menüschnittstelle, aus einer Befehlsdatei oder Konfigurationsdatei zu lesen, über eine API, oder einem ähnlichen Verfahren in Verbindung empfangen werden. Der Filter 158 kann Sätze von vorkonfigurierten Eigenschaften umfassen und ermöglichen es einem Benutzer oder einer Anwendung zu einem der Sätze auszuwählen. Beispiele von Filtereigenschaften umfassen den Pfad, der eine Geste ermöglicht (der Filter 158 passieren können Gesten mit nur relativ geraden Wegen, zum Beispiel, und Block Gesten mit krummliniger Wege); die Geschwindigkeit einer Geste (des Filters 158 kann passieren Gesten mit hohen Geschwindigkeiten, zum Beispiel, und Block-Gesten mit niedrigen Geschwindigkeiten); und / oder die Richtung einer Geste (das Filter passieren Gesten mit Links-Rechts-Bewegungen, zum Beispiel, und Block-Gesten mit vorwärts-rückwärts Bewegungen). Weitere Filtereigenschaften kann sich stützen auf die Konfiguration, Form und Anordnung des Objekts macht die Geste; zum Beispiel kann das Filter 158 nur Gesten gemacht unter Verwendung einer Hand, die mit einem bestimmten Finger (zB ein dritter Finger), eine Hand, die eine Faust, oder einer offenen Hand weiterzugeben. Der Filter 158 kann weiterhin passieren nur Gesten mit den Daumen nach oben oder Daumen nach unten Geste, zum Beispiel für eine Abstimmung Anwendung.
Die durch das Filter 158 durchgeführt Filterung kann wie nachstehend beschrieben durchgeführt werden. In einer Implementierung werden Gesten durch den Gestenerkennungsmodul 156 erfasst eine Gruppe von einer oder mehreren Eigenschaften (zB Geschwindigkeit oder Weg) und die Gesten und die Eigenschaften sind in einer Datenstruktur gehalten zugeordnet. Der Filter 158 erkennt, welche der zugeordneten Merkmale seiner Filtereigenschaften zu erfüllen und übergibt die Gesten mit diesen Merkmalen verbunden. Die Gesten, die den Filter 158 passieren kann über eine API oder durch ein ähnliches Verfahren zu einer oder mehreren Anwendungen zurückgegeben. Gesten können anstelle oder zusätzlich zu der Anzeige 138 angezeigt werden und / oder in einem Menü angezeigt (beispielsweise ein Live-Lehr IF-Anwendung).
Wie oben beschrieben, vergleicht der Gestenerkennungsmodul 156 eine detektierte Bewegung eines Objekts mit einer Bibliothek von bekannten Gesten und, falls es eine Übereinstimmung gibt, kehrt die passende Geste. In einer Implementierung wird ein Anwender, Programmierer, Anwendungsentwickler oder eine andere Person Ergänzungen, ändert oder ersetzt die bekannten Gesten mit benutzerdefinierten Gesten. Wenn der Gestenerkennungsmodul 156 erkennt eine benutzerdefinierte Geste, gibt es die Geste eines oder mehrere Programme über eine API (oder ähnlichen Verfahren). In einer Implementierung wird wieder mit Bezug auf 1A, eine Geste-Einstellungen Modul 160 Bildschirme Entschließungs Gesten basierend auf einer Eingabe von Merkmalen, die eine Geste und gibt eine Reihe von Gesten mit passenden Eigenschaften.
Die benutzerdefinierten Eigenschaften können eine beliebige Anzahl von einer Vielzahl von verschiedenen Attributen einer Geste enthalten. (; Kreis vs. swipe zB relativ gerade, gekrümmt) kann beispielsweise die Eigenschaften eines Pfades einer Geste umfassen; Parameter einer Geste (zB eine minimale oder maximale Länge); räumliche Eigenschaften der Geste (z, wobei die Geste tritt eine Raumregion); zeitlichen Eigenschaften der Geste (zB eine minimale oder maximale Dauer der Geste); und / oder eine Geschwindigkeit der Geste (zB eine minimale oder maximale Geschwindigkeit). Die offenbarte Technik ist nicht auf nur diese Attribute, aber, und andere Attribute einer Geste innerhalb des Umfangs der offenbarten Technologie.
Eine Kollision zwischen einer benutzerdefinierten Geste und einem vorbestimmten Geste kann in einer beliebigen Anzahl von Weisen gelöst werden. Ein Programmierer kann beispielsweise angeben, dass eine vorbestimmte Geste ignoriert werden sollen. In einer anderen Implementierung wird eine benutzerdefinierte Geste Vorrang über eine vorbestimmte Geste, dass, falls eine Geste beides übereinstimmt, wird die benutzerdefinierte Geste zurückschickt.
Bei verschiedenen Implementierungen hilft eine Geste Trainingssystem Anwendungsentwickler und / oder Endbenutzer ihre eigenen Gesten zu definieren und / oder anpassen Gesten, ihre Bedürfnisse und Vorlieben – in anderen Worten, um außerhalb des Bereichs der vorprogrammierten gehen, oder "Konserven" Gesten. Die Geste Trainingssystem kann mit dem Benutzer über normale Sprache, zum Beispiel eine Reihe von Fragen zu interagieren, um die Aktion der Nutzer will das System in der Lage sein, zu erkennen, besser zu definieren. Durch die in einer vorher beschriebenen Setup-Prozess der Beantwortung dieser Fragen, definiert der Anwender Parameter und / oder Parameterbereiche für die jeweilige Geste und damit Auflösung von Mehrdeutigkeiten. In vorteilhafter Weise bietet dieser Ansatz zuverlässig Gestenerkennung ohne die algorithmische Komplexität, die normalerweise mit der Notwendigkeit für den Computer, um die Antworten erraten verbunden sind; so hilft es, zu reduzieren Software-Komplexität und Kosten. In einer Implementierung wird, wenn das System trainiert worden ist, um eine bestimmte Geste oder Aktion zu erkennen, kann ein Objekt erzeugen (beispielsweise eine Datei, Datenstruktur etc.) für diese Geste oder eine Aktion, die Erleichterung Erkennung der Geste oder Handlung danach. Die Aufgabe wird durch eine Anwendungsprogrammierschnittstelle (API) verwendet werden und kann durch Entwickler und nicht-Entwickler Benutzern bedient werden. In einigen Implementierungen werden die Daten gemeinsam genutzt oder gemeinsam nutzbare zwischen Entwicklern und nicht-Entwickler Benutzern und dienen zusammen und dergleichen.
In einigen Implementierung ist Geste Ausbildung Konversation, interaktive und dynamische; auf der Grundlage der Antworten der Benutzer gibt, die nächste Frage, oder den nächsten Parameter angegeben werden, ausgewählt werden. Die Fragen können dem Benutzer in visueller oder Audio-Format, zum Beispiel dargestellt werden, als Text auf dem Bildschirm oder über Lautsprecher ausgegeben angezeigt. Benutzerantworten können ebenfalls in verschiedenen Betriebsarten, beispielsweise durch eine Tastatur gegeben werden, über die Texteingabe, die Auswahl der graphischen Benutzerschnittstellenelemente (zB mit einer Maus), Sprachbefehle oder, in einigen Fällen über Grund Gesten, dass das System bereits vertraut zu erkennen. (Z. B. ein "Daumen hoch" oder "Daumen nach unten" Geste verwendet werden, um jede Ja-Nein Frage beantworten) Darüber, wie nachfolgend beispielhaft dargestellt, bestimmte Fragen zu entlocken eine Aktion – insbesondere Leistung ein beispielhafte Geste (zum Beispiel eine typische Geste oder die Extreme einer Reihe von Gesten) – und nicht eine verbale Antwort. In diesem Fall kann das System nutzen, zum Beispiel Ansätze des maschinellen Lernens, um die relevanten Informationen aus den Kamerabildern oder Video-Stream der Erfassung der Aktion zu destillieren.
7 ist ein Flußdiagramm 700, das ein Verfahren zur Personalisierung von Gesten Auslegung für einen bestimmten Benutzer. In einer Ausführung wird ein Verfahren zum Anpassen Geste Auslegung für einen bestimmten Benutzer beschrieben. Das Verfahren umfasst, um einen Benutzer, um Werte für Merkmale einer Geste in Freiraum wählen und Empfangen von ausgewählten Werte für die Merkmale in Aktion 752, die den Benutzer auffordert, bei Aktion 754, um eine charakteristische fokussierte Demonstration der Grenzen der Geste durchführen eine dreidimensionale (3D) Sensorraum, Bestimmen Aktion 756, von dem fokussierten Demonstration der Grenzen, die durch einen elektronischen Sensor, einen Satz von Parametern der Geste, und Speichern des aufgenommenen Satzes von Parametern und der entsprechenden Werte für die Erkennung Gesten Aktion 758.
Es enthält weitere Tests Interpretation einer bestimmten Geste durch den Benutzer auffordert, eine vollständige Geste Demonstration des bestimmten Geste in der 3D-Sensorraum durchzuführen, Bestimmen, aus dem vollständigen Geste Demonstration der elektronische Sensor, einen Satz von Parametern des erfassten die besondere Geste, den Vergleich der Satz von Parametern des besonderen Geste mit entsprechenden Satz aus dem fokussierten Demonstration der Grenzen ermittelten Parameter und ausgewählte Werte für Eigenschaften und Berichterstattung über die Ergebnisse des Vergleichs an den Benutzer und Empfangen einer Bestätigung, ob Interpretation des jeweiligen Geste richtig ist, bei Aktion 760.
Das Verfahren umfasst auch mit Hilfe eines Fragebogens für den Benutzer auffordert, Werte für die Eigenschaften der Geste aus. In einer Implementierung wird der Benutzer aufgefordert, um Werte für die Eigenschaften der Geste mit der Fragebogen umfasst das Empfangen von dem Benutzer einer minimalen Schwellenzeit-Periode für die Geste innerhalb des 3D-Sensorraum, vor dem die Geste nicht interpretiert werden sollen. In einer anderen Implementierung der Durchführung charakteristische fokussierte Demonstration der Grenzen beinhaltet den Benutzer, der eine Hand, die Geste mit einem bestimmten Finger als Geste Konfiguration. Darstellende charakteristische fokussierte Demonstration der Grenzen auch die Benutzer, die eine Faust Geste mit einer Hand als Geste Konfiguration. Darstellende charakteristische fokussierte Demonstration der Grenzen des weiteren den Benutzer, der den Daumen nach oben oder Daumen nach unten Geste mit einer Hand als Geste Form.
In einer Implementierung, Durchführung charakteristische fokussierte Demonstration der Grenzen beinhaltet, so dass der Benutzer den Daumen nach oben oder Daumen nach unten Geste mit einer Hand als Geste Form. Darstellende charakteristische fokussierte Demonstration der Grenzen gehören die Benutzer, einen Pinch-Geste, um eine minimale Geste Abstand als Geste Größe festgelegt, gemäß einer Implementierung. In einer anderen Implementierung der Durchführung charakteristische konzentrierte Demonstration der Grenzen auch die Benutzer, einen winkenden Geste, um eine maximale Entfernung Geste als eine Geste Größe.
In einer weiteren Implementierung, Durchführung charakteristische fokussierte Demonstration der Grenzen gehören die Benutzer einen Finger schnippen-Geste, eine Geste schnellste Bewegung gesetzt. In einer Implementierung, Durchführung charakteristische fokussierte Demonstration der Grenzen schließt der Benutzer, einen winkenden Geste, eine Geste langsamste Bewegung gesetzt. Darstellende charakteristische fokussierte Demonstration der Grenzen beinhaltet den Benutzer, der einen seitlichen Durchlauf, um eine gerade Geste Weg zu bringen. Durchführung charakteristischen fokussierten Demonstration der Grenzen umfasst, der Benutzer, einen kreisförmigen, um einen Sweep kreis Geste Pfad festgelegt, gemäß einer Implementierung.
Die 8A, 8B und 8C zeigen eine Reihe von Fragen und Aufforderungen 800A, 800B und 800C für eine beispielhafte Ausbildung Führungs Fluss in Übereinstimmung mit einer Implementierung. Wie gezeigt, wird der Benutzer zunächst gefragt, wie viele Hände und Finger sind in der Geste an Handlungen beteiligt 852 und 854. Dann stellt das System den gesamten Zeitraum für die Geste von Anfragen über den maximalen und minimalen Mengen an Zeit die Geste kann dauern Aktion 856. Für die minimale Zeitdauer, eine niedrigere Grenz wie einer Sekunde kann bei der Aktion 858 festgelegt werden.
In den nächsten Wechselwirkungen, fordert das System den Benutzer, ob die Größe, Geschwindigkeit und Richtung der Geste Angelegenheit. Wenn die Größe ankommt, wird der Benutzer aufgefordert, die kleinsten und größten angemessenen Bewegungen Aktion 860. Als Ergebnis dieser Demonstration, die automatisch generiert Erkennungs demonstrieren (dh das Objekt erstellt auf der Benutzereingabe während des Trainings auf der Basis) können anschließend zu quantifizieren die Größe einer Geste sowie berechnen eine Geste Ausgang normierte Größe. Relevanten Trainingsparameter sind Parameter, die Bewegung der Bewegung, Pfad, starten und stoppen Punkte, Bogenlänge, etc., und / oder Kombinationen davon, und / oder Parameter aus der vorhergehenden berechnet. Wenn die Größe keine Rolle spielt, ist die Geste immer normalisiert und Größe wird nicht berücksichtigt. Relevanten Trainingsparameter in diesem Fall sind normierte Bewegungsparameter (einschließlich zB Bewegung, Pfad, starten und stoppen Punkte, Bogenlänge, etc., und / oder Kombinationen davon, und / oder Parameter aus der vorhergehenden berechnet).
Wenn die Drehzahl Angelegenheiten, wird der Benutzer aufgefordert, die schnellsten und langsamsten Bewegungen bei Maßnahmen 862. Aus den beobachteten Bewegungen zeigen, kann das System still überprüfen Beschleunigungsbereiche. Die Geschwindigkeits Demonstrationen ermöglichen die automatisch generierten Erkennungsabtriebsdrehzahl (beispielsweise basierend auf einer Fourier-Transformation des zeitlich veränderlichen Geschwindigkeit auf der Geste, die die Identifizierung ermöglicht eine charakteristische Geschwindigkeit aus Daten in der Frequenzdomäne). Entsprechende Ausbildung Parameter umfassen die Translationsdistanz (beispielsweise euklidische Distanz, dh (dx2 + dy2 + DZ2) 1/2) und die Zeitdauer Fenster (dh wie lange die Geste geht zeigt die relevanten Zeitspanne für die Analyse). Wenn die Geschwindigkeit spielt keine Rolle, Gesten sind geschwindigkeits normalisiert. Die zeitlichen Aspekte der Geste zu charakterisieren, ist es Zeit, Raum, dh umgerechnet, mit gleichförmiger Abtastung (zB im Laufe der Zeit einen Punkt auf der Hand bewegt sich in einer Richtung). Die Geste wird dann gestreckt, geschrumpft, und die Vorlagen abgestimmt, um Informationen bezüglich Geschwindigkeit über die Zeit zu extrahieren. Trainingsparameter die Krümmung und Torsion der resultierenden Kurve.
Wenn die Richtung der Geste Sachen, wird der Benutzer aufgefordert, die beiden verschiedenen angemessenen und verschiedene unvernünftig Richtungen Aktion 864. Als Ergebnis zeigen, wird das automatisch erzeugte Erkenner ausgegeben, ob eine Geste emittiert wird aktiviert, der Pegel Sicherheit und / oder Fehler, und / oder Bewegungsparameter (zB Bewegung, Pfad, starten und stoppen Punkte, Bogenlänge, translationale Bereiche usw. und / oder Kombinationen davon, und / oder Parameter aus Kombinationen berechnet daraus). Wenn die Richtung spielt keine Rolle, sind Trainingsparameter einfach Krümmung und Torsion.
Des Weiteren wird der Benutzer gefragt, ob nachlässige Gesten sollte bei der Aktion 466. Wenn so angenommen werden, wobei das System verlangen, dass der Benutzer zeigen eine sehr nachlässig, aber noch akzeptabel Geste. Andernfalls versucht das System, die Grenzen dessen, was durch den Benutzer auffordert, sowohl eine Geste kaum akzeptabel und Gesten, die nicht akzeptabel ist, zeigen akzeptable ermitteln.
Endlich, nach alle relevanten Parameter haben während der Ausbildung festgelegt wurde, die Gestenerkennungsfähigkeiten des Systems werden bei Aktion 868 getestet Der Benutzer kann aufgefordert, eine Geste auszuführen – entweder die eine, die das System nur für ausgebildete erkennen, oder eine andere. Um den Beginn und das Ende der Geste besteht, kann der Benutzer drücken, beispielsweise die Leertaste auf der Tastatur. Nach Leistung einer Geste durch den Benutzer, zeigt das System, ob es erkannte diese Gesten wie die, es wurde zuvor für oder nicht trainiert und Anfrage Bestätigung oder Berichtigung von dem Benutzer. Der Test kann mehrfach wiederholt werden. Ergebnisse aus mehreren Durchläufen kombiniert werden können (beispielsweise gemittelt, etc.) oder eine beste, was man durch den Benutzer ausgewählt werden. Die oben beschriebene Wechselwirkung ist natürlich nur ein Beispiel. Andere Implementierungen können Fragen und / oder Eingabeaufforderungen in einer anderen Reihenfolge zu präsentieren, oder fragen Sie zusätzliche oder andere Fragen.
Die oben beschriebene hierin daher beschriebenen 3D Benutzerinteraktionstechnik ermöglicht es dem Benutzer intuitiv zu steuern und zu manipulieren, die elektronische Vorrichtung und der virtuellen Objekte durch einfaches Durchführen Körpergesten. Weil die Geste-Erkennungssystem erleichtert Rendering von rekonstruierten 3D-Bilder der Gesten mit hoher Nachweisempfindlichkeit werden dynamische Benutzerinteraktionen zur Anzeigesteuerung in Echtzeit, ohne übermäßige Rechenaufwand erreicht. Beispielsweise kann der Benutzer dynamisch zu steuern, die die Beziehung zwischen seiner tatsächlichen Bewegung und die entsprechende Aktion auf dem Bildschirm angezeigt. Darüber hinaus kann das Gerät eine Anzeige auf dem Bildschirm angezeigt werden, um einen Grad der Fertigstellung der Geste des Benutzers in Echtzeit zu reflektieren. Das so offenbarte Stromtechnik ermöglicht dem Benutzer, dynamisch mit virtuellen Objekten auf dem Bildschirm zu interagieren und verbessert den Realismus des virtuellen Umgebung vorteilhaft.
Die Begriffe und Ausdrücke hier verwendet werden als Begriffe und Ausdrücke der Beschreibung und nicht der Beschränkung, und es ist nicht beabsichtigt, in der Verwendung solcher Begriffe und Ausdrücke, jegliche Äquivalente der gezeigten und beschriebenen Merkmale oder Teile davon. Darüber hinaus haben beschriebenen bestimmten Ausführungen der offenbarten Technologie, wird es für den Durchschnittsfachmann auf dem Gebiet, dass andere Implementierungen unter Berücksichtigung der darin offenbarten Konzepte können, ohne von dem Geist und Umfang der offenbarten Technologie benutzt werden kann. Dementsprechend sind die beschriebenen Ausführungen in jeder Hinsicht nur als veranschaulichend und nicht einschränkend betrachtet werden.
Spezielle Implementierungen
Bei einer Implementierung wird ein Verfahren zur Unterscheidung von nahe sinn Gesten nicht sinn Gesten in einer dreidimensionalen (3D) Sensorraum beschrieben. Das Verfahren umfasst Scheidungs Handgelenk und Fingerfertigkeit aus einer Gesamt Trajektorie eines Armgeste während sich der Arm in Bewegung durch Erfassen von Positionen des Arms und unter Verwendung eines elektronischen Sensors angebracht Handgelenks und der Finger in einem 3D-Sensorraum, das Berechnen von einer Reihe des detektierten positioniert einen räumlichen Flugbahn eines winke Geste durch den Arm ausgeführt wird, die Berechnung von den erfassten Positionen räumlichen Flugbahnen der Biege Gesten des Handgelenks und / oder die Finger, und Bestimmen, ob die winkenden Geste dominiert die Walk Gesten basierend auf Größenordnungen der jeweiligen räumlichen Trajektorien. Am Handgelenk und Fingerbiegung bezieht sich auf eine nach innen und / oder nach außen gerichtete Bewegung der Finger aufeinander zu und / oder weg von einem Handgelenk. In einer anderen Implementierung wird eine winkenden Geste durch einen Arm ausgeführt, bezieht sich auf eine nach innen und / oder außen Verlängerung des Arms von Seite zu Seite. Das Verfahren umfasst ferner das Auslösen einer Reaktion auf die dominante Geste, ohne selbst eine Reaktion auf die nicht-dominante Geste.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie. Im Interesse der Prägnanz, die Kombinationen von Merkmalen in dieser Anmeldung offenbart sind, nicht einzeln aufgelistet und werden nicht mit jedem Basissatz von Funktionen wiederholt. Der Leser wird verstehen, wie Optionen in diesem Abschnitt identifiziert leicht mit Sätzen von Basisfunktionen, wie Implementierungen identifiziert kombiniert werden.
Bei einer Implementierung die Größe des räumlichen Flugbahn des winkenden Geste zumindest zum Teil durch einen Abstand in der Leistung des winkenden Geste verfahren bestimmt. In anderen Implementierungen können die Größen der räumlichen Trajektorien der Walk Gesten werden mindestens teilweise durch eine Skala von Kräuseln der Finger bestimmt.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer anderen Implementierung wird ein Verfahren zur Unterscheidung zwischen zwei gleichzeitige Gesten von einem einzelnen Objekt in einem 3D-Sensorraum Ursprung beschrieben. Das Verfahren umfasst Scheidungs Handgelenk und Fingerfertigkeit aus einer Gesamt Trajektorie eines Armgeste während sich der Arm in Bewegung durch Erfassen von Positionen des Armes und befestigt Handgelenks und der Finger in einem 3D-Sensorraum unter Verwendung eines elektronischen Sensors, das Berechnen von einer Reihe des detektierten positioniert einen räumlichen Flugbahn eines winke Geste durch den Arm, wobei Größe der räumlichen Flugbahn zumindest teilweise um einen Abstand in der Leistung des winkenden Geste quert bestimmt ausgeführt Berechnung räumlichen Flugbahnen der Biege Gesten des Handgelenks und / oder Finger, wobei Größen der räumlichen Trajektorien zumindest teilweise durch eine Skala von Kräuseln der Finger und Freiheitsgrade zwischen den Fingern, und Auswerten Größen der jeweiligen räumlichen Trajektorien bestimmt und Bestimmen einer dominierenden Geste basierend auf Größenordnungen der räumlichen Trajektorien. Am Handgelenk und Fingerbiegung bezieht sich auf eine nach innen und / oder nach außen gerichtete Bewegung der Finger aufeinander zu und / oder weg von einem Handgelenk. In einer anderen Implementierung wird eine winkenden Geste durch einen Arm ausgeführt, bezieht sich auf eine nach innen und / oder außen Verlängerung des Arms von Seite zu Seite. Das Verfahren umfasst ferner das Auslösen einer Reaktion auf die Gesamtrichtung abhängig von der dominanten Geste.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer anderen Implementierung wird ein Verfahren zum gleichmäßigen Reaktion auf Eingaben von Gesten eines Benutzers unabhängig von einer Position des Benutzers in einer 3D-Sensorraum beschrieben. Das Verfahren umfasst die automatische Anpassung eines Reaktions Skala zwischen Gesten in einem physischen Raum und die daraus resultierenden Reaktionen in einer gestisch-Schnittstelle durch die Berechnung Abstand eines Steuerobjekt von einer Kamera elektronisch an die gestisch-Schnittstelle gekoppelt, Skalierung eine scheinbare Winkel durch Bewegung in der Kamera Sichtfeld durchquert zu einer skalierten Bewegungsstrecke basierend auf der Steuerobjektabstand von der Kamera, und automatisch Dosieren Antworten auf die skalierten Bewegungsstrecke von Gesten in den physischen Raum, statt die scheinbare Winkel durchlaufen.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie.
Das Verfahren umfasst auch das Verringern Bildschirm Ansprechempfindlichkeit der Gestik-Schnittstelle, wenn der scheinbare Winkel überquert unterhalb eines Schwellenwertes. Das Verfahren ferner das Amplifizieren Bildschirm Ansprechempfindlichkeit der Gestik-Schnittstelle, wenn der scheinbare Winkel überquert über einem Schwellenwert ist.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer anderen Implementierung wird ein Verfahren zum Einstellen der Ansprechempfindlichkeit des virtuellen Objekte einer Gestik-Schnittstelle in einem 3D-Sensorraum beschrieben. Das Verfahren umfasst das automatische Einstellen eines Reaktions Skala zwischen Gesten in einem physikalischen Raum und daraus resultierenden Reaktionen von virtuellen Objekten in einer Gestik-Schnittstelle durch Berechnung eines virtuellen Objekts Dichte der Gestik-Schnittstelle basierend auf einem numerosity der virtuellen Objekte und automatisches Proportionieren Bildschirm Ansprechempfindlichkeit die virtuellen Objekte mit den Gesten, die auf das virtuelle Objekt Dichte in der Gestik-Schnittstelle.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie.
Das Verfahren umfasst auch das eine geringe Ansprechempfindlichkeit der virtuellen Objekte auf dem Bildschirm automatisch Angabe in Reaktion auf eine bestimmte Geste, wenn der Gehalt Dichte über einem Schwellenwert liegt. Das Verfahren umfasst ferner automatisch eine hohe Ansprechempfindlichkeit von virtuellen Objekten auf dem Bildschirm in Reaktion auf die Angabe der bestimmten Geste, wenn der Gehalt Dichte unter einem Schwellenwert liegt.
In noch einer anderen Implementierung wird ein Verfahren zum gleichmäßigen Reaktion auf gestural Eingänge von mehreren Benutzern in einem 3D-Sensorraum beschrieben. Das Verfahren umfasst das automatische Anpassen einer Reaktions Skala zwischen Gesten in einem physikalischen Raum von mehreren Benutzern und die resultierenden Reaktionen in einem gemeinsamen Gestik-Schnittstelle durch die Berechnung eines Benutzers Abstand innerhalb eines 3D-Sensorraum basierend auf einem Abstand der Benutzer in dem 3D-Sensorraum erkannt und automatisch Proportionieren Bildschirm Ansprechbarkeit des freigegebenen gestural Schnittstelle als Reaktion auf die Benutzer Abstand beim Interpretieren Bewegungsstrecken der Gesten im physikalischen Raum.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
In noch einer anderen Implementierung wird ein Verfahren zum Erfassen, wenn ein Benutzer bestimmt ist, mit einem virtuellen Objekt in einem 3D-Sensorraum zu interagieren, beschrieben. Das Verfahren umfasst das Erfassen einer Geste eines Klickfinger in einem 3D-Sensorraum unter Verwendung eines elektronischen Sensors und Bestimmen, ob die Maustaste Geste als Interaktion mit einem virtuellen Objekts in der 3D-Sensorraum in Abhängigkeit von einem Grad der Fertigstellung des Einrastvorsprungs Geste interpretiert. Ein Klick Geste eines Fingers bezieht sich auf eine nach unten oder oben Erweiterung eines Fingers, während ein anderer Finger bleibt längere oder gewellt. Die Bestimmung umfasst Berechnen einer Entfernung von dem Finger in der Leistung des Klick Geste durchzogen, den Zugriff auf eine Datenbank, eine Geste Geste Fertigstellungswert für die berechnete Abstand entsprechend der Klick Geste zu bestimmen, und in Anerkennung der Klick Geste als Manipulation des virtuellen Objekts, die auf die Geste Abschluss Wert Kreuzung ein Schwellenwert.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie.
In einer Implementierung, die Geste Datenbank enthält Trajektorien von verschiedenen Gesten und entsprechende Geste Abschluss Werte. In einer anderen Ausführung umfasst das Verfahren die Berechnung des Ausmaßes der Fertigstellung des Einrastvorsprungs Geste durch Vergleichen einer räumlichen Flugbahn des Klick Geste mindestens einem Raumtrajektorie im Gestendatenbank gespeichert. Es schließt auch das Messen der Vollständigkeitsgrad des Einrastvorsprungs Geste durch Verknüpfung Leistung des Klick Geste zu einem Schnittstellenelement, das die virtuelle Steuerung und Modifizierung des Oberflächenelements in Echtzeit, während das Klick Geste ausgeführt wird. In noch einer anderen Implementierung kann das Verfahren ferner einen hohlen, kreisförmigen Symbol als ein Schnittstellenelement und Modifizieren des Symbols in Echtzeit durch die schrittweise in Reaktion auf die Klick Geste füllen.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer Ausführungsform umfasst ein Verfahren zum Erkennen, ob ein Benutzer bestimmt ist, mit einem virtuellen Objekt in einem 3D-Sensorraum zu interagieren, beschrieben. Das Verfahren umfasst Detektieren einer Geste eines Klickfinger in einem 3D-Sensorraum unter Verwendung eines elektronischen Sensors, Aktivieren eines Indikators auf dem Bildschirm, Anzeigen einer Fertigstellungsgrad des Einrastvorsprungs Geste als Reaktion auf Erfassung des Klickbewegung, und die Änderung eines virtuellen Objektes in Reaktion auf die Grad der Fertigstellung des Klick Geste einen Schwellenwert übersteigt. Ein Klick Geste eines Fingers bezieht sich auf eine nach unten oder oben Erweiterung eines Fingers, während ein anderer Finger bleibt längere oder gewellt.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer anderen Ausführungsform wird ein Verfahren zur Manipulation eines virtuellen Objekts in einem 3D-Sensorraum beschrieben. Das Verfahren umfasst die Auswahl eines virtuellen Objekts eines Gestenschnittstelle in Antwort auf das Detektieren ein Klick Geste eines Fingers in einem 3D-Raum und sensorische Erfassung eines nachfolgenden Zeigegeste des Fingers in der 3D-Sensorraum, während die virtuelle Objekt ausgewählt bleibt und zum Berechnen eines Kraft Vektor der Zeigegeste. Ein Lecken Geste eines Fingers bezieht sich auf eine nach unten oder oben Erweiterung eines Fingers, während ein anderer Finger bleibt längere oder gewellt. In einer anderen Implementierung wird der Betrag des Kraftvektors auf einer Entfernung von dem Finger in der Leistung der Zeigegeste und einer Geschwindigkeit des Fingers während der Ausführung des Zeigegeste quert basiert. Das Verfahren umfasst ferner die Anwendung der Kraftvektor auf dem virtuellen Objekt und Modifizieren des virtuellen Objekts, wenn die Größe des Kraftvektor einen Schwellenwert übersteigt.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie.
Bei einer Implementierung ist die Modifikation des virtuellen Objekts ein Ändern einer Form des virtuellen Objekts. In einer anderen Implementierung kann die Modifikation des virtuellen Objekts ein Ändern einer Position des virtuellen Objekts.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer anderen Implementierung wird ein Verfahren zur Erzeugung von Schnittstellenelemente in einem 3D-Sensorraum beschrieben. Das Verfahren umfasst das Erfassen einer Kreislauf eines Fingers in einem 3D-Sensorraum unter Verwendung eines elektronischen Sensors, Konstruieren einer Bildschirmtaste einer Gestik-Schnittstelle, die auf dem Kreislauf, Erfassen einer anschließenden seitlichen Streichvorgang des Fingers in der 3D-Sensorraum, und Registrieren einer Betätigung der Taste auf dem Bildschirm in Reaktion auf die nachfolgende seitlichen Streichvorgang und zum Durchführen wenigstens einer zugehörigen Funktion. Ein Kreislauf eines Fingers bezieht sich auf eine im Uhrzeigersinn oder gegen den Uhrzeigersinn Bewegung des Fingers im freien Raum. In einer anderen Implementierung kann eine seitliche Schleife mit einem Finger bezieht sich auf eine Vorwärts- oder Rückwärtsbewegung des Fingers mit der Fingerspitze in Richtung zu einer Steuerung auf dem Bildschirm.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie.
Bei einer Implementierung ist die zugehörige Funktion auf der Basis einer Rahmen der Gestik-Schnittstelle ausgewählt. In einer anderen Implementierung wird die zugehörige Funktion auf der Basis einer Position des Tasters auf dem Bildschirm auf der Gestik-Schnittstelle ausgewählt. Das Verfahren umfasst auch die Interpretation der seitlichen Streich als linke Maustaste, wenn zumindest ein Schwellenwert für seine Bewegung in einer Richtung der Finger zeigt. Es umfasst ferner die Interpretation der seitlichen Streich wie die rechte Maustaste, wenn zumindest ein Schwellenwert für seine Bewegung in einer Richtung entgegengesetzt zu der der Finger zeigt.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer anderen Implementierung wird ein Verfahren zur Erzeugung von Schnittstellenelemente in einem 3D-Sensorraum beschrieben. Das Verfahren umfasst das Erfassen einer Zwei-Finger vertikalen Durchgang in einem 3D-Sensorraum, Konstruieren einer vertikalen Gleitstange in einer Gestik-Schnittstelle, die auf das Zweifinger vertikalen Durchgang, Erfassen einer nachfolgenden Ein-Finger vertikalen Durchgang in der 3D-Sensorraum in der Nähe des vertikale Bildlaufleiste, und Scrollen der vertikalen Bildlaufleiste, die auf die Ein-Finger vertikalen Schwung und Durchführen mindestens einer zugehörigen Funktion. Ein Zwei-Finger vertikal Sweep bezieht sich auf eine Aufwärts- oder Abwärtsbewegung der zwei Finger einer Hand im freien Raum, während andere Finger der Hand zusammengerollt werden. In einer anderen Implementierung bezieht sich eine Ein-Finger vertikalen Durchgang zu einer Aufwärts- oder Abwärtsbewegung eines Fingers einer Hand, im freien Raum, während die anderen Finger der Hand sind gewellt.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie.
Bei einer Implementierung ist die zugehörige Funktion auf der Basis einer Rahmen der Gestik-Schnittstelle ausgewählt. In einer anderen Implementierung wird die zugehörige Funktion auf der Basis einer Stelle der vertikalen Schieber auf der Gestik-Schnittstelle ausgewählt.
Bei noch einer weiteren Ausführung wird ein Verfahren zum Manipulieren eines Graustufenauswahl-Widget in Freiform Gesten in einer 3D-Sensorraum beschrieben. Das Verfahren beinhaltet die Verknüpfung ein Graustufenauswahl Widget auf einem Puck auf dem Bildschirm durch Modifizieren Grauwerte auf Graustufenauswahl-Widget auf die Bewegung des Pucks auf dem Bildschirm. Es beinhaltet Ändern einer Position des Pucks auf dem Bildschirm in Reaktion auf Erfassen eines Finger Ausklopfen Geste in einem 3D-Sensorraum unter Verwendung eines elektronischen Sensors und die Auswahl eines bestimmten Grauwertes auf Graustufenauswahl-Widget entsprechenden X- oder Y-Position der Scheibe auf dem Bildschirm,. Ein Finger Ausklopfen Geste bezieht sich auf eine erste Finger sich in einer Halteposition in Bezug auf eine zweite feinere folgte eine schnelle Bewegung des zweiten Fingers von dem ersten Finger.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei noch einer weiteren Ausführung wird ein Verfahren zur Manipulation von mehreren Steuerelementen eines Gestenschnittfreiform Gesten in einer dreidimensionalen (3D) Sensorraum beschrieben. Das Verfahren beinhaltet die Verknüpfung eine Anzeigeeinstellung und Graustufenauswahl Widget auf einem Puck auf dem Bildschirm, indem Sie einen Helligkeitswerte für die Anzeigeeinstellung Widget und einer Grauwert auf dem Graustufenauswahl-Widget auf die Bewegung des Pucks auf dem Bildschirm. Es beinhaltet Ändern einer Position des Pucks auf dem Bildschirm in Reaktion auf Erfassen eines Finger Ausklopfen Geste in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors und das Auswählen einer bestimmten Helligkeitswert und Graustufenwert entsprechend x und y-Position des auf -Bildschirm Puck.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
In noch einer anderen Implementierung wird ein Verfahren zur Erzeugung von Schnittstellenelemente in einem 3D-Sensorraum beschrieben. Das Verfahren umfasst das Erfassen einer Kreislauf eines Fingers in einem 3D-Sensorraum unter Verwendung eines elektronischen Sensors, Konstruieren eines Pucks auf dem Bildschirm in einer Gestik-Schnittstelle, die auf dem Kreislauf, Erfassen einer nachfolgenden Wirbelbewegung des Fingers in der 3D-Sensorraum, und Drehen des Bildschirm Puck ansprechend auf die anschließende Verwirbelung und Durchführen mindestens einer zugehörigen Funktion. Ein Kreislauf eines Fingers bezieht sich auf eine im Uhrzeigersinn oder gegen den Uhrzeigersinn Bewegung des Fingers im freien Raum. In einer anderen Implementierung Wirbelbewegung des Fingers bezieht sich auf ein wiederholt durchgeführt im Uhrzeigersinn oder gegen den Uhrzeigersinn Bewegung des Fingers im freien Raum in Verbindung mit einer Aufwärts- oder Abwärtsbewegung des Fingers.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer Ausführungsform umfasst ein Verfahren zum Unterscheiden zwischen interessante Gesten aus nicht interessant Gesten in einer dreidimensionalen (3D) Sensorraum beschrieben. Das Verfahren umfasst das Empfangen einer Eingabe der Definition Objektmerkmale von einem oder mehreren Referenz Gestik, Erfassen eines oder mehrerer Ist-Bewegungen in einer dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors und der Bestimmung der tatsächlichen Eigenschaften unter Verwendung von Daten aus dem elektronischen Sensor, Vergleich der Ist-Gesten gegen die Referenz Gesten, um eine Reihe von Gesten der Zinsen und die Bereitstellung der Satz von Gesten von Interesse und entsprechende Geste Parameter ein weiteres Verfahren zu bestimmen.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie. Im Interesse der Prägnanz, die Kombinationen von Merkmalen in dieser Anmeldung offenbart sind, nicht einzeln aufgelistet und werden nicht mit jedem Basissatz von Funktionen wiederholt. Der Leser wird verstehen, wie Optionen in diesem Abschnitt identifiziert leicht mit Sätzen von Basisfunktionen, wie Implementierungen identifiziert kombiniert werden.
In einer Implementierung, wenn ein Referenzmerkmal ist Geste Weg, tatsächliche Gesten mit geraden Wegen, wie seitliche Durchläufe werden als der Satz von Gesten von Interesse interpretiert. Wenn eine Referenzkennlinie ist Geste Geschwindigkeit, werden die tatsächlichen Gesten mit hohen Geschwindigkeiten als der Satz von Gesten von Interesse gemäß einer Implementierung interpretiert. Wenn eine Referenzkennlinie ist Geste Konfiguration werden tatsächliche Gesten gemacht unter Verwendung einer Hand, die mit einem bestimmten Finger als der Satz von Gesten von Interesse gemäß einer Implementierung interpretiert. Wenn eine Referenzkennlinie ist Geste Konfiguration werden tatsächliche Gesten Hände machen eine Faust als der Satz von Gesten von Interesse gemäß einer Implementierung interpretiert.
In einer anderen Implementierung, wenn ein Referenzmerkmal ist Geste Form, sind tatsächliche Gesten der Hände mit Daumen-up als die Menge der Gesten von Interesse interpretiert. Wenn eine Referenzkennlinie ist Geste Länge, winken Gesten als die Menge der Gesten von Interesse gemäß einer Implementierung interpretiert. In noch einer anderen Implementierung kann, wenn ein Referenzcharakteristik Geste Position werden tatsächliche Bewegungen innerhalb eines Schwellen Nähe der elektronischen Sensor als Satz von Gesten interessiere interpretiert. Wenn ein Referenzcharakteristik Geste Dauer tatsächlichen Bewegungen innerhalb des 3D-Sensorraum für eine Schwellenzeitperiode als der Satz von Gesten von Interesse nicht auf tatsächliche Bewegungen innerhalb des 3D-Sensorraum zur Zeitperiode kleiner als die Schwellenzeitperiode interpretiert.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
Bei einer anderen Ausführungsform wird ein Verfahren zum Anpassen Geste Auslegung für einen bestimmten Benutzer beschrieben. Das Verfahren umfasst, Auffordern eines Benutzers, um Werte für Eigenschaften einer Geste Freiraum wählen und Empfangen gewählten Werte für die, die den Benutzer auffordert, eine charakteristische fokussierten Demonstration der Grenzen der Geste in einem dreidimensionalen (3D) auszuführen Sensorraum Bestimmen, aus dem fokussierten Demonstration der Grenzen, die durch einen elektronischen Sensor, einen Satz von Parametern der Geste, und Speichern des Satzes von Parametern und die entsprechenden Werte für die Erkennung Gesten erfasst.
Dieses Verfahren und andere Implementierungen der offenbarten können einen oder mehrere der folgenden in Verbindung mit bart zusätzliche Verfahren beschriebenen Merkmale und / oder Merkmale sind Technologie.
Das Verfahren umfasst auch mit Hilfe eines Fragebogens für den Benutzer auffordert, Werte für die Eigenschaften der Geste aus. In einer Implementierung wird der Benutzer aufgefordert, um Werte für die Eigenschaften der Geste mit der Fragebogen umfasst das Empfangen von dem Benutzer einer minimalen Schwellenzeit-Periode für die Geste innerhalb des 3D-Sensorraum, vor dem die Geste nicht interpretiert werden sollen. In einer anderen Implementierung der Durchführung charakteristische fokussierte Demonstration der Grenzen beinhaltet den Benutzer, der eine Hand, die Geste mit einem bestimmten Finger als Geste Konfiguration. Darstellende charakteristische fokussierte Demonstration der Grenzen auch die Benutzer, die eine Faust Geste mit einer Hand als Geste Konfiguration. Darstellende charakteristische fokussierte Demonstration der Grenzen des weiteren den Benutzer, der den Daumen nach oben oder Daumen nach unten Geste mit einer Hand als Geste Form.
In einer Implementierung, Durchführung charakteristische fokussierte Demonstration der Grenzen beinhaltet, so dass der Benutzer den Daumen nach oben oder Daumen nach unten Geste mit einer Hand als Geste Form. Darstellende charakteristische fokussierte Demonstration der Grenzen gehören die Benutzer, einen Pinch-Geste, um eine minimale Geste Abstand als Geste Größe festgelegt, gemäß einer Implementierung. In einer anderen Implementierung der Durchführung charakteristische konzentrierte Demonstration der Grenzen auch die Benutzer, einen winkenden Geste, um eine maximale Entfernung Geste als eine Geste Größe.
In einer weiteren Implementierung, Durchführung charakteristische fokussierte Demonstration der Grenzen gehören die Benutzer einen Finger schnippen-Geste, eine Geste schnellste Bewegung gesetzt. In einer Implementierung, Durchführung charakteristische fokussierte Demonstration der Grenzen schließt der Benutzer, einen winkenden Geste, eine Geste langsamste Bewegung gesetzt. Darstellende charakteristische fokussierte Demonstration der Grenzen beinhaltet den Benutzer, der einen seitlichen Durchlauf, um eine gerade Geste Weg zu bringen. Durchführung charakteristischen fokussierten Demonstration der Grenzen umfasst, der Benutzer, einen kreisförmigen, um einen Sweep kreis Geste Pfad festgelegt, gemäß einer Implementierung.
Es enthält weitere Tests Interpretation einer bestimmten Geste durch den Benutzer auffordert, eine vollständige Geste Demonstration des bestimmten Geste in der 3D-Sensorraum durchzuführen, Bestimmen, aus dem vollständigen Geste Demonstration der elektronische Sensor, einen Satz von Parametern des erfassten die besondere Geste, den Vergleich der Satz von Parametern des besonderen Geste mit entsprechenden Satz aus dem fokussierten Demonstration der Grenzen ermittelten Parameter und ausgewählte Werte für Eigenschaften und Berichterstattung über die Ergebnisse des Vergleichs an den Benutzer und Empfangen einer Bestätigung, ob Interpretation des jeweiligen Geste ist richtig.
Andere Implementierungen können einen nicht transitorischen Computerlesbares Speichermedium das Anweisungen speichert, die durch einen Prozessor auf einem der oben beschriebenen Verfahren auszuführen. Noch eine andere Ausführung kann ein System, das Speicher und eine oder mehrere Prozessoren betriebsfähig ist, um Anweisungen auszuführen, die in dem Speicher gespeicherte Informationen enthalten, um eines der oben beschriebenen Verfahren auszuführen.
In einem weiteren Aspekt wird ein Maschinenimplementiertes Verfahren zum Erkennen von Gesten enthält Auffordern für die Eingabe einer oder mehrerer Eigenschaften weitgehend Definieren einer Geste in Freiraumübermitteln von Informationen an eine Maschine unabhängig von Oberflächenkontakt, Empfangen der Eingabe der einen oder mehreren Eigenschaften, Bestimmen, aus dem Eingang empfangen, einen Satz von Trainingsparametern definieren, die Geste, woraufhin zumindest ein Beispiel der Geste, Bestimmen aus dem mindestens ein Beispiel der Geste einen Satz von Werten entsprechend dem Satz von Trainingsparametern, und Bereitstellen des Satzes von Werten zu einem Speicher zum Erkennen von Gesten. Das Verfahren kann das Speichern eines Satzes von Objektparameter mindestens ein Objekt darstellbaren auf einem berührungslosen Display und mit der Geste zugeordnet definieren.
Die Bestimmung, aus dem Beispiel (e) der Geste kann ein Satz von Werten entsprechend dem Satz der Trainingsparameter das Bestimmen, ob wenigstens einer aus dem Satz von Trainingsparameter zumindest teilweise basierend auf dem einen oder zu normalisieren Weitere Eigenschaften, und gegebenenfalls, ob wenigstens einer aus dem Satz von Trainingsparameter zumindest teilweise basierend auf den ein oder mehrere Merkmale zu ignorieren (welches beinhalten kann Information, die anzeigt, ob eine Größe der Geste ist wichtig). Der Satz von Trainingsparametern definieren die Geste kann auch mindestens einen Parameter, der mindestens eine Bewegung der Geste. Eingabeaufforderung für mindestens ein Beispiel für die Geste kann das Eingabeaufforderung für einen angemessenen kleinste Bewegung oder Eingabeaufforderung für einen angemessenen größte Bewegung.
Bei einem anderen Aspekt bezieht sich die offenbarte Technologie auf einen nicht transitorischen maschinenlesbares Medium, das eine oder mehrere Anweisungen, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren folgende Schritte aus: Auffordern für die Eingabe eine oder mehrere Eigenschaften breit definiert, eine Geste in Freiraumübermitteln von Informationen an eine Maschine unabhängig von Oberflächenkontakt, Empfangen der Eingabe der einen oder mehreren Eigenschaften, Bestimmen, aus dem Eingang empfangen, einen Satz von Trainingsparametern definieren, die Geste, woraufhin zumin mindestens ein Beispiel der Geste, Bestimmen aus dem mindestens ein Beispiel der Geste einen Satz von Werten entsprechend dem Satz von Trainingsparametern und Bereitstellen des Satzes von Werten zu einem Speicher zum Erkennen von Gesten.
In einem weiteren Aspekt offenbart die Technik betrifft ein Verfahren zum Steuern der dynamischen Interaktionen des Benutzers mit einem Gerät. In repräsentativen Implementierungen umfasst das Verfahren Aufzeichnen mehrerer zeitlich aufeinanderfolgenden Bildern des Benutzers; rechnerisch Analyse der Bilder des Benutzers, eine Benutzergeste erkennen und zu identifizieren eine Skala zugeordnet ist, wobei die Skala anzeigt, einer bei der Ausführung des Gestenquert tatsächlichen Geste Distanz; rechnerisch Bestimmen eines Verhältnisses zwischen dem Maßstab und einem angezeigten Bewegung entsprechend einer Aktion, die auf der Vorrichtung angezeigt wird; Anzeigen der Aktion auf dem Gerät auf der Grundlage des Verhältnisses; und Einstellen des Verhältnisses auf der Basis eines externen Parameters. Der externe Parameter kann die tatsächliche Geste Entfernung oder das Verhältnis einer Pixelabstand in den aufgenommenen Bildern entsprechen, um die Leistung der Geste der Größe in Pixeln des Anzeigebildschirms ist.
Bei verschiedenen Implementierungen kann die Analyse der Bilder des Benutzers umfasst (i) Identifizieren von Formen und Positionen von einem oder mehreren Teilen des menschlichen Körpers in den Bildern, und (ii) Rekonstruieren einer Position und einer Form der menschlichen Körperteils im 3D-Raum auf der Basis Korrelationen zwischen den identifizierten Formen und Positionen des Körperteils in den Bildern. Bei einer Implementierung ist die Analyse der Bilder des Benutzers ferner das zeitlich Kombinieren der rekonstruierten Positionen und Formen des Körperteils im 3D-Raum. Zusätzlich kann das Verfahren umfassen, die eine 3D-Modell des Körperteils und Rekonstruieren der Position und der Form des Körperteils im 3D-Raum auf der Basis des 3D-Modells.
Die Waage kann durch einen Vergleich der erkannten Geste mit Datensätzen in einer Geste Datenbank und der Datenbank-Geste kann eine Reihe von elektronisch gespeicherten Datensätzen jeweils über eine Geste auf einen Eingangsparameter sind, identifiziert werden. Zusätzlich können die Gesten in den Aufzeichnungen als Vektoren gespeichert werden.
Bei einem anderen Aspekt bezieht sich die offenbarte Technik auf ein System, was eine dynamische Benutzerinteraktionen mit einer Vorrichtung mit einem Anzeigebildschirm. In verschiedenen Implementierungen weist das System eine oder mehrere Kameras auf ein Sichtfeld ausgerichtet sind; eine oder mehrere Quellen, um auf den Benutzer in das Blickfeld zu lenken Beleuchtung; eine Gestendatenbank mit einer Reihe von elektronisch gespeicherten Datensätze, wobei jeder der Belege eine Geste zu einem Eingangsparameter; und ein Bildanalysegerät zu der Kamera und der Datenbank gekoppelt ist. In einer Implementierung wird der Bildanalysator konfiguriert ist, die Kamera zu bedienen, um mehrere zeitlich aufeinander folgenden Bildern des Benutzers zu erfassen, die Bilder der Benutzer eine Geste durch den Benutzer erkennen zu analysieren, und zum Vergleich der erkannten Geste mit den Datensätzen in der Datenbank, um Geste identifizieren einen Eingabeparameter zugeordnet ist; der Eingangsparameter entspricht einer Handlung für die Anzeige auf dem Anzeigebildschirm in Übereinstimmung mit dem Verhältnis zwischen einer in der Leistung der Geste quert tatsächlichen Geste Abstand und dem angezeigten Bewegung entsprechend der Aktion, und dem Bildanalysegerät stellt das Verhältnis auf der Basis eines externen Parameters.
Der Bildanalysator kann weiter (i) konfigurierbar identifizieren Formen und Positionen eines oder mehrerer Teile eines menschlichen Körpers in den Bildern des Benutzers und (ii) zu rekonstruieren, eine Position und eine Form des Teils des menschlichen Körpers, im 3D-Raum auf der Basis von Korrelationen zwischen den identifizierten Formen und Positionen des Körperteils in den Bildern des Benutzers. Darüber hinaus kann der Bildanalysator konfiguriert, um ein 3D-Modell des Körperteils zu definieren, und rekonstruieren die Position und die Form des Körperteils im 3D-Raum auf der Basis des 3D-Modells ist. In einer Implementierung wird der Bildanalysator konfiguriert ist, eine Trajektorie des Körperteils im 3D-Raum zu schätzen.
Der externe Parameter kann die tatsächliche Geste Entfernung oder das Verhältnis der Pixelabstand in den aufgenommenen Bildern entsprechen, um die Leistung der Geste der Größe in Pixeln des Anzeigebildschirms ist. Das Verhältnis kann lokal in jeder Geste und in jeder Geste Datensatz in der Datenbank gespeichert werden; oder das Verhältnis kann stattdessen global über alle Gesten im Gesten Datenbank sein.
Ein weiterer Aspekt der offenbarten Technologie bezieht sich auf ein Verfahren zur dynamischen Darstellung von Benutzerinteraktionen mit einem Gerät. In repräsentativen Implementierungen umfasst das Verfahren (i) Aufzeichnen mehrerer zeitlich aufeinanderfolgenden Bildern des Benutzers, (ii) rechnerisch Analyse der Bilder des Benutzers, eine Benutzergeste erkennen, (iii) Vergleichen der erkannten Geste mit den Aufzeichnungen in einer Gestendatenbank zu identifizieren, die Geste, (iv) Bestimmen einer rechnerisch Grad der Fertigstellung der erkannten Geste, und (v) Modifizieren von Inhalten einer Anzeige der Vorrichtung in Übereinstimmung mit dem bestimmten Grad der Fertigstellung. Der Inhalt kann ein Symbol, eine Bar, einen Farbverlauf oder eine Farbhelligkeit enthalten.
Bei verschiedenen Implementierungen kann das Verfahren das Wiederholen der Aktionen (i)–(v), bis die Fertigstellungsgrad einen vorbestimmten Schwellenwert übersteigt, und danach verursacht das Gerät eine Beendigung ausgelöste Maßnahmen zu ergreifen. In einer Implementierung Analysieren des Bildes des Nutzers das Identifizieren Formen und Positionen von einem oder mehreren Teilen des Körpers des Benutzers in den Bildern. Bei einigen Implementierungen umfasst das Verfahren weiter Anzeigen einer Aktion, die auf das Geste entsprechend einem physikalischen Simulationsmodells und basierend auf dem Grad der Geste Fertigstellung. Die dargestellten Maßnahmen können ferner auf einem Bewegungsmodell, das konstruiert basiert auf einem simulierten Körperkraft, Schwerkraft und / oder einer Reibungskraft basieren.
Bei noch einem weiteren Aspekt bezieht sich die offenbarte Technik auf ein System, was eine dynamische Benutzerinteraktionen mit einem Gerät. Bei einigen Implementierungen beinhaltet das System eine oder mehrere Kameras zu einem Sichtfeld ausgerichtet sind; eine oder mehrere Quellen (beispielsweise eine Lichtquelle und / oder eine Schallquelle) zum Richten von Beleuchtung auf dem Benutzer in das Blickfeld; eine Gestendatenbank mit einer Reihe von elektronisch gespeicherten Aufzeichnungen, von denen jede eine Geste; und ein Bildanalysegerät mit der Kamera gekoppelt. In einer Implementierung wird der Bildanalysator konfiguriert ist, die Kamera zu bedienen, um mehrere Bilder des Benutzers zu erfassen, die Bilder des Benutzers zu analysieren, um eine Benutzergeste erkannt, Vergleichen der erkannten Geste Datensätze in einer Gestendatenbank, um die Geste zu identifizieren, zu bestimmen, einen Abschluss nach Abschluss der erkannten Geste, und zeigt eine Anzeige auf einem Bildschirm der Vorrichtung Reflektieren des ermittelten Grades der Fertigstellung. Der Indikator kann ein Symbol, eine Bar, einen Farbverlauf oder eine Farbhelligkeit enthalten.
Bei verschiedenen Implementierungen wird die Bildanalysator ausgelegt, zu bestimmen, ob der Grad der Fertigstellung einen vorbestimmten Schwellenwert überschreitet, und wenn ja, um das Gerät an einen Fertig ausgelöste Aktion ergreifen muss. Der Bildanalysator kann weiter konfiguriert sein, um eine Aktion in Reaktion auf die Geste entsprechend einem physikalischen Simulationsmodells und basierend auf dem Grad der Geste Beendigung anzuzeigen. Die dargestellten Maßnahmen können ferner auf einem Bewegungsmodell basieren.
Noch ein weiterer Aspekt der offenbarten Technologie bezieht sich auf ein Verfahren zur Steuerung der dynamischen Interaktionen des Benutzers mit einem Gerät. In repräsentativen Implementierungen beinhaltet das Verfahren das Aufzeichnen mehrerer zeitlich aufeinanderfolgenden Bildern des Benutzers, rechen Analyse der Bilder des Benutzers zu mehreren Benutzergesten zu erkennen, rechen Bestimmen einer dominanten Geste, und Anzeigen einer Aktion auf dem Gerät auf der Grundlage der dominanten Geste.
Die beherrschende Geste kann durch Filtern der mehreren Gesten bestimmt werden. In einer Implementierung wird das Filtern iterativ ausgeführt. Zusätzlich kann jede der Gesten rechnerisch als Trajektorie dargestellt werden. In einigen Implementierungen wird jede Trajektorie rechnerisch als Vektor entlang sechs Euler Freiheitsgrade in Euler Raum und der Vektor mit einer größten Größe bestimmt wird, die dominierende Geste dargestellt.
Bei verschiedenen Implementierungen kann die Analyse der Bilder des Benutzers umfasst (i) Identifizieren von Formen und Positionen von einem oder mehreren Teilen des menschlichen Körpers in den Bildern, und (ii) Rekonstruieren einer Position und einer Form der menschlichen Körperteils im 3D-Raum auf der Basis Korrelationen zwischen den identifizierten Formen und Positionen des Körperteils in den Bildern. In einer Ausführung umfasst das Verfahren ferner das Definieren eines 3D-Modells des Körperteils und Rekonstruieren der Position und der Form des Körperteils im 3D-Raum auf der Basis des 3D-Modells. Analyse der Bilder des Benutzers umfasst zeitlich Kombinieren der rekonstruierten Positionen und Formen des Körperteils im 3D-Raum.
Bei einem anderen Aspekt bezieht sich die offenbarte Technik auf ein System zum Steuern dynamischer Benutzer-Interaktionen mit einem Gerät. In verschiedenen Implementierungen weist das System eine oder mehrere Kameras auf ein Sichtfeld ausgerichtet sind; eine oder mehrere Quellen (beispielsweise eine Lichtquelle und / oder eine Schallquelle), um auf den Benutzer in das Blickfeld zu lenken Beleuchtung; eine Gestendatenbank mit einer Reihe von elektronisch gespeicherten Datensätze, von denen jeder eine Geste spezifiziert; und ein Bildanalysegerät zu der Kamera und der Datenbank gekoppelt ist. In einer Implementierung wird der Bildanalysator konfiguriert ist, die Kamera zu bedienen, um mehrere zeitlich aufeinander folgenden Bildern des Benutzers erfassen, analysieren die Bilder des Benutzers zu mehreren Benutzergesten zu erkennen, festzustellen, einen dominanten Geste, und zeigen eine Wirkung auf das Gerät anhand des dominant Geste.
Die Bildanalysegerät kann weiter konfiguriert sein, um die dominante Geste durch Filtern der mehreren Gesten bestimmen. In einer Implementierung wird das Filtern iterativ ausgeführt. Zusätzlich kann die Bildanalyse weiter konfiguriert ist, jedes der Gestik als eine Trajektorie zu repräsentieren. Jede Bahn kann als ein Vektor entlang sechs Euler Freiheitsgrade in Euler Raum und der Vektor mit einer größten Größe bestimmt wird, die dominierende Geste dargestellt werden.
In einem Aspekt umfasst ein Verfahren zum Steuern der dynamischen Benutzerinteraktionen mit einer Vorrichtung, die Erfassung einer Vielzahl von zeitlich aufeinander folgenden Bildern des Benutzers, rechen Analyse einer Teilmenge der Bilder der Benutzer die Geste eines Benutzers als einen Kontakt mit einer Position erkennen, eines Pucks auf dem Bildschirm, rechnerisch analysiert eine weitere Teilmenge der Bilder der Benutzer die Geste des Benutzers als Bewegung des Pucks auf dem Bildschirm zu einer neuen Position, und Modifizieren eines Parameters einer Software-Anwendung in Übereinstimmung mit der neuen Position zu erkennen der Puck.
Der Puck kann ein Kreis, Quadrat oder Dreieck; der Parameter kann eine Farbe sein und Schiebe den Puck kann die Farbe zu ändern. Erkennen Geste des Benutzers, wie Schieben der auf dem Bildschirm-Puck kann die Geste einen Schwellenwert überschreiten, bevor der Abstand Parameter geändert enthalten. Die Scheibe kann weiterhin für eine Zeitdauer bewegt, nachdem Geste des Benutzers aufgehört hat Kontakt mit dem Puck. Der Puck kann wieder in einer festen Position Frühjahr nach Geste des Benutzers aufgehört hat, den Kontakt mit dem Puck. Die Teilmenge der Bilder der Benutzer kann rechnerisch analysiert werden, um eine Benutzergeste als Befehl erkennen, ein Benutzerschnittstellenelement zu schaffen. Die Geste kann eine kreisförmige Bewegung, Zwei-Finger eine seitliche Bewegung zu sein, oder vorwärts oder rückwärts Bewegung der Finger des Benutzers und der Benutzerschnittstellenelement kann einen Knopf, Schieberegler oder einen Mausklick sein auf.
Bei noch einem weiteren Aspekt wird ein System damit eine dynamische Benutzerinteraktionen mit einer Vorrichtung mit einem Anzeigebildschirm umfaßt eine Kamera auf ein Sichtfeld ausgerichtet ist, eine Source, die an den Benutzer in dem Gesichtsfeld direkte Beleuchtung und ein Gestendatenbank, umfassend eine Reihe von elektronisch gespeicherten Datensätzen, wobei jede der Aufzeichnungen über eine Geste auf einen Eingangsparameter. Ein Bildanalysegerät zu der Kamera und der Datenbank gekoppelt ist und konfiguriert ist, um eine Vielzahl von zeitlich aufeinander folgenden Bildern des Benutzers zu erfassen, rechnerisch analysiert eine Teilmenge der Bilder der Benutzer, eine Benutzergeste, wie Kontakt mit einer Position eines zu erkennen -screen Puck, rechnerisch analysiert eine weitere Teilmenge der Bilder der Benutzer die Geste des Benutzers als Bewegung des Pucks auf dem Bildschirm zu einer neuen Position zu erkennen und einen Parameter einer Softwareanwendung zu ändern in Übereinstimmung mit der neuen Position der Scheibe.
Der Puck kann ein Kreis, Quadrat oder Dreieck; der Parameter kann eine Farbe sein und Schiebe den Puck kann die Farbe zu ändern. Erkennen Geste des Benutzers, wie Schieben der auf dem Bildschirm-Puck kann die Geste einen Schwellenwert überschreiten, bevor der Abstand Parameter geändert enthalten. Die Scheibe kann weiterhin für eine Zeitdauer bewegt, nachdem Geste des Benutzers aufgehört hat Kontakt mit dem Puck. Der Puck kann wieder in einer festen Position Frühjahr nach Geste des Benutzers aufgehört hat, den Kontakt mit dem Puck. Die Teilmenge der Bilder der Benutzer kann rechnerisch analysiert werden, um eine Benutzergeste als Befehl erkennen, ein Benutzerschnittstellenelement zu schaffen. Die Geste kann eine kreisförmige Bewegung, Zwei-Finger eine seitliche Bewegung zu sein, oder vorwärts oder rückwärts Bewegung der Finger des Benutzers und der Benutzerschnittstellenelement kann einen Knopf, Schieberegler oder einen Mausklick sein auf.
Die Bezugnahme in dieser Beschreibung auf "ein Beispiel," ein "Beispiel", "einer Ausführungsform" oder "eine Ausführung" bedeutet, dass ein bestimmtes Merkmal, eine Struktur oder Eigenschaft in Verbindung mit dem Beispiel beschrieben ist, in zumindest einem enthaltenen Beispiel für die vorliegende Technik. Somit werden die Vorkommen der Phrasen "in einem Beispiel", "in einem Beispiel", "einer Ausführungsform" oder "eine Ausführung" an verschiedenen Stellen in dieser Beschreibung nicht notwendigerweise immer auf dasselbe Beispiel. Weiterhin können die bestimmten Merkmale, Strukturen, Routinen, Aktionen oder Eigenschaften in jeder geeigneten Weise in einer oder mehreren Beispielen der Technik kombiniert werden. Die hierin vorgesehenen Überschriften dienen nur Bequemlichkeit und sollen nicht zur Begrenzung oder den Umfang oder die Bedeutung der beanspruchten Technologie interpretieren.

Claims

Ein Verfahren zur Unterscheidung von nahe sinn Gesten nicht sinn Gesten in einer dreidimensionalen (3D) Sensorraum, wobei das Verfahren: Scheidungs Handgelenk und Fingern bewegt von einer Gesamtflugbahn eines Arms Geste während der Arm in Bewegung ist, einschließlich: Erfassen von Positionen des Armes und befestigt Handgelenks und der Finger in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors; Berechnen, aus einer Reihe von den erfassten Positionen eine räumliche Trajektorie eines winke Geste durch den Arm ausgeführt wird; Berechnen, aus den erfassten Positionen räumlichen Flugbahnen der Biege Gesten des Handgelenks und / oder Finger; und Bestimmen, ob die winkenden Geste oder die Walk Gesten basierend auf Größenordnungen der jeweiligen Raumflugbahnen dominieren; und Auslösen einer Reaktion auf die dominante Geste, ohne selbst eine Reaktion auf die nicht-dominante Geste.
Verfahren nach Anspruch 1, wobei die Größe der räumlichen Flugbahn des winkenden Geste wird mindestens zum Teil durch einen Abstand in der Leistung des winkenden Geste verfahren bestimmt.
Verfahren nach Anspruch 1, wobei die Größen der räumlichen Flugbahnen der Biege Gesten werden mindestens teilweise durch eine Skala von Kräuseln der Finger bestimmt.
Ein Verfahren zur Unterscheidung zwischen zwei gleichzeitige Gesten Ursprung von einem einzigen Objekt in einem dreidimensionalen (3D) Sensorraum, wobei das Verfahren: Unterscheiden Finger und des Handgelenks Biegen aus einer Gesamt Trajektorie eines Armgeste während der Arm in Bewegung ist, einschließlich: Erfassen von Positionen des Armes und befestigt Handgelenks und der Finger in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors; Berechnen, aus einer Reihe von den erfassten Positionen eine räumliche Trajektorie eines winke Geste durch den Arm, wobei Größe der räumlichen Flugbahn zumindest teilweise um einen Abstand in der Leistung des winkenden Geste quert bestimmt ausgeführt wird; Berechnen räumlichen Flugbahnen der Biege Gesten des Handgelenks und / oder die Finger, wobei Größen der räumlichen Trajektorien zumindest teilweise durch eine Skala von Kräuseln der Finger und Freiheitsgrade zwischen den Fingern bestimmt wird; und Auswerten Größen der jeweiligen räumlichen Trajektorien und Bestimmen eines dominanten Geste basierend auf Größenordnungen der räumlichen Trajektorien; und Auslösen einer Reaktion auf die Gesamtrichtung abhängig von der dominanten Geste.
Ein Verfahren zum gleichmäßigen Reaktion auf Eingaben von Gesten eines Benutzers unabhängig von einer Position des Benutzers in einem dreidimensionalen (3D) Sensorraum, wobei das Verfahren: automatische Anpassung einer Reaktions Skala zwischen Gesten in einem physischen Raum und die daraus resultierenden Reaktionen in einer gestisch-Schnittstelle, einschließlich: Berechnen eines Steuerobjektabstand von einer Kamera elektronisch an die gestisch-Schnittstelle verbunden ist; Skalieren eines scheinbaren Winkel durch Bewegung im Kamerablickfeld zu einer skalierten Bewegungsstrecke basierend auf der Steuerobjektabstand von der Kamera durchlaufen; und Dosieren automatisch Antworten auf die skalierten Bewegungsstrecke von Gesten in den physischen Raum, statt die scheinbare Winkel durchlaufen.
Verfahren nach Anspruch 5, ferner mit abnehmender Bildschirm-Ansprechverhalten des Gestik-Schnittstelle, wenn der scheinbare Winkel überquert unterhalb eines Schwellenwertes.
Verfahren nach Anspruch 5, ferner umfassend Amplifizieren Bildschirm Ansprechempfindlichkeit der Gestik-Schnittstelle, wenn der scheinbare Winkel überquert über einem Schwellenwert liegt.
Verfahren zum Einstellen der Ansprechempfindlichkeit des virtuellen Objekte einer Gestik-Schnittstelle in einem dreidimensionalen (3D) Sensorraum, wobei das Verfahren: automatischen Einstellung einer Reaktions Skala zwischen Gesten in einem physischen Raum und die daraus resultierenden Reaktionen von virtuellen Objekten in einer gestisch-Schnittstelle, einschließlich: Berechnen eines virtuellen Objekts Dichte der Gestik-Schnittstelle basierend auf einem numerosity der virtuellen Objekte; und automatisch Proportionieren Bildschirm Ansprechempfindlichkeit der virtuellen Objekte die Gesten, die auf das virtuelle Objekt Dichte in der Gestik-Schnittstelle.
Verfahren nach Anspruch 8, ferner mit einer niedrigen Reaktionsfähigkeit der virtuellen Objekte auf dem Bildschirm automatisch Angabe in Reaktion auf eine bestimmte Geste, wenn der Gehalt Dichte über einem Schwellenwert liegt.
Verfahren nach Anspruch 9, ferner mit einer hohen Ansprechempfindlichkeit von virtuellen Objekten auf dem Bildschirm automatisch Angabe in Reaktion auf die bestimmte Geste, wenn der Gehalt Dichte unter einem Schwellenwert liegt.
Ein Verfahren zum gleichmäßigen Reaktion auf gestural Eingänge von mehreren Benutzern in einem dreidimensionalen (3D) Sensorraum, wobei das Verfahren: automatische Anpassung einer Reaktions Skala zwischen Gesten in einem physischen Raum von mehreren Benutzern und die daraus resultierenden Reaktionen in einem gemeinsamen gestischen Schnittstelle nach: Berechnen eines Benutzerabstand innerhalb eines dreidimensionalen (3D) Sensorraum basierend auf einem Abstand der Benutzer in dem 3D-Sensorraum erfasst wird; und automatisch Proportionieren Bildschirm Ansprechbarkeit des freigegebenen Gestik-Schnittstelle, die auf den Benutzer bei der Interpretation Abstand Bewegungsstrecken der Gesten im physikalischen Raum.
Verfahren zum Erfassen, wenn ein Benutzer bestimmt ist, mit einem virtuellen Objekt in einem dreidimensionalen (3D) Sensorraum zu interagieren, wobei das Verfahren: Detektieren einer Geste eines Klickfinger in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors; und Bestimmen, ob die Maustaste Geste als Interaktion mit einem virtuellen Objekts in der 3D-Sensorraum in Abhängigkeit von einem Grad der Fertigstellung des Einrastvorsprungs Geste, einschließlich interpretieren: Berechnen einer Entfernung von dem Finger in der Leistung des Klick Geste durchzogen; Zugriff auf eine Datenbank, eine Geste Geste Fertigstellungswert für die berechnete Abstand entsprechend der Klick Geste zu bestimmen; und Anerkennung der Klick Geste als Manipulation des virtuellen Objekts, die auf die Geste Abschluss Wert Kreuzung ein Schwellenwert.
Verfahren nach Anspruch 12, wobei die Geste Datenbank enthält Trajektorien verschiedener Gesten und entsprechende Geste Beendigung Werten.
Verfahren nach Anspruch 12, ferner umfassend Berechnen der Vollständigkeitsgrad des Einrastvorsprungs Geste durch Vergleichen einer räumlichen Flugbahn des Klick Geste mindestens einem Raumtrajektorie im Gestendatenbank gespeichert.
Verfahren nach Anspruch 12, ferner umfassend das Messen des Ausmaßes der Fertigstellung des Einrastvorsprungs Geste: Verknüpfung von Leistung des Klick Geste, um ein Schnittstellenelement, das die virtuelle Steuerung; und Modifizieren des Oberflächenelements in Echtzeit, während das Klick Geste ausgeführt wird.
Verfahren nach Anspruch 15, wobei das Schnittstellenelement eine hohle kreisförmige Symbol und Modifizieren des Symbols in Echtzeit umfasst allmählich füllt das Symbol in Reaktion auf die Klick Geste.
Verfahren zum Erfassen, wenn ein Benutzer bestimmt ist, mit einem virtuellen Objekt in einem dreidimensionalen (3D) Sensorraum zu interagieren, wobei das Verfahren: Detektieren einer Geste eines Klickfinger in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors; ansprechend auf das Erfassen des Klickbewegung, Aktivieren eines Indikators auf dem Bildschirm, Anzeigen einer Fertigstellungsgrad des Einrastvorsprungs Geste; und Modifizieren eines virtuellen Objekts in Abhängigkeit von dem Grad der Fertigstellung des Einrastvorsprungs Geste einen Schwellenwert übersteigt.
Ein Verfahren zum Manipulieren eines virtuellen Objekts in einem dreidimensionalen (3D) Sensorraum, wobei das Verfahren: in Reaktion auf das Erkennen einer Geste eines Klickfinger in einem dreidimensionalen (3D) Sensorraum, Auswählen eines virtuellen Objekts einer Gestik-Schnittstelle; Erfassen einer nachfolgenden Zeigegeste des Fingers in der 3D-Sensorraum, während die virtuelle Objekt ausgewählt bleibt und das Berechnen eines Kraftvektors der Zeigegeste, bei dem Betrag des Kraftvektors wird auf der Grundlage: ein Abstand von dem Finger in der Leistung der Zeigegeste quert; und eine Geschwindigkeit des Fingers während der Ausführung des Zeigegeste; und Anwenden der Kraftvektor auf dem virtuellen Objekt und Modifizieren des virtuellen Objekts, wenn die Größe des Kraftvektors einen Schwellenwert überschreitet.
Verfahren nach Anspruch 18, bei Änderung des virtuellen Objekts ein Ändern einer Form des virtuellen Objekts.
Verfahren nach Anspruch 18, bei Änderung des virtuellen Objekts ein Ändern einer Position des virtuellen Objekts.
Ein Verfahren zur Erzeugung von Schnittstellenelemente in einem dreidimensionalen (3D) Sensorraum, wobei das Verfahren: Erfassen einer Kreislauf eines Fingers in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors; Konstruieren einer Taste auf dem Bildschirm in einer gestisch-Schnittstelle, die auf dem Kreislauf; Erfassen einer nachfolgenden seitlichen Streichvorgang des Fingers in der 3D-Sensorraum; und Registrierung eines Drücken der Taste auf dem Bildschirm, die auf die nachfolgenden Seiten Schwung und Durchführen mindestens einer zugehörigen Funktion.
Verfahren nach Anspruch 21, wobei die zugehörige Funktion auf der Basis einer Rahmen der Gestik-Schnittstelle ausgewählt.
Verfahren nach Anspruch 21, wobei die zugehörige Funktion auf der Basis einer Position des Tasters auf dem Bildschirm auf der Gestik-Schnittstelle ausgewählt.
Verfahren nach Anspruch 21, ferner mit der Interpretation der seitlichen Streich als linke Maustaste, wenn zumindest ein Schwellenwert für seine Bewegung in einer Richtung der Finger zeigt.
Verfahren nach Anspruch 21, ferner mit der Interpretation der seitlichen Streich wie die rechte Maustaste, wenn zumindest ein Schwellenwert für seine Bewegung in einer Richtung entgegengesetzt zu der der Finger zeigt.
Ein Verfahren zur Erzeugung von Schnittstellenelemente in einem dreidimensionalen (3D) Sensorraum, wobei das Verfahren: Erfassen einer Zwei-Finger vertikalen Durchgang in einem dreidimensionalen (3D) Sensorraum; Konstruieren einer vertikalen Gleitstange in einer Gestik-Schnittstelle, die auf das Zweifinger vertikalen Durchgang; Erkennen einer nachfolgenden Ein-Finger vertikal Sweep in der 3D-Sensorraum in der Nähe der vertikalen Bildlaufleiste; und Scrollen der vertikalen Gleitstange, die auf das Ein-Finger vertikalen Durchgang und Durchführen mindestens einer zugehörigen Funktion.
Verfahren nach Anspruch 26, wobei die zugehörige Funktion wird auf der Basis einer Stelle der vertikalen Bildlaufleiste auf der Gestik-Schnittstelle ausgewählt.
Ein Verfahren zum Manipulieren eines Graustufenauswahl-Widget in Freiform Gesten in einer dreidimensionalen (3D) Sensorraum, wobei das Verfahren: Verknüpfen eines Graustufenauswahl Widget auf einem Puck auf dem Bildschirm, indem Sie Grauwerte auf dem Graustufenauswahl-Widget auf die Bewegung des Bildschirm Puck, einschließlich: Ändern einer Position des auf dem Bildschirm Puck Reaktion auf das Erkennen eines Fingers Ausklopfen Geste in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors; und Auswählen eines bestimmten Grauwertes auf Graustufenauswahl-Widget entsprechende x- oder y-Position der Scheibe auf dem Bildschirm.
Verfahren zur Manipulation mehrere Steuerelemente eines gestischen Schnittstelle mit Freiform-Gesten in einer dreidimensionalen (3D) Sinnesraum, wobei das Verfahren: Verknüpfen eines Anzeigeeinstellung und Graustufenauswahl Widget auf einem Puck auf dem Bildschirm nach: Modifizieren eines Helligkeitswerte für die Anzeigeeinstellung Widget und einer Grauwert auf dem Graustufenauswahl-Widget auf die Bewegung des Bildschirm Puck, einschließlich: Ändern einer Position des auf dem Bildschirm Puck Reaktion auf das Erkennen eines Fingers Ausklopfen Geste in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors; und Auswählen eines bestimmten Helligkeitswert und Graustufenwert, der X- und Y-Position des Pucks auf dem Bildschirm.
Ein Verfahren zur Erzeugung von Schnittstellenelemente in einem dreidimensionalen (3D) Sensorraum, wobei das Verfahren: Erfassen einer Kreislauf eines Fingers in einem dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors; Konstruieren eines Puck auf dem Bildschirm in einer gestisch-Schnittstelle, die auf der Kreislauf; Erfassen einer nachfolgenden Wirbelbewegung des Fingers in der 3D-Sensorraum; und Drehen des Bildschirm Puck ansprechend auf die anschließende Verwirbelung und Durchführen mindestens einer zugehörigen Funktion.
Verfahren zur Unterscheidung zwischen interessante Gesten aus nicht interessant Gesten in einer dreidimensionalen (3D) Sensorraum, wobei das Verfahren: Empfangen von Eingangs definieren Objektmerkmale aus einem oder mehreren Referenz Gesten; Erfassen eines oder mehrerer Ist-Bewegungen in einer dreidimensionalen (3D) Sensorraum unter Verwendung eines elektronischen Sensors und der Bestimmung der tatsächlichen Eigenschaften unter Verwendung von Daten aus dem elektronischen Sensor; Vergleich der tatsächlichen Gesten gegenüber den Referenz Gesten, um eine Reihe von Gesten von Interesse zu bestimmen; und Bereitstellung der Satz von Gesten von Interesse und entsprechende Geste Parameter ein weiteres Verfahren.
Verfahren nach Anspruch 31, wobei ein Referenzmerkmal ist Geste Weg, das weiterhin die Interpretation tatsächlichen Gesten mit geraden Wegen als der Satz von Gesten von Interesse.
Das Verfahren nach Anspruch 32, ferner mit der Interpretation Seiten Sweeps als der Satz von Gesten von Interesse.
Verfahren nach Anspruch 31, wobei eine Referenzkennlinie Geste Geschwindigkeit, das weiterhin die Interpretation tatsächlichen Gesten mit hohen Geschwindigkeiten als der Satz von Gesten von Interesse.
Verfahren nach Anspruch 31, wobei eine Referenzkennlinie Geste Konfiguration, das weiterhin die Interpretation tatsächlichen Gesten gemacht unter Verwendung einer Hand, die mit einem bestimmten Finger als der Satz von Gesten von Interesse.
Verfahren nach Anspruch 31, wobei eine Referenzkennlinie Geste Konfiguration, das weiterhin die Interpretation tatsächlichen Gesten Hände machen eine Faust als der Satz von Gesten von Interesse.
Verfahren nach Anspruch 31, wobei eine Referenzkennlinie Geste Form, weiterhin die Interpretation tatsächlichen Gesten der Hände mit Daumen-up als die Menge der Gesten von Interesse.
Verfahren nach Anspruch 31, wobei eine Referenzkennlinie Geste Länge, das weiterhin die Interpretation winken Gesten als die Menge der Gesten von Interesse.
Verfahren nach Anspruch 31, wobei ein Referenzcharakteristik Geste Position, die ferner Interpretieren tatsächlichen Bewegungen innerhalb eines Schwellen Nähe der elektronischen Sensor als Satz von Gesten von Interesse.
Verfahren nach Anspruch 31, wobei ein Referenzcharakteristik Geste Dauer, die ferner Interpretieren tatsächlichen Bewegungen innerhalb des 3D-Sensorraum für eine Schwellenzeitperiode als der Satz von Gesten von Interesse nicht auf tatsächliche Bewegungen innerhalb des 3D-Sensorraum für Zeit-Periode kleiner als die Schwellenzeitperiode.
Ein Verfahren zum Anpassen Geste Auslegung für einen bestimmten Benutzer, wobei das Verfahren: Auffordern eines Benutzers, um Werte für Eigenschaften einer Geste Freiraum wählen und empfangen ausgewählte Werte für die Eigenschaften; Auffordern des Benutzers, eine charakteristische fokussierten Demonstration der Grenzen der Geste in einem dreidimensionalen (3D) Sensorraum durchzuführen; Bestimmen, aus dem fokussierten Demonstration der Grenzen, die durch einen elektronischen Sensor, einen Satz von Parametern der Geste erfasst; und Speichern des Satzes von Parametern und entsprechenden Werte für die Anerkennung von Gesten.
Das Verfahren nach Anspruch 41, ferner mit Hilfe eines Fragebogens für den Benutzer auffordert, Werte für Eigenschaften der Geste aus.
Verfahren nach Anspruch 42, wobei der Benutzer aufgefordert, um Werte für Eigenschaften der Geste mit der Fragebogen umfasst das Empfangen von dem Benutzer einer minimalen Schwellenzeit-Periode für die Geste innerhalb des 3D-Sensorraum sein, vor welchem die Geste nicht auswählen interpretiert.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristische fokussierte Demonstration der Grenzen gehören die Benutzer, die ein Handzeigegeste mit einem bestimmten Finger als Geste Konfiguration.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristischen fokussierten Demonstration von Grenzen beinhaltet die Benutzergeste, die eine Faust mit einer Hand als Geste Konfiguration.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristische fokussierte Demonstration der Grenzen beinhaltet den Benutzer, der den Daumen nach oben oder Daumen nach unten Geste mit einer Hand als Geste Form.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristische fokussierte Demonstration der Grenzen beinhaltet den Benutzer, der den Daumen nach oben oder Daumen nach unten Geste mit einer Hand als Geste Form.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristische fokussierte Demonstration der Grenzen gehören die Benutzer, einen Pinch-Geste, um eine minimale Geste Abstand als Geste Größe.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristische fokussierte Demonstration der Grenzen gehören die Benutzer, einen winkenden Geste, um eine maximale Entfernung Geste als eine Geste Größe.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristische fokussierte Demonstration der Grenzen umfasst die Benutzer, einen Finger-Geste schnippen, um eine Geste am schnellsten Bewegung gesetzt.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristische fokussierte Demonstration der Grenzen gehören die Benutzer, einen winkenden Geste, eine Geste langsamste Bewegung gesetzt.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristischen fokussierten Demonstration von Grenzen beinhaltet den Benutzer, einen seitlichen Streichvorganges, um einen geraden Weg Geste gesetzt.
Verfahren nach Anspruch 41, wobei das Durchführen charakteristischen fokussierten Demonstration von Grenzen beinhaltet Benutzers, eine kreisförmige Schleife um einen kreisförmigen Pfad Geste gesetzt.
Verfahren nach Anspruch 41, das ferner Test Interpretation einer bestimmten Geste: Auffordern des Benutzers, eine vollständige Geste Demonstration des bestimmten Geste in der 3D-Sensorraum durchzuführen; Bestimmen, aus dem vollständigen Geste Demonstration der elektronische Sensor, einen Satz von Parametern des bestimmten Geste erfasst; Vergleich des Satzes von Parametern der jeweiligen Geste mit entsprechender Satz von von dem fokussierten Demonstration der Grenzen bestimmt und ausgewählte Werte für die Eigenschaften-Parameter; und berichten Ergebnisse des Vergleichs für den Benutzer und Empfangen einer Bestätigung, ob die spezielle Auslegung der Geste korrekt ist.