DE112015002463T5

DE112015002463T5 - Systeme und Verfahren zum gestischen Interagieren in einer im Umfeld vorhandenen Computerumgebung

Info

Publication number: DE112015002463T5
Application number: DE112015002463.8T
Authority: DE
Inventors: Robert Samuel GORDON; Maxwell Sills; Paul Alan Durdik
Original assignee: Leap Motion Inc
Current assignee: Ultrahaptics Ip Two Ltd Gb
Priority date: 2014-05-27
Filing date: 2015-05-27
Publication date: 2017-02-16
Also published as: US10782657B2; US11561519B2; US20210003977A1; CN106662926A; WO2015183979A1; US20150346701A1; US20230205151A1

Abstract

Die offenbarte Technik betrifft das Auswählen aus Geräten, mit denen zu interagieren ist. Sie betrifft ferner das Betreiben eines intelligenten Telefons mit reduzierter Leistungsaufnahme. Ferner betrifft sie das gestische Interagieren mit Geräten, denen ein Reaktionsvermögen auf Gesten fehlt. Die offenbarte Technik betrifft ferner das Unterscheiden von Steuerungsgesten von ähnlichen Nicht-Steuerungsgesten in einem im Umfeld vorhandenen dreidimensionalen (3D) sensorischen Raum. Die offenbarte Technik betrifft ferner das Auswählen aus virtuellen Interaktionsmodalitäten, um damit zu interagieren

Description

GEBIET DER OFFENBARTEN TECHNIK
Die offenbarte Technik betrifft generell die Bewegungserfassung und die Gestenerkennung und Interpretation in einer überall vorhandenen bzw. im Umfeld vorhandener Computerumgebung und betrifft insbesondere Implementierungen, um Dienstleistungen in gestischen Kontext für die Heimautomatisierung zu ermöglichen.
ANGABEN ÜBER DIE PRIORITÄT
Diese Anmeldung beansprucht die Priorität der vorläufigen US-Patentanmeldung mit der Nr. 62/003 298 mit dem Titel ”Systeme und Verfahren zum gestischen Interagieren in einer überall vorhandenen Computerumgebung”, die am 27. Mai 2014 (Anwaltsaktenzeichen LEAP 1032-1/LPM-1032PR) eingereicht wurde. Die vorläufige Anmeldung ist hiermit für alle Zwecke durch Bezugnahme miteingeschlossen.
REFERENZEN
Zu Materialien, die hiermit durch Bezugnahme miteingeschlossen sind, gehören die folgenden:
”Ermittlung von Positionsinformation für ein Objekt im Raum”, vorläufige US-Anmeldung mit der Nr. 61/895 965, die am 25. Oktober 2013 eingereicht wurde (Anwaltsaktenzeichen Nr. LEAP 1015-1/LPM-1015PR),
”Drift-Auslöschung für portable Objekterfassung und Verfolgung”, vorläufige US-Anmeldung mit der Nr. 61/938 635, die am 11. Februar 2014 eingereicht wurde (Anwaltsaktenzeichen mit der Nr. LEAP 1037-1/LPM-1037PR),
”Biometrie berücksichtigende Objekterfassung und Verfolgung”, vorläufige US-Anmeldung mit der Nr. 61/952 843, die am 13. März 2014 eingereicht wurde (Anwaltsaktenzeichen mit der Nr. LEAP 1043-1/LPM-1043PR),
”Dynamische Anwenderinteraktionen für Anzeigesteuerung”, nicht-vorläufige US-Anmeldung mit der Nr. 14/214 336, die am 14. März 2014 eingereicht wurde (Anwaltsaktenzeichen Nr. LEAP 1039-2/LPM-012US),
”Auf Ressourcen reagierende Bewegungserfassung”, nicht-vorläufige US-Anmeldung mit der Nr. 14/214 569, die am 14. März 2014 eingereicht wurde (Anwaltsaktenzeichen Nr. LEAP 1041-2/LPM-017US), und
”Sicherheit für tragbare Geräte der virtuellen Realität durch Objekterfassung und Verfolgung”, vorläufige US-Anmeldung mit der Nr. 61/981 162, die am 17. April 2014 eingereicht wurde (Anwaltsaktenzeichen Nr. LEAP 1050-1/LPM-1050PR).
HINTERGRUND
Der in diesem Abschnitt erläuterte Gegenstand sollte nicht deswegen als Stand der Technik erachtet werden, weil er in diesem Abschnitt erwähnt ist. In ähnlicher Weise sollte ein Problem, das in diesem Abschnitt erwähnt ist oder im Zusammenhang mit dem als Hintergrund bereitgestellten Gegenstand in Beziehung steht, nicht so aufgefasst werden, dass dieses im Stand der Technik zuvor erkannt wurde. Der Gegenstand in diesem Abschnitt repräsentiert lediglich unterschiedliche Vorgehensweisen, die an sich auch Implementierungen der beanspruchten Technik entsprechen können.
Es gibt ein wachsendes Interesse bei der Entwicklung eines natürlichen Interagierens mit elektronischen Geräten, das intuitives Verständnis ermöglichet und die Anwendererfahrung verbessert. Beispielsweise könnte ein Anwender wünschen, die Musiklautstärke beim Kochen einzustellen, wobei dies mit einer freien Form einer Geste in der Umgebung erfolgt, oder er möchte das Lied, das auf einem Unterhaltungssystem im Wohnzimmer abgespielt wird, beim Kochen wechseln, oder er möchte den Thermostat im Bett einschalten oder eine Leuchte einschalten, während er auf einer Couch sitzt.
Bestehende Techniken zur Heimautomatisierung verwenden konventionelle Bewegungserfassungsansätze, die auf Markierungen oder Sensoren beruhen, die von dem Betreffenden getragen werden, während Aktivitäten ausgeführt werden, und/oder sie beruhen auf der strategischen Anordnung zahlreicher voluminöser und/oder komplizierter Anlagen in speziellen intelligenten Heimumgebungen, um Bewegungen des Trägers zu erfassen. Ungünstigerweise neigen derartige Systeme dazu, dass sie aufwändig aufzubauen sind. Ferner können Markierungen oder Sensoren, die von dem Träger getragen werden, ungünstig sein und können die natürliche Bewegung des Trägers stören. Ferner neigen Systeme mit einer großen Anzahl an Kameras dazu, nicht in Echtzeit zu arbeiten aufgrund des Datenvolumens, das analysiert und im Zusammenhang betrachtet werden muss. Derartige Überlegungen haben die Verbreitung und die Anwendung der Bewegungserfassungstechnik beschränkt.
Folglich gibt es einen Bedarf für verbesserte Techniken, um die Bewegung von Objekten in Echtzeit ohne das Anbringen von Sensoren oder Markierungen daran zu erfassen und um die Umgebungsintelligenz in überall vorhandenen bzw. im Umfeld vorhandener Rechenumgebungen zu ermöglichen.
ÜBERBLICK
Die offenbarte Technik betrifft das Auswählen aus Geräten, mit denen zu interagieren ist, unter Anwendung eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung versehen ist, die Gesten in einem dreidimensionalen(3D-)sensorischen Raum bzw. Sensorraum erfasst, Erfassen eines oder mehrerer heterogener Geräte, die Bewegungssteuerbefehle akzeptieren, Erfassen einer Geste in dem sensorischen 3D Raum und Interpretieren der Geste als Auswahl eines der heterogenen Geräte, und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
Die offenbarte Technik betrifft ferner das Betreiben eines intelligenten Telefons mit reduzierter Leistungsaufnahme durch Überwachung mindestens eines physikalischen Parameters oder Umgebungsparameters eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung versehen ist, die in einem dreidimensionalen(3D-)sensorischen Raum Gesten erfasst und in Reaktion auf die Erfassung einer Änderung des physikalischen Parameters oder des Umgebungsparameters, die einen spezifizierten Schwellenwert übersteigt, automatisches Umschalten des intelligenten Telefons (über die eingebettete Bewegungssensorsteuereinrichtung) von einem Betriebsmodus in einen anderen.
Die hierin offenbarte Technik betrifft ferner eine gestisches Interagieren bzw. ein Interagieren mit Gesten mit Geräten, die nicht auf Gesten ansprechen, indem ein auf Gesten basiertes Signal einem herkömmlichen Gerät zugeführt wird, das einem standardmäßigen Eingabebefehl auf der Grundlage mindestens einer Geste nachgebildet ist, die von einer Bibliothek analoger Gesten erfasst und erkannt wird, die analog oder entsprechend zu Steuerungsaktionen sind, die unter Anwendung standardmäßiger Eingabebefehle, die von den traditionellen Geräten akzeptiert werden, ausgeführt werden.
Die hierin offenbarte Technik betrifft ferner die Unterscheidung von Steuerungsgesten von ähnlichen Nicht-Steuerungsgesten in einem im Umfeld vorhandenen dreidimensionalen (3D) sensorischen Raum durch Erfassung einer Gruppe von Gesten, die von unterschiedlichen Anwendern in einer im Umfeld vorhandenen 3D-Sensorumgebung ausgeführt werden, und Erkennen von Steuerungsgesten in der Gruppe aus Gesten, die das Ansprechempfindlichkeit eines oder mehrerer Geräte in dem sensorischen 3D-Raum steuern, indem ein dominierender Anwender aus den Anwendern auf der Grundlage zumindest eines oder mehrerer räumlicher Verhaltensweisen der Anwender in dem sensorischen 3D-Raum ermittelt und eine Antwort bzw. ein Ansprechen auf Gesten ausgelöst wird, die von dem dominierenden Anwender ausgeführt wird, ohne dass eine Reaktion bzw. ein Ansprechen auf Gesten ausgelöst wird, die von den nicht-dominierenden Anwendern ausgeführt werden.
Die offenbarte Technik betrifft ferner die Auswahl aus virtuellen Interaktionsmodalitäten, mit denen zu interagieren ist, durch Verwendung eines intelligenten Telefons, um eine erweiterte Umgebung auf der Grundlage der Erfassung eines Initialisierungssignals auszulösen, wobei die erweiterte Umgebung eine oder mehrere virtuelle Interaktionsmodalitäten beinhaltet, die in eine erweiterte Grafikdarstellung von physikalischem Raum integriert werden und Bewegungssteuerungsbefehle akzeptieren, Erfassen einer Geste in dem sensorischen 3D-Raum unter Anwendung einer Bewegungssensorsteuereinrichtung, die in dem intelligenten Telefon eingebettet ist, Interpretieren der Geste als Auswahl einer der virtuellen Interaktionsmodalitäten, und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und der ausgewählten virtuellen Interaktionsmodalität.
Andere Aspekte und Vorteile der offenbarten Technik ergeben sich aus dem Studium der folgenden Zeichnungen, der detaillierten Beschreibung und der Patentansprüche.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
In den Zeichnungen sind gleiche Bezugszeichen generell verwendet, um gleiche Teile durchgängig in den unterschiedlichen Ansichten zu bezeichnen. Ferner sind die Zeichnungen nicht notwendigerweise maßstabsgetreu, da die Betonung stattdessen darauf liegt, die Prinzipien der offenbarten Technik darzustellen. In der folgenden Beschreibung sind diverse Implementierungen der offenbarten Technik mit Bezug zu den folgenden Zeichnungen beschrieben, in denen:
1A ein System zur Erfassung von Bilddaten gemäß einer Implementierung der offenbarten Technik darstellt.
1B eine vereinfachte Blockansicht eines Computersystems ist, das eine Bildauswertevorrichtung gemäß einer Implementierung der offenbarten Technik umsetzt.
2 eine Implementierung der Auswahl eines Geräts in einer rundum bzw. überall vorhandenen Rechenumgebung zeigt.
3 eine Implementierung der Anwendung eines Sprachbefehls zeigt, um ein Gerät aus heterogenen Geräten in einer im Umfeld vorhandenen Rechenumgebung auszuwählen.
4 eine Implementierung der Verwendung eines Berührungsbefehls ist, um ein Gerät aus heterogenen Geräten in einer im Umfeld vorhandenen Rechenumgebung auszuwählen.
5 eine Implementierung unterschiedlicher Modell-festlegenden Gesten darstellt, die gerätespezifische Steuerungsmodelle bzw. Paradigmen festlegen, um die Reaktion diverser Geräte in einer im Umfeld vorhandenen Rechenumgebung zu steuern.
6 eine Implementierung einer Bewegungssensorsteuereinrichtung ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst.
7A eine perspektivische Ansicht einer Bewegungssensorsteuereinrichtung von oben gemäß der offenbarten Technik ist, wobei Bewegungssensoren entlang einer Randfläche vorgesehen sind.
7B eine perspektivische Ansicht einer Bewegungssensorsteuereinrichtung gemäß der offenbarten Technik von unten ist, wobei Bewegungssensoren entlang der Bodenfläche davon angeordnet sind.
7C eine perspektivische Ansicht einer Bewegungssensorsteuereinrichtung gemäß der offenbarten Technik von oben ist, mit abnehmbaren Bewegungssensoren, die zur Anordnung auf einer Oberfläche ausgebildet sind.
8A eine Implementierung eines intelligenten Telefons zeigt, das mit einer Bewegungssensorsteuereinrichtung versehen ist.
8B eine Implementierung einer Bewegungssensorsteuereinrichtung zeigt, die in einer Schwenkkamera eines intelligenten Telefons eingebettet ist.
8C eine Implementierung einer Bewegungssensorsteuereinrichtung darstellt, die in einem Mobilgehäuse eines intelligenten Telefons eingebettet ist.
8D eine Implementierung einer Bewegungssensorsteuereinrichtung zeigt, die in einem Mobilgehäuse im Hochformat eines intelligenten Telefons eingebettet ist.
8E eine Implementierung einer Bewegungssensorsteuereinrichtung zeigt, die in einem Mobilgehäuse im Querformat eines intelligenten Telefons eingebettet ist.
8F eine Implementierung einer Bewegungssensorsteuereinrichtung zeigt, die in einem tastenlosen Tablet-Gehäuse eines Tablet-Computers eingebettet ist.
8G eine Implementierung einer Bewegungssensorsteuereinrichtung zeigt, die in einem Tablet-Gehäuse eines Tablet-Computers eingebettet ist.
9 eine Implementierung einer Bewegungssensorsteuereinrichtung zeigt, die peripher mit einem intelligenten Telefon verbunden ist.
10 eine Implementierung des Umschaltens eines intelligenten Telefons in einem Handbetriebsmodus ist, wenn die eingebettete Bewegungssensorsteuereinrichtung aufrechtsteht und sich bewegt.
11 eine Implementierung eines Umschaltens eines intelligenten Telefons in einen Wide-Bereichsbetriebsmodus zeigt, wenn die eingebettete Bewegungssensorsteuereinrichtung flachliegt und unbeweglich ist.
12A eine Implementierung des Umschaltens eines intelligenten Telefons in einen Betriebsmodus ”über den Raum hinweg” zeigt.
12B die grundlegenden Funktionen und Funktionseinheiten zeigt, die bei der Bewegungserfassung und Bildanalyse gemäß Ausführungsformen der offenbarten Technik beteiligt sind.
12C eine Charakterisierung einer Ellipse in unterschiedliche Parameter über die xy-Ebene hinweg ist.
13 eine Implementierung des Umschaltens eines intelligenten Telefons in einen gepaarten Betriebsmodus zeigt.
14A eine Implementierung des Umschaltens eines intelligenten Telefons in einem Drift-Kompensationsbetriebsmodus zeigt.
14B eine scheinbare Bewegung von Objekten aus der Perspektive des Anwenders einer für eine virtuelle Umgebung aktivierten Vorrichtung gemäß der offenbarten Technik darstellt.
15 eine scheinbare Bewegung von Objekten aus der Perspektive des Anwenders einer für eine virtuelle Umgebung aktivierten Vorrichtung gemäß der offenbarten Technik darstellt.
16 eine Implementierung des Rundrufs von Geräteerkennungszeichen aus den heterogenen Geräten über einen Kommunikationskanal mit sehr kurzer Reichweite in einer im Umfeld vorhandenen Rechenumgebung.
17 eine Implementierung einer Auswahl-durch-Hindeuten-Technik in einer im Umfeld vorhandenen Rechenumgebung zeigt.
18 eine Implementierung der Auswahl eines Geräts in einer im Umfeld vorhandenen Rechenumgebung auf der Grundlage des Grades an Nähe der Geräte zeigt.
19 eine Implementierung der Auswahl eines Geräts in einer im Umfeld vorhandenen Rechenumgebung auf der Grundlage von Positionsinformation der Geräte zeigt.
20 eine Implementierung der Interaktion durch Gesten mit Geräten darstellt, die keine Reaktion auf Gesten besitzen.
21A, 21B und 21C eine Implementierung zeigen, die zwischen Anwender, die Gestenbefehle ausgeben, in einer im Umfeld vorhandenen dreidimensionalen(3D-)Sensorumgebung unterscheiden.
22 eine Implementierung einer Auswahl aus virtuellen Interaktionsmodalitäten ist, um mit einer im Umfeld vorhandenen erweiterten Umgebung zu interagieren.
23A, 23B, 23C, 23D und 23E eine Implementierung der Interaktion mit Markierungsbildern darstellen, die erweiterte Illusionen in einer im Umfeld vorhandenen virtuellen Umgebung auslösen.
24 eine Implementierung eines Verfahrens mit ”zurecht gebastelter Hand” ist, um eine Darstellung der Hand eines Anwenders zu modifizieren.
25A, 25B, 25C, 25D, 25E, 25F, 25G, 25H und 25I unterschiedliche Implementierung der Einbettung einer Bewegungssensorsteuereinrichtung in diversen Geräten darstellen.
BESCHREIBUNG
Im hierin verwendeten Sinne ”beruht” ein gegebenes Signal, ein gegebenes Ereignis oder ein gegebener Wert auf einem vorhergehenden Signal, einem Ereignis oder einem Wert des vorhergehenden Signals, des Ereignisses oder des Wertes, der von dem gegebenen Signal, das bzw. der von dem gegebenen Signal, dem Ereignis oder dem Wert beeinflusst ist. Wenn es ein dazwischenliegendes verarbeitendes Element, einen Schritt oder eine Zeitdauer gibt, kann das gegebene Signal, das Ereignis oder der Wert dennoch auf dem vorhergehenden Signal, dem Ereignis oder dem Wert ”beruhen”. Wenn das dazwischenliegende Verarbeitungselement oder der Schritt mehr als ein Signal, ein Ereignis oder einen Wert kombiniert, wird das von dem verarbeitenden Element oder dem Schritt ausgegebene Signal als auf jedem der eingespeisten Signale, Ereignisse oder Werte ”beruhend” betrachtet. Wenn das gegebene Signal, das Ereignis oder der Wert gleich zu dem vorhergehenden Signal, Ereignis oder Wert ist, ist dies nur ein besonderer Fall, in welchem das gegebene Signal, das Ereignis oder der Wert dennoch als auf dem vorhergehenden Signal, dem Ereignis oder dem Wert ”beruhend” betrachtet wird. ”Die Reaktion bzw. das Ansprechen” oder ”die Abhängigkeit” eines gegebenen Signals, eines Ereignisses oder eines Wertes von einem weiteren Signal, einem Ereignis oder einem Wert ist in ähnlicher Weise definiert.
Im hierin verwendeten Sinne erfordert die ”Identifizierung bzw. Erkennung” eines Elementes einer Information nicht notwendigerweise die direkte Spezifizierung dieses Informationselementes. Information kann in einem Feld ”identifiziert bzw. erkannt” werden, indem einfach auf die tatsächliche Information über einen oder mehrere Umwege Bezug genommen wird, oder indem ein oder mehrere unterschiedliche Informationselemente identifiziert werden, die zusammen ausreichend sind, um das eigentliche Informationselement zu ermitteln. Ferner wird der Begriff ”spezifizieren” hierin so verwendet, dass er das gleiche wie ”identifizieren bzw. erkennen” bedeutet.
Es sei zunächst auf 1A verwiesen, die ein anschauliches Gestenerkennungssystem 100A mit einer Reihe von Kameras 102, 104 darstellt, die mit einem sensorischen Analysesystem 106 verbunden sind. Die Kameras 102, 104 können eine beliebige Art von Kamera sein, wozu Kameras gehören, die im sichtbaren Spektrum empfindlich sind, oder noch typischer, die eine erhöhte Empfindlichkeit in einem begrenzten Wellenlängenband (beispielsweise das Infrarot-(IR) oder Ultraviolett-Band) haben. Generell bedeutet der Begriff ”Kamera” hierin eine beliebige Einrichtung bzw. ein beliebiges Gerät (oder eine Kombination von Einrichtungen), die in der Lage ist, ein Bild eines Objekts zu erfassen und dieses Bild in Form von digitalen Daten darzustellen. Obwohl ein Beispiel einer Implementierung mit zwei Kameras dargestellt ist, sind andere Implementierungen miteingeschlossen, wobei eine unterschiedliche Anzahl an Kameras oder lichtempfindlichen Bildsensoren, die keine Kameras sind (beispielsweise 118) oder Kombinationen davon verwendet werden. Beispielsweise können Liniensensoren bzw. Zeilensensoren oder Linienkameras bzw. Zeilenkameras anstelle von konventionellen Einrichtungen eingesetzt werden, die ein zweidimensionales(2D-)Bild aufnehmen. Der Begriff ”Licht”, wird generell verwendet, um beliebige elektromagnetische Strahlung zu bezeichnen, die innerhalb des sichtbaren Spektrums liegen kann oder auch nicht, und die breitbandig (beispielsweise weißes Licht) oder schmalbandig (beispielsweise eine einzige Wellenlänge oder ein schmales Band aus Wellenlängen) sein kann.
Die Kameras 102, 104 sind vorzugsweise in der Lage, Videobilder (d. h., aufeinanderliegende Bildblöcke mit konstanter Geschwindigkeit von mindestens 15 Bildblöcken pro Sekunde) aufzunehmen; obwohl keine spezielle Bildblockrate erforderlich ist. Die Eigenschaften der Kameras 102, 104 sind für die offenbarte Technik nicht wesentlich, und die Kameras können sich im Hinblick auf Bildblockrate, Bildauflösung (beispielsweise Pixel pro Bild), Farbe oder Intensitätsauflösung (beispielsweise Anzahl an Bits pro Intensitätsdaten pro Pixel), Brennweite der Linsen, Feldtiefe, und dergleichen unterscheiden. Generell können für eine spezielle Anwendung beliebige Kameras, die zum Fokussieren von Objekten innerhalb eines interessierenden räumlichen Volumens geeignet sind, verwendet werden. Um beispielsweise die Bewegung der Hand einer ansonsten unbeweglichen Person aufzunehmen, kann das interessierende Volumen als ein Würfel mit ungefähr einer Meterseitenlänge definiert werden.
In einigen Implementierungen beinhaltet das dargestellte System 100A eine oder mehrere Quellen 108, 110, die auf einer beliebigen Seite der Kameras 102, 104 angeordnet werden können und die durch das sensorische Analysesystem 106 gesteuert werden. In einer Implementierung sind die Quellen 108, 110 Lichtquellen. Beispielsweise können die Lichtquellen Infrarot-Lichtquellen, beispielsweise Infrarotlicht-emittierende Dioden (LEDs) sein, und die Kameras 102, 104 können für Infrarotlicht empfindlich sein. Die Anwendung von Infrarotlicht kann ermöglichen, dass das Gestenerkennungssystem 100A in einem weiten Bereich von Belichtungsbedingungen arbeiten kann und diverse Unannehmlichkeiten oder Ablenkungen vermeiden kann, die einhergehen, wenn sichtbares Licht in das Gebiet gelenkt wird, in welchem sich die Person bewegt. Es kann jedoch eine spezielle Wellenlänge oder ein Bereich des elektromagnetischen Spektrums erforderlich sein. In einer Implementierung werden Filter 120, 122 vor den Kameras 102, 104 angeordnet, um sichtbares Licht herauszufiltern, in den Bildern die von den Kameras 102, 104 aufgenommen werden, aufgezeichnet wird. In einer weiteren Implementierung sind die Quellen 108, 110 Schallquellen, die Schallenergie bereitstellen, die für einen oder mehrere Schallsensoren (in 1A der Einfachheit halber nicht gezeigt) geeignet ist, die in Verbindung mit oder anstelle der Kameras 102, 104 verwendet werden. Die Schallquellen senden Schallwellen zu dem Anwender aus; der Anwender blockiert (oder erzeugt eine ”Schallabschattung”) oder ändert die Schallwellen (oder ”Schallablenkungen”), die ihn treffen. Derartige Schallabschattungen und/oder Ablenkungen können auch verwendet werden, um die Gesten des Anwenders zu erfassen und/oder Anwesenheitsinformation bereitzustellen und/oder Abstandsinformation unter Anwendung von bekannten Ortungstechniken bereitzustellen. In einigen Implementierungen sind die Schallwellen beispielsweise Ultraschall, der für Menschen nicht hörbar ist.
Es sollte betont werden, dass die in 1A gezeigte Anordnung nur anschaulich und nicht beschränkend ist. Beispielsweise können Laser oder andere Lichtquellen anstelle von LEDs verwendet werden. In Implementierungen, die einen oder mehrere Laser beinhalten, können weitere optische Einrichtungen (beispielsweise eine Linse oder eine Zerstreuungseinrichtung) verwendet werden, um den Laserstrahl aufzuweiten (und sein Gesichtsfeld ähnlich zu jenem der Kameras zu vergrößern). Zweckdienliche Anordnungen können auch Kleinwinkel- und Weitwinkel-Belichtungseinrichtungen für unterschiedliche Bereiche beinhalten. Lichtquellen sind typischerweise diffus und keine spiegelnden Punktquellen; beispielsweise sind im Gehäuse untergebrachte LEDs mit lichtverteilender Umhüllung geeignet.
Beim Betrieb werden die Lichtquellen 108, 110 so angeordnet, dass sie ein interessierendes Gebiet 112 ausleuchten, das einen Steuerungsobjektbereich 114 enthält (in diesem Beispiel eine Hand), der optional ein Werkzeug oder ein anderes interessierendes Objekt halten kann, und die Kameras 102, 104 werden in Richtung auf das Gebiet 112 ausgerichtet, um Videobilder der Hand 114 mit einem Hintergrund 116 aufzunehmen. In einigen Implementierungen wird die Funktion der Lichtquellen 108, 110 und der Kameras 102, 104 durch das sensorische Analysesystem 106 gesteuert, das beispielsweise ein Computersystem, eine in Hardware und/oder Software oder einer Kombination davon implementierter Steuerungslogik vorgesehen sein kann. Auf der Grundlage der aufgenommenen Bilder ermittelt das sensorische Analysesystem 106 die Lage und/oder die Bewegung des Objekts 114.
1B ist eine vereinfachte Blockansicht eines Computersystems 100B, das das sensorische Analysesystem 106 (auch als Bildanalyseeinrichtung bezeichnet) gemäß einer Implementierung der offenbarten Technik bildet. Das sensorische Analysesystem 106 kann eine beliebige Einrichtung oder Gerätekomponente beinhalten oder daraus bestehen, die in der Lage ist, Bilddaten aufzunehmen und zu verarbeiten. In einigen Implementierungen umfasst das Computersystem 100B einen Prozessor 132, einen Speicher 134, eine Sensorschnittstelle 136, eine Anzeige 138 (oder einen oder mehrere andere Darstellungsmechanismen, beispielsweise holographische Projektionssysteme, am Körper tragbare Brilleneinrichtungen oder andere am Kopf getragene Anzeigen (HMDs), auf Scheiben projizierende Anzeigen (HUDs) oder andere visuelle Darstellungsmechanismen oder Kombinationen davon, Lautsprecher 139, eine Tastatur 140 und eine Maus 141. Der Speicher 134 kann verwendet werden, um Befehle, die von dem Prozessor 132 auszuführen sind, sowie Eingangs- und/oder Ausgangsdaten zu speichern, die mit der Ausführung der Befehle verknüpft sind. Insbesondere enthält der Speicher 134 Befehle, die konzeptionell als eine Gruppe von Modulen dargestellt sind, die nachfolgend detaillierter beschrieben sind und die die Funktion des Prozessors 132 und seine Wechselwirkung mit den anderen Gerätekomponenten steuern. Ein Betriebssystem steuert die Ausführung der grundlegenden Systemfunktionen auf tiefer Ebene, etwa Speicherreservierung, Dateiverwaltung und den Betrieb der Massenspeichereinrichtungen. Das Betriebssystem kann eines von vielen Betriebssystemen sein oder dieses enthalten, etwa das Betriebssystem Microsoft WINDOWS, das Betriebssystem Unix, das Betriebssystem Linux, das Betriebssystem Xenix, das Betriebssystem von IBM AIX, das Betriebssystem von Hewlett Packard UX, das Betriebssystem von Novell NETWARE, das Betriebssystem von Sun Microsystems SOLARIS, das OS/2-Betriebssystem, das BeOS-Betriebssystem, das MAC OS-Betriebssystem, das Betriebssystem APACHE, das Betriebssystem OPENACTION, iOS, Android oder andere mobile Betriebssysteme oder eine andere Betriebssystemplattform.
Die Rechenumgebung kann ferner andere entfernbare/nicht-entfernbare, flüchtige/nicht-flüchtige Computerspeichermedium aufweisen. Beispielsweise kann ein Festplattenlaufwerk auf nicht-entfernbare, nicht-flüchtige magnetische Medien schreiben oder davon lesen. Ein Magnetdiskettenlaufwerk kann von einer entfernbaren, nicht-flüchtigen magnetischen Diskette lesen oder darauf schreiben, und ein optisches Diskettenlaufwerk kann aus einer entfernbaren, nicht-flüchtigen optischen Diskette, etwa einer CD-ROM oder einem anderen optischen Medium lesen oder darauf schreiben. Zu anderen entfernbaren/nicht-entfernbaren, flüchtigen, nicht-flüchtigen Computerspeichermedien, die in der anschaulichen Betriebsumgebung verwendet werden können, gehören, ohne darauf eingeschränkt zu sein, Magnetbandkassetten, Flash-Speicherkarten, digitale Vielseitigkeitsdisketten, ein digitales Videoband, ein Halbleiter-RAM, ein Halbleiter-ROM und dergleichen. Die Speichermedien sind typischerweise über eine entfernbare oder nicht-entfernbare Speicherschnittstelle mit dem Systembus verbunden.
Der Prozessor 132 kann ein Mikroprozessor für Allgemeinzwecke sein, kann aber abhängig von der Implementierung alternativ ein Mikrocontroller, ein peripheres integriertes Schaltungselement, eine CSIC (kundenspezifische integrierte Schaltung), eine ASIC (anwendungsspezifische integrierte Schaltung), eine Logikschaltung, ein digitaler Signalprozessor, eine speicherprogrammierbare Einrichtung, etwa ein FPGA (feldprogrammierbares Gatter-Array), eine PLD (speicherprogrammierbare Einrichtung), eine PLA (speicherprogrammierbares Array), ein RFID-Prozessor, ein intelligenter Chip oder eine beliebige andere Einrichtung oder Anordnung von Einrichtungen, die in der Lage sind, die Aktionen der Prozesse der offenbarten Technik umzusetzen.
Die Sensorschnittstelle 136 kann Hardware und und/oder Software enthalten, die eine Kommunikation zwischen dem Computersystem 100B und Kameras, etwa den Kameras 102, 104, ermöglicht, wie sie in 1A gezeigt sind, sowie mit zugehörigen Lichtquellen, etwa den Lichtquellen 108, 110 der 1A. Daher kann beispielsweise die Sensorschnittstelle 136 einen oder mehrere Datenanschlüsse 146, 148 aufweisen, mit denen Kameras verbunden werden können, sowie Hardware- und/oder Software-Signalprozessoren, um von den Kameras empfangene Datensignale zu modifizieren (beispielsweise, um Rauschen zu reduzieren oder um Daten neu zu formatieren), bevor die Signale als Eingangssignale einem Bewegungserfassungs-(”Mocap-”)Programm 144, das in dem Prozessor 132 ausgeführt wird, zugeleitet werden. In einigen Implementierungen kann die Sensorschnittstelle 136 ferner Signale an die Kamera übertragen, beispielsweise, um die Kameras zu aktivieren oder zu deaktivieren, um Kameraeinstellungen (Bildrate, Bildqualität, Empfindlichkeit, etc.) zu steuern oder dergleichen. Derartige Signale können beispielsweise in Reaktion auf Steuersignale aus dem Prozessor 132 übertragen werden, wobei die Steuersignale wiederum in Reaktion auf eine Anwendereingabe oder auf andere erkannte Ereignisse erzeugt werden können.
Die Sensorschnittstelle 136 kann ferner Steuerungen 147, 149 aufweisen, mit denen Lichtquellen (beispielsweise die Lichtquellen 108, 110) verbunden werden können. In einigen Implementierungen liefern die Steuerungen 147, 149 den Betriebsstrom für die Lichtquellen, beispielsweise in Reaktion auf Befehle aus dem Prozessor 132, der das Mocap-Programm 144 ausführt. In anderen Implementierungen können die Lichtquellen den Betriebsstrom aus einer externen Leistungsversorgung erhalten, und die Steuerungen 147, 149 können Steuersignale für die Lichtquellen erzeugen, beispielsweise indem angewiesen wird, dass die Lichtquellen eingeschaltet oder ausgeschaltet werden oder dass sie die Helligkeit ändern. In einigen Implementierungen kann eine einzige Steuerung verwendet werden, um mehrere Lichtquellen zu steuern.
Die das Mocap-Programm 144 definierenden Befehle sind in einem Speicher 134 gespeichert, und diese Befehle führen bei ihrer Abarbeitung eine Bewegungserfassungsanalyse an Bildern aus, die von mit der Sensorschnittstelle 136 verbundenen Kameras geliefert werden. In einer Implementierung beinhaltet das Mocap-Programm 144 diverse Module, etwa ein Objekterfassungsmodul 152, ein Objekt/Bahnanalysemodul 154 und ein Gestenerkennungsmodul 156. Das Objekterfassungsmodul 152 kann Bilder (beispielsweise Bilder, die über die Sensorschnittstelle 136 erfasst werden) analysieren, um Kanten eines Objekts darin und/oder andere Information über die Position des Objekts zu erfassen. Das Objekt/Bahnanalysemodul 154 kann die von dem Objekterfassungsmodul 152 bereitgestellte Objektinformation analysieren, um die 3D-Position und/oder die Bewegung des Objekts (beispielsweise die Hand eines Anwenders) zu ermitteln. Beispiele von Operationen, die in Code-Modulen des Mocap-Programms 144 eingerichtet werden können, sind nachfolgend beschrieben. Der Speicher 134 kann ferner andere Information und/oder Code-Module enthalten, die von dem Mocap-Programm 144 verwendet werden, etwa eine Anwendungsplattform 166, die es einem Anwender ermöglicht, mit dem Mocap-Programm 144 unter Anwendung unterschiedlicher Anwendungen, etwa einer Anwendung 1 (App1), einer Anwendung 2 (App2) und einer Anwendung N (AppN) zu interagieren.
Die Anzeige 138, die Lautsprecher 139, die Tastatur 140 und die Maus 141 können verwendet werden, um eine Anwenderinteraktion mit dem Computersystem 100B zu ermöglichen. In einigen Implementierungen können Ergebnisse der Gestenerfassung unter Anwendung der Sensorschnittstelle 136 und des Mocap-Programms 144 als Anwendereingabe interpretiert werden. Beispielsweise kann ein Anwender Handgesten ausführen, die unter Anwendung des Mocap-Programms 144 analysiert werden, und die Ergebnisse dieser Analyse können als ein Befehl für ein gewisses anderes Programm interpretiert werden, das in dem Prozessor 132 ausgeführt wird (beispielsweise ein Netz-Browser, Textverarbeitung oder eine andere Anwendung). Als anschauliches Beispiel sei daher erwähnt, dass ein Anwender eine Aufwärts- oder Abwärts-Wischgeste benutzen kann, um eine Netzseite, die aktuell auf der Anzeige 138 angezeigt wird, zu ”verschieben”, oder er kann drehende Gesten einsetzen, um die Lautstärke einer Audioausgabe aus den Lautsprechern 139 zu erhöhen oder zu verringern, usw.
Zu beachten ist, dass das Computersystem 100B anschaulich ist und dass Änderungen und Modifizierungen möglich sind. Es können Computersysteme in einer Fülle von unterschiedlichen Größen eingesetzt werden, wozu Server-Systeme, Tischsysteme, tragbare Systeme, Tablet-Rechner, intelligente Telefone oder persönliche digitale Assistenten, am Körper tragbare Geräte, beispielsweise brillenartige Geräte, am Kopf montierte Anzeigen (HMDs), Armbandcomputer, usw. gehören. Eine spezielle Implementierung kann andere Funktionen enthalten, die hierin nicht beschrieben sind, beispielsweise verdrahtete und/oder drahtlose Netzwerkschnittstellen, die Möglichkeit der Medien-Wiedergabe und/oder der Aufzeichnung, usw. In einigen Implementierungen können eine oder mehrere Kameras in den Computer oder in eine andere Einrichtung eingebaut sein, in die der Sensor eingebettet ist, anstatt dass separate Komponenten vorgesehen sind. Ferner kann eine Bildanalyseeinrichtung implementiert werden, indem lediglich eine Teilmenge der Komponenten des Computersystems verwendet wird (beispielsweise als ein Prozessor, der Programm-Code ausführt, eine ASIC oder ein digitaler Signalprozessor mit festgelegter Funktion, mit geeigneten I/O-Schnittstellen, um Bilddaten zu empfangen und Analyseergebnisse auszugeben.
Obwohl hierin das Computersystem 100B mit Bezug zu speziellen Blöcken beschrieben ist, ist zu beachten, dass die Blöcke nur zur bequemeren Beschreibung definiert sind und nicht beabsichtigen, eine spezielle physikalische Anordnung von Komponententeilen festzulegen. Ferner müssen die Blöcke nicht notwendigerweise physikalisch unterschiedlichen Komponenten entsprechen. Wenn physikalisch unterschiedliche Komponenten verwendet werden, sind Verbindungen zwischen Komponenten (beispielsweise für die Datenkommunikation) nach Bedarf verdrahtet und/oder drahtlos.
Entsprechend 1A und 1B führt der Anwender eine Geste aus, die von den Kameras 102, 104 als eine Serie von zeitlich aufeinanderfolgenden Bildern erfasst wird. In anderen Implementierungen können die Kameras 102, 104 eine beliebige beobachtbare Pose oder einen Bereich eines Anwenders erfassen. Wenn beispielsweise an Anwender in das Sichtfeld in der Nähe der Kameras 102, 104 eintritt, erfassen gegebenenfalls die Kameras 102, 104 nicht nur den gesamten Körper des Anwenders sondern die Positionen der Arme und Beine relativ zum Kernbereich oder Rumpf der Person. Diese werden von einem Gestenerkennungsmodul 156 analysiert, das als ein weiteres Modul des Mocap 144 eingerichtet werden kann. Das Gestenerkennungsmodul 156 liefert eine Eingabe an eine elektronische Einrichtung, wodurch es einem Anwender möglich ist, die elektronische Einrichtung von der Ferne zu steuern und/oder virtuelle Objekte zu manipulieren, etwa Prototypen/Modelle, Blöcke, Kugeln oder andere Formen, Knöpfe, Hebel oder andere Steuereinrichtungen in einer virtuellen Umgebung, die auf der Anzeige 138 angezeigt wird. Der Anwender kann die Geste unter Anwendung eines Teils seines Körpers, etwa eines Fingers, einer Hand oder eines Arms ausführen. Als Teil der Gestenerkennung oder unabhängig davon kann das sensorische Analysesystem 106 die Formen und Positionen der Hand des Anwenders im 3D-Raum und in Echtzeit ermitteln; siehe beispielsweise US-Anmeldungen mit der Seriennummer 61/587 554, 13/414 485, 61/724 091 und 13/724 357, die entsprechend am 17. Januar 2012, am 7. März 2012, am 2. November 2012 und am 21. Dezember 2012 eingereicht wurden und deren gesamte Offenbarung hiermit durch Bezugnahme miteingeschlossen ist. Folglich ist das sensorische Analysesystem 106 nicht nur in der Lage, Gesten zum Zwecke der Bereitstellung einer Eingabe für die elektronische Einrichtung bzw. das elektronische Gerät zu erkennen, sondern auch um die Position und die Form der Hand eines Anwenders in aufeinanderfolgenden Video-Bildern zu erfassen, um die Handgeste im 3D-Raum zu charakterisieren und diese auf einem Anzeigebildschirm, etwa der Anzeige 138, zu reproduzieren.
In einer Implementierung vergleicht das Gestenerkennungsmodul 156 die erfasste Geste mit einer Bibliothek aus Gesten, die als Aufzeichnungen elektronisch in einer Datenbank gespeichert ist, die in dem sensorischen Analysesystem 106, der elektronischen Einrichtung oder einem externen Speichersystem eingerichtet ist. (Im hierin verwendeten Sinne umfasst der Begriff ”elektronisch gespeichert” eine Speicherung in einem flüchtigen oder nicht-flüchtigen Speicher, wobei der zuletzt genannte Disketten, einen Flash-Speicher, usw. beinhaltet, und der Begriff erstreckt sich über beliebige von einem Computer adressierbare Speichermedien (einschließlich von beispielsweise optischen Speichern). Beispielsweise können Gesten als Vektoren, d. h. mathematisch spezifizierte räumliche Bahnen, gespeichert werden, und die Gestenaufzeichnung kann ein Feld aufweisen, das den relevanten Teil des Körpers des Anwenders angibt, der die Geste ausführt; somit können ähnliche Bahnen, die von der Hand und dem Kopf des Anwenders ausgeführt werden, in der Datenbank als unterschiedliche Gesten gespeichert werden, so dass eine Anwendung diese unterschiedlich interpretieren kann.
Im Umfeld vorhandene Rechenumgebung
2 zeigt eine Implementierung der Auswahl eines Geräts in einer im Umfeld vorhandenen Rechenumgebung 200. In einer Implementierung kann die im Umfeld vorhandene Rechenumgebung 200 diverse Heimautomatisierungssysteme, etwa Beleuchtungssysteme, hausinterne Überwachungssysteme, Sicherheitssysteme, Hausgerätesysteme, VoIP-Telefonsysteme, andere Telefonsysteme, andere Heimautomatisierungssysteme oder eine beliebige Kombination davon beinhalten. In einer speziellen Implementierung ist ein intelligentes Telefon 216, das mit einer Bewegungssensorsteuereinrichtung versehen ist, ausgebildet, alle Heimautomatisierungssysteme zu steuern, wozu gehören, ohne darauf eingeschränkt zu sein, eine Unterhaltungseinheit 206, eine Thermostat- und HVAC-Steuerung 204, ein Laptop-Computer 208, ein Tischrechner 210, ein Fernsehgerät 212 und ein Kühlschrank 214.
In anderen Implementierungen kann das intelligente Telefon 216 einen oder mehrere Sensoren aufweisen, um beispielsweise Beschleunigung, Temperatur, Feuchtigkeit, Wasser, zugeführte Leistung, Annäherung, externe Bewegung, Gerätebewegung, Audiosignale, Ultraschallsignale, Lichtsignale, Feuer, Rauch, Kohlenstoffmonoxid, Signale von Satelliten für die globale Positionierung (GPS) oder Hochfrequenz (HF), WiFi oder andere elektromagnetische Signale oder Felder zu erfassen. Daher kann beispielsweise das intelligente Telefon 216 einen oder mehrere Temperatursensoren, einen oder mehrere Feuchtigkeitssensoren, einen oder mehrere mit Gefahren in Zusammenhang stehende Sensoren oder einen oder mehrere andere Umweltsensoren, einen oder mehrere Beschleunigungsmesser, ein oder mehrere Mikrofone, optische Sensoren bis zu einschließlich einer oder mehrerer Kameras (beispielsweise ladungsgekoppelte Bauelemente oder Videokameras), aktive oder passive Strahlungssensoren, einen oder mehrere GPS-Empfänger oder einen oder mehrere Hochfrequenz-Identifizierungsdetektoren aufweisen. Obwohl 2 eine Implementierung mit einer Bewegungssensorsteuereinrichtung darstellt, können viele Implementierungen mehrere Sensoren enthalten. In einigen Fällen weist das intelligente Telefon 216 einen oder mehrere primäre Sensoren und einen oder mehrere sekundäre Sensoren auf. Der eine oder die mehreren primären Sensoren können Daten erfassen, die für die Hauptfunktion der Einrichtung wichtig sind (beispielsweise die Interpretation von Gesten, die in der Umgebung 200 ausgeführt werden). Der eine oder die mehreren sekundären Sensoren können andere Arten von Daten (beispielsweise Beleuchtung, Beschleunigung oder Klang) erfassen.
In anderen Implementierungen können eine oder mehrere Anwenderschnittstellenkomponenten (beispielsweise 138) in dem intelligenten Telefon 216 verwendet werden, um über eine visuelle Anzeige (beispielsweise eine Dünnschichttransistor-Anzeige oder eine Anzeige mit organischen lichtemittierenden Dioden) und/oder über einen Audiolautsprecher für einen Anwender 202 Information zu präsentieren. In einer Implementierung können die Anwenderschnittstellenkomponenten (beispielsweise 138) Information von dem Anwender 202 über einen Berührungsbildschirm, Knöpfe, Bildlaufkomponenten (beispielweise eine bewegliche oder virtuelle Ringkomponente), Mikrofon und/oder Kamera (beispielsweise zur Erfassung von Gesten) empfangen.
Wie in 2 gezeigt ist, kann der Anwender 202 ein Gerät bzw. eine Einrichtung aus den unterschiedlichen Geräten in der Umgebung 200 durch Ausführung einer Geste und/oder anderen Körperbewegungen auswählen. In einer Implementierung können reine Gesten oder Gesten in Verbindung mit Spracherkennung und/oder eine virtuelle oder reale Tastatur in Verbindung mit den Gesten verwendet werden, um ein Gerät auszuwählen. In einer weiteren Implementierung kann eine Steuerkonsole, die Gesten erkennt, verwendet werden, um einen gesamten Haushalt zu steuern.
In einigen Implementierungen kann der Anwender 202 einen Arm heben, einen Sprachbefehl ausgeben, einen optischen Befehl ausführen oder unterschiedliche Posen unter Anwendung von Händen und Fingern (beispielsweise ”zeigen mit einem Finger”, ”klicken mit einem einzigen Finger”, ”zeigen mit zwei Fingern”, ”klicken mit zwei Fingern”, ”mit einem ausgestreckten Finger zeigen”, ”mit einem ausgestreckten Finger klicken”, ”mit zwei ausgestreckten Fingern zeigen”, ”mit zwei ausgestreckten Fingern klicken”, ”zentral mit einem Finger zeigen”, ”zentral mit zwei Fingern zeigen”) ausführen, um eine Absicht anzudeuten, mit einem speziellen Gerät in der Umgebung 200 zu interagieren. In anderen Implementierungen kann eine Zeige- und Greifgeste angewendet werden, um einen Zeiger auf einer Anzeige eines Geräts in der Umgebung 200 zu bewegen, es können verbale Befehle verwendet werden, um eine Funktion auszuwählen, es können Augenbewegungen angewendet werden, um einen Zeiger zu bewegen, und ein Blinzeln kann eine Auswahl angeben.
In noch anderen Implementierungen können die Gesten die unterschiedlichen Geräte in der Umgebung 200 unter Anwendung einer grafischen Anzeige oder einer anderen Rückkopplungseinrichtung, durch eine Gruppe aus Menüelementen, Auswahlelementen und Schwenk- und Zoom-Fähigkeiten steuern. Eine Navigation durch die Geräte kann konsistent von der Auswahl auf hoher Ebene des Zielgeräts bis hinab zu einer Betätigung individueller Auswahlelemente erfolgen. In einem Beispiel werden nach Auswahl eines speziellen Geräts und anschließender Erfassung eines vertikalen Einfinger-Zeigevorgangs mit Daumen nach oben ein Zeiger und Kontextmenüelemente für das aktuelle Gerät aktiviert. Die Zeigerposition wird durch die Bewegung und/oder das Ziel des Zeigefingers angesteuert. Die grundlegende Auswahl und die Steuerung über einen Knopf, ein Schiebeelement und Menüelemente werden bewerkstelligt, indem der Zeiger innerhalb eines Elements positioniert wird und der Daumen zu der Abwärts-/Klicken-(ausgerichtet zu dem Zeigefinger)Position bewegt wird. Die Bewegung des Zeigers aus dem Bildschirm heraus zu der mittleren Seite führt zur Anzeige einer Menüliste auf hoher Ebene, wobei die Zeigebewegung auf zwei Dimensionen (auf und ab) beschränkt ist. Die Auswahl einer Option aus dem Menü auf hoher Ebene führt zu einem Gerätewechsel (beispielsweise vom Fernsehgerät zu dem Kühlschrank).
In einigen anderen Implementierungen können die Gesten oder Körperbewegungen auch eingesetzt werden, um ein Gerät ein- oder auszuschalten. Nach der Auswahl eines Geräts führt der Anwender 202 eine nachfolgende Geste, etwa ein Abwärtswischen oder Aufwärtswischen mit der Hand und/oder den Fingern aus, um ein Gerät einzuschalten oder abzuschalten. Beispielsweise kann eine Fingerbewegung aufwärts oder abwärts verwendet werden, um Lichter, den Fernseher oder den Kühlschrank ein- oder auszuschalten.
Andere Beispiele von Diensten in der Umgebung, die unter Anwendung einer gestischen Interaktion in der Umgebung 200 ausgeführt werden, können das Auffüllen von Badewannen, Schwimmbädern und Wellness-Bädern und die Beibehaltung einer gewünschten Temperatur in diesen Einrichtungen sowie die Steuerung von entsprechenden Pumpen, die mit diesen Einrichtungen in Verbindung stehen, beinhalten. Sie können auch individuelle Geräte und Einrichtungen, etwa Küchengeräte, Abluftventilatoren, Luftbefeuchter und Luftentfeuchter, steuern. In einigen Implementierungen können sie motorisierte Geräte, etwa Dachluken, Vorhänge, Möbel, Wände, Bildschirme, Decken, Markisen, mechanische Sicherheitsbarrieren, Türschlösser und anderes steuern. In anderen Implementierungen können sie auch Anrufbeantworter, Sprachnachrichtensysteme steuern und Erinnerungen für die Wartung bereitstellen und Funktionen ausführen, etwa das Telefon bedienen, Brunnen oder andere im Boden versenkte Sprinklersysteme steuern, Küchengeräte und andere Geräte steuern, motorisierte Vorhänge, Fenster oder Dachluken steuern, verriegelte Türen öffnen und sie können den zeitlichen Ablauf dieser Funktionen festlegen. In noch anderen Implementierungen können die Dienstleistungen in der Umgebung für andere Umgebungen, etwa Boote, Flugzeuge, Büroräume, Konferenzräume, Hörsäle, Klassenzimmer, Theater, Hotels, Krankenhäuser und Altenheime angewendet werden.
3 zeigt eine Implementierung der Verwendung eines Sprachbefehls 330, um ein Gerät aus heterogenen Geräten in einer im Umfeld vorhandenen Rechenumgebung 300 auszuwählen. In einer Implementierung kann ein Anwender 302 einen Namen eines Geräts aussprechen, um eine Auswahl für ein Gerät auszuführen. Wie beispielsweiser in 3 gezeigt ist, wählt der Anwender 302 das Fernsehgerät 312 aus, in dem er einen Sprachbefehl ”TV” ausgibt. In anderen Implementierungen kann der Anwender 302 eine Reihe von Befehlen von sich geben, um ein Gerät auszuwählen und das ausgewählte Gerät weiter zu steuern. In einigen anderen Implementierungen kann der Anwender 302 das sprachlich ausgewählte Gerät unter Anwendung von Gesten steuern. In einer speziellen Implementierung ist das mit einer Bewegungssensorsteuereinrichtung versehene intelligente Telefon 316 ausgebildet, alle Komponenten des Heimautomatisierungssystems zu steuern, wozu gehören, ohne darauf eingeschränkt zu sein, die Unterhaltungseinheit 306, die Thermostat- und HVAC-Steuerung 304, der Laptop-Computer 308, der Tischrechner 310, das Fernsehgerät 312 und der Kühlschrank 314.
4 ist eine Implementierung der Anwendung eines Berührungsbefehls, um ein Gerät aus heterogenen Geräten in einer im Umfeld vorhandenen Rechenumgebung 400 auszuwählen. In einigen Implementierungen werden Daten für die Anzeige durch das intelligente Telefon 416 oder ein weiteres Gerät oder durch einen virtuellen Bildschirm in der Umgebung 400 erzeugt, die die heterogenen Geräte kennzeichnen. In anderen Implementierungen wird ein nachfolgender Berührungsbefehl 402 in Bezug zu denjenigen empfangen, der eines der gekennzeichneten heterogenen Geräte auswählt, wie in 4 gezeigt ist. In einer speziellen Implementierung ist das mit einer Bewegungssensorsteuereinrichtung versehene intelligente Telefon 416 ausgebildet, jede Komponente der Heimautomatisierungssysteme zu steuern, wozu gehören, ohne darauf eingeschränkt zu sein, eine Unterhaltungseinheit 406, eine Thermostat- und HVAC-Steuerung 404, ein Laptop-Computer 408, ein Tischrechner 410, ein Fernsehgerät 412 und ein Kühlschrank 414.
17 zeigt eine Implementierung einer Technik mit Auswahl-durch-Zeigen in einer im Umfeld vorhandenen Rechenumgebung 1700. In einer Implementierung wird ein Gerät automatisch aus den heterogenen Geräten (1704, 1706, 1708, 1712, 1710, 1714) ausgewählt, indem ein Gerät in das Sichtfeld einer Kamera des intelligenten Telefons 1716 oder in die Sichtlinie einer Anwenderrecheneinrichtung, etwa eines Tablet-Rechners 1716, gebracht wird.
5 zeigt eine Implementierung unterschiedlicher Paradigmen einstellender bzw. Modelle einstellender bzw. festlegender Gesten (514, 526, 518, 512, 520, 524), die gewählte spezifische Steuerungsmodelle bzw. Steuerungsmuster muster festlegen, um das Ansprechempfindlichkeit von diversen Geräten in einer im Umfeld vorhandenen Rechenumgebung 500 zu steuern. Wie in 5 gezeigt ist, können unterschiedliche Gesten, etwa eine Greif-und-erneut-Ausstreck-Bewegung zweier Finger einer Hand, eine Greif-und-erneut-Ausstreck-Bewegung eines Fingers einer Hand oder ein Halten eines ersten Fingers nach unten und ein Ausstrecken eines zweiten Fingers verwendet werden, um einen Kontext für die Interpretation nachfolgender Gesten zu bestimmen und ein ausgewähltes Gerät zu steuern. Beispielsweise kann ein vertikales Fingerwischen den Wunsch eines Anwenders angeben, die Lautstärke eines Fernsehgeräts oder die Helligkeit der Fernsehanzeige zu erhöhen. Jedoch definieren Modell festlegende Gesten (514, 526, 518, 512, 520, 524), die diverse Gesten Aktionen auf dem Bildschirm auf den unterschiedlichen Geräten hervorrufen und/oder ihre manuellen Ansprechempfindlichkeit steuern. In einem weiteren Beispiel, das sich auf eine im Umfeld vorhandene erweiterte Umgebung bezieht, können Modell festlegende Gesten (514, 526, 518, 512, 520, 524) Interaktionsmodi definieren, um mit unterschiedlichen virtuellen Bildschirmen oder Objekten zu interagieren. Wenn beispielsweise der Anwender mit einer virtuellen Zeitung, die auf einem virtuellen Bildschirm aktiv ist, interagiert, kann ein Wischen der Vorderhand zu einem Weiterblättern einer elektronischen Seite in der virtuellen Zeitung führen, wohingegen die gleiche Geste zu einer Kollision virtueller Fahrzeuge in einer virtuellen Spieleumgebung führen kann, die von dem gleichen virtuellen Bildschirm erzeugt wird. In einer speziellen Implementierung ist ein mit einer Bewegungssensorsteuereinrichtung versehenes intelligentes Telefon 516 ausgebildet, jeweils die Komponenten von Heimautomatisierungssystemen zu steuern, die beinhalten, ohne darauf eingeschränkt zu sein, eine Unterhaltungseinheit 536, eine Thermostat- und HVAC-Steuerung 504, einen Laptop-Computer 508, einen Tischrechner 510, ein Fernsehgerät 532 und einen Kühlschrank 534.
6 ist eine Implementierung einer Bewegungssensorsteuereinrichtung 600, die Gesten in einem dreidimensionalen(3D-)Sensorraum bzw. sensorischen Raum erfasst. 7A, 7B und 7C zeigen drei unterschiedlichen Konfigurationen einer Bewegungssensorsteuereinrichtung 700 mit Verweis auf beispielhafte Implementierungen, die in einem einzigen Gehäuse als ein integrierter Sensor untergebracht sind. In allen Fällen weist die Bewegungssensorsteuereinrichtung 700A, 700B, 700C eine obere Fläche 705, eine Bodenfläche 707 und eine Seitenwand 710, die von der oberen Fläche zu der Bodenfläche 705, 707 reicht, auf. Auch mit Verweis auf 7A enthält die obere Fläche 705 der Bewegungssensorsteuereinrichtung 700A ein Paar aus Fenstern 715 für den Eintritt von Licht in die Kameras 102, 104, wovon eine jeweils zu den Fenstern 715, 717 optisch ausgerichtet ist. Wenn das System die Lichtquellen 108, 110 aufweist, kann die Fläche 705 weitere Fenster zum Durchlassen von Licht zu dem einen oder den mehreren Objekten, das bzw. die verfolgt werden, aufweisen. In der Bewegungssensorsteuereinrichtung 700A sind die Quellen 108, 110 auf der Seitenwand 710 angeordnet. Vorzugsweise sind die Bewegungssensoren mit der Oberfläche der Seitenwand 710 bündig, so dass die Bewegungssensoren angeordnet sind, Bewegungen um eine Längsachse der Bewegungssensorsteuereinrichtung 700A zu erfassen. Selbstverständlich können die Bewegungssensoren in Bezug zu der Seitenwand 710 in das Innere des Geräts zurückgesetzt sein, um die Sensorfunktion und die Anordnung innerhalb des verfügbaren Gehäuseraums zu ermöglichen, sofern die Kopplung mit dem externen Gehäuse der Bewegungssensorsteuereinrichtung 700A geeignet ist. In dem Sensor 700B sind die Quellen 108, 110 in der Nähe der Bodenfläche 707 angeordnet, wobei sie wiederum in bündiger oder vertiefter Konfiguration vorgesehen sind. Die obere Fläche der Bewegungssensorsteuereinrichtung 700B (der Klarheit halber in der Figur nicht gezeigt) enthält Kamerafenster 715, wie in 7A gezeigt ist. In 7C sind die Quellen 108, 110 Wandler für Außenkontakt, die mit der Bewegungssensorsteuereinrichtung 700C über Steckbuchsen 720 verbunden sind. Dieser Aufbau macht es möglich, dass die Bewegungssensoren entfernt von der Bewegungssensorsteuereinrichtung 700C positioniert werden, beispielsweise wenn die Bewegungssensoren vorzugsweise weiter weg angeordnet werden, als dies ansonsten durch das Gehäuse der Bewegungssensorsteuereinrichtung 700C möglich ist.
In anderen Implementierungen können bewegliche Sensorkomponenten der 1B in tragbaren (beispielsweise am Kopf montierte Anzeigen HMDs), tragbaren Brilleneinrichtungen, Armbandcomputern, intelligenten Telefonen usw.) oder beweglichen (beispielsweise autonomen Robotern, Materialtransporteinrichtungen, Automobilen (mensch- oder maschinengesteuert)) Einrichtungen eingebettet sein. 8A zeigt eine Implementierung eines intelligenten Telefons 800A, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist. 8B zeigt eine Implementierung einer Bewegungssensorsteuereinrichtung, die in einer Schwenkkamera 800B eines intelligenten Telefons eingebettet ist. 8C zeigt eine Implementierung 800C einer Bewegungssensorsteuereinrichtung 812, die in einem Mobilgehäuse 814 eines intelligenten Telefons 810 eingebaut ist. 8D zeigt eine Implementierung 800D einer Bewegungssensorsteuereinrichtung, die in einem Mobilgehäuse im Hochformat 816 eines intelligenten Telefons 810 eingebettet 818 ist. 8E zeigt eine Implementierung 800E einer Bewegungssensorsteuereinrichtung 824, die in einem Mobilgehäuse im Querformat 822 eines intelligenten Telefons 820 eingebettet ist. 8F zeigt eine Implementierung 800F einer Bewegungssensorsteuereinrichtung, die in einem Tablet-Gehäuse ohne Tastatur 828 eines Tablet-Computers 826 eingebettet 830 ist. 8G zeigt eine Implementierung 800G einer Bewegungssensorsteuerung 836, die in einem Tablet-Gehäuse 834 eines Tablet-Computers 832 eingebettet ist.
9 zeigt eine Implementierung 900 einer Bewegungssensorsteuereinrichtung 906, die peripher über ein Datenkabel 904 mit einem intelligenten Telefon 902 verbunden ist. In einer Implementierung werden Bewegungsinformation und sensorische Information, die von der Bewegungssensorsteuereinrichtung 906 gesammelt werden, über das Datenkabel 904 an das intelligente Telefon 902 übertragen. In einer weiteren Implementierung werden Gesten, die von der Bewegungssensorsteuereinrichtung 906 erfasst werden, vorverarbeitet, um die erforderliche Bandbreite zu reduzieren, und die vorverarbeiteten Gesten werden über den Kommunikationskanal zu dem intelligenten Telefon 902 gesendet.
Ein Bewegungserfassungssystem erfasst die Bewegung eines Anwenders, einen Teil des Körpers des Anwenders (häufig einen Teil oder mehr der Hände des Anwenders) und/oder eines Objekts im dreidimensionalen(”3D”-)Raum unter Anwendung einer Recheneinrichtung, die mit einer oder mehreren Kameras verbunden ist. Sobald die Bewegung erfasst ist, kann die Recheneinrichtung die Bewegung als einen vom Anwender eingegebenen Befehl interpretieren und kann eine Computeranzeige entsprechend aktualisieren. Beispielsweise kann die Computeranzeige eine virtuelle Darstellung der Hände des Anwenders anzeigen und kann die Darstellung aktualisieren, wenn der Anwender seine Hände bewegt. In einem weiteren Beispiel kann die Computeranzeige ein virtuelles Objekt zeigen, das beeinflusst wird (beispielsweise gedreht oder in der Größe verändert wird), wenn sich die Hände des Anwenders bewegen.
Die Verarbeitung einer Sequenz von erfassten Bildern, die schnell genug ist, um Objekte darin zu erfassen und zu kennzeichnen (beispielsweise im Hinblick auf ihre Umrisse) und um ihre Bewegungen durch die Bildsequenz hinweg in Echtzeit zu verfolgen, erfordert bedeutende Rechenressourcen, was insbesondere von Wichtigkeit ist, wenn die Bewegungssensorsteuereinrichtung in intelligenten Telefonen eingebettet ist, die einer Leistungsbegrenzung unterliegen. Um die Bewegung in Echtzeit oder nahezu in Echtzeit in genauer Weise zu verfolgen, arbeiten die eine oder die mehreren Kameras von Bewegungserfassungssystemen typischerweise mit einer Bildrate von mindestens 15 Bildblöcken pro Sekunde. Die Erfassung mit derart hohen Geschwindigkeiten hat signifikante Leistungsanforderungen zur Folge; im Allgemeinen gibt es einen Kompromiss zwischen der bildratenabhängigen Genauigkeit und dem Ansprechempfindlichkeit von Bewegungserfassungssystemen einerseits und der Leistungsaufnahme andererseits. Die Leistungsanforderungen können jedoch eine praktische Grenze für den Bereich von Anwendungen von Bewegungserfassungssystemen wie intelligenten Telefonen, die mit Bewegungssensorsteuereinrichtungen versehen sind, auferlegen, da eine übermäßige Leistungsaufnahme ihre Verwendung unpraktisch oder wirtschaftlich undurchführbar machen kann. Es wäre daher wünschenswert, die Leistungsaufnahme von intelligenten Telefonen, die mit Bewegungssensorsteuereinrichtungen versehen sind, vorzugsweise in einer Weise zu reduzieren, die das Leistungsvermögen bei der Bewegungsverfolgung nicht beeinflusst.
Dies wird erreicht, indem zumindest ein physikalischer Parameter und/oder Umgebungsparameter eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung versehen ist, überwacht wird und in Reaktion auf die Erfassung einer Änderung des physikalischen Parameters und/oder des Umgebungsparameters, wenn dieser einen spezifizierten Schwellenwert übersteigt, das intelligente Telefon von einem Betriebsmodus auf einen weiteren Betriebsmodus automatisch umgeschaltet wird, etwa von einem Modus mit hoher Leistungsaufnahme in einen Modus mit geringer Leistungsaufnahme.
Hand-Modus
10 ist eine Implementierung des Umschaltens eines intelligenten Telefons 1002 in einen Hand-Betriebsmodus 1000, wenn die eingebettete Bewegungssensorsteuereinrichtung aufrechtsteht und sich bewegt. In einer Implementierung umfasst das intelligente Telefon 1002 Gyroskope, Beschleunigungsmesser, Neigungssensoren und/oder andere Einrichtungen. Diese die Orientierung und die Beschleunigung messenden Einrichtungen können, wenn sie in dem intelligenten Telefon 1002 eingebettet sind, ein oder mehrere Ausgangssignale, etwa Drei-Achsen-Signale für orthogonale x-, y- und z-Achsen erzeugen, die die physikalische Orientierung des intelligenten Telefons 1002 angeben. In einer derartigen Implementierung wird die Bewegungssensorsteuereinrichtung, die in dem intelligenten Telefon 1002 eingebettet ist, in den Hand-Betriebsmodus 1000 umgeschaltet, wenn ein Anwender das intelligente Telefon 1002 so hält, dass seine Fläche in der Nähe des Ohrs des Anwenders auf der Seite des Kopfes ist, wie dies für ein übliches Telefon-Handgerät üblich ist, und wenn dessen Orientierung und Beschleunigung einen gewissen Schwellenwert über- oder unterschreiten.
Weitbereichsmodus
11 zeigt eine Implementierung des Umschaltens eines intelligenten Telefons in einen Weitbereichsbetriebsmodus 1100, wenn die eingebettete Bewegungssensorsteuereinrichtung flach liegend und bewegungslos angeordnet ist. Wie zuvor beschrieben ist, können Orientierung und Beschleunigung des intelligenten Telefons 1002 unter Verwendung von Gyroskopen, Beschleunigungssensoren, Neigungssensoren und/oder anderen derartigen Einrichtungen, die in dem intelligenten Telefon 1002 eingebettet sind, gemessen werden, und das intelligente Telefon 1002 schaltet in den Weitbereichsbetriebsmodus 1100 um.
Modus ”über den Raum hinweg”
12A zeigt eine Implementierung des Umschaltens eines intelligenten Telefons 1206 in einen Betriebsmodus ”über den Raum hinweg” 1200A. In einer Implementierung wird das intelligente Telefon 1206 in einen Betriebsmodus ”über den Raum hinweg” umgeschaltet, wenn das intelligente Telefon 1206 in einem Weitbereichsbetriebsmodus 1200 ist und wenn seine eingebettete Bewegungssensorsteuereinrichtung eine Geste 1202 erfasst.
Intermodus-Betrieb
In einer Implementierung beinhaltet das Einsparen von Leistung in einem intelligenten Telefon, das mit Bewegungssensorsteuereinrichtungen versehen ist, das Erkennen eines Betriebsmodus des intelligenten Telefons. Wenn in einem Beispiel der Betriebsmodus ”Hand” ist, wird angenommen, dass der Anwender in einem Telefongespräch ist und nicht beabsichtigt, die Gestenerkennung und die Interpretationsfähigkeiten der eingebetteten Bewegungssensorsteuereinrichtung zu nutzen. Daher können in dem Hand-Betriebsmodus die Erkennungs- und Interpretationsfähigkeiten der eingebetteten Bewegungssensorsteuereinrichtung abgesenkt oder deaktiviert werden, um Energie zu sparen. Wenn andererseits das Telefon im Betriebsmodus ”Weitbereich” oder ”über den Raum hinweg” ist, können derartige Fähigkeiten erweitert oder aktiviert werden. Dies wird erreicht, indem ein oder mehrere Bilderfassungsparameter und/oder Bildanalyseparameter, die in der Bewegungssensorsteuereinrichtung enthalten sind, eingestellt werden. Nach deren Einstellung sind Erfassung und/oder Analyse von Bilddaten durch die Bewegungssensorsteuereinrichtung oder andere Sensoren der intelligenten Telefone an die eingestellten Bilderfassungsparameter und/oder Bildanalyseparameter angepasst. In einigen Implementierungen beinhalten die Bilderfassungsparameter die Bildauflösung und die Bilderfassungsrate und die Bildanalyseparameter beinhalten den Analysealgorithmus und die Analysedichte.
In einigen Implementierungen kann ein Betriebsmodus ”Hand” die Gestenerkennung und die Interpretationsfähigkeiten zusammen mit einer ”Anti-Bildschwank”-Wirkung oder ”Drift-Kompensations”-Modus initiieren, wie dies nachfolgend in dieser Anmeldung beschrieben ist. In noch anderen Implementierungen kann die Leistung zu den Beleuchtungsquellen, die in Verbindung mit der Bewegungssensoreinrichtung eingebaut sind, für einen Langzeitbetrieb zugeschnitten werden, beispielsweise können Belichtungsquellen ”intermittierend betrieben” (beispielsweise gepulst) werden, so dass intensive Beleuchtungssequenzen über eine kürzere Zeitdauer hinweg bereitgestellt werden, wodurch effektiv eine höhere Beleuchtung bei geringerer Leistungsaufnahme erreicht wird.
In diversen Implementierungen ist die Funktionsweise einer eingebetteten Bewegungssensorsteuereinrichtung auf einen oder mehrere Betriebsmodi eines intelligenten Telefons zugeschnitten oder in idealerweise darauf eingestellt. Generell werden Bilder von einer oder mehreren Kameras des intelligenten Telefons erfasst und in ”Bildspeichern bzw. Bildpuffern” gespeichert – d. h., in Partitionen oder speziellen Segmenten des Computerspeichers, der digitale Bilder als geordnete Felder aus Bildelementen oder ”Pixel” speichert. Eine Bewegungssensorsteuereinrichtung kann eine Gruppe aus Bildanalysealgorithmen enthalten, die in einem Bild Gruppen oder Gebiete an Pixel erkennen, die einem Objekt in der aufgezeichneten Szene entsprechen – beispielsweise der bewegenden Hand eines Anwenders. Ein digitales Bild hat eine Größe (in Pixel) und eine Auflösung, und der Bildanalysealgorithmus erhält die Bildeingabe und verarbeitet diese in eine Ausgabe, die Objekte in dem Bild und ihre Bewegungen definiert, wobei dies von Bild zu Bild erfolgt. Sobald Betriebsmodi des intelligenten Telefons festgelegt sind, wird eine geeignete (idealerweise gut geeignete) Kombination aus Parametern ausgewählt, wodurch beispielsweise Eigenschaften der Bilder, ihre Erfassungsrate und die Art angegeben werden, in der der Bildanalysealgorithmus diese Bilder verarbeitet, so dass ein adäquates Gesamtverhalten bereitgestellt wird.
12B zeigt die grundlegenden Funktionen und Funktionseinheiten 1200B, die bei der Bewegungserfassung und der Bildanalyse entsprechend den Implementierungen der offenbarten Technik beteiligt sind. Wie in 12 gezeigt ist, zeichnen die eine oder die mehreren Kameras 1200 digitale Bilder 1210 einer Szene auf. Jedes digitale Bild wird als ein Array aus Pixelwerten durch den Bildsensor der zugehörigen Kamera erfasst, und die digitalen Bilder werden – entweder in ”Rohformat” oder nach konventioneller Vorverarbeitung – zu einem oder mehreren Bildspeichern 1215 übertragen. Ein Bildspeicher bzw. Bildpuffer ist ein Teil oder ein spezielles Segment eines flüchtigen Speichers, der einen ”in zusammenhängende Speicherstellen eingeteilten” Bildblock 1220 entsprechend den Pixelwerten eines Bildes, wie es von der Kamera 1200 ausgegeben wird, die das Bild aufgezeichnet hat, speichert. Der Bildspeicher ist im Allgemeinen konzeptionell als ein Gitter aufgebaut, wobei jedes Pixel eineindeutig oder auch anders den entsprechenden Ausgangselementen einer Anzeige zugeordnet ist. Es sollte jedoch beachtet werden, dass die Topologie, wie Speicherzellen physikalisch innerhalb der Bildspeicher 1215 aufgebaut sind, keine Rolle spielt und nicht direkt der konzeptionellen Verwaltung entsprechen müssen.
Die Anzahl an Bildspeichern, die in einem System enthalten sind, entspricht generell der Anzahl an Bildern, die von dem Analysesystem oder Modul 1230 gleichzeitig analysiert werden, wie dies nachfolgend detaillierter beschrieben ist. Kurz gesagt, das Analysemodul 1230 analysiert die Pixeldaten in jedem Bildblock aus einer Sequenz aus Bildblöcken 1220, um darin Objekte zu erkennen und ihre Bewegung im Verlaufe der Zeit zu verfolgen (wie durch 1240 angegeben ist). Diese Analyse kann diverse Formen annehmen, und der die Analyse ausführende Algorithmus gibt vor, wie Pixel in den Bildblöcken 1220 gehandhabt werden. Beispielsweise kann der durch das Analysemodul 1230 eingerichtete Algorithmus die Pixel jedes Bildblocks Zeile für Zeile verarbeiten – d. h., jede Reihe des Pixelgitters wird nacheinander analysiert. In anderen Algorithmen können Pixel in Spalten, in Kacheln unterteilten Bereichen oder in anderen Organisationsformaten analysiert werden.
Diese Operationen sind notwendigerweise rechenintensiv; die Vorgehensweise der offenbarten Technik besteht darin, die Kapazität bzw. Leistungsfähigkeit des gesamten intelligenten Telefons im Hinblick auf die erforderlichen Komponenten zu ermitteln und die Bildanalyse so zurecht zu schneidern, dass sie an die Beschränkungen des Telefons angepasst sind, während gleichzeitig minimale Leistungsanforderungen eingehalten werden. Diese Vorgehensweise wird am Besten in Verbindung mit anschaulichen Implementierungen eines intelligenten Telefons (das die Rechenkapazität bereitstellt) und in Verbindung mit einem Bildanalysealgorithmus (dessen Ausführung in Reaktion auf Begrenzungen der Systemkapazität geändert werden kann) verstanden.
In diversen Implementierungen wird die in einer Reihe von Kamerabildern erfasste Bewegung verwendet, um eine entsprechende Reihe von Ausgangsbildern für die Anzeige auf der Anzeige 308 zu berechnen. Beispielsweise können Kamerabilder einer sich bewegenden Hand in einen Drahtrahmen oder andere graphische Darstellungen der Hand durch den Prozessor 132 umgewandelt werden. Alternativ können Handgesten als Eingabe interpretiert werden, die verwendet wird, um eine separate visuelle Ausgabe zu steuern; zur Darstellung sei angenommen, dass ein Anwender in der Lage ist, aufwärts oder abwärts wischende Gesten zu verwenden, um eine Netzseite oder ein anderes Dokument, das aktuell angezeigt wird, zu ”verschieben”, oder er kann seine Hand öffnen oder schließen, um die Seite zu vergrößern oder zu verkleinern. In jedem Falle werden die Ausgangsbilder in Form von Pixeldaten in einem Bildspeicher generell gespeichert, beispielsweise in einem der Bildspeicher 1205. Eine Video-Anzeigesteuerung liest den Bildspeicher aus, um einen Datenstrom und zugehörige Steuersignale zu erzeugen, um die Bilder auf der Anzeige 138 auszugeben. Die Video-Anzeigesteuerung kann zusammen mit dem Prozessor 132 und dem Speicher 134 auf der Hauptplatine des Computers 100B vorgesehen sein und kann zusammen mit dem Prozessor 132 integriert sein oder kann als ein Co-Prozessor eingerichtet sein, der einen separaten Video-Speicher verarbeitet. Wie angemerkt ist, kann der Computer 100B mit einer separaten Graphik- oder Video-Karte versehen sein, die bei der Erzeugung der Reihe der Ausgangsbilder für die Anzeige 138 unterstützend wirkt. Die Video-Karte weist generell eine Graphikverarbeitungseinheit (GPU) und einen Videospeicher auf und ist insbesondere für komplexe und rechenintensive Bildverarbeitung und Bilderzeugung zweckdienlich. Die Graphik-Karte kann den Bildspeicher und die Funktion der Video-Anzeigesteuerung enthalten (und die platineninterne Video-Anzeigesteuerung kann deaktiviert werden). Generell kann die Funktion der Bildverarbeitung und die Funktion der Bilderfassung des Systems auf diverse Arten auf die GPU und den Hauptprozessor 132 aufgeteilt werden.
Geeignete Algorithmen für das Bewegungserfassungsprogramm 335 sind nachfolgend beschrieben und sind auch in detaillierterer Weise beschrieben in der US-Patentanmeldung mit der Nr. 13/414 485, die am 7. März 2012 eingereicht wurde, und in der Nr. 13/742 953, die am 16. Januar 2013 eingereicht wurde, und in der vorläufigen US-Patentanmeldung mit der Nr. 61/724 091, die am 8. November 2012 eingereicht wurde, die hiermit in ihrer Gesamtheit durch Bezugnahme miteingeschlossen sind. Die diversen Module können mit einer beliebigen geeigneten Programmiersprache programmiert sein, wozu, ohne einschränkend zu sein, Sprachen auf hoher Ebene, etwa C, C++, C#, OpenGL, Ada, Basic, Cobra, FORTRAN, Java, Lisp, Perl, Python, Ruby oder Object Pascal oder Assemblersprachen auf niederer Stufe gehören.
In einer Implementierung werden die Kameras 102, 104 so betrieben, dass sie eine Sequenz aus Bildern des Objekts 114 aufnehmen. Die Bilder sind zeitlich so korreliert, dass ein Bild aus der Kamera 102 mit einem Bild aus der Kamera 104 gepaart werden kann, das zur gleichen Zeit aufgenommen wurde (oder innerhalb weniger Millisekunden). Diese Bilder werden dann von einem Bildanalysemodul 1230 analysiert; insbesondere erkennt eine Objekterfassungsroutine das Vorhandensein eines oder mehrerer Objekte in dem Bild und die Objektanalyseroutine analysiert erfasste Objekte, um ihre Positionen und die Form im 3D-Raum zu ermitteln. In einigen Implementierungen betrachtet die Analyseroutine einen Stapel aus 2D-Querschnitten durch das räumliche 3D-Sichtfeld der Kameras. Diese Querschnitte werden hierin als ”Schnitte” bezeichnet. Ein Schnitt kann eine beliebige Ebene sein, wovon zumindest ein Teil im Sichtfeld der Kameras 102, 104 liegt. Zum Zwecke der Bewegungserfassungsanalyse können Schnitte in regelmäßigen Abständen in dem Sichtfeld ausgewählt werden. Wenn beispielsweise die empfangenen Bilder eine festgelegte Anzahl von Zeilen von Pixeln (beispielsweise 1080 Reihen) aufweisen, kann jede Reihe ein Schnitt sein, oder es kann eine Teilmenge der Reihen im Hinblick auf eine schnellere Verarbeitung verwendet werden. Wenn eine Teilmenge der Reihen verwendet wird, können die Bilddaten aus benachbarten Reihen gemittelt zusammengefasst werden, d. h. in Gruppen aus zwei oder drei.
Generell kann, wie in 12C gezeigt ist, eine Ellipse in der xy-Ebene durch fünf Parameter gezeichnet werden: die x- und y-Koordinate des Mittelpunkts (x_C, y_C), die Halb-Hauptachse (a), die Halb-Nebenachse (b) und einen Drehwinkel (θ) (beispielsweise der Winkel der Halb-Hauptachse in Bezug zu der x-Achse). Mit nur vier Tangenten ist die Ellipse unterbestimmt. Jedoch wurde ungeachtet dessen ein effizienter Prozess 1200C zur Abschätzung der Ellipse entwickelt. In diversen Implementierungen, die nachfolgend beschrieben sind, beinhaltet dies, dass eine anfängliche Arbeitsannahme (oder ”ein Raten”) im Hinblick auf einen der Parameter durchgeführt wird, und die Annahme wird als zusätzliche Information betrachtet und wird während der Analyse gewonnen. Diese zusätzliche Information kann beispielsweise physikalische Randbedingungen auf der Grundlage von Eigenschaften der Kameras und/oder des Objekts beinhalten.
In einigen Implementierungen können mehr als vier Tangenten für ein Objekt für einige oder alle Schnitte verfügbar sein, beispielsweise da mehr als zwei Betrachtungspunkte verfügbar sind. Es kann dennoch ein elliptischer Querschnitt ermittelt werden, und der Prozess wird in einigen Fällen in gewisser Weise vereinfacht, da es keine Notwendigkeit gibt, einen Parameterwert anzunehmen. In einigen Fällen können die zusätzlichen Tangenten eine höhere Komplexität hervorrufen. In einigen Implementierungen sind gegebenenfalls weniger als vier Tangenten für ein Objekt in einigen oder allen Schnitten verfügbar, etwa deswegen, weil eine Kante des Objekts außerhalb des Bereichs des Sichtfeldes einer Kamera liegt, oder weil eine Kante nicht erkannt wurde. Ein Schnitt mit drei Tangenten kann analysiert werden. Unter Anwendung zweier Parameter aus einer Ellipsenanpassung an einem benachbarten Schnitt (beispielsweise ein Schnitt, der mindestens vier Tangenten hat) ist beispielsweise das Gleichungssystem für die Ellipse und die drei Tangenten ausreichend bestimmt, so dass es gelöst werden kann. Als eine weitere Option kann ein Kreis an die drei Tangenten anpasst werden; das Definieren eines Kreises in einer Ebene erfordert lediglich drei Parameter (die Koordinaten des Mittelpunkts und den Radius), so dass drei Tangenten ausreichen, um einen Kreis anzupassen. Schnitte mit weniger als drei Tangenten können verworfen oder mit benachbarten Schnitten kombiniert werden.
In einigen Implementierungen wird jeder von einer Anzahl von Schnitten separat analysiert, um die Größe und die Lage eines elliptischen Querschnitts des Objekts in diesem Schnitt zu ermitteln. Dies liefert ein anfängliches 3D-Model (insbesondere einen Stapel aus elliptischen Querschnitten), das verfeinert werden kann, indem die Querschnitte über die unterschiedlichen Schnitte hinweg korreliert werden. Beispielsweise wird erwartet, dass die Oberfläche eines Objekts zusammenhängend ist, und diskontinuierliche Ellipsen können daher unberücksichtigt bleiben. Eine weitere Verfeinerung kann erreicht werden, indem das 3D-Model im zeitlichen Verlauf mit sich selbst korreliert wird, beispielsweise auf der Grundlage von Erwartungswerten, die mit der Kontinuität der Bewegung und der Deformierung in Beziehung stehen.
Die Betriebsmodi des intelligenten Telefons, das mit der Bewegungssensorsteuereinrichtung versehen ist, können die Auflösung der Daten, die dem Bildanalysemodul 1230 zugeführt werden, die Auflösung seiner Analyse oder beides entsprechend den Einträgen in einer Leistungsdatenbank bestimmen. Beispielsweise kann während eines Weitbereichsbetriebsmodus 1100 das Bildanalysemodul 1230 an jedem Bildblock und an allen Daten innerhalb eines Bildblocks operieren, Kapazitätsgrenzen können die Analyse einer reduzierten Menge an Bilddaten pro Block (d. h. die Auflösung) vorgeben oder können zum Verwerfen einiger Bildblöcke führen. Wenn die Daten in jedem der Bildspeicher 1205 als eine Abfolge von Datenzeilen organisiert sind, kann die Art, in der die Daten aus der Analyse ausgesondert werden, von dem Bildanalysealgorithmus oder den Verwendungen abhängen, denen die Ausgabe der Bewegungserfassung zugeleitet ist. In einigen Implementierungen werden Daten in symmetrischer oder gleichmäßiger Weise ausgesondert – beispielsweise wird jede zweite Zeile, jede dritte Zeile usw. bis hinauf zu einer Toleranzgrenze des Bildanalysealgorithmus oder einer Anwendung, die deren Ausgabe verwendet, verworfen. In anderen Implementierungen kann die Häufigkeit des Verwerfens von Zeilen in Richtung zu Rändern des Bildblocks anwachsen. Noch andere Bilderfassungsparameter, die variiert werden können, umfassen die Blockgröße, die Bildauflösung und die Anzahl an Bildblöcken, die pro Sekunde erfasst werden. Insbesondere kann die Bildgröße reduziert werden, indem beispielsweise Randpixel verworfen werden oder indem mit einer geringeren Auflösung erneut abgetastet wird (und nur ein Teil der Bildspeicherkapazität genutzt wird). Parameter, die für die Erfassung von Bilddaten relevant sind (beispielsweise Größen und Blockrate und Eigenschaften), werden gemeinsam als ”Erfassungsparameter bzw. Aufnahmeparameter” bezeichnet, während Parameter, die für die Funktion des Bildanalysemoduls 1230 relevant sind (beispielsweise beim Definieren des Umrisses eines Objekts), gemeinsam als ”Bildanalyseparameter” bezeichnet werden. Die vorhergehenden Beispiele der Erfassungsparameter und der Bildanalyseparameter sind lediglich anschaulich und nicht beschränkend.
Es können Erfassungsparameter auf die Kamera 1200 und/oder die Bildspeicher 1205 angewendet werden. Die Kamera 1200 kann beispielsweise auf Erfassungsparameter beim Betreiben der Kameras 102, 104 ansprechen, um Bilder mit einer angewiesenen Rate aufzunehmen, oder kann stattdessen die Anzahl an erfassten Bildern begrenzen, die (pro Zeiteinheit) an die Bildspeicher 1205 weitergeleitet werden. Bildanalyseparameter können auf das Bildanalysemodul 1230 als numerische Größen angewendet werden, die die Funktion des Umriss definierenden Algorithmus beeinflussen.
Die gewünschten Werte bzw. Sollwerte für Erfassungsparameter und Bildanalyseparameter, die für ein gegebene Stufe von verfügbaren Ressourcen geeignet sind, können beispielsweise von den Eigenschaften des Bildanalysemoduls 1230, der Natur der Anwendung, die die Mocap-Ausgabe verwendet, und den Gestaltungspräferenzen abhängen. Während einige Bildverarbeitungsalgorithmen in der Lage sind, einen Kompromiss zwischen Auflösung der Konturannäherung gegenüber der Auflösung des Eingabebildes über einen weiten Bereich hin vorzunehmen, zeigen andere Algorithmen unter Umständen generell keine große Toleranz – wodurch beispielsweise eine minimale Bildauflösung erforderlich ist, unterhalb derer der Algorithmus nicht arbeiten kann.
Modus für gepaarten Betrieb
13 zeigt eine Implementierung des Umschaltens eines intelligenten Telefons 1302 in einen gepaarten Betriebsmodus 1300. In einer derartigen Implementierung können Geräte (1304, 1306, 1308, 1310, 1312, 1314) und das intelligente Telefon 1302 eine Bluetooth-Technik anwenden, um einen Kommunikationskanal zwischen dem intelligenten Telefon 1302 und dem ausgewählten Gerät der aufgefundenen Geräte einzurichten, wenn das intelligente Telefon 1302 flach und unbewegt angeordnet ist. Dies wird erreicht, indem Geräteidentitätszeichen bzw. Symbole ausgetauscht werden, die Datennutzlasten in ihren jeweiligen Auffindungsortungssignalen enthalten wie das eine, das in 13 als 1330 gezeigt ist. In einigen Implementierungen kann die Bluetooth-Technik eine Identifizierungsphase und eine Paarungs- bzw. Verbindungsphase enthalten. Während der Identifizierungsphase kann das intelligente Telefon 1302 ein Frequenzsprungmuster festlegen, auf das sich die Geräte (1304, 1306, 1308, 1310, 1312, 1314) mit ihren Signalen synchronisieren können. In der Verbindungsphase können Geräte (1304, 1306, 1308, 1310, 1312, 1314) und das intelligente Telefon 1302 Kleinleistungs-HF-Signale mit kurzer Reichweite übertragen und Geräteidentitätszeichen im Rundruf versenden. Alternativ können Geräteidentitätszeichen ohne Paarbildung in einem verbindungslosen Modus empfangen und verarbeitet werden.
Drift-Kompensationsmodus
Implementierungen der offenbarten Technik können angewendet werden, um die Bahn eines Objekts zu ermitteln, das sich in Relation zu einem beweglichen oder einem bewegenden Bezugsrahmen, der mit einem oder mehreren optischen, akustischen Sensoren oder Schwingungssensoren verknüpft ist, bewegt. Vorteilhafterweise können derartige Implementierungen eine Gestenerkennung zur Verwendung in intelligenten Telefonen ermöglichen. Diese Fähigkeit erlaubt es dem Anwender, intuitive Gesten mit virtualisiertem Kontakt oder Kontakt in der tatsächlichen Welt mit einem Objekt der realen Welt oder einem virtuellen Objekt unter Anwendung eines intelligenten Telefons auszuführen, während Bewegungsänderungen des intelligenten Telefons kompensiert werden, indem eine Bewegung von Objekten von Eigenbewegungen des intelligenten Telefons unterschieden wird, um eine geeignete Gestenerkennung zu ermöglichen.
14A zeigt eine Implementierung des Umschaltens eines intelligenten Telefons auf einen Drift-Kompensationsbetriebsmodus 1400A. Insbesondere stellt 14A ein System zur Erfassung von Bilddaten gemäß einer Implementierung der offenbarten Technik dar. In einer Implementierung ist das Gestenerkennungssystem 100A vorzugsweise in einem intelligenten Telefon 1430 oder einer anderen Art eines tragbaren Geräts eingebaut.
14B zeigt eine scheinbare Bewegung von Objekten aus der Perspektive des Anwenders einer aktivierten Vorrichtung einer virtuellen Umgebung 1400B entsprechend der offenbarten Technik. 14B zeigt zwei Ansichten eines Anwenders eines Geräts 1410, wobei ein Sichtfeld 1413 zu zwei unterschiedlichen Zeiten betrachtet wird. Wie in Block 1401 gezeigt ist, betrachtet zu einer Anfangszeit t₀ ein Anwender ein Sichtfeld 1113a unter Anwendung des Geräts 1101 an einer speziellen Anfangsposition, um einen Bereich bzw. eine Fläche 1413a zu betrachten. Wie in Block 1402 gezeigt ist, stellt das Gerät 1410 für den Anwender eine Anzeige des Sichtfelds des Geräts 1413a bereit, das Objekte 1414 (eine Schere) in einer speziellen Lage enthält. Wie in Block 1403 gezeigt ist, hat zu einer nachfolgenden Zeit t₁ der Anwender das Gerät 1410 neu positioniert. Folglich hat sich die scheinbare Position von Objekten 1414 in dem Sichtfeld 1413b, das in dem Block der Schere 1404 gezeigt ist, in Bezug zu der scheinbaren Position der Objekte 1414 im Sichtfeld 1413a geändert. Selbst in dem Falle, in welchem die Schere 1414 sich nicht im Raum bewegte, sieht der Anwender eine scheinbare Bewegung der Schere 1414 aufgrund der Änderung der Position des Geräts.
15 zeigt eine scheinbare Bewegung von Objekten aus der Perspektive eines Anwenders einer in einer virtuellen Umgebung 1500 aktivierten Vorrichtung gemäß der offenbarten Technik. Wie durch den Block mit der Schere 1502 gezeigt ist, enthält das von dem Gerät 1410 zum Zeitpunkt t₀ präsentierte Sichtfeld 1413a ein Objekt 1414. Zum Zeitpunkt t₀ sind Position und Orientierung des verfolgten Objekts 1414 in Bezug auf den Gerätebezugsrahmen 1420a wiederum zum Zeitpunkt t₀ bekannt. Wie durch den Block 1504 gezeigt ist, haben sich zum Zeitpunkt t₁ die Position und die Orientierung sowohl des Gerätebezugsrahmens 1420b als auch des verfolgten Objekts 1414 geändert. Wie durch Block 1504 gezeigt ist, enthält das von dem Gerät 1410 zum Zeitpunkt t₁ dargestellte Sichtfeld 1413b das Objekt 1414 in einer neuen scheinbaren Position. Da sich das Gerät 1410 bewegt hat, hat sich der Gerätebezugsrahmen 1420 von einem ursprünglichen oder anfänglichen Gerätebezugsrahmen 1420a zu einem aktuellen oder finalen Referenzrahmen 1420b bewegt, wie dies durch die Transformation T angegeben wird. Es ist zu beachten, dass das Gerät 1410 sich sowohl drehen als auch geradlinig bewegen kann. Implementierungen können die Erfassung der Position und der Drehung des Bezugsrahmens 1420b in Bezug zu dem Bezugsrahmen 1420a und die Erfassung der Position und der Drehung des verfolgten Objekts 1414 in Bezug zu 1420b zum Zeitpunkt t₁ bereitstellen. Implementierungen können die Position und Drehung des verfolgten Objekts 1414 in Bezug zu 1420a ausgehend von der erfassten Position und Drehung des Bezugsrahmens 1420b mit Bezug zu dem Bezugsrahmen 1420a und der erfassten Position und Drehung des verfolgten Objekts 1414 in Bezug zu 1420b ermitteln.
In einer Implementierung wird eine Transformation R^T ermittelt, die den gestrichelten Bezugsrahmen 1420a zu dem gepunkteten Bezugsrahmen 1420b verschiebt. Die Anwendung der inversen Transformation –R^T führt dazu, dass der gepunktete Bezugsrahmen 1420b auf dem gestrichelten Bezugsrahmen 1420a zu liegen kommt. Anschließend ist das verfolgte Objekt 1414 in der richtigen Position aus Sicht des gestrichelten Bezugsrahmens 1420a. Bei der Ermittlung der Bewegung des Objekts 1414 kann das System 100A dessen Position und Richtung durch rechnerische Analyse von Bildern, die von den Kameras 102, 104 aufgenommen wurden, und durch Bewegungsinformation ermitteln, die von der Bewegungssensorsteuereinrichtung 600 erfasst wird. Beispielsweise kann eine scheinbare Position eines beliebigen Punkts auf dem Objekt (im 3D-Raum) zum Zeitpunkt
in eine tatsächliche Position des Punkts auf dem Objekt zum Zeitpunkt
umgewandelt werden, wobei eine affine Transformation verwendet wird
Die korrekte Position zum Zeitpunkt t = t₁ eines Punkts auf dem verfolgten Objekt in Bezug zu einem Gerätebezugsrahmen 1420a ist durch Gleichung (1) gegeben:
wobei:

R_ref: – eine affine Transformation repräsentiert, die die Transformation von dem Gerätebezugsrahmen 1420a in den Gerätebezugsrahmen 1420b beschreibt.
T_ref: – eine Translation des Gerätereferenzrahmens 1420a zu dem Gerätereferenzrahmen 1420b repräsentiert.

Ein konventioneller Ansatz zum Erhalten der affinen Transformation R (aus dem Achseneinheitsvektor u = (u_x, u_y, u_z), dem Drehwinkel θ) ist ein Verfahren gemäß Wikipedia bei http://en.wikipedia.org/wiki/Rotation_matrix, Drehmatrix aus Achse und Winkel, vom 30. Januar 2014, 20:12 UTC, aus der die Berechnungsgleichung (2) zumindest teilweise ersichtlich wird:

ist ein Vektor, der eine Translation des Objekts in Bezug zum Ursprung des Koordinatensystems des verschobenen Systems repräsentiert
–R^T·T =
In einem weiteren Beispiel können eine scheinbare Orientierung und Position des Objekts zum Zeitpunkt t = t₁: affine Transformation
in eine reale Orientierung und Position des Objekts zum Zeitpunkt
umgewandelt werden, wobei eine affine Transformation
verwendet wird. Die korrekte Orientierung und Position des verfolgten Objekts in Bezug auf den Gerätereferenzrahmen zum Zeitpunkt t = t₀ (1420a) ist durch Gleichung (3) gegeben:
wobei:

R_ref: – eine affine Transformation repräsentiert, die die Transformation von dem Gerätebezugsrahmen 1420a zu dem Gerätebezugsrahmen 1420b beschreibt.
R_obj: – eine affine Transformation repräsentiert, die die Drehung des Objekts in Bezug zu dem Gerätebezugsrahmen 1420b beschreibt.
R'_obj: – eine affine Transformation repräsentiert, die die Drehung des Objekts in Bezug zu dem Gerätebezugsrahmen 1420a beschreibt.
T_ref: – eine Translation des Gerätebezugsrahmens 1420a zu dem Gerätebezugsrahmen 1420b repräsentiert.
T_obj: – eine Translation des Objekts in Bezug zu dem Gerätebezugsrahmen 1420b repräsentiert.
T'_obj: – eine Translation des Objekts in Bezug zu dem Gerätebezugsrahmen 1420a repräsentiert.

In einem noch weiteren Beispiel können eine schienbare Orientierung und Position des Objekts zum Zeitpunkt t = t₁: affine Transformation
in eine reale Orientierung und Position des Objekts zum Zeitpunkt
umgewandelt werden, wobei eine affine Transformation
verwendet wird. Ferner können die Position und die Orientierung des anfänglichen Referenzrahmens in Bezug zu einem (typischerweise) festgelegten Referenzpunkt im Raum ermittelt werden unter Anwendung einer affinen Transformation
Die korrekte Orientierung und die Position des verfolgten Objekts in Bezug zu dem Gerätereferenzrahmen zum Zeitpunkt t = t₀ (1420a) ist durch Gleichung (4) gegeben:
wobei:

R_init: – eine affine Transformation repräsentiert, die die Transformation von dem Welt-Bezugsrahmen 1419 zu dem Gerätebezugsrahmen 1420a beschreibt.
R_ref: – eine affine Transformation repräsentiert, die die Transformation von dem Gerätebezugsrahmen 1420a zu dem Gerätebezugsrahmen 1420b beschreibt.
R_obj: – eine affine Transformation repräsentiert, die die Drehung des Objekts in Bezug zu dem Gerätebezugsrahmen 1420b beschreibt.
R'_obj: – eine affine Transformation repräsentiert, die die Drehung des Objekts in Bezug zu dem Gerätebezugsrahmen 1420a beschreibt.
T_init: – eine Translation des Welt-Bezugsrahmens 1419 zu dem Gerätebezugsrahmen 1420a repräsentiert.
T_ref: – eine Translation des Gerätebezugsrahmens 1420a zu dem Gerätebezugsrahmen 1420b repräsentiert.
T_obj: – eine Translation des Objekts in Bezug zu dem Gerätebezugsrahmen 1420b repräsentiert.
T'_obj: – eine Translation des Objekts in Bezug zu dem Gerätebezugsrahmen 1420a repräsentiert.

Nahfeld-Kommunikation
16 zeigt eine Implementierung 1600 der Rundumsendung von Geräteidentitätszeichen der heterogenen Geräte über einen Kommunikationskanal mit ultrakurzer Reichweite in einer im Umfeld vorhandenen Rechenumgebung. In einigen Implementierungen können die Geräte (1604, 1606, 1608, 1610, 1612, 1614) und ein intelligentes Telefon 1616 die Nahfeld-Kommunikation (NFC) für eine Kommunikation mit sehr kurzer Reichweite benutzen und die Identifizierungsphase der Bluetooth-Technik durch eine einfache Verzweigung zu den Geräten (1604, 1606, 1608, 1610, 1612, 1614) und dem intelligenten Telefon 1616 ersetzen. Im Fall der NFC können die Geräte (1604, 1606, 1608, 1610, 1612, 1614) und das intelligente Telefon 1616 Antennen aufweisen, die als Windungen eines Transformators dienen, um HF-Signale mit sehr kurzer Reichweite und hoher Leistung für die Rundumsendung von Geräteidentitätszeichen (1, 2, 3, 4, 5, 6) zu erzeugen. In anderen Implementierungen kann eine Funkfrequenzkennung (RFID) oder eine NFC-Kennung in den Geräteidentitätszeichen (1, 2, 3, 4, 5, 6) enthalten sein, die von den Geräten (1604, 1606, 1608, 1610, 1612, 1614) an das intelligente Telefon 1616 gesendet werden. Die RFID-Kennung oder die NFC-Kennung können von einer RFID- oder NFC-Leseeinheit empfangen oder gelesen werden, die in dem intelligenten Telefon 1616 enthalten ist.
In einigen Implementierungen können die Geräte (1604, 1606, 1608, 1610, 1612, 1614) und das intelligente Telefon 1616 an einem drahtlosen lokalen Netzwerk (WLAN) durch Wi-Fi über einen Zugriffspunkt (AP) teilhaben, der ein Wi-Fi-Signal im Rundruf sendet, das über einen mittleren Bereich hinweg verwendbar ist. In Reaktion auf eine Adressenauflösungsprotokoll-(ARP)Abtastung auf Grundlage einer Medienzugriffssteuerungs-(MAC-)Adresse, wobei die Abtastung von den Geräten (1604, 1606, 1608, 1610, 1612, 1614) und dem intelligenten Telefon 1616 initiiert wird, kann der AP eine Liste von mit ihm verbundenen Geräten zusammen mit ihren MAC-Adressen, Namen, Format, Internetprotokoll (IP) usw. erzeugen.
In einigen Implementierungen können Geräteidentitätszeichen in Form eines Strichcodes, etwa eines Schnellantwort-(QR-)Codes, erzeugt werden. Der QR-Code kann in dem intelligenten Telefon 1616 in einer elektronischen Form und/oder weiter gedruckt/markiert/befestigt werden. Der QR-Code kann dann auf einer RFID-Leseeinheit oder einem Abtaster, der den Geräten (1604, 1606, 1608, 1610, 1612, 1614) zugeordnet ist, abgetastet werden. In anderen Implementierungen kann der QR-Code eine abtastbare URL sein, die auf eine Adresse einer Stelle im Netz oder einer Netzseite verweist, die Information über die auf den Anwender zugeschnittene Getränkezusammensetzung enthält.
Kommunikationssysteme mit kurzer Reichweite, etwa Bluetooth, Nahfeld-Kommunikation (NFC), RFID, Z-Welle, ZigBee, usw. können eine Gerät-zu-Gerät-(P2P)Verbindung zwischen den Geräten (1604, 1606, 1608, 1610, 1612, 1614) und dem intelligenten Telefon 1616 einrichten, wenn diese in unmittelbarer Nähe zueinander bleiben. Während einer P2P-Verbindung senden die Geräte (1604, 1606, 1608, 1610, 1612, 1614) und das intelligente Telefon 1616, wenn sie gegenseitig in ihrem Sendebereich liegen, Geräteidentitätszeichen im Rundruf. Im passiven oder verbindungslosen P2P-Modus kann eines der Geräte den Rundruf initiieren und andere können sich als ein Empfänger verhalten, ohne dass ein gepaarter Modus eingenommen wird. In dem aktiven P2P-Modus, in welchem die Geräte im gepaarten Modus sind oder eine aufgebaute Verbindung besitzen, können sowohl die Geräte (1604, 1606, 1608, 1610, 1612, 1614) als auch das intelligente Telefon 1616 die Geräteidentitätszeichen (1, 2, 3, 4, 5, 6) senden und empfangen.
Ein WLAN, etwa Wi-Fi, kann die Geräte (1604, 1606, 1608, 1610, 1612, 1614) und das intelligente Telefon 1616 unter Anwendung von Signalen des mittleren Empfangsbereichs mit dem AP verbinden. Während der WLAN-Verbindung können die Geräte (1604, 1606, 1608, 1610, 1612, 1614) und das intelligente Telefon 1616 im Rundruf-(verbindungslos) oder verbundenen Modus arbeiten. In einem Rundrufmodus kann für rundrufende Geräte (1604, 1606, 1608, 1610, 1612, 1614) und das intelligente Telefon 1616, die mit einem gemeinsamen AP verbunden sind, angenommen werden, dass sie in unmittelbarer Nähe zueinander sind. Zeichen können beispielsweise zu einer MAC-Adresse oder zu einer weiteren MAC- oder IP-Adresse eines definierten Netzwerksegmentbereichs als Rundruf gesendet werden. Die Rundrufsendung zu einer MAC-Adresse wird durch IPv4 und IEEE 802.11 unterstützt. Im IPv6 übernimmt der Mehrfachruf die Stelle des Rundrufs. Zeichen bzw. Symbole können in erkannten Rundrufnachrichtentypen eingebettet werden. Ein Beispiel eines Rufrufprotokolls ist das Internetsteuerungsnachrichtenprotokoll, das sowohl in IPv4 als auch in IPv6 eingerichtet ist. ICMP-Nachrichten diverser Arten könnten verwendet werden, oder es könnte eine neue Art ausgewählt werden aus dem reservierten Bereich der Typen-Codierungen. Ein weiteres Beispiel eines Rundrufprotokolls, das von IPv4 unterstützt wird, ist das Adressenauflösungsprotokoll (ARP). Es können Abfragenachrichten verwendet werden, um ein WLAN-Segment abzusuchen. Aus Antworten auf eine Abfrage kann eine Liste aus eindeutigen Medienzugriffssteuerungs-(MAC-)Adressen von verbundenen Geräten zusammengestellt werden. In IPv6 spezifiziert das Nachbarschaftsauffindungsprotokoll (NDP) eine Vielzahl von Mehrfachnachrichtentypen, die für die Übertragung von Identitätszeicheninformation angepasst werden könnten. Wenn die Geräte (1604, 1606, 1608, 1610, 1612, 1614) und das intelligente Telefon 1616 ARP-Nachrichten oder Geräteidentitätszeichen (1, 2, 3, 4, 5, 6) als Rundruf senden können, dann kann der AP die Rundsendungen zu anderen verbundenen Geräten weiterleiten. In einigen Implementierungen können mehrere APs, die eine einzige Stelle abdecken, etwa einem großen Tagungsraum, Rundrufe als eine Gruppe weiterleiten oder sie können als ein einzelner AP behandelt werden.
Auf Nähe basierende Auswahl
18 ist eine Implementierung, die eine Implementierung zur Auswahl eines Geräts in einer im Umfeld vorhandenen Rechenumgebung 1800 auf der Grundlage des Grades an Nähe der Geräte zeigt. In einigen Implementierungen kann ein Schwellenwert oder eine Zeitgrenze festgelegt werden, um ein intelligentes Telefon 1802 darin zu unterstützen, Verbindungsereignisse anzusammeln, die sich aus einem aufeinanderfolgenden Empfang des gleichen Geräteidentitätszeichens ergeben. In zusammengefassten Verbindungsereignissen, die sich aus dem Empfang mehrerer Geräteidentitätszeichen ergeben, können Geräteidentitätszeichen mit höher Anzahl, längeren Zeitstempeleinträgen oder mit größerer Empfangssignalstärkeindikatoren (RSSI) eine bestehende und unmittelbare Nähe zweier Geräte angeben.
RSSI
In einer Implementierung wird der Grad an Nähe auf der Grundlage von RSSI (1814, 1816, 1818, 1830, 1812, 1834) der Geräte (1804, 1806, 1808, 1820, 1822, 1824) berechnet. In einigen Implementierungen wird der RSSI auf der Grundlage der Dauer einer Übertragung zwischen dem intelligenten Telefon 1802 und Geräten (1804, 1806, 1808, 1820, 1822, 1824) gemessen. In zusammengefassten Verbindungsereignissen, die sich aus dem Empfang mehrerer Geräteidentitätszeichen ergeben, können Geräteidentitätszeichen mit höherer Anzahl oder mit längeren Zeitstempeleinträgen eine bestehende und große Nähe zweier Geräte angeben.
Eine Ansammlung bzw. Aggregation kann in dem intelligenten Telefon 1802 und den Geräten (1804, 1806, 1808, 1820, 1822, 1824) oder in beiden ausgeführt werden. Beispielsweise können das intelligente Telefon 1802 und Geräte (1804, 1806, 1808, 1820, 1822, 1824) empfangene Geräteidentitätszeichen aufsammeln, um eine Zeitstempeldauer zu ermitteln. In einigen Implementierungen kann das Unvermögen zum Empfang eines Geräteidentitätszeichens aus einem rundumsendenden Gerät innerhalb eines vorgegebenen Zeitfensters bewirken, dass das empfangene Gerät ein Verbindungsereignis schließt und zusammenfasst. Nach einer Zeitablaufdauer ohne Empfang weiterer Geräteidentitätszeichen können das intelligente Telefon 1802 und Geräte (1804, 1806, 1808, 1820, 1822, 1824) im Speicher die Menge der angesammelten Geräteidentitätszeichen und die zugehörigen Metadaten einschließlich von Zeitstempeldauern und RSSI-Wert speichern. Das intelligente Telefon 1802 und Geräte (1804, 1806, 1808, 1820, 1822, 1824) können die Qualität einer Übertragung als ”stark” oder ”durchschnittlich” auf der Grundlage der Anzahl gesammelter Geräteidentitätszeichen und den zugehörigen Metadaten-Werten kennzeichnen. Die Qualität einer Rundrufsendung kann eine mittelbare Nähe des rundrufenden Geräts anzeigen und kann verwendet werden, um einen Grad an Nähe zu berechnen.
Positionsinformation
19 zeigt eine Implementierung für die Auswahl eines Geräts in einer im Umfeld vorhandenen Rechenumgebung 1900 auf der Grundlage von Positionsinformation der Geräte. Die Positionsinformation bzw. Ortungsinformation eines intelligenten Telefons 1916 und von Geräten (1904, 1906, 1908, 1912, 1910, 1914) kann verwendet werden, um gemäß einigen Implementierungen einen Grad an Nähe zwischen ihnen zu ermitteln. In einigen Implementierungen können ein Positionsdatensender/empfänger und ein Netzwerkadapter, die mit entsprechenden Prozessoren gekoppelt sind, die in dem intelligenten Telefon 1916 und den Geräten (1904, 1906, 1908, 1912, 1910, 1914) arbeiten, die entsprechenden Positionsdaten (d, d1, d2, d3, d4, d5) erzeugen. In einigen Implementierungen können diese Positionsdaten unter Anwendung von Echtzeit-GPS oder GNSS-Meldungen berechnet werden.
Wenn in einigen Implementierungen das intelligente Telefon 1916 innerhalb des Sendebereichs der Geräte (1904, 1906, 1908, 1912, 1910, 1914) liegt, kann ein Ereignis der physikalischen Nähe automatisch erzeugt und in der Speichereinheit des intelligenten Telefons 1916 gespeichert werden. Die Erzeugung des Ereignisses von physikalischer Nähe kann ausgelöst werden, wenn die Position des intelligenten Telefons 1916 mit der Position der Geräte (1904, 1906, 1908, 1912, 1910, 1914) übereinstimmt. In anderen Implementierungen kann es bei Initiierung einer Gerät-zu-Gerät-Kommunikation zwischen dem intelligenten Telefon 1916 und Geräten (1904, 1906, 1908, 1912, 1910, 1914) erzeugt werden.
In einer Implementierung wird Positionsinformation der Geräte (1904, 1906, 1908, 1912, 1910, 1914) durch Ausführen einer Abtastung bzw. Durchsuchung der im Umfeld vorhandenen Rechenumgebung 1900 mit einer Aussendung bzw. Emission aus einem Sendebereich entsprechend einem geordneten Abtastmuster ermittelt. Abtastungen können kontinuierlich oder unzusammenhängend sein. Die Emission kann empfangen werden, um ein Signal auf der Grundlage mindestens einer prägnanten Eigenschaft (beispielsweise Intensität, Amplitude, Frequenz, Polarisation, Phase oder eine andere erfassbare Eigenschaft) der Emission, die zeitlich in den Geräten (1904, 1906, 1908, 1912, 1910, 1914) variiert, zu erzeugen. Synchronisierungsinformation (beispielsweise ein spezieller Winkel einer Summenemission an einem bekannten Punkt im Raum bei bekannter Zeit aus Sicht des Senders) über das geordnete Abtastmuster kann aus einer Quelle (beispielsweise die Emission selbst, eine Komponente der Emission (d. h., ein Unterkanal, etc.), ein zweites Signal, das separat als Rundruf gesendet wird, Teilung von sozialen Medien, anderen, oder und/oder Kombinationen davon) abgeleitet werden. Ein Zusammenhang zwischen mindestens einer Eigenschaft des Signals und der Synchronisierungsinformation kann erstellt werden. Positionsinformation kann auf der Grundlage, zumindest teilweise, des Zusammenhangs ermittelt werden.
In einer Implementierung wird der Zusammenhang erstellt, in dem ermittelt wird, dass eine gewisse Signaleigenschaft (beispielsweise ein Doppel-Peak in einem Intensitäts-Zeit-Signal) einem synchronen ”Zwitschersignal” entspricht (d. h., ein nächstliegendes synchrones Maximum zu einem nächstliegenden synchronen Zwitschersignal ergibt eine gewisse Zahl zwischen 0–360 Grad)).
In einer weiteren Implementierung wird Positionsinformation abgeleitet, indem der Zusammenhang (beispielsweise einige Grad von 0–360) in eine Winkelposition um den Sender herum umgewandelt wird.
In einigen Implementierungen können einer oder mehrere Sender in der im Umfeld vorhandenen Rechenumgebung 1900 selektiv eingeschaltet (beispielsweise jeweils einer pro Zeiteinheit, in Gruppen, sequentiell oder entsprechend einem gewissen Muster), gepulst, ineinander geblendet oder in einer beliebigen Kombination davon betrieben werden, um in vorteilhafterweise die im Umfeld vorhandene Rechenumgebung 1900 ”abzutasten bzw. zu durchsuchen”. Eine Abtastung kann ein digitales Pulsieren, eine kontinuierliche Änderung von Amplitude oder Intensität oder eine Kombination davon umfassen. Eine Abtastung kann eine Reihenfolge derart enthalten, dass unterschiedliche Bereiche in dem interessierenden Gebiet eine charakteristische Emission aus dem Übertragungsbereich empfangen, die der Reihenfolge des Abtastmusters entspricht. In einer Implementierung gibt eine Reihenfolge von Emissionen in einem geordneten Abtastmuster einen ”Zeitablauf” wieder, der die Zeit umfassen kann, ohne jedoch notwendigerweise darauf beschränkt zu sein, in welcher gewisse Emissionen stattfinden. Empfänger in der Nähe des interessierenden Objekts erfassen die Emission (beispielsweise Funkantennen, Mikrofone, Fotodioden, CCD-Array und/oder CMOS-Array und/oder andere Arten von Einrichtungen, die zur Umwandlung einer ausgeprägten Eigenschaft der empfangenen Emission im zeitlichen Verlauf in Strom oder Spannung und/oder Kombinationen davon geeignet sind) als ein Signal mit zeitlichem Verlauf. Es kann ein Synchronisierungsverfahren angewendet werden, um Information über den Zeitablauf des geordneten Abtastmusters zu erhalten. Es kann ein Mechanismus in Hardware oder Software verwendet werden, um die Zeitablaufinformation mit dem zeitlichen Verlauf des Signals zu vergleichen und Positionsinformation zu extrahieren.
Umwandlung von auf Gesten nicht reagierenden Geräten so, dass sie auf Gesten reagieren
Üblicherweise interagieren Anwender mit elektronischen Geräten (etwa einem Computer oder einem Fernsehgerät) oder mit Rechenanwendungen (etwa Computerspielen, Multimedia-Anwendungen oder Büroanwendungen) über indirekte Eingabegeräte, wozu beispielsweise Tastaturen, Joysticks oder Fernsteuerungen gehören. Der Anwender bedient die Eingabegeräte, um einen speziellen Vorgang auszuführen, etwa das Auswählen eines speziellen Eintrags aus einem Bedienmenü. Modern Eingabegeräte enthalten jedoch mehrere Knöpfe, häufig in komplexer Konfiguration, um eine Übertragung von Anwenderbefehlen zu den elektronischen Geräten oder Rechenanwendungen zu ermöglichen; wobei eine korrekte Bedienung dieser Eingabegeräte häufig für den Anwender eine Herausforderung darstellt. Ferner entsprechen Aktionen, die an einem Eingabegerät ausgeführt werden, im Allgemeinen nicht in einem intuitiven Sinne den sich ergebenden Änderungen beispielsweise auf einer Bildschirmanzeige, die durch das Gerät gespeichert wird. Eingabegeräte können auch verlorengehen, und die häufige Erfahrung des Suchens nach an falscher Stelle abgelegten Geräten ist zu einer frustrierenden Erfahrung des modernen Lebens geworden.
Berührungsempfindliche Bildschirme, die direkt in anwendergesteuerten Geräten eingerichtet sind, führen zur Vermeidung der Notwendigkeit für separate Eingabegeräte. Ein Berührungsbildschirm bzw. berührungsempfindlicher Bildschirm erfasst die Anwesenheit und die Position einer ”Berührung”, die von einem Finger eines Anwenders oder einem anderen Objekt auf dem Anzeigebildschirm ausgeführt wird, wodurch der Anwender in die Lage versetzt wird, eine gewünschte Eingabe durch einfaches Berühren des geeigneten Bereichs auf einem Bildschirm einzugeben. Obwohl Berührungsbildschirme für Geräte mit kleiner Anzeige, etwa Tablet-Rechner oder Mobiltelefone geeignet sind, sind_. sie für größere Unterhaltungsgeräte, die der Anwender aus einer gewissen Entfernung betrachtet, unpraktisch. Insbesondere für Spiele, die in derartigen Geräte implementiert sind, haben die Hersteller von elektronischen Komponenten Systeme entwickelt, die Bewegungen oder Gesten eines Anwenders erfassen und die Anzeige veranlassen, in einer damit im Zusammenhang stehenden Weise zu reagieren. Die Gesten des Anwenders können unter Anwendung eines optischen Bildgebungssystems erfasst werden und werden von geeigneten Rechenressourcen eingestuft und interpretiert. Beispielsweise kann ein Anwender in der Nähe eines TV-Geräts eine gleitende Handgeste ausführen, die von dem Gestenerkennungssystem erfasst wird; in Reaktion auf die erfasste Geste kann das TV-Gerät eine Steuerungstafel auf dem Bildschirm aktivieren und anzeigen, wodurch der Anwender in der Lage ist, Auswahlen daran unter Anwendung nachfolgender Gesten auszuführen; beispielsweise kann der Anwender seine Hand in einer ”Auf”- oder ”Ab”-Richtung bewegen, was wiederum erfasst und interpretiert wird, um eine Kanalauswahl zu ermöglichen.
Obwohl diese Gestenerkennungssysteme eine ausgeprägte Aufgeregtheit bei Konsumenten hervorgerufen haben, muss der Anwender, der an herkömmliche Eingabegeräte gewöhnt ist, gebräuchliche Muster der Interaktion zugunsten eines neuen Modus mit seinem eigenen ”Vokabular” aus Befehlen und Antworten aufgeben. Tatsächlich können sich Gestenvokabulare von System zu System unterscheiden. Insbesondere für herkömmliche Anwendungen –, etwa Netz-Suchanwendungen und Textverarbeitungen, deren Bedienung wesentlich von vertrauten Steuerungen abhängt – kann der Widerstand der Kunden für die Übernahme einer gestenbasierten Steuerung sehr hoch sein.
Folglich besteht ein Bedarf für ein Gestenerkennungssystem, das in ähnlicher Weise im Vergleich zu dem Verhalten konventioneller Steuerungseinrichtungen reagiert und das Idealerweise auf solche Anwenderwahrnehmungen reagiert, die eine gewisse Ähnlichkeit ergeben.
Die offenbarte Technik betrifft generell das gestische Interagieren mit Geräten, die kein Ansprechvermögen bzw. keine Reaktionsfähigkeit für Gesten haben, wobei ein intelligentes Telefon verwendet wird, das mit einer Bewegungssensorsteuereinrichtung versehen ist. Sie betrifft ferner die Steuerung einer Anzeige unter Anwendung von Gesten. Insbesondere betrifft sie die Erfassung bzw. Erkennung eines standardmäßigen Eingabegeräts, das bildschirminterne Aktionen auf einer Anzeige in Reaktion auf Betätigungen von Steuerelementen bewirkt, die unter Anwendung des standardmäßigen Eingabegeräts ausgeführt werden. Ferner wird eine Bibliothek aus analogen Gesten ermittelt, die Gesten enthält, die analog zu den Bedienungsvorgängen der Steuerelemente sind und auch die bildschirminternen Aktionen in Reaktion auf die Bedienung der Steuerelemente hervorrufen. Wenn daher eine Geste aus der Bibliothek aus analogen Gesten erkannt wird, wird ein Signal erzeugt, das ein Standardsignal aus dem Standardeingabegerät nachahmt und mindestens eine Aktion auf dem Bildschirm hervorruft.
Implementierungen der offenbarten Technik betreffen ferner Verfahren und Systeme, die Gesten erkennen und Verhaltensweisen auf dem Bildschirm hervorrufen, die auf intuitiver Ebene das Verhalten eines üblichen Eingabegeräts nachbilden. Durch die Erkenntnis, dass unterschiedliche Personen unterschiedliche Gesten den herkömmlichen Bedienvorgängen von Eingabegeräten gleichsetzen können, führt dazu, dass Implementierungen der offenbarten Technik idealerweise (obwohl nicht notwendigerweise) es dem Anwender ermöglichen, diese Gesten zu definieren, und dass zugehörige Aktionen vorgenommen werden. Implementierungen, die hiermit im Zusammenhang stehen, können die Anwesenheit eines konventionellen Eingabegeräts visuell, durch Objekterkennung, oder durch Abfragen des Betriebssystems erkannt werden, um zu ermitteln, welche Geräte verbunden sind. Diese Ermittlung dient als Ausgangspunkt des gestischen Steuerungsmodells – d. h., der vorgenommenen Aktionen oder der einen oder mehreren Regeln, die auf beobachteter Bewegung innerhalb eines überwachten Raumbereichs beruhen, und dass generell Gesten einer Manipulation eines angezeigten Bildschirminhalts zuordnet. Das gestische Steuerungsmodell bzw. Steuerungsmuster kann auch auf der aktuell aktiven Anwendung beruhen. Wenn beispielsweise der Anwender ein Spiel spielt, das insbesondere für gestisches Interagieren entwickelt wurde, wird die Anwesenheit einer Maus ignoriert; wenn jedoch der Anwender das Netz durchsucht, kann einem Mausartigen Steuerungsmuster gefolgt werden.
Daher können Implementierungen der offenbarten Technik sich wirksam ”zwischen” einen Gerätetreiber und die Anzeige setzen. Ein Anwender, der beispielsweise mit einem Textverarbeitungsprogramm arbeitet, würde erwarten, einen Zeiger und einen Steuerungspfeil auf dem Bildschirm zu sehen. Implementierungen der offenbarten Technik, die die Anwesenheit einer Maus und die Verwendung des Textverarbeitungsprozessors erkennen, können einen gestischen Steuerungsablauf einladen, der die Anwesenheit des Zeigers und des Steuerungspfeils auf dem Bildschirm beibehält und Gesten des Anwenders entsprechen den Maus-Betätigungen zuordnet. In einigen Implementierungen kann der Anwender das Gestenvokabular definieren – beispielsweise die Geste auswählen, die einem Linksklick der Maus, einem Rechtsklick, und dergleichen entspricht. Das System kann es ferner dem Anwender gestatten, die Gestenerkennung auszuschalten und die Steuerung wieder auf den Maustreiber zu übertragen. In ähnlicher Weise kann das System auf eine absichtliche Geste reagieren, um die Gestenerkennung vorrangig in Bezug zu dem Eingabegerättreiber zu behandeln.
In einigen Implementierungen kann eine Nachbildung oder eine andere Darstellung von (oder auf Basis von) der Hand eines Anwenders in die Anzeige eingeführt werden, entweder als Ersatz für eine konventionelle Steuersymbolgrafik oder als deren Erweiterung. Beispielsweise kann die Nachbildung der Hand des Anwenders das herkömmliche Handsymbol, das in ADOBE und anderen Anwendungen verwendet wird, ersetzen und kann sich (im Hinblick auf bildschirminterne Aktionen, die durch Greifen, Bewegen, etc. hervorgerufen werden) in ähnlicher Weise verhalten. Alternativ kann die Handnachbildung an einem üblichen Symbol ”angeheftet” werden, etwa an einem Pfeil oder Zeiger, der auf dem Bildschirm so bewegt wird, dass er den Handbewegungen des Anwenders im Raum folgt – wobei tatsächlich die räumlichen Handbewegungen des Anwenders entsprechende Bewegungen einer konventionellen Maus ersetzen.
Zurechtgestaltete Hand
In anderen Implementierungen können Anwender die Nachbildungen oder andere Darstellungen ihrer Hände unter Anwendung eines Verfahrens 2400 mit ”zurechtgestalteter Hand” 2414 modifiziert werden, wie in 24 gezeigt ist. In einer Implementierung können Anwender die ”Haut”, ”Oberflächenerscheinung” und/oder ”Skelette oder Strukturen” ihrer Handnachbildungen so definieren, dass nicht-menschliche Glieder, etwa Katzenpfoten, die Hand von Zombies, oder Piratenhaken erzeugt werden. In einer Implementierung können erfasste Daten einer erkannten Hand manipuliert werden. Beispielsweise beschreibt ein ”Richtungsarray” in den erfassten Handdaten einen Richtungseinheitsvektor, der von der Handflächenposition zu den Fingern zeigt. Ferner dient ein ”Handflächenpositionsarray” als der Mittelpunkt in dem x-, y-, z-Format. Ein ”Array mit Elementen, die zeigen können” dient als die Liste der Zeigerobjekte, etwa Finger und Werkzeuge (Stift, Spielpistole). Ferner beschreibt das ”Richtungsarray” der ”Zeigerobjekte” den Richtungseinheitsvektor, entlang welchem der Finger oder das Werkzeug zeigt. Der Anwender kann ein oder mehrere derartige Arrays bearbeiten, um eine zurechtgestaltete Nachbildung oder Darstellung der Hand des Anwenders zu erschaffen, die mit anderen realen oder virtuellen Objekten interagiert (beispielsweise 2416).
In einem weiteren Beispiel kann in einer im Umfeld vorhandenen Rechenumgebung, die herkömmliche Geräte enthält, denen es an Ansprechvermögen auf Gesten fehlt, etwa ein Fernsehgerät für Präsentationen in einem Tagungsraum, ein intelligentes Telefon, das mit einer Bewegungssensorsteuereinrichtung versehen ist, verwendet werden, um gestische Befehle von einem Anwender zu empfangen und die Bewegungs- und Sensordaten aus dem intelligenten Telefon zu dem Fernsehgerät für Präsentationen weiterzuleiten, wie nachfolgend beschrieben ist.
20 zeigt eine Implementierung 2000 für das gestische Interagieren mit Geräten, denen es an Ansprechvermögen auf Gesten fehlt. Gemäß 20 betreibt während des Betriebs das Bildanalysesystem 106 die Kameras 102, 104 derart, dass mindestens ein Bild in dem Sichtfeld 112 aufgenommen wird. Das Bild kann das Objekt 114 enthalten, das ein Körperteil 2002 des Anwenders und/oder ein Eingabegerät 2004 (etwa eine Fernsteuerung, eine Tastatur oder eine PC-Maus) sein kann. In einigen Implementierungen analysiert das Objekterfassungsmodul 152 das aufgenommene Bild, um Kanten eines Objekts darin und/oder andere Information über die Position des Objekts zu erfassen; nachfolgend analysiert das Objekt/Bahn-Analysemodul 154 die von dem Objekterfassungsmodul 152 bereitgestellte Objektinformation, um die 3D-Form, die Größe und/oder die Position des Objekts zu ermitteln. Das Gestenerkennungsmodul 156 kann das erfasste Objekt 114 mit Referenzbildern oder Objektvorlagen vergleichen, die in einer Objektdatenbank 2014 elektronisch gespeichert sind, wobei konventionelle Vergleichsalgorithmen (etwa Datenbank-Durchsuchung) angewendet werden. (Im hierin verwendeten Sinne umfasst der Begriff ”elektronisch gespeichert” einen Speicherbereich in einem flüchtigen oder nicht-flüchtigen Speicher, wobei der zuletzt genannte Disketten, einen Flash-Speicher, und dergleichen umfasst und sich auf beliebige durch Rechner adressierbare Speichermedien (einschließlich von beispielsweise optischen Speichern) erstreckt.) Die Objektdatenbank 2014 kann beispielsweise in dem Speicher 134, einer Massenspeichereinrichtung des Systems 100B oder einem externen Speichersystem 2016 eingerichtet sein.
In einer Implementierung berichtet bei Übereinstimmung des erfassten Objekts 114 mit einer Objektvorlage in der Datenbank 2014 das Gestenerkennungsmodul 156 die Übereinstimmung an die Anzeigelogik 162. Eine anfängliche Aufgabe, die von einer Anzeigelogik ausgeführt wird, ist das Erhalten einer Liste von Eingabegeräten, die mit dem zu steuernden System verbunden sind – entweder dem System 100B oder, wenn das System 100B selbst als Eingabegerät verwendet wird, um Eingaben einem separatem Gerät 2018 zuzuführen, etwa einer Spielekonsole, einem ”intelligenten” Fernsehgerät oder einem Computer; im Weiteren wird das Gerät, das auf die Gesten des Anwenders reagieren wird, generell als das ”gesteuerte Gerät bzw. die gesteuerte Einrichtung” bezeichnet. Die Anzeigelogik erhält diese Liste, indem das Betriebssystem abgefragt wird, um zu ermitteln, welche Eingabegeräte aktuell mit dem gesteuerten System verbunden sind; durch Ermittlung, ob eines der identifizierten und von dem Gestenerkennungsmodul 156 bekanntgegebenen Objekten ein Eingabegerät ist; oder beides. Wenn beispielsweise ein Eingabegerät, das mit dem gesteuerten System verbunden ist, außerhalb des Sichtfeldes 112 liegt, kann die Anzeigelogik dieses Gerät ignorieren.
Das Gestenerkennungsmodul 156 kann auf das Objekterfassungsmodul 152 reagieren und Bewegungen nur von Objekten bewerten, deren Bewegungen mit hoher Wahrscheinlichkeit als Gesten beabsichtigt sind – beispielsweise das dominierende Objekt innerhalb des Sichtfeldes 112, das erste erfasste Objekt, das sich bewegt, ein Objekt, das als eine Hand eines Anwenders 2002, ein Finger, und dergleichen erkannt wird. Sobald das eine Geste erzeugende Objekt identifiziert ist, kann diesem von dem Gestenerkennungsmodul 158 durch eine Reihe von zeitlich aufeinanderfolgenden Bildern gefolgt werden, die von den Kameras 102, 104 aufgenommen werden, um Gesten zu erkennen. Wie nachfolgend detaillierter erläutert ist, werden erfasste Gesten verwendet, um eine Anwendung zu steuern, die in dem gesteuerten System abgearbeitet wird. Das Gestenerkennungsmodul 158 kann in Verbindung mit Algorithmen auf der Grundlage von 3D-Modellen (d. h., volumetrische oder Knochengerüstmodellen), vereinfachten Knochengerüstmodellen, die eine vereinfachte Darstellung des menschlichen Körpers oder gestenrelevanter Körperteile verwenden, oder bildbasierte Modelle auf der Grundlage von beispielsweise verformbaren Vorlagen von gestenrelevanten Körperteilen verwendet werden. Für weitere Hintergrundinformation im Hinblick auf visuelle Handgestenerkennung sei beispielsweise verwiesen auf Wu et al., ”Sicht basierte Gestenerkennung: Eine Bewertung”, in gestenbasierter Kommunikation der Mensch-Computer-Interaktion (Springer 1999); Pavlovic et al., ”visuelle Interpretation von Handgesten für die Mensch-Computer-Interaktion: Eine Bewertung”, IEEE Trans. Musteranalyse und Maschinenintelligenz (19(7): 677–695, Juli 1997). Bildanalyse einschließlich von Objekterkennung, Objektanalyse und Objekterkennung im 3D-Raum und in Echtzeit können unter Anwendung eines konventionellen Ansatzes oder eines Ansatzes ausgeführt werden, der speziell für die Anwendung ist (siehe beispielsweise US mit der Seriennummer 13/742 953, die am 16. Januar 2013 eingereicht wurde und deren gesamte Offenbarung hiermit durch Bezugnahme miteingeschlossen ist).
Das Gestenerkennungsmodul 158 ermittelt die Geste des Anwenders, indem die erfasste Geste mit einer Bibliothek aus Gesten in der Datenbank 2032 verglichen wird, die wiederum in dem Bildanalysesystem 106, dem elektronischen Gerät 2018 oder einem externen Speichersystem 2016 eingerichtet sein kann. Beispielsweise können Gesten als Vektoren, d. h. als mathematisch spezifizierte räumliche Bahnen, gespeichert werden, und die Gestenaufzeichnung kann ein Feld haben, das den relevanten Teil des Körpers des Anwenders, der die Geste erzeugt, spezifiziert; daher können ähnliche Bahnen, die von der Hand und dem Kopf eines Anwenders ausgeführt werden, in der Datenbank 2032 als unterschiedliche Gesten gespeichert sein, so dass eine Anwendung diese unterschiedlich interpretieren kann. Typischerweise wird die Bahn einer erfassten Geste mathematisch mit den gespeicherten Bahnen verglichen, um eine beste Übereinstimmung zu ermitteln, und die Geste wird nur dann als eine dem aufgefundenen Datenbankeintrag entsprechende Geste erkannt, wenn der Grad an Übereinstimmung einen Schwellenwert übersteigt. Der Vektor kann so skaliert sein, dass beispielsweise große und kleine Bögen, die von der Hand eines Anwenders erzeugt werden, als die gleiche Geste (d. h. entsprechend zu dem gleichen Datenbankeintrag) erkannt werden, aber das Gestenerkennungsmodul gibt sowohl die Identität als auch einen Wert, der die Skalierung wiedergibt, für die Geste zurück. Die Skalierung kann einer tatsächlichen Strecke einer Geste, die bei der Ausführung der Geste durchlaufen wird, entsprechen, oder sie kann auf eine gewisse kanonische Strecke normiert sein.
Obwohl Gesten für viele Steuerungs- und Bilderzeugungszwecke verwendet werden können, betrifft die vorliegende Erläuterung im Wesentlichen ihre Verwendung bei der Steuerung von Aktionen, die auf dem Bildschirm 2022 eines beispielsweise gesteuerten Geräts 2018 ausgeführt werden. Insbesondere enthält das Gestenerkennungsmodul 158 Aufzeichnungen, die Vorlagengesten mit Aktionen verknüpfen, die von allen aktiven Eingabegeräten ausgeführt werden, die von der Anzeigelogik (oder zumindest den Anzeigeeinrichtungen innerhalb des Sichtfelds 112) erkannt werden. Es sei beispielsweise angenommen, dass ein identifiziertes Objekt 2004 eine konventionelle PC-Maus ist, die mit dem gesteuerten Gerät 2018 verbunden ist. Der zu der Maus 2004 gehörige Treiber unterstützt unter anderem Befehle für den Rechtsklick, den rechten Doppelklick und den Linksklick. Folglich stellt das Gestenerkennungsmodul 158 sicher, dass die Datenbank 2032 gespeicherte Aufzeichnungen enthält, die diesen Befehlen entsprechen – d. h., für jeden Befehl eine Aufzeichnung, die enthält (i) eine Gestenvorlage, die dem Befehl entspricht, und (ii) Bits, die ein Ausgangssignal (beispielsweise eine Pulssequenz) kodieren, das das Befehlssignal dupliziert, das die Maus 2004 erzeugen würde. Wenn derartige Aufzeichnungen gefunden werden, kann die Anzeigelogik ermitteln, ob diese Gesten den Maustreiber übersteuern, wie nachfolgend erläutert ist. Wenn keine entsprechenden Aufzeichnungen gefunden werden, dann wird der Anwender aufgefordert, Gesten auszuführen und diese den Mausfunktionen zuzuordnen. Insbesondere kann das Gestenerkennungsmodul 158 veranlassen, dass eine Steuertafel bzw. ein Steuerpaneel 2034 auf dem Bildschirm 2022 erzeugt wird. Die Steuertafel 2034 zeigt eine Tabelle, die die Befehle auflistet, die mit dem Maustreiber im Zusammenhang stehen. Der Anwender wählt sequentiell einen der Einträge aus und ordnet diesen eine Geste zu. In einer Implementierung nimmt der Anwender die Auswahl durch eine Geste vor – beispielsweise durch Bewegung seiner Hand in vertikaler Richtung in dem überwachten Raum 112, bis der gewünschte Eintrag in der (vertikalen) Liste markiert ist, und dann wird eine Geste ausgeführt, als ob eine Knopf gedrückt wird. Das Gestenerkennungsmodul 158 stellt eine Korrelation der Höhe der Hand des Anwenders zu einem der angezeigten Einträge her, die auf dem Bildschirm 2022 markiert ist und das Modul erkennt ferner die Auswahlgeste. Alternativ kann der Anwender die Auswahl unter Verwendung der Maus 2004 oder einer Tastatur durchführen.
Sobald ein Eintrag ausgewählt ist, signalisiert der Anwender dem System 130, dass er dabei ist, die Geste auszuführen, von der gewünscht ist, diese mit dem ausgewählten Befehl zu verknüpfen. Das Signal kann beispielsweise ein Sprachbefehl (”Start”) oder ein Tastenanschlag sein. Alternativ kann das Gestenerkennungsmodul 158 veranlassen, dass der Bildschirm 2022 eine Countdown-Grafik (”3...2...1..LOS!”) anzeigt. Nach dem Signal des Anwenders oder dem Ende des Countdowns wird die Geste des Anwenders von den Kameras 102, 104 aufgezeichnet und die entsprechenden Bildblöcke werden in Bildspeichern (in der Sensorschnittstelle 136 oder in dem Speicher 134) gespeichert. Der Anwender kann den Abschluss der Geste durch einen Sprachbefehl (”Erledigt”) oder einfach durch momentanes Anhalten seiner Bewegung anzeigen, was von dem Gestenerkennungsmodul 158 erfasst wird, oder es kann durch eine andere geeignete Aktion erfolgen. Die Bildspeicher, die während der Zeitdauer des Ausführens der Geste erfasst wurden, werden von dem Gestenerkennungsmodul 158 analysiert und in eine Gestenvorlage bzw. Gestenschablone zur Speicherung in der Gestendatenbank 2032 umgewandelt. In einigen Implementierungen wird die Geste vektorisiert, wie zuvor erläutert ist, und wird als ein Vektor in der zugeordneten (oder dazu verknüpften) Aufzeichnung in der Datenbank 2032 gespeichert.
Es sollte beachtet werden, dass obwohl der Vorgang des Definierens von Gesten und deren Zuordnung zu Befehlen in Bezug auf Befehle von Eingabegeräten erläutert ist, diese Vorgehensweise auf eine beliebige Art von Gesten, die für einen beliebigen Zweck verwendet werden, anwendbar ist. Wenn beispielsweise das Gestenerkennungsmodul 158 als ein Teil einer speziellen Anwendung (etwa als ein Spiel oder eine Steuerlogik für ein Fernsehgerät) eingerichtet ist, kann die Gestenaufzeichnung in der Datenbank Attribute vererben (etwa einen Skalierungswert oder einen Abbildungsparameter), die für diese Anwendung spezifisch sind. Wenn andererseits eine Anwendung das Gestenerkennungsmodul 158 aufruft, interpretiert es die identifizierte Geste entsprechend ihrer eigenen Programmierung und kann es dem Anwender gestattet, die Voreinstellungsbibliothek von Gesten zu modifizieren, wie zuvor dargelegt ist.
In einigen Implementierungen werden die konventionellen Steuersymbole (beispielsweise ein Zeiger 2036, ein Pfeil 2038 und/oder ein Kreis 2024) in der üblichen Weise auf dem Bildschirm beibehalten. In anderen Implementierungen erzeugt das Bilderzeugungsmodul 164 ein Bild 2040 (beispielsweise die Hand eines Anwenders), das die konventionellen Symbole ergänzt oder ersetzt, wie nachfolgend beschrieben ist. Das Bilderzeugungsmodul 2040 kann ein konventionellen Bilderzeugungsprogramm sein, das das gestenerzeugende Objekt direkt oder indirekt als die Grundlage für das Bild 2040 verwendet. Beispielsweise kann das Bilderzeugungsmodul 2040 die Hand 2002, die von dem Objekterfassungsmodul 152 erfasst wurde, verwenden und einfach die entsprechenden Pixel aus den zugehörigen Bildblöcken extrahieren, um die Pixel erneut abzutasten derart, dass das Handbild in geeigneter Weise für die Anzeige größenskaliert ist – beispielsweise derart, dass die Größe des erzeugten Bildes 2040 vergleichbar mit der Größe des konventionellen Symbols ist. Tatsächlich kann die erzeugte Hand in genauer Weise der Größe des konventionellen bildschirminternen Handsymbols entsprechen, so dass die Befehle für Drücken und Ziehen, die bereits dem Handsymbol zugeordnet sind (und typischerweise mit einer Maus ausgeführt werden), von dem Anwender als Geste ausgeführt werden können.
Alternativ kann ein Bilderzeugungsmodul mehrere komplexe Abbildungen bei der Erzeugung eines Bildes auf der Grundlage der Gesten des Anwenders verwenden. Ein erfasstes Objekt oder ein Körperteil kann nahezu jedem Bild entsprechend der konventionellen Grafiktechniken zugeordnet werden, beispielsweise durch affine Abbildung. Anders ausgedrückt, die Hand eines Anwenders kann als eine Tierpfote, eine Cartoon-Figur oder ein anderes Bild erzeugt werden, dessen Erscheinungsform auf dem Bildschirm in Reaktion auf die Änderung der Orientierung und der Konfiguration der Hand des Anwenders entsprechend der Zuordnung variiert.
Biometrie
In einer Implementierung umfasst ein Verfahren zur Authentifizierung eines Anwender eines sensorischen Maschinensteuerungssystems die Erfassung sensorischer Information bzw. Sensorinformation für einen Teil eines menschlichen Körpers innerhalb eines interessierenden Feldes. Es werden ein Verfolgungsmodell und ein biometrisches Modell aus der sensorischen Information ermittelt.
Es wird ein Befehl aus der Erkennung einer Geste ermittelt, die durch eine Änderung des Verfolgungsmodells im zeitlichen Verlauf und des biometrischen Modells im Vergleich zu der bekannten biometrischen Information des Anwenders gekennzeichnet ist. Wenn das biometrische Modell dem des bekannten Anwenders entspricht, wird dem gesteuerten System ein autorisierter Befehl übermittelt. Autorisierte Befehle versetzen Anwender in die Lage, sich in Maschinen und/oder Systeme einzuwählen, um Transaktionen zu bewirken, Eigenschaften/Funktionen aufzurufen und/oder Information auszutauschen.
Ein biometrisches Modell kann ermittelt werden, indem ein oder mehrere Bilder analysiert werden, um eine Bildeigenschaft (beispielsweise Intensität, Helligkeit, Farbe, andere Eigenschaften, Kombinationen davon) zu ermitteln, und indem eine Eigenschaft (beispielsweise Änderungsrate, Maximalwert, Minimalwert, Durchschnittswert oder andere statistische Eigenschaften, Kombinationen davon, usw.) für die Bildeigenschaft ermittelt wird. Die Eigenschaft kann analysiert werden, um Änderungen der Eigenschaften zu ermitteln, die biometrische Merkmale angeben, die interessierenden Punkt in dem Bild entsprechen. Beispielsweise kann eine Hessematrix für Punkte in dem Bild berechnet werden, wobei die Hessematrix angibt, wie die Helligkeit (oder eine andere Eigenschaft) sich ändert. Die biometrischen Merkmale können auf der Grundlage, zumindest teilweise, der Orientierung/Drehung/Translationsinformation transformiert werden, um normierte biometrische Merkmale zu bilden. Es können ein biometrischer Profilsatz aus einem oder mehreren erkannten biometrischen Merkmale; und ein biometrisches Modell, das für ein Individuum aus einem oder mehreren biometrischen Profilsätzen aufgebaut ist, erzeugt werden.
Weitere Befehle, wenn welche vorhanden sind, können verifiziert werden, indem eine zweite Geste erkannt wird, die durch eine Änderung in dem Verfolgungsmodell und durch Vergleich von biometrischer Information der während der zweiten Geste aufgenommenen Hand mit biometrischer Information der Hand, die zuvor erfasst wurde, gekennzeichnet ist, um Kontinuität zu verifizieren; um beispielsweise zu bestimmen, dass der Anwender sich nicht geändert hat. In dem Falle, dass die biometrische Information der während der zweiten Geste aufgenommenen Hand nicht der biometrischen Information der zuvor aufgenommenen Hand entspricht, kann Befehlsinformation, die mit der zweite Geste in Zusammenhang steht, verworfen werden.
Befehlsautorisierung kann die Ermittlung von Profilinformation beinhalten, die für die bekannten Anwender gespeichert ist, ob etwa ein authentifizierter Anwender, der das biometrische Profil hat, in einer Position ist (beispielsweise Systemadministrator, Entwickler, Manager, usw.), in der er autorisiert ist, den Befehl zu erteilen, der aus der Verfolgung der Aktivität der Hand des Anwenders (oder eines anderen Körperteils) ermittelt wurde. Wenn der Anwender als zur Erteilung des Befehls autorisiert ermittelt wird auf der Grundlage, zumindest teilweise, der Stellung, wird der autorisierte Befehl einem System zugeleitet, das gerade gesteuert wird.
Vorteilhafterweise können einige Implementierungen erlauben, dass autorisierte Befehle in Reaktion auf eine Gestenerkennung zur Verwendung in intelligenten Telefonen oder anderen Geräten auf der Grundlage einer autorisierten Nutzung ausgegeben werden. Diese Fähigkeit erlaubt des dem Anwender, ”sich selbst zu authentifizieren”, während intuitive Gesten ausgeführt werden, um ein Gerät zu steuern. Installationspositionen können eine Gestenerfassung, eine Anwenderidentifizierung, eine Anwenderautorisierung und andere Maschinensteuerungs- und/oder Maschinenkommunikationsanwendung in intelligenten Telefonen ermöglichen.
Eindeutigkeit des Anwenders
21A–C zeigen eine Implementierung, die zwischen Anwendern diejenigen Anwender kennzeichnet, die gestische Befehle in einer im Umfeld vorhandenen dreidimensionalen (3D) sensorischen Umgebung 2100A ausgeben. In einer Implementierung kann ein dominierender Anwender in der im Umfeld vorhandenen dreidimensionalen (3D) sensorischen Umgebung 2100A erkannt werden, die mehrere Anwender (2112, 2122, 2132, 2142, 2152) enthält, so dass Gesten, die von dem dominierenden Anwender ausgeführt werden, von dem intelligenten Telefon 2106 interpretiert werden, das mit der Bewegungssensorsteuereinrichtung versehen ist und verwendet werden, das Ansprechvermögen eines gemeinsam genutzten Arbeitsraums, etwa eines Fernsehgeräts für Präsentation 2202 in einem Tagungsraum zu steuern. In einigen Implementierungen kann der dominierende Anwender auf der Grundlage vom räumlichen Verhalten der Anwender ermittelt werden, das diese in der im Umfeld vorhandenen dreidimensionalen (3D) sensorischen Umgebung 2100A an den Tag legen. In einem Beispiel können gewisse Körperhaltungen der Anwender (ausgestreckte Finger, erhobene Hände, erhobene Stimme) für dominierende Anwender, etwa Sprecher oder Vortragende, kennzeichnend sein, während andere (gefaltete Arme, intermittierendes Sprechen) für nicht dominierende Anwender, etwa Zuhörer oder Delegationsmitglieder, kennzeichnend sein können.
21B zeigt das Einüben bzw. Trainieren 2100B eines mit einem mit einer Bewegungssensorsteuereinrichtung 600 versehenen intelligenten Telefons, um einen Anwender durch biometrische Merkmale zu erkennen, die aus einem Bereich des Körpers des Anwenders ermittelt werden, und wobei der Anwender erkannt wird, indem ein biometrischer Profilsatz, der aus den biometrischen Merkmalen erzeugt wurde, mit zuvor aufgezeichneten biometrischen Merkmalen des Anwenders entsprechend der offenbarten Technik verglichen wird. 21B zeigt zwei Ansichten 2102, 2104 einer Hand 2114 in dem interessierenden Gebiet 112 des Geräts 600 zu zwei unterschiedlichen Zeitpunkten, zum Trainingszeitpunkt t₀ (2102) und zum Authentifizierungszeitpunkt t₁ (2104), die nur wenige Augenblicke oder aber auch Monate voneinander getrennt sein können. Ferner können die Ansichten 2102, 2104 für unterschiedliche Instanzen des Geräts 600 sein, die zur gemeinsamen Datennutzung durch ein Netzwerk oder dergleichen gekoppelt werden können. Anders ausgedrückt, ein Anwender könnte eine Instanz des ersten Geräts 600 trainieren, so dass dieses die Hand des Anwenders 2114 erkennt, wobei dies im Block 2102 erfolgt, und nachfolgend könnte er im Block 2104 eine zweite Instanz 700A des Geräts authentifizieren. Wie im Block 2102 gezeigt ist, ist zu einem Anfangstrainingszeitpunkt t₀ die Hand 2114 an einer speziellen Position und hat eine spezielle Konfiguration in interessierenden Gebiet 112. Der Block 2102 zeigt eine repräsentative Pose einer speziellen Hand des Anwenders 2114 während einer Einlernphase, in der biometrische Merkmale der Hand 2114, die für die Kameras 102, 104 sichtbar sind, von dem System 100 identifiziert und verwendet werden, um ein biometrisches Modell auf der Grundlage eines oder mehrerer biometrischer Merkmale der Hand des Anwenders 2114 zu erzeugen. Während des Trainings kann die Hand des Anwenders eine Vielzahl von Posen annehmen, beispielsweise eine Handfläche, die einer oder mehreren Kameras zugewandt ist, eine Handfläche, die von einer oder mehreren Kameras abgewandt ist, usw., wobei jedoch der Klarheit halber im Block 2102 nur eine einzelne Trainingspose gezeigt ist. Der Anwender kann aufgefordert werden, diverse Handposen gegebenenfalls an diversen Positionen und Abständen in Bezug zu dem Gerät 600 einzunehmen. Das Gerät 600 nimmt ein oder mehrere Bilder der Objekte 2114 (Hände) in einer oder mehreren speziellen Posen auf, die innerhalb des interessierenden Gebiets 112 liegen. Aus den Bildern der Hand 2114 werden ein oder mehrere biometrische Merkmale (beispielsweise Venenmuster 2113, Messungen 2116 über die Handfläche hinweg oder an anderen speziellen Positionen, Abdrücke oder Muster der Handfläche, Aussehen, Körpertemperatur, die durch visuelle Farben angegeben sind, oder andere individuelle spezielle Merkmale und Kombinationen davon), die für die Kameras 102, 104 sichtbar sind, auf der Grundlage einer oder mehrerer Bildeigenschaften identifiziert bzw. ermittelt. Ein oder mehrere identifizierte biometrische Merkmale, die zur Erkennung der Hand 2114 zweckdienlich sind, bilden einen biometrischen Profilsatz. Ein biometrisches Modell, das für ein Individuum spezifisch ist, kann dann aus einem oder mehreren biometrischen Profilsätzen aufgebaut werden, beispielsweise aus einem ersten Profilsatz aus biometrischen Merkmalen für eine Handflächenansicht des Individuums, aus einem zweiten Profilsatz aus Merkmalen für eine Handflächenansicht der Hand des Individuums von hinten, usw. Ferner können biometrische Modelle nicht-sichtbare biometrische Merkmale enthalten, die für ein Individuum unter Anwendung anderer Quellen 108, 110 alleine oder in Verbindung mit den Kameras 102, 104 ermittelt werden.
Es sei nun wieder auf 21B verwiesen; im Block 2104 wird die Hand des Anwenders 2114 während einer Authentifizierung während einer Authentifizierungzeit t₁ erfasst. Gewisse biometrische Merkmale 2113, 2116 (Venenmuster, Abdrücke der Handfläche, Fingerabdrücke, andere Merkmale, Kombinationen davon) können zweckdienliche biometrische Merkmale für die Authentifizierung bereitstellen. Während der Authentifizierung erfasst das Gerät 700A ein oder mehrere Bilder der Hand 2114, die authentifiziert wird. Es werden Eigenschaften des Bildes in Bezug zu einer oder mehreren Eigenschaften analysiert, um biometrische Merkmale zu ermitteln. Die biometrischen Merkmale aus der Hand 2114, die authentifiziert wird, werden mit normierten biometrischen Merkmalen eines oder mehrerer biometrischer Profile, die für den Anwender während des Trainings im Block 2102 erzeugt werden, verglichen. Biometrische Merkmale werden normiert (beispielsweise in Bezug auf Drehung, Verschiebung und Tiefe kompensiert), wobei eine oder mehrere beispielhafte Techniken, etwa solche wie sie nachfolgend mit Bezug zu 21C erläutert sind, verwendet werden, da die Hand des Anwenders 2114 nicht in der gleichen Pose (und gegebenenfalls noch nicht einmal von dem gleichen Gerät 600 aufgezeichnet wird) zum Authentifizierungszeitpunkt t₁ ist, in der sie während der Trainingszeit t₀ war. Folglich ändert sich die scheinbare Position der biometrischen Merkmale 2113, 2116 innerhalb des interessierenden Gebiets 112 im Block 2104 in Bezug zu der scheinbaren Position der biometrischen Merkmale 2113, 2116 im interessierenden Gebiet 112 im Block 2102. Daher werden scheinbare Unterschiede der biometrischen Merkmale 2113, 2116 aufgrund der Positionsänderung der Hand 2114 relativ zu dem Gerät 600 und/oder Unterschiede beim Aufbau zwischen diversen Implementierungen des Geräts 600 berücksichtigt, indem biometrische Merkmale während der Authentifizierung normiert werden, um zu ermöglichen, dass das Gerät 600 die Hand 2114 in der Pose der Blocks 2104 als die Hand 2114 erkennt, die in der Pose des Blocks 2102 eingeübt wurde, wurde ein Prozess verwendet wird, der ähnlich ist zu jenem, der nachfolgend mit Bezug zu 21C beschrieben ist.
Es sei nun auf 21C verwiesen, die die Ermittlung eines oder mehrerer normierter biometrischer Merkmale durch das Gerät 600 während des Trainings und den Vergleich biometrischer Merkmale, die von einer gerade zu authentifizierenden Objekthand erfasst werden, darstellt. Während der Gewinnung biometrischer Merkmale zum Aufbau eines biometrischen Profilsatzes, wie durch den Block 2102 gezeigt ist, enthält das Sichtfeld 2112a, das dem Gerät 101 zum Trainingszeitpunkt t₀ zugewandt ist, die Hand 2114, die biometrisch zu modellieren ist. Zum Trainingszeitpunkt t₀ werden die biometrischen Merkmale 2113, 2116 (beispielsweise der Hand 2114) in Bezug auf den Modellbezugsrahmen 2120a, beispielsweise durch Verarbeitung von Bilddaten aus den Kameras 102, 104 der betrachteten Hand 2114 ermittelt. Es werden biometrische Profilsätze mit einem oder mehreren biometrischen Merkmalen, die auf dem Modellreferenzrahmen 2120a normiert sind, aus den biometrischen Merkmalen aufgebaut. Ein biometrisches Modell des Anwenders kann auf der Grundlage eines oder mehrerer biometrischer Profilsätze erzeugt werden.
Beim Vergleich der biometrischen Merkmale aus einer aufgezeichneten Pose einer Hand 2114, die zu authentifizieren ist, wie durch den Block 2104 gezeigt ist, weist zum Authentifizierungszeit t₁ das Sichtfeld 2112b, das für das Gerät 600 zum Authentifizierungszeitpunkt t₁ vorliegt, die Hand 2114 in einer neuen scheinbaren Position auf. Die Hand 2114 ist nicht nur in einer anderen Position, wenn sie authentifiziert wird, im Vergleich dazu, wenn diese Pose eingelernt wurde, sondern es ist auch wahrscheinlich, dass die Hand 2114 durch eine andere Installation des Geräts 600 an einer anderen Position authentifiziert wird, wenn das Gerät 600 verwendet wird, im Vergleich dazu, wenn Eigenschaften der Hand 2114 ursprünglich für eine der Installationen bzw. Instanzen des Geräts 600 eingelernt wurden. Folglich wird der Bezugsrahmen 2120b der Hand, so wie sie während der Authentifizierung erfasst wird, sich in Bezug zu einem ursprünglichen oder anfänglichen Handbezugsrahmen 2120a verschoben haben, wie dies durch eine Transformation R^T beschrieben ist. Es ist zu beachten, dass die Anwendung der Transformation R^T es ermöglicht, dass die Hand 2114 verglichen und/oder erkannt wird, wenn sie relativ zu einer eingelernten Pose der Hand 2114 gedreht und verschoben ist. Implementierungen können eine Transformation der Position und Drehung des Bezugsrahmens 2120b in Bezug zu dem Bezugsrahmen 2120a bereitstellen und können daher die Position und die Drehung des verfolgten Objekts 2113 in Bezug zu 2120b zum Authentifizierungszeitpunkt t₁ transformieren. Implementierungen können die Position und die Drehung des verfolgten Objekts 2113 in Bezug 2120a ausgehend von der transformierten Position und der Drehung des Bezugsrahmens 2120b in Bezug zu dem Bezugsrahmen 2120a und die transformierte Position und Drehung des verfolgten Objekts 2113 in Bezug zu 2120b ermitteln.
In einer Implementierung wird eine Transformation R^T ermittelt, die den erfassten (roten) Bezugsrahmen 2120b zu dem Modell-(schwarzen)Bezugsrahmen 2120a verschiebt. Die Anwendung der Transformation R^T auf einen oder mehrere beliebige Punkte, die relativ zu dem erfassten (roten) Bezugsrahmen 2120b erfasst wurden, führt dazu, dass der bzw. die Punkte auf einem oder entsprechenden Punkte relativ zu dem Modell-(schwarzen)Bezugsrahmen 2120a liegen. Damit ist das verfolgte Objekt 2114 aus Sicht des Modell-(schwarzen)Bezugsrahmens 2120a an der richtigen Stelle, um eine Erkennung, einen Vergleich usw. zu ermöglichen. Bei der Bestimmung der Bewegung des Objekts 2114 kann das Bildverarbeitungssystem 106 dessen Position und Richtung durch rechnerisches Analysieren von Bildern, die von den Kameras 102, 104 erfasst werden, und von Bewegungsinformation, die durch die Quellen 108, 110 erfasst wird, ermitteln. Beispielsweise kann eine scheinbare Position eines beliebigen Punkts auf dem Objekt (im 3D-Raum) zum Erfassungszeitpunkt
in eine Position des Punkts auf dem ursprünglichen Modellobjekt zum Trainingszeitpunkt
unter Anwendung einer affinen Transformation
umgewandelt werden. Die korrekte Position zum Erfassungszeitpunkt t = t₁ eines Punkts auf dem verfolgten Objekt in Bezug zu dem Modellbezugsrahmen 120a ist durch Gleichung (3) gegeben:
wobei:

R_ref: – eine affine Transformation repräsentiert, die die Transformation von dem Handbezugsrahmen 2120b in dem Modellbezugsrahmen 2120a beschreibt.
T_ref: – eine Verschiebung des Handbezugsrahmens 2120b zu dem Modellbezugsrahmen 2120a repräsentiert.

Es sei wieder auf 21C verwiesen; der Block 2104 zeigt den Handbezugsrahmen 2120b, der durch eine 3×3-Matrix R' = [u₁', u₂', u₃'] dargestellt werden kann, und den Modellrahmen 2120a, der durch eine 3×3-Matrix R = [u₁, u₂, u₃] repräsentiert werden kann. Das Ziel ist es, R' (Bezugsrahmen 2120b) auf R (Bezugsrahmen 2120a) so abzubilden, dass ein beliebiger Punkt auf der Hand 2114, die gerade mit Bezug zu dem Rahmen 2120b authentifiziert wird, mit einem Punkt oder mehreren Punkten der Hand 2114 verglichen werden kann, in der Form, wie sie mit Bezug zu dem Rahmen 2120a eingelernt wurde (d. h. bekannt ist). Folglich erreicht eine affine Transformation R^T _ref = R(R')^T dieses Ziel. Die affine Transformation R^T _ref kann abhängig von R und R' ausgedrückt werden in der Weise, die durch Gleichung (4) gezeigt ist:

ist ein Vektor, der eine Translation des Objekts in Bezug zu einem Ursprung des Koordinatensystems des verschobenen Bezugsrahmens repräsentiert.
Erweiterte Realität
22 ist eine Implementierung für die Auswahl aus virtuellen Interaktionsmodalitäten, um mit einer im Umfeld vorhandenen erweiterten Umgebung 2200 zu interagieren. Die im Umfeld vorhandene erweiterte Umgebung 2200 ergänzt die reale Welt mit virtuellen computererzeugten Objekten, die in dem gleichen Raum wie die reale Welt scheinbar vorhanden sind. Ein intelligentes Telefon 2202 oder eine Frontscheibenanzeige bzw. HeadUp-Anzeige 2204 können verwendet werden, um die Funktion einer erweiternden Realität entsprechend einer Implementierung einzurichten, indem ein projiziertes Bild oder eine Grafik (2212, 2214, 2216) im Raum der realen Welt 2290 angezeigt wird, in welchem das projizierte Bild oder die Grafik einer Ansicht der realen Welt 2290, wie sie von dem Anwender durch die Linsenelemente des intelligenten Telefons 2202 oder die Frontscheibenanzeige 2204 wahrgenommen wird, überlagert wird.
In einigen Implementierungen kann die computererzeugte Grafik (2212, 2214, 2216) der im Umfeld vorhandenen erweiterten Umgebung 2200 mit den Wahrnehmungen eines Anwenders der Umgebung der realen Welt 2290 unter Anwendung von Gesten (2206, 2208) oder durch andere Körperbewegungen interagieren. In anderen Implementierungen kann ein virtuelles Objekt, das in einer erweiterten erzeugten Darstellung einer realen Umgebung integriert ist, für einen Anwender eines intelligenten Telefons 2202 oder einer Frontscheibenanzeige 2204 wahrnehmbar gemacht werden. Bewegungsinformation eines Körperteils eines Anwenders kann auf der Grundlage, zumindest teilweise, von sensorischer Information, die durch die Abbildung 102, 104 oder durch akustische oder andere sensorische Geräte empfangen wird, ermittelt werden. Es wird Steuerungsinformation einem System auf der Grundlage von teilweise einer Kombination der Bewegung des intelligenten Telefons 2202 oder der Frontscheibenanzeige 2204 und der erfassten Bewegung des Anwenders, die aus der sensorischen Information ermittelt wird, die aus der Abbildung 102, 104 oder den akustischen oder anderen sensorischen Geräten erhalten wird, zugeleitet. Das Erleben eines virtuellen Geräts kann in einigen Implementierungen erweitert werden durch das Hinzufügen haptischer, akustischer und/oder anderer sensorischer Informationsprojektoren. Beispielsweise kann mit Bezug zu 22 optional ein Videoprojektor ein Bild einer Zeitung (beispielsweise das virtuelle Objekt 2212) projizieren, das im Wohnzimmer 2290 eines Anwenders in überlagerter Weise dargestellt ist; dadurch wird eine virtuelle Erfahrung für das Lesen einer tatsächlichen Zeitung geschaffen, obwohl keine Zeitung vorhanden ist. In einigen Implementierungen kann ein optionaler haptischer Projektor das Gefühl der Oberflächenbeschaffenheit der ”virtuellen Zeitung” den Fingern des Lesers vermitteln. In anderen Implementierungen kann ein optionaler Audioprojektor das Geräusch des Umblätterns einer Zeitungsseite in Reaktion darauf vermitteln, dass erfasst wird, dass der Leser eine Wischbewegung ausführt, um die Zeitungsseite umzublättern.
In anderen Implementierungen können mehrere virtuelle Objekte oder virtuelle Interaktionsräume in einem Raum der realen Welt überlagert werden, um ein erweitertes Erleben für einen Anwender zu schaffen. In einer derartigen Implementierung kann eine Geste erfasst werden, die ein oder mehrere virtuelle Objekte oder virtuelle Interaktionsräume in der im Umfeld vorhandenen erweiterten Umgebung 2200 auswählt. Ferner können nachfolgende Gesten so interpretiert werden, dass virtuell mit dem einen oder den mehreren ausgewählten virtuellen Objekten oder virtuellen Interaktionsräumen interagiert wird, wie zuvor beschrieben ist.
23A–E zeigen eine Implementierung der Interaktion mit Markierungsbildern 2302 und 2314 auf einer Bildtafel 2304, die erweiterte Illusionen 2312 und 2316 in einer im Umfeld vorhandenen virtuellen Umgebung 2300A–E auslösen, wenn sie im Sichtfeld 2315 der Kamera eines intelligenten Telefons 2396 sind. In einer Implementierung kann ein intelligentes Telefon 2396 ein oder mehrere Markierungsbilder oder Initialisierungssignalquellen in einem Raum der realen Welt erfassen und erweiterte Illusionen 2312 und 2316 in Reaktion auf die Erfassung auflösen. In einigen Implementierungen werden ein oder mehrere Markierungsbilder oder Initialisierungssignalquellen durch eine Geste ausgewählt, die von einem Anwender ausgeführt wird, und werden von dem intelligenten Telefon 2396 interpretiert. Ferner können nachfolgende Gesten erfasst werden, um mit den jeweiligen erweiterten Illusionen 2312 und 2316 zu interagieren. In noch anderen Implementierungen werden modelleinstellende bzw. Modell festlegende Gesten erfasst, die jeweils für die erzeugten erweiterten Illusionen 2312 und 2316 spezifisch sind und in eindeutiger Weise das Ansprechempfindlichkeit bzw. Ansprechvermögen davon steuern.
Wie beispielsweise in 23C–E gezeigt ist, werden eine Bildmarkierung einer Schere 2302 und einer Trommelfläche 2314 von dem intelligenten Telefon 2396 erfasst. Ferner führt ein Anwender eine Geste 2338, etwa einen nach vorne zeigenden Finger, aus, um eines der Markierungsbilder auszuwählen. Nach Auswahl wird eine entsprechende erweiterte Illusion für das ausgewählte Markierungsbild erzeugt. Daraufhin wird eine nachfolgende Modellfestlegende Geste 2338 erfasst, um einen Kontext für die Interaktion mit der erzeugten erweiterten Illusion festzulegen. In einem Falle kann eine Doppelfingerbewegung bedeuten, dass ein virtuelles Papier 2326A mit der virtuellen Schere 2326B geschnitten wird, oder dass die virtuelle Trommelfläche 2327A mit virtuellen Stöcken 2327B betätigt wird.
Einbettende Architekturen
25A–I zeigen unterschiedliche Implementierungen 2500A, 2500B, 2500C, 2500D, 2500E, 2500F, 2500G, 2500H und 2500I zur Einbettung einer Bewegungssensorsteuereinrichtung in diverse Geräte. In einer Implementierung kann eine Bewegungssensorsteuereinrichtung in diversen Recheneinrichtungen, etwa mobilen Rechnen oder Tablet-Rechnern, Notebooks, Tastaturen, AIOs, Anzeigen, Fernsehgeräten, STBs oder Spielekonsolen entsprechend der in 25A–I gezeigten Architekturen eingebettet werden.
Spezielle Implementierungen
Die in diesem Abschnitt und anderen Abschnitten der offenbarten Technik beschriebenen Verfahren können ein oder mehrere der folgenden Eigenschaften und/oder Eigenschaften, die in Verbindung mit weiteren offenbarten Verfahren beschrieben sind, beinhalten. Im Interesse der knappen Darstellung sind die Kombinationen der in dieser Anmeldung offenbarten Merkmale nicht einzeln aufgezählt und werden nicht für jede grundlegende Menge an Merkmalen wiederholt. Der Leser erkennt, dass die Merkmale, die in diesem Abschnitt angegeben sind, in einfacher Weise mit Gruppen aus Basismerkmalen kombiniert werden können, die als Implementierungen, etwa als im Umfeld vorhandene Rechenumgebung, Handmodus, Weitbereichsmodus, erweiterte Realität, einbettende Architekturen, zurecht gestaltete Hand, Biometrie, und dergleichen, angegeben sind.
Diese Verfahren können zumindest teilweise mit einem Datenbanksystem eingerichtet werden, beispielsweise durch einen oder mehrere Prozessoren, die ausgebildet sind, Information zu empfangen oder abzurufen, die Information zu verarbeiten, Ergebnisse zu speichern und die Ergebnisse zu übermitteln. Andere Implementierungen können die Aktionen in anderen Reihenfolgen und/oder mit anderen, weniger oder zusätzlichen Aktionen, als sie hierin erläutert sind, ausführen. In einigen Implementierungen können mehrere Aktionen kombiniert werden. Der Zweckmäßigkeit halber werden diese Verfahren mit Bezug zu dem System beschrieben, das ein Verfahren ausführt. Das System ist nicht notwendigerweise Teil des Verfahrens.
Andere Implementierungen der in diesem Abschnitt beschriebenen Verfahren können ein nicht-flüchtiges computerlesbares Speichermedium miteinschließen, das Befehle speichert, die von einem Prozessor ausführbar sind, um jedes der hierin beschriebenen Verfahren auszuführen. Eine noch weitere Implementierung der in diesem Abschnitt beschriebenen Verfahren können ein System miteinschließen, das einen Speicher und einen oder mehrere Prozessoren aufweist, die ausgebildet sind, Befehle auszuführen, die in dem Speicher gespeichert sind, um ein beliebiges der zuvor beschriebenen Verfahren auszuführen.
Einige beispielhafte Implementierungen sind nachfolgend aufgeführt, wobei gewisse Implementierungen von der Implementierung abhängig sind, auf die sie sich beziehen:

1. Ein Verfahren zum Auswählen aus Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung versehen ist, die Gesten in einem dreidimensionalen(3D-)sensorischen Raum erfasst, und Erfassen bzw. Erkennen eines oder mehrerer heterogener Geräte, die Bewegungssteuerbefehle akzeptieren; Erfassen einer Geste in dem sensorischen 3D-Raum und Interpretieren bzw. Auswerten der Geste als Auswahl eines der heterogenen Geräte; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
2. Das Verfahren der Implementierung 1, das ferner aufweist: Erzeugen von Daten zum Anzeigen bzw. von Anzeigedaten durch das intelligente Telefon, die die heterogenen Geräte kennzeichnen, und Interpretieren der Geste als Auswahl eines der identifizierten heterogenen Geräte.
3. Das Verfahren der Implementierung 1, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorarbeiten dieser, um die erforderliche Bandbreite zu verringern, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
4. Das Verfahren der Implementierung 1, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt bzw. einstellt, das verwendet wird, um eine oder mehrere nachfolgende Gesten vorzuverarbeiten, um diese über den Kommunikationskanal zu dem ausgewählten Gerät zu senden.
5. Das Verfahren der Implementierung 4, das ferner umfasst: Steuern einer Ansprechempfindlichkeit auf dem Bildschirm des ausgewählten Geräts in Bezug zu nachfolgenden Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells.
6. Das Verfahren der Implementierung 1, das ferner umfasst: Erfassen einer Geste in dem sensorischen 3D-Raum und automatisches Auswählen eines speziellen Geräts aus den heterogenen Geräten auf der Grundlage zumindest von biometrischer Information eines Anwenders, der die Geste ausführt.
7. Das Verfahren der Implementierung 6, wobei die biometrische Information Venenmuster und/oder Handflächenabdrücke und/oder Fingerabdrücke des Anwenders beinhaltet.
8. Ein Verfahren zum Auswählen aus Geräten in einem Wohnraum, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wobei heterogene Geräte in einem Wohnraum erfasst werden, die Bewegungssteuerbefehle akzeptieren; Erfassen eines Sprachbefehls und Interpretieren des Sprachbefehls als Auswahl eines der heterogenen Geräte; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
9. Das Verfahren der Implementierung 8, das ferner umfasst: Erfassen einer oder mehrerer Gesten in dem sensorischen 3D-Raum, Vorverarbeiten der Gesten, um die erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
10. Das Verfahren der Implementierung 8, das ferner umfasst: Erzeugen von Daten zum Anzeigen durch das intelligente Telefon, die die heterogenen Geräte identifizieren, und Interpretieren des Sprachbefehls als Auswahl eines der identifizierten heterogenen Geräte.
11. Das Verfahren der Implementierung 8, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt bzw. einstellt, das zur Vorverarbeitung einer oder mehrerer Gesten in dem sensorischen 3D-Raum verwendet wird, um zu dem ausgewählten Gerät über den Kommunikationskanal zu senden.
12. Das Verfahren der Implementierung 11, das ferner umfasst: Steuern einer Ansprechempfindlichkeit auf dem Bildschirm des ausgewählten Geräts auf Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells.
13. Ein Verfahren zum Auswählen aus Geräten in einem Wohnraum, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch heterogene Geräte in einem Wohnraum erfasst werden, die Bewegungssteuerbefehle akzeptieren; Erzeugen von Daten zur Anzeige durch das intelligente Telefon, die die heterogenen Geräte identifizieren, und Interpretieren eines Berührungsbefehls auf der Anzeige als Auswahl eines der identifizierten heterogenen Geräte; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
14. Das Verfahren der Implementierung 13, das ferner umfasst: Erfassen einer oder mehrerer Gesten in dem sensorischen 3D-Raum, Vorverarbeiten dieser, um die erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
15. Das Verfahren der Implementierung 13, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer Gesten in den sensorischen 3D-Raum verwendet wird, um über den Kommunikationskanal zu dem ausgewählten Gerät zu senden.
16. Das Verfahren der Implementierung 15, das ferner umfasst: Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells.
17. Ein Verfahren zum Interagieren mit Markierungsbildern, die erweiterte Illusionen auslösen, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch heterogene Markierungsbilder, die erweiterte Illusionen auslösen, in Reaktion auf die Identifizierung durch das intelligente Telefon erfasst werden; Erfassen einer Geste in dem sensorischen 3D-Raum und Interpretieren der Geste als Auswahl eines der heterogenen Markierungsbilder; und Überlagern einer durch das ausgewählte Markierungsbild erzeugten erweiterten Illusion auf einer Anzeige des intelligenten Telefons.
18. Das Verfahren der Implementierung 17, das ferner umfasst: Erfassen einer oder mehrerer Gesten in dem sensorischen 3D-Raum, die eine Ansprechempfindlichkeit von Inhalt ändern, der in der überlagerten erweiterten Illusion angezeigt wird.
19. Das Verfahren der Implementierung 17, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Interpretation einer oder mehrerer Gesten in dem sensorischen 3D-Raum verwendet wird, die die überlagerte erweiterte Illusion beeinflussen.
20. Ein Verfahren zum Betreiben eines intelligenten Telefons mit reduzierter Leistungsaufnahme, wobei das Verfahren umfasst: Überwachen mindestens eines physikalischen Parameters eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst; und in Reaktion darauf, dass erfasst wird, dass eine Änderung des physikalischen Parameters einen spezifizierten Schwellenwert übersteigt, automatisches Umschalten des intelligenten Telefons von einem Betriebsmodus in einen weiteren.
21. Das Verfahren der Implementierung 20, wobei der physikalische Parameter eine Orientierung und/oder eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Winkelbeschleunigung und/oder eine Winkelgeschwindigkeit des intelligenten Telefons ist.
22. Das Verfahren der Implementierung 20, wobei der physikalische Parameter unter Anwendung eines Beschleunigungsmessers und/oder eines Gyroskops und/oder von Magnetmessern und/oder eines Neigungssensors überwacht wird.
23. Das Verfahren der Implementierung 20, das ferner umfasst: Umschalten des intelligenten Telefons von einem Betriebszustand in einen weiteren in Reaktion auf einer Spezifikation einer Person.
24. Das Verfahren der Implementierung 21, das ferner umfasst: Ermitteln eines Hand-Betriebsmodus, wenn die Bewegungssensorsteuereinrichtung aufrechtsteht und sich bewegt; und Umschalten des intelligenten Telefons in den Hand-Betriebsmodus.
25. Das Verfahren der Implementierung 24, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons auf den Hand-Betriebsmodus, Einstellen eines oder mehrerer Bilderfassungsparameter der Bewegungssensorsteuereinrichtung, die in dem intelligenten Telefon eingebettet ist; und Gewinnen von Bilddaten in einer Abfolge digitaler Bildblöcke, die ein interessierendes Objekt erfassen, wobei dies in Übereinstimmung mit den eingestellten Bilderfassungsparametern erfolgt.
26. Das Verfahren der Implementierung 25, wobei die einstellbaren Bilderfassungsparameter die Blockgröße und die Bildaufnahmerate miteinschließen.
27. Das Verfahren der Implementierung 25, wobei Einstellung der Bilderfassungsparameter zumindest die Verringerung der Bildgröße beinhaltet, indem eine Anzahl digitaler Bildblöcke verringert wird, die pro Zeiteinheit einem Bildspeicher zugeleitet werden, der die digitalen Bildblöcke speichert.
28. Das Verfahren der Implementierung 25, wobei Einstellung der Bilderfassungsparameter zumindest Reduzieren der Blockgröße durch Begrenzen der Bilddatenannahme auf Nicht-Randpixel beinhaltet.
29. Das Verfahren der Implementierung 25, wobei Einstellung der Bilderfassungsparameter zumindest Verwenden eines Teils des Bildspeichers, der digitale Bildblöcke speichert, beinhaltet.
30. Das Verfahren der Implementierung 25, wobei Einstellung der Bilderfassungsparameter zumindest Verringern einer Bildaufnahmerate durch Verringern einer Anzahl an Bildern, die pro Sekunde aufgenommen werden, beinhaltet.
31. Das Verfahren der Implementierung 24, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons auf den Hand-Betriebsmodus, Einstellen eines oder mehrerer Bildanalyseparameter der Bewegungssensorsteuereinrichtung, die in dem intelligenten Telefon eingebettet ist; Gewinnen von Bilddaten in einer Sequenz aus digitalen Bildblöcken, die ein interessierendes Objekt erfassen; und Analysieren der Bildblöcke in Übereinstimmung mit den eingestellten Bildanalyseparametern, um das Objekt zu erfassen und näherungsweise einen Objektumriss zu bestimmen.
32. Das Verfahren der Implementierung 31, wobei die einstellbaren Bildanalyseparameter einen Analysealgorithmus und eine Analysedichte enthalten.
33. Das Verfahren der Implementierung 31, wobei Einstellung der Bildanalyseparameter ferner die Reduzierung der Blockgröße durch erneutes Abtasten mit einer geringeren Auflösung beinhaltet.
34. Das Verfahren der Implementierung 31, wobei die Analyse ferner eine näherungsweise Bestimmung mehrerer geschlossener Kurven über das erfasste Objekt hinweg beinhaltet, die kollektiv eine angenäherte Objektkontur definieren.
35. Das Verfahren der Implementierung 34, wobei der Bildanalyseparameter eine Dichte der geschlossenen Kurven ist.
36. Das Verfahren der Implementierung 31, wobei jeder der digitalen Bildblöcke eine Sequenz aus Datenzeilen enthält, wobei mindestens ein Bildanalyseparameter eine Anzahl an Datenzeilen spezifiziert, die pro digitalem Bildblock analysiert werden, um die Objektkontur näherungsweise zu bestimmen.
37. Das Verfahren der Implementierung 36, wobei Einstellung der Bildanalyseparameter zumindest Analysieren einer reduzierten Menge an Bilddaten pro digitalem Bildblock beinhaltet.
38. Das Verfahren der Implementierung 24, das ferner umfasst: Beenden, in Reaktion auf das Umschalten des intelligenten Telefons auf den Hand-Betriebsmodus, der Gewinnung von Bilddaten.
39. Das Verfahren der Implementierung 24, das ferner umfasst: Beenden, in Reaktion auf das Umschalten des intelligenten Telefons in den Hand-Betriebsmodus, der Analyse von Bilddaten.
40. Das Verfahren der Implementierung 21, das ferner aufweist Bestimmen eines Weitbereichsbetriebsmodus, wenn die Bewegungssensorsteuereinrichtung in dem sensorischen 3D-Raum flach und unbewegt liegt; und Umschalten des intelligenten Telefons in den Weitbereichsbetriebsmodus.
41. Das Verfahren der Implementierung 40, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons in den Weitbereichsbetriebsmodus, Einstellen eines oder mehrerer Bilderfassungsparameter der Bewegungssensorsteuereinrichtung, die in dem intelligenten Telefon eingebettet ist; und Gewinnen von Bilddaten in einer Sequenz digitaler Bildblöcke, die ein interessierendes Objekt erfassen, wobei dies in Übereinstimmung mit den eingestellten Bilderfassungsparametern erfolgt.
42. Das Verfahren der Implementierung 41, wobei die einstellbaren Bilderfassungsparameter eine Blockgröße und eine Blockaufnahmerate miteinschließen.
43. Das Verfahren der Implementierung 41, wobei Einstellung der Bilderfassungsparameter Maximieren einer Blockgröße durch Erhöhen einer Anzahl an digitalen Bildblöcken umfasst, die pro Zeiteinheit einem Bildspeicher zugeleitet werden, der die digitalen Bildblöcke speichert.
44. Das Verfahren der Implementierung 41, wobei Einstellung der Bilderfassungsparameter zumindest die Maximierung einer Blockgröße durch Ausdehnung der Bilddatengewinnung auf Randpixel beinhaltet.
45. Das Verfahren der Implementierung 41, wobei Einstellung der Bilderfassungsparameter zumindest die Verwendung eines verstärkten Bereichs eines Bildspeichers, der digitale Bildblöcke speichert, beinhaltet.
46. Das Verfahren der Implementierung 41, wobei Einstellung der Bilderfassungsparameter zumindest Maximierung der Bildaufnahmerate durch Erhöhen einer Anzahl an Blöcken, die pro Sekunde aufgenommen wird, beinhaltet.
47. Das Verfahren der Implementierung 40, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons auf den Weitbereichsbetriebsmodus, Einstellen eines oder mehrerer Bildanalyseparameter der Bewegungssensorsteuereinrichtung, die in dem intelligenten Telefon eingebettet ist; Gewinnen von Bilddaten in einer Sequenz digitaler Bildblöcke, die ein interessierendes Objekt erfassen; und Analysieren der Bildblöcke in Übereinstimmung mit den eingestellten Bildanalyseparametern, um das Objekt zu erfassen und eine Objektkontur näherungsweise zu bestimmen.
48. Das Verfahren der Implementierung 47, wobei die Einstellung der Bildanalyseparameter einen Analysealgorithmus und eine Analysedichte beinhaltet.
49. Das Verfahren der Implementierung 47, wobei Einstellung der Bildanalyseparameter ferner die Erhöhung der Blockgröße durch Neuabtastung mit höherer Auflösung umfasst.
50. Das Verfahren der Implementierung 47, wobei die Analyse ferner näherungsweises Bestimmen mehrerer geschlossener Kurven über das erfasste Objekt hinweg erfasst, die kollektiv eine angenäherte Objektkontur definieren.
51. Das Verfahren der Implementierung 50, wobei der Bildanalyseparameter eine Dichte der geschlossenen Kurven ist.
52. Das Verfahren der Implementierung 47, wobei jeder der digitalen Bildblöcke eine Sequenz aus Datenzeilen enthält, wobei mindestens ein Bildanalyseparameter eine Anzahl an Datenzeilen angibt, die pro digitalem Bildblock bei der näherungsweisen Bestimmung der Objektkontur analysiert werden.
53. Das Verfahren der Implementierung 52, wobei Einstellung der Bildanalyseparameter zumindest Analysieren einer größeren Menge an Bilddaten pro digitalem Bildblock umfasst.
54. Das Verfahren der Implementierung 40, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons auf den Weitbereichsbetriebsmodus, Initiieren der Gewinnung von Bilddaten.
55. Das Verfahren der Implementierung 40, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons auf den Weitbereichsbetriebsmodus, Initiieren der Analyse von Bilddaten.
56. Das Verfahren der Implementierung 40, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons in den Weitbereichsbetriebsmodus und der Erfassung einer Geste in dem sensorischen 3D-Raum, Initiieren der Gewinnung von Bilddaten.
57. Das Verfahren der Implementierung 40, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons in den Weitbereichsbetriebsmodus und der Erfassung einer Geste in dem sensorischen 3D-Raum, Initiieren einer Analyse von Bilddaten.
58. Das Verfahren der Implementierung 40, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons in den Weitbereichsbetriebsmodus, Initiieren der Auffindung eines oder mehrerer Geräte, um einen Kommunikationskanal zwischen dem intelligenten Telefon und einem ausgewählten Gerät der aufgefundenen Geräte einzurichten.
59. Das Verfahren der Implementierung 58, das ferner umfasst: Erzeugung von Daten zur Anzeige durch das intelligente Telefon, die die aufgefundenen einen oder mehrere Geräte kennzeichnen bzw. identifizieren.
60. Das Verfahren der Implementierung 59, das ferner umfasst: Erfassen einer Geste in dem sensorischen 3D-Raum und Interpretieren bzw. Auswerten der Geste als Auswahl eines der aufgefundenen Geräte.
61. Das Verfahren der Implementierung 60, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten dieser Gesten, um die erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über einen Kommunikationskanal zu dem ausgewählten Gerät.
62. Das Verfahren der Implementierung 60, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das verwendet wird, um eine oder mehrere nachfolgende Gesten zum Senden zu dem ausgewählten Gerät über einen Kommunikationskanal verwendet wird.
63. Das Verfahren der Implementierung 62, das ferner umfasst: Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells.
64. Das Verfahren der Implementierung 21, das ferner umfasst: Bestimmen eines Drift-Kompensationsbetriebsmodus, wenn die Bewegungssensorsteuereinrichtung sich bewegt; und Umschalten des intelligenten Telefons in dem Drift-Kompensationsbetriebsmodus.
65. Das Verfahren der Implementierung 64, das ferner umfasst: in Reaktion auf das Umschalten des intelligenten Telefons in den Drift-Kompensationsbetriebsmodus, Unterscheiden von Bewegungsinformation der Bewegungssensorsteuereinrichtung von Bewegungsinformation eines oder mehrerer interessierender Objekte, die unter Verwendung der Bewegungssensorsteuereinrichtung verfolgt werden; und automatisches Berücksichtigen von Bewegungsinformation der Bewegungssensorsteuereinrichtung bei der Analyse von Bilddaten in einer Sequenz aus digitalen Bildblöcken, die ein interessierendes Objekt erfassen.
66. Das Verfahren der Implementierung 65, das ferner umfasst: Erfassen einer scheinbaren Position und Orientierung des verfolgten interessierenden Objekts, was durch eine Neupositionierung der Bewegungssensorsteuereinrichtung hervorgerufen wird; und Berechnen der tatsächlichen Position und Orientierung des verfolgten interessierenden Objekts durch digitales Überlagern eines digitalen Ausgangsbildblocks und eines digitalen Endbildblocks.
67. Das Verfahren der Implementierung 66, wobei der digitale Anfangsbildblock das interessierende Objekt unmittelbar vor der Neupositionierung der Bewegungssensorsteuereinrichtung repräsentiert.
68. Das Verfahren der Implementierung 66, wobei der digitale Endbildblock das interessierende Objekt unmittelbar nach der Neupositionierung der Bewegungssensorsteuereinrichtung repräsentiert.
69. Ein Verfahren zum Auswählen aus Geräten, um zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch in einem Wohnraum heterogene Geräte erfasst werden, die Bewegungssteuerbefehle akzeptieren; Berechnen eines Grades an Nähe zwischen dem intelligenten Telefon und den heterogenen Geräten für jedes der heterogenen Geräte, wobei der Grad an Nähe zumindest auf einem Empfangssignalstärkeindikator (RSSI) jeweiliger heterogener Geräte beruht; automatisches Auswählen eines speziellen Geräts mit dem höchsten Grad an Nähe; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
70. Das Verfahren der Implementierung 69, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten der Gesten, um die erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
71. Das Verfahren der Implementierung 69, das ferner umfasst: Erzeugen von Daten zur Anzeige durch das intelligente Telefon, die die heterogenen Geräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten heterogenen Geräte.
72. Das Verfahren der Implementierung 69, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
73. Das Verfahren der Implementierung 72, das ferner Steuerung einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
74. Ein Verfahren zum Auswählen aus Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch heterogene Geräte, die Bewegungssteuerbefehle akzeptieren, erfasst bzw. erkannt werden; Berechnen eines Grades an Nähe zwischen dem intelligenten Telefon und den heterogenen Geräten für jedes der heterogenen Geräte, wobei der Grad an Nähe zumindest auf einer Positionsinformation der heterogenen Geräte beruht; automatisches Auswählen eines speziellen Geräts mit einem höchsten Grad an Nähe; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
75. Das Verfahren der Implementierung 74, das ferner Ermitteln von Positionsinformation der heterogenen Geräte innerhalb des sensorischen 3D-Raums umfasst, durch: Ausführen eines Rundrufs einer oder mehrerer Emissionen aus jedem der Geräte in einem geordneten Abtastmuster; Erfassen der Emissionen und Erkennen des Abtastmusters, das ausgesendet wird, unter Anwendung der Bewegungssensorsteuereinrichtung; Berechnen von Synchronisierungsinformation für einen Bezugspunkt, der in dem geordneten Abtastmuster enthalten ist; und Ermitteln von Positionsinformation für jedes der Geräte auf der Grundlage zumindest einer Information über einen oder mehrere interessierende Punkte in den jeweiligen Emissionen und der Synchronisierungsinformation.
76. Das Verfahren der Implementierung 75, wobei die Synchronisierungsinformation eine Zuordnung zwischen einem Bezugspunkt im Raum und einer Zeitinformation eines Ereignisses in dem geordneten Abtastmuster enthält, die angibt, wann das Ereignis an dem Bezugspunkt im Raum eingetreten ist.
77. Das Verfahren der Implementierung 76, wobei das Ereignis ein Puls in dem geordneten Abtastmuster ist.
78. Das Verfahren der Implementierung 76, wobei das Ereignis eine Pause in dem geordneten Abtastmuster ist.
79. Das Verfahren der Implementierung 76, wobei das Ereignis ein zyklischer Neustart in dem geordneten Abtastmuster ist.
80. Das Verfahren der Implementierung 76, das ferner umfasst: Ermitteln von Positionsinformation für jedes der Geräte auf der Grundlage zumindest des geordneten Abtastmusters durch Vergleich mindestens einer Eigenschaft eines von dem intelligenten Telefon empfangenen Signals mit der Zeitinformation des Ereignisses in dem geordneten Abtastmuster für den Bezugspunkt im Raum.
81. Das Verfahren der Implementierung 80, wobei die Eigenschaft des Signals eine Intensität und/oder eine Amplitude und/oder eine Frequenz und/oder eine Polarisation und/oder eine Phase der Emission ist.
82. Das Verfahren der Implementierung 75, wobei Information über die interessierenden Punkte Amplitudenhöchstwerte enthält.
83. Das Verfahren der Implementierung 75, wobei Information über die interessierenden Punkte Frequenzänderungen enthält.
84. Das Verfahren der Implementierung 75, wobei Information über die interessierenden Punkte Phasenänderungen enthält.
85. Das Verfahren der Implementierung 74, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgenden Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
86. Das Verfahren der Implementierung 74, das ferner Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
87. Ein Verfahren zum Auswählen aus Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch heterogene Geräte erfasst werden, die Bewegungssteuerbefehle akzeptieren; automatisches Auswählen eines Geräts, mit welchem am meisten interagiert wird, aus den heterogenen Geräten; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
88. Das Verfahren der Implementierung 87, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten dieser Gesten, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
89. Das Verfahren der Implementierung 87, das ferner umfasst: Erzeugen von Daten zur Anzeige durch das intelligente Telefon, die die heterogenen Geräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten heterogenen Geräte.
90. Das Verfahren der Implementierung 87, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
91. Das Verfahren der Implementierung 90, das ferner Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
92. Ein Verfahren zum Auswählen aus Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch heterogene Geräte erfasst bzw. erkannt werden, die Bewegungssteuerbefehle akzeptieren; automatisches Auswählen eines Geräts, mit welchem zuletzt interagiert wurde, aus den heterogenen Geräten; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
93. Das Verfahren der Implementierung 92, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten der Gesten, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
94. Das Verfahren der Implementierung 92, das ferner umfasst: Erzeugen von Daten zur Anzeige durch das intelligente Telefon, die die heterogenen Geräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten heterogenen Geräte.
95. Das Verfahren der Implementierung 92, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
96. Das Verfahren der Implementierung 95, das ferner Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
97. Ein Verfahren zum Auswählen aus Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch die heterogenen Geräte erfasst werden, die Bewegungssteuerbefehle akzeptieren; automatisches Auswählen eines speziellen Geräts aus den heterogenen Geräten auf der Grundlage zumindest einer vorbestimmten Anwenderspezifikation; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
98. Das Verfahren der Implementierung 97, wobei die vorbestimmte Anwenderspezifikation ein spezielles Gerät und eine zeitspezifische Information angibt, um das Gerät zu einer anwenderspezifizierten Zeit automatisch auszuwählen.
99. Das Verfahren der Implementierung 97, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten der Gesten, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
100. Das Verfahren der Implementierung 97, das ferner umfasst: Erzeugen von Daten zum Anzeigen mittels des intelligenten Telefons, die die heterogenen Geräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten heterogenen Geräte.
101. Das Verfahren der Implementierung 97, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
102. Das Verfahren der Implementierung 101, das ferner Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
103. Das Verfahren der Implementierung 97, das ferner umfasst: Ermitteln mindestens einer Geo-Position des ausgewählten Geräts; und Senden von Gesten, die von dem intelligenten Telefon erfasst werden, in einem lokalisierten Format, das auf der Grundlage zumindest der ermittelten Geo-Position bestimmt ist, zu dem ausgewählten Gerät über den Kommunikationskanal.
104. Das Verfahren der Implementierung 103, das ferner umfasst: Übersetzen der erfassten Gesten in eine Sprachausgabe, die in einer für die ermittelte Geo-Position des ausgewählten Geräts der lokalen Sprache erfolgt; und Senden der Sprachausgabe zu dem ausgewählten Gerät.
105. Das Verfahren der Implementierung 103, das ferner umfasst: Übersetzten der erfassten Gesten in einen Text, der in einer für die ermittelte Geo-Position des ausgewählten Geräts lokalen Sprache geschrieben ist; und Senden des Texts zu dem ausgewählten Gerät.
106. Das Verfahren der Implementierung 103, das ferner umfasst: Übersetzten der erfassten Gesten in eine Sprachausgabe, die in einer von einem anwenderspezifizierten Sprache erfolgt; und Senden der Sprachausgabe zu dem ausgewählten Gerät.
107. Das Verfahren der Implementierung 103, das ferner umfasst: Übersetzen der erfassen Gesten in Text, der in einer von einem anwenderspezifizierten Sprache geschrieben ist; und Senden des Texts zu dem ausgewählten Gerät.
108. Ein Verfahren zum Auswählen aus Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch heterogene Geräte erfasst werden, die Bewegungssteuerbefehle akzeptieren; automatisches Auswählen eines speziellen Geräts aus den heterogenen Geräten auf der Grundlage zumindest einer Tageszeit; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
109. Das Verfahren der Implementierung 108, das ferner umfasst: automatisches Auswählen eines Haushaltsgeräts aus den heterogenen Geräten, wenn die Tageszeit der Morgen ist.
110. Das Verfahren der Implementierung 108, das ferner umfasst: automatisches Auswählen einer Recheneinrichtung aus den heterogenen Geräten, wenn die Tageszeit Mittag ist.
111. Das Verfahren der Implementierung 108, das ferner umfasst: automatisches Auswählen eines Unterhaltungsgeräts aus den heterogenen Geräten, wenn die Tageszeit der Abend ist.
112. Das Verfahren der Implementierung 108, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten der Gesten, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
113. Das Verfahren der Implementierung 108, das ferner umfasst: Erzeugen von Daten zur Anzeige mittels des intelligenten Telefons, die die heterogenen Geräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten heterogenen Geräte.
114. Das Verfahren der Implementierung 108, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
115. Das Verfahren der Implementierung 114, das ferner Steuern einer Ansprechempfindlichkeit des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
116. Ein Verfahren zum gestischen Interagieren mit Geräten, die keine Ansprechempfindlichkeit auf Gesten haben, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch ein oder mehrere heterogene Geräte erfasst bzw. erkennt werden, die auf Bewegungssteuerbefehle nicht reagieren; Erfassen einer Geste in dem sensorischen 3D-Raum und Interpretieren der Geste als Auswahl eines der Geräte; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
117. Das Verfahren der Implementierung 116, das ferner umfasst: Ermitteln einer Bibliothek aus analogen bzw. entsprechenden Gesten, die analog bzw. entsprechend zu Betätigungen von Steuerungselementen bzw. zu Steuerungsaktionen sind, die unter Anwendung standardmäßiger Eingabebefehle, die von den Geräten akzeptiert werden, ausgeführt werden; Erfassen einer Geste in einem sensorischen dreidimensionalen (3D) Raum und Ermitteln der Geste aus der Bibliothek analoger Gesten; und Zuführen eines Signals zu dem ausgewählten Gerät, das einen Standardeingabebefehl nachbildet, zumindest auf der Grundlage der erfassten und der ermittelten Geste.
118. Das Verfahren der Implementierung 117, das ferner umfasst: Auffüllen der Bibliothek analoger Gesten durch: Empfangen einer Auswahl von einem Anwender einer Steuerungsaktion, die unter Anwendung des von dem ausgewählten Gerät akzeptierten Standardeingabebefehls ausgeführt wird; Auffordern der Anwenders, eine Geste auszuführen; und Zuweisen der Geste als analog zu der ausgewählten Steuerungsaktion und Aktualisieren der Bibliothek analoger Gesten, so dass diese die zugewiesene Geste enthält.
119. Das Verfahren der Implementierung 116, wobei die Ausführung ermittelter Gesten aus der Bibliothek analoger Gesten eine Ansprechempfindlichkeit auf einem Bildschirm bewirkt, die durch entsprechende Steuerungsaktionen erzeugt wird, die unter Anwendung des von dem ausgewählten Geräts akzeptierbaren Standardeingabebefehls ausgeführt werden.
120. Das Verfahren der Implementierung 116, das ferner umfasst: Erzeugen von Daten zum Anzeigen mittels des intelligenten Telefons, die die Geräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten Geräte.
121. Das Verfahren der Implementierung 116, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten der Gesten, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
122. Das Verfahren der Implementierung 116, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
123. Das Verfahren der Implementierung 122, das ferner Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
124. Ein Verfahren zum gestischen Interagieren mit Geräten, denen Gesten-Schnittstellen fehlen, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch ein oder mehrere heterogene Haushaltsgeräte erfasst bzw. erkannt werden, die auf Bewegungssteuerbefehle nicht reagieren und denen Gesten-Schnittstellen fehlen; Erfassen einer Geste in dem sensorischen 3D-Raum und Interpretieren der Geste als Auswahl eines der Haushaltsgeräte; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Haushaltsgerät.
125. Das Verfahren der Implementierung 124, das ferner umfasst: Erzeugen, durch das intelligente Telefon, von Daten zum Anzeigen, die eine Bibliothek analoger Gesten identifizieren bzw. kennzeichnen, die analog zu Bedienungsvorgängen von Steuerelementen bzw. Steuerungsaktionen sind, die unter Anwendung standardmäßiger Eingabebefehle ausgeführt werden, die von den Haushaltsgeräten akzeptiert werden; Erfassen einer Geste in einem sensorischen 3D-Raum und Identifizieren der Geste aus der Bibliothek analoger Gesten; und Zuführen eines Signals zu dem ausgewählten Haushaltsgerät, das einen standardmäßigen Eingabebefehl nachbildet, zumindest auf der Grundlage der erfassten und der identifizierten Geste.
126. Das Verfahren der Implementierung 125, wobei die Daten zum Anzeigen, die von dem intelligenten Telefon erzeugt werden, für ein spezielles Haushaltsgerät derart zugeschnitten sind, dass die analogen Gesten analog zu Steuerungsaktionen sind, die unter Anwendung standardmäßiger Eingabebefehle ausgeführt werden, die von dem speziellen Haushaltsgerät akzeptiert werden.
127. Das Verfahren der Implementierung 125, das ferner umfasst: Auffüllen der Bibliothek analoger Gesten durch: Empfangen einer Auswahl von einem Anwender einer Steuerungsaktion, die unter Anwendung des von dem ausgewählten Gerät akzeptierten Standardeingabebefehls ausgeführt wird; Auffordern des Anwenders, eine Geste auszuführen; und Zuweisen der Geste als analog zu der ausgewählten Steuerungsaktion und Aktualisieren der Bibliothek analoger Gesten derart, dass sie die zugewiesene Geste enthält.
128. Das Verfahren der Implementierung 124, wobei die Ausführung identifizierter Gesten aus der Bibliothek analoger Gesten eine Ansprechempfindlichkeit bzw. eine Reaktionsfähigkeit hervorruft, die durch entsprechende Steuerungsaktionen erzeugt wird, die unter Anwendung des standardmäßigen Eingabebefehls ausgeführt werden, der von dem ausgewählten Haushaltsgerät akzeptiert werden kann.
129. Das Verfahren der Implementierung 124, das ferner umfasst: Erzeugen von Daten zur Anzeige durch das intelligente Telefon, die die Haushaltsgeräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten Haushaltsgeräte.
130. Das Verfahren der Implementierung 124, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten der Gesten, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Haushaltsgerät.
131. Das Verfahren der Implementierung 124, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Haushaltsgerät über den Kommunikationskanal verwendet wird.
132. Das Verfahren der Implementierung 131, das ferner Steuern einer Ansprechempfindlichkeit des ausgewählten Haushaltsgeräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
133. Das Verfahren der Implementierung 124, das ferner umfasst: Orientierung des intelligenten Telefons zu einem speziellen Haushaltsgerät derart, dass das spezielle Haushaltsgerät im Sichtfeld des intelligenten Telefons ist; und automatisches Identifizieren des speziellen Haushaltsgeräts als ausgewähltes Gerät der heterogenen Haushaltsgeräte für gestische Interaktion.
134. Das Verfahren der Implementierung 124, das ferner umfasst: Senden als Rundruf von Geräteidentitätszeichen von den heterogenen Haushaltsgeräten über einen Kommunikationskanal mit ultrakurzer Reichweite, wobei die Geräteidentitätszeichen von dem intelligenten Telefon akzeptiert werden; und automatisches Identifizieren eines speziellen Haushaltsgeräts als ausgewähltes Gerät der heterogenen Haushaltsgeräte für gestisches interagieren auf der Grundlage zumindest einer Geräteinformation, die in einem Geräteidentitätszeichen enthalten ist, das von dem speziellen Haushaltsgerät als Rundruf gesendet wird.
135. Das Verfahren der Implementierung 134, das ferner umfasst: Austauschen der Geräteidentitätszeichen zwischen den heterogenen Haushaltsgeräten und dem intelligenten Telefon über den Kommunikationskanal mit sehr kurzer Reichweite, indem das intelligente Telefon an die Haushaltsgeräte herangeführt wird.
136. Das Verfahren der Implementierung 134, wobei die Geräteinformation, die in dem Geräteidentitätszeichen enthalten ist, eine vorbestimmte Zeit zum automatischen Auswählen des Geräts angibt.
137. Das Verfahren der Implementierung 134, wobei die in dem Geräteidentitätszeichen enthaltene Geräteinformation ein Steuerungsmodell spezifiziert, um eine Ansprechempfindlichkeit des speziellen Haushaltsgeräts auf Gesten zu steuern, die in dem sensorischen 3D-Raum erfasst werden.
138. Ein Verfahren zum Auswählen aus heterogenen Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch ein oder mehrere heterogene Geräte erfasst bzw. erkannt werden, die auf Bewegungssteuerbefehle nicht reagieren; Empfangen eines Standardeingabebefehls, der eine oder mehrere Steuerungsaktionen an einem speziellen Gerät ausführt; Identifizieren des speziellen Geräts als ausgewähltes Gerät der Geräte in Reaktion auf die Steuerungsaktionen; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
139. Das Verfahren der Implementierung 138, das ferner umfasst: Identifizieren des speziellen Geräts als ausgewähltes Gerät der Geräte in Reaktion auf die Steuerungsaktionen, wenn eine Anzahl an Standardeingabebefehlen einen spezifizierten Schwellenwert übersteigt.
140. Das Verfahren der Implementierung 138, das ferner umfasst: Identifizieren des speziellen Geräts als ausgewähltes Gerät der Geräte in Reaktion auf die Steuerungsaktionen, wenn eine Anzahl der Steuerungsaktionen einen spezifizierten Schwellenwert übersteigt.
141. Das Verfahren der Implementierung 138, wobei der Standardeingabebefehl ein optischer Befehl ist.
142. Das Verfahren der Implementierung 138, wobei der Standardeingabebefehl ein haptischer Befehl ist.
143. Das Verfahren der Implementierung 138, wobei der Standardeingabebefehl ein Audio-Befehl ist.
144. Das Verfahren der Implementierung 138, wobei der Standardeingabebefehl ein Signal ist, das von einem Standardeingabegerät erzeugt wird.
145. Das Verfahren der Implementierung 138, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, vorverarbeitende Gesten, um eine erforderliche Bandbreite zu reduzieren und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
146. Das Verfahren der Implementierung 138, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
147. Das Verfahren der Implementierung 146, das ferner umfasst: Steuern einer Ansprechempfindlichkeit des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells.
148. Ein Verfahren zum Auswählen aus Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischem Raum erfasst, wodurch ein oder mehrere heterogene Geräte, die Bewegungssteuerbefehle akzeptieren, erfasst bzw. erkannt werden; Erfassen einer Geste in dem sensorischen 3D-Raum und automatisches Auswählen eines speziellen Geräts aus den heterogenen Geräten auf der Grundlage zumindest von biometrischer Information eines Anwenders, der die Geste ausführt; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
149. Das Verfahren der Implementierung 148, wobei die biometrische Information Venenmuster und/oder Handflächenabdrücke und/oder Fingerabdrücke des Anwenders enthält.
150. Das Verfahren der Implementierung 148, das ferner umfasst: in Reaktion auf die Identifizierung des Anwenders auf der Grundlage der biometrischen Information, Einstellen bzw.
Festlegen eines anwenderspezifischen Steuerungsmodells, um eine oder mehrere nachfolgende Gesten von dem Anwender zu interpretieren, wobei das anwenderspezifische Steuerungsmodell das Ansprechempfindlichkeit des ausgewählten Geräts steuert.
151. Das Verfahren der Implementierung 148, das ferner umfasst: Steuern der Autorisierung, um mit heterogenen Geräten zu interagieren, auf der Grundlage einer Identität des Anwenders, die durch die biometrische Information ermittelt wird.
152. Das Verfahren der Implementierung 148, das ferner umfasst: in Reaktion auf die Identifizierung des Anwenders auf der Grundlage der biometrischen Information, Festlegen eines neuen spezifischen Steuerungsmodells, um eine oder mehrere nachfolgende Gesten von dem Anwender zu interpretieren, wobei das anwenderspezifische Steuerungsmodul die Ansprechempfindlichkeit des ausgewählten Geräts steuert.
153. Das Verfahren der Implementierung 152, wobei das rollenspezifische Steuerungsmodell auf einer Funktion im Beruf und/oder einem Titel und/oder einer Abteilung und/oder einer Industrieart und/oder einer vorbestimmten Zuordnung des Anwenders beruht.
154. Das Verfahren der Implementierung 148, das ferner umfasst: Erzeugen von Daten zum Anzeigen mittels des intelligenten Telefons, die die heterogenen Geräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten heterogenen Geräte.
155. Das Verfahren der Implementierung 148, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten der Gesten, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
156. Das Verfahren der Implementierung 148, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
157. Das Verfahren der Implementierung 156, das ferner umfasst: Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells.
158. Ein Verfahren zum Unterscheiden zwischen Anwendern, die gestische Befehle in einer im Umfeld vorhandenen dreidimensionalen (3D) sensorischen Umgebung ausgeben, wobei das Verfahren umfasst: Verwenden mindestens eines Bewegungssensorsteuerungssystems, das Gesten in einer im Umfeld vorhandenen dreidimensionalen (3D) sensorischen Umgebung erfasst, wodurch ein oder mehrere heterogene Geräte erfasst bzw. erkannt werden, die Bewegungssteuerbefehle akzeptieren; Erfassen mehrerer Anwender in der sensorischen 3D-Umgebung und Identifizieren aller Anwender auf der Grundlage zumindest ihrer entsprechenden biometrischen Information; und Bestimmen bzw. Ermitteln von Gestensteuerungsmodellen, die speziell für jeden der identifizierten Anwender sind, und Interpretieren von Gesten von den Anwendern auf der Grundlage der ermittelten Gestensteuerungsmodelle, wobei die Gestensteuerungsmodelle eine Ansprechempfindlichkeit der heterogenen Geräte steuern.
159. Das Verfahren der Implementierung 158, das ferner umfasst: automatisches Auswählen eines speziellen Geräts aus den heterogenen Geräten für jeden der identifizierten Anwender zur Interaktion damit auf der Grundlage entsprechender Präferenzen der Anwender.
160. Das Verfahren der Implementierung 159, wobei die Anwenderpräferenzen eine vorbestimmte Zeit zum automatischen Auswählen eines speziellen Geräts aus den heterogenen Geräten bezeichnen.
161. Das Verfahren der Implementierung 158, wobei die biometrische Information Venenmuster und/oder Handflächenabdrücke und/oder Fingerabdrücke des Anwenders enthält.
162. Das Verfahren der Implementierung 158, wobei das Bewegungssensorsteuersystem in einem tragbaren Gerät eingebettet ist.
163. Das Verfahren der Implementierung 158, wobei das Bewegungssensorsteuersystem eine oder mehrere Bewegungssensorsteuereinrichtungen aufweist.
164. Ein Verfahren zur Unterscheidung von Steuerungsgesten von ähnlichen Nicht-Steuerungsgesten in einem im Umfeld vorhandenen dreidimensionalen (3D) sensorischen Raum, wobei das Verfahren umfasst: Erfassen eines Satzes an Gesten, die von unterschiedlichen Anwendern in einer im Umfeld vorhandenen sensorischen 3D-Umgebung ausgeführt werden, und Identifizieren von Steuerungsgesten in dem Satz aus Gesten, die eine Ansprechempfindlichkeit eines oder mehrerer der Geräte in dem sensorischen 3D-Raum steuern durch: Ermitteln eines dominierenden Anwenders aus den Anwendern auf der Grundlage zumindest eines oder mehrerer räumlicher Verhaltensweisen der Anwender in dem sensorischen 3D-Raum; und Auslösen einer Antwort auf Gesten, die von dem dominierenden Anwender ausgeführt werden, ohne eine Antwort auf Gesten auszulösen, die von den nicht-dominierenden Anwendern ausgeführt werden.
165. Das Verfahren der Implementierung 164, wobei die räumlichen Verhaltensweisen Positionen der Anwender in dem sensorischen 3D-Raum mit einschließen.
166. Das Verfahren der Implementierung 164, wobei die räumlichen Verhaltensweisen Körperstellungen der Anwender in dem sensorischen 3D-Raum einschließen.
167. Das Verfahren der Implementierung 164, wobei die räumlichen Verhaltensweisen Stimmfrequenzen der Anwender in dem sensorischen 3D-Raum mit einschließen.
168. Das Verfahren der Implementierung 164, wobei die räumlichen Verhaltensweisen Längen von gesprochenen Ausdrücken der Anwender in dem sensorischen 3D-Raum mit einschließen.
169. Das Verfahren der Implementierung 164, das ferner umfasst: Identifizieren von nicht-dominierenden Anwendern auf der der Grundlage zumindest einer oder mehrerer räumlicher Verhaltensweisen der Anwender in dem sensorischen 3D-Raum.
170. Ein Verfahren zum Auswählen aus virtuellen Interaktionsmodalitäten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, um eine erweiterte Umgebung auf der Grundlage einer Erfassung eines Initialisierungssignals auszulösen, wobei die erweiterte Umgebung eine oder mehrere virtuelle Interaktionsmodalitäten enthält, die in ein erweitertes erzeugtes Bild des physikalischen Raums integriert sind und Bewegungssteuerbefehle akzeptieren; Erfassen einer Geste in dem sensorischen 3D-Raum unter zur Anwendung einer Bewegungssensorsteuereinrichtung, die in dem intelligenten Telefon eingebettet ist; Interpretieren der Geste als Auswahl einer der virtuellen Interaktionsmodalitäten; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und der ausgewählten virtuellen Interaktionsmodalität.
171. Das Verfahren der Implementierung 170, wobei das Initialisierungssignal durch ein Markierungsbild in dem physikalischen Raum erzeugt wird.
172. Das Verfahren der Implementierung 170, wobei das Initialisierungssignal von einem räumlichen Element des physikalischen Raums erzeugt wird.
173. Das Verfahren der Implementierung 170, das ferner umfasst: Erzeugen von Daten zur Anzeige durch das intelligente Telefon, die die virtuellen Interaktionsmodalitäten identifizieren, und Interpretieren der Geste als Auswahl einer der identifizierten virtuellen Interaktionsmodalitäten.
174. Das Verfahren der Implementierung 170, das ferner umfasst: Erfassen eines haptischen Befehls in dem sensorischen 3D-Raum und Interpretieren des haptischen Befehls als Auswahl einer der virtuellen Interaktionsmodalitäten.
175. Das Verfahren der Implementierung 170, das ferner umfasst: Erfassen eines Sprachbefehls in dem sensorischen 3D-Raum und Interpretieren des Sprachbefehls als Auswahl einer der virtuellen Interaktionsmodalitäten.
176. Das Verfahren der Implementierung 170, das ferner umfasst: Erfassen eines optischen Befehls in dem sensorischen 3D-Raum und Interpretieren des optischen Befehls als Auswahl einer der virtuellen Interaktionsmodalitäten.
177. Das Verfahren der Implementierung 170, das ferner umfasst: Erfassen eine Geste in dem sensorischen 3D-Raum und automatisches Auswählen einer speziellen virtuellen Interaktionsmodalität aus den virtuellen Interaktionsmodalitäten auf der Grundlage einer biometrischen Information eines Anwenders, der die Geste ausführt.
178. Das Verfahren der Implementierung 177, wobei die biometrische Information Venenmuster und/oder Handflächenabdrücke und/oder Fingerabdrücke des Anwenders enthält.
179. Das Verfahren der Implementierung 170, das ferner umfasst: Berechnen eines Grades an Nähe zwischen dem intelligenten Telefon und den virtuellen Interaktionsmodalitäten für jede der virtuellen Interaktionsmodalitäten, wobei der Grad an Nähe zumindest auf einer Positionsinformation der virtuellen Interaktionsmodalitäten beruht; und automatisches Auswählen einer speziellen virtuellen Interaktionsmodalität mit einem höchsten Grad an Nähe.
180. Das Verfahren der Implementierung 170, das ferner automatisches Auswählen einer speziellen virtuellen Interaktionsmodalität auf der Grundlage zumindest einer Tageszeit umfasst.
181. Das Verfahren der Implementierung 170, das ferner automatisches Auswählen einer virtuellen Interaktionsmodalität, mit der am häufigsten interagiert wurde, aus den virtuellen Interaktionsmodalitäten umfasst.
182. Das Verfahren der Implementierung 170, das ferner automatisches Auswählen einer virtuellen Interaktionsmodalität, mit der jüngst interagiert wurde, aus den virtuellen Interaktionsmodalitäten umfasst.
183. Das Verfahren der Implementierung 170, das ferner umfasst: Erfassen einer Modellfestlegenden Geste, die ein Steuerungsmodell festlegt, das für die ausgewählte virtuelle Interaktionsmodalität spezifisch ist.
184. Das Verfahren der Implementierung 183, das ferner Steuern einer Ansprechempfindlichkeit der ausgewählten virtuellen Interaktionsmodalität auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.

Die hierin verwendeten Begriffe und Ausdrücke werden als Begriffe und Ausdrücke zum Beschreiben und nicht zur Beschränkung verwendet, und es nicht beabsichtigt, äquivalente Merkmale, die hierin gezeigt und beschrieben sind, oder Teile davon bei Verwendung derartiger Begriffe und Ausdrücke auszuschließen. Ferner ist nach der Beschreibung gewisser Implementierungen der offenbarten Technik für den Fachmann ersichtlich, dass andere Implementierungen, die hierin offenbarte Konzepte enthalten, angewendet werden können, ohne von dem Grundgedanken und dem Schutzbereich der offenbarten Technik abzuweichen. Daher sind die beschriebenen Implementierungen in jeglicher Hinsicht nur als anschaulich und nicht als einschränkend zu erachten.

Claims

Ein Verfahren zum Auswählen aus Geräten, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch ein oder mehrere heterogene Geräte erfasst werden, die Bewegungssteuerbefehle akzeptieren; Erfassen einer Geste in dem sensorischen 3D-Raum und Interpretieren der Geste als Auswahl eines der heterogenen Geräte; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
Das Verfahren nach Anspruch 1, das ferner umfasst: Erzeugen, mittels des intelligenten Telefons, von Daten zum Anzeigen, die die heterogenen Geräte identifizieren, und Interpretieren der Geste als Auswahl eines der identifizierten heterogenen Geräte.
Das Verfahren nach Anspruch 1, das ferner umfasst: Erfassen einer oder mehrerer nachfolgender Gesten, Vorverarbeiten derselben, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
Das Verfahren nach Anspruch 1, das ferner umfasst: Erfassen einer Modell-festlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer nachfolgender Gesten zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
Das Verfahren nach Anspruch 4, das ferner umfasst: Steuern einer Ansprechempfindlichkeit auf dem Bildschirm des ausgewählten Geräts auf nachfolgende Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells.
Das Verfahren nach Anspruch 1, das ferner umfasst: Erfassen einer Geste in dem sensorischen 3D-Raum und automatisches Auswählen eines speziellen Geräts aus den heterogenen Geräten auf der Grundlage zumindest einer biometrischen Information eines Anwenders, der die Geste ausführt.
Das Verfahren nach Anspruch 6, wobei die biometrische Information Venenmuster und/oder Handflächenabdrücke und/oder Fingerabdrücke des Anwenders beinhaltet.
Ein Verfahren zum Auswählen aus Geräten in einem Wohnraum, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch in einem Wohnraum heterogene Geräte erfasst werden, die Bewegungssteuerbefehle akzeptieren; Erfassen eines Sprachbefehls und Interpretieren des Sprachbefehls als Auswahl eines der heterogenen Geräte; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
Das Verfahren nach Anspruch 8, das ferner umfasst: Erfassen einer oder mehrerer Gesten in dem sensorischen 3D-Raum, Vorverarbeiten derselben, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
Das Verfahren nach Anspruch 8, das ferner umfasst: Erzeugen, durch das intelligente Telefon, von Daten zum Anzeigen, die die heterogenen Geräte identifizieren, und Interpretieren des Sprachbefehls als Auswahl eines der identifizierten heterogenen Geräte.
Das Verfahren nach Anspruch 8, das ferner umfasst: Erfassen einer Modell-festlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer Gesten in dem sensorischen 3D-Raum zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
Das Verfahren nach Anspruch 11, das ferner umfasst: Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells.
Ein Verfahren zum Auswählen aus Geräten in einem Wohnraum, um damit zu interagieren, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, wodurch in einem Wohnraum heterogene Geräte erfasst werden, die Bewegungssteuerbefehle akzeptieren; Erzeugen, durch das intelligente Telefon, von Daten zur Anzeige, die die heterogenen Geräte identifizieren, und Interpretieren eines Berührungsbefehls über die Anzeige hinweg als Auswahl eines der identifizierten heterogenen Geräte; und Einrichten eines Kommunikationskanals zwischen dem intelligenten Telefon und dem ausgewählten Gerät.
Das Verfahren nach Anspruch 13, das ferner umfasst: Erfassen einer oder mehrerer Gesten in dem sensorischen 3D-Raum, Vorverarbeiten derselben, um eine erforderliche Bandbreite zu reduzieren, und Senden der vorverarbeiteten Gesten über den Kommunikationskanal zu dem ausgewählten Gerät.
Das Verfahren nach Anspruch 13, das ferner umfasst: Erfassen einer Modell-festlegenden Geste, die ein Steuerungsmodell festlegt, das zur Vorverarbeitung einer oder mehrerer Gesten in dem sensorischen 3D-Raum zum Senden zu dem ausgewählten Gerät über den Kommunikationskanal verwendet wird.
Das Verfahren nach Anspruch 15, das ferner Steuern einer Ansprechempfindlichkeit auf einem Bildschirm des ausgewählten Geräts auf Gesten auf der Grundlage zumindest des festgelegten Steuerungsmodells umfasst.
Ein Verfahren zur Interaktion mit Markierungsbildern, die erweiterte Illusion auslösen, wobei das Verfahren umfasst: Verwenden eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst, womit heterogene Markierungsbilder erfasst werden, die erweiterte Illusionen in Reaktion auf die Identifizierung durch das intelligente Telefon auslösen; Erfassen einer Geste in dem sensorischen 3D-Raum und Interpretieren der Geste als Auswahl einer der heterogenen Markierungsbilder; und Überlagern einer von dem ausgewählten Markierungsbild erzeugten erweiterten Illusion auf einer Anzeige des intelligenten Telefons.
Das Verfahren nach Anspruch 17, das ferner umfasst: Erfassen einer oder mehrerer Gesten in dem sensorischen 3D-Raum, die eine Ansprechempfindlichkeit von Inhalt ändern, der auf der überlagerten erweiterten Illusion angezeigt ist.
Das Verfahren nach Anspruch 17, das ferner umfasst: Erfassen einer Modell-festlegenden Geste, die ein Steuerungsmodell festlegt, das verwendet wird, um eine oder mehrere Gesten in dem sensorischen 3D-Raum zu interpretieren, die die überlagerte erweitere Illusion beeinflussen.
Ein Verfahren zum Betreiben eines intelligenten Telefons mit reduzierter Leistungsaufnahme, wobei das Verfahren umfasst: Überwachen mindestens eines physikalischen Parameters eines intelligenten Telefons, das mit einer Bewegungssensorsteuereinrichtung ausgestattet ist, die Gesten in einem dreidimensionalen (3D) sensorischen Raum erfasst; und in Reaktion darauf, dass erfasst wird, dass eine Änderung des physikalischen Parameter einen spezifizierten Schwellenwert übersteigt, automatisches Umschalten des intelligenten Telefons von einem Betriebsmodus zu einem weiteren.