DE112015003655T5

DE112015003655T5 - Radarbasierte Gestenerkennung

Info

Publication number: DE112015003655T5
Application number: DE112015003655.5T
Authority: DE
Inventors: Ivan Poupyrev
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2014-08-07
Filing date: 2015-08-06
Publication date: 2017-05-11
Also published as: US9921660B2; JP6364505B2; CN106537173B; KR20170012422A; US20160041617A1; JP2017524170A; KR101914850B1; CN106537173A; WO2016022764A1

Abstract

In diesem Dokument werden Techniken zur Verwendung und Geräte mit einer radarbasierten Gestenerkennung beschrieben. Diese Techniken und Geräte können die Erkennung einer Vielzahl von Gesten ermöglichen und zahlreiche Anwendungsmöglichkeiten für diese Gesten bieten, wie beispielsweise Gesten zur Bedienung, Steuerung und Interaktion mit Computergeräten und Nicht-Computergeräten (von Desktops bis hin zu Kühlschränken). Die Techniken und Geräte können ein Radarfeld erzeugen, das Gesten von mehreren Akteuren gleichzeitig und durch Hindernisse hindurch erfassen kann, wodurch im Vergleich zu vielen herkömmlichen Techniken das Spektrum der Gesten vergrößert und die Erkennungsgenauigkeit verbessert wird.

Description

PRIORITÄTSANMELDUNG
Diese Anwendung beansprucht die Priorität unter 35 U.S.C. § 119(e) gegenüber der provisorischen US-Patentanmeldung Nr. 62/034,581, die den Titel „Radarbasierte Gestenerkennung“ trägt und am 7. August 2014 eingereicht wurde und deren Offenbarung vollständig durch Bezugnahme hierin aufgenommen wird.
HINTERGRUND
Die Verwendung von Gesten zur Interaktion mit Computergeräten wird immer beliebter. Mithilfe von Gestenerkennungstechniken ist eine erfolgreiche Gesteninteraktion mit Geräten möglich, wenn diese Gesten auf Geräteoberflächen, wie beispielsweise Touchscreens von Telefonen und Tablets und auf Touchpads von Desktop-Computern, ausgeführt werden. Benutzer möchten jedoch mehr und mehr über Gesten mit ihren Geräten interagieren, die nicht auf einer Oberfläche ausgeführt werden, sondern z. B. durch Winken mit einem Arm ein Videospiel steuern. Für aktuelle Gestenerkennungstechniken ist eine präzise Erkennung dieser berührungslosen Gesten schwierig.
ZUSAMMENFASSUNG
In diesem Dokument werden Techniken und Geräte für eine radarbasierte Gestenerkennung beschrieben. Diese Techniken und Geräte können dreidimensionale Gesten, wie beispielsweise berührungslose Gesten, präzise erkennen. Diese berührungslosen Gesten können in unterschiedlichen Abständen ausgeführt werden, z. B. von einer auf einer Couch sitzenden Person zur Steuerung eines Fernsehers, von einer in einer Küche stehenden Person zur Steuerung eines Backofens oder Kühlschranks oder von einer Person in einem Abstand von nur wenigen Millimetern von einem Display eines Desktop-Computers.
Darüber hinaus verwenden die beschriebenen Techniken unter Umständen ein Radarfeld zur Erfassung von Gesten. Dieses kann die Genauigkeit durch die Unterscheidung zwischen Kleidung und Haut, die Durchdringung von Objekten, die Gesten verdecken, und die Identifizierung von verschiedenen Akteuren verbessern.
Diese Zusammenfassung wird bereitgestellt, um vereinfachte Konzepte bezüglich der radarbasierten Gestenerkennung einzuführen, die weiter in der nachfolgenden ausführlichen Beschreibung beschrieben wird. Diese Zusammenfassung dient weder der Identifizierung von Schlüsselmerkmalen oder wesentlichen Merkmalen des beanspruchten Gegenstandes, noch ist sie zur Verwendung beim Festlegen des Schutzumfangs des beanspruchten Gegenstandes beabsichtigt.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Ausführungsformen von Techniken und Geräten für die radarbasierte Gestenerkennung werden unter Bezugnahme auf die folgenden Zeichnungen beschrieben. Es werden in allen Zeichnungen die gleichen Nummern verwendet, um sich auf gleiche Merkmale und Komponenten zu beziehen:
1 veranschaulicht eine exemplarische Umgebung, in der eine radarbasierte Gestenerkennung implementiert werden kann.
2 veranschaulicht das radarbasierte Gestenerkennungssystem und Computergerät aus 1 im Detail.
3 veranschaulicht ein Beispielverfahren, das eine radarbasierte Gestenerkennung ermöglicht, die die Bestimmung einer Identität eines Akteurs in einem Radarfeld beinhaltet.
4 veranschaulicht ein exemplarisches Radarfeld, wobei sich drei Personen innerhalb des Radarfelds befinden.
5 veranschaulicht ein Beispielverfahren, das eine radarbasierte Gestenerkennung mithilfe eines Radarfelds ermöglicht, das so konfiguriert ist, dass es Stoffe durchdringt, aber von menschlichem Gewebe reflektiert wird.
6 veranschaulicht ein radarbasiertes Gestenerkennungssystem, ein Fernsehgerät, ein Radarfeld, zwei Personen und verschiedene Hindernisse, einschließlich einer Couch, einer Lampe und einer Zeitung.
7 zeigt einen exemplarischen Arm in drei Positionen und verdeckt von einem Hemdsärmel.
8 veranschaulicht ein Beispiel-Computersystem, das eine radarbasierte Gestenerkennung beinhaltet oder in dem unter Umständen Techniken implementiert sind, die die Nutzung einer radarbasierten Gestenerkennung ermöglicht.
AUSFÜHRLICHE BESCHREIBUNG
Überblick
In diesem Dokument werden Techniken zur Verwendung und Geräte mit einer radarbasierten Gestenerkennung beschrieben. Diese Techniken und Geräte können die Erkennung einer Vielzahl von Gesten ermöglichen und zahlreiche Anwendungsmöglichkeiten für diese Gesten bieten, wie beispielsweise Gesten zur Bedienung, Steuerung und Interaktion mit verschiedenen Geräten (von Desktops bis hin zu Kühlschränken). Die Techniken und Geräte können ein Radarfeld erzeugen, das Gesten von mehreren Akteuren gleichzeitig und durch Hindernisse hindurch erfassen kann, wodurch im Vergleich zu vielen herkömmlichen Techniken das Spektrum der Gesten vergrößert und die Erkennungsgenauigkeit verbessert wird.
Nachfolgend wird in diesem Dokument eine exemplarische Umgebung beschrieben, woraufhin eine Beschreibung exemplarischer radarbasierter Gestenerkennungssysteme und Radarfelder, exemplarischer Verfahren sowie eines exemplarischen Computersystems folgt.
Exemplarische Umgebung
1 veranschaulicht eine exemplarische Umgebung 100, in der Techniken, die ein radarbasiertes Gestenerkennungssystem verwenden, und eine Vorrichtung, die ein derartiges System beinhaltet, möglicherweise implementiert sind. Die Umgebung 100 beinhaltet zwei Beispielgeräte und Arten zur Nutzung des radarbasierten Gestenerkennungssystems 102. Im ersten erzeugt das radarbasierte Gestenerkennungssystem 102-1 ein Radar-Nahfeld, um mit einem der Computergeräte 104, dem Desktop-Computer 104-1, zu interagieren, und im zweiten erzeugt das radarbasierte Gestenerkennungssystem 102-2 ein Radar-Mittelfeld (z. B. ein Raumgröße), um mit dem Fernsehgerät 104-2 zu interagieren. Diese radarbasierten Gestenerkennungssysteme 102-1 und 102-2 erzeugen Radarfelder 106, das Radar-Nahfeld 106-1 und das Radar-Mittelfeld 106-2, und werden nachfolgend näher beschrieben.
Der Desktop-Computer 104-1 beinhaltet das radarbasierte Gestenerkennungssystem 102-1 oder ist mit diesem verknüpft. Diese Geräte arbeiten zusammen, um die Benutzerinteraktion mit dem Desktop-Computer 104-1 zu verbessern. Nehmen wir beispielsweise einmal an, dass der Desktop-Computer 104-1 einen Touchscreen 108 beinhaltet, über den die Anzeige- und Benutzerinteraktion erfolgen kann. Dieser Touchscreen 108 kann Benutzer vor einige Herausforderungen stellen. So muss beispielsweise eine Person in einer bestimmten Position, d. h. aufrecht und nach vorn gerichtet, sitzen, um den Bildschirm berühren zu können. Darüber hinaus kann bei einigen Benutzern auch die Größe eine Interaktion, wie beispielsweise die Auswahl von Bedienelementen über den Touchscreen 108, erschweren und somit zeitaufwändig machen. Betrachten Sie hingegen das radarbasierte Gestenerkennungssystem 102-1, das ein Radar-Nahfeld 106-1 erzeugt, wodurch ein Benutzer mit der Hand mit dem Desktop-Computer 104-1 durch z. B kleine oder große, einfache oder komplexe Gesten, einschließlich Gesten mit einer Hand oder zwei Händen oder dreidimensionaler Gesten, interagieren kann. Wie unschwer erkennbar ist, kann ein großer Erfassungsbereich die Auswahl von Optionen wesentlich erleichtern und im Vergleich zu einer flachen Oberfläche wie die des Touchscreens 108 ein besseres Benutzererlebnis bieten.
Betrachten Sie gleichermaßen das radarbasierte Gestenerkennungssystem 102-2, das ein Radar-Mittelfeld 106-2 erzeugt, wodurch ein Benutzer aus der Ferne und mithilfe von verschiedenen Gesten (von Handgesten über Armgesten bis hin zu Ganzkörpergesten) mit dem Fernsehgerät 104-2 interagieren kann. Auf diese Weise kann die Auswahl durch den Benutzer im Vergleich zu einer flachen Oberfläche (z. B. eines Touchscreens 108), einer Fernbedienung (z. B. die Fernbedienung für ein Videospiel oder Fernsehgerät) und anderen konventionellen Steuermechanismen vereinfacht und erleichtert werden.
Die radarbasierten Gestenerkennungssysteme 102 können mit Anwendungen oder einem Betriebssystem von Computergeräten 104 oder aus der Ferne über ein Kommunikationsnetzwerk interagieren, indem Eingabereaktionen zur Erkennung von Gesten übertragen werden. Gesten können verschiedenen Anwendungen und Geräten zugeordnet werden und so die Steuerung von vielen Geräten und Anwendungen ermöglichen. Die radarbasierten Gestenerkennungssysteme 102 können viele komplexe und eindeutige Gesten erkennen, was eine präzise Steuerung und/oder Einzelgestensteuerung selbst bei mehreren Anwendungen gestattet. Die radarbasierten Gestenerkennungssysteme 102 können egal, ob sie in einem Computergerät integriert sind oder mit umfangreichen oder nur begrenzten Computerfunktionen ausgestattet sind, jeweils verwendet werden, um mit zahlreichen Geräten und Anwendungen zu interagieren.
Nähere Details finden Sie in 2, die das radarbasierte Gestenerkennungssystem 102 als Teil eines der Computergeräte 104 zeigt. Das Computergerät 104 wird mit verschiedenen nicht darauf begrenzten Beispielgeräten, wie dem beschriebenen Desktop-Computer 104-1, dem Fernseher 104-2 sowie dem Tablet 104-3, dem Laptop 104-4, dem Kühlschrank 104-5 und der Mikrowelle 104-6, dargestellt, obwohl auch andere Geräte, wie beispielsweise Automatisierungs- und Steuersysteme für private Haushalte, Sound- oder Unterhaltungssysteme, Haushaltsvorrichtungen, Sicherheitssysteme, Netbooks-Smartphones und e-Lesegeräte, verwendet werden können. Zu beachten ist, dass das Computergerät 104 tragbar, nicht tragbar, aber mobil oder verhältnismäßig immobil (z. B. Desktops und Vorrichtungen) sein kann.
Ferner ist zu beachten, dass das radarbasierte Gestenerkennungssystem 102 mit vielen verschiedenen Computer- oder Peripheriegeräten verwendet oder in sie eingebettet sein kann, wie beispielsweise in die Wände eines Hauses zur Steuerung von Haushaltsgeräten und -systemen (z. B. Automatisierungssteuertafel), in Fahrzeugen zur Steuerung interner Funktionen (z. B. Lautstärke- und Geschwindigkeitssteuerung oder sogar die Lenkung des Fahrzeugs) oder als Zubehörteil eines Laptop-Computers zur Steuerung von Computeranwendungen auf einem Laptop.
Darüber hinaus kann das Radarfeld 106 unsichtbar sein und einige Materialien, wie beispielsweise Textilien, durchdringen und dadurch erweitern, wie das radarbasierte Gestenerkennungssystem 102 verwendet und implementiert werden kann. Die hierin dargestellten Beispiele zeigen allgemein ein radarbasiertes Gestenerkennungssystem 102 pro Gerät, es können jedoch auch mehrere verwendet werden, wodurch sich die Anzahl und Komplexität der Gesten sowie die Präzision und Stabilität der Erkennung erhöhen.
Das Computergerät 104 beinhaltet einen Computerprozessor oder mehrere Computerprozessoren 202 und computerlesbare Medien 204, die Speicher- und Archivierungsmedien beinhalten. Anwendungen und/oder ein Betriebssystem (nicht gezeigt), die oder das als computerlesbare Anweisungen auf computerlesbaren Medien 204 vorhanden sind oder ist, können über Prozessoren 202 ausgeführt werden, um einige der hierin beschriebene Funktionalitäten bereitzustellen. Die computerlesbaren Medien 204 beinhalten auch einen Gestenmanager 206 (nachfolgend beschrieben).
Das Computergerät 104 kann auch Netzwerkschnittstellen 208 zur Übertragung von Daten über verdrahtete, drahtlose oder optische Netzwerke und ein Display 210 beinhalten. Exemplarisch und nicht darauf beschränkt kann die Netzwerkschnittstelle 208 Daten über ein lokales Netzwerk (LAN), ein drahtloses lokales Netzwerk (WLAN), ein Personal Area Network (PAN), ein Wide Area Network (WAN), ein Intranet, das Internet, ein Peer-to-Peer-Netzwerk, ein Punkt-zu-Punkt-Netzwerk, ein Maschennetzwerk und dergleichen übertragen.
Das radarbasierte Gestenerkennungssystem 102 ist, wie zuvor beschrieben, so konfiguriert, dass es Gesten erfasst. Um dies ausführen zu können, beinhaltet das radarbasierte Gestenerkennungssystem 102 ein Radarsignale emittierendes Element 212, ein Antennenelement 214 und einen Signalprozessor 216.
In der Regel ist das Radarsignale emittierende Element 212 so konfiguriert, dass es ein Radarfeld erzeugt und zwar in einigen Fällen ein solches, das Stoffe oder andere Hindernisse durchdringt und von menschlichem Gewebe reflektiert wird. Zu den Stoffen oder Hindernissen können Holz, Glas, Kunststoff, Baumwolle, Wolle, Nylon und ähnliche Fasern usw. gehören, während es sich bei dem reflektierenden menschlichen Gewebe z. B. um die Hand einer Person handeln kann.
Dieses Radarfeld kann klein sein und von null über einige Millimeter bis hin zu 1,5 Meter reichen oder eine mittlere Größe aufweisen, wie 1 Meter bis hin zu 30 Metern. Bei mittlerer Größe ist das Antennenelement 214 oder der Signalprozessor 216 so konfiguriert, dass es oder er die Reflexionen des Radarfelds empfangen und verarbeiten kann, um große Körpergesten basierend auf den Reflexionen vom menschlichen Gewebe durch Körper-, Arm- oder Beinbewegungen erfassen zu können. Aber auch kleinere und präzisere Gesten können erfasst werden. Exemplarische mittelgroße Radarfelder beinhaltet solche, in denen ein Benutzer Gesten ausführt, um ein Fernsehgerät von einer Couch aus zu steuern, ein anderes Lied oder die Lautstärke einer Stereoanlage vom anderen Ende eines Raums aus einzustellen, einen Backofen oder Backofen-Timer auszuschalten (ein Nahfeld würde hier ebenfalls sinnvoll sein), die Beleuchtung in einem Raum ein- oder auszuschalten usw.
Das Radarsignale emittierende Element 212 kann stattdessen so konfiguriert sein, dass es ein kleines Radarfeld in beliebigen Abstand von einem Computergerät oder dessen Display erzeugt. Ein exemplarisches Nahfeld ist in 1 mit dem Radar-Nahfeld 106-1 dargestellt, das so konfiguriert ist, dass Gesten von einem Benutzer erfasst, der einen Laptop, einen Desktop, den Wasserspender eines Kühlschranks und andere Geräte verwendet, bei denen es sinnvoll ist, Gesten in der Nähe des Geräts auszuführen.
Das Radarsignale emittierende Element 212 kann so konfiguriert werden, dass es kontinuierlich modulierte Strahlen, Ultrabreitbandstrahlen oder Strahlen im Sub-Millimeterbereich emittiert. Das Radarsignale emittierende Element 212 ist in einigen Fällen so konfiguriert, dass es Strahlenbündel formt, die dem Antennenelement 214 und dem Signalprozessor 216 dabei helfen, zu erkennen, welche der Strahlenbündel unterbrochen werden, und so die Positionen der Interaktionen innerhalb des Radarfelds zu bestimmen.
Das Antennenelement 214 ist so konfiguriert, dass es die Reflexionen des Radarfelds empfängt oder die Interaktionen im Radarfeld erfasst. In einigen Fällen beinhalten die Reflexionen diejenigen, die von menschlichem Gewebe reflektiert werden, das sich innerhalb des Radarfelds, z. B. von einer Hand oder einem Arm, die oder der sich bewegt. Das Antennenelement 214 kann eine Antenne oder mehrere Antennen oder einen Sensor oder mehrere Sensoren beinhalten, wie beispielsweise eine Anordnung von Strahlensensoren. Die Anzahl der Sensoren in der Anordnung basiert auf der gewünschten Auflösung und der Angabe, ob das Feld eine Fläche oder ein dreidimensionaler Bereich ist.
Der Signalprozessor 216 ist so konfiguriert, dass er die empfangenen Reflexionen innerhalb des Radarfelds verarbeitet und Gestendaten bereitzustellen, die zur Bestimmung einer Geste verwendet werden können. Das Antennenelement 214 kann in einigen Fällen so konfiguriert sein, dass es Reflexionen von mehreren Zielen menschlichen Gewebes empfängt, die sich innerhalb des Radarfelds befinden, und der Signalprozessor 216 kann so konfiguriert sein, dass er die empfangenen Interaktionen hinreichend bearbeitet, um eines der mehreren Ziele menschlichen Gewebes von einem anderen der mehreren Ziele menschlichen Gewebes zu unterscheiden. Zu diesen Zielen können Hände, Arme, Beine, der Kopf und der Körper von einer Person oder von verschiedenen Personen gehören. Auf diese Weise ist eine Steuerung durch mehrere Personen möglich, wie z. B. bei einem Videospiel, das von zwei Personen gleichzeitig gespielt wird.
Das von dem Radarsignale emittierenden Element 212 erzeugte Feld kann ein dreidimensionales (3D) Volumen (z. B. eine Halbkugel, ein Würfel, ein volumetrischer Fächer, Kegel oder Zylinder) sein, um die berührungslosen Gesten zu erfassen, obwohl stattdessen auch ein Oberflächenfeld (z. B. die Projektion auf die Oberfläche einer Person) verwendet werden kann. Das Antennenelement 214 ist in einigen Fällen so konfiguriert, dass es Reflexionen von Interaktionen im Radarfeld von zwei oder mehreren Zielen (z. B. Finger, Arme oder Personen) empfängt, und der Signalprozessor 216 ist so konfiguriert, dass er die empfangenen Reflexionen hinreichend bearbeitet, um Gestendaten bereitzustellen, die zur Bestimmung von auf einer Oberfläche oder in einem 3D-Volumen ausgeführten Gesten verwendet werden können. Interaktionen in einer Tiefendimension, die bei einigen konventionellen Techniken schwierig sein können, können vom radarbasierten Gestenerkennungssystem 102 präzise erfasst werden.
Um Gesten durch Hindernisse hindurch zu erfassen, kann das Radarsignale emittierende Element 212 auch so konfiguriert sein, dass es Strahlen emittiert, die im hohen Maße Stoffe, Holz und Glas durchdringen können. Das Antennenelement 214 ist so konfiguriert, dass es die Reflexionen von menschlichem Gewebe durch Stoffe, Holz oder Glas empfängt, und der Signalprozessor 216 ist so konfiguriert, dass er die empfangenen Reflexionen selbst dann als Gesten erkennt, wenn die empfangenen Reflexionen durch zweimaliges Passieren von Hindernissen teilweise verändert wurden. So können die Radarsignale beispielsweise eine Stoffschicht zwischen dem Radarsender und einem menschlichen Arm durchdringen, am menschlichen Arm reflektiert und dann durch die Stoffschicht zum Antennenelement zurückgesendet werden.
Exemplarische Radarfelder werden in 1 dargestellt, wobei es sich bei dem einen um ein Radarnahfeld 106-1 handelt, das von dem radarbasierten Gestenerkennungssystem 102-1 des Desktop-Computers 104-1 emittiert wird. Innerhalb des Radarnahfelds 106-1 kann ein Benutzer komplexe oder einfache Gesten mit einer Hand oder beiden Händen (oder einem Gerät wie einem Stift) ausführen, die das Radarfeld unterbrechen. Exemplarische Gesten beinhalten die vielen Gesten, die bei den gegenwärtigen berührungsempfindlichen Displays verwendet werden können, wie z. B. Wischen, Zusammen- oder Auseinanderziehen mit zwei Fingern, Drehen, Tippen usw. Beispiele anderer möglicher Gesten, die komplex oder einfach, aber dreidimensional sind, sind unter anderem die vielen Gesten der Gebärdensprache, wie z. B. die der American Sign Language (ASL) und anderen Gebärdensprachen weltweit. Folgende Gesten sind nur einige Beispiele dafür: eine Auf- und Abbewegung der Faust bedeutet in der ASL „Ja“; die Bewegung der ausgestreckten Zeige- und Mittelfinger zum gestreckten Daumen, um diesen zu berühren, bedeutet „Nein“; eine flache Hand, die eine Stufe hinaufbewegt wird, bedeutet „Voranschreiten“; ein flache und angewinkelte Hand, die nach oben und unten bewegt wird, bedeutet „Nachmittag“; geballte Finger und ein ausgestreckter Daumen, die geöffnet werden, während der Daumen ausgestreckt bleibt, bedeutet „Taxi“; ein Zeigefinger, der grob in vertikaler Richtung nach oben bewegt wird, bedeutet „Aufwärts“ usw. Dieses sind nur einige wenige der vielen Gesten, die erfasst sowie bestimmten Geräten oder Anwendungen zugewiesen werden können, wie beispielsweise die Voranschreiten-Geste zum Springen zu einem anderen Lied in einer webbasierten Radioanwendung, zum nächsten Lied auf einer CD, die von einer Stereoanlage abgespielt wird, zur nächsten Seite oder zum nächsten Bild in einer Datei oder einem Album auf einem Computer-Display oder in einem digitalen Bilderrahmen.
Es werden drei exemplarische Radar-Mittelfelder dargestellt: das zuvor beschriebene Radar-Mittelfeld 106-2 aus 1 sowie die zwei raumgroßen Radar-Mittelfelder aus 4 und 6, die nachfolgend beschrieben werden.
Wieder bezugnehmend auf 2 beinhaltet das radarbasierte Gestenerkennungssystem 102 auch ein Übertragungsgerät, das so konfiguriert ist, dass es Gestendaten an ein Remote-Gerät überträgt, wobei dieses nicht benötigt wird, wenn das radarbasierte Gestenerkennungssystem 102 in ein Computergerät 104 integriert ist. Wenn ein derartiges Gerät vorhanden, können Gestendaten in einem Format bereitgestellt werden, die von einem Remote-Computergerät verwendet werden können, und die ausreichen, damit das Remote-Computergerät die Geste in Fällen bestimmen kann, in denen die Geste nicht vom radarbasierten Gestenerkennungssystem 102 oder vom Computergerät 104 bestimmt wird.
Genauer gesagt kann das Radarsignale emittierende Element 212 so konfiguriert sein, dass es Mikrowellenstrahlen in einem Bereich von 1 GHz bis 300 GHz, in einem Bereich von 3 GHz bis 100 GHz und in schmaleren Bereichen, wie 57 GHz bis 63 GHz, emittiert, um das Radarfeld zu erzeugen. Dieser Bereich beeinflusst die Fähigkeit des Antennenelements 214, Interaktionen zu empfangen, wie z. B. die Positionen von zwei oder mehreren Zielen zu verfolgen für eine Auflösung von ca. 2 bis ca. 25 mm. Das Radarsignale emittierende Element 212 kann neben anderen Entitäten des radarbasierten Gestenerkennungssystems 102 so konfiguriert sein, dass es über eine relativ schnelle Aktualisierungsrate verfügt, was die Auflösung der Interaktionen verbessert.
Durch die Auswahl bestimmter Frequenzen kann das radarbasierte Gestenerkennungssystem 102 so betrieben werden, dass es Kleidung im hohen Maße durchdringt, während menschliches Gewebe nicht durchdrungen wird. Darüber hinaus kann das Antennenelement 214 oder der Signalprozessor 216 so konfiguriert sein, dass es oder er zwischen durch Kleidung verursachte Interaktionen im Radarfeld und durch menschliches Gewebe verursachte Interaktionen im Radarfeld unterscheidet. So kann eine Person, die Handschuhe und einen langärmeligen Pullover trägt, die bei konventionellen Techniken die Erfassung von Gesten beeinträchtigen könnten, bei einem radarbasierten Gestenerkennungssystem 102 dennoch erfasst werden.
Das radarbasierte Gestenerkennungssystem 102 beinhaltet möglicherweise auch einen Systemprozessor oder mehrere Systemprozessoren 220 und Systemmedien 222 (z. B. ein computerlesbares Speichermedium oder mehrere computerlesbare Speichermedien). Die Systemmedien 222 beinhalten einen Systemmanager 224, der verschiedene Operationen ausführen kann, einschließlich der Bestimmung einer Geste basierend auf den Gestendaten vom Signalprozessor 216, der Zuordnung der bestimmten Geste zu einer vorkonfigurierten Steuergeste, die mit einer Steuereingabe für eine Anwendung verknüpft ist, die mit dem Remote-Gerät 108 verknüpft ist, und der Anweisung des Sendeempfängers 218 zur Übertragung der Steuereingabe an das effektive Remote-Gerät, um die Steuerung der Anwendung zu aktivieren (bei Fernzugriff). Dies ist aber nur einer der Wege, wie die zuvor beschriebene Steuerung über das radarbasierte Gestenerkennungssystem 102 aktiviert werden kann. Die Operationen des Systemmanagers 224 werden nachfolgend im Rahmen der Verfahren 300 und 500 detaillierter beschrieben.
Diese und andere Funktionen und Konfigurationen sowie die Möglichkeiten, wie die Entitäten in den 1 und 2 agieren und interagieren, werden nachfolgend näher erläutert. Diese Entitäten können weiter unterteilt, kombiniert usw. werden. Die Umgebung 100 aus 1 und die detaillierten Abbildungen der 2 und 8 veranschaulichen einige der vielen möglichen Umgebungen und Geräte, die fähig sind, die beschriebenen Techniken zu verwenden.
Exemplarische Verfahren
Die 3 und 5 zeigen Verfahren, die eine radarbasierte Gestenerkennung ermöglichen. Das Verfahren 300 bestimmt die Identität eines Akteurs und ist mithilfe dieser Identität besser in der Lage, die in einem Radarfeld ausgeführten Gesten zu bestimmen. Das Verfahren 500 ermöglicht eine radarbasierte Gestenerkennung mithilfe eines Radarfelds, das so konfiguriert ist, dass es Stoffe durchdringt, aber von menschlichem Gewebe reflektiert wird. Dieses Verfahren kann getrennt von oder in Verbindung mit dem gesamten Verfahren 300 oder Teilen davon verwendet werden.
Diese Verfahren werden anhand von Blocksätzen dargestellt, welche durchgeführte Operationen spezifizieren, jedoch nicht zwingend auf die dargestellte Reihenfolge oder Kombinationen beschränkt sind, um die Operationen seitens der entsprechenden Blöcke durchführen zu können. In Teilen der folgenden Beschreibung kann als Beispiel auf die Umgebung 100 von 1, die in 2 näher beschrieben wird, Bezug genommen werden. Die Techniken sind nicht auf die Leistung einer Entität oder mehreren Entitäten begrenzt, die auf einem Gerät ausgeführt werden.
Bei 302 wird ein Radarfeld erzeugt. Dieses Radarfeld kann auf Anweisung von einem oder mehreren der folgenden Komponenten erzeugt werden: Gestenmanager 206, Systemmanager 224 oder Signalprozessor 216. So weist der Systemmanager 224 möglicherweise das Radarsignale emittierende Element 212 des radarbasierten Gestenerkennungssystems 102 an, eines der zuvor beschriebenen Radarfelder zu erzeugen (z. B. projizieren oder emittieren).
Bei 304 wird eine erste Interaktion bzw. werden mehrere erste Interaktionen von einem Akteur im Radarfeld erfasst. Diese ersten Interaktionen können einer der zahlreichen hierin beschriebenen Gesten entsprechen oder einfach eine Interaktion sein, die dazu dient, eine Größe oder einen anderen identifizierenden Faktor für den Akteur zu bestimmen. Der Akteur kann eines von zahlreichen Elementen sein, die eine Geste ausführen, wie z. B. ein bestimmter Finger oder Arm oder eine bestimmte Hand eines Menschen usw. Ist das Radarfeld darüber hinaus so konfiguriert, dass es von menschlichem Gewebe reflektiert wird und Kleidung und andere Hindernisse durchdringt, kann der Gestenmanager 206 den Akteur präziser bestimmen.
Bei 306 wird die Identität des Akteurs basierend auf einer ersten Interaktion oder mehreren ersten Interaktionen im Radarfeld bestimmt. Diese ersten Interaktionen können Gesten oder andere Interaktionen sein, wie beispielsweise eine Person, die durch ein Radarfeld läuft, sodass der Gestenmanager die Größe, den Armumfang, das Gewicht, das Gate oder andere vom Radar erkennbare Objekte, wie zum Beispiel ein vom Benutzer getragenes Computergerät, Mobiltelefon usw., bestimmen kann.
Bei 308 wird eine Interaktion im Radarfeld erfasst. Diese Interaktion wird erfasst, indem die emittierten Radarstrahlen vom Akteur reflektiert werden und die Reflexion dann empfangen wird. Diese Reflexion kann zum Beispiel vom menschlichen Gewebe stammen. Details zum Radarfeld und zu dessen Funktionsweise werden näher im Rahmen des Verfahrens 500 und in den zahlreichen hierin beschriebenen Beispielgeräten erläutert.
Bei 310 wird bestimmt, dass die Interaktion von dem Akteur mit der entsprechenden Identität ausgeführt wird. Dazu verfolgt der Gestenmanager 206 den Akteur, sobald die Identität des Akteurs bei 306 bestimmt ist. Diese Nachverfolgung ist eine effektive Möglichkeit, den Akteur von anderen Akteuren zu unterscheiden. Nehmen Sie beispielsweise an, dass bestimmt wurde, dass der Akteur die rechte Hand einer bestimmten Person ist. Das Nachverfolgen kann eine effektive Möglichkeit sein, um die rechte Hand von der linken Hand der Person zu unterscheiden, was bei der Bestimmung der erfassten Interaktionen hilft, wenn sich diese möglicherweise überlappen oder wenn einfach beide Hände gleichzeitig mit dem Radarfeld interagieren. Bei den Akteuren kann es sich auch um ganze Personen handeln, sodass der Gestenmanager 206 möglicherweise zwischen Interaktionen von einer Person und einer anderen unterscheidet.
Nehmen wir in einem anderen Beispiel an, dass sich zwei Personen in einem Raum befinden, die gleichzeitig ein Videospiel spielen möchten. Die eine Person fährt ein Fahrzeug in dem Spiel und die andere Person ein anderes. Mithilfe des Gestenmanagers 206 können die Interaktionen beider Personen verfolgt werden, sodass ihre jeweiligen Gesten voneinander unterschieden werden. Dies fördern zudem eine präzise Gestenerkennung für jede der Personen basierend auf den Informationen der jeweiligen Person, wie nachfolgend näher beschrieben wird.
Bei 312 wird eine der Interaktion entsprechende Geste basierend auf den mit der Identität des Akteurs verknüpften Informationen bestimmt. Diese Informationen helfen bei der Bestimmung der Geste basierend auf der Interaktion und können von jedweder Art sein. Es kann sich um eine einfache Information, wie zum Beispiel, dass es sich um einen identifizierten Akteur und nicht um einen anderen Akteur oder eine Interferenz handelt, oder um detailliertere Informationen, wie historische Gestenabweichungen, basierend auf dem identifizierten Akteur, handeln.
So kann in einigen Fällen der Verlauf für einen bestimmten Akteur, wie beispielsweise die rechte Hand einer bestimmten Person, für die bereits Vor- und Zurück-Bewegungen mit einer kleinen Bewegung (z. B. ein Finger, der nur jeweils zwei Zentimeter vor und zurück bewegt wird) in einem Verlauf registriert wurden, zur Bestimmung der gewünschten Geste für eine Interaktion verwendet werden. Andere Arten von Informationen beinhalten physikalische Merkmale des Akteurs, selbst wenn diese Informationen nicht auf historischen Gesten basieren. Die Körperbewegungen einer stämmigen Person erzeugen beispielsweise andere Daten für dieselbe beabsichtigte Geste, wie die Bewegung einer kleinen, leichten Person. Andere Beispiele beinhalten akteurspezifische Gesten (identitätsspezifische Gesten), wenn beispielsweise eine Person auswählt, eine Steuergeste für sich selbst vorzukonfigurieren. Betrachten wir einen Fall, in dem ein Benutzer eine zylindrische Greifgeste mit der rechten Hand ausführt, gerade so, als ob er einen Lautstärkeregler ergreift, und dann fortfährt, indem er seine Hand im Uhrzeigersinn dreht. Diese Steuergeste kann so konfiguriert werden, dass durch sie die Lautstärke von verschiedenen Geräten oder Anwendungen erhöht wird. Sie kann auch nur mit einem einzelnen Gerät verknüpft werden, sodass nur die Lautstärke eines Fernsehgeräts oder Audiosystems erhöht wird.
Bei 314 wird die bestimmte Geste erfolgreich übertragen, um die Interaktion mit dem Radarfeld zur Steuerung oder anderweitigen Interaktion mit einem Gerät zu ermöglichen. So leitet das Verfahren 300 die bestimmte Geste möglicherweise erfolgreich an eine Anwendung oder ein Betriebssystem eines Computergeräts weiter, um die Anwendung oder das Betriebssystem anzuweisen, einen Eingang zu empfangen, der der bestimmten Geste entspricht.
Nehmen wir zum Abschluss des Beispiels mit den beiden ein Auto-Rennspiel spielenden Personen an, dass die Interaktionen beider Personen Arm- und Körperbewegungen sind. Der Gestenmanager 206 empfängt Interaktionen von beiden Personen, legt basierend auf deren Identitäten fest, welche Person welche ist, und bestimmt anhand der Informationen zu jeder Person, welche Interaktionen welchen Gesten entsprechen, und eine für diese Gesten geeignete Größenordnung. Wenn eine Person ein Kind bzw. körperlich klein ist und deren Verlauf übertriebene Bewegungen aufzeigt, wird der Gestenmanager 206 die bestimmten Gesten (und deren Größenordnung – z. B. wie weit rechts befindet sich das Kind, das das Auto lenken will) auf Grundlage der Informationen über das Kind festlegen. Desgleichen wird der Gestenmanager 206, wenn die andere Person ein Erwachsener ist, die bestimmte Geste und deren Größenordnung auf den physikalischen Merkmalen des Erwachsenen und dem Verlauf von durchschnittlichen Größenbewegungen festlegen.
Wieder bezugnehmend auf das Beispiel einer vorkonfigurierten Geste zur Erhöhung der Lautstärke, die mit einem bestimmten Akteur (in diesem Fall die rechte Hand einer bestimmten Person) verknüpft ist, wird die rechte Hand der Person bei 306 als Reaktion auf die Interaktion der rechten Hand der Person oder der Person im Allgemeinen im Radarfeld bei 304 bestimmt. Bei Erfassung einer Interaktion mit dem Radarfeld bei 308 legt der Gestenmanager dann bei 310 fest, dass der Akteur die rechte Hand der Person ist, und bestimmt dann basierend auf den für die rechte Hand der Person gespeicherten Informationen bezüglich der vorkonfigurierten Geste bei 312, dass die Interaktion eine Geste zur Erhöhung der Lautstärke eines Fernsehgeräts ist. Nach dieser Bestimmung leitet der Gestenmanager 206 die Geste zur Erhöhung der Lautstärke an das Fernsehgerät weiter, um erfolgreich anzuweisen, dass die Lautstärke des Fernsehgeräts erhöht wird.
Ein weiteres Beispiel finden Sie in 4, die ein Computergerät 402, ein Radarfeld 404 und drei Personen 406, 408 und 410 zeigt. Jede der Personen 406, 408 und 410 kann ein Akteur sein, der eine Geste ausführt, wobei jede Person mehrere Akteure beinhalten kann, wie beispielsweise beide Hände der Person 410. Nehmen wir einmal an, dass die Person 410 mit dem Radarfeld 404 interagiert, wobei die Interaktion bei der Operation 304 vom radarbasierten Gestenerkennungssystem 102 über die Reflexionen erfasst wird, die vom Antennenelement 214 empfangen werden (dargestellt in 1 und 2). Für diese erste Interaktion muss die Person 410 nur wenig tun, sofern überhaupt etwas explizit gefordert wird. Explizite Interaktionen sind jedoch auch gestattet. In diesem Fall kommt die Person 410 einfach herein und setzt sich auf einen Stuhl und begibt sich so in das Radarfeld 404. Das Antennensystem 214 erfasst diese Interaktion basierend auf den empfangenen Reflexionen von der Person 410.
Das radarbasierte Gestenerkennungssystem 102 ermittelt die Informationen über die Person 410, wie beispielsweise die Größe, das Gewicht, den Skelettaufbau, die Gesichtsform und die Haare (oder das Fehlen von Haaren). Auf diese Weise kann das radarbasierte Gestenerkennungssystem 102 bestimmen, dass es sich bei der Person 410 um eine bestimmte bekannte Person handelt, oder einfach nur die Person 410 identifizieren, um sie von anderen Personen im Raum (den Personen 406 und 408) zu unterscheiden, was in der Operation 310 durchgeführt wird. Nehmen wir nach der Bestimmung der Identität der Person 410 einmal an, dass die Person 410 mit ihrer linken Hand gestikuliert, um von der aktuellen Seite einer Diashow-Präsentation zur nächsten Seite zu wechseln. Nehmen wir ferner an, dass sich die anderen Personen 406 und 408 auch bewegen und unterhalten und so möglicherweise diese Geste der Person 410 stören oder dass sie Gesten für dieselbe Anwendung oder andere Anwendungen ausführen. In diesen Fällen kann eine Identifizierung, welcher Akteur welcher ist, wie nachfolgend beschrieben, hilfreich sein.
Das fortlaufende Beispiel der drei Personen 406, 408 und 410 in 4 abschließend wird die von der Person 410 ausgeführte Geste vom Gestenmanager 206 als schnelle Wischgeste (wie z. B. beim Verscheuchen einer Fliege, analog zu dem zweidimensionalen Wischen auf einem Touchscreen) bei der Operation 312 erkannt. Bei der Operation 314 wird die schnelle Wischgeste an eine Diashow-Softwareanwendung, die auf dem Display 412 angezeigt wird, weitergeleitet, um die Anwendung anzuweisen, eine andere Seite der Diashow auszuwählen. Wie dieses Beispiel und die anderen zuvor beschriebenen Beispiele zeigen, können die Techniken Gesten, einschließlich berührungslose, dreidimensionale Gesten und Gesten mehrerer Akteure, präzise bestimmen.
Das Verfahren 500 ermöglicht eine radarbasierte Gestenerkennung mithilfe eines Radarfelds, das so konfiguriert ist, dass es Stoffe oder andere Hindernisse durchdringt, aber von menschlichem Gewebe reflektiert wird. Das Verfahren 500 kann so zusammen mit oder getrennt von dem Verfahren 300 arbeiten, dass es ein radarbasiertes Gestenerkennungssystem verwendet, um ein Radarfeld zu erzeugen und die durch die im Verfahren 300 beschriebenen Interaktionen verursachten Reflexionen zu erfassen.
Bei 502 wird ein Radarsignale emittierendes Element eines radarbasierten Gestenerkennungssystems angewiesen, ein Radarfeld zu erzeugen, wie z. B. das Radarsignale emittierende Element 212 in 2. Bei diesem Radarfeld kann es sich, wie zuvor beschrieben, um ein Nah- oder Mittelfeld handeln, d. h. um ein kleines Feld, das von null bis zu einem Abstand von 1,5 m reicht, oder ein mittelgroßes Feld, das von 1 m bis hin zu 30 m reicht. Ziehen Sie beispielsweise ein Radar-Nahfeld für feine, detaillierte Gesten in Erwägung, die mit einer Hand und beiden Händen ausgeführt werden, während Sie an einem Desktop-Computer mit großem Bildschirm sitzen, um Operationen auszuführen, ohne das Display, die Bilder usw. berühren zu müssen. Die Techniken ermöglichen die Nutzung einer feinen Auflösung oder von komplexen Gesten, um beispielsweise ein Porträt mithilfe von Gesten zu „zeichnen“ oder dreidimensionale CAD(Computer Aided Design)-Bilder mit zwei Händen zu bearbeiten. Wie zuvor beschrieben, können Radar-Mittelfelder zur Steuerung eines Videospiels, eines Fernsehgeräts und anderer Geräte verwendet werden, auch von zwei Personen gleichzeitig.
Bei 504 wird ein Antennenelement des radarbasierten Gestenerkennungssystem angewiesen, eine Interaktion im Radarfeld zu empfangen. Das Antennenelement 214 in 2 kann zum Beispiel Reflexionen empfangen, gesteuert vom Gestenmanager 206, Systemprozessor 220 oder Signalprozessor 216.
Bei 506 wird ein Signalprozessor des radarbasierten Gestenerkennungssystems angewiesen, die Reflexionen zu verarbeiten, um Daten für die Interaktion im Radarfeld bereitzustellen. Die Reflexionen für die Interaktion können vom Signalprozessor 216 verarbeitet werden, der möglicherweise Gestendaten für die spätere Bestimmung als vorgesehene Geste durch den Systemmanager 224 oder Gestenmanager 206 bereitgestellt. Beachten Sie, dass das Radarsignale emittierende Element 212, das Antennenelement 214 und der Signalprozessor 216 mit oder ohne Prozessoren und von Prozessoren ausführbaren Anweisungen agieren können. So kann das radarbasierte Gestenerkennungssystem 102 in einigen Fällen in Hardware oder in Hardware in Verbindung mit Software und/oder Firmware implementiert werden.
Betrachten Sie zur Veranschaulichung 6, die ein radarbasiertes Gestenerkennungssystem 102, ein Fernsehgerät 602, ein Radarfeld 604, zwei Personen 606 und 608, eine Couch 610, eine Lampe 612 und eine Zeitung 614 zeigt. Das radarbasierte Gestenerkennungssystem 102 kann, wie zuvor beschrieben, ein Radarfeld erzeugen, das Objekte und Kleidung durchdringen kann, aber von menschlichem Gewebe reflektiert wird. So erzeugt und erfasst das radarbasierte Gestenerkennungssystem 102 bei den Operationen 502, 504 und 506 Gesten von Personen, selbst wenn diese Gesten verdeckt sind, wie z B. eine Geste mit dem Körper oder Bein der Person 608 hinter der Couch 610 (dargestellte Radarstrahlen dringen durch die Couch 610 bei den Objektdurchdringungslinien 616 und werden bei den Durchleitungslinien 618 fortgesetzt) oder eine Handgeste der Person 606, die von der Zeitung 614 verdeckt wird, oder eine Hand- oder Armgeste der Person 606 oder der Person 608, die von einer Jacke oder einem Shirt verdeckt wird.
Bei 508 wird die Identität eines Akteurs, der die Interaktion verursacht hat, basierend auf den für die Interaktion bereitgestellten Daten bestimmt. Diese Identität ist nicht erforderlich, aber die Bestimmung dieser Identität kann die Genauigkeit erhöhen, Interferenzen verringern oder, wie hierin beschrieben, identitätsspezifische Gesten gestatten.
Nach der Bestimmung der Identität des Akteurs fährt das Verfahren 500 unter Umständen mit 502 fort, um erfolgreich Operationen zu wiederholen, um eine zweite Interaktion zu erfassen und dann eine Geste für die zweite Interaktion zu bestimmen. In einem Fall basiert diese zweite Interaktion auf der Identität des Akteurs sowie auf den Daten für die Interaktion selbst. Dies ist jedoch nicht erforderlich, da das Verfahren 500 unter Umständen von 506 zu 510 voranschreitet, um bei 510 eine Geste ohne Verwendung der Identität zu bestimmen.
Bei 510 wird die Geste für die Interaktion im Radarfeld bestimmt. Wie zuvor beschrieben, kann es sich bei dieser Interaktion um die erste, zweite oder eine spätere Interaktion handeln und sie kann (oder auch nicht) auf der Identität des Akteurs basieren, der die Interaktion verursacht hat.
Als Reaktion auf die Bestimmung der Geste bei 510 wird die Geste bei 512 erfolgreich an eine Anwendung oder ein Betriebssystem eines Computergeräts weitergeleitet, um die Anwendung oder das Betriebssystem anzuweisen, einen Eingang zu empfangen, der der bestimmten Geste entspricht. Auf diese Weise kann ein Benutzer zum Beispiel eine Geste zum Anhalten der Wiedergabe von Medien auf einem Remote-Gerät (wie z. B. eine Fernsehshow auf einem Fernsehgerät) ausführen. In einigen Ausführungsformen fungieren das radarbasierte Gestenerkennungssystem 102 und diese Techniken als Universal-Controller für Fernsehgeräte, Computer, Apparate usw.
Während oder vor der Weiterleitung der Geste kann der Gestenmanager 206 bestimmen, für welche Anwendung oder Gerät die Geste gültig sein soll. Diese Entscheidung kann auf identitätsspezifischen Gesten, einem aktuellen Gerät, mit dem der Benutzer derzeit interagiert, und/oder auf den Steuerungen basieren, über die ein Benutzer mit einer Anwendung interagiert. Steuerungen können durch Untersuchung der Schnittstelle (z. B. visuelle Steuerungen), veröffentlichte APIs und dergleichen ermittelt werden.
Wie bereits zuvor in Teilen angeführt erzeugt das radarbasierte Gestenerkennungssystem 102 ein Radarfeld, das zahlreiche Hindernisse durchdringen kann, aber von menschlichem Gewebe reflektiert wird, was potenziell zu einer Verbesserung der Gestenerkennung führt. Betrachten wir nun zur Veranschaulichung das Beispiel einer Armgeste, bei der der die Geste ausführende Arm durch einen Hemdsärmel verdeckt ist. Dieser Vorgang ist in 7 dargestellt, die den Arm 702, der von einem Hemdsärmel 704 verdeckt ist, an drei Positionen bei der verdeckten Armgeste 706 zeigt. Bei einigen konventionellen Techniken kann der Hemdsärmel 704 die Erkennung einiger Arten von Gesten erschweren oder sogar unmöglich machen. Der Hemdsärmel 704 kann jedoch von den Radarstrahlen durchdrungen werden, die dann vom Arm 702 reflektiert und durch den Hemdsärmel 704 zurück gesendet werden. Etwas vereinfacht gesagt, kann das radarbasierte Gestenerkennungssystem 102 den Hemdsärmel 704 durchdringen und so die Armgeste, wie bei der unverdeckten Armgeste 708, erfassen. Dies gestattet nicht nur eine präzisere Erfassung von Bewegungen und somit der Gesten, sondern auch eine leichte Erkennung von Identitäten der Akteure, die die Geste ausführen, wie in diesem Fall der rechte Arm einer bestimmten Person. Auch wenn sich das menschliche Gewebe mit der Zeit verändert, ist dessen Abweichung im Allgemeinen sehr viel kleiner als die, die sich durch die täglichen und saisonbedingten Änderungen in Bezug auf Kleidung, anderen Hindernissen usw. ergibt.
In einigen Fällen wird das Verfahren 300 oder 500 auf einem Gerät ausgeführt, das sich entfernt von dem zu steuernden Gerät befindet. In diesem Fall beinhaltet das Remote-Gerät Entitäten des Computergeräts 104 aus den 1 und 2 und es leitet die Geste über einen Kommunikationsweg oder mehrere Kommunikationswege wie z. B. drahtlos über Transceiver und/oder Netzwerkschnittstellen (wie z. B. die Netzwerkschnittstelle 208 und den Transceiver 218) weiter. Dieses Remote-Gerät benötigt nicht alle Elemente des Computergeräts 104. Das radarbasierte Gestenerkennungssystem 102 kann Gestendaten weiterleiten, die für ein anderes Gerät mit einem Gestenmanager 206 zur Bestimmung und Verwendung der Geste ausreichen.
Die Operationen der Verfahren 300 und 500 können wiederholt werden, beispielsweise durch die Bestimmung für mehrere andere Anwendungen und andere Steuerungen, über die die mehreren anderen Anwendungen gesteuert werden können. Die Verfahren 500 kann dann zahlreiche verschiedene Steuerungen anzeigen, um zahlreiche Anwendungen zu steuern, die mit der Anwendung oder dem Akteur verknüpft sind. In einigen Fällen bestimmen die Techniken einzigartige und/oder komplexe und dreidimensionale Steuerungen oder verknüpfen diese mit verschiedenen Anwendungen, um so einem Benutzer die Möglichkeit zur Steuerung zahlreicher Anwendungen zu bieten, ohne dass er die Steuerung zwischendurch wechseln muss. So kann einem Akteur eine bestimmte Geste zur Steuerung einer Softwareanwendung auf einem Computergerät 104, eine andere bestimmte Geste zur Steuerung einer anderen Softwareanwendung und ein noch andere zur Steuerung eines Thermostats oder einer Stereoanlage zugewiesen werden. Diese Geste kann von mehreren verschiedenen Personen ausgeführt oder diesem bestimmten Akteur zugewiesen werden, sobald die Identität des Akteurs bestimmt ist.
In der bisherigen Erörterung wurden Verfahren bezüglich der radarbasierten Gestenerkennung beschrieben. Aspekte dieser Verfahren können in Hardware (z. B. feste Logikschaltung), Firmware, Software, manueller Verarbeitung oder jeder Kombination davon implementiert sein. Diese Techniken können auf einer Entität oder mehreren Entitäten ausgeführt werden, die in den 1, 2, 4, 6 und 8 (das Computersystem 800 wird nachfolgend in 8 beschrieben) dargestellt sind, wobei diese weiter unterteilt, kombiniert usw. werden können. Daher veranschaulichen diese Figuren einige der vielen möglichen Systeme oder Vorrichtungen, die fähig sind, die beschriebenen Techniken einzusetzen. Die Entitäten dieser Figuren stellen generell Software, Firmware, Hardware, komplette Geräte oder Netzwerke oder eine Kombination davon dar.
Exemplarisches Computersystem
8 veranschaulicht verschiedene Komponenten eines exemplarischen Computersystems 800, das als irgendeine Art von Client, Server und/oder Computergerät, wie beschrieben, unter Bezugnahme auf die vorhergehenden 1–7 implementiert werden kann, um eine radarbasierte Gestenerkennung zu implementieren.
Das Computersystem 800 umfasst Kommunikationsgeräte 802, die eine verdrahtete und/oder drahtlose Kommunikation von Gerätedaten 804 ermöglichen (z. B. empfangene Daten, Daten, die empfangen werden, Daten, die für die Übertragung eingeplant sind, Datenpakete von Daten usw.). Die Gerätedaten 804 oder andere Geräteinhalte können Konfigurationseinstellungen des Geräts, Medieninhalte, die im Gerät gespeichert sind, und/oder mit einem Benutzer des Geräts verbundene Informationen (z. B. eine Identität eines Akteurs, der eine Geste ausführt) beinhalten. Die Medieninhalte, die im Computersystem 800 gespeichert sind, können jede Art von Audio-, Video- und/oder Bilddaten beinhalten. Das Computersystem 800 umfasst eine oder mehrere Dateneingaben 806, über die jede Art von Daten, Medieninhalten und/oder Eingaben, wie menschliche Äußerungen, Interaktionen mit einem Radarfeld, vom Benutzer wählbare Eingaben (explizit oder implizit), Nachrichten, Musik, Fernsehmedieninhalten, aufgezeichnete Videoinhalte und jede andere Art von von irgendeiner Inhalts- und/oder Datenquelle empfangenen Audio-, Video- und/oder Bilddaten, empfangen werden kann.
Das Computersystem 800 beinhaltet zudem Kommunikationsschnittstellen 808, die als irgendeine oder mehrere einer seriellen und/oder parallelen Schnittstelle, einer drahtlosen Schnittstelle, irgendeine Art einer Netzwerkschnittstelle, eines Modems und als jede andere Art von Kommunikationsschnittstelle implementiert sein kann. Die Kommunikationsschnittstelle 808 stellt eine Verbindung und/oder Kommunikationslinks zwischen dem Computersystem 800 und einem Kommunikationsnetzwerk bereit, mittels dem andere Elektronik-, Computer- und Kommunikationsgeräte Daten mit dem Computersystem 800 austauschen.
Das Computersystem 800 umfasst einen Prozessor oder mehrere Prozessoren 810 (z. B. irgendwelche von Mikroprozessoren, Steuerungen und dergleichen), die verschiedene computerausführbare Anweisungen verarbeiten, um den Betrieb des Computersystems 800 zu steuern und um Techniken für eine radarbasierte Gestenerkennung oder Techniken, in denen diese verkörpert werden können, zu ermöglichen. Alternativ oder zusätzlich kann das Computersystem 800 mit irgendeiner oder einer Kombination von Hardware, Firmware oder fester Logikschaltung implementiert sein, die in Verbindung mit Verarbeitungs- und Steuerschaltungen, die generell bei 812 identifiziert sind, implementiert ist. Obwohl dies nicht gezeigt ist, kann das Computersystem 800 einen Systembus oder ein Datenübertragungssystem beinhalten, der oder das die verschiedenen Komponenten innerhalb des Geräts verbindet. Ein Systembus kann irgendeine Busstruktur oder eine Kombination von unterschiedlichen Busstrukturen, wie einen Speicherbus oder Memory-Controller, einen Peripheriebus, einen universellen seriellen Bus und/oder einen Prozessor- oder lokalen Bus, beinhalten, der irgendwelche aus einer Vielzahl von Busarchitekturen verwendet.
Das Computersystem 800 beinhaltet zudem computerlesbare Medien 814, wie ein Speichergerät oder mehrere Speichergeräte, das oder die eine permanente und/oder nicht flüchtige Datenspeicherung ermöglicht oder ermöglichen (d. h. im Gegensatz zu reiner Signalübertragung), wobei Beispiele davon einen Speicher mit wahlfreiem Zugriff (Random Access Memory, RAM), einen nicht flüchtigen Speicher (z. B. einen oder mehrere von einem schreibgeschützten Speicher (Read Only Memory, ROM), Flash-Speicher, EPROM, EEPROM usw.) und ein Festplattenspeichergerät beinhalten. Ein Festplattenspeichergerät kann als jede Art von magnetischem oder optischem Speichergerät, wie ein Festplattenlaufwerk, eine beschreibbare und/oder überschreibbare Compact Disc (CD), jede Art einer Digital Versatile Disc (DVD) und dergleichen, implementiert werden. Das Computersystem 800 kann zudem ein Massenspeichermediengerät (Speichermedien) 816 beinhalten.
Die computerlesbaren Medien 814 stellen Datenspeichermechanismen bereit, um Gerätedaten 804 zu speichern, sowie verschiedene Geräteanwendungen 818 und irgendwelche anderen Arten von Informationen und/oder Daten, die mit operativen Aspekten des Computersystems 800 verbunden sind. Ein Betriebssystem 820 kann beispielsweise als eine Computeranwendung mit computerlesbaren Medien 814 aufrechterhalten und über die Prozessoren 810 ausgeführt werden. Die Geräteanwendungen 818 können einen Gerätemanager, wie irgendeine Form einer Steuerungsanwendung, einer Softwareanwendung, eines Signalverarbeitungs- und Steuermoduls, eines Codes, der einem bestimmten Gerät eigen ist, einer Hardwareabstraktionsschicht für eine bestimmte Vorrichtung und so weiter, beinhalten. Geräteanwendungen 818 können zudem Systemkomponenten, Engines oder Manager zur Implementierung einer radarbasierten Gestenerkennung, wie beispielsweise einen Gestenmanager 206 und einen Systemmanager 224, beinhalten.
Schlussfolgerung
Obwohl Ausführungsformen von Techniken, die eine radarbasierte Gestenerkennung verwenden, und Vorrichtungen, die diese beinhalten, in Sprache beschrieben wurden, die für Merkmale und/oder Verfahren spezifisch ist, versteht es sich, dass der Gegenstand der angefügten Ansprüche nicht zwangsläufig auf die spezifischen beschriebenen Merkmale oder Verfahren begrenzt ist. Die spezifischen Merkmale und Verfahren werden vielmehr als exemplarische Implementierungen der radarbasierten Gestenerkennung offenbart.

Claims

Computerimplementiertes Verfahren, das Folgendes umfasst: das Erzeugen durch ein radarbasiertes Gestenerkennungssystem eines Radarfelds; das Erfassen durch das radarbasierte Gestenerkennungssystem von einer ersten Interaktion bzw. von mehreren ersten Interaktionen von einem Akteur im Radarfeld; das Bestimmen der Identität des Akteurs basierend auf der ersten Interaktion oder mehreren ersten Interaktionen im Radarfeld; das Erfassen durch das radarbasierte Gestenerkennungssystem einer Interaktion; das Bestimmen, dass die Interaktion von dem Akteur mit der entsprechenden Identität ausgeführt wird; und das Bestimmen einer der Interaktion entsprechenden Geste basierend auf den mit der Identität des Akteurs verknüpften Informationen.
Computerimplementiertes Verfahren nach Anspruch 1, wobei nach der Bestimmung, dass die Interaktion von dem Akteur mit der entsprechenden Identität ausgeführt wird, der Akteur mithilfe des radarbasierten Gestenerkennungssystems verfolgt wird. Diese Nachverfolgung ist eine effektive Möglichkeit, den Akteur von anderen Akteuren zu unterscheiden.
Computerimplementiertes Verfahren nach Anspruch 2, wobei der Akteur die erste Hand einer Person und einer der anderen Akteure die zweite Hand der Person ist.
Computerimplementiertes Verfahren nach Anspruch 2, wobei der Akteur die erste Person und einer der anderen Akteure eine zweite Person ist.
Computerimplementiertes Verfahren nach Anspruch 4, wobei die Interaktion eine Arm- oder Körperbewegung der ersten Person ist und das Verfahren ferner Folgendes umfasst: das Empfangen einer zweiten Interaktion; das Bestimmen durch Nachverfolgung der zweiten Person, dass die zweite Interaktion von der zweiten Person ausgeführt wird; das Bestimmen basierend auf den zweiten Informationen, die mit der zweiten Person verknüpft sind, einer zweiten Geste, die der zweiten Interaktion entspricht; und das erfolgreiche Bereitstellen der Geste und der zweiten Geste, um eine Anwendung oder ein Betriebssystem anzuweisen, die ersten und zweiten Eingänge zu empfangen, die entsprechend mit der ersten und der zweiten Geste verknüpft sind.
Computerimplementiertes Verfahren nach Anspruch 1, das ferner die Weiterleitung der bestimmten Geste an eine Anwendung oder ein Betriebssystem eines Computergeräts umfasst, das das Verfahren effektiv ausführt, um die Anwendung oder das Betriebssystem anzuweisen, einen Eingang zu empfangen, der der bestimmten Geste entspricht.
Computerimplementiertes Verfahren nach Anspruch 1, wobei die Informationen bei der Bestimmung der Geste basierend auf der Interaktion helfen, wobei es sich um Informationen, die die historische Gestenabweichung anzeigen, oder Informationen zu physikalischen Merkmalen des Akteurs handeln kann, die die Bestimmung der Geste beeinflussen.
Computerimplementiertes Verfahren nach Anspruch 1, wobei die Bestimmung der Geste, die den Interaktionszuordnungen entspricht, auf den Informationen, die mit der Identität des Akteurs verknüpft ist, und der Interaktion mit einem identitätsspezifischen Geste, die mit dem Akteur verknüpft ist, basiert.
Computerimplementiertes Verfahren nach Anspruch 8, wobei die identitätsspezifische Geste eine vorkonfigurierte Steuergeste ist, die ausschließlich mit dem Akteur und einer Anwendung verknüpft ist, wobei das Verfahren ferner die erfolgreiche Weiterleitung der vorkonfigurierten Steuergeste an die Anwendung umfasst, um anzuweisen, dass die Anwendung mit der identitätsspezifischen Geste gesteuert wird.
Computerimplementiertes Verfahren nach Anspruch 1, das ferner die Bestimmung, dass die Geste mit einem Remote-Gerät verknüpft ist, und die Weiterleitung der Geste an das Remote-Gerät umfasst.
Computerimplementiertes Verfahren nach Anspruch 1, wobei mindestens ein Teil der Interaktion Reflexionen von menschlichem Gewebe beinhaltet, bei denen sich eine Materialschicht zwischen dem radarbasierten Gestenerkennungssystem und dem menschlichen Gewebe befindet, wobei die Materialschicht aus Glas, Holz, Nylon, Baumwolle oder Wolle bestehen kann.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das radarbasierte Gestenerkennungssystem mit einem Computergerät verknüpft ist, das das Verfahren ausführt, das Radarfeld ein Radar-Nahfeld ist und die Interaktion innerhalb eines Bereichs von 1 mm bis hin zu 1,5 m vom Display des Computergeräts erfasst wird.
Computerimplementiertes Verfahren nach Anspruch 1, wobei die mit der Identität des Akteurs verknüpften Informationen eine physikalische Größe des Akteurs oder eine Größenordnung für die vom Akteur ausgeführten Gesten angeben und wobei die Bestimmung der Geste, die der Interaktion entspricht, auf der physikalischen Größe oder der Größenordnung für die Gesten basiert.
Radarbasiertes Gestenerkennungssystem, das Folgendes umfasst: ein Radarsignale emittierendes Element, das so konfiguriert ist, dass es ein Radarfeld erzeugt, wobei dieses Radarfeld so konfiguriert ist, dass es Stoffe oder andere Hindernisse durchdringt und von menschlichem Gewebe reflektiert wird; ein Antennenelement, das so konfiguriert ist, dass es Reflexionen von mehreren Zielen menschlichen Gewebes empfängt, die sich innerhalb des Radarfelds befinden; und einen Signalprozessor, der so konfiguriert ist, dass er die empfangenen Reflexionen von den mehreren Zielen menschlichen Gewebes innerhalb des Radarfelds ausreichend verarbeitet, um eines der mehreren Ziele menschlichen Gewebes von einem anderen der mehreren Ziele menschlichen Gewebes zu unterscheiden und so Gestendaten bereitzustellen, die zur Bestimmung einer Geste von einem der mehreren Ziele menschlichen Gewebes verwendet werden können.
Radarbasiertes Gestenerkennungssystem nach Anspruch 14, wobei die mehreren Ziele menschlichen Gewebes verschiedene Teile derselben Person sind.
Radarbasiertes Gestenerkennungssystem nach Anspruch 14, wobei die mehreren Ziele menschlichen Gewebes zu unterschiedlichen Personen gehören und die Unterscheidung eines der mehreren Ziele menschlichen Gewebes von einem anderen der mehreren Ziele menschlichen Gewebes eine effektive Möglichkeit ist, um Gestendaten für eine der verschiedenen Personen bereitzustellen.
Radarbasiertes Gestenerkennungssystem nach Anspruch 14, wobei das Radarfeld ca. 1 bis 10 m tief ist und das Antennenelement oder der Signalprozessor so konfiguriert ist, dass es oder er die empfangenen Reflexionen verarbeitet, um große Körpergesten basierend auf den Reflexionen von menschlichem Gewebe bereitzustellen, die durch Körper-, Arm- oder Beinbewegungen verursacht werden.
Radarbasiertes Gestenerkennungssystem nach Anspruch 14, wobei das Radarsignale emittierende Element das Radarfeld als dreidimensionales Volumen erzeugt, das Antennenelement die Reflexionen im dreidimensionalen Volumen empfangen kann und der Signalprozessor so konfiguriert ist, dass er die empfangenen Reflexionen im dreidimensionalen Volumen ausreichend verarbeiten kann, um Gestendaten bereitzustellen, die zur Bestimmung von Gesten in drei Dimensionen verwendet werden können.
Radarbasiertes Gestenerkennungssystem nach Anspruch 14, wobei das Radarsignale emittierende Element so konfiguriert ist, dass es Mikrowellenstrahlen innerhalb eines Bereichs von ca. 57 GHz bis ca. 63 GHz emittiert.
Vorrichtung, die Folgendes umfasst: ein radarbasiertes Gestenerkennungssystem, das Folgendes umfasst: ein Radarsignale emittierendes Element, das so konfiguriert ist, dass es ein Radarfeld erzeugt, wobei dieses Radarfeld so konfiguriert ist, dass es Stoffe oder andere Hindernisse durchdringt und von menschlichem Gewebe reflektiert wird; ein Antennenelement, das so konfiguriert ist, dass es Reflexionen von menschlichem Gewebe empfängt, das sich innerhalb des Radarfelds befindet; und einen Signalprozessor, der so konfiguriert ist, dass er die empfangenen Reflexionen vom menschlichen Gewebe verarbeitet, um mit den empfangenen Reflexionen verknüpfte Daten bereitzustellen; einen Computerprozessor oder mehrere Computerprozessoren; und ein computerlesbares Speichermedium oder mehrere computerlesbare Speichermedien mit darauf gespeicherten Anweisungen, die bei Ausführung durch den einen Computerprozessor und die mehreren Computerprozessoren Operationen ausführen, die Folgendes umfassen: das Anweisen des radarbasierten Gestenerkennungssystems, ein Radarfeld mithilfe des Radarsignale emittierenden Elements zu erzeugen; das Anweisen des radarbasierten Gestenerkennungssystems, mit dem Antennenelement erste Reflexionen für eine erste Interaktion im Radarfeld zu empfangen; das Anweisen des Signalprozessors zur Verarbeitung der empfangenen Reflexionen, um Daten für die erste Interaktion bereitzustellen; das Bestimmen basierend auf den bereitgestellten Daten für die erste Interaktion der Identität eines Akteurs, der die erste Interaktion verursacht hat; das Anweisen des radarbasierten Gestenerkennungssystems, mit dem Antennenelement zweite Reflexionen für eine zweite Interaktion im Radarfeld zu empfangen; das Anweisen des Signalprozessors zur Verarbeitung der zweiten empfangenen Reflexionen, um zweite Daten für die zweite Interaktion bereitzustellen; das Bestimmen basierend auf den bereitgestellten zweiten Daten für die zweite Interaktion und der Identität des Akteurs einer Geste, die der zweiten Interaktion entspricht; und das erfolgreiche Weiterleiten der bestimmte Geste an eine Anwendung oder ein Betriebssystem, um die Anwendung oder das Betriebssystem anzuweisen, einen Eingang zu empfangen, der der bestimmten Geste entspricht.