DE112016006547T5

DE112016006547T5 - Betreiben von Vorrichtungen des Internets der Dinge unter Verwendung eines LiDAR-Verfahrens und einer LiDAR-Vorrichtung

Info

Publication number: DE112016006547T5
Application number: DE112016006547.7T
Authority: DE
Inventors: Zhen Zhou; Ke Han; Valluri R. Rao; Jonathan Eng
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2016-03-04
Filing date: 2016-03-04
Publication date: 2018-11-22
Also published as: WO2017147892A1

Abstract

Es werden Techniken und Konfigurationen für eine Vorrichtung (100) zum Steuern von IoT-Vorrichtungen (110, 112, 114) bereitgestellt. In einem Fall kann eine Vorrichtung (100) einen LiDAR-Scanner (102) enthalten, der einen Laser (104) aufweist, um eine Umgebung (108) abzutasten (106), um Abtastdaten zu erhalten. Das Abtasten kann das Beleuchten eines Punkts der Umgebung (108) und das Messen eines Abstands bis zu diesem Punkt basierend auf einem Unterschied zwischen einem Zeitpunkt der Sendung eines Strahls, um den Punkt zu beleuchten, und einem Zeitpunkt des Empfangs eines durch den Punkt reflektierten Strahls enthalten. Die Vorrichtung (100) kann ferner einen Controller (130) enthalten, um die Abtastdaten zu sammeln und zu analysieren, eine Anwesenheit eines Anwenders (120, 122, 124) in der Umgebung (108) zu detektieren, eine durch den Anwender (120, 122, 124) bereitgestellte Geste zu detektieren und zu identifizieren und einen Befehl einer oder mehreren IoT-Vorrichtungen (110, 112, 114), die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der identifizierten Geste bereitzustellen.

Description

Gebiet
Die Ausführungsformen der vorliegenden Offenbarung beziehen sich auf das Gebiet der Vorrichtungssteuerung und spezieller auf das Steuern von Vorrichtungen des Internets der Dinge mit Gesten.
Hintergrund
Das aufkommende Konzept des Internets der Dinge (IoT) erlaubt, dass Objekte über die vorhandene Netzinfrastruktur abgetastet und ferngesteuert werden, wobei folglich Gelegenheiten für die direkte Integration zwischen der physischen Welt und den computerbasierten Systemen erzeugt werden, was zu einer erhöhten Effizienz, einer erhöhten Genauigkeit und einem erhöhten wirtschaftlichen Nutzen führt. Die vorhandenen IoT-Steuerlösungen des intelligenten Hauses können eine Sprachsteuerung, eine Fernsteuerung oder eine gestenbasierte Steuerung enthalten, sind aber nicht auf diese eingeschränkt.
Die obigen Optionen können jedoch wesentliche Mängel aufweisen. Die Sprachsteuerung kann z. B. durch eine geräuschvolle Umgebung, die z. B. irgendeine Art von Unterhaltung mit Ton, wie z. B. TV, ein Spiel oder Musik, einbezieht, ernsthaft beeinflusst werden. Die Fernsteuerung kann die Verwendung einer dedizierten Fernsteuerungsvorrichtung, wie z. B. eines Controllers oder eines Smartphones, einbeziehen. Die Gestensteuerung kann die Verwendung einer Kamera einbeziehen, um die Anwendergesten zu erfassen. Die Verwendung einer Kamera kann durch die Qualität des Umgebungslichts negativ beeinflusst werden und kann Bedenken bezüglich der Privatsphäre verursachen.
Figurenliste
Die Ausführungsformen werden durch die folgende ausführliche Beschreibung im Zusammenhang mit den beigefügten Zeichnungen leicht verstanden. Um diese Beschreibung zu fördern, bezeichnen gleiche Bezugszeichen gleiche Strukturelemente. Die Ausführungsformen sind in den Figuren der beigefügten Zeichnung beispielhaft und nicht einschränkend veranschaulicht.

1 ist ein Blockschaltplan, der eine beispielhafte Vorrichtung 100 zum Steuern von IoT-Vorrichtungen, die in die Lehren der vorliegenden Offenbarung aufgenommen ist, in Übereinstimmung mit einigen Ausführungsformen veranschaulicht.
2 ist eine graphische Darstellung, die einige Aspekte des Betriebs einer beispielhaften Vorrichtung zum Steuern von IoT-Vorrichtungen in Übereinstimmung mit einigen Ausführungsformen veranschaulicht.
3 ist ein Ablaufplan eines beispielhaften Prozesses zur Detektion eines Anwenders in einer Umgebung in Übereinstimmung mit einigen Ausführungsformen.
4 ist ein beispielhaftes Diagramm, das die Anwenderdetektion veranschaulicht, in Übereinstimmung mit einigen Ausführungsformen.
5 ist ein Ablaufplan eines beispielhaften Prozesses zur Anwenderauswahl unter einer Gruppe von Anwendungen in einer Umgebung in Übereinstimmung mit einigen Ausführungsformen.
6 ist ein Ablaufplan eines beispielhaften Prozesses zur Auswahl einer IoT-Vorrichtung unter einer Gruppe von IoT-Vorrichtungen in Übereinstimmung mit einigen Ausführungsformen.
7 ist eine graphische Darstellung, die einige Beispiele der Gestendetektion und -identifikation unter Verwendung einer beispielhaften Vorrichtung zum Steuern von IoT-Vorrichtungen in Übereinstimmung mit einigen Ausführungsformen veranschaulicht.
8 ist eine graphische Darstellung, die eine Radarbildausgabe einer beispielhaften Vorrichtung zum Steuern von IoT-Vorrichtungen in Reaktion auf eine Abtastung einer Umgebung, in der ein Anwender verschiedene Gesten ausführen kann, in Übereinstimmung mit einigen Ausführungsformen veranschaulicht.
9 ist ein Ablaufplan eines beispielhaften Prozesses zur Gestendetektion und -identifikation in Übereinstimmung mit einigen Ausführungsformen.
10 ist ein Ablaufplan eines beispielhaften Prozesses zum Hinzufügen eines Ortes einer neuen IoT-Vorrichtung zu einer Beschreibung von IoT-Vorrichtungen, die durch die Vorrichtung zum Steuern von IoT-Vorrichtungen betrieben wird, in Übereinstimmung mit einigen Ausführungsformen.

Ausführliche Beschreibung
Die Ausführungsformen der vorliegenden Offenbarung enthalten Techniken und Konfigurationen für ein Verfahren und eine Vorrichtung zum Steuern von IoT-Vorrichtungen. In einigen Ausführungsformen kann eine Vorrichtung wenigstens einen Scanner einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR) enthalten, die einen Laser aufweist, um eine Umgebung abzutasten, um Abtastdaten zu erhalten. Das Abtasten mit LiDAR kann das Beleuchten eines Punkts der Umgebung und das Messen eines Abstands bis zu dem beleuchteten Punkt basierend auf einem Unterschied zwischen einem Zeitpunkt der Sendung eines ersten Lichtstrahls, um den Punkt zu beleuchten, und einem Zeitpunkt des Empfangs eines von dem beleuchteten Punkt reflektierten zweiten Lichtstrahls enthalten. Die Vorrichtung kann ferner einen Controller enthalten, der mit dem wenigstens einen LiDAR-Scanner gekoppelt ist, um die Abtastdaten zu sammeln und zu analysieren, eine Anwesenheit eines Anwenders in der Umgebung zu detektieren, eine durch den Anwender bereitgestellte Geste zu detektieren und zu identifizieren und einer oder mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der identifizierten Geste einen Befehl bereitzustellen.
In der folgenden ausführlichen Beschreibung wird auf die beigefügten Zeichnungen Bezug genommen, die ein Teil von ihr bilden, wobei gleiche Bezugszeichen überall gleiche Teile bezeichnen, und in der die Ausführungsformen, in denen der Gegenstand der vorliegenden Offenbarung praktiziert werden kann, zur Veranschaulichung gezeigt sind. Es ist selbstverständlich, dass andere Ausführungsformen verwendet werden können und dass strukturelle oder logische Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Deshalb ist die folgende ausführliche Beschreibung nicht in einem einschränkenden Sinn auszulegen, wobei der Schutzumfang der Ausführungsformen durch die beigefügten Ansprüche und ihre Äquivalente definiert ist.
Für die Zwecke der vorliegenden Offenbarung bedeutet die Redewendung „A und/oder B“ (A), (B) oder (A und B). Für die Zwecke der vorliegenden Offenbarung bedeutet die Redewendung „A, B und/oder C“ (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C).
Die Beschreibung kann auf der Perspektive basierende Beschreibungen, wie z. B. oben/unten, herein/heraus, über/unter und dergleichen verwenden. Derartige Beschreibungen werden lediglich verwendet, um die Erörterung zu fordern und sind nicht vorgesehen, um die Anwendung der hier beschriebenen Ausführungsformen auf irgendeine spezielle Orientierung einzuschränken.
Die Beschreibung kann die Redewendungen „in einer Ausführungsform“ oder „in Ausführungsformen“ verwenden, die sich jede auf eine oder mehrere von derselben oder verschiedenen Ausführungsformen beziehen können. Weiterhin sind die Begriffe „umfassend“, „enthaltend“, „aufweisend“ und dergleichen, wie sie bezüglich der Ausführungsformen der vorliegenden Offenbarung verwendet werden, synonym.
Der Begriff „gekoppelt mit“ kann hier zusammen mit seinen Ableitungen verwendet werden. „Gekoppelt“ kann eines oder mehreres des Folgenden bedeuten. „Gekoppelt“ kann bedeuten, dass sich zwei oder mehr Elemente in direkten physischen, elektrischen oder optischen Kontakt befinden. „Gekoppelt“ kann jedoch außerdem bedeuten, dass sich zwei oder mehr Elemente indirekt miteinander in Kontakt befinden, aber trotzdem dennoch zusammenarbeiten oder miteinander wechselwirken, und kann bedeuten, dass ein oder mehrere andere Elemente zwischen die Elemente, die als miteinander gekoppelt bezeichnet werden, gekoppelt oder verbunden sind. Der Begriff „direkt gekoppelt“ kann bedeuten, dass sich zwei oder mehr Elemente in direkten oder indirekten Kontakt befinden.
1 ist ein Blockschaltplan, der eine beispielhafte Vorrichtung 100 zum Steuern von IoT-Vorrichtungen, die in die Lehren der vorliegenden Offenbarung aufgenommen ist, in Übereinstimmung mit einigen Ausführungsformen veranschaulicht. Die Vorrichtung 100 kann z. B. in einer Umgebung 108 angeordnet sein, die durch eine gestrichelte Linie angegeben ist. Die Umgebung 108 kann einen Teil einer Umgebung eines intelligenten Hauses umfassen und kann einen wenigstens teilweise eingeschlossenen dreidimensionalen (3D) Raum, wie z. B. einen Raum in einem Haus, einen Flur, einen Korridor, eine Küche oder irgendeine andere eingeschlossene Einrichtung, enthalten. Wie gezeigt ist, kann die Umgebung 108 einige, aber nicht notwendigerweise alle, der mehreren IoT-Vorrichtungen 110, 112, 114 enthalten. Es ist gezeigt, dass die beispielhafte Umgebung 108 die IoT-Vorrichtungen 110 und 112 enthält und die IoT-Vorrichtung 114 nicht enthält, die außerhalb der Umgebung 108, z. B. in einem benachbarten Raum oder außerhalb des Hauses, angeordnet sein kann. In einigen Ausführungsformen können sich alle IoT-Vorrichtungen 110, 112, 114 innerhalb oder außerhalb der Umgebung 108 befinden. Die IoT-Vorrichtungen 110, 112, 114 können konfiguriert sein, auf die durch die Gesten von einem oder mehreren Anwendern, die in der Umgebung 108 anwesend sind, wie z. B. den Anwendern 120, 122, 124, bereitgestellten Befehle zu reagieren. Eine Anzahl der IoT-Vorrichtungen innerhalb und außerhalb der Umgebung 108 und eine Anzahl der Anwender in der Umgebung 108 können variieren; die Vorrichtungen 110, 112, 114 und die Anwender 120, 122, 124 sind in 1 für die Leichtigkeit des Verständnisses gezeigt.
In den Ausführungsformen kann die Vorrichtung 100 wenigstens einen Scanner 102 einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR) enthalten, die einen Laser 104 aufweist, um eine Umgebung 108 abzutasten 106, um Abtastdaten zu erhalten. Der LiDAR-Scanner 102 kann z. B. einen Abstand bis zu einem Objekt (z. B. einem Punkt in einer Umgebung) durch das Beleuchten des Objekts mit dem Laser 104 und das Analysieren des reflektierten Lichts messen. Spezifischer kann der LiDAR-Scanner 102 einen Punkt der Umgebung 108 zu einem Zeitpunkt beleuchten und den Abstand bis zu dem beleuchteten Punkt basierend auf einem Unterschied zwischen einem Zeitpunkt der Sendung eines Lichtstrahls, um den Punkt zu beleuchten, und einem Zeitpunkt des Empfangs eines von dem beleuchteten Punkt reflektierten Lichtstrahls messen. In einigen Ausführungsformen kann die Vorrichtung 100 zwei oder mehr LiDAR-Scanner enthalten, was durch den LiDAR-Scanner 152 veranschaulicht ist, der in 1 in einer gestrichelten Linie gezeigt ist. In einigen Ausführungsformen kann der LiDAR-Scanner 102 (und/oder 152) die Umgebung 108 kontinuierlich abtasten und kann die Abtastdaten der Vorrichtung 100 in beinahe Echtzeit oder in Echtzeit bereitstellen.
Die Vorrichtung 100 kann ferner einen Controller 130 enthalten, der mit dem LiDAR-Scanner 102 gekoppelt ist und konfiguriert ist, die durch den LiDAR-Scanner 102 (und in einigen Ausführungsformen durch den LiDAR-Scanner 152) bereitgestellten Abtastdaten zu sammeln und zu analysieren.
Der Controller 130 kann einen Menschendetektionsblock 132 enthalten, der konfiguriert ist, die Anwesenheit eines Anwenders (oder von Anwendern) 120, 122, 124 in der Umgebung 108 basierend auf der Analyse der Abtastdaten zu detektieren.
Der Controller 130 kann ferner einen Gestendetektions- und -identifikationsblock 134 enthalten, der mit dem Menschendetektionsblock 132 gekoppelt ist und konfiguriert ist, einen Anwender unter den in der Umgebung anwesenden Anwendern 120, 122, 124 zu detektieren und zu identifizieren, der eine IoT-Vorrichtung auswählen und der ausgewählten IoT-Vorrichtung einen Befehl bereitstellen kann. Der Gestendetektions- und -identifikationsblock 134 kann ferner konfiguriert sein, eine durch den identifizierten Anwender (oder alle in der Umgebung 108 anwesenden Anwender) bereitgestellte Geste basierend auf der Analyse der Abtastdaten zu detektieren und zu identifizieren. Der Gestendetektions- und -identifikationsblock 134 kann ferner konfiguriert sein, die eine oder die mehreren IoT-Vorrichtungen (z. B. die IoT-Vorrichtung 110) aus mehreren IoT-Vorrichtungen 110, 112, 114, an die der Befehl gerichtet sein kann, basierend auf einer weiteren Analyse der Abtastdaten, z. B. basierend auf der identifizierten Anwendergeste, auszuwählen. Der Gestendetektions- und -identifikationsblock 134 kann ferner konfiguriert sein, einen der ausgewählten IoT-Vorrichtung bereitzustellenden Befehl, der der identifizierten Geste entsprechen kann, wenigstens teilweise basierend auf der identifizierten Geste zu bestimmen.
In einigen Ausführungsformen kann der Controller 130 konfiguriert sein, die durch den LiDAR-Scanner 102 und durch den LiDAR-Scanner 152 bereitgestellten Abtastdaten zu sammeln und zu analysieren. In derartigen Ausführungsformen kann der Controller 130 einen Verschmelzungslogikblock 148 enthalten, der in 1 in gestrichelten Linien gezeigt ist. Der Verschmelzungslogikblock 148 kann konfiguriert sein, die durch jeden der beiden (oder mehreren) LiDAR-Scanner bereitgestellten und in den Blöcken 132 und 134 analysierten Abtastdaten zu vergleichen und basierend auf einem Ergebnis des Vergleichs die Anwesenheit des Anwenders in der Umgebung zu detektieren und die durch den Anwender bereitgestellte Geste zu detektieren und zu identifizieren. Der Verschmelzungslogikblock kann z. B. bestimmen, dass die beiden LiDAR-Scanner die gleiche Anwenderposition und die gleiche Geste (innerhalb eines vorgegebenen Fehlerspielraums) gemeldet haben, und die Position und die Geste als eine Eingabe mit hohem Vertrauen annehmen. Falls die LiDAR-Scanner verschiedene Ergebnisse hinsichtlich der Anwenderposition und/oder -geste melden, kann der Verschmelzungslogikblock 148 ein Ergebnis, das höhere Genauigkeitseigenschaften aufweist, auswählen. Um zu identifizieren, welche Ergebnisse in diesem Fall ausgewählt werden sollten, kann der Verschmelzungslogikblock 148 den einen mit der besten Körperrichtung (die Linie von Schulter zu Schulter kann zu der Linie von dem LiDAR zu dem Körper senkrecht sein) auswählen.
In einigen Ausführungsformen kann der Controller 130 einen Prozessor 142 enthalten, der konfiguriert ist, die Blöcke 132, 134 zu betreiben. Der Controller 130 kann ferner einen Speicher 144 enthalten, der Anweisungen aufweist, die, wenn sie in dem Prozessor 142 ausgeführt werden, den Controller 130 veranlassen können, die oben bezüglich der Blöcke 132, 134 beschriebenen Operationen auszuführen. Der Prozessor 142 kann als mehrere Kerne aufweisend, z. B. als ein Mehrkern-Mikroprozessor, implementiert sein. Der Speicher 144 kann ein zeitlicher und/oder beständiger Speicher irgendeines Typs sein, einschließlich eines flüchtigen und eines nichtflüchtigen Speichers, eines optischen, magnetischen und/oder Halbleiter-Massenspeichers usw., ist aber nicht auf diese eingeschränkt. In einigen Ausführungsformen kann der Speicher 144 eine Bibliothek 151 von Gesten und den entsprechenden Befehlen, um die IoT-Vorrichtungen zu steuern, speichern, wie im Folgenden ausführlicher beschrieben wird. In einigen Ausführungsformen kann die Bibliothek 151 durch den Controller 130 zugänglich sein und kann an einem anderen Ort, z. B. in einer Cloud, angeordnet sein. In einigen Ausführungsformen kann der Speicher 144 eine Liste 154 der IoT-Vorrichtungen speichern, die konfiguriert sind, durch die Vorrichtung 100 gesteuert zu werden, wie im Folgenden ausführlicher beschrieben wird. In einigen Ausführungsformen kann die Liste 154 durch den Controller 130 zugänglich sein und kann an einem anderen Ort, z. B. in einer Cloud, angeordnet sein.
Der Controller 130 kann außerdem einen drahtlosen Kommunikationsblock 136 enthalten, der konfiguriert ist, mit den IoT-Vorrichtungen innerhalb oder außerhalb der Umgebung 108 zu kommunizieren. Der drahtlose Kommunikationsblock 136 kann z. B. einen Befehl, der der identifizierten Anwendergeste entspricht, der ausgewählten IoT-Vorrichtung (z. B. 110) bereitstellen. Der drahtlose Kommunikationsblock 136 kann ferner konfiguriert sein, die IoT-Vorrichtungen kontinuierlich oder periodisch abzufragen, um neue IoT-Vorrichtungen zu identifizieren, die zu der Liste 154 hinzugefügt werden können. Der drahtlose Kommunikationsblock 136 kann z. B. unter Verwendung drahtloser Kommunikationsprotokolle, wie z. B. WiFi oder Bluetooth®, gemäß drahtlosen Kommunikationsstandards, wie z. B. des offenen Internet-Konsortiums (OIC) oder Thread®, mit den IoT-Vorrichtungen kommunizieren. In anderen Ausführungsformen kann der drahtlose Kommunikationsblock 136 mit den IoT-Vorrichtungen unter Verwendung eines Zellenkommunikationsprotokolls wie der langfristigen Entwicklung (LTE) oder eines Vernetzungsprotokolls wie Ethernet kommunizieren.
Die Vorrichtung 100 kann andere Komponenten 146 enthalten, die für das Funktionieren der Vorrichtung 100 notwendig sind, die hier für die Leichtigkeit des Verständnisses nicht beschrieben sind. Die anderen Komponenten 146 können z. B. einen Sender/Empfänger enthalten, um die Abtastdaten und/oder die Ergebnisse der Analyse der Abtastdaten über ein oder mehrere verdrahtete oder drahtlose Netze mit irgendeiner anderen geeigneten Vorrichtung, wie z. B. einer (nicht gezeigten) externen Computervorrichtung, zu übertragen. Die anderen Komponenten 146 können ferner eine Anzeigevorrichtung enthalten, die konfiguriert ist, ein Bild der durch den LiDAR-Scanner 102 bereitgestellten Radarausgabe anzuzeigen.
Die Ausführungsformen einer beispielhaften Vorrichtung 100 und der in Beziehung stehenden Techniken für die Steuerung von IoT-Vorrichtungen, die hier beschrieben sind, stellen eine Anzahl von Vorteilen im Vergleich zu den bekannten Lösungen bereit. Es kann z. B. sein, dass ein Anwender keine tragbaren Elektronikvorrichtungen verwenden muss, um die IoT-Vorrichtungen zu steuern, wobei er frei sein kann, seine Hände sowohl für die Steuerung der IoT-Vorrichtung als auch für herkömmliche Zwecke zu verwenden.
Die beschriebenen Ausführungsformen stellen eine Indifferenz für die Umgebungsbedingungen, wie z. B. die Intensität des Umgebungslichts, den Umgebungsgeräuschpegel und dergleichen, bereit. Ein LiDAR-Scanner kann z. B. einen Abstand bis zu einem Zielpunkt in der Umgebung durch das Beleuchten des Ziels mit einem Laser und das Analysieren des reflektierten Lichts messen. Entsprechend ist ein LiDAR-Scanner mit seiner eigenen Lichtquelle, wie z. B. einem Laser, ausgerüstet und kann in irgendwelchen Umgebungsbedingungen, sogar in der Dunkelheit, arbeiten.
Die beschriebenen Ausführungsformen können irgendwelche Bedenken bezüglich der Leistungsverfügbarkeit verringern, die sich typischerweise hinsichtlich mobiler oder tragbarer Vorrichtungen ergeben können. Eine Vorrichtung zum Steuern von IoT-Vorrichtungen basierend auf einem hier beschriebenen LiDAR-Scanner kann z. B. als eine stationäre Vorrichtung implementiert sein, die von einer in der Umgebung (z. B. in einem Raum) verfügbaren Steckdose mit Energie versorgt werden kann.
Ferner können die beschriebenen Ausführungsformen die Bedenken bezüglich der Privatsphäre verringern, die den herkömmlichen Lösungen, die Kameras oder andere Bildaufnahmevorrichtungen verwenden, typischerweise zugeordnet sind.
2 ist eine graphische Darstellung, die einige Aspekte des Betriebs einer beispielhaften Vorrichtung zum Steuern von IoT-Vorrichtungen in Übereinstimmung mit einigen Ausführungsformen veranschaulicht. Für die Leichtigkeit des Verständnisses sind die gleichen Komponenten in den 1 und 2 durch gleiche Bezugszeichen angegeben. Ein Bild 200 nach 2 veranschaulicht eine beispielhafte Implementierung der Vorrichtung 100 in Betrieb, nämlich bei der Detektion einer Anwesenheit eines Anwenders 202 in einer Umgebung, wie z. B. einem Raum 204. Wie beschrieben ist, kann der LiDAR-Scanner 102 den Raum 204 kontinuierlich abtasten und die abgetasteten Daten zu dem Controller 130 der Vorrichtung 100 (die hier als ein Laptop-Computer gezeigt ist) schieben. Es kann irgendeine Art eines LiDAR-Scanners, der konfiguriert ist, eine horizontale Ebene abzutasten und Objekte zu detektieren, mit der Vorrichtung 100 verwendet werden. In dem in dem Bild 200 gezeigten Beispiel umfasst der LiDAR-Scanner einen RPLIDAR-A1M1, eine 360-Grad-2D-Laserscannerlösung von RoboPeak®, der die folgenden Parameter aufweist: zur gleichzeitigen Lokalisierung und Abbildung (SLAM) bereit; 5,5 Hz (2000 Abtastwerte/s); 6-Meter-Messbereich; 1-Grad-Winkelauflösung; 0,2-cm-Abstandsauflösung; und 360-Grad-Abtastung. Eine graphische Darstellung 220 veranschaulicht ein beispielhaftes Bild einer Radarausgabe des LiDAR-Scanners. Basierend auf dem Abtastergebnis durch den LiDAR-Scanner kann jedes Objekt im Raum als Punkte in einem Radarbild beschrieben werden. Ein Körper 206 des Anwenders 202 kann z. B. als eine Folge von Punkten in den Radarbildern, die ein Muster bilden, angegeben werden, wie durch das Wort „Körper“ in der graphischen Darstellung 220 angegeben ist.
Ein sich bewegendes Objekt (z. B. ein Anwender) kann als eine Folge (ein Muster) von Punkten beschrieben werden, deren Position sich zu verschiedenen Zeitpunkten in dem Radarbild ändern kann. Um einen Körper des Anwenders zu detektieren, kann sich die Vorrichtung 100 entsprechend auf die Bewegung des menschlichen Körpers stützen. Die Vorrichtung 100 (z. B. der Controller 130 nach 1) kann die Anordnung der Punkte in dem Bild analysieren, um verschiedene Muster zu identifizieren, die eine Position des Anwenders, die Richtung, in die der Anwender sieht, und einen Typ einer Geste, die der Anwender angeben kann, enthalten können.
Der Menschendetektionsblock 132 des Controllers 130 kann z. B. die durch den LiDAR-Scanner 102 bereitgestellten Abtastdaten analysieren und bestimmen, ob der Anwender 202 oder mehrere Anwender in dem Raum 204 anwesend sind. Der Menschendetektionsblock 132 kann den menschlichen Körper z. B. durch das Vergleichen von zwei aufeinanderfolgenden (oder zeitlich getrennt verteilten) Rahmen in den LiDAR-Daten detektieren. Die Daten von einem aktuellen Rahmen können z. B. mit den Daten von einem oder mehreren früheren Rahmen verglichen werden. Falls es z. B. mehr als vier Punkte gibt, die ein kontinuierliches Muster bilden, und sich die Punkte innerhalb 0,2 m bis 1,0 m von den jeweiligen Punkten in einem früheren Rahmen befinden können, kann es aufgelöst werden, dass ein menschlicher Körper detektiert worden ist. Unter Verwendung des in dem obigen Beispiel beschriebenen LiDAR-Scanners wurde die menschliche Position etwa 482 Rahmen verfolgt, wobei der Abruf (die Wahrscheinlichkeit, dass der Körper richtig detektiert wird, wenn sich der Mensch bewegt) etwa 94,3 % erreicht und die Genauigkeit (die Wahrscheinlichkeit, dass der Körper in allen detektierten Körpern richtig detektiert wird) 88,2 % erreicht.
3 ist ein Ablaufplan eines beispielhaften Prozesses zur Detektion eines Anwenders in einer Umgebung in Übereinstimmung mit einigen Ausführungsformen. Der Prozess 300 kann durch die Vorrichtung 100, spezifischer durch den Controller 130 (z. B. den Menschendetektionsblock 132 des Controllers 130) ausgeführt werden.
Der Prozess 300 kann im Block 302 beginnen und das Empfangen von Abtastdaten, die zwei oder mehr aufeinanderfolgende (z. B. zu verschiedenen Zeitpunkten aufgenommene) Rahmen mit den Bildern einer Umgebung enthalten, von einem LiDAR-Scanner (z. B. dem LiDAR-Scanner 102) enthalten. Wie oben erörtert worden ist, können die Bilder mehrere Punkte enthalten, die ein kontinuierliches Muster bilden. In einigen Ausführungsformen können die Bilder mehrere Teilmengen von Punkten enthalten, wobei jede Teilmenge ein kontinuierliches Muster bildet. Jedes kontinuierliche Muster kann einem sich in der Umgebung bewegenden Objekt entsprechen.
Im Block 304 kann der Prozess 300 das Vergleichen der in wenigstens zwei der zwei oder mehr aufeinanderfolgenden Rahmen enthaltenen Bilder enthalten. Spezifischer kann ein Rahmen zu einem aktuellen Zeitpunkt aufgenommen worden sein, während ein weiterer Rahmen zu einem der vorhergehenden Zeitpunkte aufgenommen worden sein kann.
Im Block 306 kann der Prozess 300 das Bestimmen der Unterschiede zwischen den Bildern enthalten. Die Unterschiede in den Abständen zwischen der Vorrichtung und den jeweiligen Punkten in den jeweiligen Mustern der beiden Rahmen, die zeitlich getrennt verteilt sind, können bestimmt werden. Es kann z. B. zwei Muster von Punkten in jedem Bild (Rahmen) geben. Es wird angenommen, dass es zwei Rahmen gibt, die zeitlich getrennt verteilt sind. Die Abstände von jedem Punkt in einem entsprechenden Muster bis zu der Vorrichtung können für einen ersten Rahmen und für einen zweiten Rahmen bestimmt werden. Dann können für jedes der beiden Muster die Unterschiede der jeweiligen Abstände zwischen den jeweiligen Punkten und der Vorrichtung bestimmt werden.
Im Block 308 kann der Prozess 300 das Identifizieren eines oder mehrerer sich bewegender Objekte basierend auf den bestimmten Unterschieden enthalten. Weitergehend mit dem vorhergehenden Beispiel können für jedes der beiden Muster die Unterschiede in den Abständen zwischen den jeweiligen Punkten bis zu der Vorrichtung bestimmt werden, so dass sie sich über einem Schwellenwert befinden oder in einen vorgegebenen Bereich fallen. Dann kann eine Folgerung gemacht werden, dass es in der Umgebung zwei sich bewegende Objekte gibt, z. B. zwei Anwender in dem Raum. Die Werte der Zeitpunkte der aufeinanderfolgenden Rahmen können z. B. etwa 180 ms sein. Der Schwellenwert oder die Frequenz des LiDAR-Scanners können von der Implementierung abhängen; in einem Fall kann sie z. B. 5,5 Hz betragen.
Im Block 310 kann der Prozess 300 das Überprüfen einer Größe der identifizierten Objekte und das Entfernen der Objekte, deren Größe nicht mit der erwarteten Körpergröße zusammenpasst (die z. B. als zu groß oder zu klein für eine durchschnittliche Körpergröße bestimmt werden), von der weiteren Berücksichtigung enthalten.
4 ist ein beispielhaftes Diagramm, das die Anwenderdetektion veranschaulicht, in Übereinstimmung mit einigen Ausführungsformen. Wie gezeigt ist, umfassen die quadratischen Punkte ein Körpermuster 402 in einem aktuellen Rahmen, während die runden Punkte ein Körpermuster 404 in einem der vorhergehenden Rahmen (z. B. fünf Rahmen vor dem aktuellen Rahmen) umfassen. Die dunklen Punkte (die die quadratischen Punkte in dem aktuellen Rahmen überlappen) geben basierend auf dem bezüglich 3 beschriebenen Prozess ein Muster 406 an, das einem detektierten Körper des Anwenders entspricht.
Zusammenfassend kann die Vorrichtung 100 mehrere sich bewegende Objekte in der Umgebung identifizieren, wobei jedes Objekt einem Anwender entsprechen kann. Die Vorrichtung 100 kann ferner einen Anwender unter den mehreren Anwendern identifizieren und auswählen, der einen Befehl (z. B. mit einer Geste) ausgeben kann, um eine IoT-Vorrichtung zu steuern. Um einen Anwender, um eine IoT-Vorrichtung zu steuern, unter mehreren Anwendern auszuwählen, kann die Vorrichtung 100 eine Bibliothek vorgegebener und gespeicherter Gesten verwenden. Die Vorrichtung 100 (z. B. der Gestendetektions- und -identifikationsblock 134 des Controllers 130) kann z. B. konfiguriert sein, eine vorgegebene Anfangssteuergeste zu erkennen, so dass ein Anwender, der eine derartige Geste erzeugt, als einer identifiziert werden kann, um eine IoT-Vorrichtung zu steuern. In einem weiteren Beispiel können mehrere Anwender Gesten erzeugen, um mehrere IoT-Vorrichtungen in der Umgebung zu steuern. In einem derartigen Beispiel können mehr als ein Anwender versuchen, dieselbe IoT-Vorrichtung zu steuern. Die Vorrichtung 100 kann konfiguriert sein, eine Konfliktauflösungslogik für derartige Fälle zu verwenden.
Falls z. B. zwei Anwender Gesten ausgeben, die widersprüchlichen Befehlen entsprechen, um eine IoT-Vorrichtung zu steuern (um z. B. in dem Raum die Wärme höher zu drehen und die Wärme herunter zu drehen), kann der Controller 130 den Konflikt unter Verwendung eines Satzes vorgegebener Regeln auflösen. Dem Wärmebeispiel folgend kann die Vorrichtung 100 bestimmen, dass die Zimmertemperatur so ist, dass es sein kann, dass die Wärme höher, nicht herunter gedreht werden muss, und mit dem entsprechenden Befehl fortfahren. Falls in einem weiteren Beispiel mehr als ein Anwender die gleiche Anfangssteuergeste ausgeben, kann die Vorrichtung 100 (z. B. zufällig oder basierend auf vorgegebenen Regeln) einen der Anwender auswählen, um die IoT-Vorrichtung zu steuern. Die Vorrichtung 100 kann z. B. die Anwender in einer speziellen, z. B. vorgegebenen Reihenfolge auswählen. Mit anderen Worten, wer auch immer der letzte Anwender ist, um einen Befehl auszugeben, um dieselbe IoT-Vorrichtung zu steuern, kann als ein Anwender festgelegt werden, um die Vorrichtung zu steuern.
5 ist ein Ablaufplan eines beispielhaften Prozesses zur Anwenderauswahl unter einer Gruppe von Anwendern in einer Umgebung in Übereinstimmung mit einigen Ausführungsformen. Der Prozess 500 kann durch die Vorrichtung 100, spezifischer durch den Controller 130 (z. B. den Gestendetektions- und -identifikationsblock 134 des Controllers 130) ausgeführt werden. Der Prozess 500 veranschaulicht nur ein Beispiel der Anwenderauswahl. Es können andere Auswahlszenarios implementiert sein, z. B. basierend auf der obigen Beschreibung.
Der Prozess 500 kann im Block 502 beginnen und kann das Detektieren von zwei oder mehr Gesten enthalten, die durch zwei Anwender der mehreren Anwender in der Umgebung ausgeführt werden. Es kann angenommen werden, dass die mehreren Anwender unter Verwendung des bezüglich 3 beschriebenen Prozesses identifiziert worden sind.
Im Block 504 kann der Prozess 500 das Vergleichen der Gesten mit den vorgegebenen „Anfangssteuergesten“ enthalten. Die vorgegebenen Anfangssteuergesten können in einem Speicher (z. B. im Speicher 144) gespeichert sein und können durch den Gestendetektions- und -identifikationsblock 134 zugänglich sein.
Im Entscheidungsblock 506 kann der Prozess das Bestimmen enthalten, ob beide Gesten Anfangssteuergesten sind.
Falls bestimmt wird, dass beide Gesten Anfangssteuergesten sind, kann im Block 508 ein Anwender, um eine IoT-Vorrichtung zu steuern, basierend auf einer Konfliktauflösungslogik (z. B. unter Verwendung eines vorgegebenen Satzes von Regeln) oder zufällig ausgewählt werden.
Falls nicht bestimmt wird, dass beide Gesten Anfangssteuergesten sind, kann im Entscheidungsblock 510 bestimmt werden, ob wenigstens eine der beiden Gesten eine Anfangssteuergeste sein kann.
Falls bestimmt wird, dass eine der Gesten eine Anfangssteuergeste ist, kann im Block 512 ein Anwender, der die Anfangssteuergeste ausgeführt hat, ausgewählt werden, um eine IoT-Vorrichtung zu steuern.
Falls bestimmt wird, dass keine der Gesten eine Anfangssteuergeste ist, kann im Block 514 eine Anwenderauswahl, um eine IoT-Vorrichtung zu steuern, aufgeschoben werden, bis eine weitere Bestimmung, z. B. basierend auf weiteren durch die Anwender ausgeführten Gesten, ausgeführt werden kann.
Wie oben angegeben worden ist, ist der beschriebene Prozess nur ein Beispiel der Anwenderauswahl unter einer Gruppe von Anwendern in einer Umgebung. Es können andere Szenarios in Betracht gezogen werden. Falls z. B. bezüglich des Blocks 510 keine Anfangssteuergeste durch die Vorrichtung 100 bestimmt wird, kann im Block 514 gefolgert werden, dass jeder in der Umgebung vorhandene Anwender die IoT-Vorrichtungen steuern kann. Entsprechend kann die Vorrichtung 100 nur auf alle von den anwesenden Anwendern bereitgestellten Befehle, z. B. in einer Weise „wer zuerst kommt, mahlt zuerst“, reagieren.
In einigen Ausführungsformen kann der Anwender eine IoT-Vorrichtung, die durch die Gesten des Anwenders zu steuern ist, aus mehreren IoT-Vorrichtungen, die in der Umgebung vorhanden sind oder anderweitig für die Steuerung durch Gesten verfügbar sind, auswählen. Eine Liste derartiger IoT-Vorrichtungen mit den entsprechenden Eigenschaften kann durch die Vorrichtung zum Steuern von IoT-Vorrichtungen, wie z. B. die Vorrichtung 100, gespeichert sein und zugänglich sein.
Die Auswahl der IoT-Vorrichtung kann in verschiedenen Weisen erreicht werden. Falls z. B. eine zu steuernde IoT-Vorrichtung in der Umgebung vorhanden ist, kann der Anwender sie ansehen, zu ihr hinübergehen und/oder eine identifizierende Geste ausführen, um eine zu steuernde IoT-Vorrichtung zu identifizieren.
In einem weiteren Beispiel kann eine Geste zur Auswahl einer IoT-Vorrichtung einer speziellen IoT-Vorrichtung zugeordnet sein, wobei die Bibliothek der Auswahlgesten und der entsprechenden IoT-Vorrichtungen durch den Controller 130 der Vorrichtung 100 gespeichert und zugänglich gemacht werden kann. In derartigen Fällen kann sich die IoT-Vorrichtung außerhalb der Umgebung befinden. Es wird angenommen, dass verursacht wird, dass die Vorrichtung 100 von allen IoT-Vorrichtungen innerhalb und außerhalb der Umgebung Kenntnis hat (die IoT-Vorrichtungen können z. B. bei der Vorrichtung 100 registriert sein). Ein Anwender kann in der Umgebung, in der sich die Vorrichtung 100 befindet, anwesend sein. Der Anwender kann eine Geste zur Auswahl einer IoT-Vorrichtung ausführen, um eine IoT-Vorrichtung außerhalb des Raums auszuwählen. Der Anwender kann z. B. wollen, die Außenleuchten in der Veranda seines Hauses auszuschalten, während er in seinem Wohnzimmer sitzt, wo sich die Vorrichtung 100 befinden kann. Der Anwender kann eine erste Geste ausführen, die die IoT-Vorrichtung auswählt, die eine Außenleuchte umfasst, wobei die Vorrichtung 100 die Geste zur Auswahl der IoT-Vorrichtung erkennen kann. Der Anwender kann dann eine weitere Geste ausführen, die einen Befehl angibt, um die Außenleuchte in der Veranda auszuschalten. Die Vorrichtung 100 kann den entsprechenden Befehl zu dem Schalter der Außenleuchte übertragen.
6 ist ein Ablaufplan eines beispielhaften Prozesses für die Auswahl einer IoT-Vorrichtung unter einer Gruppe von IoT-Vorrichtungen in Übereinstimmung mit einigen Ausführungsformen. Der Prozess 600 kann durch die Vorrichtung 100, spezifischer durch den Controller 130 (z. B. den Gestendetektions- und -erkennungsblock 134 des Controllers 130) ausgeführt werden. Der Prozess 600 veranschaulicht nur ein Beispiel der Auswahl einer IoT-Vorrichtung. Es können andere Auswahlszenarios, z. B. basierend auf der obigen Beschreibung, implementiert sein.
Der Prozess 600 kann im Block 602 beginnen und das Bestimmen eines Typs der durch den Anwender bereitgestellten Geste enthalten. Es kann angenommen werden, dass der Anwender, um ein IoT zu steuern, unter Verwendung des bezüglich 5 beschriebenen Prozesses ausgewählt worden sein kann. Wie oben beschrieben worden ist, kann eine Geste einer speziellen IoT-Vorrichtung zugeordnet sein, wobei sie verwendet werden kann, um diese IoT-Vorrichtung ungeachtet dessen, ob die IoT-Vorrichtung in der Umgebung vorhanden ist, auszuwählen. Der Anwender kann z. B. auf eine IoT-Vorrichtung zeigen, falls sie in der Umgebung vorhanden ist. In einem weiteren Beispiel kann der Anwender eine spezielle Geste ausführen (er kann z. B. eine bestimmte Anzahl von Fingern, z. B. zwei Finger, zeigen, die eine Zahl (z. B. die Zahl zwei) der auszuwählenden IoT-Vorrichtung angibt, die bei der Vorrichtung 100 registriert ist (z. B. in der Liste 154 gespeichert ist).
In einigen Ausführungsformen kann die Geste eine Position des Anwenders in Bezug auf die IoT-Vorrichtung umfassen, wenn die auszuwählende IoT-Vorrichtung in der Umgebung vorhanden ist. Falls z. B. bestimmt wird, dass der Anwender z. B. während eines Zeitraums über einem Schwellenwert die IoT-Vorrichtung ansieht und/oder neben der IoT-Vorrichtung steht, kann bestimmt werden, dass die IoT-Vorrichtung durch den Anwender für die Steuerung ausgewählt worden sein kann.
In einem weiteren Beispiel kann der Anwender zu der IoT-Vorrichtung hinübergehen und vor der auszuwählenden IoT-Vorrichtung stehen. Die Bewegung des Anwenders zu der IoT-Vorrichtung (z. B. die Richtung der Bewegung) kann detektiert werden (wie z. B. bezüglich 3 erörtert worden ist), wobei eine Folgerung gemacht werden kann, dass der Anwender beabsichtigt, die IoT-Vorrichtung auszuwählen. In dieser Hinsicht kann die Richtung der Bewegung des Anwenders ebenso als ein Typ einer Geste betrachtet werden.
Falls in einigen Ausführungsformen die IoT-Vorrichtung für die Steuerung gemäß der obigen Beschreibung bereits ausgewählt worden sein kann, kann die Geste einen Befehl angeben, um die ausgewählte IoT-Vorrichtung zu steuern, wobei sie z. B. unter Verwendung einer Bibliothek der Gesten identifiziert werden kann, wie oben beschrieben worden ist.
Im Block 604 kann die IoT-Vorrichtung unter mehreren IoT-Vorrichtungen für die Steuerung durch den Anwender gemäß den bezüglich des Blocks 602 beschriebenen Handlungen ausgewählt werden. In einigen Ausführungsformen kann die Vorrichtung 100 einen der identifizierten Geste entsprechenden Befehl an die ausgewählte IoT-Vorrichtung senden, wenn die IoT-Vorrichtung (z. B. gemäß den bezüglich des Blocks 602 beschriebenen Handlungen) bereits für die Steuerung ausgewählt worden sein kann.
Falls die ausgewählte IoT-Vorrichtung z. B. eine Klimaanlage ist, kann der Anwender einen Befehl an die Klimaanlage ausgeben, um das Ein-/Ausschalten, eine Temperaturerhöhung, eine Temperaturabsenkung oder dergleichen anzugeben. Der Anwender kann einen Befehl durch das Ausführen von Armgesten (z. B. beide Arme vorn, der linke Arm vorn, der rechte Arm vorn oder dergleichen) ausgeben. Die ausgeführte und identifizierte Geste kann mit einer Bibliothek der vorgegebenen Gesten und der entsprechenden Befehle, die durch die Vorrichtung 100 gespeichert und/oder zugänglich ist, verglichen werden, wobei ein der identifizierten Geste entsprechender Befehl der Klimaanlage bereitgestellt werden kann.
Wie oben erörtert worden ist, kann die Vorrichtung 100 konfiguriert sein, verschiedene Gesten (Gestentypen) zu detektieren und zu identifizieren, um einen Anwender auszuwählen, um eine IoT-Vorrichtung zu steuern, um eine durch den Anwender zu steuernde IoT-Vorrichtung auszuwählen und einen durch die identifizierte Geste angegebenen Befehl der ausgewählten IoT-Vorrichtung bereitzustellen. Die hier beschriebenen Ausführungsformen stellen einige beispielhafte Techniken zur Detektion und Identifikation von Anwendergesten bereit.
7 ist eine graphische Darstellung, die einige Beispiele der Gestendetektion und -identifikation unter Verwendung einer beispielhaften Vorrichtung zum Steuern von IoT-Vorrichtungen in Übereinstimmung mit einigen Ausführungsformen veranschaulicht. Für die Leichtigkeit des Verständnisses sind die gleichen Komponenten nach den 1, 2 und 7 mit den gleichen Bezugszeichen angegeben. Das Bild 702 veranschaulicht eine beispielhafte Implementierung der Vorrichtung 100 bei der Detektion und Identifikation der Hände 710 des Anwenders eines Anwenders 202 in der Umgebung, wie z. B. einem Raum 204. Das Bild 704 veranschaulicht eine beispielhafte Implementierung der Vorrichtung 100 bei der Detektion und Identifikation einer Armgeste 712 durch einen Anwender 202 in dem Raum 204. Das Bild 706 veranschaulicht eine beispielhafte Implementierung der Vorrichtung 100 bei der Detektion und Identifikation einer Handgeste 714 (z. B. einer Fingerkombination) durch einen Anwender 202 in dem Raum 204.
8 ist eine graphische Darstellung, die die Ausgabe eines Radarbildes einer beispielhaften Vorrichtung zum Steuern von IoT-Vorrichtungen in Reaktion auf eine Abtastung einer Umgebung, in der der Anwender verschiedene Gesten ausführen kann, in Übereinstimmung mit einigen Ausführungsformen veranschaulicht. Wie bezüglich 2 beschrieben worden ist, kann jedes Objekt in dem Raum basierend auf dem Ergebnis einer Abtastung durch einen LiDAR-Scanner als eine Folge von Punkten beschrieben werden, die ein Muster in einem Radarbild bilden. Die Bildausgabe 800 eines LiDAR-Scanners zeigt die Muster, die einer linken Hand, einer rechten Hand und einem Körper des Anwenders entsprechen, in Reaktion auf das Abtasten der Umgebung, wie in den Bildern 702 bzw. 704 gezeigt ist. Die Bildausgabe 802 eines LiDAR-Scanners zeigt Muster, die den Fingern einer Hand und einem Körper des Anwenders entsprechen, in Reaktion auf das Abtasten der Umgebung, wie im Bild 706 gezeigt ist. Die Gestendetektion und -identifikation basierend auf den Abtastergebnissen (z. B. den Bildausgaben 800, 802) in Reaktion auf die Ausführung verschiedener Typen von Gesten durch den Anwender werden im Folgenden ausführlich beschrieben.
Wenn die Arm- oder Handposition des Anwenders detektiert wird, wie in den 7-8 gezeigt ist, kann es wenigstens zwei Arten von Gesten geben, die durch den Arm/die Hand des Anwenders definiert sind: eine Handgeste oder eine Armgeste. Diese Arten von Gesten können verwendet werden, um eine IoT-Vorrichtung auszuwählen oder abzuwählen und sie zu steuern, wie oben erörtert worden ist. Wie oben angegeben worden ist, kann jede Art von Geste (z. B. Arm- oder Handgeste) verschiedene Typen von Gesten enthalten, wobei jeder Typ einem speziellen Befehl, um eine IoT-Vorrichtung zu steuern, oder einem Befehl, um einen Anwender oder eine IoT-Vorrichtung auszuwählen, entsprechen kann. Die Handgesten können z. B. Gesten mit einem Finger oder mit mehreren (z. B. zwei) Fingern enthalten.
Ein Abstand von dem Anwender bis zu einem LiDAR-Scanner, innerhalb dessen eine Geste mit einer gewünschten Genauigkeit detektiert und erkannt werden kann, kann von einer Auflösung des LiDAR-Scanners abhängen. Eine RoboPeak®-LiDAR-Vorrichtung kann z. B. imstande sein, Fingergesten innerhalb eines Bereichs von etwa einem Meter zu detektieren. Entsprechend können Handgesten (z. B. Fingerkombinationen) verwendet werden, z. B. wenn ein Anwender in einer kurzen Entfernung von dem LiDAR-Scanner (z. B. in einem Abstand unter einem Schwellenwert) positioniert ist, um eine gewünschte Detektions- und Identifikationsgenauigkeit zu erreichen. Der Anwender und die Vorrichtung zum Steuern von IoT-Vorrichtungen können sich z. B. in einem kleinen Raum, wie z. B. einer Küche eines Hauses, befinden. Entsprechend kann der Anwender Handgesten ausführen, so dass sie mit einer gewünschten Genauigkeit detektiert und identifiziert werden können.
Die Armgesten können verwendet werden, wenn der Anwender in einem langen Abstand von dem LiDAR-Scanner (z. B. in einem Abstand über einem Schwellenwert) positioniert ist, um eine gewünschte Detektions- und Identifikationsgenauigkeit zu erreichen. Der Anwender und die Vorrichtung zum Steuern von IoT-Vorrichtungen können sich z. B. in einem Raum eines Hauses, der größer als eine Küche ist, z. B. in einem Wohnzimmer befinden. Entsprechend kann der Anwender Armgesten ausführen, damit sie mit einer gewünschten Genauigkeit detektiert und identifiziert werden.
Es wird erkannt, dass eine Unterscheidung zwischen Nahbereichs- und Weitbereichsgesten nicht notwendig sein kann, wenn ein LiDAR-Scanner eine gewünschte (hohe) Auflösung aufweist, die z. B. die gewünschte Genauigkeit für jede Art oder jeden Typ einer Geste in irgendeinem Abstand innerhalb einer Umgebung, wie z. B. einem Raum eines Hauses, bereitstellen kann.
9 ist ein Ablaufplan eines beispielhaften Prozesses zur Gestendetektion und -identifikation in Übereinstimmung mit einigen Ausführungsformen. Der Prozess 900 kann durch die Vorrichtung 100, spezifischer durch den Controller 130 (z. B. den Gestendetektions- und -identifikationsblock 134 des Controllers 130) ausgeführt werden.
Der Prozess 900 kann im Block 901 beginnen und kann das Empfangen der Abtastdaten von einem oder mehreren LiDAR-Scannern enthalten, wie bezüglich 1 beschrieben worden ist. Falls die Abtastdaten durch mehrere, z. B. zwei LiDAR-Scanner, bereitgestellt werden, kann für die anschließenden Handlungen der Gestendetektion und -identifikation eine Verschmelzungslogik verwendet werden, wie bezüglich 1 beschrieben worden ist.
Im Block 902 kann der Prozess 900 das Detektieren einer durch den Anwender ausgeführten Geste enthalten. Es kann angenommen werden, dass der Anwenderkörper detektiert worden ist, wie bezüglich der 2-4 beschrieben worden ist. Eine Anzahl von Punkten, die ein Körpermuster bilden, kann z. B. innerhalb eines speziellen Abstands von dem LiDAR-Scanner detektiert werden, wie bezüglich der 2-4 beschrieben worden ist. Die Geste kann z. B. durch das Ermitteln detektiert werden, dass sich ein oder mehrere Objekte innerhalb eines Schwellenabstands von dem Körper des Anwenders befinden. Es kann z. B. angenommen werden, dass die linke und die rechte Hand des Anwenders innerhalb einer bestimmten Entfernung (z. B. etwa eines Meters) von dem Körper detektiert werden können (siehe z. B. 8, die Bildausgabe 800).
Im Block 904 kann der Prozess 900 das Erkennen der detektierten Geste als eine von einer Armgeste oder einer Handgeste enthalten. Wie oben erörtert worden ist, können die Armgesten innerhalb eines Abstands über einem Schwellenabstand detektiert werden, während die Handgesten innerhalb eines Abstands unterhalb eines Schwellenabstands detektiert werden können. Es kann z. B. bestimmt werden, dass sich der Anwender innerhalb des Schwellenabstands bis zu dem LiDAR-Scanner befindet. Entsprechend kann gefolgert werden, dass der Anwender eine Handgeste ausführen kann. Umgekehrt kann bestimmt werden, dass sich der Anwender nicht innerhalb des Schwellenabstands bis zu dem LiDAR-Scanner befindet. Entsprechend kann gefolgert werden, dass der Anwender eine Armgeste ausführen kann.
Es können zusätzliche Bestimmungen erforderlich sein, um eine Geste als eine Handgeste oder eine Armgeste zu erkennen. Ein Arm kann z. B. als ein Objekt mit einer bestimmten Größe, wie z. B. Dicke, z. B. innerhalb eines speziellen Dickenbereichs erkannt werden. Die Finger einer Hand können außerdem als Objekte mit einer bestimmten Größe (z. B. Dicke) innerhalb eines anderen Dickenbereichs erkannt werden. Verständlicherweise kann ein Armdickenbereich größer als ein Fingerdickenbereich sein. In einem weiteren Beispiel kann ein Objekt, wie z. B. ein Arm oder eine Hand, innerhalb eines bestimmten Abstands von dem detektierten Körper detektiert werden. Entsprechend kann die Geste wenigstens teilweise basierend auf einem oder mehreren des Folgenden als eine Handgeste oder eine Armgeste bestimmt werden: dem geschätzten Abstand von dem Körper des Anwenders bis zu dem LiDAR-Scanner, dem geschätzten Abstand zwischen dem Körper und dem detektierten Objekt (oder den detektierten Objekten) und/oder der geschätzten Größe (z. B. der geschätzten Dicke) des Objekts (oder der Objekte).
Der Arm kann aufgrund seiner Größe (z. B. Dicke, Länge oder dergleichen) leichter als ein Finger zu detektieren sein. Entsprechend wird der Arm auf dem LiDAR als ein größeres Objekt als ein Finger angezeigt (vergleiche z. B. die Bilder 800 und 802 nach 8). Ferner kann ein erwarteter Abstand zwischen zwei Armen größer als ein erwarteter Abstand zwischen den Fingern sein. Entsprechend können mit den gegenwärtig vorhandenen LiDAR-Scannern Armgesten leichter als Handgesten zu detektieren sein.
Im Block 906 kann der Prozess 900 das Identifizieren eines Gestentyps enthalten, der früher als eine Handgeste oder als eine Armgeste identifiziert worden ist. Eine Handgeste kann z. B. zwei Typen von Gesten enthalten: eine Einzelfingergeste oder eine Doppelfingergeste. Es wird erkannt, dass es verschiedene andere Typen von Handgesten geben kann, die identifiziert werden können, wie z. B. eine Dreifingergeste, eine Vierfingergeste oder eine Fünffingergeste (z. B. 706 in 7) in verschiedenen Kombinationen und dergleichen. Es können z. B. mehrere (z. B. zwei) Objekte als eine bestimmte Dicke (die dem erwarteten Fingerdickenbereich entspricht) aufweisend identifiziert werden, wobei sie ferner als sich innerhalb eines erwarteten Abstands voneinander (der dem erwarteten Abstand zwischen den Fingern entspricht) befindlich und als innerhalb eines erwarteten Abstands von dem Körper (wie bezüglich des Blocks 904 erörtert worden ist) befindlich identifiziert werden können. Entsprechend kann eine Bestimmung ausgeführt werden, dass die Geste eine Handgeste mit mehreren (z. B. zwei) Fingern ist.
Die Finger können z. B. als ein Objekt mit einer Dicke (einem Radius) identifiziert werden, die (der) kleiner als 5 cm sein kann. Ein Abstand zwischen den Fingern und dem Körper kann sich innerhalb eines Bereichs von 1 bis 100 cm befinden. Es kann erwartet werden, dass der Abstand zwischen den Fingern einer Hand kleiner als 10 cm ist. Die Objekte auf dem Radarschirm (z. B. 8), die nicht als Finger identifiziert werden, können aus der weiteren Betrachtung entfernt werden.
Eine Folge von Punkten in dem Bild kann z. B. als ein Radius (z. B. eine Dicke oder eine Breite) eines Fingers oder eines Arms bestimmt werden. Das Punktmuster eines Fingers kann eine Anzahl von Punkten enthalten, wobei die Länge dieses Punktmusters bestimmt werden kann. Vier Finger in dem Bild können z. B. als durch vier Linien von Punkten mit einem deutlichen Zwischenraum zwischen ihnen gebildet identifiziert werden.
Die Armgesten können verschiedene Gestentypen enthalten, z. B. den linken Arm vor einem Körper eines Anwenders, den rechten Arm vor dem Körper des Anwenders, beide Arme vor dem Körper des Anwenders oder dergleichen. Entsprechend kann die Armgestenidentifikation eine Bestimmung enthalten, ob ein Arm (oder Arme) sich innerhalb eines Schwellenabstands von einer Vorderseite eines Körpers des Anwenders befindet, wobei der Schwellenabstand einen Abstand von einer Vorderseite eines Körpers definieren kann, innerhalb dessen ein Arm zu detektieren ist. Falls ferner nur ein Arm detektiert worden ist, kann z. B. basierend auf einem erwarteten Abstand zwischen einem Arm und einer Seite des Körpers, die sich näher an dem Arm als die andere Seite befindet, bestimmt werden, ob der Arm ein linker Arm oder ein rechter Arm ist.
Im Block 908 kann der Prozess 900 das Bestimmen eines Befehls enthalten, der dem identifizierten Typ der einen der Armgeste oder der Handgeste entspricht. Eine derartige Bestimmung kann auf dem Zugreifen auf eine Bibliothek von Gesten und von entsprechenden Befehlen basieren, die im Voraus gespeichert worden und durch den Controller zugänglich sein kann. Ein linker Arm vor dem Körper des Anwenders (oder z. B. eine Einfinger-Handgeste) kann z. B. dem Erhöhen eines Temperaturschwellenwerts für eine Klimaanlage entsprechen, ein rechter Arm vor dem Körper des Anwenders (oder eine Zweifinger-Handgeste) kann dem Verringern eines Temperaturschwellenwerts für eine Klimaanlage entsprechen und beide Arme vor dem Körper des Anwenders (oder eine Fünffinger-Handgeste) können z. B. dem Ausschalten der Klimaanlage entsprechen. Es sollte angegeben werden, dass die beschriebenen Ausführungsformen Beispiele der Gesten und der entsprechenden Befehle repräsentieren und für diese Offenbarung nicht einschränkend sind. Es können verschiedene Arten von Gesten und entsprechenden Befehlen in Betracht gezogen werden, die mit den Ausführungsformen der vorliegenden Offenbarung implementiert werden können.
Wie bezüglich 6 kurz erörtert worden ist, kann eine IoT-Vorrichtung durch eine Anwendergeste und/oder -position ausgewählt werden. Der Anwender kann z. B. zu einer IoT-Vorrichtung sehen oder kann sich zu der IoT-Vorrichtung bewegen, wobei eine Folgerung gemacht werden kann, dass der Anwender beabsichtigt, die IoT-Vorrichtung auszuwählen. Wie oben beschrieben worden ist, kann die Beschreibung der IoT-Vorrichtung im Voraus gespeichert werden und kann für die Vorrichtung zum Steuern von IoT-Vorrichtungen (z. B. die Vorrichtung 100 nach 1) zugänglich gemacht werden.
In einigen Fällen kann eine neue IoT-Vorrichtung zu einer Liste von IoT-Vorrichtungen (z. B. 154), die durch die Vorrichtung 100 betrieben wird, hinzugefügt werden. Ein Anwender kann z. B. ein neues Haushaltsgerät kaufen und kann wünschen, das neue Haushaltsgerät zu einer Liste von IoT-Vorrichtungen hinzuzufügen, die durch die Vorrichtung zum Steuern von IoT-Vorrichtungen betrieben wird. Der Anwender kann das Haushaltsgerät in einer Anzahl verschiedener Weisen zu der Liste von IoT-Vorrichtungen hinzufügen. Der Anwender kann z. B. eine Anwendung (die z. B. in seinem Smartphone gespeichert ist) verwenden, die eine Fähigkeit aufweisen kann, die Beschreibung (die Eigenschaften usw.) der neuen IoT-Vorrichtung zu einer Liste von IoT-Vorrichtungen hinzuzufügen, die durch die Vorrichtung zum Steuern von IoT-Vorrichtungen betrieben wird. Es kann sein, dass die Vorrichtung zum Steuern von IoT-Vorrichtungen zusätzlich dazu, dass die Eigenschaften der Vorrichtung für sie verfügbar sind, Kenntnis eines Ortes der neuen IoT-Vorrichtung haben muss, um die Steuerung der Vorrichtung mit Anwendergesten zu erlauben.
10 ist ein Ablaufplan eines beispielhaften Prozesses zum Hinzufügen eines Ortes einer neuen IoT-Vorrichtung zu einer Beschreibung von IoT-Vorrichtungen, die durch die Vorrichtung zum Steuern von IoT-Vorrichtungen betrieben wird, in Übereinstimmung mit einigen Ausführungsformen. Es kann angenommen werden, dass die Beschreibung der neuen IoT-Vorrichtung (z. B. bezüglich 1 im Speicher 144 oder der Vorrichtungsliste 154, der bzw. die durch den Controller 130 der Vorrichtung 100 zugänglich ist) bereits gespeichert worden ist. Es kann ferner angenommen werden, dass sich die neue IoT-Vorrichtung in der Umgebung befindet, in der die Vorrichtung zum Steuern von IoT-Vorrichtungen angeordnet ist.
Der Prozess 1000 kann Block 1002 beginnen und das Empfangen von Abtastdaten von dem Abtasten der Umgebung durch die Vorrichtung zum Steuern von IoT-Vorrichtungen enthalten, wie bezüglich der 1-4 beschrieben worden ist.
Im Block 1004 kann der Prozess 1000 das Detektieren der Anwenderposition enthalten. Es kann z. B. detektiert werden, dass der Anwender in eine bestimmte Richtung sieht, in der ein neues Haushaltsgerät (eine neue IoT-Vorrichtung) angeordnet sein kann. Es kann ferner detektiert werden, dass der Anwender neben der IoT-Vorrichtung steht, deren Ort identifiziert werden muss. Eine Anwenderposition kann als ein ungefährer Ort der IoT-Vorrichtung behandelt werden.
Im Block 1006 kann der Prozess 1000 das Detektieren und Identifizieren einer Anwendergeste enthalten. Wie oben beschrieben worden ist, kann eine spezielle Geste eine IoT-Vorrichtung auswählen. Eine spezielle Geste kann z. B. eine spezielle IoT-Vorrichtung identifizieren, die sich in der Liste von Vorrichtungen befinden kann, die durch die Vorrichtung zum Steuern von IoT-Vorrichtungen zu betreiben ist. In einigen Ausführungsformen kann der Anwender eine Kombination aus dem Stehen in der Nähe der IoT-Vorrichtung (um den Vorrichtungsort zu identifizieren) und einer Geste, um die Vorrichtung zu identifizieren, ausführen. In einigen Ausführungsformen kann ein Anwender eine Anwendereingabe, z. B. über eine Anwendung (die z. B. in seinem Smartphone gespeichert ist) bereitstellen, die die IoT-Vorrichtung identifizieren kann, neben der der Anwender stehen kann. Der Anwender kann z. B. eine IoT-Vorrichtung aus einer Liste (Bibliothek) von IoT-Vorrichtungen auswählen, die durch die Vorrichtung zum Steuern von IoT-Vorrichtungen zugänglich ist.
Im Entscheidungsblock 1008 kann bestimmt werden, ob eine in den Blöcken 1004 und 1006 detektierte Position und/oder Geste eine IoT-Vorrichtung identifiziert haben kann. Falls die Geste und/oder die Position des Anwenders (und/oder die Anwendereingabe, wie oben beschrieben worden ist) keine IoT-Vorrichtung identifiziert, kann im Block 1010 die Vorrichtung zum Steuern von IoT-Vorrichtungen in einem normalen Modus arbeiten, z. B. einen Typ einer Geste und dergleichen identifizieren, wie früher beschrieben worden ist.
Falls die Geste und/oder die Position des Anwenders (und/oder die Anwendereingabe) eine IoT-Vorrichtung identifiziert, kann im Block 1012 der Ort der IoT-Vorrichtung gespeichert werden, z. B. zu der Beschreibung der IoT-Vorrichtungen hinzugefügt werden, die z. B. in einer Vorrichtungsliste gespeichert ist und durch die Vorrichtung zum Steuern von IoT-Vorrichtungen zugänglich ist.
Zurück in 1 können die verschiedenen im nicht transitorischen computerlesbaren Speicher 144 gespeicherten Anweisungen, die, wenn sie in dem Prozessor 142 ausgeführt werden, den Controller 130 veranlassen, die oben bezüglich der Blöcke 132, 134, 136 beschriebenen Operationen auszuführen, die Liste 154 von IoT-Vorrichtungen und/oder die Gesten, die erkannt werden können und ihre entsprechenden Befehle, zum Zeitpunkt der Herstellung im Voraus gespeichert werden oder im praktischen Einsatz in den Controller 130 heruntergeladen/eingegeben werden. Die Anweisungen, die Liste der IoT-Vorrichtungen und/oder die Gesten können über nicht transitorische computerlesbare Medien, wie z. B. eine Kompaktplatte (CD), oder transitorische computerlesbare Medien, wie z. B. Signale, verteilt werden.
Die folgenden Abschnitte beschreiben Beispiele der verschiedenen Ausführungsformen. Das Beispiel 1 kann eine Vorrichtung sein, die Folgendes umfasst: wenigstens einen Scanner einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR), der einen Laser aufweist, um eine Umgebung abzutasten, um Abtastdaten zu erhalten, wobei das Abtasten enthält, einen Punkt der Umgebung zu beleuchten und einen Abstand zu dem beleuchteten Punkt basierend auf einem Unterschied zwischen einem Zeitpunkt der Sendung eines ersten Lichtstrahls, um den Punkt zu beleuchten, und einem Zeitpunkt des Empfangs eines durch den beleuchteten Punkt reflektierten zweiten Lichtstrahls zu messen; und einen Controller, der mit dem wenigstens einen LiDAR-Scanner gekoppelt ist, um die Abtastdaten zu sammeln und um wenigstens teilweise basierend auf den Abtastdaten eine Anwesenheit eines Anwenders in der Umgebung zu detektieren, eine durch den Anwender bereitgestellte Geste zu detektieren und zu identifizieren und einen Befehl, der der identifizierten Geste entspricht, einer oder mehreren Vorrichtungen des Internets der Dinge (IoT), die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, bereitzustellen.
Das Beispiel 2 kann den Gegenstand des Beispiels 1 enthalten, wobei die Umgebung wenigstens einige der einen oder der mehreren IoT-Vorrichtungen enthält, wobei das Beleuchten eines Punkts der Umgebung das Beleuchten eines Punkts in der Umgebung zu einem Zeitpunkt enthält und wobei die Umgebung einen wenigstens teilweise eingeschlossenen dreidimensionalen (3D) Raum enthält.
Das Beispiel 3 kann den Gegenstand des Beispiels 1 enthalten, wobei der Controller einen drahtlosen Kommunikationsblock enthält, um den Befehl, der der identifizierten Geste entspricht, der einen oder den mehreren IoT-Vorrichtungen bereitzustellen.
Das Beispiel 4 kann den Gegenstand des Beispiels 1 enthalten, wobei der Controller dazu dient, die eine oder die mehreren IoT-Vorrichtungen aus mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der identifizierten Geste auszuwählen.
Das Beispiel 5 kann den Gegenstand des Beispiels 4 enthalten, wobei die mehreren IoT-Vorrichtungen wenigstens eines des Folgenden enthalten: eine Klimaanlage, eine Leuchte, einen Ventilator, einen Thermostat oder ein Haushaltsgerät.
Das Beispiel 6 kann den Gegenstand des Beispiels 1 enthalten, wobei der Controller, um eine Anwenderanwesenheit in der Umgebung zu detektieren, Folgendes enthält: einen Menschendetektionsblock, um ein oder mehrere sich bewegende Objekte in der Umgebung wenigstens teilweise basierend auf den Abtastdaten zu detektieren, wobei ein oder mehrere sich bewegende Objekte einen oder mehrere Anwender, die in der Umgebung anwesend sind, umfassen; und einen Gestendetektions- und -identifikationsblock, der mit dem Menschendetektionsblock gekoppelt ist, um wenigstens teilweise basierend auf den Abtastdaten: eine Geste, die einem des einen oder der mehreren sich bewegenden Objekte zugeordnet ist, zu detektieren; und eine Geste als eine von einer Armgeste oder einer Handgeste zu identifizieren.
Das Beispiel 7 kann den Gegenstand des Beispiels 6 enthalten, wobei die Abtastdaten zwei oder mehr aufeinanderfolgende Rahmen enthalten, die Bilder der Umgebung enthalten, die durch die Abtastdaten bereitgestellt werden, die den jeweiligen Zeitpunkten zugeordnet sind, die den aufeinanderfolgenden Rahmen entsprechen, wobei, damit der Menschendetektionsblock ein oder mehrere sich bewegende Objekte in der Umgebung detektiert, dies Folgendes enthält: Vergleichen der in wenigstens zwei der zwei oder mehr aufeinanderfolgenden Rahmen enthaltenen Bilder; Bestimmen der Unterschiede zwischen den Bildern; und Identifizieren des einen oder der mehreren Anwender basierend auf den bestimmten Unterschieden.
Das Beispiel 8 kann den Gegenstand des Beispiels 6 enthalten, wobei der Gestendetektions- und -identifikationsblock ferner: einen Typ der einen der Armgeste oder der Handgeste identifiziert und einen Befehl, der dem identifizierten Typ der einen der Armgeste oder der Handgeste entspricht, bestimmt, wobei die Identifikation und die Bestimmung wenigstens teilweise auf dem Vergleich der detektierten Geste mit wenigstens einigen von mehreren vorgegebenen Gesten, die in einer Gestenbibliothek gespeichert sind und durch den Controller zugänglich sind, basieren.
Das Beispiel 9 kann den Gegenstand des Beispiels 8 enthalten, wobei, damit der Gestendetektions- und -identifikationsblock einen Typ der einen der Armgeste oder der Handgeste identifiziert, dies Folgendes enthält: Detektieren eines oder mehrerer Objekte innerhalb eines Schwellenabstands von einem Körper des Anwenders; Schätzen der Größen jedes des einen oder der mehreren Objekte; Schätzen der Abstände zwischen dem einen oder den mehreren Objekten; Bestimmen, dass die geschätzten Abstände einen Schwellenabstand nicht übersteigen, der einen maximalen Abstand zwischen den Fingern einer Hand definiert; und Bestimmen, ob das eine oder die mehreren Objekte einem oder mehreren Fingern einer Hand des Anwenders entsprechen, wenigstens teilweise basierend auf den geschätzten Größen und den geschätzten Abständen.
Das Beispiel 10 kann den Gegenstand des Beispiels 8 enthalten, wobei der Gestendetektions- und -identifikationsblock dazu dient, einen Typ der einen der Armgeste oder der Handgeste als eine Anfangssteuergeste zu identifizieren, wobei die Anfangssteuergeste einen Anwender angibt, um die eine oder die mehreren IoT-Vorrichtungen zu steuern.
Das Beispiel 11 kann den Gegenstand des Beispiels 8 enthalten, wobei, damit der Gestendetektions- und -identifikationsblock einen Typ der einen der Armgeste oder der Handgeste identifiziert, dies Folgendes enthält: Detektieren eines Objekts innerhalb eines ersten Schwellenabstands von einer Vorderseite eines Körpers des Anwenders, wobei der erste Schwellenabstand einen Abstand von einer Vorderseite eines Körpers definiert, innerhalb dessen ein Arm detektiert werden soll; und Bestimmen eines Abstands zwischen dem Objekt und einer Seite des Körpers; Vergleichen des Abstands mit einem zweiten Schwellenabstand, wobei der zweite Schwellenabstand einen Abstand von einer Seite eines Körpers bis zu einem Arm des Körpers definiert; und Bestimmen, ob das Objekt einem Arm des Anwenders entspricht, basierend auf einem Ergebnis des Vergleichs.
Das Beispiel 12 kann den Gegenstand des Beispiels 1 enthalten, wobei der wenigstens eine LiDAR-Scanner zwei oder mehr LiDAR-Scanner umfasst, wobei der Controller eine Verschmelzungslogik enthält, um die durch die zwei oder mehr LiDAR-Scanner bereitgestellten Abtastdaten zu sammeln und zu analysieren, wobei die Verschmelzungslogik dazu dient, um: die durch jeden der zwei oder mehr LiDAR-Scanner bereitgestellten Abtastdaten zu vergleichen; und die Anwesenheit des Anwenders in der Umgebung zu detektieren und die durch den Anwender bereitgestellte Geste basierend auf einem Ergebnis des Vergleichs zu detektieren und zu identifizieren.
Das Beispiel 13 kann den Gegenstand eines der Beispiele 1 bis 12 enthalten, wobei der LiDAR-Scanner dazu dient, die Umgebung im Wesentlichen kontinuierlich abzutasten und die Abtastdaten in beinahe Echtzeit oder in Echtzeit zu sammeln.
Das Beispiel 14 kann ein Verfahren zum Steuern von Vorrichtungen des Internets der Dinge (IoT) sein, das Folgendes umfasst: Sammeln durch einen Controller einer Vorrichtung zum Steuern von IoT-Vorrichtungen erster Abtastdaten einer Umgebung von einem ersten Scanner einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR) und zweiter Abtastdaten der Umgebung von einem zweiten LiDAR-Scanner; Detektieren durch den Controller einer Anwesenheit eines Anwenders in der Umgebung wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten; und Detektieren und Identifizieren durch den Controller einer durch den Anwender bereitgestellten Geste wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten, um eine oder mehrere IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, mit einem Befehl, der der identifizierten Geste entspricht, zu steuern.
Das Beispiel 15 kann den Gegenstand des Beispiels 14 enthalten, wobei es ferner Folgendes umfasst: Empfangen durch den Controller der ersten und der zweiten Abtastdaten der Umgebung in Echtzeit oder in beinahe Echtzeit.
Das Beispiel 16 kann den Gegenstand des Beispiels 15 enthalten, wobei die ersten oder die zweiten Abtastdaten zwei oder mehr aufeinanderfolgende Rahmen enthalten, die Bilder der Umgebung enthalten, die jeweiligen Zeitpunkten zugeordnet sind, die den aufeinanderfolgenden Rahmen entsprechen, wobei das Detektieren einer Anwesenheit eines Anwenders Folgendes enthält: Vergleichen durch den Controller der in den zwei oder mehr aufeinanderfolgenden Rahmen enthaltenen Bilder; und Bestimmen durch den Controller der Unterschiede zwischen den Bildern, um ein oder mehrere sich bewegende Objekte in der Umgebung zu identifizieren, wobei wenigstens eines des einen oder der mehreren sich bewegenden Objekte einem Anwender entspricht, der in der Umgebung anwesend ist.
Das Beispiel 17 kann den Gegenstand des Beispiels 16 enthalten, wobei es ferner Folgendes umfasst: Identifizieren durch den Controller eines Objekts innerhalb eines Schwellenabstands von einem Körper des Anwenders, Identifizieren durch den Controller eines Typs des Objekts; und Detektieren durch den Controller einer durch das Objekt angegebenen Geste, wobei das Detektieren und Identifizieren einer durch den Anwender bereitgestellten Geste wenigstens teilweise auf dem Detektieren der durch das Objekt angegebenen Geste basiert.
Das Beispiel 18 kann den Gegenstand des Beispiels 17 enthalten, wobei es ferner Folgendes umfasst: Bestimmen durch den Controller eines Befehls, der dem identifizierten Typ der Geste entspricht.
Das Beispiel 19 kann den Gegenstand des Beispiels 18 enthalten, wobei es ferner Folgendes umfasst: Senden durch den Controller des Befehls an die eine oder die mehreren IoT-Vorrichtungen.
Das Beispiel 20 kann den Gegenstand des Beispiels 17 enthalten, wobei es ferner Folgendes umfasst: Auswählen durch den Controller der einen oder der mehreren IoT-Vorrichtungen aus mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der detektierten und identifizierten Geste.
Das Beispiel 21 kann ein oder mehrere nicht transitorische computerlesbare Medien umfassen, die darin gespeicherte Anweisungen aufweisen, die in Reaktion auf die Ausführung in einem Controller einer Vorrichtung zum Steuern von IoT-Vorrichtungen den Controller veranlassen: erste Abtastdaten einer Umgebung von einem ersten Scanner einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR) und zweite Abtastdaten der Umgebung von einem zweiten LiDAR-Scanner zu sammeln; eine Anwesenheit eines Anwenders in der Umgebung wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten zu detektieren; und eine durch den Anwender bereitgestellte Geste wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten zu detektieren und zu identifizieren, um eine oder mehrere IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, mit einem Befehl, der der identifizierten Geste entspricht, zu steuern.
Das Beispiel 22 kann das eine oder die mehreren nicht transitorischen computerlesbaren Medien des Beispiels 21 sein, wobei die Anweisungen den Controller ferner veranlassen, die ersten und die zweiten Abtastdaten der Umgebung in Echtzeit oder in beinahe Echtzeit zu empfangen.
Das Beispiel 23 kann das eine oder die mehreren nicht transitorischen computerlesbaren Medien des Beispiels 21 sein, wobei die Anweisungen den Controller ferner veranlassen, die eine oder die mehreren IoT-Vorrichtungen aus mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der detektierten und identifizierten Geste auszuwählen.
Das Beispiel 24 kann das eine oder die mehreren nicht transitorischen computerlesbaren Medien eines der Beispiele 21 bis 23 sein, wobei die Anweisungen den Controller ferner veranlassen, einen Befehl, der dem identifizierten Typ der Geste entspricht, zu identifizieren und den Befehl an die eine oder die mehreren IoT-Vorrichtungen zu senden.
Das Beispiel 25 kann eine Vorrichtung zum Steuern von Vorrichtungen des Internets der Dinge (IoT) sein, die Folgendes umfasst: Mittel zum Sammeln erster Abtastdaten einer Umgebung von einem ersten Scanner einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR) und zweiter Abtastdaten der Umgebung von einem zweiten LiDAR-Scanner; Mittel zum Detektieren einer Anwesenheit eines Anwenders in der Umgebung wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten; und Mittel zum Detektieren und Identifizieren einer durch den Anwender bereitgestellten Geste wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten, um die eine oder die mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, mit einem Befehl, der der identifizierten Geste entspricht, zu steuern.
Das Beispiel 26 kann den Gegenstand des Beispiels 25 enthalten, wobei es ferner Folgendes umfasst: Mittel zum Empfangen der ersten und der zweiten Abtastdaten der Umgebung in Echtzeit oder in beinahe Echtzeit.
Das Beispiel 27 kann den Gegenstand des Beispiels 26 enthalten, wobei die ersten oder die zweiten Abtastdaten zwei oder mehr aufeinanderfolgende Rahmen enthalten, die Bilder der Umgebung enthalten, die jeweiligen Zeitpunkten zugeordnet sind, die den aufeinanderfolgenden Rahmen entsprechen, wobei die Mittel zum Detektieren einer Anwesenheit eines Anwenders Folgendes enthalten: Mittel zum Vergleichen der in den zwei oder mehr aufeinanderfolgenden Rahmen enthaltenen Bilder; und Mittel zum Bestimmen der Unterschiede zwischen den Bildern, um ein oder mehrere sich bewegende Objekte in der Umgebung zu identifizieren, wobei wenigstens eines des einen oder der mehreren sich bewegenden Objekte einem Anwender entspricht, der in der Umgebung anwesend ist.
Das Beispiel 28 kann den Gegenstand des Beispiels 27 enthalten, wobei es ferner Folgendes umfasst: Mittel zum Identifizieren eines Objekts innerhalb eines Schwellenabstands von einem Körper des Anwenders, Mittel zum Identifizieren eines Typs des Objekts; und Mittel zum Detektieren einer durch das Objekt angegebenen Geste, wobei das Detektieren und Identifizieren einer durch den Anwender bereitgestellten Geste wenigstens teilweise auf dem Detektieren der durch das Objekt angegebenen Geste basiert.
Das Beispiel 29 kann den Gegenstand des Beispiels 28 enthalten, wobei es ferner Folgendes umfasst: Mittel zum Bestimmen eines Befehls, der dem identifizierten Typ der Geste entspricht.
Das Beispiel 30 kann den Gegenstand des Beispiels 29 enthalten, wobei es ferner Folgendes umfasst: Mittel zum Senden des Befehls an die eine oder die mehreren IoT-Vorrichtungen.
Das Beispiel 31 kann den Gegenstand des Beispiels 28 enthalten, wobei es ferner Folgendes umfasst: Mittel zum Auswählen der einen oder der mehreren IoT-Vorrichtungen aus mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der detektierten und identifizierten Geste.
Verschiedene Operationen werden als mehrere diskrete Operationen der Reihe nach in einer Weise beschrieben, die beim Verstehen des beanspruchten Gegenstands am hilfreichsten ist. Die Reihenfolge der Beschreibung sollte jedoch nicht so ausgelegt werden, dass sie bedeutet, dass diese Operationen notwendigerweise von der Reihenfolge abhängig sind. Die Ausführungsformen der vorliegenden Offenbarung können in einem System unter Verwendung irgendwelcher geeigneter Hardware und/oder Software, die auf Wunsch zu konfigurieren ist, implementiert sein.
Obwohl bestimmte Ausführungsformen hier für Beschreibungszwecke veranschaulicht und beschrieben worden sind, können die gezeigten und beschriebenen Ausführungsformen durch eine umfassende Vielfalt alternativer und/oder äquivalenter Ausführungsformen oder Implementierungen, die berechnet sind, um die gleichen Zwecke zu erreichen, ersetzt werden, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Diese Anmeldung ist vorgesehen, irgendwelche Anpassungen oder Variationen der hier erörterten Ausführungsformen abzudecken. Deshalb ist offenkundig vorgesehen, dass die hier beschriebenen Ausführungsformen nur durch die Ansprüche und deren Äquivalente eingeschränkt sind.

Claims

Vorrichtung, die Folgendes umfasst: wenigstens einen Scanner einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR), der einen Laser aufweist, um eine Umgebung abzutasten, um Abtastdaten zu erhalten, wobei das Abtasten enthält, einen Punkt der Umgebung zu beleuchten und einen Abstand zu dem beleuchteten Punkt basierend auf einem Unterschied zwischen einem Zeitpunkt der Sendung eines ersten Lichtstrahls, um den Punkt zu beleuchten, und einem Zeitpunkt des Empfangs eines durch den beleuchteten Punkt reflektierten zweiten Lichtstrahls zu messen; und einen Controller, der mit dem wenigstens einen LiDAR-Scanner gekoppelt ist, um die Abtastdaten zu sammeln und um wenigstens teilweise basierend auf den Abtastdaten eine Anwesenheit eines Anwenders in der Umgebung zu detektieren, eine durch den Anwender bereitgestellte Geste zu detektieren und zu identifizieren und einen Befehl, der der identifizierten Geste entspricht, einer oder mehreren Vorrichtungen des Internets der Dinge (IoT), die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, bereitzustellen.
Vorrichtung nach Anspruch 1, wobei die Umgebung wenigstens einige der einen oder der mehreren IoT-Vorrichtungen enthält, wobei das Beleuchten eines Punkts der Umgebung das Beleuchten eines Punkts in der Umgebung zu einem Zeitpunkt enthält und wobei die Umgebung einen wenigstens teilweise eingeschlossenen dreidimensionalen (3D) Raum enthält.
Vorrichtung nach Anspruch 1, wobei der Controller einen drahtlosen Kommunikationsblock enthält, um den Befehl, der der identifizierten Geste entspricht, der einen oder den mehreren IoT-Vorrichtungen bereitzustellen.
Vorrichtung nach Anspruch 1, wobei der Controller dazu dient, die eine oder die mehreren IoT-Vorrichtungen aus mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der identifizierten Geste auszuwählen.
Vorrichtung nach Anspruch 4, wobei die mehreren IoT-Vorrichtungen wenigstens eines des Folgenden enthalten: eine Klimaanlage, eine Leuchte, einen Ventilator, einen Thermostat oder ein Haushaltsgerät.
Vorrichtung nach Anspruch 1, wobei der Controller, um eine Anwenderanwesenheit in der Umgebung zu detektieren, Folgendes enthält: einen Menschendetektionsblock, um ein oder mehrere sich bewegende Objekte in der Umgebung wenigstens teilweise basierend auf den Abtastdaten zu detektieren, wobei ein oder mehrere sich bewegende Objekte einen oder mehrere Anwender, die in der Umgebung anwesend sind, umfassen; und einen Gestendetektions- und -identifikationsblock, der mit dem Menschendetektionsblock gekoppelt ist, um wenigstens teilweise basierend auf den Abtastdaten: eine Geste, die einem oder mehreren der sich bewegenden Objekte zugeordnet ist, zu detektieren; und eine Geste als eine von einer Armgeste oder einer Handgeste zu identifizieren.
Vorrichtung nach Anspruch 6, wobei die Abtastdaten zwei oder mehr aufeinanderfolgende Rahmen enthalten, die Bilder der Umgebung enthalten, die durch die Abtastdaten bereitgestellt werden, die den jeweiligen Zeitpunkten zugeordnet sind, die den aufeinanderfolgenden Rahmen entsprechen, wobei, damit der Menschendetektionsblock ein oder mehrere sich bewegende Objekte in der Umgebung detektiert, dies Folgendes enthält: Vergleichen der in wenigstens zwei der zwei oder mehr aufeinanderfolgenden Rahmen enthaltenen Bilder; Bestimmen der Unterschiede zwischen den Bildern; und Identifizieren des einen oder der mehreren Anwender basierend auf den bestimmten Unterschieden.
Vorrichtung nach Anspruch 6, wobei der Gestendetektions- und -identifikationsblock ferner: einen Typ der einen der Armgeste oder der Handgeste identifiziert und einen Befehl, der dem identifizierten Typ der einen der Armgeste oder der Handgeste entspricht, bestimmt, wobei die Identifikation und die Bestimmung wenigstens teilweise auf dem Vergleich der detektierten Geste mit wenigstens einigen von mehreren vorgegebenen Gesten, die in einer Gestenbibliothek gespeichert sind und durch den Controller zugänglich sind, basieren.
Vorrichtung nach Anspruch 8, wobei, damit der Gestendetektions- und -identifikationsblock einen Typ der einen der Armgeste oder der Handgeste identifiziert, dies Folgendes enthält: Detektieren eines oder mehrerer Objekte innerhalb eines Schwellenabstands von einem Körper des Anwenders; Schätzen der Größen jedes des einen oder der mehreren Objekte; Schätzen der Abstände zwischen dem einen oder den mehreren Objekten; Bestimmen, dass die geschätzten Abstände einen Schwellenabstand nicht übersteigen, der einen maximalen Abstand zwischen den Fingern einer Hand definiert; und Bestimmen, ob das eine oder die mehreren Objekte einem oder mehreren Fingern einer Hand des Anwenders entsprechen, wenigstens teilweise basierend auf den geschätzten Größen und den geschätzten Abständen.
Vorrichtung nach Anspruch 8, wobei der Gestendetektions- und -identifikationsblock dazu dient, einen Typ der einen der Armgeste oder der Handgeste als eine Anfangssteuergeste zu identifizieren, wobei die Anfangssteuergeste einen Anwender angibt, um die eine oder die mehreren IoT-Vorrichtungen zu steuern.
Vorrichtung nach Anspruch 8, wobei, damit der Gestendetektions- und -identifikationsblock einen Typ der einen der Armgeste oder der Handgeste identifiziert, dies Folgendes enthält: Detektieren eines Objekts innerhalb eines ersten Schwellenabstands von einer Vorderseite eines Körpers des Anwenders, wobei der erste Schwellenabstand einen Abstand von einer Vorderseite eines Körpers definiert, innerhalb dessen ein Arm detektiert werden soll; und Bestimmen eines Abstands zwischen dem Objekt und einer Seite des Körpers; Vergleichen des Abstands mit einem zweiten Schwellenabstand, wobei der zweite Schwellenabstand einen Abstand von einer Seite eines Körpers bis zu einem Arm des Körpers definiert; und Bestimmen, ob das Objekt einem Arm des Anwenders entspricht, basierend auf einem Ergebnis des Vergleichs.
Vorrichtung nach Anspruch 1, wobei der wenigstens eine LiDAR-Scanner zwei oder mehr LiDAR-Scanner umfasst, wobei der Controller eine Verschmelzungslogik enthält, um die durch die zwei oder mehr LiDAR-Scanner bereitgestellten Abtastdaten zu sammeln und zu analysieren, wobei die Verschmelzungslogik dazu dient, um: die durch jeden der zwei oder mehr LiDAR-Scanner bereitgestellten Abtastdaten zu vergleichen; und die Anwesenheit des Anwenders in der Umgebung zu detektieren und die durch den Anwender bereitgestellte Geste basierend auf einem Ergebnis des Vergleichs zu detektieren und zu identifizieren.
Vorrichtung nach einem der Ansprüche 1 bis 12, wobei der LiDAR-Scanner dazu dient, die Umgebung im Wesentlichen kontinuierlich abzutasten und die Abtastdaten in beinahe Echtzeit oder in Echtzeit zu sammeln.
Verfahren zum Steuern von Vorrichtungen des Internets der Dinge (IoT), das Folgendes umfasst: Sammeln durch einen Controller einer Vorrichtung zum Steuern von IoT-Vorrichtungen erster Abtastdaten einer Umgebung von einem ersten Scanner einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR) und zweiter Abtastdaten der Umgebung von einem zweiten LiDAR-Scanner; Detektieren durch den Controller einer Anwesenheit eines Anwenders in der Umgebung wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten; und Detektieren und Identifizieren durch den Controller einer durch den Anwender bereitgestellten Geste wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten, um die eine oder die mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, mit einem Befehl, der der identifizierten Geste entspricht, zu steuern.
Verfahren nach Anspruch 14, das ferner Folgendes umfasst: Empfangen durch den Controller der ersten und der zweiten Abtastdaten der Umgebung in Echtzeit oder in beinahe Echtzeit.
Verfahren nach Anspruch 15, wobei die ersten oder die zweiten Abtastdaten zwei oder mehr aufeinanderfolgende Rahmen enthalten, die Bilder der Umgebung enthalten, die jeweiligen Zeitpunkten zugeordnet sind, die den aufeinanderfolgenden Rahmen entsprechen, wobei das Detektieren einer Anwesenheit eines Anwenders Folgendes enthält: Vergleichen durch den Controller der in den zwei oder mehr aufeinanderfolgenden Rahmen enthaltenen Bilder; und Bestimmen durch den Controller der Unterschiede zwischen den Bildern, um ein oder mehrere sich bewegende Objekte in der Umgebung zu identifizieren, wobei wenigstens eines des einen oder der mehreren sich bewegenden Objekte einem Anwender entspricht, der in der Umgebung anwesend ist.
Verfahren nach Anspruch 16, das ferner Folgendes umfasst: Identifizieren durch den Controller eines Objekts innerhalb eines Schwellenabstands von einem Körper des Anwenders, Identifizieren durch den Controller eines Typs des Objekts; und Detektieren durch den Controller einer durch das Objekt angegebenen Geste, wobei das Detektieren und Identifizieren einer durch den Anwender bereitgestellten Geste wenigstens teilweise auf dem Detektieren der durch das Objekt angegebenen Geste basiert.
Verfahren nach Anspruch 17, das ferner Folgendes umfasst: Bestimmen durch den Controller eines Befehls, der dem identifizierten Typ der Geste entspricht.
Verfahren nach Anspruch 18, das ferner Folgendes umfasst: Senden durch den Controller des Befehls an die eine oder die mehreren IoT-Vorrichtungen.
Verfahren nach Anspruch 17, das ferner Folgendes umfasst: Auswählen durch den Controller der einen oder der mehreren IoT-Vorrichtungen aus mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der detektierten und identifizierten Geste.
Ein oder mehrere nicht transitorische computerlesbare Medien, die darin gespeicherte Anweisungen aufweisen, die in Reaktion auf die Ausführung in einem Controller einer Vorrichtung zum Steuern von IoT-Vorrichtungen den Controller veranlassen: erste Abtastdaten einer Umgebung von einem ersten Scanner einer Lichtdetektions- und Entfernungsmessungsvorrichtung (LiDAR) und zweite Abtastdaten der Umgebung von einem zweiten LiDAR-Scanner zu sammeln; eine Anwesenheit eines Anwenders in der Umgebung wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten zu detektieren; und eine durch den Anwender bereitgestellte Geste wenigstens teilweise basierend auf dem Vergleich der gesammelten ersten und zweiten Abtastdaten zu detektieren und zu identifizieren, um die eine oder die mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, mit einem Befehl, der der identifizierten Geste entspricht, zu steuern.
Ein oder mehrere nicht transitorische computerlesbare Medien nach Anspruch 21, wobei die Anweisungen den Controller ferner veranlassen, die ersten und die zweiten Abtastdaten der Umgebung in Echtzeit oder in beinahe Echtzeit zu empfangen.
Ein oder mehrere nicht transitorische computerlesbare Medien nach Anspruch 21, wobei die Anweisungen den Controller ferner veranlassen, die eine oder die mehreren IoT-Vorrichtungen aus mehreren IoT-Vorrichtungen, die auf die durch die Anwendergesten bereitgestellten Befehle reagieren, wenigstens teilweise basierend auf der detektierten und identifizierten Geste auszuwählen.
Ein oder mehrere nicht transitorische computerlesbare Medien nach einem der Ansprüche 21 bis 23, wobei die Anweisungen den Controller ferner veranlassen, einen Befehl, der dem identifizierten Typ der Geste entspricht, zu identifizieren und den Befehl an die eine oder die mehreren IoT-Vorrichtungen zu senden.