-
HINTERGRUND
-
Die Ultra-Breitband(UWB)-Technologie ist eine Funktechnologie, die für sichere räumliche Lokalisierungsanwendungen genutzt werden kann und extrem wenig Energie für eine Kommunikation mit kurzer Reichweite und hoher Bandbreite benötigt. Die Technologie wird durch den Standard IEEE 802.15.4z für Enhanced Ultra-Wideband (UWB) Physical Layers (PHYs) and Associated Ranging Techniques für eine genaue relative Positionsverfolgung spezifiziert, die für Anwendungen mit relativer Entfernung zwischen Einheiten vorgesehen ist. UWB nutzt die beidseitige Zweiwege-Entfernungsmessung (Two Way Ranging) zwischen Geräten und ermöglicht eine hochpräzise Standortbestimmung mit einer Entfernungsgenauigkeit von unter 10 cm in bereits drei Genauigkeitsgraden durch Laufzeitmessung (Time-of-Flight, ToF) und Auftreffwinkelmessung (Angle-of-Arrival, AoA) bei einer Entfernung von bis zu 100 m durch die Anwendung von Impulsfunk im Frequenzbereich von 6-10 GHz. Die Standortbestimmung ist eine genaue und sichere Technologie, die eine als Scrambled Time Sequence (STS) bezeichnete Funktion sowie eine kryptographisch sichere Generierung von Pseudo-Zufallszahlen und andere Merkmale bzw. Funktionen der UWB-PHY-Schicht nutzt.
-
Figurenliste
-
Implementierungen der Techniken für Umgebungs-Mapping basierend auf UWB-Tags werden mit Bezug auf die folgenden Zeichnungsfiguren beschrieben, wobei gleiche oder ähnliche Merkmale und Komponenten, die in den Figuren dargestellt sind, durchgehend gleich oder ähnlich bezeichnet sind.
- 1 zeigt Beispielgeräte und Merkmale für Umgebungs-Mapping basierend auf UWB-Tags gemäß einer oder mehrerer der vorliegend beschriebenen Implementierungen;
- 2 und 3 zeigen für ein auf UWB-Tags basierendes Umgebungs-Mapping erstellte Standort-Zuordnungskarten gemäß einer oder mehrerer der vorliegend beschriebenen Implementierungen;
- 4 zeigt Beispiele eine Zuordnung von UWB-Tags und Gerätestandorten gemäß einer oder mehrerer der vorliegend beschriebenen Implementierungen;
- 5 zeigt ein Cloud-basiertes Beispielsystem, in welchem Aspekte und Merkmale eines auf UWB-Tags basierenden Umgebungs-Mappings implementierbar sind;
- 6 bis 8 zeigen Beispielverfahren für ein auf UWB-Tags basierendes Umgebungs-Mapping gemäß einer oder mehrerer Implementierungen der vorliegend beschriebenen Techniken;
- 9 zeigt verschiedene Komponenten eines Beispielgeräts, das für die Implementierung der Techniken für ein auf UWB-Tags basierendes Umgebungs-Mapping verwendet werden kann.
-
DETAILBESCHREIBUNG
-
Es werden Implementierungen von Techniken für ein auf Ultra-Breitband(UWB)-Tags basierendes Umgebungs-Mapping beschrieben, und es werden Techniken bereitgestellt, die von Computergeräten jeglicher Art ausführbar sind, wie zum Beispiel von intelligenten Geräten, Mobilgeräten (z.B. Mobiltelefonen, Tablet-Geräten, Smartphones, drahtlosen Geräten), Unterhaltungselektronik, intelligenten Hausautomatisierungsgeräten und dergleichen. Im Allgemeinen können UWB-fähige Smart Devices wie beispielsweise Smartphones und Hausautomatisierungsgeräte verwendet werden, um eine räumliche Wahrnehmung zu bestimmen, die Funktionen bereitstellt, die in intelligenten Häusern und Gebäuden mit Zugangskontrolle, Sicherheit, standortbasierten Diensten und Peer-to-Peer-Anwendungen angewendet werden.
-
Aspekte des auf UWB-Tags basierenden Umgebungs-Mapping sorgen für eine Automatisierung der Verteilung, Identifizierung und Platzierung von UWB-Tags in einer Umgebung wie beispielsweise einem Smart Home oder einer Gebäudeumgebung anderer Art. Die beschriebenen Techniken nutzen UWB-Entfernungsmessdaten wie Time-of-Flight(ToF)-Messungen, Angle-of-Arrival(AoA)-Messungen und/oder Time-Difference-of-Arrival(TDoA)-Messungen sowie Wi-Fi- und/oder Bluetooth-RSSI-Messungen und optional Kamera-Bildgebung, um die Standorte von UWB-Tags in der Umgebung zu bestimmen, einen Grundriss zu erstellen und semantische Namen für erkannte Geräte und Objekte zu vergeben. Die Fähigkeiten von UWB zur präzisen Standortbestimmung werden genutzt, um die Erkennung von UWB-Tags an bestimmten Orten in der Umgebung zu ermöglichen, die dann zur Verbesserung der drahtlosen und digitalen Erfahrung in der Smart-Home-Umgebung genutzt werden können, indem die präzisen und sicheren Standortbestimmungsfunktionen verwendet werden.
-
Diese Funktionen sind eine Verbesserung gegenüber früheren Techniken, allgemein als Wi-Fi-Fingerprinting bezeichnet, das eine gitterbasierte Entfernungskarte auf der Grundlage der Triangulation von Funkverbindungen erstellt. Zum Beispiel können eine Heimumgebung, die drahtlose Geräte enthält, die mit Bluetooth, Bluetooth Low Energy (BLE) und/oder Wi-Fi implementiert sein können, und die RF-Signaturen von diesen Geräten für Fingerprinting verwendet werden, um eine Karte der relativen Standorte zwischen Festpunkten und einem sich bewegenden Gerät im Bereich einer Umgebung zu erstellen. Diese Fingerprinting-Verfahren unterliegen jedoch Einschränkungen, und die RF-Signaturen ändern sich im Laufe der Zeit.
-
Gemäß Aspekten der beschriebenen Techniken für Umgebungs-Mapping umfasst ein System UWB-Tags, die für eine Zuordnung zu jeweiligen Objekten in einer Umgebung verortet werden, wobei jeder UWB-Tag mit einem digitalen Etikett versehen ist, das die Zuordnung zu einem oder mehreren der Objekte angibt. Ein UWB-Tag kann zwecks Zuordnung zu einem intelligenten Gerät bzw. Smart Device oder einem anderen Objekt in der Umgebung verortet werden, und der UWB-Tag kann eine Identität des intelligenten Geräts auf der Grundlage einer Bluetooth MAC ADDR und/oder einer anderen von dem intelligenten Gerät übermittelten Information zur Geräteidentifizierung feststellen. Alternativ oder zusätzlich hat ein Mobilgerät einen Netzwerkverbund mit dem intelligenten Gerät in der Umgebung, und der UWB-Tag, der für die Zuordnung zu dem intelligenten Gerät in der Umgebung verortet wird, kann die Identität des intelligenten Geräts von dem Mobilgerät empfangen.
-
Die UWB-Tags können absuchen, um Informationen zur Geräteidentifizierung zu empfangen, die von nahegelegenen intelligenten Geräten übermittelt werden. Die Informationen zur Geräteidentifizierung werden über Bluetooth oder BLE von den intelligenten Geräten als Gerätename, eine Bluetooth MAC ADDR, und eine Received Signal Strength Indication (RSSI) bzw. Empfangsfeldstärke übermittelt. Ein UWB-Tag kann das intelligente Gerät identifizieren, das dem UWB-Tag am nächsten gelegen ist, und zwar basierend auf den von den intelligenten Geräten empfangenen Informationen zur Geräteidentifizierung, und kann basierend auf den Informationen zur Geräteidentifizierung eine geordnete Liste der intelligenten Geräte erstellen, um das zu dem UWB-Tag nächstgelegene intelligente Gerät zu identifizieren. Alternativ oder zusätzlich implementiert ein Computergerät in der Umgebung ein Mapping-Modul, das die über Bluetooth oder BLE angekündigten Kommunikationen von den UWB-Tags und intelligenten Geräten in der Umgebung empfangen und verarbeiten kann. Das Mapping-Modul kann dann auf der Grundlage von RSSI-Messungen der über Bluetooth oder BLE angekündigten Kommunikationen von den UWB-Tags und intelligenten Geräten einen UWB-Tag mit einem nahegelegenen intelligenten Gerät korrelieren.
-
Das Mapping-Modul ist ausgeführt zum Bestimmen eines Standorts jedes der UWB-Tags in der Umgebung und zum Bestimmen der relativen Positionen jedes der UWB-Tags zueinander. Das Mapping-Modul kann UWB-Entfernungsdaten erhalten, die von den UWB-Tags über den Austausch von Inband-Sitzungen mit einer UWB-Funkeinrichtung empfangen werden, und kann den Standort und die relative Position jedes der UWB-Tags in der Umgebung auf der Grundlage der UWB-Entfernungsdaten bestimmen. Das Mapping-Modul kann dann eine Standortzuordnungskarte der Objekte und intelligenten Geräte in der Umgebung erstellen, die auf dem Standort und der relativen Position jedes der UWB-Tags, die den jeweiligen Objekten und intelligenten Geräten zugeordnet sind, basiert. Bei einer Umgebung innerhalb eines Gebäudes, zum Beispiel in einer Smart-Home-Umgebung, kann das Mapping-Modul die Standortzuordnungskarte als Grundriss des Gebäudes in einem räumlichen Koordinatensystem erstellen, wobei der Grundriss die Standorte der Objekte und/oder der intelligenten Geräte in dem Gebäude enthält.
-
In Implementierungen kann eine Kameravorrichtung in der Umgebung verwendet werden, um ein Bild von einem Bereich der Umgebung aufzunehmen. Ein Objekterkennungsmodul kann verwendet werden, um anhand des aufgenommenen Bildes die Objekte und/oder intelligenten Geräte in dem Bereich der Umgebung zu identifizieren, und das Mapping-Modul kann den Standort und die relative Position jedes der UWB-Tags in dem Bereich der Umgebung basierend auf den identifizierten Objekten und intelligenten Geräten in der Umgebung bestimmen. Außerdem kann das Mapping-Modul die Standortzuordnungskarte als Grundriss des Gebäudes erstellen, der die Standorte der Objekte und/oder intelligenten Geräte in dem Gebäude enthält, wobei der Grundriss Positionen der Gebäudewände enthält, die anhand des aufgenommenen Bildes bestimmt werden.
-
Merkmale bzw. Funktionen und Konzepte der beschriebenen Techniken für Umgebungs-Mapping auf der Grundlage von UWB-Tags können in einer beliebigen Anzahl verschiedener Geräte, Systeme, Umgebungen und/oder Konfigurationen implementiert werden. Eine Beschreibung von Implementierungen der Techniken für Umgebungs-Mapping auf der Grundlage von UWB-Tags erfolgt nachstehend anhand der folgenden Beispielgeräte, -systeme und -verfahren.
-
1 zeigt ein Beispielsystem 100 für Umgebungs-Mapping basierend auf UWB-Tags wie vorliegend beschrieben. Allgemein umfasst das System 100 ein Computergerät 102, das zur Implementierung von Merkmalen und Techniken des Umgebungs-Mapping verwendet werden kann. In diesem Beispielsystem 100 kann das Computergerät 102 ein drahtloses Gerät 104 mit einem Bildschirm 106 sein, z.B. ein Smartphone oder ein Mobiltelefon. Alternativ oder zusätzlich kann das System 100 das Computergerät 102 als jede Art von elektronischem, Rechen- und/oder Kommunikationsgerät 108 umfassen, z.B. als Computer, Laptop-Gerät, Desktop-Computer, Tablet, drahtloses Gerät, Kameraeinrichtung, intelligentes Gerät, intelligentes Display, intelligentes Fernsehgerät, intelligenten Apparat, Hausautomatisierungsgerät und so weiter. Das Computergerät 102 kann mit verschiedenen Komponenten ausgeführt sein, beispielsweise mit einem Prozessorsystem 110 und einem Speicher 112 sowie mit einer beliebigen Anzahl und Kombination anderer Komponenten, wie in Bezug auf das in 9 gezeigte Beispielgerät weiter beschrieben. Beispielsweise kann das drahtlose Gerät 104 eine Energiequelle zur Stromversorgung des Geräts wie eine wiederaufladbare Batterie und/oder jede andere Art von aktiver oder passiver Energiequelle enthalten, die in einem elektronischen Gerät, einem Computer und/oder einem Kommunikationsgerät vorgesehen werden kann.
-
In Implementierungen kann das drahtlose Gerät 104 generell über eine drahtlose Verbindung kommunikativ mit UWB-Tags und/oder mit anderen UWB-Geräten in einer Umgebung 114 verbunden sein. Allgemein kann die Umgebung 114 das Computergerät 102, das drahtlose Gerät 104, intelligente Geräte, die UWB-Tags und Geräte mit eingebettetem UWB sowie eine beliebige Anzahl von elektronischen, Computer- und/oder Kommunikationsgeräten 108 anderer Art, die hier beschrieben sind, enthalten. Die drahtlose UWB-Kommunikation in der Umgebung 114 ist zwischen den UWB-Tags und/oder den Geräten mit eingebettetem UWB in der Umgebung ähnlich. Die UWB-Tags können in der Umgebung in der Nähe jedes der Objekte und/oder intelligenten Geräte platziert und dann mit einem Funktionsnamen versehen werden, um eine UWB-Tag-Zuordnung zu einem bestimmten Objekt und/oder intelligenten Gerät anzugeben. Angesichts der Winkelpräzision und der zentimetergenauen Entfernungsmessung, die UWB bietet, kann die Standorterkennung von UWB-Tags an bestimmten Orten in der Umgebung verwendet werden, um die Wireless-Erfahrung und die digitale Erfahrung in einer Smart-Home-Umgebung zu verbessern.
-
In diesem Beispielsystem 100 können intelligente Geräte eine UWB-Funkeinrichtung enthalten, und ein UWB-Tag 116 kann einem intelligenten Gerät 118 in der Umgebung 114 zugeordnet werden. Ähnlich kann ein UWB-Tag 120 jeder Art von Objekt 122 in der Umgebung zugeordnet werden. Beispielsweise können die UWB-Tags in der Umgebung 114 positioniert und verortet werden, um sie den jeweiligen intelligenten Geräten und/oder Objekten zuzuordnen, und jeder UWB-Tag kann mit einem digitalen Etikett 124 gekennzeichnet werden, das die Zuordnung zu einem oder mehreren der Objekte und/oder intelligenten Geräte in der Umgebung angibt. Zum Beispiel kann das Objekt 122 ein Smart-TV in einer Heimumgebung sein, wobei das digitale Etikett 124 des UWB-Tag 120 „Smart-TV“ als Kennung der UWB-Tag-Zuordnung anzeigt. In ähnlicher Weise kann das Objekt 122 eine Stehlampe in der Heimumgebung sein, wobei das digitale Etikett 124 des UWB-Tag 120 „Stehlampe“ als Kennung der UWB-Tag-Zuordnung anzeigt.
-
In einigen Fällen können intelligente Geräte und/oder Objekte in der Umgebung 114 bereits UWB-fähig sein, um drahtlos mit anderen Geräten und UWB-Tags in der Umgebung zu kommunizieren. Die drahtlose UWB-Kommunikation für das Mapping von Objekten und/oder Geräten in der Umgebung 114 ist zwischen den UWB-Tags und/oder den intelligenten UWB-Geräten in der Umgebung ähnlich. Ein Netzwerk der UWB-Tags in der Umgebung 114 kann diese erkennen und untereinander und/oder mit einem Steuergerät oder einer Steuerlogik verbinden, die die intelligenten Geräte und UWB-Tags in der Umgebung verwaltet.
-
In Implementierungen kann ein UWB-Tag 120 an einem festen Ort verwendet werden, um die genaue Lokalisierung und Positionierung von unbelebten Objekten und/oder Bereichen in der Umgebung 114 zu erleichtern, wie z.B. die Positionierung des UWB-Tag 120 an einer leeren Wand in einer Wohnumgebung. Normalerweise wäre das Objekt 122, dem das UWB-Tag 120 zugeordnet ist, dann der Teil der leeren Wand in der Nähe des UWB-Tag. Angesichts der bekannten Position der leeren Wand in der Heimumgebung kann ein Benutzer dann Augmented-Reality(AR)-Informationen über die leere Wand legen und mit der digitalen Welt interagieren, die durch den UWB-Tag 120 verankert ist, obwohl die Wand an sich kein elektronisches Gerät ist. In ähnlicher Weise können die UWB-Tags in der Umgebung 114 ein AR-geführtes Benutzererlebnis ermöglichen, um beispielsweise einen fehlenden Gegenstand oder ein anderes verlegtes Gerät zu lokalisieren bzw. aufzufinden. Wenn ein Benutzer ein Smartphone oder eine Smartwatch verliert oder verlegt, kann die Präzision der Standorterkennung, die durch das System der UWB-Tags bereitgestellt wird, einen Benutzer zum Standort des fehlenden Gegenstands in der Umgebung führen.
-
Das UWB-Protokoll ist so konzipiert, dass es eine Out-of-Band-Kommunikation nutzt, die drahtlose Protokolle mit geringem Stromverbrauch für die Entdeckung von UWB-Geräten und die Konfiguration von UWB-Sitzungen verwendet, z.B. über Bluetooth oder Bluetooth Low Energy (BLE), was weniger Strom verbraucht, als wenn eine UWB-Funkeinrichtung allein verwendet würde. Die Verwendung von BLE für die UWB-Out-of-Band-Kommunikation sorgt zudem für einen großen Netzwerkeffekt angesichts der Anzahl der bereits BLEfähigen Geräte. Da BLE geeignet ist, Advertising-Pakete zu empfangen und zu dekodieren, können die UWB-Tags, die in der Umgebung 114 in der Nähe eines intelligenten Geräts platziert sind, zum Beispiel die nächstgelegene Bluetooth MAC ADDR und wahrscheinlich einen Hinweis auf den Gerätenamen des in der Nähe befindlichen intelligenten Geräts ermitteln. Wenn der Name des nächstgelegenen Geräts nicht bekanntgegeben wird, kann der UWB-Tag eine Prüfung gegen die BD ADDR, die bereits auf dem Computergerät 102 bekannt ist, vornehmen, was auch äußerst zweckdienlich ist, wenn Datenschutzeinstellungen aktiviert sind und ein Identitätsauflösungsschlüssel auf dem UWB-Tag nicht verfügbar ist.
-
Alternativ oder zusätzlich dazu, dass ein UWB-Tag Adress- und Geräte-Identifizierungsinformationen von in der Nähe befindlichen intelligenten Geräten empfängt und dass das intelligente Gerät, das sich am nächsten zum UWB-Tag befindet, identifiziert wird, kann ein Computergerät mit den UWB-Tags 120 und den intelligenten Geräten in der Umgebung kommunizieren und eine über Bluetooth oder BLE angekündigte Kommunikation von den UWB-Tags und den intelligenten Geräten empfangen. Das Computergerät kann ein zentraler Controller und/oder ein mobiles Gerät in der Umgebung sein, das einen UWB-Tag mit einem nahegelegenen intelligenten Gerät basierend auf RSSI-Messungen der über Bluetooth oder BLE angekündigten Kommunikation von den UWB-Tags und intelligenten Geräten korreliert. Zum Beispiel kann das Computergerät angekündigte Signale von einem UWB-Tag und einem intelligenten Gerät empfangen und den Signalpfadverlust der empfangenen Signale vergleichen, um auf der Grundlage eines ähnlichen Signalpfadverlusts festzustellen, dass der UWB-Tag und das intelligente Gerät in der Umgebung nahe beieinander liegen.
-
Gemäß Aspekten der beschriebenen Merkmale bzw. Funktionen für Umgebungs-Mapping basierend auf UWB-Tags kann die Benutzerinteraktion minimiert oder eliminiert werden, da die UWB-Tags für eine Automatisierung der Identifizierung und Kennzeichnung beispielsweise über eine Bluetooth- oder BLE-Kommunikation und/oder aufgenommene Bilder ausgebildet sind. Wenn beispielsweise der UWB-Tag 116 für die Zuordnung zu dem intelligenten Gerät 118 in der Umgebung 114 verortet ist, kann der UWB-Tag eine Identität des intelligenten Geräts basierend auf einer Bluetooth MAC ADDR und/oder anderen Informationen zur Identifizierung des Geräts, die von dem intelligenten Gerät übermittelt werden, bestimmen. Darüber hinaus kann der UWB-Tag 116 empfangene Wi-Fi- oder Bluetooth-RSSI-Messungen in Verbindung mit den UWB-Positionsinformationen nutzen, um eine Liste nahegelegener intelligenter Geräte zu erstellen und zu sortieren und die MAC ADDR des intelligenten Geräts, das zu dem UWB-Tag am nächsten gelegen ist, auszuwählen. Ferner kann in einer Umgebung 114, in der das Computergerät 102, z.B. ein Mobiltelefon, ein Smartphone oder ein anderes drahtloses Gerät, das eine Netzwerkverbindung zu dem intelligenten Gerät 118 hat, enthalten ist, den UWB-Tag 116, der für die Zuordnung zu dem intelligenten Gerät 118 in der Umgebung verortet ist, eine Identität des intelligenten Geräts 118 von dem Computergerät empfangen.
-
In diesem Beispielsystem 100 kann der UWB-Tag 120, der allgemein repräsentativ ist für jeden UWB-Tag oder jedes Gerät mit eingebettetem UWB in der Umgebung 114, verschiedene Funkeinrichtungen für die drahtlose Kommunikation mit anderen Geräten und/oder mit den anderen UWB-Tags in der Umgebung enthalten. Zum Beispiel kann der UWB-Tag 120 eine UWB-Funkeinrichtung 126, eine Bluetooth-Funkeinrichtung 128 und/oder eine Wi-Fi-Funkeinrichtung 130 enthalten, die für die drahtlose Kommunikation mit anderen Geräten und den UWB-Tags in der Umgebung 114 eingerichtet sind. Das Computergerät 102 umfasst auch verschiedene Funkeinrichtungen für die drahtlose Kommunikation mit den anderen Geräten und/oder mit den UWB-Tags in der Umgebung 114. Zum Beispiel enthält das Computergerät 102 eine UWB-Funkeinrichtung 132, eine Bluetooth-Funkeinrichtung 134 und eine Wi-Fi-Funkeinrichtung 136, die für die drahtlose Kommunikation mit anderen Geräten und mit den UWB-Tags in der Umgebung 114 implementiert sind.
-
Das Computergerät 102 kann auch eine beliebige Anzahl von Geräteanwendungen und/oder -modulen implementieren, wie beispielsweise jede Art von Nachrichtenanwendung, Kommunikationsanwendung, Medienanwendung und/oder jede andere der vielen möglichen Arten von Geräteanwendungen oder Anwendungsmodulen. In diesem Beispielsystem 100 implementiert das Computergerät 102 ein Mapping-Modul 138, das unabhängige Verarbeitungs-, Speicher- und/oder Logikkomponenten enthalten kann, die als eine in das Computergerät 102 integrierte Rechen- und/oder Elektronikeinrichtung arbeiten. Alternativ oder zusätzlich kann das Mapping-Modul 138 in Software, in Hardware oder als eine Kombination von Software- und Hardwarekomponenten ausgeführt sein. In diesem Beispiel ist das Mapping-Modul 138 als Softwareanwendung oder als Modul implementiert, wie z.B. ausführbare Softwareanweisungen (beispielsweise computerausführbare Anweisungen), die mit einem Prozessor (z.B. mit dem Prozessorsystem 110) des Computergeräts 102 ausführbar sind, um die Techniken und Merkmale bzw. Funktionen für das Umgebungs-Mapping basierend auf UWB-Tags wie vorliegend beschrieben auszuführen.
-
Als Softwareanwendung oder -modul kann das Mapping-Modul 138 in einem computerlesbaren Speicher (z.B. im Speicher 112 des Geräts) oder in einer anderen geeigneten Speichereinrichtung oder einem anderen geeigneten elektronischen Datenspeicher gespeichert werden, der mit dem Modul implementiert wird. Alternativ oder zusätzlich kann das Mapping-Modul 138 in Firmware und/oder zumindest teilweise in Computerhardware ausgeführt sein. Zum Beispiel kann zumindest ein Teil des Moduls von einem Computerprozessor implementiert werden, und/oder zumindest ein Teil des Moduls kann als logische Schaltung ausgeführt sein.
-
Wie vorstehend beschrieben kann der UWB-Tag 116, der für die Zuordnung zu dem intelligenten Gerät 118 in der Umgebung 114 verortet ist, eine Identität des intelligenten Geräts basierend auf einer Bluetooth MAC ADDR und/oder anderen von dem intelligenten Gerät übermittelten Informationen zur Geräteidentifizierung feststellen. Allgemein können die UWB-Tags eine Suche durchführen, um Geräte-Identifizierungsinformationen 140 zu empfangen, die von nahegelegenen intelligenten Geräten in der Umgebung übermittelt werden. Die Gerät-Identifizierungsinformationen 140 können über Bluetooth oder BLE von den intelligenten Geräten als Gerätename, Bluetooth MAC ADDR und Received Signal Strength Indication (RSSI) übermittelt werden. Der UWB-Tag 116 kann auf der Grundlage der von den intelligenten Geräten empfangenen Geräte-Identifizierungsinformationen 140 das intelligente Gerät 118 identifizieren, das sich am nächsten zu dem UWB-Tag befindet, und kann auf der Grundlage der Geräte-Identifizierungsinformationen eine geordnete Liste der intelligenten Geräte erstellen, um das intelligente Gerät zu identifizieren, das sich zu dem UWB-Tag am nächsten gelegen ist. Zusätzlich kann das von dem Computergerät 102 implementierte Mapping-Modul 138 die von den intelligenten Geräten in der Umgebung übermittelten Geräte-Identifizierungsinformationen 140 sowie die von den UWB-Tags in der Umgebung übermittelten UWB-Tag-Kennungen 142 empfangen.
-
In anderen Implementierungen und wie vorstehend beschrieben kann das Computergerät 102 mit den UWB-Tags 116, 120 und anderen intelligenten Geräten 118 in der Umgebung 114 kommunizieren, indem es eine über Bluetooth oder BLE angekündigte Kommunikationen von den UWB-Tags und den intelligenten Geräten empfängt. Das Computergerät implementiert das Mapping-Modul 138, das einen UWB-Tag 120 mit einem nahegelegenen intelligenten Gerät 118 auf der Grundlage von RSSI-Messungen der über Bluetooth oder BLE angekündigten Kommunikationen von den UWB-Tags und intelligenten Geräten korrelieren kann. Beispielsweise kann das Computergerät 102 angekündigte Signale von den UWB-Tags 116, 120 und den intelligenten Geräten 118 empfangen, und das Mapping-Modul 138 vergleicht den Signalpfadverlust von den empfangenen Signalen, um auf der Grundlage eines ähnlichen Signalpfadverlusts zu ermitteln, welche der UWB-Tags und intelligenten Geräte nahe beieinander liegen. Das Mapping-Modul 138 kann dann einen UWB-Tag einem nahegelegenen intelligenten Gerät zuordnen und diese Zuordnung an den UWB-Tag zurück übermitteln, beispielsweise über Inband-UWB-Kommunikationen.
-
Gemäß Aspekten der beschriebenen Techniken für Umgebungs-Mapping auf der Grundlage von UWB-Tags kann das von dem Computergerät 102 implementierte Mapping-Modul 138 einen UWB-Tag-Standort 144 jedes der UWB-Tags 120 in der Umgebung 114 bestimmen und ermittelt die relativen Positionen 146 jedes der UWB-Tags zueinander. Das Mapping-Modul 138 kann UWB-Entfernungsdaten 148 erhalten, wie z.B. Laufzeitdaten (ToF), Auftreffwinkeldaten (AoA) und/oder Time-Differenceof-Arrival-Daten (TDoA), die von den UWB-Tags 120 über einen Inband-Sitzungsaustausch mit der UWB-Funkeinrichtung 132 des Computergeräts 102 empfangen werden. ToF ist eine Zwei-Wege-Kommunikation zwischen einem UWB-Tag 120 und einem anderen Gerät, während TDoA eine Ein-Wege-Kommunikation ist, bei der der UWB-Tag 120 ein Signal sendet, aber nicht auf eine Antwort von beispielsweise dem Computergerät 102 warten muss. Das Mapping-Modul 138 kann auch andere Kommunikationsdaten empfangen und nutzen, die gemeinsam über Bluetooth oder BLE genutzt werden, wie z.B. relative Positionsdaten, die von UWB-Geräten gemeinsam genutzt werden. Das Mapping-Modul 138 kann dann basierend auf den UWB-Entfernungsdaten 148 den Standort 144 und die relative Position 146 jedes der UWB-Tags 120 in der Umgebung 114 bestimmen.
-
Das Mapping-Modul 138 kann dann eine Standortzuordnungskarte 150 der intelligenten Geräte 118 und/oder der Objekte 122 in der Umgebung 114 auf der Grundlage des Standorts 144 und der relativen Position 146 jedes der UWB-Tags 116, 120, die mit den jeweiligen intelligenten Geräten und Objekten verbunden sind, erstellen. Für eine Umgebung innerhalb eines Gebäudes, wie z.B. in einer Smart-Home-Umgebung, kann das Mapping-Modul 138 die Standortzuordnungskarte 150 als Grundriss in einem dreidimensionalen Koordinatensystem der Umgebung 114 erstellen, der den Standort der intelligenten Geräte und/oder der Objekte in der Gebäudeumgebung enthält. Ein Beispiel für eine Standortzuordnungskarte 150, die den Standort der intelligenten Geräte und/oder der Objekte in der Umgebung 114 zeigt, wird unter Bezugnahme auf 2 näher dargestellt und erläutert.
-
Als Geräteanwendung kann das Mapping-Modul 138 eine zugeordnete Anwendungs-Benutzerschnittstelle 152 aufweisen, die für die Benutzerinteraktion und -betrachtung generiert und angezeigt wird, beispielsweise auf dem Bildschirm 106 des drahtlosen Geräts 104. Im Allgemeinen ist eine Anwendungs-Benutzerschnittstelle 152 oder jede andere Art von Video, Bild, Grafik und dergleichen ein digitaler Bildinhalt, der auf dem Anzeigebildschirm 106 des drahtlosen Geräts 104 angezeigt werden kann. Das Mapping-Modul 138 kann die Anzeige der Standortzuordnungskarte 150 auf dem Bildschirm 106 des drahtlosen Geräts 104 veranlassen, beispielsweise auf der Benutzeroberfläche 152 des Mapping-Moduls 138.
-
Obwohl das Mapping-Modul 138 so dargestellt und beschrieben ist, dass es von dem Computergerät 102 in der Umgebung 114 implementiert wird, kann jedes der anderen intelligenten Geräte in der Umgebung das Mapping-Modul 138 und/oder eine Instanziierung des Mapping-Moduls implementieren. Beispielsweise umfasst das System 100 eine Kameravorrichtung 154, die ein unabhängiges elektronisches Computer- und/oder Kommunikationsgerät in der Umgebung 114 sein kann und das Mapping-Modul 138 implementieren kann. In ähnlicher Weise kann ein Steuergerät oder eine Steuerlogik in der Umgebung 114 das Mapping-Modul implementieren, und auch der UWB-Tag 120 kann das Mapping-Modul 138 in der Umgebung implementieren.
-
In diesem Beispielsystem 100 kann die Kameravorrichtung 154 als Sicherheitskamera, Innenraumkamera, Türklingelkamera und dergleichen ausgeführt sein. Im Allgemeinen kann die Kameravorrichtung 154 mit einer beliebigen Anzahl und Kombination der Komponenten ausgeführt sein, die in Bezug auf das Computergerät 102 beschrieben sind, wobei die Kameravorrichtung 154 eine integrierte UWB-Funkeinrichtung sowie unabhängige Verarbeitungs-, Speicher- und/oder Logikkomponenten umfassen kann, die als Rechen- und Kameravorrichtung arbeiten. Alternativ kann die Kameravorrichtung 154 als Komponente des Computergeräts 102 ausgeführt sein, wie beispielsweise bei einem Mobiltelefon oder einem anderen drahtlosen Gerät mit einer oder mehreren Kameras, um die Bilderfassung zu erleichtern.
-
Die Kameravorrichtung 154, wie z.B. jede Art von Sicherheitskamera, Innenraumkamera, Türklingelkamera oder eine Kameravorrichtung des Computergeräts 102, kann verwendet werden, um die Techniken für das Umgebungs-Mapping basierend auf UWB-Tags weiter umzusetzen. Die Kameravorrichtung 154 kann verwendet werden, um ein Bild 156 der Umgebung 114 (oder eines Bereichs der Umgebung) aufzunehmen, wobei die Kameravorrichtung ein Objekterkennungsmodul 158 implementiert, das verwendet wird, um die Objekte 122 und/oder die intelligenten Geräte 118 in dem Bereich der Umgebung anhand des aufgenommenen Bildes zu identifizieren. Ähnlich wie das Mapping-Modul 138 kann das Objekterkennungsmodul 158 unabhängige Verarbeitungs-, Speicher- und/oder Logikkomponenten umfassen, die als eine in die Kameravorrichtung 154 und/oder in das Computergerät 102 integrierte Rechen- und/oder elektronische Vorrichtung arbeiten. Alternativ oder zusätzlich kann das Objekterkennungsmodul 158 in Software, in Hardware oder als eine Kombination von Software- und Hardwarekomponenten implementiert sein. In diesem Beispiel ist das Objekterkennungsmodul 158 als Softwareanwendung oder -modul implementiert, wie z.B. als ausführbare Softwareanweisungen (z.B. computerausführbare Anweisungen), die mit einem Geräteprozessor ausführbar sind und in einem computerlesbaren Speicher (z.B. im Speicher des Geräts) gespeichert sind.
-
In einer Gebäudeumgebung, wie z.B. in einer Smart-Home-Implementierung, kann das Mapping-Modul 138 die Standortzuordnungskarte 150 der intelligenten Geräte 118 und/oder der Objekte 122 in der Umgebung 114 basierend auf den identifizierten Objekten und/oder intelligenten Geräten in der Umgebung erstellen, wie von dem Objekterkennungsmodul 158 aus dem erfassten Umgebungsbild 156 bestimmt. Das Mapping-Modul 138 kann dann die Standortzuordnungskarte 150 als einen Grundriss des Gebäudes generieren, der die Positionen der Objekte und/oder der intelligenten Geräte im Gebäude enthält, wobei der Grundriss die Positionen der Wände des Gebäudes enthält, die anhand des erfassten Umgebungsbildes 156 bestimmt wurden. Ein Beispiel für eine Standortzuordnungskarte 150, die als Grundriss erstellt wird, der die Positionen der Gebäudewände sowie die Standorte der intelligenten Geräte und/oder der Objekte in der Umgebung 114 enthält, wird mit Bezug auf 3 näher dargestellt und erläutert.
-
In einem Anwendungsbeispiel kann ein Benutzer das Mapping-Modul 138 als Anwendung auf dem drahtlosen Gerät 104 (z.B. einem Mobiltelefon) starten und die UWB-Tags 116, 120 zur Zuordnung zu den intelligenten Geräten 118 und/oder den Objekten 122 in der Umgebung 114 platzieren. Ein Betriebsmodus der UWB-Tags 120 kann aktiviert werden, ebenso wie ein Advertising-Modus, ein Erkennungsmodus oder eine andere Art von Betriebsmodus, der an den intelligenten Geräten 118 initiiert wird. Die UWB-Tags 120 sowie das drahtlose Gerät 104 können dann nach Bluetooth- oder BLE-Advertising- und/oder anderen identifizierbaren RF-Paketen suchen, die als Nachrichten von den Geräten angekündigt werden. Das Mapping-Modul 138 kann die Abfrage der UWB-Tags 116, 120 nach einem BLE-MAC-ADDR-Bericht, einem Gerätenamen, RSSIs und Geräte-Identifizierungsinformationen anderer Art initiieren.
-
Zusätzlich können die UWB-Tags 120 eine geordnete Liste von nahegelegenen intelligenten Geräten 118 auf der Grundlage von RSSI und/oder gemeldeter Sendeleistung erstellen, um zu beurteilen, welches der intelligenten Geräte zu einem bestimmten UWB-Tag am nächsten gelegen ist. Das von dem drahtlosen Gerät 104 implementierte Mapping-Modul 138 kann die UWB-Tag-Berichte auch mit seiner eigenen Datenbank von Geräte-Identifizierungsinformationen 140 und UWB-Tag-Kennungen 142 vergleichen. Zusätzlich kann das Mapping-Modul 138 dann den Signalpfadverlust der von den UWB-Tags und den intelligenten Geräten empfangenen Signale vergleichen, um auf der Grundlage eines ähnlichen Signalpfadverlusts festzustellen, welche der UWB-Tags und intelligenten Geräte nahe beieinander liegen. Insbesondere kann ein Benutzer jede der festgelegten Zuordnungen von UWB-Tags und Geräten verwerfen, entweder durch einen UWB-Tag selbst oder durch das Mapping-Modul, und der Benutzer kann benennen, welcher der UWB-Tags mit einem bestimmten Gerät oder einem anderen Objekt verbunden bzw. diesem zugeordnet wird.
-
In Implementierungen können einige gemeldete BLE MAC ADDRs aufgrund der BLE-Privatsphärenfunktion zufällige Adressen sein, die von einem UWB-Tag 120 ohne einen Identitätsauflösungsschlüssel, der ansonsten auf dem drahtlosen Gerät 104 verfügbar ist, nicht aufgelöst werden können, da das drahtlose Gerät zuvor mit den intelligenten Geräten 118 durch zufällige Adressierung gekoppelt wurde. Für diese aufgrund von Zufallsadressen verdeckten BLE MAC ADDRs oder für nichtgekoppelte Geräte, die keine identifizierbaren Informationen übertragen, kann das drahtlose Gerät 104 die entsprechende Adresse disambiguieren und an den UWB-Tag 120 übermitteln und die Datenbank für die UWB-Tag-Kennungen 142 aktualisieren. Eine UWB-Tag-Kennung 142 kann von dem Mapping-Modul 138 automatisch generiert werden, oder ein Benutzer des Geräts kann optional über die Benutzerschnittstelle 152 aufgefordert werden, den generierten UWB-Tag-Kennungen 142 und den benannten Zuordnungen zu den Objekten und/oder intelligenten Geräten zuzustimmen oder sie zu ändern. Zur weiteren Disambiguierung der UWB-Tags 120, die den intelligenten Geräten 118 und/oder anderen Objekten 122 in der Umgebung 114 zugeordnet sind, kann die Kameravorrichtung 154 zur Aufnahme des Umgebungsbildes 156 verwendet werden. Das Objekterkennungsmodul 158 kann dann den Standort der intelligenten Geräte 118 und/oder der anderen Objekte 122 in der Umgebung bestimmen, und die Standortinformationen werden vom dem Mapping-Modul 138 verwendet, um die Standortzuordnungskarte 150 zu erstellen.
-
2 zeigt ein Beispiel 200 einer Standortzuordnungskarte 150, die den Standort von intelligenten Geräten und/oder Objekten in der Umgebung 114 zeigt, wie sie von dem von dem Computergerät 102 implementierten Mapping-Modul 138 erstellt wird, wie vorstehend mit Bezug auf 1 erläutert. In diesem Beispiel 200 zeigt die Standortzuordnungskarte 150 die Position jedes der intelligenten Geräte und anderer Objekte relativ zueinander in der Umgebung 114, wie sie auf der Grundlage der Funktionen von UWB für eine präzise Standortbestimmung unter Verwendung der UWB-Tags 120 ermittelt wurde. Die Umgebung 114 enthält Beispiele für die intelligenten Geräte 118, wie ein intelligentes Haushaltsgerät 202 und einen Kühlschrank 204, ein Anzeigegerät 206, einen intelligenten Fernseher 208 und ein Soundsystem 210, intelligente Lautsprecher 216, 218, ein Kabelmodem 212 und einen Router 214, einen Thermostat 220 und eine intelligente Türklingel 222 und einen Garagentoröffner 224. Die Umgebung 114 umfasst auch Beispiele für andere Objekte 122 wie eine Stehlampe 226, eine Garagenleuchte 228 und eine Außenleuchte 230. Außerdem sind in der Umgebung 114 auch mehrere Beispiele von Kameravorrichtungen 154, die an verschiedenen Stellen in der Umgebung positioniert sind, enthalten.
-
In diesem Beispiel 200 zeigt die Standortzuordnungskarte 150 die relativen Standorte der intelligenten Geräte und anderer Objekte zueinander in der Umgebung 114, ohne Wände des Gebäudes in der Heimumgebung. Gemäß einem Aspekt des Umgebungs-Mapping sollte beachtet werden, dass ein UWB-Tag mit mehr als einem Objekt und/oder intelligenten Gerät in der Umgebung verbunden und entsprechend gekennzeichnet werden kann, um für den Benutzer eine aussagekräftige Kennung bereitzustellen, die die kombinierten Objekte und/oder intelligenten Geräte angibt. Zum Beispiel ist der UWB-Tag 232 so positioniert, dass er sowohl mit dem Smart-TV 208 als auch mit dem Soundsystem 210 verbunden werden kann, und der UWB-Tag kann als „Entertainment Center“ betitelt werden.
-
Gemäß einem anderen Aspekt des Umgebungs-Mapping können zwei oder mehr der UWB-Tags verwendet werden, um Objekte zuzuordnen und zu lokalisieren, die in ihrer räumlichen Position nicht getaggt sind. Zum Beispiel hat die Garagenleuchte 228 keinen zugehörigen UWB-Tag. Die beiden UWB-Tags 234, 236 (z.B. in der Garage) können jedoch zur Bestimmung der relativen Position der Garagenleuchte 228 in der Umgebung verwendet werden, um eine räumliche Wahrnehmung zu ermöglichen. Die zugehörige Kameravorrichtung 154 kann auch verwendet werden, um ein Umgebungsbild 156 des Bereichs (z.B. in der Garage) aufzunehmen, wobei das Umgebungsbild verwendet wird, um die relative Position der Garagenleuchte 228 in der Umgebung für die räumliche Wahrnehmung weiter zu bestimmen.
-
3 zeigt in ähnlicher Weise ein Beispiel 300 einer Standortzuordnungskarte 150, die den Standort der intelligenten Geräte und/oder Objekte in der Umgebung 114 zeigt, wie sie von dem von dem Computergerät 102 implementierten Mapping-Modul 138 erstellt wird, wie vorstehend mit Bezug auf 1 und 2 erläutert. Ferner erzeugt das Mapping-Modul 138 in diesem Beispiel 300 einer Gebäudeumgebung die Standortzuordnungskarte 150 der intelligenten Geräte und der anderen Objekte auf der Grundlage der identifizierten Objekte und intelligenten Geräte in der Umgebung, wie vom Objekterfassungsmodul 158 anhand von aufgenommenen Umgebungsbildern 156 bestimmt.
Die verschiedenen Kameravorrichtungen 154, die an verschiedenen Stellen der Umgebung 114 positioniert sind, können verwendet werden, um die Umgebungsbilder 156 der verschiedenen Bereiche der Umgebung zu erfassen.
-
Das Mapping-Modul 138 erstellt die Standortzuordnungskarte 150 als Grundriss des Gebäudes, einschließlich der Positionen von Wänden in dem Gebäude, wie sie anhand der aufgenommenen Umgebungsbilder 156 ermittelt wurden. Die Standortszuordnungskarte 150 zeigt die Position jedes der intelligenten Geräte und anderer Objekte relativ zueinander in der Umgebung 114 sowie die Wände der Heimumgebung, was einen detaillierteren räumlichen Kontext liefert. Zusätzlich zu den intelligenten Geräten und Objekten, die in der Standortzuordnungskarte 150 in 2 dargestellt sind, enthält dieses Beispiel 300 auch andere Objekte, die anhand der aufgenommenen Umgebungsbilder 156 ermittelt wurden. Zum Beispiel enthält die kartierte Umgebung auch die Position und den Standort einer Couch 302, eines Sessels 304 und eines Schreibtisches 306 in verschiedenen Räumen der Heimumgebung.
-
Zusätzlich wurde in der Umgebung ein UWB-fähiges Laptop-Computergerät 308 hinzugefügt, wobei das Laptop-Computergerät über eine UWB-Funkeinrichtung mit den UWB-Tags 120 in der Umgebung kommuniziert. Das Laptop-Computergerät 308 kann als Beispiel für das Computergerät 102 ausgeführt sein, das mit Bezug 1 erläutert wurde. Insbesondere kann das Laptop-Computergerät 308 das Mapping-Modul 138 implementieren, um das Mapping der Objekte und/oder Geräte in der Umgebung 114 auf der Grundlage der Standorte und relativen Positionen jedes der UWB-Tags zu ermöglichen. Die drahtlose UWB-Kommunikation zum Kartieren bzw. Mapping von Objekten und/oder Geräten in der Umgebung 114 ist zwischen den UWB-Tags und/oder den intelligenten Geräten mit eingebettetem UWB in der Umgebung ähnlich.
-
Obwohl in den beschriebenen Beispielen der Standortzuordnungskarte 150 ein Grundriss mit nur einer Ebene gezeigt und beschrieben wird, kann die Umgebung 114 eine Wohnumgebung mit mehreren Ebenen sein. Insbesondere bietet das System der UWB-Tags auch eine z-Ebenenunterscheidung mittels der Funktionen von UWB für eine präzise Standortbestimmung in einer dreidimensionalen Koordinatenabbildung einer Wohnumgebung mit mehreren Ebenen.
-
4 zeigt weitere Beispiele 400 für die Standortzuordnung von UWB-Tags und Geräten gemäß einer oder mehrerer Implementierungen des Umgebungs-Mapping basierend auf UWB-Tags wie vorliegend beschrieben. Das in 3 gezeigte Beispiel der Umgebung 114 wird mit zusätzlichen Beispieldetails des Mapping-Moduls 138 weiter veranschaulicht, wie dieses in einem Computergerät 102, z.B. dem drahtlosen Gerät 104 (z.B. einem Mobiltelefon oder einem anderen Gerät) in der Umgebung implementiert ist. In diesen Beispielen 400 kommuniziert das drahtlose Gerät 104 über die UWB-Funkeinrichtung 132 mit den UWB-Tags 120 in der Umgebung. In ähnlicher Weise kann das drahtlose Gerät 104 auch über die Bluetooth-Funkeinrichtung 134 und/oder die Wi-Fi-Funkeinrichtung 136 mit anderen intelligenten Geräten in der Umgebung kommunizieren, z.B. mit dem Anzeigegerät 206, dem Kabelmodem 212, dem Router 214, der intelligenten Türklingel 222 und dem Laptop-Computergerät 308, um nur einige zu nennen. Obwohl diese Beispiele 400 mit Bezug auf das das Mapping-Modul 138 implementierende drahtlose Gerät 104 beschrieben sind, ist zu beachten, dass auch das Laptop-Computergerät 308 das Mapping-Modul 138 implementieren und unabhängig oder in Verbindung mit der Instanziierung des Mapping-Moduls, wie dieses durch das drahtlose Gerät implementiert ist, arbeiten kann.
-
Das Mapping-Modul 138 empfängt (über das drahtlose Gerät 104) die über Bluetooth oder BLE angekündigten Kommunikationen 402 von den UWB-Tags 120 und anderen intelligenten Geräten in der Umgebung 114. Das Mapping-Modul 138 kann dann auf der Grundlage von RSSI-Messungen der über Bluetooth oder BLE angekündigten Kommunikationen 402 von den UWB-Tags und den intelligenten Geräten einen UWB-Tag 120 mit einem nahegelegenen intelligenten Gerät korrelieren. Zum Beispiel kann das drahtlose Gerät 104 angekündigte Signale von einem UWB-Tag 404 und dem intelligenten Anzeigegerät 206 empfangen, und das Mapping-Modul 138 vergleicht den Signalpfadverlust der empfangenen Signale, um basierend auf einem ähnlichen Signalpfadverlust festzustellen, dass der UWB-Tag 404 und das intelligente Anzeigegerät nahe beieinander liegen. Das Mapping-Modul 138 kann dann den UWB-Tag 404 dem nahegelegenen intelligenten Anzeigegerät 206 zuordnen und die Zuordnung an den UWB-Tag 404 zurück übermitteln, beispielsweise über Inband-UWB-Kommunikationen.
-
In einer ähnlichen Implementierung empfängt das Mapping-Modul 138 (über das drahtlose Gerät 104) die über Bluetooth oder BLE angekündigte Kommunikation 402 von einem UWB-Tag 406, der sich in der Nähe eines nichttechnischen Objekts befindet, z.B. in der Nähe der Stehlampe 226 in der Umgebung 114. Das Mapping-Modul 138 kann die empfangenen Signale und ein aufgenommenes Umgebungsbild 408 nutzen, um festzustellen, dass sich der UWB-Tag 406 in der Nähe der Stehlampe 226 befindet, kann den UWB-Tag 406 dem nahegelegenen Objekt zuordnen und die Zuordnung an den UWB-Tag 406 zurück übermitteln, beispielsweise über Inband-UWB-Kommunikationen. Wie vorstehend ausgeführt, kann ein Benutzer des drahtlosen Geräts 104 jede beliebige der bestimmten Zuordnungen von UWB-Tag und Gerät mittels des Mapping-Moduls verwerfen und kann jeden der UWB-Tags als einem bestimmten Gerät oder anderem Objekt zugeordnet benennen.
-
5 zeigt ein Beispiel für ein Cloud-basiertes System 500, in dem Aspekte und Merkmale des Umgebungs-Mapping basierend aud UWB-Tags realisiert werden können. Das Beispielsystem 500 umfasst das Computergerät 102 und die Kameravorrichtung 154, wie im Zusammenhang mit 1 erläutert. In diesem Beispielsystem 500 sind das Computergerät 102 und die Kameravorrichtung 154 so implementiert, dass sie auf ein Server-Computergerät 502 eines Netzwerksystems 504 zugreifen und mit diesem kommunizieren, beispielsweise über ein Kommunikationsnetzwerk 506. Das Server-Computergerät 502 implementiert eine Instanziierung des Mapping-Moduls 138, um die Standorte 144 jedes der UWB-Tags 120 in der Umgebung 114 zu bestimmen, die relativen Positionen 146 jedes der UWB-Tags zueinander zu bestimmen und die Standortzuordnungskarte 150 zu erstellen. Die Server-Computervorrichtung 502 kann auch eine Instanziierung des Objekterkennungsmoduls 158 implementieren, um die Objekte und/oder intelligenten Geräte in Bereichen der Umgebung anhand der Umgebungsbilder 156 zu identifizieren, die von den in der Umgebung positionierten Kameravorrichtungen 154 aufgenommen wurden.
-
Die Kameravorrichtung 154 kann die Umgebungsbilder 156 über das Kommunikationsnetzwerk 506 in das Netzwerksystem 504 hochladen. In ähnlicher Weise kann das Computergerät 102 die empfangenen Geräte-Identifizierungsinformationen 140, die UWB-Tag-Kennungen 142, die UWB-Entfernungsdaten 148 und jede andere Art von Umgebungsdaten in das Netzwerksystem 504 hochladen, um sie durch das Mapping-Modul 138, das von der Server-Rechenvorrichtung 502 implementiert wird, zu verarbeiten und auszuwerten. Das Hochladen von Daten von der Kameravorrichtung 154 und/oder von dem Computergerät 102 in das Netzwerksystem kann von den jeweiligen Geräten automatisch gesteuert oder optional von einem Benutzer der Geräte initiiert werden. Das Netzwerksystem 504 kann die hochgeladenen Umgebungsdaten als Eingaben von dem Computergerät 102 und/oder von der Kameravorrichtung 154 in das Mapping-Modul 138 empfangen, wie bei 508 angegeben, und zwar über das Kommunikationsnetzwerk 506.
-
Jedes der Geräte, jede der Anwendungen, jedes der Module, jeder der Server und/oder Dienste, die vorliegend beschrieben sind, kann über das Kommunikationsnetzwerk 506 kommunizieren, beispielsweise für die Datenkommunikation zwischen dem Computergerät 102 und dem Netzwerksystem 504 und für die Datenkommunikation zwischen der Kameravorrichtung 154 und dem Netzwerksystem. Das Kommunikationsnetzwerk 506 kann so ausgeführt sein, dass es ein drahtgebundenes und/oder ein drahtloses Netzwerk umfasst. Das Kommunikationsnetzwerk kann auch unter Verwendung jeder Art von Netzwerktopologie und/oder Kommunikationsprotokoll implementiert sein und kann als Kombination von zwei oder mehr Netzwerken dargestellt oder anderweitig implementiert sein, so dass es IP-basierte Netzwerke und/oder das Internet umfasst. Das Kommunikationsnetz 506 kann auch Mobilfunknetze umfassen, die von einem Mobilfunknetzbetreiber und/oder anderen Netzbetreibern verwaltet werden, wie z.B. einem Anbieter von Kommunikationsdiensten, einem Mobilfunkanbieter und/oder einem Internetdienstanbieter.
-
In diesem Beispiel für ein Cloud-basiertes System 500 steht das Netzwerksystem 504 für eine beliebige Anzahl von Cloud-basierten Zugangsseiten, die einen Dienst bereitstellen und/oder von denen Daten und Informationen verfügbar sind, z.B. über das Internet, für den Online- und/oder netzbasierten Zugang. Auf das Netzwerksystem 504 kann online zugegriffen werden, und es umfasst das Server-Computergerät 502, das für eine oder mehrere Hardware-Servervorrichtungen (z.B. Rechenvorrichtungen) steht, die in dem Netzwerksystem implementiert sein können. Das Server-Computergerät 502 hat einen Speicher 510 und einen Prozessor 512 und kann eine beliebige Anzahl und Kombination verschiedener Komponenten umfassen, wie in Bezug auf das in 9 dargestellte Beispielgerät näher ausgeführt ist.
-
In diesem Cloud-basierten Beispielsystem 500 implementiert das Server-Computergerät 502 das Mapping-Modul 138 und das Objekterkennungsmodul 158, beispielsweise in Software, in Hardware oder als eine Kombination von Software- und Hardwarekomponenten, im Allgemeinen wie mit Bezug auf 1 gezeigt und beschrieben. In diesem Beispiel sind das Mapping-Modul 138 und das Objekterkennungsmodul 158 als Softwareanwendungen oder Softwaremodule implementiert, wie z.B. ausführbare Softwareanweisungen (z.B. computerausführbare Anweisungen), die mit einem Verarbeitungssystem (z.B. dem Prozessor 512) des Server-Computers 502 ausführbar sind, um die Techniken des Umgebungs-Mapping basierend auf UWB-Tags auszuführen. Das Mapping-Modul 138 und das Objekterkennungsmodul 158 können in computerlesbaren Speichermedien, wie z.B. jeder geeigneten Speichereinrichtung (z.B. dem Gerätespeicher 510) oder in einem elektronischen Datenspeicher, der in dem Server-Computer 502 und/oder in dem Netzwerksystem 504 implementiert ist, gespeichert werden.
-
Das Netzwerksystem 504 kann mehrere Datenspeicher, Servergeräte und Anwendungen umfassen und kann mit verschiedenen Komponenten implementiert werden, wie im Folgenden unter Bezugnahme auf das in 9 gezeigte Beispielgerät beschrieben. Das Netzwerksystem 504 umfasst einen Datenspeicher 514, der als ein beliebiger geeigneter Speicher oder elektronischer Datenspeicher für netzwerkbasierte Datenspeicherung ausgeführt sein kann. Der Datenspeicher 514 wird im Netzwerksystem 504 verwendet, um jede Art von Umgebungsdaten und Geräteinformationen zu speichern, z.B. in einer Datenbank von Umgebungsgeräten 516 mit zugehörigen Gerätekennungen 518 und Gerätepositionen 520 in einer Umgebung. Die Gerätestandorte 520 können auch Global-Positioning-System(GPS)-Daten enthalten, die die Standorte der Objekte 122 und/oder der intelligenten Geräte 118 in der Umgebung 114 angeben, z.B. in einer Smart-Home-Umgebung.
-
Der Datenspeicher 514 kann auch im Netzwerksystem 504 verwendet werden, um jede Art von hochgeladenen Umgebungsdaten zu speichern, wie z.B. die hochgeladenen Umgebungsbilder 156 und/oder die verschiedenen UWB-Tag-Standorte 144 in der Umgebung 114, die relativen Positionen 146 der UWB-Tags zueinander und die durch das Mapping-Modul 138 erstellte Standortzuordnungskarte 150, wie in den 1-3 dargestellt und mit Bezug auf diese Figuren erläutert. Die von dem Mapping-Modul 138 und/oder von dem Objekterkennungsmodul 158 ermittelten Umgebungs- und Geräteinformationen können dann über das Kommunikationsnetzwerk 506 als Rückmeldung von dem Netzwerksystem 504 an das Computergerät 102 übermittelt werden, wie bei 522 angegeben.
-
Beispielverfahren 600, 700 und 800 gemäß Implementierungen für Umgebungs-Mapping basierend auf UWB-Tags werden nachstehend unter Bezugnahme auf die 6-8 erläutert. Generell können alle hierin beschriebenen Dienste, Komponenten, Module, Verfahren und/oder Vorgänge unter Verwendung von Software, Firmware, Hardware (z.B. feste Logikschaltungen), manueller Verarbeitung oder einer beliebigen Kombination davon implementiert werden. Einige Vorgänge der Beispielmethoden können im allgemeinen Kontext von ausführbaren Anweisungen beschrieben sein, die in einem computerlesbaren Speicher gespeichert sind, der ein lokaler und/oder Remote-Speicher eines Computerverarbeitungssystems ist, und Implementierungen können Softwareanwendungen, Programme, Funktionen und dergleichen umfassen. Alternativ oder zusätzlich kann jede hier beschriebene Funktion zumindest teilweise durch eine oder mehrere Hardware-Logikkomponenten ausgeführt werden, wie z.B. feldprogrammierbare Gate-Arrays (FPGAs), anwendungsspezifische integrierte Schaltungen (ASICs), anwendungsspezifische Standardprodukte (ASSPs), System-ona-Chip-Systeme (SoCs), komplexe programmierbare Logikbausteine (CPLDs) und dergleichen, ohne Beschränkung hierauf.
-
6 zeigt ein(mehrere) Beispielverfahren 600 für Umgebungs-Mapping basierend auf UWB-Tags und wird allgemein unter Bezugnahme auf ein Mapping-Modul beschrieben, das von einem Computergerät bzw. einer Recheneinrichtung implementiert wird. Die Reihenfolge, in der das Verfahren beschrieben wird, ist nicht als Einschränkung zu verstehen, vielmehr können die beschriebenen Verfahrensschritte in beliebiger Anzahl oder beliebiger Kombination in beliebiger Reihenfolge durchgeführt werden, um ein Verfahren oder ein alternatives Verfahren durchzuführen.
-
Bei 602 erfolgt eine Bestimmung der Standorte von UWB-Tags in einer Umgebung. Zum Beispiel bestimmt das von dem Computergerät 102 implementierte Mapping-Modul 138 einen UWB-Tag-Standort 144 jedes der UWB-Tags 120 in der Umgebung 114. Die UWB-Tags 120 werden für die Zuordnung zu entsprechenden Objekten 122 und/oder intelligenten Geräten 118 in der Umgebung 114 verortet, und jeder UWB-Tag wird mit einem digitalen Etikett 124 gekennzeichnet, das die Zuordnung zu einem oder mehreren der Objekte und/oder intelligenten Geräte anzeigt.
-
Bei 604 werden UWB-Entfernungsdaten erhalten, die von den UWB-Tags über den Austausch von Inband-Sitzungen mit einer UWB-Funkeinrichtung empfangen werden. Zum Beispiel empfängt das Mapping-Modul 138, das von dem Computergerät 102 implementiert wird, die UWB-Entfernungsdaten 148 wie Flugzeit(ToF)-, Auftreffwinkel(AoA)- und/oder Differenceof-Time-of-Arrival(TDoA)-Daten, die von den UWB-Tags 120 über einen Inband-Sitzungsaustausch mit der UWB-Funkeinrichtung 132 des Computergeräts empfangen werden.
-
Bei 606 wird ein Bild von einem Bereich der Umgebung aufgenommen, und bei 608 werden die Objekte in dem Bereich der Umgebung anhand des aufgenommenen Bildes identifiziert. Zum Beispiel nimmt die Kameravorrichtung 154 in der Umgebung 114 ein Bild 156 von der Umgebung oder von einem Bereich der Umgebung auf, und das Objekterkennungsmodul 158 identifiziert die Objekte 122 und/oder die intelligenten Geräte 118 in dem Bereich der Umgebung anhand des aufgenommenen Bildes.
-
Bei 610 erfolgt eine Bestimmung der relativen Positionen der einzelnen UWB-Tags in Bezug aufeinander. Zum Beispiel bestimmt das von dem Computergerät 102 implementierte Mapping-Modul 138 die relativen Positionen 146 jedes der UWB-Tags 120 in Bezug aufeinander in der Umgebung auf der Grundlage der UWB-Entfernungsdaten 148. Alternativ oder zusätzlich bestimmt das Mapping-Modul 138 die Positionen 144 und die relativen Positionen 146 jedes der UWB-Tags 120 in dem Bereich der Umgebung auf der Grundlage der identifizierten Objekte aus dem Umgebungsbild 156 der Umgebung.
-
Bei 612 wird eine Standortzuordnungskarte der Objekte in der Umgebung auf der Grundlage des Standorts und der relativen Position jedes der UWB-Tags, die den jeweiligen Objekten zugeordnet sind, erstellt. Beispielsweise erstellt das von dem Computergerät 102 implementierte Mapping-Modul 138 die Standortzuordnungskarte 150 der intelligenten Geräte 118 und/oder der Objekte 122 in der Umgebung 114 auf der Grundlage des Standorts 144 und der relativen Position 146 jedes der UWB-Tags 120, die den jeweiligen intelligenten Geräten und Objekten zugeordnet sind. Für eine Smart-Home-Umgebung kann das Mapping-Modul 138 die Standortzuordnungskarte 150 als Grundriss in einem dreidimensionalen Koordinatensystem der Umgebung 114 erstellen, einschließlich des Standorts der intelligenten Geräte und/oder der Objekte in der Gebäudeumgebung. Für Objekte und/oder intelligente Geräte, die anhand von Umgebungsbildern 156 bestimmt wurden, die mit einer oder mehreren Kameravorrichtungen 154 aufgenommen wurden, erstellt das Mapping-Modul 138 die Standortzuordnungskarte 150 als Grundriss des Gebäudes, einschließlich der Standorte der Objekte und/oder der intelligenten Geräte in dem Gebäude, wobei der Grundriss Positionen von Wänden des Gebäudes enthält, wie sie anhand der aufgenommenen Umgebungsbilder 156 ermittelt wurden.
-
7 zeigt ein(mehrere) Beispielverfahren 700 für Umgebungs-Mapping basierend auf UWB-Tags und wird allgemein mit Bezug auf ein Mapping-Modul beschrieben, das von einem Computergerät implementiert wird. Die Reihenfolge, in der das Verfahren beschrieben wird, ist nicht als Einschränkung zu verstehen, vielmehr können die beschriebenen Verfahrensschritte in beliebiger Anzahl oder Kombination in beliebiger Reihenfolge durchgeführt werden, um ein Verfahren oder ein alternatives Verfahren durchzuführen.
-
Bei 702 werden Kommunikationsverbindungen zwischen einem mobilen Gerät und UWB-Tags hergestellt, die für eine Zuordnung zu entsprechenden intelligenten Geräten in einer Umgebung verortet sind. Zum Beispiel wird das drahtlose Gerät 104 mit den UWB-Tags 120 in der Umgebung 114 kommunikativ verbunden, die auch das Computergerät 102 enthalten kann. Dies geschieht im Allgemeinen durch eine drahtlose Verbindung.
-
Bei 704 werden Informationen zur Geräteidentifizierung, die von den intelligenten Geräten übermittelt werden und aus denen die Identität eines intelligenten Geräts ermittelt werden kann, abgesucht. Zum Beispiel suchen die UWB-Tags 120 die Geräte-Identifizierungsinformationen 140 ab, die von den intelligenten Geräten 118 in der Umgebung übermittelt werden. Die Geräte-Identifizierungsinformationen 140 können über Bluetooth oder BLE von den intelligenten Geräten 118 in Form eines Gerätenamens, einer Bluetooth MAC ADDR, einer Received-Signal-Strength-Indication (RSSI) und anderer Informationen zur Geräteidentifizierung übermittelt werden. Darüber hinaus kann das vom Computergerät 102 implementierte Mapping-Modul 138 die von den intelligenten Geräten 118 in der Umgebung übermittelten Geräte-Identifizierungsinformationen 140 sowie die von den UWB-Tags in der Umgebung übermittelten UWB-Tag-Kennungen 142 empfangen.
-
Bei 706 wird eine geordnete Liste der intelligenten Geräte auf der Grundlage der Geräte-Identifizierungsinformationen erstellt, um das intelligente Gerät zu identifizieren, das sich am nächsten zu dem UWB-Tag befindet, und bei 708 wird auf der Grundlage der von dem intelligenten Gerät übermittelten Geräte-Identifizierungsinformationen bestimmt, welches der intelligenten Geräte einem UWB-Tag zugeordnet ist. Zum Beispiel kann jeder der UWB-Tags 120 das intelligente Gerät 118 identifizieren, das sich am nächsten zu dem UWB-Tag befindet, basierend auf den von den intelligenten Geräten empfangenen Geräte-Identifizierungsinformationen 140, und erstellt eine geordnete Liste der intelligenten Geräte basierend auf den Geräte-Identifizierungsinformationen, um das intelligente Gerät zu identifizieren, das sich am nächsten zu dem UWB-Tag befindet. Alternativ dazu empfängt das Mapping-Modul 138 (über ein Computergerät 102) die über Bluetooth oder BLE angekündigten Kommunikationen von den UWB-Tags 120 und anderen intelligenten Geräten in der Umgebung 114. Das Mapping-Modul 138 kann einen UWB-Tag 120 mit einem nahegelegenen intelligenten Gerät korrelieren, und zwar auf der Grundlage von RSSI-Messungen der über Bluetooth oder BLE angekündigten Kommunikation von den UWB-Tags und den intelligenten Geräten, basierend auf einem ähnlichen Signalpfadverlust. Das Mapping-Modul 138 kann dann einen UWB-Tag einem nahegelegenen intelligenten Gerät zuordnen und die Zuordnung zurück an den UWB-Tag übermitteln, z.B. über eine Inband-UWB-Kommunikation.
-
Bei 710 werden UWB-Entfernungsdaten bezogen, die von den UWB-Tags über einen Inband-Sitzungsaustausch mit einer UWB-Funkeinrichtung empfangen werden. Beispielsweise empfängt das von dem Computergerät 102 implementierte Mapping-Modul 138 die UWB-Entfernungsdaten 148 wie Time-of-Flight(ToF)-, Angle-of-Arrival(AoA)- und/oder Time-Difference-of-Arrival(TDoA)-Daten, die über einen Inband-Sitzungsaustausch mit der UWB-Funkeinrichtung 132 des Computergeräts von den UWB-Tags 120 empfangen werden.
-
Bei 712 erfolgt eine Bestimmung der relativen Position jedes der UWB-Tags in der Umgebung auf der Grundlage der UWB-Entfernungsdaten. Zum Beispiel kann ein UWB-Tag 116, der für die Zuordnung zu dem intelligenten Gerät 118 in der Umgebung 114 verortet ist, auf der Grundlage von Geräte-Identifizierungsinformationen, wie z.B. einer Bluetooth MAC ADDR, die von dem intelligenten Gerät übermittelt werden, eine Identität des intelligenten Geräts bestimmen. Darüber hinaus kann der UWB-Tag 116 empfangene Wi-Fi- oder Bluetooth-RSSI-Messungen in Verbindung mit den UWB-Positionsinformationen nutzen, um eine Liste nahegelegener intelligenter Geräte zu erstellen und zu sortieren und die MAC ADDR des intelligenten Geräts auszuwählen, das am nächsten zu dem UWB-Tag gelegen ist. Ferner kann in einer Umgebung 114, die das Computergerät 102 wie beispielsweise ein Mobiltelefon, ein Smartphone oder ein anderes drahtloses Gerät, das eine Netzwerkverbindung zu dem intelligenten Gerät 118 hat, enthält, der UWB-Tag 116, der für die Zuordnung zu dem intelligenten Gerät 118 in der Umgebung verortet ist, eine Identität des intelligenten Geräts 118 von dem Computergerät empfangen.
-
Bei 714 wird eine Standortzuordnungskarte der intelligenten Geräte in der Umgebung auf der Grundlage einer relativen Position jedes der UWB-Tags, die den jeweiligen intelligenten Geräten zugeordnet sind, erstellt. Beispielsweise erstellt das von dem Computergerät 102 implementierte Mapping-Modul 138 die Standortzuordnungskarte 150 der intelligenten Geräte 118 und/oder der Objekte 122 in der Umgebung 114 auf der Grundlage des Standorts 144 und der relativen Position 146 jedes der UWB-Tags 120, die den jeweiligen intelligenten Geräten und Objekten zugeordnet sind. Für eine Smart-Home-Umgebung kann das Mapping-Modul 138 die Standortzuordnungskarte 150 als Grundriss in einem dreidimensionalen Koordinatensystem der Umgebung 114 erstellen, einschließlich des Standorts der intelligenten Geräte und/oder der Objekte in der Gebäudeumgebung. Für Objekte und/oder intelligente Geräte, die anhand von Umgebungsbildern 156 bestimmt wurden, die mit einer oder mehreren Kameravorrichtungen 154 aufgenommen wurden, erstellt das Mapping-Modul 138 die Standortzuordnungskarte 150 als Grundriss des Gebäudes, einschließlich der Standorte der Objekte und/oder der intelligenten Geräte in dem Gebäude, wobei der Grundriss Positionen von Wänden des Gebäudes enthält, wie sie anhand der aufgenommenen Umgebungsbilder 156 bestimmt wurden.
-
8 zeigt ein(mehrere) Beispielverfahren 800 für Umgebungs-Mapping basierend auf UWB-Tags. Die Reihenfolge, in der das Verfahren beschrieben wird, ist nicht als Einschränkung zu verstehen, vielmehr können die beschriebenen Verfahrensschritte in beliebiger Anzahl oder Kombination und in beliebiger Reihenfolge durchgeführt werden, um ein Verfahren oder ein alternatives Verfahren durchzuführen.
-
Bei 802 werden Geräte-Identifizierungsinformationen, die von intelligenten Geräten in einer Umgebung gesendet werden, von UWB-Tags abgesucht. Beispielsweise werden ein oder mehrere UWB-Tags 120 für die Zuordnung zu den jeweiligen intelligenten Geräten 118 in der Umgebung 114 verortet, und jeder UWB-Tag wird mit einem digitalen Etikett 124 gekennzeichnet, das die Zuordnung zu einem der intelligenten Geräte angibt. Der eine oder die mehreren UWB-Tags 120 suchen Geräte-Identifizierungsinformation 140 ab, die von den intelligenten Geräten gesendet werden. In Implementierungen empfangen der eine oder die mehreren UWB-Tags 120 die Geräte-Identifizierungsinformation, die als Bluetooth oder Bluetooth Low Energy (BLE) von den intelligenten Geräten als Gerätename, Bluetooth MAC ADDR, Received-Signal-Strength-Indications (RSSI) und/oder jede andere Art von Geräteidentifizierungsinformation übermittelt werden.
-
Bei 804 wird das einem UWB-Tag nächstgelegene intelligente Gerät auf der Grundlage der Received-Signal-Strength-Indications (RSSI) bestimmt, die den von dem nächstgelegenen intelligenten Gerät empfangenen Geräte-Identifizierungsinformationen zugeordnet sind. Zum Beispiel kann jeder des einen oder der mehreren UWB-Tags 120 ein zu einem UWB-Tag nächstgelegenes intelligentes Gerät 118 bestimmen, und zwar auf der Grundlage der Received-Signal-Strength-Indications (RSSI), die den von dem nächstgelegenen intelligenten Gerät empfangenen Geräte-Identifizierungsinformationen 140 zugeordnet sind.
-
Bei 806 wird der UWB-Tag dem nächstgelegenen intelligenten Gerät zugeordnet. Zum Beispiel kann jeder des einen oder der mehreren UWB-Tags 120 sich selbst dem nächstgelegenen intelligenten Gerät 118 zuordnen, wie auf der Grundlage der empfangenen Geräte-Identifizierungsinformationen 140 bestimmt.
-
Bei 808 wird ein Zuordnungshinweis auf die Zuordnung des UWB-Tag zu dem nächstgelegenen intelligenten Gerät an ein Computergerät übermittelt, das ein Mapping-Modul implementiert, das so konfiguriert ist, dass es eine Standortzuordnungskarte erstellt. Zum Beispiel kann jeder des einen oder der mehreren UWB-Tags 120 dann seinen Zuordnungshinweis auf die Zuordnung des UWB-Tag zu dem nächstgelegenen intelligenten Gerät an ein Computergerät 102 übermitteln, von dem das Mapping-Modul 138 implementiert wird, das die Standortzuordnungskarte 150 der UWB-Tag-Zuordnung zu den jeweiligen intelligenten Geräten 118 in der Umgebung 114 auf der Grundlage der von den UWB-Tags empfangenen Zuordnungshinweise erstellt.
-
9 zeigt verschiedene Komponenten eines Beispielgeräts 900, das Aspekte der hier beschriebenen Techniken und Merkmale bzw. Funktionen für Umgebungs-Mapping basierend auf UWB-Tags praktisch ausführen kann. Das Beispielgerät 900 kann als eines der Geräte ausgeführt sein, die mit Bezug auf die vorangehenden 1-8 beschrieben wurden, nämlich jede Art eines drahtlosen Geräts, Mobilgeräts, Mobiltelefons, Klapptelefons, Client-Geräts, Begleitgeräts, gekoppelten Geräts, Anzeigegeräts, Tablet-, Computer-, Kommunikations-, Unterhaltungs-, Spiel-, Medienwiedergabe-Geräts und/oder jede andere Art von Computer- und/oder elektronischem Gerät. Beispielsweise können das Computergerät 102, die Kameravorrichtung 154 und/oder ein UWB-Tag 120, die mit Bezug auf die 1-8 wurden, als Beispielgerät 900 ausgeführt sein.
-
Das Beispielgerät 900 kann mehrere unterschiedliche Kommunikationseinrichtungen 902 enthalten, die eine drahtgebundene und/oder drahtlose Kommunikation von Gerätedaten 904 mit anderen Geräten ermöglichen. Die Gerätedaten 904 können beliebige der verschiedenen Gerätedaten und Inhalte umfassen, die generiert, verarbeitet, ermittelt, empfangen, gespeichert und/oder von einem Computergerät zu einem anderen kommuniziert werden. Generell können die Gerätedaten 904 jede Form von Audio-, Video-, Bild-, Grafik- und/oder elektronischen Daten umfassen, die von Anwendungen erzeugt werden, die auf einem Gerät ausgeführt werden. Die Kommunikationseinrichtungen 902 können auch Transceiver für die Mobiltelefonkommunikation und/oder für jede Art von Netzwerkdatenkommunikation umfassen.
-
Das Beispielgerät 900 kann auch verschiedene Arten von Dateneingabe-/Ausgabeschnittstellen (E/A-Schnittstellen) 906 enthalten, wie z.B. Datennetzwerkschnittstellen, die Verbindungen und/oder Kommunikationsverbindungen zwischen den Geräten, Datennetzen und anderen Geräten bereitstellen. Die E/A-Schnittstellen 906 können verwendet werden, um das Gerät mit jeder Art von Komponenten, Peripheriegeräten und/oder Zusatzgeräten zu verbinden, wie z.B. mit einer Computer-Eingabeeinrichtung, die in das Beispielgerät 900 integriert sein kann. Die E/A-Schnittstellen 906 können auch Dateneingangsanschlüsse enthalten, über die jede Art von Daten, Informationen, Medieninhalten, Kommunikationen, Nachrichten und/oder Eingaben empfangen werden können, wie z.B. Benutzereingaben in das Gerät sowie jede Art von Audio-, Video-, Bild-, Grafik- und/oder elektronischen Daten, die von einer beliebigen Inhalts- und/oder Datenquelle empfangen werden.
-
Das Beispielgerät 900 umfasst ein Prozessorsystem 908 mit einem oder mehreren Prozessoren (z.B. Mikroprozessoren, Controllern und dergleichen) und/oder einem Prozessor- und Speichersystem, das als System-on-Chip (SoC) implementiert ist und computerausführbare Anweisungen verarbeitet. Das Prozessorsystem 908 kann zumindest teilweise in Computerhardware ausgeführt werden, die Komponenten einer integrierten Schaltung oder eines On-Chip-Systems, einer anwendungsspezifischen integrierten Schaltung (ASIC), eines feldprogrammierbaren Gate-Array (FPGA), eines komplexen programmierbaren Logikbausteins (CPLD) und andere Implementierungen in Silizium und/oder anderer Hardware umfassen kann. Alternativ oder zusätzlich kann das Gerät mit einer beliebigen Kombination von Software, Hardware, Firmware oder festen Logikschaltungen implementiert werden, die in Verbindung mit Verarbeitungs- und Steuerschaltungen implementiert werden können, die allgemein bei 910 angegeben sind. Das Beispielgerät 900 kann auch jede Art von Systembus oder ein anderes Daten- und Befehlsübertragungssystem enthalten, das die verschiedenen Komponenten innerhalb des Geräts verbindet. Ein Systembus kann eine beliebige oder eine Kombination von verschiedenen Busstrukturen und -architekturen sowie Steuer- und Datenleitungen umfassen.
-
Das Beispielgerät 900 umfasst auch Speicher und/oder Speichervorrichtungen 912 (z.B. einen computerlesbaren Speicher), die eine Datenspeicherung ermöglichen, wie z.B. in Hardware ausgeführte Datenspeichervorrichtungen, auf die ein Computergerät zugreifen kann und die für eine dauerhafte Speicherung von Daten und ausführbaren Anweisungen (z.B. Softwareanwendungen, Programme, Funktionen und dergleichen) sorgen. Beispiele für die Speichervorrichtungen 912 umfassen flüchtige und nichtflüchtige Speicher, feste und wechselbare Medienvorrichtungen und jede geeignete Speichervorrichtung oder jeden geeigneten Datenspeicher, die bzw. der Daten für den Zugriff durch eine Rechenvorrichtung speichert. Die Speichervorrichtungen 912 können verschiedene Ausführungen von Direktzugriffsspeichern (RAM), Festwertspeichern (ROM), Flash-Speichern und anderen Arten von Speichermedien in verschiedenen Speichervorrichtungskonfigurationen umfassen. Das Beispielgerät 900 kann auch ein Massenspeichermedium umfassen.
-
Die Speichervorrichtungen 912 (z.B. als computerlesbare Speicher) stellen Datenspeichermechanismen bereit, um z.B. die Gerätedaten 904, andere Arten von Informationen und/oder elektronischen Daten und verschiedene Geräteanwendungen 914 (z.B. Softwareanwendungen und/oder Module) zu speichern. Zum Beispiel kann ein Betriebssystem 916 als Softwareanweisungen in einer Speichervorrichtung 912 gespeichert und von dem Prozessorsystem 908 als Softwareanwendung ausgeführt werden. Die Geräteanwendungen 914 können auch einen Gerätemanager umfassen, wie z.B. jede Form einer Steuerungsanwendung, einer Softwareanwendung, eines Signalverarbeitungs- und Steuermoduls, eines Codes, der für ein bestimmtes Gerät spezifisch ist, einer Hardware-Abstraktionsschicht für ein bestimmtes Gerät und so weiter.
-
In diesem Beispiel enthält das Gerät 900 ein Mapping-Modul 918, das verschiedene Aspekte der beschriebenen Merkmale und Techniken für Umgebungs-Mapping basierend auf UWB-Tags implementiert. Das Mapping-Modul 918 kann mit Hardwarekomponenten und/oder in Software als eine der Geräteanwendungen 914 implementiert werden, wie zum Beispiel bei Implementierung des Beispielgeräts 900 als Computergerät 102 und/oder als Kameravorrichtung 154, wie mit Bezug auf 1-8 beschrieben. Ein Beispiel des Mapping-Moduls 918 umfasst das Mapping-Modul 138, das von dem Computergerät 102 implementiert wird, beispielsweise als Softwareanwendung und/oder als Hardwarekomponenten in dem Computergerät. In Implementierungen kann das Mapping-Modul 918 unabhängige Verarbeitungs-, Speicher- und Logikkomponenten als in das Beispielgerät 900 integrierte Rechen- und/oder elektronische Einrichtung umfassen.
-
Das Beispielgerät 900 kann auch ein Mikrofon 920 und/oder Kameravorrichtungen 922 sowie Bewegungssensoren 924 enthalten, die beispielsweise als Komponenten einer Trägheitsmesseinheit (IMU) realisiert sein können. Die Bewegungssensoren 924 können durch verschiedene Sensoren gebildet werden, zum Beispiel durch ein Gyroskop, einen Beschleunigungsmesser und/oder anderen Arten von Bewegungssensoren, um die Bewegung des Geräts zu erfassen. Die Bewegungssensoren 924 können Sensordatenvektoren mit dreidimensionalen Parametern (z.B. Rotationsvektoren in x-, y- und z-Achsenkoordinaten) erzeugen, die den Standort, die Position, die Beschleunigung, die Rotationsgeschwindigkeit und/oder die Ausrichtung des Geräts angeben. Das Beispielgerät 900 kann auch eine oder mehrere Energiequellen 926 enthalten, z.B. bei Ausführung des Geräts als drahtloses Gerät und/oder mobiles Gerät. Die Energiequellen können ein Lade- und/oder Stromversorgungssystem umfassen und können als flexible Streifenbatterie, wiederaufladbare Batterie, geladener Superkondensator und/oder jede andere Art von aktiver oder passiver Energiequelle ausgeführt sein.
-
Das Beispielgerät 900 kann auch ein Audio- und/oder Videoverarbeitungssystem 928 enthalten, das Audiodaten für ein Audiosystem 930 und/oder Anzeigedaten für ein Anzeigesystem 932 erzeugt. Das Audiosystem und/oder das Anzeigesystem können alle Arten von Geräten oder Modulen umfassen, die Audio-, Video-, Anzeige- und/oder Bilddaten erzeugen, verarbeiten, anzeigen und/oder anderweitig wiedergeben. Anzeigedaten und Audiosignale können über jede Art von Audio- und/oder Videoverbindung oder Datenverbindung an eine Audiokomponente und/oder an eine Anzeigekomponente übermittelt werden. In Implementierungen sind das Audiosystem und/oder das Anzeigesystem integrierte Komponenten des Beispielgeräts 900. Alternativ dazu sind das Audiosystem und/oder das Anzeigesystem externe Peripheriekomponenten zu dem Beispielgerät.
-
Wenngleich Implementierungen für Umgebungs-Mapping basierend auf UWB-Tags in einer merkmals- und/oder verfahrensspezifischen Sprache beschrieben sind, sind die anliegenden Ansprüche nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Verfahren beschränkt. Vielmehr sind die spezifischen Merkmale und Verfahren als Implementierungsbeispiel für Umgebungs-Mapping basierend auf UWB-Tags beschrieben, so dass auch andere äquivalente Merkmale und Verfahren in den Schutzbereich der anliegenden Ansprüche fallen. Ferner sind verschiedene Beispiele beschrieben, deren jedes - wie sich versteht - unabhängig oder in Verbindung mit einem oder mehreren anderen beschriebenen Beispielen implementiert werden kann. Weitere Aspekte der vorliegend beschriebenen Techniken, Merkmale und/oder Verfahren beziehen sich auf einen oder mehrere der folgenden Punkte:
- Ein System, umfassend: UWB-Tags, die für eine Zuordnung zu jeweiligen Objekten in einer Umgebung verortet sind, wobei jeder UWB-Tag mit einem digitalen Etikett gekennzeichnet ist, das die Zuordnung zu einem oder mehreren der Objekte angibt; ein Mapping-Modul, das zumindest teilweise in Hardware ausgeführt und konfiguriert ist, um: einen Standort jedes der UWB-Tags in der Umgebung zu bestimmen;
- relative Positionen jedes der UWB-Tags in Bezug aufeinander zu bestimmen; und eine Standortzuordnungskarte der Objekte in der Umgebung auf der Grundlage des Standorts und der relativen Position jedes der UWB-Tags, die den jeweiligen Objekten zugeordnet sind, zu erstellen.
-
Alternativ oder zusätzlich zu dem vorstehend beschriebenen System ist das Mapping-Modul eingerichtet, um: UWB-Entfernungsdaten zu beziehen, die von den UWB-Tags über einen Inband-Sitzungsaustausch mit einer UWB-Funkeinrichtung empfangen werden, und den Standort und die relative Position jedes der UWB-Tags in der Umgebung auf der Grundlage der UWB-Entfernungsdaten zu bestimmen. Das Mapping-Modul ist so konfiguriert, dass es die Standortzuordnungskarte der Objekte in einem dreidimensionalen Koordinatensystem erstellt. Die Umgebung befindet sich in einem Gebäude, und das Mapping-Modul ist konfiguriert für die Erstellung der Standortzuordnungskarte als Grundriss des Gebäudes, einschließlich des Standorts der Objekte in dem Gebäude. Das System umfasst ferner ein mobiles Gerät, das für die Implementierung des Mapping-Moduls konfiguriert ist, um die Standortzuordnungskarte der Objekte in einem dreidimensionalen Koordinatensystem der Umgebung zu erstellen und die Standortzuordnungskarte auf einem Bildschirm des mobilen Geräts anzuzeigen. Ein UWB-Tag wird für die Zuordnung zu einem intelligenten Gerät in der Umgebung verortet und ist derart konfiguriert, dass er eine Identität des intelligenten Geräts auf der Grundlage von Geräte-Identifikationsinformationen feststellt, die von dem intelligenten Gerät übermittelt werden. Das System umfasst ferner ein mobiles Gerät, das für eine Netzwerkzuordnung zu den UWB-Tags und intelligenten Geräten in der Umgebung konfiguriert ist, wobei das mobile Gerät für die Implementierung des Mapping-Moduls und für den Empfang von Geräte-Identifikationsinformationen von den UWB-Tags und den intelligenten Geräten konfiguriert ist; und wobei das Mapping-Modul konfiguriert ist für die Bestimmung eines zu einem UWB-Tag nächstgelegenen intelligenten Geräts auf der Grundlage einer Received-Signal-Strength-Indication (RSSI), die den Geräte-Identifizierungsinformationen zugeordnet ist, die von dem UWB-Tag und dem nächstgelegenen intelligenten Gerät empfangen werden, und für die Zuordnung des UWB-Tag zu dem nächstgelegenen intelligenten Gerät. Das System umfasst ferner eine Kameravorrichtung, die konfiguriert ist für die Aufnahme eines Bildes von einem Bereich der Umgebung; ein Objekterkennungsmodul, das für die Identifizierung der Objekte in dem Bereich der Umgebung anhand des aufgenommenen Bildes konfiguriert ist; wobei das Mapping-Modul konfiguriert ist zum Bestimmen des Standorts und der relativen Position jedes der UWB-Tags in dem Bereich der Umgebung basierend auf den identifizierten Objekten in dem Bereich der Umgebung. Die Umgebung befindet sich in einem Gebäude, und das Mapping-Modul ist konfiguriert für die Erstellung einer Standortzuordnungskarte als Grundriss des Gebäudes, der den Standort der Objekte in dem Gebäude enthält, wobei der Grundriss Positionen von Wänden des Gebäudes enthält, wie sie anhand des aufgenommenen Bildes bestimmt wurden.
-
Verfahren, umfassend: das Herstellen von Kommunikationsverbindungen zwischen einem Mobilgerät und UWB-Tags, die für eine Zuordnung zu jeweiligen intelligenten Geräten in einer Umgebung verortet sind; das Absuchen nach Geräte-Identifizierungsinformationen, die von den intelligenten Geräten übermittelt werden, anhand derer eine Identität eines intelligenten Geräts bestimmt werden kann; das Bestimmen, welches der intelligenten Geräte einem UWB-Tag zugeordnet ist, auf der Grundlage der Geräte-Identifizierungsinformationen, die von dem intelligenten Gerät übermittelt werden; und das Erstellen einer Standortzuordnungskarte der intelligenten Geräte in der Umgebung auf der Grundlage einer relativen Position jedes der UWB-Tags, die den jeweiligen intelligenten Geräten zugeordnet sind.
-
Alternativ oder zusätzlich zu dem vorstehend beschriebenen Verfahren einer oder eine Kombination der folgenden Vorgänge: das Beziehen von UWB-Entfernungsdaten, die von den UWB-Tags über einen Inband-Sitzungsaustausch mit einer UWB-Funkeinrichtung empfangen werden, das Bestimmen der relativen Position jedes der UWB-Tags in der Umgebung auf der Grundlage der UWB-Entfernungsdaten. Die Standortzuordnungskarte wird in einem dreidimensionalen Koordinatensystem erstellt, das die relative Position jedes der UWB-Tags in der Umgebung enthält. Die Umgebung befindet sich in einem Gebäude, und die Standortzuordnungskarte wird als Grundriss des Gebäudes erstellt, einschließlich der relativen Position jedes der UWB-Tags in dem Gebäude. Die Geräte-Identifizierungsinformationen werden über Bluetooth oder Bluetooth Low Energy (BLE) von den intelligenten Geräten als Gerätename, Bluetooth MAC ADDR und Empfangsfeldstärke (RSSI) übermittelt; das Absuchen erfolgt durch die UWB-Tags, um die von den intelligenten Geräten übermittelten Geräte-Identifizierungsinformationen zu empfangen; und die Bestimmung erfolgt durch den UWB-Tag, um das intelligente Gerät zu identifizieren, das sich am nächsten zu dem UWB-Tag befindet, basierend auf den von den intelligenten Geräten empfangenen Geräte-Identifizierungsinformationen. Das Verfahren umfasst ferner das Erstellen einer geordneten Liste der intelligenten Geräte durch jeden der UWB-Tags auf der Grundlage der Geräte-Identifizierungsinformationen, um das intelligente Gerät zu identifizieren, das sich am nächsten zu dem UWB-Tag befindet. Die Geräte-Identifizierungsinformationen werden über Bluetooth oder Bluetooth Low Energy (BLE) von den intelligenten Geräten als Gerätename, Bluetooth MAC ADDR und Empfangsfeldstärke (RSSI) übermittelt; das Absuchen erfolgt durch das Mobilgerät, um die Geräte-Identifizierungsinformationen zu erhalten, die von den intelligenten Geräten übermittelt werden; und das Bestimmen erfolgt durch das Mobilgerät, um das intelligente Gerät zu identifizieren, das sich am nächsten zu dem UWB-Tag befindet, basierend auf den Geräte-Identifizierungsinformationen, die von den intelligenten Geräten empfangen werden. Das Verfahren umfasst ferner das Erstellen einer geordneten Liste der intelligenten Geräte durch jeden der UWB-Tags, basierend auf den Geräte-Identifizierungsinformationen, um das intelligente Gerät zu identifizieren, das zu dem UWB-Tag am nächsten gelegen ist. Die Geräte-Identifizierungsinformationen werden über Bluetooth oder Bluetooth Low Energy (BLE) von den intelligenten Geräten als Gerätename, Bluetooth MAC ADDR und Empfangsfeldstärke (RSSI) übermittelt; das Absuchen erfolgt durch das Mobilgerät, um die von den intelligenten Geräten übermittelten Geräte-Identifizierungsinformationen zu erhalten; und die Bestimmung erfolgt durch das Mobilgerät, um das zu dem UWB-Tag nächstgelegene intelligente Gerät auf der Grundlage der von den intelligenten Geräten erhaltenen Geräte-Identifizierungsinformationen zu identifizieren. Das Verfahren umfasst ferner das Aufnehmen eines Bildes von dem Bereich der Umgebung; das Identifizieren von Objekten in dem Bereich der Umgebung anhand des aufgenommenen Bildes; und das Bestimmen eines Standorts und der relativen Position jedes der UWB-Tags in dem Bereich der Umgebung basierend auf den identifizierten Objekten in dem Bereich der Umgebung. Die Umgebung befindet sich in einem Gebäude, und die Erstellung der Standortzuordnungskarte erfolgt als Grundriss des Gebäudes, einschließlich des Standorts der Objekte in dem Gebäude, wobei der Grundriss Positionen von Wänden des Gebäudes wie anhand des aufgenommenen Bildes bestimmt enthält.
-
System, umfassend: einen oder mehrere UWB-Tags, die für eine Zuordnung zu jeweiligen intelligenten Geräten in einer Umgebung verortet sind, wobei jeder UWB-Tag mit einem digitalen Etikett gekennzeichnet ist, das die Zuordnung zu einem der intelligenten Geräte angibt, wobei der eine oder die mehreren UWB-Tags konfiguriert sind für: das Absuchen von Geräte-Identifizierungsinformationen, die von den intelligenten Geräten gesendet werden; das Bestimmen eines zu einem UWB-Tag nächstgelegenen intelligenten Geräts basierend auf einer Angabe der Empfangsfeldstärke (RSSI), die der von dem UWB-Tag und dem nächstgelegenen intelligenten Gerät empfangenen Geräte-Identifizierungsinformation zugeordnet ist; das Zuordnen des UWB-Tag zu dem nächstgelegenen intelligenten Gerät; und das Übermitteln eines Zuordnungshinweises über die UWB-Tag-Zuordnung zu dem nächstgelegenen intelligenten Gerät an ein Computergerät, das das Mapping-Modul implementiert, das eingerichtet ist zum Erstellen einer Standortzuordnungskarte der UWB-Tag-Zuordnung zu den jeweiligen intelligenten Geräten in der Umgebung basierend auf den von den UWB-Tags erhaltenen Zuordnungshinweisen.
-
Alternativ oder zusätzlich zu dem vorstehend beschriebenen System eines oder eine Kombination der folgenden Merkmale: der eine oder die mehreren UWB-Tags ist bzw. sind konfiguriert für den Empfang der Geräte-Identifizierungsinformationen, die als Bluetooth oder Bluetooth Low Energy (BLE) von den intelligenten Geräten als Gerätename, Bluetooth MAC ADDR und Angabe der Empfangssignalstärke (RSSI) kommuniziert werden.