DE102019132052A1

DE102019132052A1 - Intelligente Internet-der-Dinge-Menüs mit Kameras

Info

Publication number: DE102019132052A1
Application number: DE102019132052.6A
Authority: DE
Inventors: Yi Wu; Zhengping Ji; Rachid Alameh
Original assignee: Motorola Mobility LLC
Current assignee: Motorola Mobility LLC
Priority date: 2018-11-28
Filing date: 2019-11-26
Publication date: 2020-05-28
Also published as: GB2580518B; CN111240555A; GB2580518A; US20200169427A1; GB201917285D0; US11233671B2

Abstract

Systeme und Verfahren zum Bereitstellen von intelligenten Internet-der-Dinge-Menüs (loT-Menüs) nutzen eine Kamera eines elektronischen Kommunikationsgeräts und beinhalten die Erfassung einer Abbildung eines IoT-Geräts von Interesse mittels einer Kamera des elektronischen Kommunikationsgeräts und die Identifizierung des loT-Geräts von Interesse. Das IoT-Gerät von Interesse wird angezeigt und kann von dem Benutzer des Geräts ausgewählt werden. Der Benutzer des elektronischen Kommunikationsgeräts wird identifiziert und seine Verhaltenshistorie hinsichtlich des ausgewählten IoT-Geräts analysiert. Anschließend wird nicht ein Vollmenü, sondern vielmehr ein benutzerspezifisches IoT-Gerätesteuerungsmenü generiert und dem Benutzer präsentiert.

Description

TECHNISCHES GEBIET
Vorliegende Erfindung betrifft allgemein vernetzte elektronische Geräte und insbesondere Systeme und Verfahren, die dem Nutzer Interaktionen mit Internet-der-Dinge-Geräten (IoT-Geräten) erleichtern.
HINTERGRUND
Das Internet der Dinge ist ein Netzwerk von physischen Geräten zusätzlich zu den mehr traditionellen netzwerkspezifischen Komponenten wie Server, Schalter usw. IoT-Geräte können unter anderem Haushaltsgeräte (wie beispielsweise Waschmaschinen und Kühlschränke) und andere Geräte (wie beispielsweise Thermostate, Leuchten usw.) mit elektronischen Komponenten, Software und Konnektivitätselementen sein, die eine Verbindung des Geräts mit anderen Geräten oder Netzwerkelementen ermöglichen, um Daten zu sammeln, aktiv zu werden oder weitere nützliche Funktionen bereitzustellen.
Aufgrund ihrer Konnektivität können viele loT-Geräte fernüberwacht und ferngesteuert werden, sobald sie einmal richtig konfiguriert sind. Die Vielzahl von verfügbaren Geräten und die entsprechende Diversität von Implementierungen der Benutzeroberflächen können jedoch Probleme bereiten, wenn Nutzer versuchen, eine Schnittstelle mit bestimmten loT-Geräten zu bilden.
Der nachstehenden Beschreibung ist vorauszuschicken, dass diese sich gegebenenfalls mit einigen oder sämtlichen Nachteilen befasst, die in dem Abschnitt „Hintergrund“ aufgeführt oder implizit enthalten sind, dass jedoch der Rahmen der vorliegenden Erfindung oder der Schutzumfang der anliegenden Ansprüche hierdurch nicht eingeschränkt wird, außer in dem Umfang, der in den Ansprüchen explizit angegeben ist.
Ferner ist anzumerken, dass die Ausführungen in dem Abschnitt „Hintergrund“ die eigenen Beobachtungen, Überlegungen und Gedanken der Erfinder wiederspiegeln und keinesfalls eine genaue Katalogisierung oder umfassende Zusammenfassung des genannten Standes der Technik oder bekannter Vorgehensweisen sind. Insofern schließen die Erfinder diesen Abschnitt als zugelassenen oder angenommenen Stand der Technik ausdrücklich aus. Darüber hinaus basieren eine oder mehrere erstrebenswerte oder zweckmäßige Verfahren oder Handlungsoptionen, die vorliegend angegeben oder implizit enthalten sind, ebenfalls auf eigenen Beobachtungen und Gedanken der Erfinder. Es ist daher nicht davon auszugehen, dass diese eine im Stand der Technik anerkannte Erwünschtheit angeben.
Figurenliste
Diese Verfahren sowie deren Ziele und Vorteile werden nachstehend im Detail erläutert, wobei auf die anliegenden Zeichnungen Bezug genommen wird. Merkmale der vorliegenden Verfahren sind in den angefügten Ansprüchen angegeben.

1 ist eine schematische Darstellung eines mobilen elektronischen Geräts, bei welchem verschiedene Ausführungsformen der vorliegenden Erfindung implementierbar sind;
2 ist eine schematische Darstellung einer Geräteumgebung, wobei ein Benutzergerät gemäß einer Ausführungsform der vorliegenden Erfindung mit einer Gruppe von loT-Geräten interagiert;
3 zeigt schematisch ein Beispiel einer Bedienoberfläche, die in der Umgebung von 2 vorgesehen ist;
4 zeigt ein erstes Beispiel eines benutzerdefinierten Menüs zum Steuern einer loT-Beleuchtungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
5 zeigt ein zweites Beispiel eines benutzerdefinierten Menüs zum Steuern einer loT-Beleuchtungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
6 zeigt ein erstes Beispiel eines benutzerdefinierten Menüs zum Steuern eines loT-Fernsehgeräts gemäß einer Ausführungsform der vorliegenden Erfindung;
7 zeigt ein zweites Beispiel eines benutzerdefinierten Menüs zum Steuern eines loT-Fernsehgeräts gemäß einer Ausführungsform der vorliegenden Erfindung;
8 zeigt schematisch ein Beispiel einer Benutzeroberfläche zur Geräteauswahl gemäß einer Ausführungsform der vorliegenden Erfindung, wobei die möglichen loT-Geräte verschiedener Art sind;
9 zeigt schematisch ein Beispiel einer Benutzeroberfläche zur Geräteauswahl gemäß einer Ausführungsform der vorliegenden Erfindung, wobei die möglichen loT-Geräte gleicher Art sind; und
10 zeigt ein Flussdiagramm zur Darstellung eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung zur Bereitstellung von Smart-Menüs für loT-Geräte durch die Verwendung einer Kamera eines Benutzergeräts.

DETAILBESCHREIBUNG
Vor der detaillierten Beschreibung von Ausführungsformen der vorliegenden Erfindung werden einige Ausführungsformen in einem Überblick dargestellt, der die nachstehend Detailbeschreibung für den Leser leichter verständlich machen soll. Bestehende loT-Netzwerkeinstellungen erfordern generell, dass der Benutzer das zu paarende loT-Gerät auswählt und sich später an die Paarung erinnert, um Steuerbefehle an das Gerät zu senden. Eine solche Einstellung erfordert eine visuelle Geräteschnittstelle, die verfügbare Geräte zeigt, und sie erfordert die Auswahl einer interagierenden Benutzereingabe.
Hinzu kommt, dass bestehende loT-Geräte, sobald sie gepaart sind, für alle Benutzer die von den Herstellern bereitgestellte gleiche Benutzeroberfläche zeigen, so dass Benutzer oftmals ein kompliziertes Systemmenü durchsuchen müssen, um die gewünschte Option zu finden. Kurz gesagt: das Steuerungsmenü ist nicht personalisiert und kann kompliziert sein. In einer Ausführungsform der vorliegenden Erfindung jedoch können sich mehrere Geräte gleichen Typs in der Kameraansicht eines Benutzergeräts, zum Beispiel eines Mobiltelefons, befinden, und darüber hinaus zeigt das Benutzergerät dann ein relevantes Steuerungsmenü an, das auf die Gewohnheiten des Benutzers zugeschnitten ist bzw. basierend auf den Präferenzen des Benutzers für diesen personalisiert ist. Dieser zuletzt genannte Vorteil wird in einer Ausführungsform über eine Authentifizierung sowie über verhaltensgestütztes Lernen und Prädiktion ermöglicht.
Im Überblick: ein personalisierter und vereinfachter drahtloser Steuerungsmechanismus für IoT-Geräte erkennt ein gewünschtes Gerät, das zu steuern ist, und stellt eine benutzerdefinierte Benutzeroberfläche bereit. Bezüglich der Erkennung des IoT-Geräts nutzt das System die Kamera des Benutzergeräts, welches z.B. ein Smartphone ist, wenn die Kamera auf das gewünschte loT-Gerät gerichtet wird. Was die Benutzeroberfläche betrifft, lässt sich das erkannte IoT-Gerät mittels eines vereinfachten Steuerungsmenüs des Geräts über die Anzeigevorrichtung der Kamera steuern.
Mit diesem Überblick und unter Bezugnahme auf die anliegenden Zeichnungsfiguren werden nunmehr die erfindungsgemäßen Verfahren dargestellt, die in einer geeigneten oder mittels einer geeigneten Geräteumgebung implementiert werden. Die folgende Gerätebeschreibung basiert auf Ausführungsformen und Beispielen, innerhalb derer oder mittels derer die beschriebenen Prinzipien verwirklicht werden können, die jedoch nicht als Einschränkung der Ansprüche hinsichtlich alternativer, nicht explizit beschriebener Ausführungsformen zu sehen sind.
1 zeigt als Beispiel ein mobiles elektronisches Kommunikationsgerät, bei welchem Ausführungsformen der vorliegenden Erfindung implementierbar sind. Es versteht sich jedoch, dass auch Geräte eines anderen Typs verwendet werden können, unter anderem zum Beispiel Laptop-Computer, Tablet-Computer usw. Es versteht sich ferner, dass abhängig von der Präferenz eines Benutzers, von der Verfügbarkeit von Komponenten, aus Preisgründen und aus anderen Überlegungen bei einer gegebenen Implementierung zusätzliche oder alternative Komponenten verwendet werden können.
In der dargestellten Ausführungsform umfassen die Komponenten des Benutzergeräts 110 einen Anzeigebildschirm 120, Anwendungen (z.B. Programme) 130, einen Prozessor 140, einen Speicher 150, eine oder mehrere Eingabekomponenten 160 wie beispielsweise eine RF-Eingabeeinrichtung oder drahtgebundene Eingabeeinrichtungen, unter anderem zum Beispiel eine oder mehrere Antennen und eine zugeordnete Schaltung und Logik. Die Antennen und die zugeordnete Schaltung können eine Anzahl von Protokollen unterstützen, z.B. WiFi, Bluetooth, zellulare Protokolle etc.
Das dargestellte Gerät 110 hat auch eine oder mehrere Komponenten 170 wie RF-Ausgabeeinrichtungen (Radiofrequenz-Ausgabeeinrichtungen) oder drahtgebundene Ausgabeeinrichtungen. Die RF-Ausgabeeinrichtungen können ähnlich eine beliebige Anzahl von Protokollen unterstützen, z.B. WiFi, Bluetooth, zellulare Protokolle etc., und sie können dieselben sein wie die zugeordneten Eingabeeinrichtungen oder können sich mit diesen überlappen. Es versteht sich, dass ein physischer Eingang sowohl dem Senden als auch dem Empfangen dienen kann.
Der Prozessor 140 kann ein Mikroprozessor, ein Mikrocomputer, eine anwendungsspezifische integrierte Schaltung oder eine andere geeignete integrierte Schaltung sein. Zum Beispiel kann der Prozessor 140 mittels eines oder mehrerer Mikroprozessoren oder Steuereinheiten einer gewünschten Familie oder von einem gewünschten Hersteller implementiert sein. Ähnlich ist der Speicher 150 ein nichttransitorisches Medium, das sich auf derselben integrierten Schaltung wie der Prozessor 140 befinden kann (jedoch nicht muss). Zusätzlich oder alternativ kann über ein Netzwerk, z.B. einen Cloudbasierten Massenspeicher, auf den Speicher 150 zugegriffen werden. Der Speicher 150 kann einen Speicher mit wahlfreiem Zugriff (d.h. Synchronous Dynamic Random Access Memory (SDRAM), Dynamic Random Access Memory (DRAM), RAMBUS Dynamic Random Access Memory (RDRM) oder ein anderes Speichergerät oder Speichersystem mit wahlfreiem Zugriff) umfassen. Zusätzlich oder alternativ kann der Speicher 150 einen Nur-LeseSpeicher (d.h. eine Festplatte, einen Flash-Speicher oder ein Speichergerät einer anderen gewünschten Art) umfassen.
Die in dem Speicher 150 gespeicherten Informationen können einen Programmcode (z.B. Anwendungen 130), der einem oder mehreren Betriebssystemen oder Anwendungen zugeordnet ist, sowie Informationsdaten, z.B. Programmparameter, Prozessdaten etc. umfassen. Das Betriebssystem und die Anwendungen werden in der typischen Weise über ausführbare Befehle implementiert, die in einem nichttransitorischen computerlesbaren Medium (z.B. dem Speicher 150) gespeichert sind, um Basisfunktionen des elektronischen Geräts 110 zu steuern. Solche Funktionen sind unter anderem zum Beispiel Interaktionen zwischen verschiedenen internen Komponenten und die Speicherung von Anwendungen und Daten in dem Speicher 150 und deren Abruf aus dem Speicher 150.
Was ferner die Anwendung und die Module betrifft, nutzen diese in der charakteristischen Weise das Betriebssystem, um spezifischere Funktionen bereitzustellen, wie zum Beispiel einen Dateisystemdienst und die Handhabung von geschützten und ungeschützten Daten, die in dem Speicher 150 gespeichert sind. In einer Ausführungsform sind Module Softwareagenten, die Hardwarekomponenten enthalten oder mit solchen interagieren, zum Beispiel ein oder mehrere Sensoren, und die die Operationen und Interaktionen des Geräts 110 im Hinblick auf die beschriebenen Ausführungsformen verwalten.
In einer Ausführungsform hat das Gerät 110 eine Kamera 180, die mit dem Geräteprozessor 140 in Verbindung steht. Die Kamera 180 enthält eine Betriebssoftware oder ist mit einer solchen verlinkt und kann benutzt werden für die Bilderfassung, für bildbasierte Aufgaben wie Authentifizierung sowie für andere gewünschte Aufgaben.
Was die Informationsdaten wie beispielsweise Programmparameter und Prozessdaten betrifft, können diese nichtausführbaren Informationen durch das Betriebssystem oder eine Anwendung referenziert, bearbeitet oder geschrieben werden. Solche Informationsdaten können zum Beispiel Daten enthalten, die bei der Herstellung in dem Gerät vorprogrammiert werden, Daten, die von dem Gerät erzeugt oder von dem Benutzer hinzugefügt werden, oder andere Informationen einer Informationsvielfalt, die in Server oder andere Geräte, mit denen das Gerät während seines laufenden Betriebs in Verbindung steht, hochgeladen oder von dem Server oder anderen Geräten heruntergeladen werden.
In einer Ausführungsform ist eine Stromversorgung 190 wie beispielsweise eine Batterie oder eine Brennstoffzelle vorhanden, um das Gerät 110 und seine Komponenten mit Strom zu versorgen. Zusätzlich oder alternativ kann das Gerät 100 extern versorgt werden, z.B. durch eine Fahrzeugbatterie, eine Steckdose oder eine andere Stromquelle. In dem dargestellten Beispiel stehen alle oder einige der internen Komponenten über einen oder mehrere gemeinsame oder eigene interne Kommunikationsverbindungen 195, z.B. einen internen Bus, miteinander in Verbindung.
In einer Ausführungsform ist das Gerät 110 derart programmiert, dass der Prozessor 140 und der Speicher 150 mit anderen Komponenten des Geräts zusammenwirken, um vielfältige Funktionen auszuüben. Der Prozessor 140 kann verschiedene Module enthalten oder implementieren und kann Programme ausführen, um verschiedene Aktivitäten zu initiieren, zum Beispiel eine Anwendung starten, Daten übertragen, zwischen verschiedenen graphischen Benutzerschnittstellenobjekten umschalten (z.B. zwischen verschiedenen Anzeigesymbolen, die mit ausführbaren Anwendungen verknüpft sind, umschalten). Wie vorstehend ausgeführt wurde, kann das Gerät 110 einen oder mehrere Anzeigebildschirme 120 enthalten. Diese können eine integrierte Anzeigevorrichtung oder eine externe Anzeigevorrichtung oder beides umfassen und können einen oder mehrere Berührungssensoren 180 umfassen.
2 zeigt eine schematische Geräteumgebung mit einem Benutzergerät 110, das mit einer Gruppe von loT-Geräten 201, 203, 205, 207, 209 gemäß einer oder mehrerer Ausführungsformen der vorliegenden Erfindung zusammenwirkt. In dem dargestellten Beispiel sind die loT-Geräte 201, 203, 205, 207, 209 als Beleuchtungskörper dargestellt. Es versteht sich jedoch, dass die Geräte 201, 203, 205, 207, 209 auch andere IoT-Geräte sein können und nicht vom selben Typ sein müssen.
Das Benutzergerät 201, welches ein Smartphone oder ein anderes tragbares elektronisches Kommunikationsgerät sein kann, wie dieses zum Beispiel in 1 dargestellt ist, enthält eine Kamera 140 (1). Der Blickwinkel der Kamera 140 umfasst in dem dargestellten Beispiel die Gruppe von loT-Geräten 201, 203, 205, 207, 209. Darüber hinaus wird die Entfernung zwischen dem Benutzergerät 110 und jedem loT-Gerät 201, 203, 205, 207, 209 ermittelt (in der Figur als Entfernung D1, D3, D5, D7, D9 dargestellt). Wie in dem dargestellten Beispiel zu sehen ist, ist D9 die größte Entfernung, was bedeutet, dass das loT-Gerät 209 am weitesten von dem Benutzergerät 110 entfernt ist, und D7 ist die kleinste Entfernung, was bedeutet, dass das loT-Gerät 207 am nächsten zu dem Benutzergerät 110 liegt. Die anderen loT-Geräte 201, 203 und 205 befinden sich jeweils in den dazwischen liegenden Entfernungen D1, D3 und D5.
Damit das Benutzergerät 110 ermitteln kann, welches Gerät für den Benutzer aktuell von Interesse ist, wird die kleinste IoT-Gerät-Entfernung (D7) in der Kameraansicht identifiziert, und das Gerät 110 markiert dieses nächstgelegene Gerät 207 auf dem Bildschirm, wie das in 3 gezeigt ist. Das Benutzergerät geht davon aus, dass das nächstgelegene Gerät jenes ist, mit welchem der Benutzer interagieren möchte.
Die Markierung 301 kann ein Kästchen, ein Umriss, eine Farbänderung oder eine andere geeignete Änderung für eine visuelle Unterscheidung des interessierenden loT-Geräts 207 von den restlichen loT-Geräten 201, 203, 205, 209 sein. Alternativ oder zusätzlich zu einer Änderung der Abbildung des interessierenden IoT-Geräts 207 kann das Benutzergerät 110 die Abbildungen der verbleibenden loT-Geräte 201 203, 205, 209 ändern, indem diese zum Beispiel ausgeblendet werden, gelöscht werden usw.
Das markierte loT-Gerät (207 in diesem Beispiel) kann dann von dem Benutzer ausgewählt werden, um eine Benutzeroberfläche zum Steuern des interessierenden loT-Geräts 207 zu öffnen. Alternativ kann der Benutzer anzeigen, dass das markierte Gerät nicht dasjenige von Interesse ist, indem er über das markierte Gerät wischt, auf die Abbildung eines anderen Geräts tippt etc. In dieser Phase kann auch eine Vollmenü-Option 303 bereitgestellt werden, falls der Benutzer sowohl das markierte Gerät 207 auswählen als auch ein Vollmenü für dieses Gerät 207 sehen möchte.
In einer Ausführungsform ist das Benutzergerät 110 derart konfiguriert, dass es den Benutzer erkennt (z.B. durch eine Gesichtserkennung, eine vorherige Authentifizierung etc.) und die wahrscheinlichsten Aktionen prädiziert, die von diesem Benutzer bezüglich des identifizierten loT-Geräts 207 auszuführen sind, oder dass auf frühere Benutzereingriffe/Historien hinsichtlich des speziellen Geräts geklickt wird. Die Prädiktion basiert in einer Ausführungsform auf früheren Aktionen desselben Benutzers bezüglich des interessierenden loT-Geräts 207, zum Beispiel auf dem Verlauf der Benutzerbefehle, der Zugriffserlaubnis, der Zeit usw. In einer Ausführungsform der vorliegenden Erfindung kann der Benutzer anstelle des prädiktionsbasierten Menüs auch ein Vollmenü anfordern.
4 und 5 zeigen Beispiele von prädiktiven Menüs jeweils für einen ersten und einen zweiten Benutzer des Benutzergeräts 110. In diesen Figuren geht man davon aus, dass das ausgewählte IoT-Gerät ein Beleuchtungskörper ist. Wie in 4 zu sehen ist, enthält das benutzerdefinierte Menü für den ersten Benutzer drei Einstellungssteuerelemente 401, die der Benutzer 1 am häufigsten verwendet. In dem dargestellten Beispiel umfassen diese die Lichtquelleneinstellungen An/Aus, Timer und Anwesenheitserfassung (z.B. derart, dass das Licht bei Erfassung einer Anwesenheit angeschaltet wird).
Dagegen umfassen die vorgesehenen Auswahlen in dem prädiktiven Menü für den zweiten Benutzer wie in 5 gezeigt drei Einstellungssteuerungselemente 503, nämlich An/Aus, Dimmen und Tag/Nacht (z.B. An während der Stunden bei Nacht und Aus während der Stunden bei Tag). Es versteht sich, dass diese Menüs auf dem hypothetischen früheren Steuerungsverlauf von Benutzer 1 bzw. Benutzer 2 basieren und identisch sein können, sich überlappen können oder vollkommen verschieden sein können, wie es deren jeweiliger Verlauf vorschreibt. Für die darstellbaren Optionen gibt es keine minimale oder maximale Anzahl, doch wurden für dieses Beispiel drei Auswahlmöglichkeiten gewählt.
Wie vorangehend bereits ausgeführt wurde, kann das gesteuerte loT-Gerät von Interesse ein beliebiges loT-Gerät sein, wobei 6 und 7 in diesem Zusammenhang mögliche Optionen zeigen, die zwei verschiedenen Benutzern präsentiert werden, wenn das loT-Gerät von Interesse ein loT-Fernsehgerät ist. Für den ersten Benutzer zeigt die Benutzeroberfläche des Geräts 110 drei Optionen 601, und zwar NETFLIX, AMAZON und BRAVO ( 6), während die Benutzeroberfläche des Geräts 110 für den zweiten Benutzer die drei Optionen 703, nämlich STARZ, TLC und HBO (7) zeigt.
Jede Benutzeroberfläche, die in den 4-7 gezeigt ist, stellt auch eine Vollmenü-Option 405, 505, 605, 705 bereit, falls sich der Benutzer an diesem Punkt entscheidet, ein Vollmenü anzufordern. Zum Beispiel kann der Benutzer befinden, dass die ihn interessierende Option auf dem prädiktiven Menü nicht gezeigt ist und kann deshalb die Vollmenü-Option 405, 505, 605, 705 wählen, um alle Auswahlmöglichkeiten zu sehen oder auf diese zuzugreifen. Wie vorangehend bereits angemerkt wurde, kann eine Vollmenü-Option 303 auch bereits in der Erkennungsphase des Geräts 110 bereitgestellt werden.
Wie nachstehend im Zusammenhang mit 8 eingehender erläutert wird, ist die Erkennung des gewünschten loT-Geräts nicht immer einfach. Wenn zum Beispiel zwei Geräte gleich weit von dem Benutzergerät 110 entfernt sind, wie in 8 gezeigt ist, in der sich die beiden loT-Geräte 801 und 803 in der gleichen Entfernung D von dem Benutzergerät 110 befinden, gibt es kein am nächsten gelegenes Gerät. Durch die Wahl eines Gerätetyps über die Eingabeaufforderungen 805 und 807 kann der Benutzer die gewünschten IoT-Geräte unterscheiden, jedoch nur, wenn die infrage kommenden loT-Geräte voneinander verschiedene Gerätetypen sind.
Wie 9 zeigt, liegen zwei identische loT-Geräte 901 und 903 gegebenenfalls in der gleichen Entfernung D zu dem Benutzergerät 110. Für den Fall, dass die loT-Geräte nicht nur vom gleichen Typ sind, sondern auch gleich weit von dem Benutzergerät 110 entfernt sind, ist das Gerät 110 in einer Ausführungsform derart konfiguriert, dass es den Benutzer auffordert, sich näher an das interessierende IoT-Gerät heranzubewegen. Solchermaßen kann das Gerät 110 in dem Beispiel von 9 die Aufforderung 905 anzeigen: „Bewegen Sie sich näher zu dem IoT-Gerät von Interesse“. Sobald sich der Benutzer (der das Gerät 110 hält), näher an das IoT-Gerät von Interesse heranbewegt, wird die Entfernung zwischen dem loT-Gerät von Interesse und dem Benutzergerät 110 zur kleinsten Entfernung und lässt sich für die Identifizierung des interessierenden IoT-Geräts nutzen.
Es wird auf das Flussdiagramm von 10 Bezug genommen. Dieses Flussdiagramm zeigt in Übereinstimmung mit der vorangehenden Erläuterung ein Verfahren zum Bereitstellen von Smart-Menüs für loT-Geräte durch die Verwendung einer Kamera eines Benutzergeräts. In Schritt 1001 des Verfahrens 1000 initiiert der Benutzer den IoT-Steuerungsprozess, indem er zum Beispiel eine entsprechende Anwendung aktiviert. In Schritt 1003 aktiviert das Benutzergerät 110 seine Kamera 190. Alternativ ist der loT-Erkennungsprozess jedes Mal aktiv, wenn die Kamera des Telefons aktiv ist.
Wenn sich ein loT-Gerät in der Kameraansicht befindet, wie in Schritt 1005 ermittelt, berührt der Benutzer im weiteren Verlauf in Schritt 1007 das Gerät 110 auf dessen Anzeigevorrichtung. Andernfalls führt der Ablauf zurück zu Schritt 1003. Wenn der Benutzer in Schritt 1007 ein Gerät in der Anzeigevorrichtung des Benutzergeräts 110 berührt hat, durchsucht das Benutzergerät 110 in Schritt 1009 eine Geräteliste in einem aktuell bekannten IoT-Netzwerk. Wenn in dem Netzwerk nur ein loT-Gerät vorhanden ist, wie in Schritt 1011 ermittelt, stellt das Benutzergerät 110 direkt eine Verbindung mit diesem IoT-Gerät her.
Sind stattdessen mehrere loT-Geräte in dem Netzwerk vorhanden, wie in Schritt 1011 ermittelt, jedoch nur ein Gerät der von dem Benutzer ausgewählten Art, führt der Ablauf zu Schritt 1013, in welchem das Benutzergerät 110 die SSID (Service Set Identifier) des loT-Geräts abfragt und eine Verbindung mit dem Gerät herstellt.
Wenn jedoch von der Art des Geräts, das der Benutzer in dem Netzwerk ausgewählt hat, mehrere loT-Geräte vorhanden sind, wie in Schritt 1011 ermittelt, führt der Ablauf zu den Schritten 1017 und 1019, in denen die Objektentfernung auf zwei verschiedene Arten ermittelt wird. Insbesondere schätzt das Benutzergerät in Schritt 1017 die Entfernung zwischen dem Telefon und dem IoT-Gerät, indem es die Größe des Geräts auf der Anzeigevorrichtung bestimmt und dabei auch die Entfernung zwischen dem Benutzergerät 110 und sämtlichen IoT-Geräten in dem bekannten Netzwerk, die dem von dem Benutzer ausgewählten Typ entsprechen, indem in Schritt 1019 für jedes solche IoT-Gerät der BT RSSI-Wert (Bluetooth Received Signal Strength Indiacator) bestimmt wird.
Wenn die durch die erste Vorgehensweise geschätzte Entfernung innerhalb einer vorgegebenen Toleranz mit einer durch RSSI geschätzten Entfernung übereinstimmt, wie in Schritt 1019 ermittelt, stellt das Benutzergerät 110 in Schritt 1021 eine Verbindung mit dem Gerät her, auf welches die Übereinstimmung zutrifft.
Wurde ein loT-Gerät von Interesse identifiziert und mit dem Benutzergerät 110 verbunden, authentifiziert das Benutzergerät 110 in Schritt 1023 den Benutzer. Dies kann durch ein geeignetes Verfahren erfolgen, zum Beispiel durch eine Gesichtserkennung mit einer Kamera des Geräts, wobei der Benutzer mit der Frontkamera des Geräts authentifiziert wird, wenn der Benutzer die Rückkamera des Geräts auf das IoT-Gerät gerichtet hat, das für den Benutzer von Interesse ist. Alternativ oder zusätzlich kann das Gerät 110 eine Fingerabdruck-Authentifizierung nutzen (z.B. den Fingerabdruck verwenden, der erfasst wurde, als der Benutzer das IoT-Gerät ausgewählt hat) oder eine Spracherkennung.
Nach erfolgter Identifizierung des loT-Geräts von Interesse und Authentifizierung des Benutzers, generiert das Benutzergerät 110 in Schritt 1025 ein vereinfachtes Geräte-Steuerungsmenü, dessen Inhalt und Format auf der Basis der Benutzerhistorie, der jeweiligen Zugriffserlaubnis, von Zeit/Ort/Umgebung oder auf der Basis eines sonstigen Benutzerverhaltens abgeleitet werden, wobei diese Informationen in dem Gerät gespeichert sind oder aus der Cloud heruntergeladen werden. Wie vorangehend erwähnt wurde, kann dem Benutzer eine Vollmenü-Option angeboten werden, die, wenn sie gewählt wird, anstelle eines benutzerdefinierten Menüs ein Vollmenü präsentiert.
In Schritt 1027 wählt der Benutzer eine Steuerungsoption, woraufhin in Schritt 1029 ein entsprechender Steuerbefehl an das loT-Gerät gesandt wird. Dies kann abhängig von der loT-Netzwerkeinstellung direkt erfolgen oder über einen loT-Hub.
Als Beispiel für das vorgenannte Verfahren nehme man eine laute Umgebung, zum Beispiel eine Party, in welcher der Benutzer des Geräts die Musik oder die Eigenschaften der Musik wechseln will, die über einen loT-Lautsprecher wiedergegeben wird. Der Benutzer kann in diesem Fall keine Sprachbefehle erteilen, weil das Hintergrundgeräusch zu laut ist, um einen akustischen Befehl erkennen zu können. Stattdessen kann der Benutzer/die Benutzerin sein/ihr Telefon auf den IoT-Lautsprecher richten und den loT-Lautsprecher über die Anzeigevorrichtung des Telefons steuern.
Ein weiteres Beispiel ist ein Sicherheitsroboter, der in einem Einkaufszentrum patroulliert und Videos zu dem Monitor einer Bedienungsperson zurückstreamt. Bemerkt die Bedienungsperson, dass eine loT-Lichtquelle in dem gestreamten Video zu dunkel ist, kann die Bedienungsperson auf das Gerät auf dem Monitor tippen, und es öffnet sich ein Steuerungsmenü für das Gerät. Dieses Beispiel zeigt, dass das Benutzergerät 110 kein Mobilgerät sein muss und dass die beschriebenen Funktionen zwischen zwei Geräten aufgeteilt sein können, indem zum Beispiel eine Bildgebungsfunktion eines ersten Geräts und eine Anzeigefunktion eines zweiten Geräts genutzt werden, wobei die Verarbeitungsfunktionen an dem einen oder an dem anderen Gerät oder an beiden Geräten stattfinden.
Die hier genannten Beispiele beziehen sich allgemein auf eine berührungsempfindliche Anzeigevorrichtung auf dem Benutzergerät 110. Es sollte jedoch klar sein, dass eine solche Benutzeroberfläche nicht auf eine Berührung mit dem Finger beschränkt sein muss, sondern alternativ auch auf die Berührung mit einem Stift und dergleichen reagieren kann. Darüber hinaus umfasst der Begriff „berührungsempfindlich“ für die Steuerung eines loT-Geräts verschiedene Eingabearten. Zum Beispiel können die Optionstasten anstelle von Symboltasten die Tasten einer Tastatur sein, oder es können andere Eingabearten für die Gerätesteuerung verwendet werden. Diese sind unter anderem physische oder virtuelle Schieber (z.B. für die Einstellung von Thermostaten), Skalen (z.B. für die Geräteabstimmung), Joysticks (z.B. zum Ändern einer Kameraorientierung) usw.
Vorstehend wurden verschiedene Systeme und Verfahren beschrieben. In Anbetracht der vielen möglichen Ausführungsformen, bei welchen die Prinzipien der vorliegenden Erfindung Anwendung finden können, sollte jedoch erkannt werden, dass die Ausführungsformen, die hier mit Bezug auf die Zeichnungsfiguren beschrieben wurden, nur zur Veranschaulichung dienen und den Schutzumfang der Ansprüche nicht einschränken. Daher berücksichtigen die vorliegend beschriebenen Verfahren alle Ausführungsformen, die in den Schutzbereich der folgenden Ansprüche und deren Äquivalente fallen können.

Claims

Elektronisches Kommunikationsgerät, das unter Verwendung einer Kamera intelligente Internet-der-Dinge-Menüs (IoT-Menüs) bereitstellt, wobei das elektronische Kommunikationsgerät umfasst: eine berührungsempfindliche Anzeigevorrichtung; eine Kamera; einen Prozessor, der mit der berührungsempfindlichen Anzeigevorrichtung und mit der Kamera in Verbindung steht und konfiguriert ist für die Erfassung einer Abbildung eines loT-Geräts, für die Identifizierung des loT-Geräts, für die Anzeige der Abbildung des loT-Geräts über die berührungsempfindliche Anzeigevorrichtung, für den Empfang einer Auswahl des Geräts durch den Benutzer, für die Identifizierung eines Benutzers des elektronischen Kommunikationsgeräts, für den Abruf von Daten bezüglich der Verhaltenshistorie des Benutzers des elektronischen Kommunikationsgeräts, für die Generierung eines benutzerspezifischen loT Gerätesteuerungsmenüs für das identifizierte loT-Gerät unter Verwendung der abgerufenen Daten betreffend die Verhaltenshistorie des Benutzers des elektronischen Kommunikationsgeräts und für die Anzeige des benutzerspezifischen loT-Gerätesteuerungsmenüs für den Benutzer über die berührungsempfindliche Anzeigevorrichtung.
Elektronisches Kommunikationsgerät nach Anspruch 1, wobei der Prozessor ferner konfiguriert ist für die Identifizierung des loT-Geräts durch den Abruf von loT-Gerätedaten und für die Identifizierung des loT-Geräts über Bildobjekterkennung.
Elektronisches Kommunikationsgerät nach Anspruch 2, wobei der Prozessor ferner konfiguriert ist für den Abruf der loT-Gerätedaten über ein Netzwerk.
Elektronisches Kommunikationsgerät nach Anspruch 2 oder 3, wobei das elektronische Kommunikationsgerät ferner einen lokalen Speicher hat und wobei der Prozessor ferner konfiguriert ist für den Abruf der loT-Gerätedaten aus dem lokalen Speicher.
Elektronisches Kommunikationsgerät nach einem der Ansprüche 2 bis 4, ferner umfassend eine Funkverbindung, wobei der Prozessor ferner konfiguriert ist für das Identifizieren des loT-Geräts durch die Erfassung eines Received Signal Strength Indicator (RSSI)-Pegels des loT-Geräts, für die Bestimmung einer Größe der angezeigten Abbildung des loT-Geräts und für die Bestimmung, dass der empfangene RSSI-Pegel und die Größe der angezeigten Abbildung innerhalb einer vorgegebenen Toleranz der gleichen Entfernung entsprechen.
Elektronisches Kommunikationsgerät nach einem der Ansprüche 1 bis 5, wobei die Identifizierung des Benutzers des elektronischen Kommunikationsgeräts die Identifizierung des Benutzers mittels Gesichtserkennung umfasst.
Elektronische Kommunikationsgerät nach einem der Ansprüche 1 bis 6, ferner umfassend eine zweite Kamera, wobei die zweite Kamera für die Durchführung der Gesichtserkennung verwendet wird.
Elektronisches Kommunikationsgerät nach einem der Ansprüche 1 bis 7, wobei die Identifizierung des Benutzers des elektronischen Kommunikationsgeräts die Identifizierung des Benutzers zumindest mittels Fingerabdruckerkennung oder Spracherkennung umfasst.
Elektronisches Kommunikationsgerät nach einem der Ansprüche 1 bis 8, wobei der Prozessor ferner konfiguriert ist für die Anzeige einer Vollmenü-Option für den Benutzer des elektronischen Kommunikationsgeräts, so dass die Wahl der Vollmenü-Option durch den Benutzer den Prozessor zur Anzeige eines nicht benutzerspezifischen IoT-Gerätesteuerungsmenüs für den Benutzer über die berührungsempfindliche Anzeigevorrichtung veranlasst.
Verfahren zur Bereitstellung eines intelligenten Internet-der-Dinge-Menüs (IoT-Menüs) unter Verwendung einer Kamera eines elektronischen Kommunikationsgeräts, umfassend: das Erfassen einer Abbildung eines loT-Geräts unter Verwendung einer Kamera des elektronischen Kommunikationsgeräts; das Identifizieren des loT-Geräts; das Anzeigen der Abbildung des loT-Geräts auf einer Anzeigevorrichtung des elektronischen Kommunikationsgeräts; das Empfangen einer Auswahl des loT-Geräts durch den Benutzer; das Identifizieren eines Benutzers des elektronischen Kommunikationsgeräts; das Abrufen von Daten betreffend die Verhaltenshistorie des Benutzers des elektronischen Geräts; das Generieren eines benutzerspezifischen IoT-Gerätesteuerungsmenüs für das identifizierte IoT-Gerät unter Verwendung der abgerufenen Daten betreffend die Verhaltenshistorie des Benutzers; und das Anzeigen des benutzerspezifischen IoT-Gerätesteuerungsmenüs für den Benutzer über die Anzeigevorrichtung des elektronischen Kommunikationsgeräts.
Verfahren nach Anspruch 10, wobei der Prozessor ferner konfiguriert ist für die Identifizierung des loT-Geräts durch das Abrufen von IoT-Gerätedaten und das Identifizieren des loT-Geräts mittels Bildobjekterkennung.
Verfahren nach Anspruch 11, wobei die IoT-Gerätedaten über ein Netzwerk abgerufen werden.
Verfahren nach Anspruch 11 oder 12, wobei die IoT-Gerätedaten aus einem lokalen Speicher des elektronischen Kommunikationsgeräts abgerufen werden.
Verfahren nach einem der Ansprüche 11 bis 13, wobei das Identifizieren des loT-Geräts das Erfassen eines Received Signal Strength Indicator (RSSI)-Pegels des loT-Geräts, das Bestimmen einer Größe der angezeigten Abbildung des loT-Geräts und das Bestimmen, dass der empfangene RSSI-Pegel und die Größe der angezeigten Abbildung innerhalb eines vorgegebenen Toleranzbereichs der gleichen Entfernung entsprechen.
Verfahren nach einem der Ansprüche 10 bis 14, wobei das Identifizieren des Benutzers des elektronischen Kommunikationsgeräts das Identifizieren des Benutzers mittels Gesichtserkennung umfasst.
Verfahren nach einem der Ansprüche 10 bis 15, wobei das Identifizieren des Benutzers des elektronischen Kommunikationsgeräts das Identifizieren des Benutzers zumindest mittels Fingerabdruckerkennung oder Spracherkennung erfolgt.
Verfahren nach einem der Ansprüche 10 bis 16, wobei das Anzeigen des benutzerspezifischen IoT-Gerätesteuerungsmenüs das Anzeigen einer Vollmenü-Option umfasst, so dass die Wahl der Vollmenü-Option durch den Benutzer die Anzeige eines nicht benutzerspezifischen IoT-Gerätesteuerungsmenüs bewirkt.
Verfahren zum Bereitstellen eines benutzerspezifischen IoT-Steuerungsmenüs (Internet-der-Dinge-Steuerungsmenüs) für den Benutzer eines elektronischen Kommunikationsgeräts hinsichtlich eines loT-Geräts von Interesse, wobei das Verfahren umfasst: das Erfassen einer Abbildung des loT-Geräts von Interesse mittels einer Kamera des elektronischen Kommunikationsgeräts, wenn der Benutzer die Kamera auf das IoT-Gerät von Interesse richtet; das Identifizieren des loT-Geräts von Interesse basierend auf der erfassten Abbildung; das Identifizieren des Benutzers zum Erzeugen einer Benutzeridentität; und das Anzeigen eines benutzerspezifischen IoT-Steuerungsmenüs für das loT-Gerät von Interesse, wobei das benutzerspezifische IoT-Steuerungsmenü auf der Benutzeridentität basiert.
Verfahren nach Anspruch 18, wobei das Anzeigen des benutzerspezifischen IoT-Steuerungsmenüs für das loT-Gerät von Interesse ferner das Abrufen von Informationen über die Verhaltenshistorie des Benutzers umfasst, wobei die Informationen über die Verhaltenshistorie Informationen enthalten, die von dem Benutzer früher ausgewählten Optionen zum Steuern des IoT-Geräts von Interesse betreffen, und das Generieren des benutzerspezifischen IoT-Steuerungsmenüs unter Nutzung der Informationen über die Verhaltenshistorie.
Verfahren nach Anspruch 18 oder 19, ferner umfassend das Anzeigen einer Vollmenü-Option für den Benutzer, das Empfangen einer Wahl der Vollmenü-Option durch den Benutzer und in Reaktion darauf das Ersetzen des benutzerspezifischen IoT-Steuerungsmenüs durch ein nicht benutzerspezifisches IoT-Steuerungsmenü.