DE112020003765T5 - Überwachte Einrichtung eines Steuervorrichtungs mit Bildgeber - Google Patents

Überwachte Einrichtung eines Steuervorrichtungs mit Bildgeber Download PDF

Info

Publication number
DE112020003765T5
DE112020003765T5 DE112020003765.7T DE112020003765T DE112020003765T5 DE 112020003765 T5 DE112020003765 T5 DE 112020003765T5 DE 112020003765 T DE112020003765 T DE 112020003765T DE 112020003765 T5 DE112020003765 T5 DE 112020003765T5
Authority
DE
Germany
Prior art keywords
reference image
imager
pointing
computer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020003765.7T
Other languages
English (en)
Inventor
Julien Colafrancesco
Simon TCHEDIKIAN
Simon Guillot
Louis Xiao Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QORVO PARIS, FR
Original Assignee
7Hugs Labs SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 7Hugs Labs SAS filed Critical 7Hugs Labs SAS
Publication of DE112020003765T5 publication Critical patent/DE112020003765T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/20Binding and programming of remote control devices
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/70Device selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Systeme und Verfahren sind offenbart, die mit der Bestimmung eines Zeigeziels einer Zeigevorrichtung assoziiert sind. Eine offenbarte Ausgestaltung hierin ist ein Verfahren, welches mit einer Steuervorrichtung durchgeführt wird, welche eine Zeigerichtung und einen bordseitigen Bildgeber hat. Das Sichtfeld der bordseitigen Zeigevorrichtung schließt die Zeigerichtung ein. Das Verfahren enthält Erfassen eines Referenzbildes, Bestimmen einer charakteristischen Größe auf Basis des Referenzbildes, Erzeugen einer Rückmeldenachricht auf Basis der charakteristischen Größe und Abhängig Machen einer Einrichtungsphasenbeendigung für die Steuervorrichtung von der charakteristischen Größe.

Description

  • QUERVERWEIS AUF VERBUNDENE ANMELDUNGEN
  • Diese Anmeldung beansprucht die Vorteile der vorläufigen US-Patentanmeldung Nr. 62/884,278 , die am 8. August 2019 eingereicht wurde.
  • HINTERGRUND
  • Die Verbraucher richten Fernsteuerungen intuitiv auf die Vorrichtung aus, mit denen sie interagieren wollen, indem sie die Fernsteuerung auf die Vorrichtung richten. Dieses Verhaltensmuster ergibt sich aus der Tatsache, dass herkömmliche Fernsteuerungen ein Funksignal direkt in die Zeigerichtung der Fernsteuerung übertragen. Durch die Ausrichtung der Zeigerichtung der Fernsteuerung auf die Vorrichtung hatte das Funksignal daher die besten Chancen, das gewünschte Ziel zu erreichen.
  • In jüngerer Zeit haben Fernsteuerungen, wie die in U.S. Pat. Nr. 10,068,463 beschriebenen Techniken verwenden, bestimmen eine Vorrichtung, an die ein Befehl über ein System übermittelt wird, während der Befehl selbst über andere Mittel gesendet wird. So könnte beispielsweise ein Satz von Funkbaken die Zeigerichtung der Fernsteuerung bestimmen, während ein separates Funksystem die Befehle indirekt von der Fernsteuerung an die zu steuernde Vorrichtung weiterleitet. Bei diesen Ansätzen bleibt das traditionelle Benutzererlebnismuster, auf eine steuerbare Vorrichtung zu zeigen, erhalten, während die Gesamtheit der Vorrichtungen, die Befehle von der Fernsteuerung empfangen können, erweitert wird. Allerdings müssen die Vorrichtungen nun erkennen, wohin die Zeigevorrichtung zeigt, damit die Befehle an die entsprechende Vorrichtung weitergeleitet werden können.
  • Es gibt verschiedene Ansätze, um die Position und Orientierung eines Objekts zu ermitteln. Zum Beispiel können die Position und Orientierung eines Objekts mit Hilfe der Geolokalisierung, z. B. durch GPS, bestimmt werden. GPS ist jedoch nicht genau genug, um eine genaue Bestimmung der Zeigerichtung zu ermöglichen, insbesondere nicht in Innenräumen und zum Zweck der Unterscheidung, ob die Zeigerichtung mit einem von zwei Vorrichtungen übereinstimmt, die sich in der Nähe voneinander befinden. Eine Alternative zu GPS ist ein Ortungssystem für Innenräume mit verschiedenen Funkbaken, wie die oben erwähnten, die lokal erzeugte Funksignale verwenden, um die Position eines Objekts zu schätzen. Allerdings kann die Installation dieser Funkbaken aufgrund von Platzierungsbeschränkungen kostspielig und komplex sein.
  • ZUSAMMENFASSUNG
  • Es werden Systeme und Verfahren offenbart, die das Zeigeziel einer Zeigevorrichtung unter Verwendung eines auf dem Objekt befindlichen bordseitigen Bildgebers bestimmen. Die Zeigevorrichtung kann eine Form haben, die eine natürliche Zeigerichtung der Zeigevorrichtung definiert. Beispielsweise könnte die Vorrichtung ein Rechteck mit einer unterscheidbaren kurzen Kante sein, wobei die lange Seite des Rechtecks und die Unterschiedsmerkmale dieser kurzen Kante auf natürliche Weise die Zeigerichtung des Objekts anzeigen. Im Allgemeinen kann eine Zeigevorrichtung eine Zeigerichtung aufweisen. So könnte die Vorrichtung beispielsweise eine Scheibe sein, deren Richtung durch ein Pfeilsymbol auf der Oberfläche der Vorrichtung angezeigt wird. In anderen Beispielen könnte jeder Indikator, der es einer Person ermöglicht, die Richtung zu bestimmen, in die eine Vorrichtung zu richten ist, als ein Bereitstellen einer Vorrichtung mit einer Zeigerichtung angesehen werden, wie dieser Begriff hier verwendet wird. Der bordseitige Bildgeber kann auf die Zeigerichtung des Objekts ausgerichtet werden. Der bordseitige Bildgeber kann an der Außenseite der Zeigevorrichtung angebracht werden oder als integraler Bestandteil der Zeigevorrichtung dienen. Der bordseitige Bildgeber kann ein Sichtfeld haben. Der bordseitige Bildgeberkann so ausgerichtet werden, dass das Sichtfeld die Zeigerichtung einschließt.
  • Die hier offengelegten Systeme können die Zeigevorrichtung selbst sein, könnten aber alternativ auch unterstützende Vorrichtungen, wie eine Basis oder eine Ladevorrichtung für die Zeigevorrichtung, und entfernte Vorrichtungen, wie einen Server oder eine Cloud-Architektur, die in operativer Kommunikation mit diesen unterstützenden Vorrichtungen oder der Zeigevorrichtung stehen, umfassen. In dieser Offenbarung wird immer wieder auf nicht-transitorische computerlesbare Medien Bezug genommen, die Anweisungen speichern, die es den offengelegten Systemen ermöglichen, bestimmte Aktionen durchzuführen. In diesen Ausführungsformen können sich die computerlesbaren Medien alle innerhalb der Zeigevorrichtung befinden, sie können über die unterstützenden Vorrichtungen, die entfernte Vorrichtung und die Zeigevorrichtung verteilt sein, oder sie können sich vollständig auf den unterstützenden Vorrichtungen und/oder entfernten Vorrichtungen befinden.
  • In spezifischen Ausführungsformen der Erfindung kann die Zeigevorrichtung eine Steuervorrichtung sein. Die Zeigevorrichtung kann eine Fernsteuerung zur Auswahl von Zeigezielen in Form von steuerbaren Objekten oder allgemein von Kommunikationsobjekten sein. Zeigen mit der Zeigevorrichtung auf ein bestimmtes Zeigeziel könnte eine Zuordnung zwischen dem steuerbaren Objekt oder Kommunikationsobjekt und einem Leitsystem herstellen. Die Zuordnung könnte dann verwendet werden, um Befehle an die aktuell zugeordneten steuerbaren Objekte oder Kommunikationen von dem aktuell zugeordneten Kommunikationsobjekt weiterzuleiten. Handelt es sich bei dem Objekt beispielsweise um ein steuerbares Objekt wie einen Fernseher, könnten Befehle, die von einem Benutzer auf der Zeigevorrichtung empfangen werden, an das steuerbare Objekt weitergeleitet werden, während die Zuordnung aufrechterhalten wird. Ein weiteres Beispiel: Handelt es sich bei dem Objekt um ein Kommunikationsobjekt wie einen Wetterdienst auf einem entfernten Server, könnten die vom entfernten Server erhaltenen Mitteilungen an die Zeigevorrichtung weitergeleitet werden, während die Zuordnung aufrechterhalten wird. Auf diese Weise könnte ein Benutzer Mitteilungen von verschiedenen Objekten empfangen und Befehle an diese senden, je nachdem, wohin die Zeigevorrichtung zu einem bestimmten Zeitpunkt zeigt.
  • Die Objektzuordnung, die durch das Zeigen der Zeigevorrichtung auf ein bestimmtes Ziel gebildet wird, könnte auch verwendet werden, um eine Benutzerschnittstelle zu ändern, indem auf dieser Schnittstelle Steuerelemente für das aktuell zugeordnete Objekt angezeigt werden. Die Benutzerschnittstelle könnte auf der Zeigevorrichtung bereitgestellt werden. So könnte die Zeigevorrichtung beispielsweise ein Touch-Display enthalten, und die Steuerelemente für das aktuell zugeordnete steuerbare Objekt könnten auf dem Touch-Display angezeigt werden, wenn die Zuordnung hergestellt wurde. Wenn der Benutzer die Zeigevorrichtung auf einen Fernseher richtet, könnte das Touch-Display eine Schnittstelle zur Kanal- und Lautstärkeregelung für den Fernseher anzeigen. Wenn der Benutzer die Vorrichtung drehte, um auf ein Licht zu zeigen, könnte das Touch-Display eine Schnittstelle zur Helligkeitssteuerung für das Licht anzeigen.
  • Die oben beschriebenen Zuordnungen können ex ante über einen Einrichtungsvorgang definiert werden. Das System kann während der Ausführung des Einrichtungsvorgangs als in einer Einrichtungsphase befindlich beschrieben werden. Der Einrichtungsvorgang kann beinhalten, eine Zone von Interesse einem Zeigeziel zuzuordnen und eine Signatur für eine Zone von Interesse zu definieren. Die physischen Zonen könnten spezifische Raumvolumina innerhalb eines physischen Ortes sein, wie z. B. der Teil eines Raumes in der Nähe eines Fernsehers, oder spezifische Oberflächen wie Wände, Decken, Böden oder Schnittstellen davon. Das Zeigeziel kann das Zentrum der betreffenden Zone sein. Beispielsweise könnte das Zeigeziel eine kleine Vorrichtung wie ein DVR oder eine kompakte Streaming-Box sein, und die Zone von Interesse könnte ein Schrank und der umliegende Bereich sein, auf dem die kleine Vorrichtung platziert wurde. Der Einrichtungsvorgang könnte die Zone von Interesse dem Zeigeziel zuordnen und darüber hinaus das Zeigeziel einem steuerbaren Objekt oder Kommunikationsobjekt zuordnen. Die Verwendung der Zeigevorrichtung würde dann die Erkennung der Signatur für die Zone von Interesse, die Erinnerung daran, welches Zeigeziel dieser Zone von Interesse zugeordnet war, die Erinnerung daran, welches steuerbare Objekt oder Kommunikationsobjekt diesem Zeigeziel zugeordnet war, und die Bildung der Zuordnung mit dem Objekt für das Leitsystem umfassen. Diese Phase des Betriebs des Systems kann als Betriebsphase bezeichnet werden. Die verschiedenen Knoten des Systems befinden sich während der Betriebsphase in einem Einsatzzustand.
  • In spezifischen Ausführungsformen der Erfindung kann das System ein Zeigeziel der Zeigevorrichtung unter Verwendung von Bildern bestimmen, die von dem Bildgeber erfasst wurden. Die Bilder können einem System zugeführt werden, das anhand dieser Bilder eine Signatur einer Zone von Interesse erkennen kann. Dieses Zeigeziel kann das Zentrum der Zone von Interesse sein. 1 zeigt ein Beispiel eines Benutzers 100, der eine Zeigevorrichtung 101 auf ein audio/visuelles (A/V) Gerät 102 richtet, als Beispiel für einen Benutzer, der versucht, eine Zuordnung zwischen einem steuerbaren Objekt und einer Zeigevorrichtung herzustellen. In diesem Beispiel könnte ein auf die Zeigevorrichtung 101 ausgerichteter Bildgeber dann ein Bild des A/V-Geräts 102 aufnehmen. 1 zeigt das Beispiel des Bildes 103 mit einem Empfänger 105 in einem Schrank 104, der als A/V-Gerät 102 dient. Das System könnte dann mit dem Bild 103 arbeiten, um eine Signatur der Zone von Interesse 106 zu erkennen. In diesem Fall könnte die Zone von Interesse die gesamte Ecke des Raums umfassen, in dem sich der Schrank 104 befindet. Unter der Annahme, dass der Zone von Interesse 106 zuvor der Schrank 104 (dem Zeigeziel) und der Schrank 104 zuvor dem Empfänger 105 (dem steuerbaren Objekt) zugeordnet wurde, könnte das Gesamtsteuerungssystem dann eine Zuordnung mit dem Empfänger 105 herstellen und auf Basis dieser Bestimmung Befehle an den Empfänger 105 weiterleiten. Wie bereits erwähnt, müssen das Zeigeziel und das zu steuernde Objekt nicht identisch sein. Stattdessen kann ein Benutzer eine bestimmte Zone in einem beliebigen Bereich einer bestimmten steuerbaren Vorrichtung zuordnen (z. B. könnte ein Fenster eines Zimmers einem Wetterdienst auf einem entfernten Server zugeordnet werden). Im gezeigten Beispiel könnte der Bildgeber ein Bild 107 erhalten, auf dem nur der Schrank 104 zu sehen ist, aber das System würde trotzdem verstehen, dass Befehle an den Empfänger 105 weitergeleitet werden sollten, wenn auf die Zone 106 gezeigt wird.
  • Die Erkennung eines Ziels, das zu einem bestimmten Zeitpunkt eine Zeigevorrichtung zugeordnet werden soll, kann aus verschiedenen Gründen schwierig sein. Zum Beispiel können kleine Zielpunkte wie kompakte Streaming-Boxen in einem Bild, das von einem allgemeinen Bereich aufgenommen wurde, schwer zu erkennen sein. Außerdem kann es in einem Gebiet zahlreiche identische Kopien derselben steuerbaren Vorrichtung geben, z. B. mehrere Versionen eines Hausautomatisierungsassistenten oder einer Stereoanlage. Die Unterscheidung zwischen den beiden Vorrichtungen allein durch das Erkennen der Vorrichtung kann für ein Bilderkennungssystem nahezu unmöglich sein, da die Vorrichtungen identische Kopien eines einzigen Designs sind. Darüber hinaus gibt es in Räumen wie Wohnungen oft mehrere passende Möbelstücke und andere sich wiederholende Designelemente an Wänden, Böden und Decken, die für ein Bilderkennungssystem identisch erscheinen könnten. Darüber hinaus kann ein Bereich einer bestimmten Örtlichkeit aufgrund von Änderungen der Helligkeit, Änderungen der Perspektive der Zeigevorrichtung, Variationen der räumlichen Konfiguration der Objekte in dem Bereich und der Einführung oder Entfernung von Objekten in dem Bereich zu verschiedenen Zeiten sehr unterschiedlich erscheinen.
  • In spezifischen Ausführungsformen der Erfindung trägt die Konzentration auf eine Zone von Interesse im Gegensatz zu einem Zeigeziel dazu bei, viele der im vorangegangenen Absatz genannten Bedenken zu zerstreuen. Eine Zone von Interesse enthält zusätzliche Informationen und Signale, aus denen eine Signatur abgeleitet werden kann. Dieses zusätzliche, stärkere Signal kann z. B. verhindern, dass ein System den Schrank 108 in Bild 109 mit dem identischen Schrank 104 verwechselt. Dies liegt daran, dass die Zone von Interesse zusätzliche Informationen in Form der Ecke des Raumes, in der sich der Schrank befindet, enthalten kann, die verborgen wären, wenn nur die Merkmale des Schrankes zur Erzeugung einer Signatur verwendet würden. Spezifische Aspekte dieser Ausführungsformen, die die Fähigkeit des Systems verbessern, Informationen über eine Zone von Interesse im Gegensatz zu einem bestimmten Zeigeziel zu sammeln, werden in der folgenden detaillierten Beschreibung beschrieben.
  • In spezifischen Ausführungsformen der Erfindung werden die im vorhergehenden Absatz identifizierten Bedenken durch den Aufbau eines robusten Signaturerstellungs- und -erkennungssystems zur Identifizierung eines Zeigeziels einer Zeigevorrichtung beseitigt. In diesen Ausführungsformen umfasst der Signaturerstellungsprozess die Erfassung von Variantenbildern derselben Zone von Interesse. Die während der Einrichtungsphase erfassten Variantenbilder werden hier als Referenzbilder bezeichnet, da sie eine Referenz für die spätere Erkennung der Signatur der Zone von Interesse darstellen. Der Prozess der Signaturerstellung kann während der Einrichtungsphase des Systems durchgeführt werden und kann so gestaltet werden, dass die Variantenbilder sehr unterschiedlich sind, um die Stärke der Signatur zu erhöhen. Die Bilder können so ausgewählt werden, dass sie sich hinsichtlich des Blickwinkels, von dem aus sie erfasst wurden, der Helligkeitsbedingungen, unter denen sie erfasst wurden, der Konfiguration der Zone von Interesse selbst während der Bilderfassung und anderer Variationen unterscheiden. Durch die Varianz der Bilder, die zur Erstellung der Signatur während der Einrichtungsphase verwendet werden, wird eine Signatur erstellt, die trotz der oben erwähnten Varianzen in den Bildern erkannt werden kann, wenn das System eingesetzt wird. Beispielsweise wäre ein System mit einer robusten Signatur immer noch in der Lage, die Zone von Interesse 106 zu erkennen, wenn es mit dem Bild 110 versorgt wird, obwohl der Schrank 104 teilweise durch Gegenstände 111, 112 und 113 verdeckt ist, die das Aussehen der Zone verändern. Die robuste Signatur hätte ein ausreichend hohes Signal-Rausch-Verhältnis, so dass die Einführung von Rauschen, das durch diese Gegenstände repräsentiert wird, nicht zu einem Ausfall des Signaturerkennungssystems führen würde.
  • In spezifischen Ausführungsformen der Erfindung kann man sich darauf verlassen, dass ein Benutzer Referenzbilder aufnimmt, die verwendet werden, um Signaturen für die Zonen von Interesse zu erzeugen, die während des Betriebs der Zeigevorrichtung erkannt werden. In der Praxis gibt es jedoch keine Garantie dafür, dass die vom Benutzer aufgenommenen Referenzbilder ausreichen, damit das System beim Einsatz korrekt funktioniert. So kann es beispielsweise vorkommen, dass der Benutzer nicht genügend Bilder aufnimmt, dass er mehrere identische Bilder aufnimmt und somit keine nützlichen Informationen hinzufügt, dass er gestörte Bilder aufnimmt (z. B. verdeckte Bilder mit einem vorübergehend im Sichtfeld befindlichen Objekt), dass er unscharfe Bilder aufnimmt (z. B. durch zu schnelles Bewegen eines Bildgebers bei der Erfassung eines Referenzbildes) oder dass er Bilder bei extremen Lichtverhältnissen aufnimmt, die nicht an die Eigenschaften des Sensors angepasst sind (z. B. bei Nacht). In spezifischen Ausführungsformen der Erfindung wird daher eine Überwachung vorgesehen, um sicherzustellen, dass die während der Einrichtung aufgenommenen Referenzbilder ausreichen, um eine starke und robuste Signatur für die Zone von Interesse zu erzeugen. Die Überwachung kann in Form einer Rückmeldung an den Benutzer erfolgen, ob die bisher aufgenommenen Referenzbilder ausreichend sind, und in Form einer möglichen Aufforderung, zusätzliche Bilder aufzunehmen.
  • In spezifischen Ausführungsformen der Erfindung kann das System eine charakteristische Größe eines Satzes von Referenzbildern berechnen und die Beendigung einer Einrichtungsphase davon abhängig machen, dass die charakteristische Größe oberhalb einer Suffizienzschwelle liegt. Bei der charakteristischen Größe kann es sich um eine Größe handeln, die die Menge des in dem Satz der Referenzbilder enthaltenen Signals darstellt, das zur Erzeugung der Signatur der Zone von Interesse verwendet werden kann. Die charakteristische Größe kann eine Größe sein, die das Signal-Rausch-Verhältnis in dem Satz der Referenzbilder darstellt, wobei das Signal die Unterscheidungskraft der Signatur der Zone von Interesse darstellt, die aus dieser Gruppe von Referenzbildern erzeugt werden kann. Die charakteristische Größe könnte beispielsweise eine Zahl sein, die auf Basis des Grades der statistischen Variation zwischen den Bildern im Satz der Referenzbilder berechnet wird. Zahlreiche weitere Beispiele werden in der nachfolgenden detaillierten Beschreibung aufgeführt. Alternativ oder in Kombination kann dem Benutzer während der Einrichtungsphase eine Rückmeldung gegeben werden, um sicherzustellen, dass der Satz von Referenzbildern ausreichend ist. So könnte die Rückmeldung z. B. Hinweise auf zusätzliche Schritte geben, die zur Vervollständigung des Einrichtungsvorgangs unternommen werden müssen, wie z. B. die Aufnahme weiterer Bilder. In spezifischen Ausführungsformen der Erfindung kann die Rückmeldung auf Basis der charakteristischen Größe erzeugt werden. So können beispielsweise auf einer Anzeige der Zeigevorrichtung Anweisungen darüber gegeben werden, wohin ein Benutzer den Bildgeber bewegen sollte, um ein zusätzliches Bild mit einem höheren Variationsgrad zu erfassen, um die charakteristische Größe weiter zu verbessern. Zahlreiche weitere Beispiele für diese Rückmeldung werden in der nachfolgenden detaillierten Beschreibung gegeben.
  • In einer spezifischen Ausführungsform der Erfindung wird ein System bereitgestellt. Das System enthält eine Steuervorrichtung. Die Steuervorrichtung hat eine Form, die eine Zeigerichtung der Steuervorrichtung definiert. Das System enthält auch einen bordseitigen Bildgeber, der sich auf der Steuervorrichtung befindet. Der bordseitige Bildgeber hat ein Sichtfeld, das die Zeigerichtung einschließt. Das System enthält auch ein oder mehrere computerlesbare Medien, die Anweisungen speichern, um: ein Referenzbild zu empfangen; eine charakteristische Größe auf Basis des Referenzbildes zu bestimmen; eine Rückmeldenachricht auf Basis der charakteristischen Größe zu erzeugen; und eine Einrichtungsphasenbeendigung für die Steuervorrichtung von der charakteristischen Größe abhängig zu machen.
  • In einer spezifischen Ausführungsform der Erfindung wird ein computerimplementiertes Verfahren bereitgestellt. Das Verfahren wird mit einer Steuervorrichtung durchgeführt, die Folgendes aufweist: (i) eine Form, die eine Zeigerichtung der Steuervorrichtung definiert; und (ii) einen bordseitigen Bildgeber mit einem Sichtfeld, das die Zeigerichtung umfasst. Das Verfahren enthält das Erfassen eines Referenzbildes, das Bestimmen einer charakteristischen Größe auf Basis des Referenzbildes, das Erzeugen einer Rückmeldenachricht auf Basis der charakteristischen Größe und das Abhängig Machen einer Einrichtungsphasenbeendigung für die Steuervorrichtung von der charakteristischen Größe.
  • In einer spezifischen Ausführungsform der Erfindung wird ein System bereitgestellt. Das System enthält eine Steuervorrichtung. Die Steuervorrichtung hat eine Zeigerichtung. Das System enthält auch einen bordseitigen Bildgeber, der sich auf dem Steuervorrichtung befindet. Der bordseitigen Bildgeber hat ein Sichtfeld, das die Zeigerichtung einschließt. Das System enthält auch ein oder mehrere computerlesbare Medien, die Anweisungen speichern, um: einen Satz von Referenzbildern zu empfangen; eine charakteristische Größe auf Basis des Satzes von Referenzbildern zu bestimmen; und auf Basis der charakteristischen Größe entweder: (i) eine Rückmeldenachricht zu erzeugen; oder (ii) eine Einrichtungsphase für die Steuervorrichtung zu beenden.
  • Figurenliste
    • 1 zeigt einen Benutzer mit einer Zeigevorrichtung und einen Satz von Bildern, die von einem auf der Zeigevorrichtung befindlichen bordseitigen Bildgeber in Übereinstimmung mit bestimmten hier offengelegten Ausführungsformen aufgenommen wurden.
    • 2 zeigt ein Blockdiagramm eines Systems und ein dazugehöriges Flussdiagramm eines computerimplementierten Verfahrens zur Durchführung einer Einrichtungsphase für dieses System gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung
    • 3 zeigt ein Verfahren zur Durchführung einer Betriebsphase einer Systemeinrichtung unter Verwendung des unter Bezugnahme auf 2 beschriebenen Verfahrens gemäß spezifischen Ausführungsformen der hierin offenbarten Erfindung.
    • 4 zeigt eine Benutzerschnittstelle, die auf einer Zeigevorrichtung in Übereinstimmung mit spezifischen Ausführungsformen der hierin offengelegten Erfindung dargestellt wird.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Es werden Systeme und Verfahren offenbart, die ein Zeigeziel einer Zeigevorrichtung unter Verwendung eines auf der Zeigevorrichtung befindlichen Bildgebers bestimmen. In spezifischen Ausführungsformen der Erfindung wird der Bildgeber auf eine Zeigerichtung der Zeigevorrichtung ausgerichtet. Ein Bild dieses Bildgebers kann dann verwendet werden, um eine Zone von Interesse zu erkennen, auf die die Zeigevorrichtung gerade zeigt. Das Bild kann während einer Betriebsphase des Systems aufgenommen werden und als Beispielbild bezeichnet werden. Anschließend kann das System ein Zeigeziel innerhalb der Zone von Interesse bestimmen und danach eine Zuordnung mit dem Zeigeziel gemäß den in der obigen Zusammenfassung beschriebenen Ansätzen herstellen. Die folgende Offenbarung enthält spezifische Ansätze für eine Einrichtungsphase des Systems, die eine Erkennung der Zone von Interesse gemäß der obigen Zusammenfassung ermöglicht. Die Erkennung der Zone von Interesse kann durch die Erfassung eines Satzes von Referenzbildern während einer Einrichtungsphase des Systems erleichtert werden. Die in diesem Abschnitt aufgeführten Beispiele sind nicht einschränkende Ausführungsformen der Erfindung und sollten nicht so ausgelegt werden, dass sie den Umfang der Erfindung einschränken.
  • Spezifische Ausführungsformen der hierin offengelegten Erfindung werden unter Bezugnahme auf eine Zeigevorrichtung in Form einer Fernsteuerung mit einem integrierten Touch-Display, einem Funkfrequenzsender und einem bordseitigen Bildgeber für sichtbares Licht bereitgestellt. Die Zeigevorrichtung kann jedoch verschiedene alternative Formen annehmen. Die Zeigevorrichtung könnte verschiedene Komponenten enthalten, einschließlich verschiedener Benutzerschnittstellenelemente, zusätzlicher Sensoren und spezieller Hardware für die Verarbeitung von Referenzbildern und die Erkennung von Zonen von Interesse. Wie in der Zusammenfassung erwähnt, kann die Zeigevorrichtung auch in Kombination mit einem Satz von unterstützenden Vorrichtungen und entfernten Vorrichtungen verwendet werden, um die hier beschriebenen Methoden auszuführen.
  • In spezifischen Ausführungsformen der Erfindung kann das System, das für die Durchführung der Einrichtungsphase des Betriebs und die Bestimmung des Zeigeziels einer Zeigevorrichtung während der Betriebsphase verantwortlich ist, die Zeigevorrichtung sein, die isoliert von sich selbst arbeitet. Das System, das für diese Aktionen verantwortlich ist, kann jedoch auch unterstützende Vorrichtungen wie eine Ladevorrichtung für die Zeigevorrichtung umfassen und kann auch entfernte Vorrichtungen wie einen Server oder eine Cloud-Architektur umfassen, die in operativer Kommunikation mit der Zeigevorrichtung stehen. In spezifischen Ausführungsformen der Erfindung kann das System, das für den Empfang von Befehlen von einem Benutzer, die Darstellung einer Benutzerschnittstelle für einen Benutzer und/oder die Bereitstellung von Informationen für einen Benutzer von einem Zeigeziel verantwortlich ist, die Zeigevorrichtung selbst sein. Alle diese Aufgaben können jedoch auch von separaten unterstützenden und entfernten Vorrichtungen ausgeführt werden. Beispielsweise könnte die unterstützende Vorrichtung Befehle direkt von einem Benutzer empfangen (z. B. über ein eingebautes Mikrofon) oder Befehle, die über eine Zeigevorrichtung eingegeben werden, an das aktuell zugeordnete steuerbare Objekt weiterleiten. Diese trennbaren Elemente (die Zeigevorrichtung, die unterstützenden Vorrichtungen und die entfernten Vorrichtungen) können als Knoten des Systems bezeichnet werden.
  • Die Operationen des Systems können in Abhängigkeit von der Hardware der Zeigevorrichtung und anderen Konstruktionseinschränkungen auf zahlreiche Arten zwischen den Knoten aufgeteilt werden. Wenn die Zeigevorrichtung beispielsweise nur über begrenzte Batterien verfügt, können Speicher und Logik zur Durchführung ressourcenintensiver Operationen wie das Speichern von Bildern oder das Erkennen der Signatur einer Zone von Interesse auf einem unterstützenden Vorrichtung wie einer Ladestation für die Zeigevorrichtung untergebracht werden. Als weiteres Beispiel können ressourcenintensivere Operationen wie die anfängliche Erzeugung einer Signatur für eine Zone von Interesse, die Berechnung einer charakteristischen Größe für einen Satz von Referenzbildern, die zur Erzeugung der Signatur verwendet werden, und die Erzeugung einer Rückmeldung für einen Benutzer auf Basis der charakteristischen Größe auf einem Server oder einer Cloud-Architektur durchgeführt werden, im Gegensatz zu der Zeigevorrichtung oder einer Computervorrichtung in derselben physischen Umgebung wie die Zeigevorrichtung. In spezifischen Ausführungsformen der Erfindung könnte das System ein Multiprozessorsystem sein, mit einem Haupt-Host-Prozessor, der mit einem Kl-Beschleuniger zusammenarbeitet. Der Haupt-Host-Prozessor und der Kl-Beschleuniger könnten beide auf der Zeigevorrichtung untergebracht sein. Das Multiprozessorsystem kann jedoch auch ein verteiltes System sein, bei dem der Host-Prozessor mit einem entfernten Co-Prozessor (z. B. einem KI-Beschleuniger) zusammenarbeitet. Der entfernte Co-Prozessor könnte sich auf einem entfernten Server befinden.
  • In spezifischen Ausführungsformen der Erfindung kann die Bestimmung der Signatur oder die Bestimmung, ob ein Bild zu einer Zone von Interesse gehört, auf Basis der Signatur auf einer unterstützenden Vorrichtung durchgeführt werden. Die unterstützende Vorrichtung könnte diese Operationen mit ihrem internen Prozessor und Speicher durchführen. In spezifischen Ausführungsformen der Erfindung wird die unterstützende Vorrichtung über einen elektrischen Anschluss an der Wandsteckdose verfügen und weniger Energie verbrauchen als die Zeigevorrichtung, um diese Berechnungen mit höherer Last durchzuführen. In spezifischen Ausführungsformen der Erfindung umfasst die unterstützende Vorrichtung einen Kl-Beschleuniger, der mit einem Haupt-Host-Prozessor entweder auf der unterstützenden Vorrichtung oder auf der Zeigevorrichtung kommuniziert. Alternativ könnte die unterstützende Vorrichtung Referenzbilder empfangen und sie für eine spätere Übertragung an eine Cloud-Architektur speichern, um die Referenzbilder zu analysieren und/oder eine Signatur der Zone von Interesse zu erstellen. Die unterstützende Vorrichtung könnte auch Befehle an die entsprechende Vorrichtung weiterleiten, wenn die Zeigevorrichtung eingerichtet und eingesetzt wurde.
  • In spezifischen Ausführungsformen der Erfindung kann eine Cloud-Architektur, die kommunikativ mit der Zeigevorrichtung verbunden ist, verschiedene Aktionen durchführen. Zum Beispiel könnte die Cloud-Architektur einen Anfangszustand für einen trainierbaren gerichteten Graphen trainieren, der mit der Vorrichtung eingesetzt wird. Die Cloud-Architektur könnte den Anfangszustand der Zeigevorrichtung oder einer anderen unterstützenden Vorrichtung als Download zur Verfügung stellen, wenn die Vorrichtung zum ersten Mal initialisiert wurde. Die Cloud-Architektur könnte auch Anweisungen zu den Referenzbildern bereitstellen, die für eine genaue Durchführung der Einrichtungsphase gesammelt werden müssen. Die Cloud-Architektur könnte auch die Bilder und den Fortschritt bei der Bestimmung der charakteristischen Menge der Referenzbilder überprüfen und bei Bedarf eine Rückmeldung an den Benutzer geben. Die Bilder könnten entweder mit dem Bildgeber der Zeigevorrichtung oder mit einem Bildgeber einer anderen Vorrichtung aufgenommen werden.
  • Die Zeigevorrichtung und alle zugehörigen unterstützenden Vorrichtungen können mit spezialisierter Hardware erweitert werden, die der Erkennung von Signaturen von Zonen von Interesse zugeordnet ist. Die spezialisierte Hardware kann so konfiguriert werden, dass sie Bildverarbeitungs- und Erkennungsalgorithmen effizienter ausführt als Allzweckprozessoren. Bei der spezialisierten Hardware könnte es sich um die in dieser Offenlegung erwähnten Kl-Beschleuniger handeln. Die spezialisierte Hardware kann so konfiguriert werden, dass sie das Training und die Nutzung von trainierbaren maschinellen intelligenten Systemen effizienter durchführt. Die trainierbaren maschinellen intelligenten Systeme könnten anhand eines Satzes von Referenzbildern trainiert werden, die während der Einrichtungsphase des Systems gesammelt wurden. Die Signaturen spezifischer Bereiche von Interesse würden dann in die Gewichte des trainierten Systems einfließen. Im Einsatz könnten die Bilder des Bildgebers der Zeigevorrichtung in das maschinelle intelligente System eingespeist werden, um die Zone von Interesse zu bestimmen, auf die die Zeigevorrichtung gerichtet ist.
  • Die spezialisierte Hardware kann zahlreiche Formen annehmen. Beispielsweise könnte die Zeigevorrichtung oder eine zugehörige unterstützende Vorrichtung einen spezialisierten digitalen Signalprozessor enthalten, um ein trainierbares Bilderkennungssystem zu instanziieren, zu trainieren oder eine Schlussfolgerung daraus zu ziehen. Der digitale Signalprozessor könnte zum Beispiel durch eine GPU, einen FPGA, einen Chipsatz oder einen ASIC, der auf solche Berechnungen spezialisiert ist, verkörpert werden. Der ASIC könnte so konstruiert sein, dass er eine Überlagerung hinsichtlich der von einem Beispielbild implizierten Signatur erzeugt und pro Überlagerung Energie in der Größenordnung von Mikrojoule verbraucht. Die GPU oder der ASIC könnte auf der Zeigevorrichtung montiert werden. Der digitale Signalprozessor könnte optimiert werden, um Berechnungen zu beschleunigen, wie z. B. die linearen Matrixoperationen, die von künstlichen neuronalen Netzen (ANNs) durchgeführt werden, die Bildklassifizierungsüberlagerungen vornehmen. Der digitale Signalprozessor könnte so konfiguriert werden, dass er mehrere Rechenoperationen parallel ausführt. Als weiteres Beispiel kann die Zeigevorrichtung oder eine unterstützende Vorrichtung wie eine Ladevorrichtung mit einem spezialisierten digitalen Signalprozessor erweitert werden, um eine Trainings- oder Überlagerungsoperation für das trainierbare maschinelle intelligente System durchzuführen, so dass diese Operationen leicht ohne übermäßigen Batterieverbrauch oder übermäßige Verarbeitungszeit durchgeführt werden können.
  • Die Zeigevorrichtung und alle zugehörigen unterstützenden Vorrichtungen können eine oder mehrere Schnittstellen zum Empfangen von Befehlen von einem Benutzer enthalten. Die Zeigevorrichtung kann eine Anzeige zur Darstellung von Informationen für einen Benutzer enthalten. Die Zeigevorrichtung kann auch Befehle von einem Benutzer über eine Schnittstelle wie eine Tastatur, ein Touch-Display oder ein Mikrofon oder jede andere bekannte Benutzerschnittstellentechnologie empfangen. Die Zeigevorrichtung könnte alternativ auch keine Schnittstelle für den Empfang von Befehlen haben, während eine unterstützende Vorrichtung ein Touch-Display, ein Mikrofon oder eine Gestenerkennungsschnittstelle für den Empfang von Befehlen des Benutzers enthält. Beispielsweise könnte ein Smartphone, ein Tablet oder eine Hub-Vorrichtung so konfiguriert sein, dass es Befehle vom Benutzers empfängt, während die Zeigevorrichtung zur Identifizierung steuerbarer Vorrichtungen verwendet wird. Die Zeigevorrichtung könnte auch einen Lautsprecher oder ein haptisches Feedbacksystem enthalten, um dem Benutzer Informationen bereitzustellen. Die Anzeige, der Lautsprecher oder das haptische Feedbacksystem könnten dem Benutzer einen Hinweis geben, wenn das System ein Zeigeziel auswählt oder erfasst, so dass der Benutzer darauf aufmerksam gemacht werden könnte, dass das System auf Basis dieses Zeigeziels eine Zuordnung hergestellt hat.
  • Die Zeigevorrichtung könnte neben dem Bildgeber zusätzliche Sensoren enthalten, wie z. B. einen Bewegungsverfolger. Der Bewegungsverfolger könnte eine Inertialbewegungseinheit (IMU) sein. Die Zeigevorrichtung könnte einen integrierten Bewegungsverfolger (z. B. ein Magnetometer, Beschleunigungsmesser, ein Gyroskop oder einen beliebigen 9-Achsen-Sensor) enthalten. Der Bewegungsverfolger könnte zur Aktivierung des Bildgebers verwendet werden. Beispielsweise könnte der Bewegungsverfolger feststellen, wann die Zeigevorrichtung bewegt und dann stillgehalten wurde, um anzuzeigen, dass ein Benutzer auf ein Zeigeziel zeigt. Bei Erkennung dieses Bewegungsmusters könnte der Bildgeber ausgelöst werden, um ein Referenz- oder Beispielbild zu erfassen. Die zusätzlichen Sensoren, wie z. B. der Bewegungsverfolger, könnten auch für Datenfusionsanwendungen verwendet werden, wie unten beschrieben.
  • Wie bereits erwähnt, können in einer Einrichtungsphase Referenzbilder einer Zone von Interesse aufgenommen werden, um eine Signatur für die Zone von Interesse zu erzeugen, und Beispielbilder können zu einem späteren Zeitpunkt, wenn die Vorrichtung eingesetzt wird, anhand dieser Signatur analysiert werden. In spezifischen Ausführungsformen der Erfindung können diese beiden Schritte von dem bordseitigen Bildgeber durchgeführt werden. Die Referenzbilder können von demselben bordseitigen Bildgeber erfasst werden, der zur Erkennung einer Zone von Interesse und zur Bestimmung einer Zeigerichtung für die Zeigevorrichtung verwendet wird, wenn die Zeigevorrichtung eingesetzt wird. Alternativ können die Referenzbilder jedoch auch von einem separaten Bildgeber erfasst werden, während die Bilder, die bei der Verwendung der Vorrichtung analysiert werden, von dem bordseitigen Bildgeber erfasst werden. Der separate Bildgeber kann sich auf einer Begleitvorrichtung befinden. Bei der Begleitvorrichtung kann es sich um eines der oben genannten unterstützenden Vorrichtungen handeln. Bei der Begleitvorrichtung kann es sich um ein Smartphone oder eine spezielle Vorrichtung für die Einrichtungsphase handeln. Die Begleitvorrichtung könnte Funktionen enthalten, die auf der Zeigevorrichtung nicht verfügbar sind und die Durchführung der Einrichtungsphase erleichtern. So könnte die Begleitvorrichtung beispielsweise eine Anzeige mit höherer Auflösung als die Zeigevorrichtung haben, damit der Benutzer die Qualität der Referenzbilder leichter überprüfen oder leichter eine Rückmeldung des Systems zu den Referenzbildern erhalten kann. Die Begleitvorrichtung könnte auch Mittel umfassen, um dem Benutzer eine Rückmeldung zu den Referenzbildern zu geben. Die Rückmeldung könnte auf einer Anzeige der Begleitvorrichtung, über einen Lautsprecher der Begleitvorrichtung oder über eine andere Benutzerschnittstelle der Begleitvorrichtung erfolgen. In spezifischen Ausführungsformen der Erfindung wird die Begleitvorrichtung mit der Zeigevorrichtung über eine drahtlose Verbindung, z. B. eine Bluetooth-Verbindung, gekoppelt, und die Referenzbilder werden von dem bordseitigen Bildgeber der Zeigevorrichtung gesammelt, während die Referenzbilder auf einem Display der Begleitvorrichtung zur Überprüfung angezeigt werden, zusammen mit einer zusätzlichen Rückmeldung für den Benutzer, z. B. Anweisungen für weitere zu erhaltende Bilder.
  • Der bordseitige Bildgeber oder der Bildgeber der Begleitvorrichtung kann viele Formen annehmen und kann erweitert werden, um zusätzliche Informationen aus der physischen Umgebung zu erfassen, in der er arbeitet. Der Bildgeber kann Bilder in Form von ein-, zwei- oder dreidimensionalen Bildern aufnehmen. Die Bilder können mit jeder Form von elektromagnetischer Energie erzeugt werden, z. B. mit sichtbarem, infrarotem oder ultraviolettem Licht, oder mit elektromagnetischer Energie aus mehreren Frequenzbändern in Kombination. Der Bildgeber könnte so konfiguriert werden, dass er mit einem Projektor arbeitet, der elektromagnetische Energie erzeugt und projiziert, die für den Bildgeber sichtbar ist, um den Bildgeber zu unterstützen. Der Projektor könnte verwendet werden, um die Umgebung zu beleuchten oder um ein Muster aus strukturiertem Licht in der Umgebung zu erzeugen, damit der Bildgeber zusätzliche Informationen aus der Umgebung sammeln kann. Der Bildgeber könnte zum Beispiel eine Infrarotkamera für Nachtsicht mit einer Infrarot-LED oder eine Ultraviolettkamera mit einem ultravioletten strukturierten Lichtprojektor enthalten. In spezifischen Ausführungsformen könnten die Infrarot-LEDs oder andere Projektoren von Hilfsvorrichtungen bereitgestellt werden, die um eine physische Umgebung herum positioniert sind, so dass sie nicht zu viel Energie von der Batterie der Zeigevorrichtung verbrauchen. Bei der unterstützenden Vorrichtung könnte es sich um eine Ladevorrichtung für die Zeigevorrichtung handeln. Der Bildgeber könnte mehrere Sub-Bildgeber enthalten, z. B. eine Kamera für sichtbares Licht zur Erfassung von sichtbarem Licht aus der Umgebung und eine Ultraviolettkamera zur Erfassung von Mustern, die von einem Ultraviolettlichtprojektor projiziert werden.
  • In spezifischen Ausführungsformen der Erfindung weist der Bildgeber einen großen Erfassungsbereich auf, um die dem System zur Verfügung stehenden Informationen zur Erzeugung einer robusten Signatur während der Einrichtungsphase und zur Erkennung der Signatur während der Betriebsphase zu maximieren. Der Bildgeber könnte beispielsweise eine Weitwinkelkamera mit sichtbarem Licht sein, die in der Lage wäre, durch die Erfassung eines größeren Bereichs mit jedem Bild mehr Informationen über die Zone von Interesse zu erhalten. Die zusätzlichen Informationen könnten die relative Position von nahegelegenen Ecken eines Raumes und/oder den Abstand zur Decke und zum Boden vom Zielpunkt umfassen. Der Bildgeber könnte ein Fischaugen-Bildgeber sein. In anderen Ausführungsformen könnte der Bildgeber Panoramabilder wie z. B. vollsphärische Panoramabilder erfassen.
  • In spezifischen Ausführungsformen der Erfindung enthält das Sichtfeld des Bildgebers die Zeigerichtung, ist aber nicht auf die Zeigerichtung zentriert. Beispielsweise könnte der Bildgeber eine Neigung in Bezug auf die Zeigerichtung aufweisen. Diese Neigung kann für bestimmte Anwendungen gewählt werden. Bei einer Zeigevorrichtung mit einer Benutzerschnittstelle, die der Benutzer bei der Bedienung der Vorrichtung in der Regel liest, könnte der Bildgeber beispielsweise eine vertikale Neigung in Bezug auf die Zeigerichtung aufweisen, um einer allgemeinen Tendenz in Bezug auf dieses Nutzungsmuster entgegenzuwirken. Als weiteres Beispiel könnte der Bildgeber eine leichte vertikale Neigung zur Decke hinaufweisen, um Informationen über die Raumaufteilung zu erfassen, da die Ecken eines Raumes von der Schnittstelle Decke-Wand aus gesehen im Allgemeinen besser sichtbar sind als die Ecken an der Schnittstelle Decke-Boden, da sich Möbel und andere Gegenstände auf dem Boden befinden.
  • Der Bildgeber könnte Kombinationen von Sensoren enthalten, wie z. B. eine Kamera für sichtbares Licht und eine Ultraviolett-Kamera, die mit einer Ultraviolett-LED oder einem Laser ergänzt wird, der ein Muster in die Zeigerichtung der Vorrichtung projiziert. Das kombinierte Bild könnte neben dem sichtbaren Licht der Kamera auch Tiefeninformationen enthalten, die von einem Tiefensensor erfasst werden, z. B. einer Ultraviolett- oder Infrarotkamera, die projizierte Muster erkennt. Jede Form von projiziertem strukturiertem Licht kann zur Erfassung von Tiefeninformationen projiziert werden, einschließlich sichtbaren, ultravioletten oder infraroten Lichts. Bei dem Tiefensensor kann es sich um jede Art von Tiefensensor handeln, einschließlich eines LIDAR, eines Stereobildsensors oder eines anderen Sensors, der Tiefeninformationen oder Informationen, aus denen Tiefeninformationen abgeleitet werden können, erfasst. In diesen Ausführungsformen kann das Bild eine RGB-D-Matrix oder eine Tiefenwolke sein. Bei anderen Ansätzen könnten der Bildgeber und das Bild ausschließlich auf Tiefeninformationen beruhen und Texturdaten vollständig ignorieren. So könnte das Bild beispielsweise aus der Erfassung der Positionen in einem zweidimensionalen Bild von Infrarotpunkten bestehen, die durch eine Projektion von strukturiertem Licht beleuchtet werden. Die spezifischen Sensoren, die für die Bilderfassung verwendet werden, können sich je nach den Bedingungen der Umgebung, in der der Bildgeber eingesetzt wird, ändern. Die Zeigevorrichtung oder unterstützende Vorrichtung wie die Ladestation könnten beispielsweise einen Umgebungslichtsensor (ALS) enthalten und den Sensor für sichtbares Licht ausschalten, wenn festgestellt wird, dass das Umgebungslicht in der Umgebung nicht ausreicht, damit der Sensor für sichtbares Licht verwertbare Informationen liefern kann.
  • 2 zeigt ein Blockdiagramm 200 eines Systems und ein zugehöriges Flussdiagramm 210 eines computerimplementierten Verfahrens, das unter Verwendung dieses Systems in Übereinstimmung mit spezifischen Ausführungsformen der hierin offengelegten Erfindung ausgeführt werden kann. Das Blockdiagramm 200 enthält eine Steuervorrichtung 201. Die Steuervorrichtung 201 hat eine Form, die eine Zeigerichtung 202 der Steuervorrichtung definiert. Das Blockdiagramm 200 enthält auch einen bordseitigen Bildgeber203, der sich auf der Steuervorrichtung 201 befindet. Wie dargestellt, hat der bordseitige Bildgeber 203 ein Sichtfeld 204, das die Zeigerichtung 202 enthält. Das Blockdiagramm 200 enthält auch computerlesbare Medien 205, die Anweisungen zur Ausführung der einzelnen Schritte des Flussdiagramms 210 speichern. Wie in der Zusammenfassung beschrieben, können sich die computerlesbaren Medien 205 vollständig in der Steuervorrichtung 201 befinden, z. B. in einem internen Speicher der Steuervorrichtung 201, oder sie können über ein die Steuervorrichtung 201 enthaltendes System verteilt sein.
  • Das Flussdiagramm 210 beginnt mit einem Schritt 211 des Erfassens eines Referenzbildes. Das Referenzbild kann durch den bordseitigen Bildgeber 203 oder durch einen Bildgeber auf einer Begleitvorrichtung erfasst werden. Das Flussdiagramm 210 wird mit einem Schritt 212 des Empfangs des Referenzbildes fortgesetzt. Dieser Schritt kann sich auf den Empfang des Bildes zur Speicherung in einem Speicher der Zeigevorrichtung vom bordseitigen Bildgeber der Verarbeitungsvorrichtung beziehen oder auf den Empfang des Bildes auf einem Knoten des Systems von einem anderen Knoten des Systems, auf dem das Bild erfasst wurde (z. B. wird das Bild auf einer Begleitvorrichtung in Form eines Smartphones erfasst und dann an eine Ladevorrichtung der Zeigevorrichtung oder einen Remote-Server übertragen, wo es empfangen wird).
  • Das Flussdiagramm 210 fährt mit einem Schritt 213 fort, in dem eine charakteristische Größe auf Basis des Referenzbildes bestimmt wird. Wenn zu diesem Zeitpunkt bereits weitere Referenzbilder vom System erfasst wurden, kann Schritt 213 auch auf Basis des Satzes von Referenzbildern durchgeführt werden. Bei der charakteristischen Größe kann es sich um einen Wert handeln, der in Bezug auf das jüngste Referenzbild oder auf einen ganzen Satz gesammelter Referenzbilder berechnet wird. Die charakteristische Größe kann eine Qualitätsmetrik für die Bildqualität des letzten Referenzbildes sein, eine Anzahl von Referenzbildern im Satz von Referenzbildern oder ein komplexerer Wert, der den Satz von Referenzbildern widerspiegelt, der mit einer grafischen und geometrischen Analyse berechnet wurde, die die Variation dieser Bilder in Bezug auf die in den Bildern auftretenden Blickpunkte, die in diesen Bildern auftretende Helligkeit usw. bewertet. Bei der charakteristischen Größe kann es sich um eine Vervollständigungsmetrik einer dreidimensionalen Rekonstruktion mindestens eines Teils der Zone von Interesse oder des Zeigeziels aus den Referenzbildern handeln (z. B. die bereits entdeckte Fläche im Vergleich zur gesamten zu entdeckenden Fläche). Das charakteristische könnte eine Diversitätsmetrik sein, die aus den Spektralinhalten der verschiedenen Referenzbilder berechnet wird. Die charakteristische Größe könnte eine Diversitätsmetrik der geschätzten Blickwinkel der Referenzbilder sein.
  • Das Flussdiagramm 210 wird mit einem Schritt 214 fortgesetzt, in dem von der charakteristischen Größe eine Beendigung der Einrichtungsphase für die Zeigevorrichtung abhängig gemacht wird. In diesem Schritt kann die in Schritt 213 erzeugte charakteristische Größe ausgewertet werden, um zu bestimmen, ob die Einrichtungsphase abgeschlossen ist. Auf diese Weise wird die Beendigung der Einrichtungsphase von der charakteristischen Größe abhängig gemacht. Die Auswertung der charakteristischen Größe kann einen Vergleich mit einem Schwellenwert beinhalten (z. B. die charakteristische Größe überschreitet, ist gleich oder liegt unter einem bestimmten Schwellenwert). Der Vergleich hängt von der Art der charakteristischen Größe ab, die in Schritt 214 berechnet wird. In einer spezifischen Ausführungsform ist die charakteristische Größe eine Anzahl von Referenzbildern in dem Satz der Referenzbilder. Der Schwellenwert wäre dann einfach eine vorgegebene Anzahl von Referenzbildern, die der Benutzer erfassen müsste. In einer anderen spezifischen Ausführungsform ist die charakteristische Größe ein Maß für die Varianz oder Kreuzkorrelation zwischen verschiedenen Bildern im Referenzbildsatz. Die Varianz oder Kreuzkorrelation kann in Bezug auf eine Gesamttexturkarte, eine Bildgeberstellung, Helligkeit oder andere Aspekte des Bildes gemessen werden. Unabhängig davon, welche spezifische Größe berechnet wird, ist Schritt 214 jedoch von der charakteristische Größe abhängig, die anzeigt, dass das Referenzbild oder der Satz von Referenzbildern, die in Schritt 213 ausgewertet wurden, genügend Informationen enthalten, um eine robuste und eindeutige Signatur für die Zone von Interesse im Referenzbild zu erzeugen. Die charakteristische Größe könnte z. B. ein Grad der Kreuzkorrelation zwischen den Referenzbildern im Satz der Referenzbilder sein. In diesem Fall würde die Auswertung erfordern, dass die charakteristische Größe unter einem Schwellenwert liegt und damit anzeigt, dass die Bilder ausreichend unterscheidbar sind. Ein weiteres Beispiel: Die charakteristische Größe könnte ein Maß für die Varianz zwischen den Referenzbildern in dem Satz der Referenzbilder sein. In diesem Fall würde die Auswertung verlangen, dass die charakteristische Größe über einem Schwellenwert liegt und damit anzeigen, dass die Bilder hinreichend unterscheidbar sind.
  • Das Flussdiagramm 210 kann mit einem Schritt 215 fortgesetzt werden, in dem eine Rückmeldenachricht auf Basis der charakteristischen Größe erzeugt wird. In diesem Zweig des Flussdiagramms wurde die Einrichtungsphase nicht beendet, da der Satz von Referenzbildern in Schritt 214 entweder als unvollständig oder anderweitig unzureichend befunden wurde. Die Rückmeldenachricht kann einen Benutzer anleiten oder ermutigen, mit der Einrichtungsphase fortzufahren, um den Satz von Referenzbildern zu verbessern. Die Rückmeldenachricht kann in Form von Text oder Symbolen erfolgen. Die Rückmeldenachricht kann beispielsweise eine Textanweisung sein, die auf der Anzeige der Zeigevorrichtung angezeigt wird, um weitere Bilder zu erfassen (z. B. nach links bewegen, nach rechts bewegen, zurück bewegen, näher heran bewegen, das Bild erneut aufnehmen, während der Bildgeber ruhig gehalten wird, mehr Lichter einschalten, Lichter ausschalten). Die Textnachricht kann auch über ein akustisches Signal mit Hilfe eines Lautsprechers bereitgestellt werden. Als weiteres Beispiel kann die Rückmeldenachricht ein Bruchteil, ein Fortschrittsbalken oder einer anderen symbolischen Darstellung sein, die die Anzahl der aufgenommenen Referenzbilder im Vergleich zur Anzahl der erforderlichen Referenzbilder angibt. Die Rückmeldenachricht kann sichtbar auf einer Anzeige oder hörbar über einen Lautsprecher bereitgestellt werden. Die Rückmeldenachricht kann auf Basis der charakteristischen Größe oder direkt auf Basis des Referenzbildes erzeugt werden. Die Rückmeldenachricht kann auch das Referenzbild selbst enthalten, so dass ein Benutzer das Referenzbild untersuchen und feststellen kann, warum das System das Referenzbild oder den Satz von Referenzbildern für unzureichend hält. Es können auch verschiedene Kombinationen der hier beschriebenen Arten von Rückmeldungen an den Benutzer gegeben werden. Beispielsweise könnte die Rückmeldung ein Referenzbild enthalten, das mit einer Aufforderung an den Benutzer versehen ist, die Qualität des Referenzbildes zu bestätigen, und die Rückmeldenachricht könnte auch einen Fortschrittsindikator enthalten, der anzeigt, wie viele Referenzbilder vom Benutzer im Vergleich zu einer Zielschwellenzahl akzeptiert wurden.
  • In spezifischen Ausführungsformen der Erfindung wird die Rückmeldung auf einer Begleitvorrichtung, z. B. einem Smartphone, angezeigt. Wenn die Begleitvorrichtung eine bessere Anzeige als die Zeigevorrichtung enthält, würden diese Ausführungsformen bestimmte Vorteile bieten, wenn die visuelle Überprüfung der Rückmeldenachricht wichtig ist, z. B. wenn die Rückmeldenachricht das Referenzbild selbst enthält. In diesen Fällen könnte die Zeigevorrichtung das Bild erfassen und es drahtlos an die Begleitvorrichtung zur Anzeige senden. Alternativ könnte die Begleitvorrichtung sowohl zur Erfassung als auch zur Anzeige der Referenzbilder verwendet werden.
  • In spezifischen Ausführungsformen der Erfindung könnte die Rückmeldenachricht Anweisungen enthalten, wie das mindestens ein zusätzliches Referenzbild aufgenommen werden soll. Die Anweisungen könnten bereitgestellt werden, um sicherzustellen, dass das nächste Referenzbild, das aufgenommen wird, für das System in Bezug auf seine Wirkung auf die charakteristische Größe maximal wertvoll ist. In den Anweisungen könnte mindestens eine Position angegeben werden, in der sich die Zeigevorrichtung oder die Begleitvorrichtung (je nachdem, welche Vorrichtung die Referenzbilder erfasst hat) befinden muss, wenn das mindestens eine zusätzliche Referenzbild erfasst wird. So könnte dem Benutzer beispielsweise ein Pfeil auf einer Anzeige angezeigt werden, der die Richtung angibt, in die er sich bewegen soll, um das nächste Referenzbild zu erfassen. Als weiteres Beispiel könnte der Benutzer entweder über eine sichtbare Anzeige oder über ein akustisches Signal die Anweisung erhalten: „Nehmen Sie ein weiteres Referenzbild für diese Zone links von der Stelle auf, an der Sie gerade ein Bild aufgenommen haben.“ Die Rückmeldung könnte in Echtzeit erfolgen, um den Benutzer zur richtigen Stellung des Bildgebers zu führen. Die Rückmeldung könnte zum Beispiel ein AR-Signal sein. Die Rückmeldung könnte beispielsweise hervorheben, welcher Teil der Zone noch nicht ausreichend erfasst wurde (z. B. sichtbare Hervorhebung, die in Echtzeit über ein Bild der Zone gelegt wird). Als weiteres Beispiel könnte die Rückmeldung einen Pfeil zeigen, der ständig aktualisiert wird und angibt, wie genau die Vorrichtung bewegt werden sollte, bis es sich an der optimalen Position befindet, um den maximalen Wert für die Referenzmenge zu erzeugen.
  • In spezifischen Ausführungsformen der Erfindung könnte die Rückmeldenachricht spezifisch für das zuletzt aufgenommene Referenzbild sein (z. B. könnte die Bestimmung der charakteristischen Größe die Feststellung beinhalten, dass das zuletzt aufgenommene Referenzbild aufgrund schlechter Beleuchtung, Unschärfe, unzureichender Abweichung von früheren Referenzbildern usw. von unzureichender Qualität ist). Die Rückmeldenachricht könnte auch einfach Anweisungen zur erneuten Erfassung desselben Referenzbildes oder Anweisungen zu Änderungen enthalten, die vor der Aufnahme eines Referenzbildes aus demselben Blickwinkel vorzunehmen sind (z. B. „halten Sie den Bildgeber ruhig“ oder „schalten Sie mehr Licht ein“).
  • In spezifischen Ausführungsformen der Erfindung könnte die Rückmeldenachricht Verbesserungen betreffen, die an dem Satz von Referenzbildern insgesamt vorgenommen werden können (z. B. könnte bei der Bestimmung der charakteristischen Größe festgestellt werden, dass dem Satz von Referenzbildern irgendeine Form von Varianz fehlte). Die Rückmeldenachricht kann sich auf mindestens ein zusätzlich aufzunehmendes Referenzbild beziehen, um die Merkmalsausprägung des Referenzbildsatzes zu verbessern. Beispielsweise könnte die Auswertung der charakteristischen Größe darauf hindeuten, dass ein Benutzer zusätzliche Bilder aus einem anderen Winkel, mit einer anderen Helligkeit, mit entfernten oder aus der Zone von Interesse entfernten Objekten usw. aufnehmen sollte. Die Rückmeldenachricht könnte diese Informationen an den Benutzer bereitstellen (z. B. die Anweisung, sich zu einem bestimmten Winkel zu begeben, um die Menge der erforderlichen charakteristischen Blickwinkel zu vervollständigen, oder die Anweisung, zusätzliche Lichter einzuschalten).
  • In spezifischen Ausführungsformen wird Schritt 211 unter Veränderung der Umgebung durchgeführt, um die Vielfalt der Referenzbilder zu erhöhen. Die Variation der Umgebung kann gemäß einer festgelegten Routine oder einer Routine durchgeführt werden, die sich während der Sammlung des Satzes von Referenzbildern auf Basis der charakteristischen Größe verändert. Die Umgebungsvariationen können durch ein Umgebungsvariationssystem erzeugt werden. Da es sich bei der Zeigevorrichtung um eine Steuervorrichtung handeln kann, die als Controller für eine große Anzahl von Vorrichtungen dienen soll, und das Umgebungsvariationssystem eine Komponente des Gesamtsystems sein kann, welche auch die Zeigevorrichtung enthält, kann das Umgebungsvariationssystem auf eine große Anzahl von Vorrichtungen zugreifen, die zum Variieren der Umgebung verwendet werden können In spezifischen Ausführungsformen kann die Zeigevorrichtung Teil des Umgebungsvariationssystem sein und als Urheber der Befehle dienen, die zum Variieren der Umgebung verwendet werden.
  • Verschiedene Umgebungsvariationen können über verschiedene Verfahren eingeführt werden, die auf den Vorrichtungen basieren, die unter der Kontrolle des Umgebungsvariationssystems stehen. So könnte beispielsweise die Helligkeit des Raums durch Ein- oder Ausschalten der Beleuchtung, durch Ändern der Farbe von farbwechselnden Lampen, durch Öffnen oder Schließen der Jalousien oder durch Ein- oder Ausschalten eines Fernsehers oder einer anderen Vorrichtung mit einer Anzeige verändert werden. Ein weiteres Beispiel: Das visuelle Erscheinungsbild eines Raumes kann durch die Anzeige verschiedener Farbmuster oder Bilder auf einem Fernseher oder einer anderen Vorrichtung mit Anzeige verändert werden. Diese Umgebungsvariationen können im Rahmen der oben beschriebenen Routine und auf Basis der charakteristischen Größe erzeugt werden. In Ausführungsformen, in denen die charakteristische Größe ein Maß für die Varianz oder Kreuzkorrelation zwischen der Helligkeit oder der Gesamttexturkarte der verschiedenen Bilder ist, kann die Rückmeldenachricht mit computerlesbaren Anweisungen bezüglich einer gewünschten Abweichung für das nächste Referenzbild erzeugt werden, und das Umgebungsvariationssystems kann die erforderliche Abweichung erzeugen, um die Umgebung in den als Reaktion auf die Rückmeldenachricht erforderlichen Zustand zu versetzen. Beispielsweise könnte die charakteristische Größe anzeigen, dass die Referenzbilder keine ausreichende Varianz in der Helligkeit aufweisen, die Rückmeldung könnte eine Anweisung zur Erhöhung der Helligkeit sein, und das Umgebungsabweichungssystem könnte als Reaktion darauf ein mögliches Verfahren zur Erhöhung der Helligkeit auswählen. Wenn das Umgebungsvariationssystem nur Zugriff auf eine einzige Leuchte hat, könnte es die Leuchtkraft der Leuchte als Reaktion auf die Rückmeldenachricht verringern. Wenn das Umgebungsvariationssystem Zugang zu einer Leuchte und einer Fensterabdeckung hat, könnte das Umgebungsvariationssystem so konzipiert werden, dass es verschiedene Verfahren auswählt und deren Auswirkungen auf die Vielfalt der Referenzbilder untersucht (z. B. zuerst die Fensterabdeckung ausprobieren, und wenn die nächste Rückmeldung immer noch anzeigt, dass mehr Helligkeitsvarianz erforderlich ist, dann das Licht dimmen).
  • Wie dargestellt, durchläuft das Flussdiagramm, wenn die Einrichtungsphase nicht beendet ist, die Schritte 212 und 213, in denen ein zusätzliches Referenzbild erfasst, empfangen und dem Satz von Referenzbildern hinzugefügt wird; und die charakteristische Größe wurde unter Verwendung des zusätzlichen Bildes neu bestimmt. Dieser Prozess könnte den Empfang mindestens eines zusätzlichen Referenzbildes und die Neubestimmung der charakteristischen Größe auf Basis des in der ersten Iteration erfassten Referenzbildes und des mindestens einen zusätzlichen Referenzbildes beinhalten. Das Flussdiagramm kehrt dann zu einem Punkt zurück, an dem das System nach der Neubestimmung der charakteristischen Größe ein Ende der Einrichtungsphase für das System auf Basis der charakteristischen Größe auslösen könnte. Dieser Schritt könnte eine weitere Iteration von Schritt 214 beinhalten, die statt zu einer weiteren Iteration durch die Schleife zu einer Auslösung des Endes der Einrichtungsphase führt. Die bisher beschriebenen Schritte des Flussdiagramms 200 können statt mit der Steuervorrichtung 201 auch mit einer Begleitvorrichtung, wie z.B. einem Smartphone, durchgeführt werden. Die Steuervorrichtung, insbesondere der Bildgeber der Steuervorrichtung, kann jedoch in einigen spezifischen Ausführungsformen zur Erfassung des Referenzbildes und zusätzlicher Referenzbilder in Schritt 211 verwendet werden, während die Rückmeldung aus Schritt 215 auf einer Anzeige einer Begleitvorrichtung, z. B. eines Smartphones, angezeigt wird.
  • Wie dargestellt, kann das Flussdiagramm 210 von Schritt 214 mit einem Schritt 216 des Auslösens der Beendigung einer Einrichtungsphase für die Zeigevorrichtung fortfahren. Schritt 216 kann jederzeit während der Einrichtungsphase durchgeführt werden, wenn der Satz von Referenzbildern durch das System als ausreichend bestimmt wird. Wie dargestellt, wird das Auslösen der Beendigung der Einrichtungsphase als Reaktion auf den Akt des Abhängig Machens der Beendigung der Einrichtungsphase von der charakteristischen Größe durchgeführt. Die in 2 dargestellte Einrichtungsphase wird anhand einer einzelnen Zone von Interesse 206 dargestellt. Die Einrichtungsphase kann jedoch die Sammlung von Referenzbildern für mehrere Zonen von Interesse gleichzeitig umfassen. Daher können die bisher besprochenen Schritte des Flussdiagramms 200 mehrfach wiederholt werden (einschließlich mehrerer Sätze iterativer Zyklen durch Schritt 215), um Referenzbilder für diese zusätzlichen Zonen von Interesse zu sammeln Die Einrichtungsphase kann auch immer dann erneut durchlaufen werden, wenn ein Benutzer eine zusätzliche Zone von Interesse zu einem bestehenden System hinzufügen möchte. Der erneute Eintritt in die Einrichtungsphase könnte durch einen Befehl des Benutzers zum Hinzufügen einer zusätzlichen Zone ausgelöst werden.
  • Die Beendigung der Einrichtungsphase kann zusätzliche Schritte auslösen, die erforderlich sind, um das System in den Zustand für die Betriebsphase zu versetzen. Diese Schritte können die Erzeugung einer Signatur für die Zone von Interesse und die Zuordnung eines Zeigeziels oder Objekts zu der Zone von Interesse umfassen. Das Flussdiagramm 210 enthält einen Schritt 217 zur Erzeugung einer Signatur für die Zone von Interesse unter Verwendung des in Schritt 212 erfassten Referenzbildes. Die Signatur kann unter Verwendung eines Satzes von Referenzbildern erzeugt werden, die über mehrere Iterationen von Schritt 212 erfasst wurden. Das Flussdiagramm 210 enthält auch einen Schritt 218 des Zuordnens eines Objektes der Zone von Interesse. Das Objekt kann ein Kommunikationsobjekt oder ein Steuerobjekt sein. Die Zuordnung zwischen dem Objekt und der Zone von Interesse kann während der Betriebsphase verwendet werden, um die geeignete Zuordnung für die Weiterleitung von Kommunikationen oder Befehlen durch das System zu erstellen, wenn die Zeigevorrichtung auf eine Zone von Interesse gerichtet ist und die Zone von Interesse unter Verwendung der erzeugten Signatur erkannt wird.
  • Die in Schritt 217 erzeugte Signatur kann eine Darstellung der Zone von Interesse sein, die aus zwei- oder dreidimensionalen Daten über die Zone von Interesse abgeleitet werden kann. Die Signatur kann in den Gewichten eines trainierten ANN verkörpert sein, das zur Verarbeitung von Bildern verwendet wird, um zu bestimmen, ob es sich um Bilder dieser Zone von Interesse handelt. Die Signatur könnte auch ein trainierter gerichteter Graph, eine Reihe von Punkten/Koordinaten oder eine andere Form von komprimierten Informationen über die Zone sein, die für Erkennungszwecke verwendet werden können. Die Signatur kann ein Merkmalsvektor sein, der so gestaltet ist, dass er mit der Ausgabe eines Klassifizierungssystems übereinstimmt, das mit Eingangsbildern der Zone von Interesse gefüttert wird. In spezifischen Ausführungsformen der Erfindung kann es eine Vielzahl von Signaturen für die Zone geben (z. B. mehrere zweidimensionale Bilder oder zweidimensionale Merkmale, die von verschiedenen Standpunkten aus aufgenommen wurden) oder eine einzige allgemeine Signatur (z. B. ein dreidimensionales Modell der Zone, das durch Rekonstruktion auf Basis mehrerer zweidimensionaler Referenzbilder oder Merkmale aus diesen Referenzbildern erstellt wurde). Die Signatur kann eine Kombination aus Tag- und Nachtsignaturen sein, die aufgrund der Auswirkungen der Lichtverhältnisse auf die Referenzbilder entwickelt wurde. In spezifischen Ausführungsformen der Erfindung wird auf eine andere Bibliothek von Signaturen zugegriffen, die auf den Merkmalen eines Beispielbildes basiert, das erhalten wird, wenn sich die Zeigevorrichtung in einer Betriebsphase befindet. So könnte das System beispielsweise eine Bibliothek mit Signaturen für eine Reihe von Zonen von Interesse bei schwachem Licht sowie eine Bibliothek mit Signaturen für diese Zonen bei hellem Licht vorhalten. Unter Verwendung eines ALS auf der Zeigevorrichtung kann die Bestimmung der Zone von Interesse während der Betriebsphase beinhalten, dass nur auf die Signaturen für schwaches Licht zugegriffen wird, wenn das ALS eine schwache Beleuchtungsbedingung erkennt, und umgekehrt für eine helle Beleuchtungsbedingung.
  • In spezifischen Ausführungsformen der Erfindung ist die charakteristische Größe eine Diversitätsmetrik der geschätzten Blickwinkel der Referenzbilder (z. B. würden Schätzungen der Perspektive jedes Referenzbildes gemessen oder berechnet und dann analysiert werden, um zu bestimmen, ob es eine ausreichende Variation zwischen den Perspektiven gab). Das System könnte die Unterschiede in den Blickwinkeln zwischen den Referenzbildern bestimmen und analysieren. Dieser Schritt könnte durch die Berechnung von Interessenpunkten in zwei Referenzbildern (z. B. ORB-Deskriptoren), die Zuordnung dieser Punkte über die Bilder hinweg, die Berechnung der wesentlichen Matrix aus dieser Zuordnung und die anschließende Ableitung der Änderung der Orientierung und der Richtung der Änderung der Position zwischen den Blickpunkten erfolgen. In diesen Ausführungsformen könnte als Schwellenwert für die Bewertung der charakteristischen Größe um die Beendigung der Einrichtungsphase davon abhängig zu machen, ein absoluter Winkelabstand zwischen zwei Blickorientierungen verwendet werden, um zu entscheiden, ob sie unterschiedlich genug sind. Die Anzahl der hinreichend unterschiedlichen Ausrichtungen unter Verwendung dieser Metrik könnte auch über die Referenzbilder hinweg gezählt und dem Benutzer als Rückmeldenachricht angezeigt werden. Als Schwellenwert, von dem die Beendigung der Einrichtungsphase abhängig gemacht wird, könnte auch eine Anzahl von Referenzbildern mit ausreichend unterschiedlichen Ausrichtungen verwendet werden, die mit der oben genannten Metrik gemessen wird.
  • In spezifischen Ausführungsformen der Erfindung könnte die charakteristische Größe eine Vervollständigungsmetrik für eine dreidimensionale Rekonstruktion zumindest eines Teils der Zone von Interesse oder des Zeigeziels sein. Das Referenzbild kann verwendet werden, um eine dreidimensionale Darstellung der Zone von Interesse zu rekonstruieren, wobei die Einrichtungsphase beendet wird (oder dem Benutzer vorgeschlagen wird, sie zu beenden), wenn die dreidimensionale Rekonstruktion vollständig genug ist (d. h., wenn es keine tote Zone in der Rekonstruktion gibt). Diese dreidimensionale Rekonstruktion kann durch ein ähnliches Verfahren erfolgen, wie dem im vorhergehenden Absatz beschriebenen, bei dem die Tiefe der interessierenden Punkte anhand der beiden Bilder, auf denen sie erscheinen, ermittelt wird und die relative Orientierung und die Richtung der Verschiebung, die aus der wesentlichen Matrix abgeleitet werden, für die beiden Bilder berechnet werden.
  • In spezifischen Ausführungsformen der Erfindung wird der Prozess der Gewinnung von Bildern vom Benutzer während der Einrichtungsphase unter Verwendung eines Live-Streams von Bildern durchgeführt, die von dem bordseitigen Bildgeber oder dem Bildgeber der Begleitvorrichtung erfasst werden. Die Zeigevorrichtung könnte auch eine Analyse der in diesem Live-Stream erfassten Referenzbilder durchführen, so dass die charakteristische Größe des Satzes von Referenzbildern kontinuierlich aktualisiert wird, während die Bilder erfasst werden. Ebenso könnte die Rückmeldung in Echtzeit berechnet und dem Benutzer zur Verfügung gestellt werden. Die Rückmeldung in diesen Ausführungsformen könnten die oben beschriebenen AR-Signale sein. Zum Beispiel ein Pfeil auf einer Anzeige der Live-Stream-Bilder, der anzeigt, in welche Richtung der Bildgeber bewegt werden sollte, oder eine Hervorhebung auf verschiedenen Oberflächen der Live-Stream-Bilder, die anzeigt, welche Oberflächen ausreichend erfasst und zu einer dreidimensionalen Rekonstruktion des physischen Raums hinzugefügt wurden.
  • In spezifischen Ausführungsformen der Erfindung wird die Datenfusion zur Verbesserung der Einrichtungsphase und/oder der Betriebsphase eingesetzt. Die Datenfusion kann verwendet werden, um eine genauere Rückmeldung oder eine bessere Schätzung von charakteristischen Größen zu erhalten. Die Datenfusion könnte das Hinzufügen zusätzlicher Daten wie Bewegungsverfolgung und/oder Positionsdaten zu den Bilddaten beinhalten. So wird beispielsweise eine Schätzung der Position des Bildgebers zu dem aus dieser Position aufgenommenen Bild hinzugefügt. In spezifischen Ausführungsformen der Erfindung umfasst das System einen Bewegungsverfolger auf der Steuervorrichtung und computerlesbare Medien, auf denen Anweisungen gespeichert sind, um die charakteristische Größe auf Basis des Referenzbildes und der Daten des Bewegungsverfolgers zu bestimmen, die Rückmeldung auf Basis der charakteristischen Größe und der Daten des Bewegungsverfolgers zu erzeugen oder die Signatur einer Zone von Interesse unter Verwendung der Daten des Bewegungsverfolgers während einer Betriebsphase zu erkennen.
  • Die Verwendung einer Kamera mit sichtbarem Licht als einziges Sensorelement kann das System anfällig für Unklarheiten, Sichtverdeckung und visuelle Mehrdeutigkeit zwischen mehreren Orten (z. B. zwei leeren Wänden) machen. Um diesen Problemen entgegenzuwirken, besteht eine Möglichkeit darin, einen Bildgeber für sichtbares Licht durch eine andere Informationsquelle zu ergänzen, z. B. eine IMU, die ein Gefühl für die Stellung des Bildsensors vermittelt (d. h. für seine gemeinsame Position und Ausrichtung). Die Stellungsschätzung kann dann als Ausweichlösung dienen, wenn der Sensor des Bildgebers verdeckt ist oder die Umgebungshelligkeit zu gering ist, um den Sensor richtig arbeiten zu lassen. Die Stellungsschätzung kann dann als zusätzliche Information zur Unterscheidung zwischen zwei Zonen mit denselben visuellen Aspekten in der Betriebsphase dienen. Darüber hinaus kann die Stellungs-Information zur Unterstützung bei der Berechnung der charakteristischen Größe eines Satzes von Referenzbildern verwendet werden, insbesondere derjenigen, die auf einem erforderlichen Grad an Varianz zwischen den für die Erfassung jedes Referenzbildes verwendeten Gesichtspunkten beruhen.
  • In spezifischen Ausführungsformen der Erfindung können Stellungsschätzungen für den Bildgeber durch die vorherige Kenntnis der Position jeder Zone von Interesse unterstützt werden. Dies kann wie folgt geschehen: (1) durch Erfassen der Stellung der Zeigevorrichtung bei jeder Aufnahme eines Referenzbildes und (2) durch Triangulation der Position der Referenzzone aus mindestens zwei in (1) erfassten Stellungsschätzungen. Ähnliche Ansätze können verwendet werden, um die Drift der Sensoren zu korrigieren, die zur Bestimmung der Position der Zeigevorrichtung verwendet werden. Stellungsschätzung von IMUs unterliegen einer Drift, d. h. die Schätzung weicht langsam von der wahren Stellung ab. Um dem entgegenzuwirken, kann die Ausgabe des Bildgebers jedes Mal, wenn eine bekannte Zone von Interesse erkannt wird, zur Korrektur der Drift verwendet werden.
  • 3 zeigt ein Flussdiagramm für eine Betriebsphase eines Systems gemäß spezifischen Ausführungsformen der Erfindung. Das Flussdiagramm 300 beginnt mit einem Schritt 301 des Empfangs eines Beispielbildes. Bei dem Beispielbild kann es sich um ein Zielbild von einem bordseitigen Bildgeber der Zeigevorrichtung handeln. Wie dargestellt, enthält das Beispielbild 310 eine Kodierung mit sichtbarem Licht oder ein Fernseher 311. Der Fernseher stellt die Zone von Interesse dar. Das Flussdiagramm 300 fährt mit einem Schritt 302 fort, in dem eine Signatur unter Verwendung des Beispielbildes identifiziert wird. Bei der Signatur handelt es sich um eine Signatur der in Bild 310 dargestellten Zone von Interesse. Der Schritt kann beinhalten, dass die Informationen aus Bild 310 einem Klassifikator, einem trainierten maschinellen Lernsystem, einer trainierten Support-Vektor-Maschine oder einem anderen System bereitgestellt werden, das in der Lage ist, die Signatur einer Zone von Interesse aus einem Bild zu erkennen.
  • In spezifischen Ausführungsformen der Erfindung kann das System, sobald eine Signatur erkannt wurde, eine Zuordnung zu einer steuerbaren Vorrichtung oder einem anderen Zeigeziel herstellen, mit dem das System kommunizieren soll. Das Flussdiagramm 300 enthält dementsprechend einen Schritt 304 der Zuordnung eines Objekts durch das System. In spezifischen Ausführungsformen der Erfindung kann das System dem Benutzer nach dem Erkennen der Signatur auch eine Benutzerschnittstelle zur Verfügung stellen. Wie dargestellt, fährt das Flussdiagramm 300 mit einem Schritt 303 fort, in dem als Reaktion auf die Erkennung der Signatur eine steuerbare Objektschnittstelle auf einer Anzeige angezeigt wird. 3 zeigt eine Fernsteuerung in einem ersten Zustand 312 mit einer Anzeige 313. Die Ausführung von Schritt 303 ist dementsprechend im Übergang derselben Fernsteuerung in den Zustand 314 dargestellt, in dem die steuerbare Objektschnittstelle 315 des Fernsehers 311 auf dem Display 313 bereitgestellt wird. Dieser Übergang kann als Reaktion auf die Erkennung der Signatur der Zone von Interesse erfolgen, wenn die Zone von Interesse zuvor dem steuerbaren Objekt zugeordnet wurde, z. B. in Übereinstimmung mit den hier beschriebenen Verfahren der Einrichtungsphase.
  • Sobald das Zeigeziel der Zeigevorrichtung ausgewählt ist, kann die Information auf verschiedene Weise verwendet werden. Die Auswahl des Zeigeziels kann bestehen bleiben, bis sie vom Benutzer gelöscht wird, oder sie kann sich im Gleichschritt mit der momentanen Zeigerichtung der Zeigevorrichtung ändern. Während ein bestimmtes Zeigeziel als ausgewähltes Ziel bestehen bleibt, kann die Zeigevorrichtung selbst oder ein System, zu dem die Zeigevorrichtung gehört, so konfiguriert werden, dass es mit einer spezifischen Vorrichtung oder System interagiert, das mit diesem spezifischen Zeigeziel verbunden ist. In spezifischen Ausführungsformen der Erfindung kann die Zeigevorrichtung eine Fernsteuerung sein, und das Zeigeziel kann ausgewählt werden, um zu bestimmen, mit welcher steuerbaren Vorrichtung die Fernsteuerung zu einem bestimmten Zeitpunkt interagieren soll. In spezifischen Ausführungsformen der Erfindung kann die Zeigevorrichtung über ein Display verfügen, und das Zeigeziel kann ausgewählt werden, um zu bestimmen, welche Steuerschnittstelle zu einem bestimmten Zeitpunkt auf der Anzeige angezeigt werden soll. Bei der Anzeige kann es sich um ein Touch-Display oder eine andere Kombination aus Anzeige- und Eingabeschnittstelle handeln, die dazu dient, dem Benutzer Informationen zu präsentieren und Steuereingaben vom Benutzer zu empfangen. Als Beispiel, das die beiden oben genannten Ausführungsformen kombiniert, könnten, wenn ein Benutzer die Zeigevorrichtung auf einen Fernseher richtet, auf der Anzeige ein Kanalwähler und ein Lautstärkewähler angezeigt werden, zusammen mit dem Wort „Fernseher“, das die aktuell ausgewählte Vorrichtung angibt. Wenn der Benutzer danach mit der Zeigevorrichtung auf eine Glühbirne zeigt, könnte die Anzeige einen Ein-Aus-Schalter, einen Dimmer oder einen Farbwähler anzeigen, basiert auf den mit der Glühbirne verbundenen Merkmalen.
  • Die Beziehung zwischen dem Zeigeziel und der Zuordnung, die das System vornimmt, während dieses spezifische Zeigeziel ausgewählt wird, kann verschiedene Formen annehmen. Beispielsweise kann das Zeigeziel selbst ein kontrollierbares Objekt sein, das Gegenstand einer Zuordnung durch das Kontrollsystem sein sollte. Bei dem Zeigeziel kann es sich jedoch auch um eine physische Zone handeln, die durch bestimmte Merkmale definiert ist, die von dem Bildgeber erfasst werden können, aber keine physische Verbindung zu einem steuerbaren Objekt haben. Stattdessen kann das System das Zeigeziel zuvor einem bestimmten steuerbaren Objekt zugeordnet haben. So können die steuerbaren Objekte reale oder virtuelle Objekte sein. Bei den steuerbaren Objekten kann es sich beispielsweise um physische automatisierte Gebäudekomponenten oder Smart-Home-Vorrichtungen handeln, die Befehle empfangen oder Informationen bereitstellen, wie etwa Beleuchtungsvorrichtungen, Fernseher, elektronische Fensterläden, Thermostate, Aktoren für kommerzielle HVAC-Vorrichtungen, Rauchmelder, chemische Sensoren, Sicherheitsvorrichtungen und dergleichen. Bei den steuerbaren Objekten kann es sich jedoch auch um virtuelle Objekte handeln, die Befehle empfangen oder Informationen bereitstellen, wie z. B. über das Internet zugängliche APIs oder andere virtuelle Objekte. Darüber hinaus wird durch die flexible Zuordnung zwischen Zeigezielen und steuerbaren Objekten sichergestellt, dass ein Benutzer nicht in der Lage sein muss, ein steuerbares Objekt physisch zu sehen, um es auszuwählen.
  • Die Kette von Vorgängen, die von der Erfassung eines Bildes über die Auswahl eines Zeigeziels und die Zuordnung des Zeigeziels oder des steuerbaren Objekts bis hin zur Nutzung dieser Zuordnung in Übereinstimmung mit den oben genannten Beispielen reicht, kann auf verschiedene Weise umgesetzt werden. Insbesondere kann die Weiterleitung von Befehlen oder Informationen in Übereinstimmung mit dem aktuell ausgewählten Zeigeziel von verschiedenen Knoten im System durchgeführt werden. Beispielsweise könnte ein Befehl über eine Schnittstelle an der Zeigevorrichtung selbst, wie ein Touch-Display oder ein Mikrofon, oder über ein völlig separates System, wie ein Mikrofon, das sich im selben Raum wie die Zeigevorrichtung befindet, empfangen werden. Darüber hinaus könnte die Zeigevorrichtung lediglich Bilder vom Bildgeber an einen separaten Knoten im System weiterleiten, oder es kann alle notwendigen Schritte durchführen, um einen Befehl zu erzeugen, der speziell für die Weiterleitung an eine bestimmte steuerbare Vorrichtung bestimmt ist. Die Zeigevorrichtung selbst kann die darauf gesammelten Bilder erfassen und sie entweder an Ort und Stelle speichern und verarbeiten oder sie an eine alternative Vorrichtung zur Speicherung und Verarbeitung weiterleiten. Beispielsweise könnte die Zeigevorrichtung Bilder an eine Ladevorrichtung senden, die dann feststellt, welches Objekt Gegenstand einer Zuordnung durch das Steuersystem sein sollte, und die Befehle an dieses Objekt weiterleitet. Auf die gleiche Weise kann die Zeigevorrichtung unabhängig eine gesteuerte Vorrichtung einem Befehl zuordnen, oder es kann nur ein Zeigeziel einem Befehl zuordnen, während ein unterstützendes System den nächsten Schritt der Zuordnung des Befehls mit der gesteuerten Vorrichtung über eine gespeicherte Zuordnung zwischen Zeigezielen und gesteuerten Vorrichtungen vornimmt, die von diesem unterstützenden System gespeichert und gepflegt wird.
  • In spezifischen Ausführungsformen der Erfindung kann die Art und Weise, in der die Befehle tatsächlich durch das System geleitet werden, je nach der spezifischen Implementierung variieren. 3 zeigt das Beispiel einer Zeigevorrichtung in Form einer Fernsteuerung 316, die mit einer Steuervorrichtung in Form eines Fernsehers 317 verbunden ist, so dass ein Leitsystem 318 Befehle von der Fernsteuerung 316 zum Fernseher 317 leitet. Das Leitsystem 318 könnte vollständig in die Fernsteuerung 316 integriert sein und einen IR-Sender umfassen, der so eingestellt werden kann, dass er Signale an verschiedene Vorrichtungen, einschließlich des IR-Empfängers des Fernsehers 317, sendet. Das Leitsystem 318 kann jedoch auch zusätzliche Vorrichtungen wie eine Ladestation für die Fernsteuerung 316 umfassen. Das Leitsystem 318 könnte auch eine beliebige Anzahl von lokalen oder Großraumnetzen, das Internet und entfernte Vorrichtungen wie Server und eine dazugehörige Cloud-Architektur umfassen. Die Ladestation könnte einen IR-Sender für die Kommunikation mit dem Fernseher 317 und ein anderes drahtloses Kommunikationssystem für die Kommunikation mit der Fernsteuerung 316 enthalten. Darüber hinaus könnte, wie an anderer Stelle hier beschrieben, die Fernsteuerung oder eine andere Zeigevorrichtung einfach dazu verwendet werden, die Zuordnung 302 herzustellen, während die vom Leitsystem 318 weitergeleiteten Befehle von einer separaten Vorrichtung stammen. So könnten die Befehle beispielsweise von einem Mikrofon an einer Ladevorrichtung für die Fernsteuerung 316 oder von einem beliebigen Mikrofon mit einer Kommunikationsschnittstelle zum Leitsystem 318 empfangen werden.
  • 4 zeigt eine mögliche Benutzerschnittstelle 400, die auf einer Anzeige einer Fernsteuerung 410 bereitgestellt wird, um einen Benutzer bei der Beschaffung eines Satzes von Referenzbildern in Übereinstimmung mit spezifischen Ausführungsformen der Erfindung zu führen. Die Benutzerschnittstelle wird auf einem Touch-Display der Fernsteuerung 410 dargestellt. An diesem Punkt des Einrichtungsprozesses hat das System bereits ein mehrfarbiges Licht an einem potenziellen Zeigeziel identifiziert. Das Zeigeziel wird hier als potenzielles Zeigeziel bezeichnet, da es noch nicht zu der Menge, der dem System bekannten Zeigeziele hinzugefügt wurde. Das Zeigeziel, das Gegenstand des aktuellen Abschnitts des Einrichtungsvorgangs ist, wird im Bereich 401 auf der Anzeige angezeigt. Die Benutzerschnittstelle 400 zeigt zusätzlich einen Zähler 402 für die Anzahl der Ansichten des Zeigeziels an, die der Benutzer sammeln soll. Zusätzliche Anweisungen können gegeben werden, um den Benutzer bei der Aufnahme geeigneter Bilder zu unterstützen. Dem Benutzer wird auch ein Steuerelement 404 angezeigt, mit dem er den Bildgeber anweisen kann, ein Bild aufzunehmen. Der Zähler und der Bereich für zusätzliche Anweisungen können verwendet werden, um dem Benutzer andere Arten von Informationen über Perspektivwechsel, Beleuchtungsänderungen und andere Rückmeldungen vom System zu liefern, um ihn durch eine erfolgreiche Ausführung des Prozesses der Bildaufnahme zu führen. Die Benutzerschnittstelle von 4 könnte einen ähnlichen Benutzererfahrungsablauf für die Erfassung von Bildern einer Zone von Interesse bieten. In spezifischen Ausführungsformen könnte der Benutzer nicht wissen, dass das System Informationen über eine Zone von Interesse erfasst, und könnte stattdessen Anweisungen zu Referenzbildern in Bezug auf ein in dieser Zone liegendes Zeigeziel erhalten.
  • Die in Schritt 212 empfangenen Bilder könnten verschiedenen Formen der Vorverarbeitung unterzogen werden, bevor sie zur Bestimmung einer charakteristischen Größe oder zur Identifizierung einer Signatur verwendet werden. Wenn es sich beispielsweise um Bilder mit sichtbarem Licht handelt, könnte das Bild einem automatischen Weißabgleich, Autofokus und einer Bildstabilisierung sowie anderen Bildstandardisierungsverfahren unterzogen werden, um das Bild so vorzubereiten, dass es später als Referenz für die Darstellung des Zeigeziels verwendet werden kann. Die Bilder könnten mit einem Rolling-Shutter-Kameramodell entzerrt werden. In einem verwandten Ansatz könnten die Bilder mit einer Global-Shutter-Kamera aufgenommen werden, um die Normalisierung der Bilder zu unterstützen, während sie aufgenommen werden. Die Vorverarbeitung könnte außerdem eine Bildverarbeitung umfassen, um Änderungen der Helligkeit während der Einrichtungsphase zu kompensieren. Diese Art der Verarbeitung könnte auch auf Bilder angewandt werden, die gesammelt werden, wenn die Zeigevorrichtung im Einsatz-Zustand betrieben wird. In Ausführungsformen, in denen die Zeigevorrichtung verschiedene Arten von Daten erfasst, könnte die Vorverarbeitung auch die Zusammenführung der Daten von den verschiedenen Sensoren umfassen, z. B. bei der Bildung einer RGB-D-Punktwolke durch Zusammenführung von sichtbarem Licht und Tiefendaten.
  • Dieselben oben erwähnten Vorverarbeitungsarten könnten auf Bilder angewandt werden, die gesammelt werden, wenn die Zeigevorrichtung im Einsatz-Zustand arbeitet, wie die in Schritt 301 empfangenen Bilder. In der Tat würden verschiedene Vorverarbeitungsmethoden zur Normalisierung der Bilder dem System beim Abgleich von Bildern desselben Ausrichtungstyps helfen, da störende Unterschiede beseitigt würden.
  • In spezifischen Ausführungsformen der Erfindung können Verfahren, wie die im Flussdiagramm 300 dargestellten Verfahren, an vom System erkannte Fehlerzustände oder an wesentliche Änderungen in der Verfügbarkeit von Daten angepasst werden. Beispielsweise könnte die Zeigevorrichtung bei einem Fehlerzustand oder fehlenden Daten in einen manuellen Modus übergehen, in dem die zu steuernde Vorrichtung vom Benutzer durch andere Mittel wie einen Sprachbefehl oder die Auswahl der Vorrichtung in einem Menü auf einem Touch-Display der Zeigevorrichtung identifiziert wird. Das Fehlen von Daten oder ein Fehlerzustand kann auf verschiedene Weise erkannt werden. Zum Beispiel könnte ein Umgebungslichtsensor oder ein Kontrollsystem, das Dinge wie den Status der Beleuchtung im Raum und die Tageszeit kennt, steuern, welche Arten von Bildgebern zum Sammeln von Bildern verwendet werden können und welche Änderungen an dem Verfahren zur Erzeugung einer Überlagerung davon vorgenommen werden müssen. Gemäß diesem Beispiel könnte eine Zeigevorrichtung, die sowohl über einen Sensor für sichtbares Licht als auch über einen IR-Sensor verfügt, den Sensor für sichtbares Licht deaktivieren, wenn die Vorrichtung im Dunkeln betrieben wird. Ein weiteres Beispiel: Das System könnte feststellen, ob eine größere Änderung am Standort oder einer bestimmten Zone vorgenommen wurde, so dass das System eine Zone nicht mehr zuverlässig identifizieren kann. Genauer gesagt könnte das System feststellen, ob ein Benutzer den physischen Raum seit der Durchführung des Einrichtungsvorgangs so umgestaltet hat, dass die Prozesse zur Neukalibrierung und Verfeinerung der der Zone zugeordneten Signatur zur Einrichtungsphase zurückkehren.
  • In jedem der vorangegangenen Beispiele könnte dem Benutzer die Option, in einen Standardmodus zu wechseln, angeboten werden, anstatt den Bildgeber-gestützten Modus automatisch zu beenden oder die Leistung des Bildgeber-gestützten Modus automatisch zu ändern. Die Option, in einen Standardmodus zu wechseln, könnte dem Benutzer auch kontinuierlich über eine konfigurierbare Einstellung angeboten werden, unabhängig vom Vorhandensein eines Fehlerzustands oder eines Mangels an Daten.
  • In spezifischen Ausführungsformen der Erfindung könnten die Komponenten des Systems an einem mobilen Roboter angebracht werden, um die physische Position der Komponente während der Einrichtungs- oder Betriebsphase automatisch anzupassen. Zum Beispiel könnten die oben erwähnte Zeigevorrichtung, die unterstützende Vorrichtung, die Steuervorrichtung und die Begleitvorrichtung alle oder einzeln an einem mobilen Roboter angebracht werden Der mobile Roboter könnte ein Lauf-, Rad- oder Beinroboter sein Der mobile Roboter könnte ein Flugroboter wie ein Miniatur-Quadcopter sein. Der mobile Roboter könnte ein festes Stativ oder eine andere Stütze sein, die an einer schwenkbaren Bildgeberhalterung befestigt ist, mit der der Roboter die Stellung eines angebrachten Bildgebers verändern und einstellen kann. Der mobile Roboter könnte die Vorrichtung mit einer Beweglichkeit von 6 Freiheitsgraden (DOF) ausstatten, so dass die Vorrichtung verschiedene x-, y- und z-Positionen in der Umgebung sowie verschiedene Neige-, Gier- und Schwenk-Positionen des Bildgebers einnehmen kann. Der Roboter könnte auch die Position des Bildgebers automatisch ändern.
  • In spezifischen Ausführungsformen der Erfindung könnte die Position der Vorrichtung von den oben erwähnten mobilen Robotern während der Einrichtungsphase variiert werden, um die Vielfalt der Referenzbilder zu erhöhen. Die Position könnte gemäß einer festgelegten Routine oder einer Routine variiert werden, die sich während der Erfassung des Satzes von Referenzbildern basierend auf der charakteristischen Größe ändert. Die Positionsvariationen können als Teil der oben beschriebenen Routine und auf Basis der charakteristischen Größe erstellt werden. In Ausführungsformen, in denen die charakteristische Größe ein Maß für die Varianz oder Kreuzkorrelation zwischen der Kamerastellung oder dem physischen Erscheinungsbild der Umgebung der verschiedenen Bilder ist, kann die Rückmeldenachricht mit computerlesbaren Anweisungen bezüglich einer gewünschten Varianz für das nächste Referenzbild erzeugt werden, und der mobile Roboter kann die erforderliche Varianz erzeugen, um die Umgebung in den als Reaktion auf die Rückmeldenachricht erforderlichen Zustand zu versetzen. Beispielsweise könnte die charakteristische Größe anzeigen, dass die Referenzbilder keine ausreichende Varianz in der Kamerastellung aufwiesen, und der mobile Roboter könnte einen Bildgeber an einen anderen Ort bewegen, um ein anderes Referenzbild zu erhalten. Als weiteres Beispiel könnte die charakteristische Größe anzeigen, dass die Zone nicht genügend physische Varianz aufweist, und der mobile Roboter könnte sich selbst oder andere Gegenstände innerhalb der Zone bewegen, um diese Vielfalt zu erhöhen.
  • Während die Beschreibung im Detail in Bezug auf bestimmte Ausführungsformen der Erfindung beschrieben wurde, wird es geschätzt werden, dass die Fachleute auf dem Gebiet, nach dem Erreichen eines Verständnisses des Vorstehenden, leicht Änderungen, Variationen und Äquivalente zu diesen Ausführungsformen erdenken. Beispielsweise wurde in der Offenbarung das Beispiel einer Fernsteuerung als Zeigevorrichtung verwendet, und die Bestimmung der Zeigerichtung wurde verwendet, um Befehle an eine steuerbare Vorrichtung weiterzuleiten. Der Ansatz kann jedoch im weiteren Sinne auf jede Zeigevorrichtung angewendet werden, wie z. B. einen Präsentationszeiger, eine Inventarverwaltungsvorrichtung oder ein Spielzeug, das für eine drahtlose Markierung verwendet wird. Darüber hinaus kann derselbe Ansatz zur Bestimmung des Kurses einer beliebigen Vorrichtung in einer bestimmten physischen Umgebung angewandt werden, z. B. für einen Roboter oder eine Drohne, der/die selbständig durch einen bestimmten Raum navigieren kann. Darüber hinaus können viele der hier vorgestellten Ansätze auch auf Vorrichtungen mit eingebautem Bildgeber angewendet werden, selbst wenn diese ursprünglich nicht für die Verwendung als Zeigevorrichtungen vorgesehen waren. So könnte beispielsweise die Kamera auf der Rückseite eines Smartphones als Bildgeber verwendet werden, der auf die Zeigerichtung des Smartphones ausgerichtet ist, während die Anzeige als Steuerungsschnittstelle dient. Diese und andere Modifikationen und Variationen der vorliegenden Erfindung können von Fachleuten durchgeführt werden, ohne vom Umfang der vorliegenden Erfindung abzuweichen, der insbesondere in den beigefügten Ansprüchen dargelegt ist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62/884278 [0001]
    • US 10068463 [0003]

Claims (30)

  1. System, umfassend: eine Steuervorrichtung, wobei die Steuervorrichtung eine Form hat, die eine Zeigerichtung der Steuervorrichtung definiert; einen auf der Steuervorrichtung angeordneten bordseitigen Bildgeber, wobei der bordseitige Bildgeber ein Sichtfeld hat, das die Zeigerichtung einschließt; und ein oder mehrere computerlesbare Medien, die Anweisungen speichern, um: ein Referenzbild zu empfangen; eine charakteristische Größe auf Basis des Referenzbildes zu bestimmen; eine Rückmeldenachricht auf Basis der charakteristischen Größe zu erzeugen; und eine Einrichtungsphasenbeendigung für die Steuervorrichtung von der charakteristischen Größe abhängig zu machen.
  2. System nach Anspruch 1, wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um: mindestens ein zusätzliches Referenzbild zu empfangen; die charakteristische Größe auf Basis des Referenzbildes und des mindestens einen zusätzlichen Referenzbildes neu zu bestimmen; und, nachdem die charakteristische Größe neu bestimmt worden ist, ein Ende der Einrichtungsphase für das System auf Basis der charakteristischen Größe auszulösen.
  3. System nach Anspruch 1, wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um: eine Umgebung, in der sich die Steuervorrichtung befindet, auf Basis der Rückmeldenachricht zu ändern; wobei das Ändern der Umgebung das Ändern eines umfasst aus: eine Helligkeit der Umgebung, eine Position eines mobilen Roboters in der Umgebung; und ein Bild, das auf einem Bildschirm in der Umgebung angezeigt wird, wobei die Rückmeldenachricht mindestens ein zusätzliches Referenzbild betrifft, das zur Verbesserung der charakteristischen Größe aufgenommen werden soll.
  4. System nach Anspruch 1, wobei: die Rückmeldenachricht mindestens ein zusätzliches Referenzbild betrifft, das erfasst werden soll, um die charakteristische Größe zu verbessern; und die Rückmeldenachricht Anweisungen enthält, wie das mindestens eine zusätzliche Referenzbild erfasst werden soll.
  5. System nach Anspruch 1, weiterhin umfassend: eine Begleitvorrichtung mit einem Bildgeber der Begleitvorrichtung und einer Anzeige; wobei das Referenzbild von dem Bildgeber der Begleitvorrichtung erfasst wird; und wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen zum Anzeigen des Referenzbildes auf der Anzeige speichern.
  6. System nach Anspruch 5, wobei: das mindestens eine zusätzliche Referenzbild durch den Bildgeber der Begleitvorrichtung erfasst wird; und die Anweisungen mindestens eine Position angeben, in der sich die Begleitvorrichtung befinden muss, wenn sie das mindestens eine zusätzliche Referenzbild erfasst.
  7. System nach Anspruch 1, wobei: das Bestimmen der charakteristischen Größe das Bestimmen einschließt, dass das Referenzbild von unzureichender Qualität ist; und die Rückmeldenachricht Anweisungen enthält, das Referenzbild erneut zu erfassen.
  8. System nach Anspruch 1, wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um: eine Erfassungsschnittstelle an der Steuervorrichtung auf Basis der charakteristischen Größe zu deaktivieren; und wobei die Bestimmung der charakteristischen Größe auf Basis des Referenzbildes in Echtzeit durchgeführt wird.
  9. System nach Anspruch 1, wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um: eine Signatur für eine Zone von Interesse unter Verwendung des Referenzbildes zu erzeugen; ein Kommunikationsobjekt der Zone von Interesse zuzuordnen; ein Zeigezielbild von dem bordseitigen Bildgeber zu empfangen; die Signatur unter Verwendung des Zeigezielbildes zu identifizieren; und eine Kommunikationsschnittstelle für das Kommunikationsobjekt in Reaktion auf die Identifizierung der Signatur zu aktivieren.
  10. System nach Anspruch 1, wobei das System weiterhin umfasst: eine Anzeige auf der Steuervorrichtung; und wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um: eine Signatur für eine Zone von Interesse unter Verwendung des Referenzbildes zu erzeugen; ein steuerbares Objekt der Zone von Interesse zuzuordnen; ein Zeigezielbild von dem bordseitigen Bildgeber zu empfangen; die Signatur unter Verwendung des Zeigezielbildes zu identifizieren; und eine Benutzerschnittstelle für das steuerbare Objekt auf der Anzeige in Reaktion auf die Identifizierung der Signatur anzuzeigen.
  11. System nach Anspruch 1, wobei das System weiterhin umfasst: einen Bewegungsverfolger auf der Steuervorrichtung; und wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um entweder: die charakteristische Größe auf Basis des Referenzbildes und der Daten vom Bewegungsverfolger zu bestimmen; oder die Rückmeldenachricht auf Basis der charakteristischen Größe und der Daten vom Bewegungsverfolger zu erzeugen.
  12. Computerimplementiertes Verfahren, das mit einer Steuervorrichtung durchgeführt wird, die folgendes aufweist: (i) eine Form, die eine Zeigerichtung der Steuervorrichtung definiert; und (ii) einen bordseitigen Bildgeber mit einem Sichtfeld, das die Zeigerichtung einschließt, umfassend: Erfassen eines Referenzbildes; Bestimmen einer charakteristischen Größe auf der Basis des Referenzbildes; Erzeugen einer Rückmeldenachricht auf der Basis der charakteristischen Größe; und Abhängig Machen einer Einrichtungsphasenbeendigung für die Steuervorrichtung von der charakteristischen Größe.
  13. Computerimplementiertes Verfahren nach Anspruch 12, weiterhin umfassend: Empfangen mindestens eines zusätzlichen Referenzbildes; Neubestimmen der charakteristischen Größe auf Basis des Referenzbildes und des mindestens einen zusätzlichen Referenzbildes; und Auslösen eines Endes der Einrichtungsphase auf Basis der charakteristischen Größe, nachdem die charakteristische Größe neu bestimmt worden ist.
  14. Computerimplementiertes Verfahren nach Anspruch 12, weiterhin umfassend: Erfassen des Referenzbildes unter Verwendung einer Begleitvorrichtung, wobei die Begleitvorrichtung einen Bildgeber der Begleitvorrichtung und eine Anzeige aufweist; und Anzeigen des Referenzbildes auf der Anzeige.
  15. Computerimplementiertes Verfahren nach Anspruch 14, wobei: die Rückmeldenachricht mindestens ein zusätzliches Referenzbild betrifft, das zur Verbesserung der charakteristischen Größe erfasst werden soll.
  16. Computerimplementiertes Verfahren nach Anspruch 15, wobei: die Rückmeldenachricht Anweisungen enthält, wie das mindestens eine zusätzliche Referenzbild zu erfassen ist.
  17. Computerimplementiertes Verfahren nach Anspruch 16, weiterhin umfassend: Erfassen des mindestens einen zusätzlichen Referenzbildes unter Verwendung des Bildgebers der Begleitvorrichtung; und wobei die Anweisungen mindestens eine Position angeben, in der sich die Begleitvorrichtung befinden muss, wenn das mindestens eine zusätzliche Referenzbild erfasst wird.
  18. Computerimplementiertes Verfahren nach Anspruch 14, weiterhin umfassend: kontinuierliches Erfassen eines Live-Bildstroms unter Verwendung des bordseitigen Bildgebers; und wobei die Rückmeldenachricht einen Augmented-Reality-Bildstrom enthält, der unter Verwendung des Live-Bildstroms erzeugt wurde.
  19. Computerimplementiertes Verfahren nach Anspruch 12, wobei: der Schritt des Bestimmens der charakteristischen Größe das Bestimmen einschließt, dass das Referenzbild von unzureichender Qualität ist; und die Rückmeldenachricht Anweisungen enthält, das Referenzbild erneut zu erfassen.
  20. Computerimplementiertes Verfahren nach Anspruch 12, weiterhin umfassend: Deaktivieren einer Erfassungsschnittstelle an der Steuervorrichtung auf Basis der charakteristischen Größe; und wobei der Schritt des Bestimmens der charakteristischen Größe auf Basis des Referenzbildes in Echtzeit durchgeführt wird.
  21. Computerimplementiertes Verfahren nach Anspruch 12, weiterhin umfassend: Erzeugen einer Signatur für eine Zone von Interesse unter Verwendung des Referenzbildes; Zuordnen eines Kommunikationsobjekts oder eines steuerbaren Objekts zu der Zone von Interesse; Empfangen eines Zeigezielbildes von dem bordseitigen Bildgeber; Identifizieren der Signatur unter Verwendung des Zeigezielbildes; und Aktivieren einer Kommunikationsschnittstelle für das Kommunikationsobjekt in Reaktion auf das Identifizieren der Signatur.
  22. Computerimplementiertes Verfahren nach Anspruch 12, weiterhin umfassend: Bestimmen der charakteristischen Größe auf Basis des Referenzbildes und von Daten von einem Bewegungsverfolger auf der Steuervorrichtung; oder Erzeugen der Rückmeldenachricht auf Basis der charakteristischen Größe und von Daten von dem Bewegungsverfolger.
  23. System, umfassend: eine Steuervorrichtung, wobei die Steuervorrichtung eine Zeigerichtung hat; einen auf der Steuervorrichtung angeordneten bordseitigen Bildgeber, wobei der bordseitige Bildgeber ein Sichtfeld hat, das die Zeigerichtung einschließt; und ein oder mehrere computerlesbare Medien, die Anweisungen speichern, um: einen Satz von Referenzbildern zu empfangen; eine charakteristische Größe auf Basis des Satzes von Referenzbildern zu bestimmen; und auf Basis der charakteristischen Größe entweder: (i) eine Rückmeldenachricht zu erzeugen; oder (ii) eine Einrichtungsphase für die Steuervorrichtung zu beenden.
  24. System nach Anspruch 23, weiterhin umfassend: eine Begleitvorrichtung mit einem Bildgeber der Begleitvorrichtung und einem Display; wobei der Satz von Referenzbildern von dem Bildgeber der Begleitvorrichtung erfasst wird; und wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen zur Anzeige des Satzes von Referenzbildern auf der Anzeige speichern.
  25. System nach Anspruch 24, wobei: die Rückmeldenachricht mindestens ein zusätzliches Referenzbild betrifft, das zur Verbesserung der charakteristischen Größe erfasst werden soll.
  26. System nach Anspruch 25, wobei: die Rückmeldenachricht Anweisungen enthält, wie das mindestens eine zusätzliche Referenzbild zu erfassen ist.
  27. System nach Anspruch 26, wobei: das mindestens eine zusätzliche Referenzbild durch den Bildgeber der Begleitvorrichtung erfasst wird; und die Anweisungen mindestens eine Position angeben, in der sich die Begleitvorrichtung befinden muss, wenn es das mindestens eine zusätzliche Referenzbild erfasst.
  28. System nach Anspruch 23, wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um: eine Signatur für eine Zone von Interesse unter Verwendung des Satzes von Referenzbildern zu erzeugen; ein Kommunikationsobjekt der Zone von Interesse zuzuordnen; ein Zeigezielbild von dem bordseitigen Bildgeber zu empfangen; die Signatur unter Verwendung des Zeigezielbildes zu identifizieren; und eine Kommunikationsschnittstelle für das Kommunikationsobjekt in Reaktion auf die Identifizierung der Signatur zu aktivieren.
  29. System nach Anspruch 23, wobei: das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um: (i) die Rückmeldenachricht zu erzeugen; und (ii) kontinuierlich einen Live-Strom von Bildern unter Verwendung des bordseitigen Bildgebers zu erfassen; und die Rückmeldenachricht einen Augmented-Reality-Strom von Bildern enthält, der unter Verwendung des Live-Stroms von Bildern erzeugt wird.
  30. System nach Anspruch 23, wobei das System weiterhin umfasst: einen Bewegungsverfolger auf der Steuervorrichtung; und wobei das eine oder die mehreren computerlesbaren Medien weiterhin Anweisungen speichern, um entweder: die charakteristische Größe auf Basis des Satzes von Referenzbildern und Daten vom Bewegungsverfolger zu bestimmen; oder die Rückmeldenachricht auf Basis der charakteristischen Größe und Daten vom Bewegungsverfolger zu erzeugen.
DE112020003765.7T 2019-08-08 2020-08-10 Überwachte Einrichtung eines Steuervorrichtungs mit Bildgeber Pending DE112020003765T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962884278P 2019-08-08 2019-08-08
US62/884,278 2019-08-08
PCT/IB2020/057519 WO2021024238A1 (en) 2019-08-08 2020-08-10 Supervised setup for control device with imager

Publications (1)

Publication Number Publication Date
DE112020003765T5 true DE112020003765T5 (de) 2022-04-21

Family

ID=72139626

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020003765.7T Pending DE112020003765T5 (de) 2019-08-08 2020-08-10 Überwachte Einrichtung eines Steuervorrichtungs mit Bildgeber

Country Status (4)

Country Link
US (1) US11445107B2 (de)
CN (1) CN114600067A (de)
DE (1) DE112020003765T5 (de)
WO (1) WO2021024238A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210044606A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 웨이크업 모델 생성 방법 및 이를 위한 전자 장치
EP4290266A1 (de) * 2021-08-23 2023-12-13 Samsung Electronics Co., Ltd. Elektronische vorrichtung zur steuerung einer externen elektronischen vorrichtung und betriebsverfahren dafür

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068463B2 (en) 2014-07-25 2018-09-04 7Hugs Labs Methods for the determination and control of a piece of equipment to be controlled; device, use and system implementing these methods

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224903B2 (en) * 2001-12-28 2007-05-29 Koninklijke Philips Electronics N. V. Universal remote control unit with automatic appliance identification and programming
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7653212B2 (en) * 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
JP2004166193A (ja) * 2002-09-27 2004-06-10 Matsushita Electric Ind Co Ltd リモコン装置
ES2425076T3 (es) 2002-11-20 2013-10-11 Koninklijke Philips N.V. Sistema de interfaz de usuario basado en dispositivo de puntero
KR100531141B1 (ko) * 2003-04-01 2005-11-28 최동욱 Ir 및 rf 통합 리모콘 모듈을 이용한 홈 오토메이션 시스템 및 그 방법
KR100587539B1 (ko) * 2003-08-09 2006-06-08 삼성전자주식회사 영상기기와 주변기기간의 지능화 연결 설정 방법 및 시스템
EP1683126A1 (de) * 2003-11-04 2006-07-26 Koninklijke Philips Electronics N.V. Universelle fernbedienungseinrichtung mit berührungsschirm
CN101111874A (zh) 2005-01-28 2008-01-23 皇家飞利浦电子股份有限公司 用于控制设备的方法
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US9465450B2 (en) * 2005-06-30 2016-10-11 Koninklijke Philips N.V. Method of controlling a system
EP1744290B1 (de) * 2005-07-15 2018-05-30 Samsung Electronics Co., Ltd. Integrierte fernsteuerung und verfahren zur auswahl eines damit gesteuerten geräts
US7558950B2 (en) * 2005-10-27 2009-07-07 Sony Ericsson Mobile Communications Ab Methods of configuring an electronic device to be operable with an electronic apparatus based on automatic identification thereof and related devices
US9870123B1 (en) * 2008-04-18 2018-01-16 Universal Electronics Inc. Selecting a picture of a device to identify an associated codeset
US20090285443A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab Remote Control Based on Image Recognition
US9355557B2 (en) * 2008-07-16 2016-05-31 Samsung Electronics Co., Ltd. Universal remote controller and remote control method thereof
KR101499133B1 (ko) * 2008-10-28 2015-03-11 삼성전자주식회사 휴대 단말기의 메뉴수행 장치 및 방법
US9129516B2 (en) * 2009-06-01 2015-09-08 At&T Intellectual Property I, L.P. Programming a universal remote control using an identifying device mark
US8624713B2 (en) * 2009-08-11 2014-01-07 At&T Intellectual Property I, L.P. Programming a universal remote control via physical connection
JP5617246B2 (ja) 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
JP5728159B2 (ja) 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8655344B2 (en) * 2010-05-03 2014-02-18 Interdigital Patent Holdings, Inc. Addressing wireless nodes
US9449500B2 (en) * 2012-08-08 2016-09-20 Universal Electronics Inc. System and method for optimized appliance control
US20140013100A1 (en) * 2012-07-05 2014-01-09 Martin M. Menzel Establish bidirectional wireless communication between electronic devices using visual codes
US8594632B1 (en) * 2012-12-11 2013-11-26 Intel Corporation Device to-device (D2D) discovery without authenticating through cloud
US9367144B2 (en) * 2013-03-13 2016-06-14 Google Inc. Methods, systems, and media for providing a remote control interface for a media playback device
US9843831B2 (en) * 2013-05-01 2017-12-12 Texas Instruments Incorporated Universal remote control with object recognition
WO2015176163A1 (en) * 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
CN105335136B (zh) * 2014-07-16 2019-08-09 阿里巴巴集团控股有限公司 智能设备的控制方法及装置
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
US9824578B2 (en) 2014-09-03 2017-11-21 Echostar Technologies International Corporation Home automation control using context sensitive menus
WO2016191875A1 (en) * 2015-06-04 2016-12-08 Griffin Innovation Device and method for controlling a plurality of targeted devices
KR102398488B1 (ko) * 2015-06-26 2022-05-13 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
US10222932B2 (en) * 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US20170048901A1 (en) * 2015-08-10 2017-02-16 General Electric Company Method for associating a mobile device with an appliance
CN105160854B (zh) * 2015-09-16 2019-01-11 小米科技有限责任公司 设备控制方法、装置和终端设备
CN105204742B (zh) 2015-09-28 2019-07-09 小米科技有限责任公司 电子设备的控制方法、装置及终端
US11018888B2 (en) * 2015-12-03 2021-05-25 Whirlpool Corporation Methods of remote control of appliances
US9881191B2 (en) * 2015-12-14 2018-01-30 Leadot Innovation, Inc. Method of controlling operation of cataloged smart devices
WO2017111860A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Identification of objects for three-dimensional depth imaging
EP3214536B1 (de) 2016-03-03 2020-01-08 Wipro Limited System und verfahren zur fernsteuerung einer vorrichtung
EP3430824B1 (de) * 2016-04-25 2021-02-24 Samsung Electronics Co., Ltd. Verfahren und systeme zur verwaltung der konnektivität zwischen vorrichtungen
WO2018098167A1 (en) * 2016-11-22 2018-05-31 Caavo Inc Automatic screen navigation for media device configuration and control
TWI628631B (zh) * 2017-05-08 2018-07-01 和碩聯合科技股份有限公司 遙控系統、遙控方法與閘道器
US10620721B2 (en) * 2018-01-29 2020-04-14 Google Llc Position-based location indication and device control
US10559194B2 (en) * 2018-02-23 2020-02-11 Samsung Electronics Co., Ltd. System and method for providing customized connected device functionality and for operating a connected device via an alternate object
US10725629B2 (en) * 2018-06-25 2020-07-28 Google Llc Identifying and controlling smart devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068463B2 (en) 2014-07-25 2018-09-04 7Hugs Labs Methods for the determination and control of a piece of equipment to be controlled; device, use and system implementing these methods

Also Published As

Publication number Publication date
US20210044741A1 (en) 2021-02-11
WO2021024238A1 (en) 2021-02-11
CN114600067A (zh) 2022-06-07
US11445107B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
EP3682305B1 (de) Exploration einer unbekannten umgebung durch einen autonomen mobilen roboter
DE102018121019A1 (de) Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten
DE102018121018A1 (de) Erweitern von realen sensoraufnahmen mit simuliertem sensordatenhintergrund
US11132845B2 (en) Real-world object recognition for computing device
EP3274735B1 (de) Tracking-system und verfahren zum tracken eines trägers einer mobilen kommunikationseinheit
DE112015002463T5 (de) Systeme und Verfahren zum gestischen Interagieren in einer im Umfeld vorhandenen Computerumgebung
DE112018001056T5 (de) Automatisches fahrzeug-parksystem und -verfahren
DE112016005865T5 (de) Automatische Bereichssteuerung für Tiefenkamera mit aktiver Beleuchtung
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
DE112020003765T5 (de) Überwachte Einrichtung eines Steuervorrichtungs mit Bildgeber
EP3414633A1 (de) Heimautomatisierungssystem
DE102017121127A1 (de) Exploration einer unbekannten Umgebung durch einen autonomen mobilen Roboter
CN103593641B (zh) 基于立体摄像机的物体检测方法和装置
DE102020106524A1 (de) Photometrische stereo-objektdetektion für in einem autonomen fahrzeug vergessene artikel
DE112013006627T5 (de) Verfahren, System und Prozessor zur sofortigen Erkennung und Positionierung eines Objekts
CN207067803U (zh) 一种用于处理任务区域的任务的移动电子设备
DE112016002022T5 (de) Managen von merkmalsdaten zur umgebungsabbildung auf einer elektronischen vorrichtung
DE212018000094U1 (de) Luftfahrzeug und Vorrichtung zur Steuerung von Luftfahrzeugen
CN114442805A (zh) 一种监控场景展示方法、系统、电子设备及存储介质
CN115170742A (zh) 人员分布展示方法、系统及显示终端
DE112020004829T5 (de) Verfahren, system und vorrichtung zur mobilen vermessung
AT14448U1 (de) Konfiguration von Betriebsgeräten für Leuchtmittel
Pohl et al. Depth map improvements for stereo-based depth cameras on drones
DE102019133753A1 (de) Werkzeuge für augmentierte realität in der lichtgestaltung
US11830126B2 (en) Accurate representation of camera field of view in two-dimensional mapping applications

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G08C0023040000

Ipc: H04Q0009000000

R082 Change of representative

Representative=s name: D YOUNG & CO LLP, DE

R081 Change of applicant/patentee

Owner name: QORVO PARIS, FR

Free format text: FORMER OWNER: 7HUGS LABS SAS, MONTROUGE, FR