-
QUERVERWEIS AUF VERBUNDENE ANMELDUNGEN
-
Diese Anmeldung beansprucht die Vorteile der vorläufigen US-Patentanmeldung Nr.
62/884,278 , die am 8. August 2019 eingereicht wurde.
-
HINTERGRUND
-
Die Verbraucher richten Fernsteuerungen intuitiv auf die Vorrichtung aus, mit denen sie interagieren wollen, indem sie die Fernsteuerung auf die Vorrichtung richten. Dieses Verhaltensmuster ergibt sich aus der Tatsache, dass herkömmliche Fernsteuerungen ein Funksignal direkt in die Zeigerichtung der Fernsteuerung übertragen. Durch die Ausrichtung der Zeigerichtung der Fernsteuerung auf die Vorrichtung hatte das Funksignal daher die besten Chancen, das gewünschte Ziel zu erreichen.
-
In jüngerer Zeit haben Fernsteuerungen, wie die in
U.S. Pat. Nr. 10,068,463 beschriebenen Techniken verwenden, bestimmen eine Vorrichtung, an die ein Befehl über ein System übermittelt wird, während der Befehl selbst über andere Mittel gesendet wird. So könnte beispielsweise ein Satz von Funkbaken die Zeigerichtung der Fernsteuerung bestimmen, während ein separates Funksystem die Befehle indirekt von der Fernsteuerung an die zu steuernde Vorrichtung weiterleitet. Bei diesen Ansätzen bleibt das traditionelle Benutzererlebnismuster, auf eine steuerbare Vorrichtung zu zeigen, erhalten, während die Gesamtheit der Vorrichtungen, die Befehle von der Fernsteuerung empfangen können, erweitert wird. Allerdings müssen die Vorrichtungen nun erkennen, wohin die Zeigevorrichtung zeigt, damit die Befehle an die entsprechende Vorrichtung weitergeleitet werden können.
-
Es gibt verschiedene Ansätze, um die Position und Orientierung eines Objekts zu ermitteln. Zum Beispiel können die Position und Orientierung eines Objekts mit Hilfe der Geolokalisierung, z. B. durch GPS, bestimmt werden. GPS ist jedoch nicht genau genug, um eine genaue Bestimmung der Zeigerichtung zu ermöglichen, insbesondere nicht in Innenräumen und zum Zweck der Unterscheidung, ob die Zeigerichtung mit einem von zwei Vorrichtungen übereinstimmt, die sich in der Nähe voneinander befinden. Eine Alternative zu GPS ist ein Ortungssystem für Innenräume mit verschiedenen Funkbaken, wie die oben erwähnten, die lokal erzeugte Funksignale verwenden, um die Position eines Objekts zu schätzen. Allerdings kann die Installation dieser Funkbaken aufgrund von Platzierungsbeschränkungen kostspielig und komplex sein.
-
ZUSAMMENFASSUNG
-
Es werden Systeme und Verfahren offenbart, die das Zeigeziel einer Zeigevorrichtung unter Verwendung eines auf dem Objekt befindlichen bordseitigen Bildgebers bestimmen. Die Zeigevorrichtung kann eine Form haben, die eine natürliche Zeigerichtung der Zeigevorrichtung definiert. Beispielsweise könnte die Vorrichtung ein Rechteck mit einer unterscheidbaren kurzen Kante sein, wobei die lange Seite des Rechtecks und die Unterschiedsmerkmale dieser kurzen Kante auf natürliche Weise die Zeigerichtung des Objekts anzeigen. Im Allgemeinen kann eine Zeigevorrichtung eine Zeigerichtung aufweisen. So könnte die Vorrichtung beispielsweise eine Scheibe sein, deren Richtung durch ein Pfeilsymbol auf der Oberfläche der Vorrichtung angezeigt wird. In anderen Beispielen könnte jeder Indikator, der es einer Person ermöglicht, die Richtung zu bestimmen, in die eine Vorrichtung zu richten ist, als ein Bereitstellen einer Vorrichtung mit einer Zeigerichtung angesehen werden, wie dieser Begriff hier verwendet wird. Der bordseitige Bildgeber kann auf die Zeigerichtung des Objekts ausgerichtet werden. Der bordseitige Bildgeber kann an der Außenseite der Zeigevorrichtung angebracht werden oder als integraler Bestandteil der Zeigevorrichtung dienen. Der bordseitige Bildgeber kann ein Sichtfeld haben. Der bordseitige Bildgeberkann so ausgerichtet werden, dass das Sichtfeld die Zeigerichtung einschließt.
-
Die hier offengelegten Systeme können die Zeigevorrichtung selbst sein, könnten aber alternativ auch unterstützende Vorrichtungen, wie eine Basis oder eine Ladevorrichtung für die Zeigevorrichtung, und entfernte Vorrichtungen, wie einen Server oder eine Cloud-Architektur, die in operativer Kommunikation mit diesen unterstützenden Vorrichtungen oder der Zeigevorrichtung stehen, umfassen. In dieser Offenbarung wird immer wieder auf nicht-transitorische computerlesbare Medien Bezug genommen, die Anweisungen speichern, die es den offengelegten Systemen ermöglichen, bestimmte Aktionen durchzuführen. In diesen Ausführungsformen können sich die computerlesbaren Medien alle innerhalb der Zeigevorrichtung befinden, sie können über die unterstützenden Vorrichtungen, die entfernte Vorrichtung und die Zeigevorrichtung verteilt sein, oder sie können sich vollständig auf den unterstützenden Vorrichtungen und/oder entfernten Vorrichtungen befinden.
-
In spezifischen Ausführungsformen der Erfindung kann die Zeigevorrichtung eine Steuervorrichtung sein. Die Zeigevorrichtung kann eine Fernsteuerung zur Auswahl von Zeigezielen in Form von steuerbaren Objekten oder allgemein von Kommunikationsobjekten sein. Zeigen mit der Zeigevorrichtung auf ein bestimmtes Zeigeziel könnte eine Zuordnung zwischen dem steuerbaren Objekt oder Kommunikationsobjekt und einem Leitsystem herstellen. Die Zuordnung könnte dann verwendet werden, um Befehle an die aktuell zugeordneten steuerbaren Objekte oder Kommunikationen von dem aktuell zugeordneten Kommunikationsobjekt weiterzuleiten. Handelt es sich bei dem Objekt beispielsweise um ein steuerbares Objekt wie einen Fernseher, könnten Befehle, die von einem Benutzer auf der Zeigevorrichtung empfangen werden, an das steuerbare Objekt weitergeleitet werden, während die Zuordnung aufrechterhalten wird. Ein weiteres Beispiel: Handelt es sich bei dem Objekt um ein Kommunikationsobjekt wie einen Wetterdienst auf einem entfernten Server, könnten die vom entfernten Server erhaltenen Mitteilungen an die Zeigevorrichtung weitergeleitet werden, während die Zuordnung aufrechterhalten wird. Auf diese Weise könnte ein Benutzer Mitteilungen von verschiedenen Objekten empfangen und Befehle an diese senden, je nachdem, wohin die Zeigevorrichtung zu einem bestimmten Zeitpunkt zeigt.
-
Die Objektzuordnung, die durch das Zeigen der Zeigevorrichtung auf ein bestimmtes Ziel gebildet wird, könnte auch verwendet werden, um eine Benutzerschnittstelle zu ändern, indem auf dieser Schnittstelle Steuerelemente für das aktuell zugeordnete Objekt angezeigt werden. Die Benutzerschnittstelle könnte auf der Zeigevorrichtung bereitgestellt werden. So könnte die Zeigevorrichtung beispielsweise ein Touch-Display enthalten, und die Steuerelemente für das aktuell zugeordnete steuerbare Objekt könnten auf dem Touch-Display angezeigt werden, wenn die Zuordnung hergestellt wurde. Wenn der Benutzer die Zeigevorrichtung auf einen Fernseher richtet, könnte das Touch-Display eine Schnittstelle zur Kanal- und Lautstärkeregelung für den Fernseher anzeigen. Wenn der Benutzer die Vorrichtung drehte, um auf ein Licht zu zeigen, könnte das Touch-Display eine Schnittstelle zur Helligkeitssteuerung für das Licht anzeigen.
-
Die oben beschriebenen Zuordnungen können ex ante über einen Einrichtungsvorgang definiert werden. Das System kann während der Ausführung des Einrichtungsvorgangs als in einer Einrichtungsphase befindlich beschrieben werden. Der Einrichtungsvorgang kann beinhalten, eine Zone von Interesse einem Zeigeziel zuzuordnen und eine Signatur für eine Zone von Interesse zu definieren. Die physischen Zonen könnten spezifische Raumvolumina innerhalb eines physischen Ortes sein, wie z. B. der Teil eines Raumes in der Nähe eines Fernsehers, oder spezifische Oberflächen wie Wände, Decken, Böden oder Schnittstellen davon. Das Zeigeziel kann das Zentrum der betreffenden Zone sein. Beispielsweise könnte das Zeigeziel eine kleine Vorrichtung wie ein DVR oder eine kompakte Streaming-Box sein, und die Zone von Interesse könnte ein Schrank und der umliegende Bereich sein, auf dem die kleine Vorrichtung platziert wurde. Der Einrichtungsvorgang könnte die Zone von Interesse dem Zeigeziel zuordnen und darüber hinaus das Zeigeziel einem steuerbaren Objekt oder Kommunikationsobjekt zuordnen. Die Verwendung der Zeigevorrichtung würde dann die Erkennung der Signatur für die Zone von Interesse, die Erinnerung daran, welches Zeigeziel dieser Zone von Interesse zugeordnet war, die Erinnerung daran, welches steuerbare Objekt oder Kommunikationsobjekt diesem Zeigeziel zugeordnet war, und die Bildung der Zuordnung mit dem Objekt für das Leitsystem umfassen. Diese Phase des Betriebs des Systems kann als Betriebsphase bezeichnet werden. Die verschiedenen Knoten des Systems befinden sich während der Betriebsphase in einem Einsatzzustand.
-
In spezifischen Ausführungsformen der Erfindung kann das System ein Zeigeziel der Zeigevorrichtung unter Verwendung von Bildern bestimmen, die von dem Bildgeber erfasst wurden. Die Bilder können einem System zugeführt werden, das anhand dieser Bilder eine Signatur einer Zone von Interesse erkennen kann. Dieses Zeigeziel kann das Zentrum der Zone von Interesse sein. 1 zeigt ein Beispiel eines Benutzers 100, der eine Zeigevorrichtung 101 auf ein audio/visuelles (A/V) Gerät 102 richtet, als Beispiel für einen Benutzer, der versucht, eine Zuordnung zwischen einem steuerbaren Objekt und einer Zeigevorrichtung herzustellen. In diesem Beispiel könnte ein auf die Zeigevorrichtung 101 ausgerichteter Bildgeber dann ein Bild des A/V-Geräts 102 aufnehmen. 1 zeigt das Beispiel des Bildes 103 mit einem Empfänger 105 in einem Schrank 104, der als A/V-Gerät 102 dient. Das System könnte dann mit dem Bild 103 arbeiten, um eine Signatur der Zone von Interesse 106 zu erkennen. In diesem Fall könnte die Zone von Interesse die gesamte Ecke des Raums umfassen, in dem sich der Schrank 104 befindet. Unter der Annahme, dass der Zone von Interesse 106 zuvor der Schrank 104 (dem Zeigeziel) und der Schrank 104 zuvor dem Empfänger 105 (dem steuerbaren Objekt) zugeordnet wurde, könnte das Gesamtsteuerungssystem dann eine Zuordnung mit dem Empfänger 105 herstellen und auf Basis dieser Bestimmung Befehle an den Empfänger 105 weiterleiten. Wie bereits erwähnt, müssen das Zeigeziel und das zu steuernde Objekt nicht identisch sein. Stattdessen kann ein Benutzer eine bestimmte Zone in einem beliebigen Bereich einer bestimmten steuerbaren Vorrichtung zuordnen (z. B. könnte ein Fenster eines Zimmers einem Wetterdienst auf einem entfernten Server zugeordnet werden). Im gezeigten Beispiel könnte der Bildgeber ein Bild 107 erhalten, auf dem nur der Schrank 104 zu sehen ist, aber das System würde trotzdem verstehen, dass Befehle an den Empfänger 105 weitergeleitet werden sollten, wenn auf die Zone 106 gezeigt wird.
-
Die Erkennung eines Ziels, das zu einem bestimmten Zeitpunkt eine Zeigevorrichtung zugeordnet werden soll, kann aus verschiedenen Gründen schwierig sein. Zum Beispiel können kleine Zielpunkte wie kompakte Streaming-Boxen in einem Bild, das von einem allgemeinen Bereich aufgenommen wurde, schwer zu erkennen sein. Außerdem kann es in einem Gebiet zahlreiche identische Kopien derselben steuerbaren Vorrichtung geben, z. B. mehrere Versionen eines Hausautomatisierungsassistenten oder einer Stereoanlage. Die Unterscheidung zwischen den beiden Vorrichtungen allein durch das Erkennen der Vorrichtung kann für ein Bilderkennungssystem nahezu unmöglich sein, da die Vorrichtungen identische Kopien eines einzigen Designs sind. Darüber hinaus gibt es in Räumen wie Wohnungen oft mehrere passende Möbelstücke und andere sich wiederholende Designelemente an Wänden, Böden und Decken, die für ein Bilderkennungssystem identisch erscheinen könnten. Darüber hinaus kann ein Bereich einer bestimmten Örtlichkeit aufgrund von Änderungen der Helligkeit, Änderungen der Perspektive der Zeigevorrichtung, Variationen der räumlichen Konfiguration der Objekte in dem Bereich und der Einführung oder Entfernung von Objekten in dem Bereich zu verschiedenen Zeiten sehr unterschiedlich erscheinen.
-
In spezifischen Ausführungsformen der Erfindung trägt die Konzentration auf eine Zone von Interesse im Gegensatz zu einem Zeigeziel dazu bei, viele der im vorangegangenen Absatz genannten Bedenken zu zerstreuen. Eine Zone von Interesse enthält zusätzliche Informationen und Signale, aus denen eine Signatur abgeleitet werden kann. Dieses zusätzliche, stärkere Signal kann z. B. verhindern, dass ein System den Schrank 108 in Bild 109 mit dem identischen Schrank 104 verwechselt. Dies liegt daran, dass die Zone von Interesse zusätzliche Informationen in Form der Ecke des Raumes, in der sich der Schrank befindet, enthalten kann, die verborgen wären, wenn nur die Merkmale des Schrankes zur Erzeugung einer Signatur verwendet würden. Spezifische Aspekte dieser Ausführungsformen, die die Fähigkeit des Systems verbessern, Informationen über eine Zone von Interesse im Gegensatz zu einem bestimmten Zeigeziel zu sammeln, werden in der folgenden detaillierten Beschreibung beschrieben.
-
In spezifischen Ausführungsformen der Erfindung werden die im vorhergehenden Absatz identifizierten Bedenken durch den Aufbau eines robusten Signaturerstellungs- und -erkennungssystems zur Identifizierung eines Zeigeziels einer Zeigevorrichtung beseitigt. In diesen Ausführungsformen umfasst der Signaturerstellungsprozess die Erfassung von Variantenbildern derselben Zone von Interesse. Die während der Einrichtungsphase erfassten Variantenbilder werden hier als Referenzbilder bezeichnet, da sie eine Referenz für die spätere Erkennung der Signatur der Zone von Interesse darstellen. Der Prozess der Signaturerstellung kann während der Einrichtungsphase des Systems durchgeführt werden und kann so gestaltet werden, dass die Variantenbilder sehr unterschiedlich sind, um die Stärke der Signatur zu erhöhen. Die Bilder können so ausgewählt werden, dass sie sich hinsichtlich des Blickwinkels, von dem aus sie erfasst wurden, der Helligkeitsbedingungen, unter denen sie erfasst wurden, der Konfiguration der Zone von Interesse selbst während der Bilderfassung und anderer Variationen unterscheiden. Durch die Varianz der Bilder, die zur Erstellung der Signatur während der Einrichtungsphase verwendet werden, wird eine Signatur erstellt, die trotz der oben erwähnten Varianzen in den Bildern erkannt werden kann, wenn das System eingesetzt wird. Beispielsweise wäre ein System mit einer robusten Signatur immer noch in der Lage, die Zone von Interesse 106 zu erkennen, wenn es mit dem Bild 110 versorgt wird, obwohl der Schrank 104 teilweise durch Gegenstände 111, 112 und 113 verdeckt ist, die das Aussehen der Zone verändern. Die robuste Signatur hätte ein ausreichend hohes Signal-Rausch-Verhältnis, so dass die Einführung von Rauschen, das durch diese Gegenstände repräsentiert wird, nicht zu einem Ausfall des Signaturerkennungssystems führen würde.
-
In spezifischen Ausführungsformen der Erfindung kann man sich darauf verlassen, dass ein Benutzer Referenzbilder aufnimmt, die verwendet werden, um Signaturen für die Zonen von Interesse zu erzeugen, die während des Betriebs der Zeigevorrichtung erkannt werden. In der Praxis gibt es jedoch keine Garantie dafür, dass die vom Benutzer aufgenommenen Referenzbilder ausreichen, damit das System beim Einsatz korrekt funktioniert. So kann es beispielsweise vorkommen, dass der Benutzer nicht genügend Bilder aufnimmt, dass er mehrere identische Bilder aufnimmt und somit keine nützlichen Informationen hinzufügt, dass er gestörte Bilder aufnimmt (z. B. verdeckte Bilder mit einem vorübergehend im Sichtfeld befindlichen Objekt), dass er unscharfe Bilder aufnimmt (z. B. durch zu schnelles Bewegen eines Bildgebers bei der Erfassung eines Referenzbildes) oder dass er Bilder bei extremen Lichtverhältnissen aufnimmt, die nicht an die Eigenschaften des Sensors angepasst sind (z. B. bei Nacht). In spezifischen Ausführungsformen der Erfindung wird daher eine Überwachung vorgesehen, um sicherzustellen, dass die während der Einrichtung aufgenommenen Referenzbilder ausreichen, um eine starke und robuste Signatur für die Zone von Interesse zu erzeugen. Die Überwachung kann in Form einer Rückmeldung an den Benutzer erfolgen, ob die bisher aufgenommenen Referenzbilder ausreichend sind, und in Form einer möglichen Aufforderung, zusätzliche Bilder aufzunehmen.
-
In spezifischen Ausführungsformen der Erfindung kann das System eine charakteristische Größe eines Satzes von Referenzbildern berechnen und die Beendigung einer Einrichtungsphase davon abhängig machen, dass die charakteristische Größe oberhalb einer Suffizienzschwelle liegt. Bei der charakteristischen Größe kann es sich um eine Größe handeln, die die Menge des in dem Satz der Referenzbilder enthaltenen Signals darstellt, das zur Erzeugung der Signatur der Zone von Interesse verwendet werden kann. Die charakteristische Größe kann eine Größe sein, die das Signal-Rausch-Verhältnis in dem Satz der Referenzbilder darstellt, wobei das Signal die Unterscheidungskraft der Signatur der Zone von Interesse darstellt, die aus dieser Gruppe von Referenzbildern erzeugt werden kann. Die charakteristische Größe könnte beispielsweise eine Zahl sein, die auf Basis des Grades der statistischen Variation zwischen den Bildern im Satz der Referenzbilder berechnet wird. Zahlreiche weitere Beispiele werden in der nachfolgenden detaillierten Beschreibung aufgeführt. Alternativ oder in Kombination kann dem Benutzer während der Einrichtungsphase eine Rückmeldung gegeben werden, um sicherzustellen, dass der Satz von Referenzbildern ausreichend ist. So könnte die Rückmeldung z. B. Hinweise auf zusätzliche Schritte geben, die zur Vervollständigung des Einrichtungsvorgangs unternommen werden müssen, wie z. B. die Aufnahme weiterer Bilder. In spezifischen Ausführungsformen der Erfindung kann die Rückmeldung auf Basis der charakteristischen Größe erzeugt werden. So können beispielsweise auf einer Anzeige der Zeigevorrichtung Anweisungen darüber gegeben werden, wohin ein Benutzer den Bildgeber bewegen sollte, um ein zusätzliches Bild mit einem höheren Variationsgrad zu erfassen, um die charakteristische Größe weiter zu verbessern. Zahlreiche weitere Beispiele für diese Rückmeldung werden in der nachfolgenden detaillierten Beschreibung gegeben.
-
In einer spezifischen Ausführungsform der Erfindung wird ein System bereitgestellt. Das System enthält eine Steuervorrichtung. Die Steuervorrichtung hat eine Form, die eine Zeigerichtung der Steuervorrichtung definiert. Das System enthält auch einen bordseitigen Bildgeber, der sich auf der Steuervorrichtung befindet. Der bordseitige Bildgeber hat ein Sichtfeld, das die Zeigerichtung einschließt. Das System enthält auch ein oder mehrere computerlesbare Medien, die Anweisungen speichern, um: ein Referenzbild zu empfangen; eine charakteristische Größe auf Basis des Referenzbildes zu bestimmen; eine Rückmeldenachricht auf Basis der charakteristischen Größe zu erzeugen; und eine Einrichtungsphasenbeendigung für die Steuervorrichtung von der charakteristischen Größe abhängig zu machen.
-
In einer spezifischen Ausführungsform der Erfindung wird ein computerimplementiertes Verfahren bereitgestellt. Das Verfahren wird mit einer Steuervorrichtung durchgeführt, die Folgendes aufweist: (i) eine Form, die eine Zeigerichtung der Steuervorrichtung definiert; und (ii) einen bordseitigen Bildgeber mit einem Sichtfeld, das die Zeigerichtung umfasst. Das Verfahren enthält das Erfassen eines Referenzbildes, das Bestimmen einer charakteristischen Größe auf Basis des Referenzbildes, das Erzeugen einer Rückmeldenachricht auf Basis der charakteristischen Größe und das Abhängig Machen einer Einrichtungsphasenbeendigung für die Steuervorrichtung von der charakteristischen Größe.
-
In einer spezifischen Ausführungsform der Erfindung wird ein System bereitgestellt. Das System enthält eine Steuervorrichtung. Die Steuervorrichtung hat eine Zeigerichtung. Das System enthält auch einen bordseitigen Bildgeber, der sich auf dem Steuervorrichtung befindet. Der bordseitigen Bildgeber hat ein Sichtfeld, das die Zeigerichtung einschließt. Das System enthält auch ein oder mehrere computerlesbare Medien, die Anweisungen speichern, um: einen Satz von Referenzbildern zu empfangen; eine charakteristische Größe auf Basis des Satzes von Referenzbildern zu bestimmen; und auf Basis der charakteristischen Größe entweder: (i) eine Rückmeldenachricht zu erzeugen; oder (ii) eine Einrichtungsphase für die Steuervorrichtung zu beenden.
-
Figurenliste
-
- 1 zeigt einen Benutzer mit einer Zeigevorrichtung und einen Satz von Bildern, die von einem auf der Zeigevorrichtung befindlichen bordseitigen Bildgeber in Übereinstimmung mit bestimmten hier offengelegten Ausführungsformen aufgenommen wurden.
- 2 zeigt ein Blockdiagramm eines Systems und ein dazugehöriges Flussdiagramm eines computerimplementierten Verfahrens zur Durchführung einer Einrichtungsphase für dieses System gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung
- 3 zeigt ein Verfahren zur Durchführung einer Betriebsphase einer Systemeinrichtung unter Verwendung des unter Bezugnahme auf 2 beschriebenen Verfahrens gemäß spezifischen Ausführungsformen der hierin offenbarten Erfindung.
- 4 zeigt eine Benutzerschnittstelle, die auf einer Zeigevorrichtung in Übereinstimmung mit spezifischen Ausführungsformen der hierin offengelegten Erfindung dargestellt wird.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Es werden Systeme und Verfahren offenbart, die ein Zeigeziel einer Zeigevorrichtung unter Verwendung eines auf der Zeigevorrichtung befindlichen Bildgebers bestimmen. In spezifischen Ausführungsformen der Erfindung wird der Bildgeber auf eine Zeigerichtung der Zeigevorrichtung ausgerichtet. Ein Bild dieses Bildgebers kann dann verwendet werden, um eine Zone von Interesse zu erkennen, auf die die Zeigevorrichtung gerade zeigt. Das Bild kann während einer Betriebsphase des Systems aufgenommen werden und als Beispielbild bezeichnet werden. Anschließend kann das System ein Zeigeziel innerhalb der Zone von Interesse bestimmen und danach eine Zuordnung mit dem Zeigeziel gemäß den in der obigen Zusammenfassung beschriebenen Ansätzen herstellen. Die folgende Offenbarung enthält spezifische Ansätze für eine Einrichtungsphase des Systems, die eine Erkennung der Zone von Interesse gemäß der obigen Zusammenfassung ermöglicht. Die Erkennung der Zone von Interesse kann durch die Erfassung eines Satzes von Referenzbildern während einer Einrichtungsphase des Systems erleichtert werden. Die in diesem Abschnitt aufgeführten Beispiele sind nicht einschränkende Ausführungsformen der Erfindung und sollten nicht so ausgelegt werden, dass sie den Umfang der Erfindung einschränken.
-
Spezifische Ausführungsformen der hierin offengelegten Erfindung werden unter Bezugnahme auf eine Zeigevorrichtung in Form einer Fernsteuerung mit einem integrierten Touch-Display, einem Funkfrequenzsender und einem bordseitigen Bildgeber für sichtbares Licht bereitgestellt. Die Zeigevorrichtung kann jedoch verschiedene alternative Formen annehmen. Die Zeigevorrichtung könnte verschiedene Komponenten enthalten, einschließlich verschiedener Benutzerschnittstellenelemente, zusätzlicher Sensoren und spezieller Hardware für die Verarbeitung von Referenzbildern und die Erkennung von Zonen von Interesse. Wie in der Zusammenfassung erwähnt, kann die Zeigevorrichtung auch in Kombination mit einem Satz von unterstützenden Vorrichtungen und entfernten Vorrichtungen verwendet werden, um die hier beschriebenen Methoden auszuführen.
-
In spezifischen Ausführungsformen der Erfindung kann das System, das für die Durchführung der Einrichtungsphase des Betriebs und die Bestimmung des Zeigeziels einer Zeigevorrichtung während der Betriebsphase verantwortlich ist, die Zeigevorrichtung sein, die isoliert von sich selbst arbeitet. Das System, das für diese Aktionen verantwortlich ist, kann jedoch auch unterstützende Vorrichtungen wie eine Ladevorrichtung für die Zeigevorrichtung umfassen und kann auch entfernte Vorrichtungen wie einen Server oder eine Cloud-Architektur umfassen, die in operativer Kommunikation mit der Zeigevorrichtung stehen. In spezifischen Ausführungsformen der Erfindung kann das System, das für den Empfang von Befehlen von einem Benutzer, die Darstellung einer Benutzerschnittstelle für einen Benutzer und/oder die Bereitstellung von Informationen für einen Benutzer von einem Zeigeziel verantwortlich ist, die Zeigevorrichtung selbst sein. Alle diese Aufgaben können jedoch auch von separaten unterstützenden und entfernten Vorrichtungen ausgeführt werden. Beispielsweise könnte die unterstützende Vorrichtung Befehle direkt von einem Benutzer empfangen (z. B. über ein eingebautes Mikrofon) oder Befehle, die über eine Zeigevorrichtung eingegeben werden, an das aktuell zugeordnete steuerbare Objekt weiterleiten. Diese trennbaren Elemente (die Zeigevorrichtung, die unterstützenden Vorrichtungen und die entfernten Vorrichtungen) können als Knoten des Systems bezeichnet werden.
-
Die Operationen des Systems können in Abhängigkeit von der Hardware der Zeigevorrichtung und anderen Konstruktionseinschränkungen auf zahlreiche Arten zwischen den Knoten aufgeteilt werden. Wenn die Zeigevorrichtung beispielsweise nur über begrenzte Batterien verfügt, können Speicher und Logik zur Durchführung ressourcenintensiver Operationen wie das Speichern von Bildern oder das Erkennen der Signatur einer Zone von Interesse auf einem unterstützenden Vorrichtung wie einer Ladestation für die Zeigevorrichtung untergebracht werden. Als weiteres Beispiel können ressourcenintensivere Operationen wie die anfängliche Erzeugung einer Signatur für eine Zone von Interesse, die Berechnung einer charakteristischen Größe für einen Satz von Referenzbildern, die zur Erzeugung der Signatur verwendet werden, und die Erzeugung einer Rückmeldung für einen Benutzer auf Basis der charakteristischen Größe auf einem Server oder einer Cloud-Architektur durchgeführt werden, im Gegensatz zu der Zeigevorrichtung oder einer Computervorrichtung in derselben physischen Umgebung wie die Zeigevorrichtung. In spezifischen Ausführungsformen der Erfindung könnte das System ein Multiprozessorsystem sein, mit einem Haupt-Host-Prozessor, der mit einem Kl-Beschleuniger zusammenarbeitet. Der Haupt-Host-Prozessor und der Kl-Beschleuniger könnten beide auf der Zeigevorrichtung untergebracht sein. Das Multiprozessorsystem kann jedoch auch ein verteiltes System sein, bei dem der Host-Prozessor mit einem entfernten Co-Prozessor (z. B. einem KI-Beschleuniger) zusammenarbeitet. Der entfernte Co-Prozessor könnte sich auf einem entfernten Server befinden.
-
In spezifischen Ausführungsformen der Erfindung kann die Bestimmung der Signatur oder die Bestimmung, ob ein Bild zu einer Zone von Interesse gehört, auf Basis der Signatur auf einer unterstützenden Vorrichtung durchgeführt werden. Die unterstützende Vorrichtung könnte diese Operationen mit ihrem internen Prozessor und Speicher durchführen. In spezifischen Ausführungsformen der Erfindung wird die unterstützende Vorrichtung über einen elektrischen Anschluss an der Wandsteckdose verfügen und weniger Energie verbrauchen als die Zeigevorrichtung, um diese Berechnungen mit höherer Last durchzuführen. In spezifischen Ausführungsformen der Erfindung umfasst die unterstützende Vorrichtung einen Kl-Beschleuniger, der mit einem Haupt-Host-Prozessor entweder auf der unterstützenden Vorrichtung oder auf der Zeigevorrichtung kommuniziert. Alternativ könnte die unterstützende Vorrichtung Referenzbilder empfangen und sie für eine spätere Übertragung an eine Cloud-Architektur speichern, um die Referenzbilder zu analysieren und/oder eine Signatur der Zone von Interesse zu erstellen. Die unterstützende Vorrichtung könnte auch Befehle an die entsprechende Vorrichtung weiterleiten, wenn die Zeigevorrichtung eingerichtet und eingesetzt wurde.
-
In spezifischen Ausführungsformen der Erfindung kann eine Cloud-Architektur, die kommunikativ mit der Zeigevorrichtung verbunden ist, verschiedene Aktionen durchführen. Zum Beispiel könnte die Cloud-Architektur einen Anfangszustand für einen trainierbaren gerichteten Graphen trainieren, der mit der Vorrichtung eingesetzt wird. Die Cloud-Architektur könnte den Anfangszustand der Zeigevorrichtung oder einer anderen unterstützenden Vorrichtung als Download zur Verfügung stellen, wenn die Vorrichtung zum ersten Mal initialisiert wurde. Die Cloud-Architektur könnte auch Anweisungen zu den Referenzbildern bereitstellen, die für eine genaue Durchführung der Einrichtungsphase gesammelt werden müssen. Die Cloud-Architektur könnte auch die Bilder und den Fortschritt bei der Bestimmung der charakteristischen Menge der Referenzbilder überprüfen und bei Bedarf eine Rückmeldung an den Benutzer geben. Die Bilder könnten entweder mit dem Bildgeber der Zeigevorrichtung oder mit einem Bildgeber einer anderen Vorrichtung aufgenommen werden.
-
Die Zeigevorrichtung und alle zugehörigen unterstützenden Vorrichtungen können mit spezialisierter Hardware erweitert werden, die der Erkennung von Signaturen von Zonen von Interesse zugeordnet ist. Die spezialisierte Hardware kann so konfiguriert werden, dass sie Bildverarbeitungs- und Erkennungsalgorithmen effizienter ausführt als Allzweckprozessoren. Bei der spezialisierten Hardware könnte es sich um die in dieser Offenlegung erwähnten Kl-Beschleuniger handeln. Die spezialisierte Hardware kann so konfiguriert werden, dass sie das Training und die Nutzung von trainierbaren maschinellen intelligenten Systemen effizienter durchführt. Die trainierbaren maschinellen intelligenten Systeme könnten anhand eines Satzes von Referenzbildern trainiert werden, die während der Einrichtungsphase des Systems gesammelt wurden. Die Signaturen spezifischer Bereiche von Interesse würden dann in die Gewichte des trainierten Systems einfließen. Im Einsatz könnten die Bilder des Bildgebers der Zeigevorrichtung in das maschinelle intelligente System eingespeist werden, um die Zone von Interesse zu bestimmen, auf die die Zeigevorrichtung gerichtet ist.
-
Die spezialisierte Hardware kann zahlreiche Formen annehmen. Beispielsweise könnte die Zeigevorrichtung oder eine zugehörige unterstützende Vorrichtung einen spezialisierten digitalen Signalprozessor enthalten, um ein trainierbares Bilderkennungssystem zu instanziieren, zu trainieren oder eine Schlussfolgerung daraus zu ziehen. Der digitale Signalprozessor könnte zum Beispiel durch eine GPU, einen FPGA, einen Chipsatz oder einen ASIC, der auf solche Berechnungen spezialisiert ist, verkörpert werden. Der ASIC könnte so konstruiert sein, dass er eine Überlagerung hinsichtlich der von einem Beispielbild implizierten Signatur erzeugt und pro Überlagerung Energie in der Größenordnung von Mikrojoule verbraucht. Die GPU oder der ASIC könnte auf der Zeigevorrichtung montiert werden. Der digitale Signalprozessor könnte optimiert werden, um Berechnungen zu beschleunigen, wie z. B. die linearen Matrixoperationen, die von künstlichen neuronalen Netzen (ANNs) durchgeführt werden, die Bildklassifizierungsüberlagerungen vornehmen. Der digitale Signalprozessor könnte so konfiguriert werden, dass er mehrere Rechenoperationen parallel ausführt. Als weiteres Beispiel kann die Zeigevorrichtung oder eine unterstützende Vorrichtung wie eine Ladevorrichtung mit einem spezialisierten digitalen Signalprozessor erweitert werden, um eine Trainings- oder Überlagerungsoperation für das trainierbare maschinelle intelligente System durchzuführen, so dass diese Operationen leicht ohne übermäßigen Batterieverbrauch oder übermäßige Verarbeitungszeit durchgeführt werden können.
-
Die Zeigevorrichtung und alle zugehörigen unterstützenden Vorrichtungen können eine oder mehrere Schnittstellen zum Empfangen von Befehlen von einem Benutzer enthalten. Die Zeigevorrichtung kann eine Anzeige zur Darstellung von Informationen für einen Benutzer enthalten. Die Zeigevorrichtung kann auch Befehle von einem Benutzer über eine Schnittstelle wie eine Tastatur, ein Touch-Display oder ein Mikrofon oder jede andere bekannte Benutzerschnittstellentechnologie empfangen. Die Zeigevorrichtung könnte alternativ auch keine Schnittstelle für den Empfang von Befehlen haben, während eine unterstützende Vorrichtung ein Touch-Display, ein Mikrofon oder eine Gestenerkennungsschnittstelle für den Empfang von Befehlen des Benutzers enthält. Beispielsweise könnte ein Smartphone, ein Tablet oder eine Hub-Vorrichtung so konfiguriert sein, dass es Befehle vom Benutzers empfängt, während die Zeigevorrichtung zur Identifizierung steuerbarer Vorrichtungen verwendet wird. Die Zeigevorrichtung könnte auch einen Lautsprecher oder ein haptisches Feedbacksystem enthalten, um dem Benutzer Informationen bereitzustellen. Die Anzeige, der Lautsprecher oder das haptische Feedbacksystem könnten dem Benutzer einen Hinweis geben, wenn das System ein Zeigeziel auswählt oder erfasst, so dass der Benutzer darauf aufmerksam gemacht werden könnte, dass das System auf Basis dieses Zeigeziels eine Zuordnung hergestellt hat.
-
Die Zeigevorrichtung könnte neben dem Bildgeber zusätzliche Sensoren enthalten, wie z. B. einen Bewegungsverfolger. Der Bewegungsverfolger könnte eine Inertialbewegungseinheit (IMU) sein. Die Zeigevorrichtung könnte einen integrierten Bewegungsverfolger (z. B. ein Magnetometer, Beschleunigungsmesser, ein Gyroskop oder einen beliebigen 9-Achsen-Sensor) enthalten. Der Bewegungsverfolger könnte zur Aktivierung des Bildgebers verwendet werden. Beispielsweise könnte der Bewegungsverfolger feststellen, wann die Zeigevorrichtung bewegt und dann stillgehalten wurde, um anzuzeigen, dass ein Benutzer auf ein Zeigeziel zeigt. Bei Erkennung dieses Bewegungsmusters könnte der Bildgeber ausgelöst werden, um ein Referenz- oder Beispielbild zu erfassen. Die zusätzlichen Sensoren, wie z. B. der Bewegungsverfolger, könnten auch für Datenfusionsanwendungen verwendet werden, wie unten beschrieben.
-
Wie bereits erwähnt, können in einer Einrichtungsphase Referenzbilder einer Zone von Interesse aufgenommen werden, um eine Signatur für die Zone von Interesse zu erzeugen, und Beispielbilder können zu einem späteren Zeitpunkt, wenn die Vorrichtung eingesetzt wird, anhand dieser Signatur analysiert werden. In spezifischen Ausführungsformen der Erfindung können diese beiden Schritte von dem bordseitigen Bildgeber durchgeführt werden. Die Referenzbilder können von demselben bordseitigen Bildgeber erfasst werden, der zur Erkennung einer Zone von Interesse und zur Bestimmung einer Zeigerichtung für die Zeigevorrichtung verwendet wird, wenn die Zeigevorrichtung eingesetzt wird. Alternativ können die Referenzbilder jedoch auch von einem separaten Bildgeber erfasst werden, während die Bilder, die bei der Verwendung der Vorrichtung analysiert werden, von dem bordseitigen Bildgeber erfasst werden. Der separate Bildgeber kann sich auf einer Begleitvorrichtung befinden. Bei der Begleitvorrichtung kann es sich um eines der oben genannten unterstützenden Vorrichtungen handeln. Bei der Begleitvorrichtung kann es sich um ein Smartphone oder eine spezielle Vorrichtung für die Einrichtungsphase handeln. Die Begleitvorrichtung könnte Funktionen enthalten, die auf der Zeigevorrichtung nicht verfügbar sind und die Durchführung der Einrichtungsphase erleichtern. So könnte die Begleitvorrichtung beispielsweise eine Anzeige mit höherer Auflösung als die Zeigevorrichtung haben, damit der Benutzer die Qualität der Referenzbilder leichter überprüfen oder leichter eine Rückmeldung des Systems zu den Referenzbildern erhalten kann. Die Begleitvorrichtung könnte auch Mittel umfassen, um dem Benutzer eine Rückmeldung zu den Referenzbildern zu geben. Die Rückmeldung könnte auf einer Anzeige der Begleitvorrichtung, über einen Lautsprecher der Begleitvorrichtung oder über eine andere Benutzerschnittstelle der Begleitvorrichtung erfolgen. In spezifischen Ausführungsformen der Erfindung wird die Begleitvorrichtung mit der Zeigevorrichtung über eine drahtlose Verbindung, z. B. eine Bluetooth-Verbindung, gekoppelt, und die Referenzbilder werden von dem bordseitigen Bildgeber der Zeigevorrichtung gesammelt, während die Referenzbilder auf einem Display der Begleitvorrichtung zur Überprüfung angezeigt werden, zusammen mit einer zusätzlichen Rückmeldung für den Benutzer, z. B. Anweisungen für weitere zu erhaltende Bilder.
-
Der bordseitige Bildgeber oder der Bildgeber der Begleitvorrichtung kann viele Formen annehmen und kann erweitert werden, um zusätzliche Informationen aus der physischen Umgebung zu erfassen, in der er arbeitet. Der Bildgeber kann Bilder in Form von ein-, zwei- oder dreidimensionalen Bildern aufnehmen. Die Bilder können mit jeder Form von elektromagnetischer Energie erzeugt werden, z. B. mit sichtbarem, infrarotem oder ultraviolettem Licht, oder mit elektromagnetischer Energie aus mehreren Frequenzbändern in Kombination. Der Bildgeber könnte so konfiguriert werden, dass er mit einem Projektor arbeitet, der elektromagnetische Energie erzeugt und projiziert, die für den Bildgeber sichtbar ist, um den Bildgeber zu unterstützen. Der Projektor könnte verwendet werden, um die Umgebung zu beleuchten oder um ein Muster aus strukturiertem Licht in der Umgebung zu erzeugen, damit der Bildgeber zusätzliche Informationen aus der Umgebung sammeln kann. Der Bildgeber könnte zum Beispiel eine Infrarotkamera für Nachtsicht mit einer Infrarot-LED oder eine Ultraviolettkamera mit einem ultravioletten strukturierten Lichtprojektor enthalten. In spezifischen Ausführungsformen könnten die Infrarot-LEDs oder andere Projektoren von Hilfsvorrichtungen bereitgestellt werden, die um eine physische Umgebung herum positioniert sind, so dass sie nicht zu viel Energie von der Batterie der Zeigevorrichtung verbrauchen. Bei der unterstützenden Vorrichtung könnte es sich um eine Ladevorrichtung für die Zeigevorrichtung handeln. Der Bildgeber könnte mehrere Sub-Bildgeber enthalten, z. B. eine Kamera für sichtbares Licht zur Erfassung von sichtbarem Licht aus der Umgebung und eine Ultraviolettkamera zur Erfassung von Mustern, die von einem Ultraviolettlichtprojektor projiziert werden.
-
In spezifischen Ausführungsformen der Erfindung weist der Bildgeber einen großen Erfassungsbereich auf, um die dem System zur Verfügung stehenden Informationen zur Erzeugung einer robusten Signatur während der Einrichtungsphase und zur Erkennung der Signatur während der Betriebsphase zu maximieren. Der Bildgeber könnte beispielsweise eine Weitwinkelkamera mit sichtbarem Licht sein, die in der Lage wäre, durch die Erfassung eines größeren Bereichs mit jedem Bild mehr Informationen über die Zone von Interesse zu erhalten. Die zusätzlichen Informationen könnten die relative Position von nahegelegenen Ecken eines Raumes und/oder den Abstand zur Decke und zum Boden vom Zielpunkt umfassen. Der Bildgeber könnte ein Fischaugen-Bildgeber sein. In anderen Ausführungsformen könnte der Bildgeber Panoramabilder wie z. B. vollsphärische Panoramabilder erfassen.
-
In spezifischen Ausführungsformen der Erfindung enthält das Sichtfeld des Bildgebers die Zeigerichtung, ist aber nicht auf die Zeigerichtung zentriert. Beispielsweise könnte der Bildgeber eine Neigung in Bezug auf die Zeigerichtung aufweisen. Diese Neigung kann für bestimmte Anwendungen gewählt werden. Bei einer Zeigevorrichtung mit einer Benutzerschnittstelle, die der Benutzer bei der Bedienung der Vorrichtung in der Regel liest, könnte der Bildgeber beispielsweise eine vertikale Neigung in Bezug auf die Zeigerichtung aufweisen, um einer allgemeinen Tendenz in Bezug auf dieses Nutzungsmuster entgegenzuwirken. Als weiteres Beispiel könnte der Bildgeber eine leichte vertikale Neigung zur Decke hinaufweisen, um Informationen über die Raumaufteilung zu erfassen, da die Ecken eines Raumes von der Schnittstelle Decke-Wand aus gesehen im Allgemeinen besser sichtbar sind als die Ecken an der Schnittstelle Decke-Boden, da sich Möbel und andere Gegenstände auf dem Boden befinden.
-
Der Bildgeber könnte Kombinationen von Sensoren enthalten, wie z. B. eine Kamera für sichtbares Licht und eine Ultraviolett-Kamera, die mit einer Ultraviolett-LED oder einem Laser ergänzt wird, der ein Muster in die Zeigerichtung der Vorrichtung projiziert. Das kombinierte Bild könnte neben dem sichtbaren Licht der Kamera auch Tiefeninformationen enthalten, die von einem Tiefensensor erfasst werden, z. B. einer Ultraviolett- oder Infrarotkamera, die projizierte Muster erkennt. Jede Form von projiziertem strukturiertem Licht kann zur Erfassung von Tiefeninformationen projiziert werden, einschließlich sichtbaren, ultravioletten oder infraroten Lichts. Bei dem Tiefensensor kann es sich um jede Art von Tiefensensor handeln, einschließlich eines LIDAR, eines Stereobildsensors oder eines anderen Sensors, der Tiefeninformationen oder Informationen, aus denen Tiefeninformationen abgeleitet werden können, erfasst. In diesen Ausführungsformen kann das Bild eine RGB-D-Matrix oder eine Tiefenwolke sein. Bei anderen Ansätzen könnten der Bildgeber und das Bild ausschließlich auf Tiefeninformationen beruhen und Texturdaten vollständig ignorieren. So könnte das Bild beispielsweise aus der Erfassung der Positionen in einem zweidimensionalen Bild von Infrarotpunkten bestehen, die durch eine Projektion von strukturiertem Licht beleuchtet werden. Die spezifischen Sensoren, die für die Bilderfassung verwendet werden, können sich je nach den Bedingungen der Umgebung, in der der Bildgeber eingesetzt wird, ändern. Die Zeigevorrichtung oder unterstützende Vorrichtung wie die Ladestation könnten beispielsweise einen Umgebungslichtsensor (ALS) enthalten und den Sensor für sichtbares Licht ausschalten, wenn festgestellt wird, dass das Umgebungslicht in der Umgebung nicht ausreicht, damit der Sensor für sichtbares Licht verwertbare Informationen liefern kann.
-
2 zeigt ein Blockdiagramm 200 eines Systems und ein zugehöriges Flussdiagramm 210 eines computerimplementierten Verfahrens, das unter Verwendung dieses Systems in Übereinstimmung mit spezifischen Ausführungsformen der hierin offengelegten Erfindung ausgeführt werden kann. Das Blockdiagramm 200 enthält eine Steuervorrichtung 201. Die Steuervorrichtung 201 hat eine Form, die eine Zeigerichtung 202 der Steuervorrichtung definiert. Das Blockdiagramm 200 enthält auch einen bordseitigen Bildgeber203, der sich auf der Steuervorrichtung 201 befindet. Wie dargestellt, hat der bordseitige Bildgeber 203 ein Sichtfeld 204, das die Zeigerichtung 202 enthält. Das Blockdiagramm 200 enthält auch computerlesbare Medien 205, die Anweisungen zur Ausführung der einzelnen Schritte des Flussdiagramms 210 speichern. Wie in der Zusammenfassung beschrieben, können sich die computerlesbaren Medien 205 vollständig in der Steuervorrichtung 201 befinden, z. B. in einem internen Speicher der Steuervorrichtung 201, oder sie können über ein die Steuervorrichtung 201 enthaltendes System verteilt sein.
-
Das Flussdiagramm 210 beginnt mit einem Schritt 211 des Erfassens eines Referenzbildes. Das Referenzbild kann durch den bordseitigen Bildgeber 203 oder durch einen Bildgeber auf einer Begleitvorrichtung erfasst werden. Das Flussdiagramm 210 wird mit einem Schritt 212 des Empfangs des Referenzbildes fortgesetzt. Dieser Schritt kann sich auf den Empfang des Bildes zur Speicherung in einem Speicher der Zeigevorrichtung vom bordseitigen Bildgeber der Verarbeitungsvorrichtung beziehen oder auf den Empfang des Bildes auf einem Knoten des Systems von einem anderen Knoten des Systems, auf dem das Bild erfasst wurde (z. B. wird das Bild auf einer Begleitvorrichtung in Form eines Smartphones erfasst und dann an eine Ladevorrichtung der Zeigevorrichtung oder einen Remote-Server übertragen, wo es empfangen wird).
-
Das Flussdiagramm 210 fährt mit einem Schritt 213 fort, in dem eine charakteristische Größe auf Basis des Referenzbildes bestimmt wird. Wenn zu diesem Zeitpunkt bereits weitere Referenzbilder vom System erfasst wurden, kann Schritt 213 auch auf Basis des Satzes von Referenzbildern durchgeführt werden. Bei der charakteristischen Größe kann es sich um einen Wert handeln, der in Bezug auf das jüngste Referenzbild oder auf einen ganzen Satz gesammelter Referenzbilder berechnet wird. Die charakteristische Größe kann eine Qualitätsmetrik für die Bildqualität des letzten Referenzbildes sein, eine Anzahl von Referenzbildern im Satz von Referenzbildern oder ein komplexerer Wert, der den Satz von Referenzbildern widerspiegelt, der mit einer grafischen und geometrischen Analyse berechnet wurde, die die Variation dieser Bilder in Bezug auf die in den Bildern auftretenden Blickpunkte, die in diesen Bildern auftretende Helligkeit usw. bewertet. Bei der charakteristischen Größe kann es sich um eine Vervollständigungsmetrik einer dreidimensionalen Rekonstruktion mindestens eines Teils der Zone von Interesse oder des Zeigeziels aus den Referenzbildern handeln (z. B. die bereits entdeckte Fläche im Vergleich zur gesamten zu entdeckenden Fläche). Das charakteristische könnte eine Diversitätsmetrik sein, die aus den Spektralinhalten der verschiedenen Referenzbilder berechnet wird. Die charakteristische Größe könnte eine Diversitätsmetrik der geschätzten Blickwinkel der Referenzbilder sein.
-
Das Flussdiagramm 210 wird mit einem Schritt 214 fortgesetzt, in dem von der charakteristischen Größe eine Beendigung der Einrichtungsphase für die Zeigevorrichtung abhängig gemacht wird. In diesem Schritt kann die in Schritt 213 erzeugte charakteristische Größe ausgewertet werden, um zu bestimmen, ob die Einrichtungsphase abgeschlossen ist. Auf diese Weise wird die Beendigung der Einrichtungsphase von der charakteristischen Größe abhängig gemacht. Die Auswertung der charakteristischen Größe kann einen Vergleich mit einem Schwellenwert beinhalten (z. B. die charakteristische Größe überschreitet, ist gleich oder liegt unter einem bestimmten Schwellenwert). Der Vergleich hängt von der Art der charakteristischen Größe ab, die in Schritt 214 berechnet wird. In einer spezifischen Ausführungsform ist die charakteristische Größe eine Anzahl von Referenzbildern in dem Satz der Referenzbilder. Der Schwellenwert wäre dann einfach eine vorgegebene Anzahl von Referenzbildern, die der Benutzer erfassen müsste. In einer anderen spezifischen Ausführungsform ist die charakteristische Größe ein Maß für die Varianz oder Kreuzkorrelation zwischen verschiedenen Bildern im Referenzbildsatz. Die Varianz oder Kreuzkorrelation kann in Bezug auf eine Gesamttexturkarte, eine Bildgeberstellung, Helligkeit oder andere Aspekte des Bildes gemessen werden. Unabhängig davon, welche spezifische Größe berechnet wird, ist Schritt 214 jedoch von der charakteristische Größe abhängig, die anzeigt, dass das Referenzbild oder der Satz von Referenzbildern, die in Schritt 213 ausgewertet wurden, genügend Informationen enthalten, um eine robuste und eindeutige Signatur für die Zone von Interesse im Referenzbild zu erzeugen. Die charakteristische Größe könnte z. B. ein Grad der Kreuzkorrelation zwischen den Referenzbildern im Satz der Referenzbilder sein. In diesem Fall würde die Auswertung erfordern, dass die charakteristische Größe unter einem Schwellenwert liegt und damit anzeigt, dass die Bilder ausreichend unterscheidbar sind. Ein weiteres Beispiel: Die charakteristische Größe könnte ein Maß für die Varianz zwischen den Referenzbildern in dem Satz der Referenzbilder sein. In diesem Fall würde die Auswertung verlangen, dass die charakteristische Größe über einem Schwellenwert liegt und damit anzeigen, dass die Bilder hinreichend unterscheidbar sind.
-
Das Flussdiagramm 210 kann mit einem Schritt 215 fortgesetzt werden, in dem eine Rückmeldenachricht auf Basis der charakteristischen Größe erzeugt wird. In diesem Zweig des Flussdiagramms wurde die Einrichtungsphase nicht beendet, da der Satz von Referenzbildern in Schritt 214 entweder als unvollständig oder anderweitig unzureichend befunden wurde. Die Rückmeldenachricht kann einen Benutzer anleiten oder ermutigen, mit der Einrichtungsphase fortzufahren, um den Satz von Referenzbildern zu verbessern. Die Rückmeldenachricht kann in Form von Text oder Symbolen erfolgen. Die Rückmeldenachricht kann beispielsweise eine Textanweisung sein, die auf der Anzeige der Zeigevorrichtung angezeigt wird, um weitere Bilder zu erfassen (z. B. nach links bewegen, nach rechts bewegen, zurück bewegen, näher heran bewegen, das Bild erneut aufnehmen, während der Bildgeber ruhig gehalten wird, mehr Lichter einschalten, Lichter ausschalten). Die Textnachricht kann auch über ein akustisches Signal mit Hilfe eines Lautsprechers bereitgestellt werden. Als weiteres Beispiel kann die Rückmeldenachricht ein Bruchteil, ein Fortschrittsbalken oder einer anderen symbolischen Darstellung sein, die die Anzahl der aufgenommenen Referenzbilder im Vergleich zur Anzahl der erforderlichen Referenzbilder angibt. Die Rückmeldenachricht kann sichtbar auf einer Anzeige oder hörbar über einen Lautsprecher bereitgestellt werden. Die Rückmeldenachricht kann auf Basis der charakteristischen Größe oder direkt auf Basis des Referenzbildes erzeugt werden. Die Rückmeldenachricht kann auch das Referenzbild selbst enthalten, so dass ein Benutzer das Referenzbild untersuchen und feststellen kann, warum das System das Referenzbild oder den Satz von Referenzbildern für unzureichend hält. Es können auch verschiedene Kombinationen der hier beschriebenen Arten von Rückmeldungen an den Benutzer gegeben werden. Beispielsweise könnte die Rückmeldung ein Referenzbild enthalten, das mit einer Aufforderung an den Benutzer versehen ist, die Qualität des Referenzbildes zu bestätigen, und die Rückmeldenachricht könnte auch einen Fortschrittsindikator enthalten, der anzeigt, wie viele Referenzbilder vom Benutzer im Vergleich zu einer Zielschwellenzahl akzeptiert wurden.
-
In spezifischen Ausführungsformen der Erfindung wird die Rückmeldung auf einer Begleitvorrichtung, z. B. einem Smartphone, angezeigt. Wenn die Begleitvorrichtung eine bessere Anzeige als die Zeigevorrichtung enthält, würden diese Ausführungsformen bestimmte Vorteile bieten, wenn die visuelle Überprüfung der Rückmeldenachricht wichtig ist, z. B. wenn die Rückmeldenachricht das Referenzbild selbst enthält. In diesen Fällen könnte die Zeigevorrichtung das Bild erfassen und es drahtlos an die Begleitvorrichtung zur Anzeige senden. Alternativ könnte die Begleitvorrichtung sowohl zur Erfassung als auch zur Anzeige der Referenzbilder verwendet werden.
-
In spezifischen Ausführungsformen der Erfindung könnte die Rückmeldenachricht Anweisungen enthalten, wie das mindestens ein zusätzliches Referenzbild aufgenommen werden soll. Die Anweisungen könnten bereitgestellt werden, um sicherzustellen, dass das nächste Referenzbild, das aufgenommen wird, für das System in Bezug auf seine Wirkung auf die charakteristische Größe maximal wertvoll ist. In den Anweisungen könnte mindestens eine Position angegeben werden, in der sich die Zeigevorrichtung oder die Begleitvorrichtung (je nachdem, welche Vorrichtung die Referenzbilder erfasst hat) befinden muss, wenn das mindestens eine zusätzliche Referenzbild erfasst wird. So könnte dem Benutzer beispielsweise ein Pfeil auf einer Anzeige angezeigt werden, der die Richtung angibt, in die er sich bewegen soll, um das nächste Referenzbild zu erfassen. Als weiteres Beispiel könnte der Benutzer entweder über eine sichtbare Anzeige oder über ein akustisches Signal die Anweisung erhalten: „Nehmen Sie ein weiteres Referenzbild für diese Zone links von der Stelle auf, an der Sie gerade ein Bild aufgenommen haben.“ Die Rückmeldung könnte in Echtzeit erfolgen, um den Benutzer zur richtigen Stellung des Bildgebers zu führen. Die Rückmeldung könnte zum Beispiel ein AR-Signal sein. Die Rückmeldung könnte beispielsweise hervorheben, welcher Teil der Zone noch nicht ausreichend erfasst wurde (z. B. sichtbare Hervorhebung, die in Echtzeit über ein Bild der Zone gelegt wird). Als weiteres Beispiel könnte die Rückmeldung einen Pfeil zeigen, der ständig aktualisiert wird und angibt, wie genau die Vorrichtung bewegt werden sollte, bis es sich an der optimalen Position befindet, um den maximalen Wert für die Referenzmenge zu erzeugen.
-
In spezifischen Ausführungsformen der Erfindung könnte die Rückmeldenachricht spezifisch für das zuletzt aufgenommene Referenzbild sein (z. B. könnte die Bestimmung der charakteristischen Größe die Feststellung beinhalten, dass das zuletzt aufgenommene Referenzbild aufgrund schlechter Beleuchtung, Unschärfe, unzureichender Abweichung von früheren Referenzbildern usw. von unzureichender Qualität ist). Die Rückmeldenachricht könnte auch einfach Anweisungen zur erneuten Erfassung desselben Referenzbildes oder Anweisungen zu Änderungen enthalten, die vor der Aufnahme eines Referenzbildes aus demselben Blickwinkel vorzunehmen sind (z. B. „halten Sie den Bildgeber ruhig“ oder „schalten Sie mehr Licht ein“).
-
In spezifischen Ausführungsformen der Erfindung könnte die Rückmeldenachricht Verbesserungen betreffen, die an dem Satz von Referenzbildern insgesamt vorgenommen werden können (z. B. könnte bei der Bestimmung der charakteristischen Größe festgestellt werden, dass dem Satz von Referenzbildern irgendeine Form von Varianz fehlte). Die Rückmeldenachricht kann sich auf mindestens ein zusätzlich aufzunehmendes Referenzbild beziehen, um die Merkmalsausprägung des Referenzbildsatzes zu verbessern. Beispielsweise könnte die Auswertung der charakteristischen Größe darauf hindeuten, dass ein Benutzer zusätzliche Bilder aus einem anderen Winkel, mit einer anderen Helligkeit, mit entfernten oder aus der Zone von Interesse entfernten Objekten usw. aufnehmen sollte. Die Rückmeldenachricht könnte diese Informationen an den Benutzer bereitstellen (z. B. die Anweisung, sich zu einem bestimmten Winkel zu begeben, um die Menge der erforderlichen charakteristischen Blickwinkel zu vervollständigen, oder die Anweisung, zusätzliche Lichter einzuschalten).
-
In spezifischen Ausführungsformen wird Schritt 211 unter Veränderung der Umgebung durchgeführt, um die Vielfalt der Referenzbilder zu erhöhen. Die Variation der Umgebung kann gemäß einer festgelegten Routine oder einer Routine durchgeführt werden, die sich während der Sammlung des Satzes von Referenzbildern auf Basis der charakteristischen Größe verändert. Die Umgebungsvariationen können durch ein Umgebungsvariationssystem erzeugt werden. Da es sich bei der Zeigevorrichtung um eine Steuervorrichtung handeln kann, die als Controller für eine große Anzahl von Vorrichtungen dienen soll, und das Umgebungsvariationssystem eine Komponente des Gesamtsystems sein kann, welche auch die Zeigevorrichtung enthält, kann das Umgebungsvariationssystem auf eine große Anzahl von Vorrichtungen zugreifen, die zum Variieren der Umgebung verwendet werden können In spezifischen Ausführungsformen kann die Zeigevorrichtung Teil des Umgebungsvariationssystem sein und als Urheber der Befehle dienen, die zum Variieren der Umgebung verwendet werden.
-
Verschiedene Umgebungsvariationen können über verschiedene Verfahren eingeführt werden, die auf den Vorrichtungen basieren, die unter der Kontrolle des Umgebungsvariationssystems stehen. So könnte beispielsweise die Helligkeit des Raums durch Ein- oder Ausschalten der Beleuchtung, durch Ändern der Farbe von farbwechselnden Lampen, durch Öffnen oder Schließen der Jalousien oder durch Ein- oder Ausschalten eines Fernsehers oder einer anderen Vorrichtung mit einer Anzeige verändert werden. Ein weiteres Beispiel: Das visuelle Erscheinungsbild eines Raumes kann durch die Anzeige verschiedener Farbmuster oder Bilder auf einem Fernseher oder einer anderen Vorrichtung mit Anzeige verändert werden. Diese Umgebungsvariationen können im Rahmen der oben beschriebenen Routine und auf Basis der charakteristischen Größe erzeugt werden. In Ausführungsformen, in denen die charakteristische Größe ein Maß für die Varianz oder Kreuzkorrelation zwischen der Helligkeit oder der Gesamttexturkarte der verschiedenen Bilder ist, kann die Rückmeldenachricht mit computerlesbaren Anweisungen bezüglich einer gewünschten Abweichung für das nächste Referenzbild erzeugt werden, und das Umgebungsvariationssystems kann die erforderliche Abweichung erzeugen, um die Umgebung in den als Reaktion auf die Rückmeldenachricht erforderlichen Zustand zu versetzen. Beispielsweise könnte die charakteristische Größe anzeigen, dass die Referenzbilder keine ausreichende Varianz in der Helligkeit aufweisen, die Rückmeldung könnte eine Anweisung zur Erhöhung der Helligkeit sein, und das Umgebungsabweichungssystem könnte als Reaktion darauf ein mögliches Verfahren zur Erhöhung der Helligkeit auswählen. Wenn das Umgebungsvariationssystem nur Zugriff auf eine einzige Leuchte hat, könnte es die Leuchtkraft der Leuchte als Reaktion auf die Rückmeldenachricht verringern. Wenn das Umgebungsvariationssystem Zugang zu einer Leuchte und einer Fensterabdeckung hat, könnte das Umgebungsvariationssystem so konzipiert werden, dass es verschiedene Verfahren auswählt und deren Auswirkungen auf die Vielfalt der Referenzbilder untersucht (z. B. zuerst die Fensterabdeckung ausprobieren, und wenn die nächste Rückmeldung immer noch anzeigt, dass mehr Helligkeitsvarianz erforderlich ist, dann das Licht dimmen).
-
Wie dargestellt, durchläuft das Flussdiagramm, wenn die Einrichtungsphase nicht beendet ist, die Schritte 212 und 213, in denen ein zusätzliches Referenzbild erfasst, empfangen und dem Satz von Referenzbildern hinzugefügt wird; und die charakteristische Größe wurde unter Verwendung des zusätzlichen Bildes neu bestimmt. Dieser Prozess könnte den Empfang mindestens eines zusätzlichen Referenzbildes und die Neubestimmung der charakteristischen Größe auf Basis des in der ersten Iteration erfassten Referenzbildes und des mindestens einen zusätzlichen Referenzbildes beinhalten. Das Flussdiagramm kehrt dann zu einem Punkt zurück, an dem das System nach der Neubestimmung der charakteristischen Größe ein Ende der Einrichtungsphase für das System auf Basis der charakteristischen Größe auslösen könnte. Dieser Schritt könnte eine weitere Iteration von Schritt 214 beinhalten, die statt zu einer weiteren Iteration durch die Schleife zu einer Auslösung des Endes der Einrichtungsphase führt. Die bisher beschriebenen Schritte des Flussdiagramms 200 können statt mit der Steuervorrichtung 201 auch mit einer Begleitvorrichtung, wie z.B. einem Smartphone, durchgeführt werden. Die Steuervorrichtung, insbesondere der Bildgeber der Steuervorrichtung, kann jedoch in einigen spezifischen Ausführungsformen zur Erfassung des Referenzbildes und zusätzlicher Referenzbilder in Schritt 211 verwendet werden, während die Rückmeldung aus Schritt 215 auf einer Anzeige einer Begleitvorrichtung, z. B. eines Smartphones, angezeigt wird.
-
Wie dargestellt, kann das Flussdiagramm 210 von Schritt 214 mit einem Schritt 216 des Auslösens der Beendigung einer Einrichtungsphase für die Zeigevorrichtung fortfahren. Schritt 216 kann jederzeit während der Einrichtungsphase durchgeführt werden, wenn der Satz von Referenzbildern durch das System als ausreichend bestimmt wird. Wie dargestellt, wird das Auslösen der Beendigung der Einrichtungsphase als Reaktion auf den Akt des Abhängig Machens der Beendigung der Einrichtungsphase von der charakteristischen Größe durchgeführt. Die in 2 dargestellte Einrichtungsphase wird anhand einer einzelnen Zone von Interesse 206 dargestellt. Die Einrichtungsphase kann jedoch die Sammlung von Referenzbildern für mehrere Zonen von Interesse gleichzeitig umfassen. Daher können die bisher besprochenen Schritte des Flussdiagramms 200 mehrfach wiederholt werden (einschließlich mehrerer Sätze iterativer Zyklen durch Schritt 215), um Referenzbilder für diese zusätzlichen Zonen von Interesse zu sammeln Die Einrichtungsphase kann auch immer dann erneut durchlaufen werden, wenn ein Benutzer eine zusätzliche Zone von Interesse zu einem bestehenden System hinzufügen möchte. Der erneute Eintritt in die Einrichtungsphase könnte durch einen Befehl des Benutzers zum Hinzufügen einer zusätzlichen Zone ausgelöst werden.
-
Die Beendigung der Einrichtungsphase kann zusätzliche Schritte auslösen, die erforderlich sind, um das System in den Zustand für die Betriebsphase zu versetzen. Diese Schritte können die Erzeugung einer Signatur für die Zone von Interesse und die Zuordnung eines Zeigeziels oder Objekts zu der Zone von Interesse umfassen. Das Flussdiagramm 210 enthält einen Schritt 217 zur Erzeugung einer Signatur für die Zone von Interesse unter Verwendung des in Schritt 212 erfassten Referenzbildes. Die Signatur kann unter Verwendung eines Satzes von Referenzbildern erzeugt werden, die über mehrere Iterationen von Schritt 212 erfasst wurden. Das Flussdiagramm 210 enthält auch einen Schritt 218 des Zuordnens eines Objektes der Zone von Interesse. Das Objekt kann ein Kommunikationsobjekt oder ein Steuerobjekt sein. Die Zuordnung zwischen dem Objekt und der Zone von Interesse kann während der Betriebsphase verwendet werden, um die geeignete Zuordnung für die Weiterleitung von Kommunikationen oder Befehlen durch das System zu erstellen, wenn die Zeigevorrichtung auf eine Zone von Interesse gerichtet ist und die Zone von Interesse unter Verwendung der erzeugten Signatur erkannt wird.
-
Die in Schritt 217 erzeugte Signatur kann eine Darstellung der Zone von Interesse sein, die aus zwei- oder dreidimensionalen Daten über die Zone von Interesse abgeleitet werden kann. Die Signatur kann in den Gewichten eines trainierten ANN verkörpert sein, das zur Verarbeitung von Bildern verwendet wird, um zu bestimmen, ob es sich um Bilder dieser Zone von Interesse handelt. Die Signatur könnte auch ein trainierter gerichteter Graph, eine Reihe von Punkten/Koordinaten oder eine andere Form von komprimierten Informationen über die Zone sein, die für Erkennungszwecke verwendet werden können. Die Signatur kann ein Merkmalsvektor sein, der so gestaltet ist, dass er mit der Ausgabe eines Klassifizierungssystems übereinstimmt, das mit Eingangsbildern der Zone von Interesse gefüttert wird. In spezifischen Ausführungsformen der Erfindung kann es eine Vielzahl von Signaturen für die Zone geben (z. B. mehrere zweidimensionale Bilder oder zweidimensionale Merkmale, die von verschiedenen Standpunkten aus aufgenommen wurden) oder eine einzige allgemeine Signatur (z. B. ein dreidimensionales Modell der Zone, das durch Rekonstruktion auf Basis mehrerer zweidimensionaler Referenzbilder oder Merkmale aus diesen Referenzbildern erstellt wurde). Die Signatur kann eine Kombination aus Tag- und Nachtsignaturen sein, die aufgrund der Auswirkungen der Lichtverhältnisse auf die Referenzbilder entwickelt wurde. In spezifischen Ausführungsformen der Erfindung wird auf eine andere Bibliothek von Signaturen zugegriffen, die auf den Merkmalen eines Beispielbildes basiert, das erhalten wird, wenn sich die Zeigevorrichtung in einer Betriebsphase befindet. So könnte das System beispielsweise eine Bibliothek mit Signaturen für eine Reihe von Zonen von Interesse bei schwachem Licht sowie eine Bibliothek mit Signaturen für diese Zonen bei hellem Licht vorhalten. Unter Verwendung eines ALS auf der Zeigevorrichtung kann die Bestimmung der Zone von Interesse während der Betriebsphase beinhalten, dass nur auf die Signaturen für schwaches Licht zugegriffen wird, wenn das ALS eine schwache Beleuchtungsbedingung erkennt, und umgekehrt für eine helle Beleuchtungsbedingung.
-
In spezifischen Ausführungsformen der Erfindung ist die charakteristische Größe eine Diversitätsmetrik der geschätzten Blickwinkel der Referenzbilder (z. B. würden Schätzungen der Perspektive jedes Referenzbildes gemessen oder berechnet und dann analysiert werden, um zu bestimmen, ob es eine ausreichende Variation zwischen den Perspektiven gab). Das System könnte die Unterschiede in den Blickwinkeln zwischen den Referenzbildern bestimmen und analysieren. Dieser Schritt könnte durch die Berechnung von Interessenpunkten in zwei Referenzbildern (z. B. ORB-Deskriptoren), die Zuordnung dieser Punkte über die Bilder hinweg, die Berechnung der wesentlichen Matrix aus dieser Zuordnung und die anschließende Ableitung der Änderung der Orientierung und der Richtung der Änderung der Position zwischen den Blickpunkten erfolgen. In diesen Ausführungsformen könnte als Schwellenwert für die Bewertung der charakteristischen Größe um die Beendigung der Einrichtungsphase davon abhängig zu machen, ein absoluter Winkelabstand zwischen zwei Blickorientierungen verwendet werden, um zu entscheiden, ob sie unterschiedlich genug sind. Die Anzahl der hinreichend unterschiedlichen Ausrichtungen unter Verwendung dieser Metrik könnte auch über die Referenzbilder hinweg gezählt und dem Benutzer als Rückmeldenachricht angezeigt werden. Als Schwellenwert, von dem die Beendigung der Einrichtungsphase abhängig gemacht wird, könnte auch eine Anzahl von Referenzbildern mit ausreichend unterschiedlichen Ausrichtungen verwendet werden, die mit der oben genannten Metrik gemessen wird.
-
In spezifischen Ausführungsformen der Erfindung könnte die charakteristische Größe eine Vervollständigungsmetrik für eine dreidimensionale Rekonstruktion zumindest eines Teils der Zone von Interesse oder des Zeigeziels sein. Das Referenzbild kann verwendet werden, um eine dreidimensionale Darstellung der Zone von Interesse zu rekonstruieren, wobei die Einrichtungsphase beendet wird (oder dem Benutzer vorgeschlagen wird, sie zu beenden), wenn die dreidimensionale Rekonstruktion vollständig genug ist (d. h., wenn es keine tote Zone in der Rekonstruktion gibt). Diese dreidimensionale Rekonstruktion kann durch ein ähnliches Verfahren erfolgen, wie dem im vorhergehenden Absatz beschriebenen, bei dem die Tiefe der interessierenden Punkte anhand der beiden Bilder, auf denen sie erscheinen, ermittelt wird und die relative Orientierung und die Richtung der Verschiebung, die aus der wesentlichen Matrix abgeleitet werden, für die beiden Bilder berechnet werden.
-
In spezifischen Ausführungsformen der Erfindung wird der Prozess der Gewinnung von Bildern vom Benutzer während der Einrichtungsphase unter Verwendung eines Live-Streams von Bildern durchgeführt, die von dem bordseitigen Bildgeber oder dem Bildgeber der Begleitvorrichtung erfasst werden. Die Zeigevorrichtung könnte auch eine Analyse der in diesem Live-Stream erfassten Referenzbilder durchführen, so dass die charakteristische Größe des Satzes von Referenzbildern kontinuierlich aktualisiert wird, während die Bilder erfasst werden. Ebenso könnte die Rückmeldung in Echtzeit berechnet und dem Benutzer zur Verfügung gestellt werden. Die Rückmeldung in diesen Ausführungsformen könnten die oben beschriebenen AR-Signale sein. Zum Beispiel ein Pfeil auf einer Anzeige der Live-Stream-Bilder, der anzeigt, in welche Richtung der Bildgeber bewegt werden sollte, oder eine Hervorhebung auf verschiedenen Oberflächen der Live-Stream-Bilder, die anzeigt, welche Oberflächen ausreichend erfasst und zu einer dreidimensionalen Rekonstruktion des physischen Raums hinzugefügt wurden.
-
In spezifischen Ausführungsformen der Erfindung wird die Datenfusion zur Verbesserung der Einrichtungsphase und/oder der Betriebsphase eingesetzt. Die Datenfusion kann verwendet werden, um eine genauere Rückmeldung oder eine bessere Schätzung von charakteristischen Größen zu erhalten. Die Datenfusion könnte das Hinzufügen zusätzlicher Daten wie Bewegungsverfolgung und/oder Positionsdaten zu den Bilddaten beinhalten. So wird beispielsweise eine Schätzung der Position des Bildgebers zu dem aus dieser Position aufgenommenen Bild hinzugefügt. In spezifischen Ausführungsformen der Erfindung umfasst das System einen Bewegungsverfolger auf der Steuervorrichtung und computerlesbare Medien, auf denen Anweisungen gespeichert sind, um die charakteristische Größe auf Basis des Referenzbildes und der Daten des Bewegungsverfolgers zu bestimmen, die Rückmeldung auf Basis der charakteristischen Größe und der Daten des Bewegungsverfolgers zu erzeugen oder die Signatur einer Zone von Interesse unter Verwendung der Daten des Bewegungsverfolgers während einer Betriebsphase zu erkennen.
-
Die Verwendung einer Kamera mit sichtbarem Licht als einziges Sensorelement kann das System anfällig für Unklarheiten, Sichtverdeckung und visuelle Mehrdeutigkeit zwischen mehreren Orten (z. B. zwei leeren Wänden) machen. Um diesen Problemen entgegenzuwirken, besteht eine Möglichkeit darin, einen Bildgeber für sichtbares Licht durch eine andere Informationsquelle zu ergänzen, z. B. eine IMU, die ein Gefühl für die Stellung des Bildsensors vermittelt (d. h. für seine gemeinsame Position und Ausrichtung). Die Stellungsschätzung kann dann als Ausweichlösung dienen, wenn der Sensor des Bildgebers verdeckt ist oder die Umgebungshelligkeit zu gering ist, um den Sensor richtig arbeiten zu lassen. Die Stellungsschätzung kann dann als zusätzliche Information zur Unterscheidung zwischen zwei Zonen mit denselben visuellen Aspekten in der Betriebsphase dienen. Darüber hinaus kann die Stellungs-Information zur Unterstützung bei der Berechnung der charakteristischen Größe eines Satzes von Referenzbildern verwendet werden, insbesondere derjenigen, die auf einem erforderlichen Grad an Varianz zwischen den für die Erfassung jedes Referenzbildes verwendeten Gesichtspunkten beruhen.
-
In spezifischen Ausführungsformen der Erfindung können Stellungsschätzungen für den Bildgeber durch die vorherige Kenntnis der Position jeder Zone von Interesse unterstützt werden. Dies kann wie folgt geschehen: (1) durch Erfassen der Stellung der Zeigevorrichtung bei jeder Aufnahme eines Referenzbildes und (2) durch Triangulation der Position der Referenzzone aus mindestens zwei in (1) erfassten Stellungsschätzungen. Ähnliche Ansätze können verwendet werden, um die Drift der Sensoren zu korrigieren, die zur Bestimmung der Position der Zeigevorrichtung verwendet werden. Stellungsschätzung von IMUs unterliegen einer Drift, d. h. die Schätzung weicht langsam von der wahren Stellung ab. Um dem entgegenzuwirken, kann die Ausgabe des Bildgebers jedes Mal, wenn eine bekannte Zone von Interesse erkannt wird, zur Korrektur der Drift verwendet werden.
-
3 zeigt ein Flussdiagramm für eine Betriebsphase eines Systems gemäß spezifischen Ausführungsformen der Erfindung. Das Flussdiagramm 300 beginnt mit einem Schritt 301 des Empfangs eines Beispielbildes. Bei dem Beispielbild kann es sich um ein Zielbild von einem bordseitigen Bildgeber der Zeigevorrichtung handeln. Wie dargestellt, enthält das Beispielbild 310 eine Kodierung mit sichtbarem Licht oder ein Fernseher 311. Der Fernseher stellt die Zone von Interesse dar. Das Flussdiagramm 300 fährt mit einem Schritt 302 fort, in dem eine Signatur unter Verwendung des Beispielbildes identifiziert wird. Bei der Signatur handelt es sich um eine Signatur der in Bild 310 dargestellten Zone von Interesse. Der Schritt kann beinhalten, dass die Informationen aus Bild 310 einem Klassifikator, einem trainierten maschinellen Lernsystem, einer trainierten Support-Vektor-Maschine oder einem anderen System bereitgestellt werden, das in der Lage ist, die Signatur einer Zone von Interesse aus einem Bild zu erkennen.
-
In spezifischen Ausführungsformen der Erfindung kann das System, sobald eine Signatur erkannt wurde, eine Zuordnung zu einer steuerbaren Vorrichtung oder einem anderen Zeigeziel herstellen, mit dem das System kommunizieren soll. Das Flussdiagramm 300 enthält dementsprechend einen Schritt 304 der Zuordnung eines Objekts durch das System. In spezifischen Ausführungsformen der Erfindung kann das System dem Benutzer nach dem Erkennen der Signatur auch eine Benutzerschnittstelle zur Verfügung stellen. Wie dargestellt, fährt das Flussdiagramm 300 mit einem Schritt 303 fort, in dem als Reaktion auf die Erkennung der Signatur eine steuerbare Objektschnittstelle auf einer Anzeige angezeigt wird. 3 zeigt eine Fernsteuerung in einem ersten Zustand 312 mit einer Anzeige 313. Die Ausführung von Schritt 303 ist dementsprechend im Übergang derselben Fernsteuerung in den Zustand 314 dargestellt, in dem die steuerbare Objektschnittstelle 315 des Fernsehers 311 auf dem Display 313 bereitgestellt wird. Dieser Übergang kann als Reaktion auf die Erkennung der Signatur der Zone von Interesse erfolgen, wenn die Zone von Interesse zuvor dem steuerbaren Objekt zugeordnet wurde, z. B. in Übereinstimmung mit den hier beschriebenen Verfahren der Einrichtungsphase.
-
Sobald das Zeigeziel der Zeigevorrichtung ausgewählt ist, kann die Information auf verschiedene Weise verwendet werden. Die Auswahl des Zeigeziels kann bestehen bleiben, bis sie vom Benutzer gelöscht wird, oder sie kann sich im Gleichschritt mit der momentanen Zeigerichtung der Zeigevorrichtung ändern. Während ein bestimmtes Zeigeziel als ausgewähltes Ziel bestehen bleibt, kann die Zeigevorrichtung selbst oder ein System, zu dem die Zeigevorrichtung gehört, so konfiguriert werden, dass es mit einer spezifischen Vorrichtung oder System interagiert, das mit diesem spezifischen Zeigeziel verbunden ist. In spezifischen Ausführungsformen der Erfindung kann die Zeigevorrichtung eine Fernsteuerung sein, und das Zeigeziel kann ausgewählt werden, um zu bestimmen, mit welcher steuerbaren Vorrichtung die Fernsteuerung zu einem bestimmten Zeitpunkt interagieren soll. In spezifischen Ausführungsformen der Erfindung kann die Zeigevorrichtung über ein Display verfügen, und das Zeigeziel kann ausgewählt werden, um zu bestimmen, welche Steuerschnittstelle zu einem bestimmten Zeitpunkt auf der Anzeige angezeigt werden soll. Bei der Anzeige kann es sich um ein Touch-Display oder eine andere Kombination aus Anzeige- und Eingabeschnittstelle handeln, die dazu dient, dem Benutzer Informationen zu präsentieren und Steuereingaben vom Benutzer zu empfangen. Als Beispiel, das die beiden oben genannten Ausführungsformen kombiniert, könnten, wenn ein Benutzer die Zeigevorrichtung auf einen Fernseher richtet, auf der Anzeige ein Kanalwähler und ein Lautstärkewähler angezeigt werden, zusammen mit dem Wort „Fernseher“, das die aktuell ausgewählte Vorrichtung angibt. Wenn der Benutzer danach mit der Zeigevorrichtung auf eine Glühbirne zeigt, könnte die Anzeige einen Ein-Aus-Schalter, einen Dimmer oder einen Farbwähler anzeigen, basiert auf den mit der Glühbirne verbundenen Merkmalen.
-
Die Beziehung zwischen dem Zeigeziel und der Zuordnung, die das System vornimmt, während dieses spezifische Zeigeziel ausgewählt wird, kann verschiedene Formen annehmen. Beispielsweise kann das Zeigeziel selbst ein kontrollierbares Objekt sein, das Gegenstand einer Zuordnung durch das Kontrollsystem sein sollte. Bei dem Zeigeziel kann es sich jedoch auch um eine physische Zone handeln, die durch bestimmte Merkmale definiert ist, die von dem Bildgeber erfasst werden können, aber keine physische Verbindung zu einem steuerbaren Objekt haben. Stattdessen kann das System das Zeigeziel zuvor einem bestimmten steuerbaren Objekt zugeordnet haben. So können die steuerbaren Objekte reale oder virtuelle Objekte sein. Bei den steuerbaren Objekten kann es sich beispielsweise um physische automatisierte Gebäudekomponenten oder Smart-Home-Vorrichtungen handeln, die Befehle empfangen oder Informationen bereitstellen, wie etwa Beleuchtungsvorrichtungen, Fernseher, elektronische Fensterläden, Thermostate, Aktoren für kommerzielle HVAC-Vorrichtungen, Rauchmelder, chemische Sensoren, Sicherheitsvorrichtungen und dergleichen. Bei den steuerbaren Objekten kann es sich jedoch auch um virtuelle Objekte handeln, die Befehle empfangen oder Informationen bereitstellen, wie z. B. über das Internet zugängliche APIs oder andere virtuelle Objekte. Darüber hinaus wird durch die flexible Zuordnung zwischen Zeigezielen und steuerbaren Objekten sichergestellt, dass ein Benutzer nicht in der Lage sein muss, ein steuerbares Objekt physisch zu sehen, um es auszuwählen.
-
Die Kette von Vorgängen, die von der Erfassung eines Bildes über die Auswahl eines Zeigeziels und die Zuordnung des Zeigeziels oder des steuerbaren Objekts bis hin zur Nutzung dieser Zuordnung in Übereinstimmung mit den oben genannten Beispielen reicht, kann auf verschiedene Weise umgesetzt werden. Insbesondere kann die Weiterleitung von Befehlen oder Informationen in Übereinstimmung mit dem aktuell ausgewählten Zeigeziel von verschiedenen Knoten im System durchgeführt werden. Beispielsweise könnte ein Befehl über eine Schnittstelle an der Zeigevorrichtung selbst, wie ein Touch-Display oder ein Mikrofon, oder über ein völlig separates System, wie ein Mikrofon, das sich im selben Raum wie die Zeigevorrichtung befindet, empfangen werden. Darüber hinaus könnte die Zeigevorrichtung lediglich Bilder vom Bildgeber an einen separaten Knoten im System weiterleiten, oder es kann alle notwendigen Schritte durchführen, um einen Befehl zu erzeugen, der speziell für die Weiterleitung an eine bestimmte steuerbare Vorrichtung bestimmt ist. Die Zeigevorrichtung selbst kann die darauf gesammelten Bilder erfassen und sie entweder an Ort und Stelle speichern und verarbeiten oder sie an eine alternative Vorrichtung zur Speicherung und Verarbeitung weiterleiten. Beispielsweise könnte die Zeigevorrichtung Bilder an eine Ladevorrichtung senden, die dann feststellt, welches Objekt Gegenstand einer Zuordnung durch das Steuersystem sein sollte, und die Befehle an dieses Objekt weiterleitet. Auf die gleiche Weise kann die Zeigevorrichtung unabhängig eine gesteuerte Vorrichtung einem Befehl zuordnen, oder es kann nur ein Zeigeziel einem Befehl zuordnen, während ein unterstützendes System den nächsten Schritt der Zuordnung des Befehls mit der gesteuerten Vorrichtung über eine gespeicherte Zuordnung zwischen Zeigezielen und gesteuerten Vorrichtungen vornimmt, die von diesem unterstützenden System gespeichert und gepflegt wird.
-
In spezifischen Ausführungsformen der Erfindung kann die Art und Weise, in der die Befehle tatsächlich durch das System geleitet werden, je nach der spezifischen Implementierung variieren. 3 zeigt das Beispiel einer Zeigevorrichtung in Form einer Fernsteuerung 316, die mit einer Steuervorrichtung in Form eines Fernsehers 317 verbunden ist, so dass ein Leitsystem 318 Befehle von der Fernsteuerung 316 zum Fernseher 317 leitet. Das Leitsystem 318 könnte vollständig in die Fernsteuerung 316 integriert sein und einen IR-Sender umfassen, der so eingestellt werden kann, dass er Signale an verschiedene Vorrichtungen, einschließlich des IR-Empfängers des Fernsehers 317, sendet. Das Leitsystem 318 kann jedoch auch zusätzliche Vorrichtungen wie eine Ladestation für die Fernsteuerung 316 umfassen. Das Leitsystem 318 könnte auch eine beliebige Anzahl von lokalen oder Großraumnetzen, das Internet und entfernte Vorrichtungen wie Server und eine dazugehörige Cloud-Architektur umfassen. Die Ladestation könnte einen IR-Sender für die Kommunikation mit dem Fernseher 317 und ein anderes drahtloses Kommunikationssystem für die Kommunikation mit der Fernsteuerung 316 enthalten. Darüber hinaus könnte, wie an anderer Stelle hier beschrieben, die Fernsteuerung oder eine andere Zeigevorrichtung einfach dazu verwendet werden, die Zuordnung 302 herzustellen, während die vom Leitsystem 318 weitergeleiteten Befehle von einer separaten Vorrichtung stammen. So könnten die Befehle beispielsweise von einem Mikrofon an einer Ladevorrichtung für die Fernsteuerung 316 oder von einem beliebigen Mikrofon mit einer Kommunikationsschnittstelle zum Leitsystem 318 empfangen werden.
-
4 zeigt eine mögliche Benutzerschnittstelle 400, die auf einer Anzeige einer Fernsteuerung 410 bereitgestellt wird, um einen Benutzer bei der Beschaffung eines Satzes von Referenzbildern in Übereinstimmung mit spezifischen Ausführungsformen der Erfindung zu führen. Die Benutzerschnittstelle wird auf einem Touch-Display der Fernsteuerung 410 dargestellt. An diesem Punkt des Einrichtungsprozesses hat das System bereits ein mehrfarbiges Licht an einem potenziellen Zeigeziel identifiziert. Das Zeigeziel wird hier als potenzielles Zeigeziel bezeichnet, da es noch nicht zu der Menge, der dem System bekannten Zeigeziele hinzugefügt wurde. Das Zeigeziel, das Gegenstand des aktuellen Abschnitts des Einrichtungsvorgangs ist, wird im Bereich 401 auf der Anzeige angezeigt. Die Benutzerschnittstelle 400 zeigt zusätzlich einen Zähler 402 für die Anzahl der Ansichten des Zeigeziels an, die der Benutzer sammeln soll. Zusätzliche Anweisungen können gegeben werden, um den Benutzer bei der Aufnahme geeigneter Bilder zu unterstützen. Dem Benutzer wird auch ein Steuerelement 404 angezeigt, mit dem er den Bildgeber anweisen kann, ein Bild aufzunehmen. Der Zähler und der Bereich für zusätzliche Anweisungen können verwendet werden, um dem Benutzer andere Arten von Informationen über Perspektivwechsel, Beleuchtungsänderungen und andere Rückmeldungen vom System zu liefern, um ihn durch eine erfolgreiche Ausführung des Prozesses der Bildaufnahme zu führen. Die Benutzerschnittstelle von 4 könnte einen ähnlichen Benutzererfahrungsablauf für die Erfassung von Bildern einer Zone von Interesse bieten. In spezifischen Ausführungsformen könnte der Benutzer nicht wissen, dass das System Informationen über eine Zone von Interesse erfasst, und könnte stattdessen Anweisungen zu Referenzbildern in Bezug auf ein in dieser Zone liegendes Zeigeziel erhalten.
-
Die in Schritt 212 empfangenen Bilder könnten verschiedenen Formen der Vorverarbeitung unterzogen werden, bevor sie zur Bestimmung einer charakteristischen Größe oder zur Identifizierung einer Signatur verwendet werden. Wenn es sich beispielsweise um Bilder mit sichtbarem Licht handelt, könnte das Bild einem automatischen Weißabgleich, Autofokus und einer Bildstabilisierung sowie anderen Bildstandardisierungsverfahren unterzogen werden, um das Bild so vorzubereiten, dass es später als Referenz für die Darstellung des Zeigeziels verwendet werden kann. Die Bilder könnten mit einem Rolling-Shutter-Kameramodell entzerrt werden. In einem verwandten Ansatz könnten die Bilder mit einer Global-Shutter-Kamera aufgenommen werden, um die Normalisierung der Bilder zu unterstützen, während sie aufgenommen werden. Die Vorverarbeitung könnte außerdem eine Bildverarbeitung umfassen, um Änderungen der Helligkeit während der Einrichtungsphase zu kompensieren. Diese Art der Verarbeitung könnte auch auf Bilder angewandt werden, die gesammelt werden, wenn die Zeigevorrichtung im Einsatz-Zustand betrieben wird. In Ausführungsformen, in denen die Zeigevorrichtung verschiedene Arten von Daten erfasst, könnte die Vorverarbeitung auch die Zusammenführung der Daten von den verschiedenen Sensoren umfassen, z. B. bei der Bildung einer RGB-D-Punktwolke durch Zusammenführung von sichtbarem Licht und Tiefendaten.
-
Dieselben oben erwähnten Vorverarbeitungsarten könnten auf Bilder angewandt werden, die gesammelt werden, wenn die Zeigevorrichtung im Einsatz-Zustand arbeitet, wie die in Schritt 301 empfangenen Bilder. In der Tat würden verschiedene Vorverarbeitungsmethoden zur Normalisierung der Bilder dem System beim Abgleich von Bildern desselben Ausrichtungstyps helfen, da störende Unterschiede beseitigt würden.
-
In spezifischen Ausführungsformen der Erfindung können Verfahren, wie die im Flussdiagramm 300 dargestellten Verfahren, an vom System erkannte Fehlerzustände oder an wesentliche Änderungen in der Verfügbarkeit von Daten angepasst werden. Beispielsweise könnte die Zeigevorrichtung bei einem Fehlerzustand oder fehlenden Daten in einen manuellen Modus übergehen, in dem die zu steuernde Vorrichtung vom Benutzer durch andere Mittel wie einen Sprachbefehl oder die Auswahl der Vorrichtung in einem Menü auf einem Touch-Display der Zeigevorrichtung identifiziert wird. Das Fehlen von Daten oder ein Fehlerzustand kann auf verschiedene Weise erkannt werden. Zum Beispiel könnte ein Umgebungslichtsensor oder ein Kontrollsystem, das Dinge wie den Status der Beleuchtung im Raum und die Tageszeit kennt, steuern, welche Arten von Bildgebern zum Sammeln von Bildern verwendet werden können und welche Änderungen an dem Verfahren zur Erzeugung einer Überlagerung davon vorgenommen werden müssen. Gemäß diesem Beispiel könnte eine Zeigevorrichtung, die sowohl über einen Sensor für sichtbares Licht als auch über einen IR-Sensor verfügt, den Sensor für sichtbares Licht deaktivieren, wenn die Vorrichtung im Dunkeln betrieben wird. Ein weiteres Beispiel: Das System könnte feststellen, ob eine größere Änderung am Standort oder einer bestimmten Zone vorgenommen wurde, so dass das System eine Zone nicht mehr zuverlässig identifizieren kann. Genauer gesagt könnte das System feststellen, ob ein Benutzer den physischen Raum seit der Durchführung des Einrichtungsvorgangs so umgestaltet hat, dass die Prozesse zur Neukalibrierung und Verfeinerung der der Zone zugeordneten Signatur zur Einrichtungsphase zurückkehren.
-
In jedem der vorangegangenen Beispiele könnte dem Benutzer die Option, in einen Standardmodus zu wechseln, angeboten werden, anstatt den Bildgeber-gestützten Modus automatisch zu beenden oder die Leistung des Bildgeber-gestützten Modus automatisch zu ändern. Die Option, in einen Standardmodus zu wechseln, könnte dem Benutzer auch kontinuierlich über eine konfigurierbare Einstellung angeboten werden, unabhängig vom Vorhandensein eines Fehlerzustands oder eines Mangels an Daten.
-
In spezifischen Ausführungsformen der Erfindung könnten die Komponenten des Systems an einem mobilen Roboter angebracht werden, um die physische Position der Komponente während der Einrichtungs- oder Betriebsphase automatisch anzupassen. Zum Beispiel könnten die oben erwähnte Zeigevorrichtung, die unterstützende Vorrichtung, die Steuervorrichtung und die Begleitvorrichtung alle oder einzeln an einem mobilen Roboter angebracht werden Der mobile Roboter könnte ein Lauf-, Rad- oder Beinroboter sein Der mobile Roboter könnte ein Flugroboter wie ein Miniatur-Quadcopter sein. Der mobile Roboter könnte ein festes Stativ oder eine andere Stütze sein, die an einer schwenkbaren Bildgeberhalterung befestigt ist, mit der der Roboter die Stellung eines angebrachten Bildgebers verändern und einstellen kann. Der mobile Roboter könnte die Vorrichtung mit einer Beweglichkeit von 6 Freiheitsgraden (DOF) ausstatten, so dass die Vorrichtung verschiedene x-, y- und z-Positionen in der Umgebung sowie verschiedene Neige-, Gier- und Schwenk-Positionen des Bildgebers einnehmen kann. Der Roboter könnte auch die Position des Bildgebers automatisch ändern.
-
In spezifischen Ausführungsformen der Erfindung könnte die Position der Vorrichtung von den oben erwähnten mobilen Robotern während der Einrichtungsphase variiert werden, um die Vielfalt der Referenzbilder zu erhöhen. Die Position könnte gemäß einer festgelegten Routine oder einer Routine variiert werden, die sich während der Erfassung des Satzes von Referenzbildern basierend auf der charakteristischen Größe ändert. Die Positionsvariationen können als Teil der oben beschriebenen Routine und auf Basis der charakteristischen Größe erstellt werden. In Ausführungsformen, in denen die charakteristische Größe ein Maß für die Varianz oder Kreuzkorrelation zwischen der Kamerastellung oder dem physischen Erscheinungsbild der Umgebung der verschiedenen Bilder ist, kann die Rückmeldenachricht mit computerlesbaren Anweisungen bezüglich einer gewünschten Varianz für das nächste Referenzbild erzeugt werden, und der mobile Roboter kann die erforderliche Varianz erzeugen, um die Umgebung in den als Reaktion auf die Rückmeldenachricht erforderlichen Zustand zu versetzen. Beispielsweise könnte die charakteristische Größe anzeigen, dass die Referenzbilder keine ausreichende Varianz in der Kamerastellung aufwiesen, und der mobile Roboter könnte einen Bildgeber an einen anderen Ort bewegen, um ein anderes Referenzbild zu erhalten. Als weiteres Beispiel könnte die charakteristische Größe anzeigen, dass die Zone nicht genügend physische Varianz aufweist, und der mobile Roboter könnte sich selbst oder andere Gegenstände innerhalb der Zone bewegen, um diese Vielfalt zu erhöhen.
-
Während die Beschreibung im Detail in Bezug auf bestimmte Ausführungsformen der Erfindung beschrieben wurde, wird es geschätzt werden, dass die Fachleute auf dem Gebiet, nach dem Erreichen eines Verständnisses des Vorstehenden, leicht Änderungen, Variationen und Äquivalente zu diesen Ausführungsformen erdenken. Beispielsweise wurde in der Offenbarung das Beispiel einer Fernsteuerung als Zeigevorrichtung verwendet, und die Bestimmung der Zeigerichtung wurde verwendet, um Befehle an eine steuerbare Vorrichtung weiterzuleiten. Der Ansatz kann jedoch im weiteren Sinne auf jede Zeigevorrichtung angewendet werden, wie z. B. einen Präsentationszeiger, eine Inventarverwaltungsvorrichtung oder ein Spielzeug, das für eine drahtlose Markierung verwendet wird. Darüber hinaus kann derselbe Ansatz zur Bestimmung des Kurses einer beliebigen Vorrichtung in einer bestimmten physischen Umgebung angewandt werden, z. B. für einen Roboter oder eine Drohne, der/die selbständig durch einen bestimmten Raum navigieren kann. Darüber hinaus können viele der hier vorgestellten Ansätze auch auf Vorrichtungen mit eingebautem Bildgeber angewendet werden, selbst wenn diese ursprünglich nicht für die Verwendung als Zeigevorrichtungen vorgesehen waren. So könnte beispielsweise die Kamera auf der Rückseite eines Smartphones als Bildgeber verwendet werden, der auf die Zeigerichtung des Smartphones ausgerichtet ist, während die Anzeige als Steuerungsschnittstelle dient. Diese und andere Modifikationen und Variationen der vorliegenden Erfindung können von Fachleuten durchgeführt werden, ohne vom Umfang der vorliegenden Erfindung abzuweichen, der insbesondere in den beigefügten Ansprüchen dargelegt ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 62/884278 [0001]
- US 10068463 [0003]