DE112021000822T5 - Sensorfusion für flaches zeigegerät - Google Patents

Sensorfusion für flaches zeigegerät Download PDF

Info

Publication number
DE112021000822T5
DE112021000822T5 DE112021000822.6T DE112021000822T DE112021000822T5 DE 112021000822 T5 DE112021000822 T5 DE 112021000822T5 DE 112021000822 T DE112021000822 T DE 112021000822T DE 112021000822 T5 DE112021000822 T5 DE 112021000822T5
Authority
DE
Germany
Prior art keywords
pointing
determining
antenna
angle
pointing direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021000822.6T
Other languages
English (en)
Inventor
Julien Colafrancesco
Nicolas Schodet
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qorvo Paris Fr
Original Assignee
7Hugs Labs SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 7Hugs Labs SAS filed Critical 7Hugs Labs SAS
Publication of DE112021000822T5 publication Critical patent/DE112021000822T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

Verfahren und Systeme, die sich auf das Gebiet der Zeigegeräte beziehen, sind hierin offenbart. Ein offenbartes Gerät weist eine Zeigerichtung, einen Satz von Antennen, der eine erste Antenne und eine zweite Antenne beinhaltet, und mindestens eines von einer inertialen Messeinheit, einem Schwerkraftsensor und einem Magnetometer auf. Das Gerät beinhaltet außerdem ein oder mehrere computerlesbare Medien, auf denen Anweisungen gespeichert sind, die, wenn sie auf dem Gerät ausgeführt werden, das System veranlassen: eine Differenz zwischen einem Signal, wie es von der ersten Antenne empfangen wird, und dem Signal, wie es von der zweiten Antenne empfangen wird, zu bestimmen; mithilfe der Differenz einen Winkel zwischen der Zeigerichtung und einer Signalursprungsrichtung des Signals zu bestimmen; eine physikalische Größe unter Verwendung des mindestens einen von der inertialen Messeinheit, dem Schwerkraftsensor und dem Magnetometer zu messen; und das Zeigeziel des Geräts mithilfe des Winkels und der physikalischen Größe zu bestimmen.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung beansprucht den Vorteil der vorläufigen US-Patentanmeldung Nr. 63/022,065 , eingereicht am 8. Mai 2020, welche hierin durch Bezugnahme in ihrer Gesamtheit für sämtliche Zwecke aufgenommen ist.
  • ALLGEMEINER STAND DER TECHNIK
  • Zeigegeräte werden für die verschiedensten Anwendungen eingesetzt. Die genaue Bestimmung der Zeigerichtung derartiger Geräte spielt eine wichtige Rolle für deren Gesamtleistung und praktische Anwendbarkeit. Zur Bestimmung der Zeigerichtung, beispielsweise in Bezug auf ein bestimmtes Ziel, wie einen Bildschirm, wäre es erforderlich, die Position und die Ausrichtung des Zeigegeräts in Bezug auf das Ziel, oder umgekehrt, zu ermitteln. Die Position und Ausrichtung, zusammenfassend als die Pose bezeichnet, stellen einen Satz von sechs Variablen dar. Die Bestimmung jeder dieser Variablen könnte viele Sensoren und eine erhebliche Verarbeitungsleistung involvieren. Es ist kostspielig und aufwendig, genügend Sensoren in einem tragbaren Gerät unterzubringen, insbesondere bei Geräten mit kleinem Formfaktor, wie es bei Zeigegeräten typischerweise der Fall ist.
  • KURZDARSTELLUNG
  • Verfahren und Systeme, die sich auf das Gebiet der Zeigegeräte beziehen, sind hierin offenbart. Systeme gemäß bestimmten Ausführungsformen der Erfindung können verschiedene Geräte beinhalten. In der vorliegenden Offenbarung wird ein Gerät, das auf ein anderes Gerät, ein Objekt oder eine Fläche zeigt, als ein Zeigegerät bezeichnet, und ein Gerät, ein Objekt oder eine Fläche, auf die durch ein Zeigegerät gezeigt wird, wird als Zeigeziel bezeichnet.
  • Zeigegeräte gemäß bestimmten Ausführungsformen der Erfindung können durch Verwenden einer Bestimmung der Position und/oder der Ausrichtung des Geräts in Bezug auf das Zeigeziel verwendet werden, um mit Zeigezielen zu interagieren. Zeigegeräte gemäß bestimmten Ausführungsformen der Erfindung können eine Bestimmung der Zeigerichtung des Zeigegeräts in einem Referenzrahmen involvieren. Das Zeigegerät kann ein tragbares Gerät sein. Das Zeigeziel kann ein ortsfestes Zeigeziel, wie eine ortsfeste Fläche, ein Bildschirm oder eine Anzeige sein. Das Zeigeziel kann ein entferntes Zeigeziel, wie eine entfernte Fläche, ein Bildschirm oder eine Anzeige sein.
  • In bestimmten Ausführungsformen der Erfindung kann ein Zeigegerät mit einem Zeigeziel interagieren. In bestimmten Ausführungsformen der Erfindung kann die Zeigerichtung des Zeigegeräts bestimmt werden, um dem Zeigegerät zu ermöglichen, mit dem Zeigeziel zu interagieren oder ein Zeigeziel anderweitig zu identifizieren. In bestimmten Ausführungsformen der Erfindung wird, durch Bestimmen der Zeigerichtung des Zeigegeräts, eine Interaktion mit dem Zeigeziel durch Auflösen des Schnittpunkts von dem Zeigeziel und einer Projektion in der Zeigerichtung von dem Zeigegerät bereitgestellt. Beispielsweise könnte das Zeigegerät durch ein System, das die Zeigerichtung des Zeigegeräts bestimmt hat, den Punkt, an dem die Projektion auf dem Bildschirm auftrifft, aufgelöst hat und diese Information zur Anzeige eines Cursors auf dem Bildschirm verwendet hat, mit einem Bildschirm interagieren.
  • Gemäß bestimmten Ausführungsformen der Erfindung kann eine Bedingung zur Interaktion zwischen einem Zeigegerät und einem Zeigeziel durch Bereitstellen eines Satzes von Antennen in dem System bestimmt werden. Beispielsweise kann ein Satz von mindestens zwei Antennen bereitgestellt werden, der dem Zeigegerät zugeordnet sind. Mindestens zwei Antennen des Satzes von Antennen können mit der Zeigerichtung des Geräts ausgerichtet sein. In bestimmten Ausführungsformen der Erfindung kann der dem Zeigegerät zugeordnete Satz von Antennen ein Signal empfangen und, durch Bestimmen einer Differenz des Signals, wie es durch die Antennen in dem dem Zeigegerät zugeordneten Satz von Antennen empfangen wird, kann es möglich sein, einen Winkel zwischen der Zeigerichtung und der Ursprungsrichtung des Signals zu bestimmen. Die Differenz kann eine Differenz in der Phase des Signals sein. Dieser Winkel kann als ein Zeigewinkel bezeichnet werden. Dieser Winkel kann die Zeigerichtung des Zeigegeräts angeben. In bestimmten Ausführungsformen der Erfindung kann das Zeigeziel mindestens einer Antenne zugeordnet sein. Die Quelle des Signals, das von den mindestens zwei Antennen, die dem Zeigegerät zugeordnet sind, empfangen wird, kann die mindestens eine dem Zeigeziel zugeordnete Antenne sein. Bei diesen Ausführungsformen ist es möglich, den Winkel zwischen der Zeigerichtung und der Linie zwischen dem Zeigegerät und dem Zeigeziel zu bestimmen. In bestimmten Ausführungsformen der Erfindung ist dieser Winkel ein Zeigewinkel. In solchen Ausführungsformen kann dieser Winkel die Zeigerichtung des Zeigegeräts in Bezug auf das Zeigeziel angeben.
  • In bestimmten Ausführungsformen der Erfindung ist einerseits dem Zeigegerät mindestens ein Paar von Antennen zugeordnet, und andererseits ist dem Zeigeziel mindestens eine Antenne zugeordnet. Die Verteilung von Antennen in dem System ermöglicht in bestimmten Ausführungsformen der Erfindung eine Bestimmung geometrischer Parameter basierend auf Lokalisierungstechniken, wie beispielsweise einem Einstrahlwinkel (AOA).
  • In bestimmten Ausführungsformen der Erfindung wird die Zeigerichtung sowohl anhand der Differenz des von der ersten und der zweiten Antenne empfangenen Signals, wie oben erwähnt, als auch einer von einem Sensor an dem Zeigegerät gemessenen physikalischen Größe bestimmt.
  • Der Sensor kann eine inertiale Messeinheit (IMU), ein Schwerkraftsensor, ein Magnetometer und verschiedene andere Vorrichtungen sein. Bei der physikalischen Größe kann es sich um eine Beschleunigung des Zeigegeräts, eine Richtung der gravimetrischen Erdbeschleunigung des Zeigegeräts, eine Messung der magnetischen Nordrichtung und verschiedene andere Größen handeln, die beim Bestimmten des Standorts und/oder der Ausrichtung des Zeigegeräts zur Hilfe herangezogen werden können.
  • In bestimmten Ausführungsformen der Erfindung ist ein Gerät bereitgestellt. Das Gerät umfasst eine Zeigerichtung, einen Satz von Antennen, der eine erste Antenne und eine zweite Antenne beinhaltet, mindestens eines von einer inertialen Messeinheit, einem Schwerkraftsensor und einem Magnetometer, und ein oder mehrere computerlesbare Medien, auf denen Anweisungen gespeichert sind. Die Anweisungen, wenn sie auf dem Gerät ausgeführt werden, veranlassen das Gerät, eine Differenz zwischen einem Signal, wie es von der ersten Antenne empfangen wird, und dem Signal, wie es von der zweiten Antenne empfangen wird, zu bestimmen. Die Anweisungen veranlassen das Gerät auch, anhand der Differenz einen Winkel zwischen der Zeigerichtung und einer Signalursprungsrichtung des Signals zu bestimmen. Die Anweisungen veranlassen das Gerät außerdem, eine physikalische Größe unter Verwendung mindestens eines von der inertialen Messeinheit, dem Schwerkraftsensor und/oder dem Magnetometer zu messen und die Zeigerichtung des Geräts anhand des Winkels und der physikalischen Größe zu bestimmen.
  • In bestimmten Ausführungsformen der Erfindung ist ein System bereitgestellt. Das System umfasst ein tragbares Gerät, das eine Zeigerichtung und einen Satz von Antennen, der eine erste Antenne und eine zweite Antenne beinhaltet, und mindestens eines von einer inertialen Messeinheit, einem Schwerkraftsensor und einem Magnetometer aufweist. Das System beinhaltet ferner eine dritte Antenne, die einem Zeigeziel zugeordnet ist, und ein oder mehrere computerlesbare Medien, auf denen Anweisungen gespeichert sind. Die Anweisungen, wenn sie von dem System ausgeführt werden, veranlassen das System, ein Signal unter Verwendung der dritten Antenne zu senden, eine Differenz zwischen dem Signal, wie es von der ersten Antenne empfangen wird, und dem Signal, wie es von der zweiten Antenne empfangen wird, zu bestimmen, mithilfe der Differenz einen Winkel zwischen der Zeigerichtung und einer Signalursprungsrichtung des Signals zu bestimmen, eine physikalische Größe unter Verwendung des mindestens einen von der inertialen Messeinheit, dem Schwerkraftsensor und dem Magnetometer zu messen, und die Zeigerichtung des Geräts mithilfe des Winkels und der physikalischen Größe zu bestimmen.
  • In bestimmten Ausführungsformen der Erfindung ist ein Verfahren bereitgestellt, bei dem jeder Schritt computerimplementiert ist. Das Verfahren umfasst ein Erhalten eines ersten Abtastwerts eines Signals an einer ersten Antenne und eines zweiten Abtastwerts des Signals an einer zweiten Antenne, wobei sich die erste Antenne und die zweite Antenne in einem Satz von Antennen an einem tragbaren Gerät befinden, und wobei das tragbare Gerät eine Zeigerichtung aufweist. Das Verfahren umfasst ferner ein Bestimmen einer Differenz unter Verwendung des ersten Abtastwerts und des zweiten Abtastwerts. Das Verfahren umfasst ferner ein Bestimmen, anhand der Differenz, eines Winkels zwischen der Zeigerichtung und einer Signalursprungsrichtung des Signals. Das Verfahren umfasst ferner ein Messen einer physikalischen Größe unter Verwendung des mindestens einen von der inertialen Messeinheit, dem Schwerkraftsensor und dem Magnetometer. Das Verfahren umfasst ferner ein Bestimmen der Zeigerichtung des Geräts anhand des Winkels und der physikalischen Größe.
  • Figurenliste
    • 1 enthält ein Beispiel einer 3D-Umgebung, in der ein Zeigegerät und ein Zeigeziel gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung verwendet werden können.
    • 2 enthält ein Beispiel des Koordinatensystems in Bezug auf das tragbare Gerät und den Auswahlkegel gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 3 enthält ein System mit einer Dualantennenstation und einer Einzelantennenstation gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 4 enthält ein Beispiel eines Zeigegeräts mit einer Antennenkonfiguration und einer IMU gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 5 enthält ein System für ein Zeigegerät und ein Zeigeziel gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 6 enthält eine Darstellung, die die Beziehung zwischen Einstrahlwinkel (AOA), Zeigerichtung und Position des Zeigegeräts gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung veranschaulicht.
    • 7A enthält ein Beispiel des sphärischen Koordinatensystems und des kartesischen Koordinatensystems des Zeigegeräts gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 7B veranschaulicht die Gierungs-, Längsneigungs- und Querneigungswinkel, die den drei Achsen x, y und z, die in 7A eingeführt wurden, zugeordnet sein können, gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 8A enthält ein Koordinatensystem, das verwendet werden kann, um die Definitionen, die für ein Modell verwendet werden, das die Leistung und das Verhalten eines Zeigegeräts anhand von Roh-UWB-Messungen vorhersagt, gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung zu erläutern.
    • 8B enthält ein Polarkoordinatensystem, das, gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung, auf einen entfernten Körperrahmen des Zeigegeräts zentriert ist.
    • 9A enthält ein Beispiel eines Systems, das, gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung, ein Zeigegerät und ein Zeigeziel in Form eines TV-Bildschirms umfasst, der mindestens eine eingebettete Bake beinhaltet.
    • 9B enthält ein Beispiel eines Systems, das, gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung, ein Zeigegerät und ein Zeigeziel in Form eines TV-Bildschirms umfasst, der mindestens zwei eingebettete Baken beinhaltet.
    • 9 enthält ein Beispiel eines Systems, das, gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung, ein Zeigegerät und ein Zeigeziel in Form eines TV-Bildschirms umfasst, der mindestens eine eingebettete Bake beinhaltet.
    • 10 enthält ein Beispiel eines Ablaufdiagramms zum Fusionieren von Daten von einer Vielzahl von Eingangsquellen zum Schätzen der Position des Zeigegeräts gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 11 enthält ein Beispiel von zwei Zeigegeräten, die, gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung, den gleichen AOA und den gleichen Abstand zu einem Tag an dem Zeigeziel messen können, jedoch unterschiedliche Positionen aufweisen.
    • 12 enthält ein Beispiel eines einzelnen Zeigegeräts, das in unterschiedlichen Positionen in Bezug auf das Zeigeziel angeordnet ist, gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 13 enthält ein System mit einer Dualantennenstation sowohl an dem Zeigegerät als auch an dem Zeigeziel.
    • 14 enthält eine Darstellung eines mit einem Sensorsystem bei 3 Metern gemessenen AOA gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
    • 15 veranschaulicht Abstandsmessungen bei 3 Metern für 30 Sekunden mit AOA von 0 und einer Fernbedienungslängsneigung von 0 gemäß bestimmten Ausführungsformen der hierin offenbarten Erfindung.
  • DETAILLIERTE BESCHREIBUNG
  • Verfahren und Systeme, die sich auf das Gebiet von Zeigegeräten gemäß der obigen Kurzdarstellung beziehen, werden hierin im Detail offenbart. Die in diesem Abschnitt offenbarten Verfahren und Systeme sind nicht einschränkende Ausführungsformen der Erfindung, sind nur für erläuternde Zwecke vorgesehen und sollen nicht verwendet werden, um den vollen Umfang der Erfindung einzuschränken.
  • Die folgenden Patente und Patentanmeldungen desselben Anmelders sind hierin durch Bezugnahme in ihrer Gesamtheit für alle Zwecke aufgenommen: Europäisches Patent EP 3 172 727 B1 mit dem Titel „Methods for determining and controlling a piece of equipment to be controlled, and device, use and system implementing said methods“; US-Patentanmeldung Nr. 16/049,074 mit dem Titel „System for Object Tracking in Physical Space with Aligned Reference Frames“ von Julien Colafrancesco, Simon Tchedikian, Nicolas Schodet und Simon Guillot, eingereicht am 30. Juli 2018; US-Patentanmeldung Nr. 16/056,888 mit dem Titel „Polarization Axis Attenuation and Cross Polarization Resistant Antenna Orientation Assembly for Tracked Object“ von Julien Colafrancesco und Oliver Mandine, eingereicht am 7. August 2018; und vorläufige US- Pat.- Anmeld. Nr. 63/022,065 mit dem Titel „Low Profile Air Mouse, Smart Remote and Telepointer“ von Julien Colafrancesco, Simon Tchedikian, Nicolas Schodet, eingereicht am 8. Mai 2020.
  • Zeigegeräte gemäß bestimmten Ausführungsformen der Erfindung können verwendet werden, um mit Zeigezielen zu interagieren. Das Zeigegerät kann ein beliebiges Gerät sein, das auf ein Zeigeziel zeigen kann. Das Zeigegerät kann ein tragbares Gerät sein. Das Zeigegerät kann dafür verwendet werden, in einer solchen Weise auf ein Zeigeziel, beispielsweise einen entfernten Bildschirm, zu zeigen, die vergleichbar mit einer Laserdiode ist, die auf einen Bildschirm zeigt. Das Zeigegerät kann in der Lage sein, hochfrequente Signale, wie Ultra-Breitband-Signale (UWB) zu empfangen und/oder auszusenden.
  • Das Zeigegerät kann eine Hauptzeigerichtung aufweisen. In bestimmten Ausführungsformen der Erfindung wird die Zeigerichtung durch das Gerät physisch abgegrenzt. Beispielsweise kann das Zeigegerät ein Gehäuse mit einer Längsrichtung umfassen, die sich mehr als die anderen Richtungen erstreckt, was die Hauptzeigerichtung angibt. Auf diese Weise kann das Zeigegerät eine Form aufweisen, die eine natürliche Zeigerichtung des Zeigegeräts definiert. Beispielsweise könnte es sich bei dem Gerät um ein Rechteck mit einer hervorgehobenen kurzen Kante handeln, wobei die lange Seite des Rechtecks und hervorgehobene Merkmale dieser kurzen Kante naturgemäß die Zeigerichtung des Objekts angeben. Die Zeigerichtung des Zeigegeräts kann einer Bewegungsrichtung zugeordnet sein, mit der der Benutzer ein Ziel beim Zeigen ausrichtet. Das Zeigegerät könnte so konfiguriert sein, dass es zum Erfüllen seiner Hauptfunktion Signale aussendet, die für ein mit der Zeigerichtung ausgerichtetes Zeigeziel bestimmt sind. Die Signale können omnidirektional oder mittels gerichteter Übertragung unter Verwendung von Strahlformung übertragen werden, um ein schmales Signal in der Zeigerichtung zu senden.
  • Das Zeigegerät kann ein beliebiges Objekt sein, beispielsweise ein Smartphone, ein persönliches Benutzergerät im Allgemeinen, eine Fernbedienung, eine intelligente Fernbedienung, ein VR-Stift, eine Luftmaus, ein Pointer für Präsentationen, ein Telepointer, ein Inventurabwicklungsgerät, eine Drohne oder ein Spielzeug. Das Zeigegerät könnte eine beliebige Form, wie beispielsweise eine Scheibe, aufweisen, wobei die Zeigerichtung durch ein Pfeilsymbol auf der Oberfläche des Geräts angezeigt wird. In anderen Beispielen könnte ein beliebiger Indikator, der es einer Person erlaubt, zu bestimmen, in welche Richtung ein Gerät zeigt, als Versehen des Geräts mit einer Zeigerichtung, wie dieser Begriff hierin verwendet wird, angesehen werden.
  • Das Zeigegerät könnte ein Handgerät sein, wie beispielsweise eine Fernbedienung, eine intelligente Fernbedienung, eine Luftmaus, ein Game Controller, ein Stift, ein Mobiltelefon, ein Smartphone, ein Tablet-Gerät, ein elektronischer Autoschlüssel, eine Digitalkamera oder eine Taschenlampe und dergleichen. Das Zeigegerät könnte ein tragbares Gerät sein, wobei die Hauptzeigerichtung die Sichtlinie des Benutzers sein kann, der das tragbare Gerät, wie z. B. ein Hörergerät, ein Kopfhörergerät, drahtlose Ohrhörer oder ein Virtual/Augmented-Reality-Headset, trägt. Bei dem Zeigegerät könnte es sich um ein beliebiges anderes tragbares Gerät mit natürlicher Zeigerichtung handeln, wie z. B. eine Armbanduhr (die Zeigerichtung kann Unterarm sein) oder eine Anhängervorrichtung (die Zeigerichtung kann die Sichtlinie des Benutzers sein). Ein Zeigeziel kann eine beliebige Fläche, ein Gerät oder Objekt sein, auf das das Zeigegerät zeigen kann. Das Ziel könnte ein entferntes Zeigeziel sein. Das Zeigeziel könnte eine physische Fläche, wie eine Wand, oder eine virtuelle Fläche, ein Bildschirm, eine Anzeige usw. sein. Das Zeigeziel könnte ein entfernter Bildschirm oder eine entfernte Fläche sein. Der entfernte Bildschirm könnte ein fester Bildschirm sein, wie beispielsweise ein Heimkino-Bildschirm, ein TV-Bildschirm, ein Computermonitor, eine Fläche an einer Wand (z. B. mit einem darauf befindlichen virtuellen oder realen Objekt), eine virtuelle Fläche, eine Anordnung von LED-Leuchten, eine oberflächenmontierte Anzeige, ein digitaler Fotorahmen, eine Anordnung von Flachbildschirmen und dergleichen. Spezifische Beispiele in dieser Offenbarung verwenden einen entfernten festen Bildschirm als mögliches Zeigeziel. Die hierin beschriebenen Konzepte sind jedoch nicht auf diese spezielle Art von Zeigeziel beschränkt. Die gleichen Konzepte, die zur Erläuterung einer Interaktion zwischen einem Zeigegerät und einem Zeigeziel, das ein entfernter Bildschirm ist, zum Auf- und Abbewegen eines Cursors auf dem Bildschirm beschrieben sind, können beispielsweise gleichermaßen auf das Szenario eines Zeigegeräts anwendbar sein, das sich auf- und abbewegt, um die Lautstärke eines Zeigeziels, das ein Lautsprecher ist, zu steuern.
  • Eine Interaktion kann eine beliebige Aktion sein, die von einem beliebigen Gerät des Systems, wie z. B. dem Zeigegerät oder dem Zeigeziel, ausgeht, die ein anderes Gerät des Systems beeinflusst. Eine Interaktion könnte beispielsweise das Anzeigen eines Cursors auf einem Bildschirm an dem Schnittpunkt zwischen der Zeigerichtungslinie des Zeigegeräts und dem Bildschirm sein, wenn das Zeigeziel der Bildschirm ist. Als weiteres Beispiel könnte eine Interaktion das Auswählen eines Objekts, auf das gezeigt wird, sein, wie z. B. im Fall von Point-and-Select-Anwendungen. Andere Formen von Interaktionen sind möglich, wie Entsperren und Steuern eines entfernten Computergeräts, das mit einem Monitor oder Videoprojektor verbunden ist, Bedienen eines intelligenten Fernsehers aus der Ferne, Bedienen einer Set-Top-Box, die mit einem TV-Bildschirm verbunden ist, aus der Ferne, Anzeigen einer kontextuellen Benutzeroberfläche der intelligenten Fernbedienung basierend auf der Identifikation des Ziels (real oder virtuell), auf das gezeigt wird, Bestimmen eines zu steuernden Geräts basierend auf der Zeigerichtung des Zeigegeräts, Steuern einer Audio- oder Videowiedergabe basierend auf der Pose oder/und Ausrichtung des Zeigegeräts und dergleichen. Verschiedene Anwendungen der hierin offenbarten Systeme und Verfahren werden in der folgenden Offenbarung beschrieben. Die hierin offenbarten Systeme können das Zeigegerät selbst, das Zeigeziel selbst oder eine Kombination von Zeigegeräten und Zeigezielen umfassen. Das System könnte auch unterstützende Geräte, wie beispielsweise eine Basis oder ein Ladegerät für das Zeigegerät, und entfernte Geräte, wie beispielsweise einen Server oder eine Cloud-Architektur, in operativer Kommunikation mit diesen unterstützenden Geräten oder dem Zeigegerät beinhalten. In der gesamten Offenbarung wird auf nicht-flüchtige computerlesbare Medien Bezug genommen, auf denen Anweisungen gespeichert sind, die es den offenbarten Systemen ermöglichen, bestimmte Aktionen durchzuführen. In diesen Ausführungsformen können sich die computerlesbaren Medien alle in dem Zeigegerät befinden. Alternativ können sich die computerlesbaren Medien alle in dem Zeigeziel befinden. Alternativ können die computerlesbaren Medien über die unterstützenden Geräte, entfernten Geräte, das Zeigegerät und das Zeigeziel verteilt sein, oder sie können vollständig an den unterstützenden Geräten und/oder entfernten Geräten angeordnet sein. In bestimmten Ausführungsformen der Erfindung wird ein System bereitgestellt, das ein Zeigegerät mit mindestens zwei UWB-Antennen, die so angeordnet sind, dass sie einen AOA in einer Ebene messen, und mindestens einer IMU zum Bereitstellen physikalischer Daten beinhaltet. Der AOA und die physikalischen IMU-Daten können gemäß einer Datenfusionstechnik kombiniert werden. Das System kann außerdem mindestens eine UWB-Antenne beinhalten, die in der Nähe oder auf einem Zeigeziel, wie einem entfernten Bildschirm, angeordnet ist. Ein Vorteil von bestimmten zugehörigen Ausführungsformen der Erfindung besteht darin, dass das Zeigegerät einen dünnen Formfaktor aufweisen kann (d. h. die Ausführungsformen können die Verwendung eines dünnen Gehäuses für das Zeigegerät, gemessen in der vertikalen Richtung, erleichtern).
  • 1 veranschaulicht ein Beispiel einer 3D-Umgebung, in der ein Zeigegerät und ein Zeigeziel gemäß bestimmten Ausführungsformen der vorliegenden Erfindung verwendet werden können.
  • In dem Beispiel aus 1 liegt das Zeigegerät in Form eines tragbaren Geräts 100 vor, und das Zeigeziel liegt in Form eines entfernten Bildschirms 200 vor. Das tragbare Gerät 100 wird von einem Benutzer gehalten und kann verwendet werden, um mit dem entfernten Bildschirm 200, der in einem Wohnraum angeordnet ist, zu interagieren. Die Zeigerichtung des tragbaren Geräts 100 kann unter Verwendung geometrischer Parameter und eines Koordinatensystems bestimmt werden. Das Koordinatensystem kann mit dem tragbaren Gerät verknüpft sein. In bestimmten Ausführungsformen der Erfindung kann das Koordinatensystem auf das tragbare Gerät 100 zentriert sein. Das Koordinatensystem kann zum Beispiel verwendet werden, um die Ausrichtung des tragbaren Geräts 100 im Raum in Bezug auf den Bildschirm 200 zu bestimmen. 2 veranschaulicht ein Beispiel des Koordinatensystems in Bezug auf das tragbare Gerät und einen Auswahlkegel gemäß bestimmten Ausführungsformen der Erfindung.
  • Das Koordinatensystem kann auf einen Punkt 101 des tragbaren Geräts 100 zentriert sein, wie in 2 veranschaulicht. Der Punkt 101 könnte sich nahe der Vorderseite und seitlich zentriert in dem tragbaren Gerät befinden. Der Punkt 101 wird in der nachfolgenden Offenbarung auch als Punkt p bezeichnet.
  • Unter Bezugnahme sowohl auf 1 als auch 2 kann die Zeigerichtung des tragbaren Geräts durch einen unitären Vektor x dargestellt werden und beispielsweise eine Längsrichtung des tragbaren Geräts definieren. Die Position des Bildschirms 200 kann durch einen Punkt s definiert werden, der in 1 als Punkt 201 bezeichnet wird. In bestimmten Ausführungsformen der Erfindung ist der Punkt s ein interessierender Punkt 201 des Zeigeziels oder der Fläche. Wenn die Fläche ein TV-Bildschirm ist, wie z. B. der Bildschirm 200, könnte der interessierende Punkt 201 die Mitte des Bildschirms 200 sein. Alternativ könnte der interessierende Punkt 201 an einer beliebigen anderen Position auf dem Bildschirm liegen oder anderweitig mit dem Zeigeziel assoziiert sein.
  • In bestimmten Ausführungsformen der Erfindung kann die Richtung von dem Bildschirm 200 zu dem tragbaren Gerät 100 aus der folgenden Gleichung hergeleitet werden: u = s p l
    Figure DE112021000822T5_0001
    • wobei:
      • p die dreidimensionalen kartesischen Koordinaten des Punkts 101 sind; und
      • s die dreidimensionalen kartesischen Koordinaten des Punkts 201 sind;
      • ℓ = ||s - p|| der Abstand zwischen s und p ist; und u der unitäre Vektor ist, der parallel zu der Linie, die an dem Punkt 101 und dem interessierenden Punkt 201 vorbeigeht, und mit einer Richtung von Punkt 101 zu Punkt 201 verläuft.
  • Gemäß bestimmten Ausführungsformen der Erfindung wird der Standort des tragbaren Geräts durch den Abstand ℓ zwischen den Punkten 101 und 201 und dem unitären Vektor u gemessen. Der zwischen Vektor x und Vektor u gebildete Winkel α kann den Zeigewinkel des tragbaren Geräts 100 in Bezug auf den Bildschirm 200 bestimmen.
  • In Vektorschreibweise: cos  α = .  u
    Figure DE112021000822T5_0002
  • In Matrixschreibweise: cos  α = x T u
    Figure DE112021000822T5_0003
  • Dementsprechend ist, in bestimmten Ausführungsformen der Erfindung, wenn das tragbare Gerät 100 genau auf die Mitte des festen Bildschirms 200 zeigt, der Winkel α null. Mit anderen Worten sind der Vektor x und der Vektor u die gleichen.
  • In dem vorstehend beschriebenen Beispiel könnte die Zeigerichtung des tragbaren Geräts 100 auf eine einzelne Linie beschränkt sein. Dies ist eine begrenzte Art und Weise, um zu beurteilen,
    dass das tragbare Gerät 100 genau auf den interessierenden Punkt 201 des Bildschirms 200 zeigt. Weiter mit Bezug auf 2 kann ein Zeigekegel 103 verwendet werden, um eine Bedingung der Interaktion mit dem Zeigeziel zu bestimmen. Die Interaktion könnte beispielsweise die Auswahl oder Steuerung einer Oberfläche oder eines Objekts sein, wenn das tragbare Gerät in Richtung des interessierenden Punkts 201 zeigt.
  • Der Zeigekegel in dem Beispiel aus 2 hat eine Basis, die sich an Punkt 101 (auch als Punkt p bezeichnet) befindet, eine durch den Vektor x definierte Ausrichtung und eine Öffnungsweite ao. Das Zentrum des Kegels kann durch die Achse 102 des Zeigegeräts definiert sein, die mit der Zeigerichtung des Zeigegeräts ausgerichtet sein kann. In bestimmten Ausführungsformen der Erfindung kann, wenn sich der interessierende Punkt 201 des Bildschirms 200 aus 1 innerhalb des Zeigekegels 103 befindet, das Zeigegerät als auf den Bildschirm 200 zeigend angesehen werden. Mit anderen Worten ist, für einen beliebigen Winkel α, der kleiner als der Winkel ao, die Bedingung der Interaktion erfüllt. Beispielsweise könnte das tragbare Gerät 100 in einer Point-and-select-Anwendung mit dem Bildschirm interagieren, wenn der Winkel α kleiner als der Winkel α0 ist.
  • In bestimmten Ausführungsformen der Erfindung kann der Öffnungswinkel α0 ein Schwellenwinkel sein, und das Zeigegerät kann ein Zeigeziel basierend auf dem Zeigewinkel α und dem Schwellenwinkel identifizieren, wenn der Zeigewinkel kleiner als der Schwellenwinkel ist. Der Schwellenwinkel α0 kann dem System bekannt sein. Beispielsweise kann der Wert des Schwellenwinkels in einem Speicher des Systems abgelegt sein. Der Wert des Schwellenwinkels kann in Anweisungen eingebettet sein, die in einem computerlesbaren Medium des Systems zur Berechnung geometrischer Parameter gespeichert sind. Der Schwellenwinkel kann eine Toleranz des Systems sein. Der Schwellenwinkel kann vom Systemhersteller festgelegt werden oder vom Benutzer je nach Benutzerpräferenzen und Toleranz entsprechend der Anwendung eingestellt werden. Der Schwellenwinkel kann einer Fläche auf dem Zeigeziel, beispielsweise einer Kreisfläche, wie der Basis des Kegels 103, zugeordnet sein, sodass, wenn sich das Zeigegerät näher an dem Zeigeziel befindet, der Winkel breiter ist.
  • In bestimmten Ausführungsformen der Erfindung sind sowohl die Ausrichtung als auch die Position des tragbaren Geräts 100 in Bezug auf den Bildschirm 200 wichtig, um zu bestimmen, ob eine Bedingung einer Interaktion erfüllt ist.
  • Die Pose des Zeigegeräts 100 kann als die Kombination seiner Positionskoordinaten und seiner Ausrichtungskoordinaten in dem Raum definiert werden. Jede Koordinate (entweder hinsichtlich Position oder hinsichtlich Ausrichtung) kann durch drei zu bestimmende Variablen in einem dreidimensionalen Raum dargestellt werden. Die Pose des Zeigegeräts 100 in dem dreidimensionalen Raum kann daher mit sechs Variablen definiert werden. In einer Situation, in der mindestens eine fehlende Koordinate (entweder hinsichtlich Position oder hinsichtlich Ausrichtung) vorliegt, kann es zu einer Uneindeutigkeit der Pose kommen.
  • 3 veranschaulicht ein System gemäß bestimmten Ausführungsformen der Erfindung. Bei dem System kann es sich um ein UWB-System handeln, beispielsweise ein UWB-Sensorsystem. Wie in 3 veranschaulicht, kann das System eine Dualantennenstation 310 beinhalten, die mit einem Chipsatz (oder mehreren) zur Verarbeitung von elektromagnetischen UWB-Signalen ausgestattet sein kann, die von zwei Antennen R1 bzw. R2 empfangen werden. Die Antennen R1 und R2 sind in einem Abstand d voneinander beabstandet.
  • Die Dualantennenstation kann, je nach der von ihr im System ausgeübten funktionellen Rolle, auch als AOA-System, als UWB-Tag oder als UWB-Knoten bezeichnet werden. Wie nachfolgend noch näher beschrieben wird, kann die Dualantennenstation in einem System gemäß bestimmten Ausführungsformen der Erfindung an dem Zeigeobjekt angebracht oder in diesem oder in dessen Nähe angeordnet sein oder anderweitig damit assoziiert sein.
  • Wie in 3 ebenfalls veranschaulicht, kann das UWB-Sensorsystem eine Einzelantennenstation 320 beinhalten, die mit einem Chipsatz zum Erzeugen eines elektromagnetischen UWB-Signals zur Übertragung durch eine Antenne T ausgestattet ist. Wie nachstehend näher beschrieben wird, kann die Einzelantennenstation in einem System gemäß bestimmten Ausführungsformen der Erfindung an einem Zeigeziel, wie beispielsweise einem entfernten Bildschirm, angebracht oder in diesem oder in dessen Nähe angeordnet sein oder anderweitig damit assoziiert sein. Die Antenne kann beispielsweise in der Elektronikplatine eines TV-Bildschirms eingebettet sein.
  • In einem System, wie es in 3 veranschaulicht ist, kann eine Messung eines Einstrahlwinkels (AOA) durchgeführt werden. Eine erste Lokalisierungstechnik, bekannt als Time Difference of Arrival (TDoA), kann verwendet werden, um eine AOA herzuleiten. Die von der Einzelantennenstation 320 über ihre Antenne T ausgesendeten elektromagnetischen Ultra-Breitband-Wellen können von jeder Antenne R1 und R2 der Dualantennenstation 310 zu einem jeweiligen Zeitpunkt t1 bzw. t2 in direkter Sichtlinie empfangen werden. Die mit der Lichtgeschwindigkeit multiplizierte Zeitdifferenz liefert einen Abstand zwischen der Einzelantennenstation (Antenne T) und jeder der Antennen (R1 und R2) der Dualantennenstation. Die gleiche AOA-Messung könnte mit einem System mit mehr Antennen auf einer der beiden Seiten durchgeführt werden. Beispielsweise könnte die Dualantennenstation und/oder die Einzelantennenstation durch ein Antennenarray ersetzt werden.
  • Alternativ kann eine entfernungsbasierte Lokalisierung in zwei Schritten mit einem Time-of-Arrival(TOA)-Ansatz erreicht werden. Ein erster Schritt könnte Entfernungsmessungen basierend auf TOA-Schätzungen beinhalten. Die TOA des Signals kann kohärent durch Korrelation des empfangenen Signals mit einer Vorlage, oder nicht-kohärent durch Detektieren des Zeitpunkts, zu dem die empfangene Signalenergie eine Schwelle überschreitet, geschätzt werden. Die geschätzte TOA kann in relative oder absolute Bereiche umgerechnet werden. Beispielsweise kann die Position der sendenden Antenne (T) mit einer iterativen Berechnung durch Minimierung einer Fehlerfunktion bestimmt werden.
  • Eine andere Technik, die als Two Way Ranging (TWR) bekannt ist, verwendet die Übertragung von anderen Nachrichten über elektromagnetische Ultra-Breitband-Wellen. Dies ist eine Möglichkeit, mehrere von den verschiedenen Stationen gemessene Ankunftszeiten in eine Time-of-Flight-Messung umzuwandeln.
  • In bestimmten Ausführungsformen der Erfindung umfasst das Zeigegerät einen Satz von Antennen und eine inertiale Messeinheit (IMU) (z. B. IMU 400 in 4). In alternativen Ausführungsformen kann die IMU ersetzt oder in Kombination mit einem oder mehreren von einem Beschleunigungssensor, einem Schwerkraftsensor und einem Magnetometer verwendet werden. Ein Beispiel für die Konfiguration von Antennen des Zeigegeräts gemäß bestimmten Ausführungsformen der Erfindung lässt sich mit Bezug auf 4 erläutern, die eine zweidimensionale Darstellung in der Ebene darstellt, die durch den Punkt 101 des tragbaren Geräts und parallel sowohl zu Vektor u als auch Vektor x verläuft. In dem Beispiel aus 4 umfasst das tragbare Gerät eine vordere Antenne 104 und eine hintere Antenne 105, die zum Empfangen und/oder Aussenden von Signalen, wie etwa UWB-Funksignalen, konfiguriert sind. Diese Antennen in dem Beispiel aus 4 sind im Wesentlichen mit der durch Vektor x definierten Zeigerichtung ausgerichtet. Die Antennen können dahingehend mit der Zeigerichtung ausgerichtet werden, dass eine Linie, die eine Mitte der ersten Antenne mit einer Mitte der zweiten Antenne verbindet, parallel zu der Zeigerichtung ist. Die Antennen können so angeordnet sein, dass sich der Punkt 101, der mit Bezug auf 2 eingeführt wurde, in der Mitte der Antenne 104 und der Antenne 105 befindet.
  • Wie in 4 veranschaulicht, sind die beiden Antennen auch ungefähr in der gleichen horizontalen Ebene des Zeigegeräts angeordnet. Auf diese Weise kann die Dicke des Zeigegeräts in vertikaler Richtung minimiert werden. Die Anordnung der Antennen in der gleichen Ebene kann jedoch zu Uneindeutigkeiten hinsichtlich der durch das Positionsbestimmungssystem bestimmten Zeigerichtung des Zeigegeräts führen. Eine Verwendung einiger der hierin offenbarten Ansätze, wie z. B. bestimmte Kalibrierverfahren, die Nutzung zusätzlicher Antennen oder Antennenarrays und/oder die Einbeziehung zusätzlicher physikalischer Daten, wie beispielsweise solche, die von einer IMU oder einem Magnetometer gemessen werden, kann diese Uneindeutigkeiten jedoch auflösen.
  • Diese spezielle Ausgestaltung von Antennen ermöglicht in bestimmten Ausführungsformen der Erfindung eine größere Toleranz gegenüber einer Uneindeutigkeit hinsichtlich der Position oder/und Ausrichtung des Zeigegeräts für bestimmte Interaktionen, wie beispielsweise „Point-and-Control“- oder „Point-and-Select“-Interaktionen. In bestimmten Ausführungsformen der Erfindung ermöglicht die spezielle Konfiguration des Zeigegeräts zur Messung des Winkels α eine Bestimmung der Interaktionsbedingung, ohne dass eine vollständige Auflösung aller Variablen erforderlich wäre, die ansonsten zur Bestimmung sowohl der Pose als auch des Standorts des tragbaren Geräts erforderlich wären. Beispielsweise könnte die besondere Konfiguration von Antennen die Bestimmung geometrischer Parameter mit Techniken wie beispielsweise einem Einstrahlwinkel ermöglichen, um den Winkel α zu bestimmen und somit eine Interaktionsbedingung zu bestimmen.
  • In bestimmten Ausführungsformen der Erfindung kann das System ein Ultra-Breitband(UWB)-Sensorsystem sein. Ultra-Breitband (UWB) ist eine Kurzstreckenfunktechnologie, die zur Innenraumpositionsbestimmung eingesetzt werden kann. Die vergrößerte Spektrumbandbreite von UWB-Technologien erlaubt eine sehr gute Auflösung des Signalankunftszeitpunkts. Diese sehr gute zeitliche Auflösung erlaubt eine sehr gute Time-of-Flight(TOF)-Schätzung und, nach heutigem Stand, eine Entfernungsschätzung mit Fehlern, die, im Gegensatz zu Bluetooth Low Energie und WLAN, auf wenige Zentimeter begrenzt sind. Anders formuliert, kann die Positionsbestimmung mit einer Laufzeitmethodik (TOF) anstelle der Messung von Signalstärken (Receive Signal Strength Indicator oder RSSI) erfolgen. Obwohl in bestimmten Ausführungsformen der Erfindung ein UWB-Sensorsystem offenbart ist, ist die Erfindung auf andere Systeme und Funktechnologien anwendbar.
  • UWB-Funksignale weisen typischerweise eine Teilbandbreite von mehr als 20 % oder eine absolute Bandbreite von mehr als 500 MHz auf. Aufgrund der extrem kurzen Impulsdauer kann UWB eine vielversprechende Technologie für energiesparende und präzise Entfernungsbestimmungs- und Positionierungsanwendungen in Innenraumumgebungen sein. Dies könnte eine effiziente Nutzung von knapper Funkbandbreite ermöglichen und gleichzeitig eine drahtlose Konnektivität mit einem Personal-Area-Network (PAN) mit hoher Datenrate sowie Anwendungen und Radar- und Bildgebungssysteme mit größerer Reichweite und niedriger Datenrate ermöglichen.
  • UWB wurde herkömmlich als Impulsfunk akzeptiert, jedoch definieren FCC und ITU-R UWB mittlerweile als eine Übertragung von einer Antenne, bei der die Bandbreite des ausgesendeten Signals das kleinere von 500 MHz oder 20 % der Mittenfrequenz übersteigt. So können impulsbasierte Systeme, bei denen jeder ausgesendete Impuls direkt die UWB-Bandbreite oder eine Aggregation von mindestens 500 MHz schmalbandiger Träger belegt, beispielsweise wie bei OFDM (Orthogonal Frequency-Division Multiplexing), nach diesen Regeln Zugang zum UWB-Spektrum erhalten. Impulswiederholraten können entweder niedrig oder sehr hoch sein. Impulsbasierte Radare und Bildgebungssysteme neigen dazu, niedrige Wiederholraten, typischerweise im Bereich von 1 bis 100 Megaimpulsen pro Sekunde, zu verwenden. Andererseits favorisieren Kommunikationssysteme hohe Wiederholraten, typischerweise im Bereich von 1 bis 2 Gigaimpulsen pro Sekunde, wodurch Gigabit-pro-Sekunde-Kommunikationssysteme mit kurzer Reichweite ermöglicht werden. Jeder Impuls in einem impulsbasierten UWB-System kann die gesamte UWB-Bandbreite belegen, wodurch die Vorteile der relativen Immunität gegen Mehrweg-Fading (aber nicht gegen Intersymbolstörung), im Gegensatz zu trägerbasierten Systemen, die sowohl tiefen Fadings als auch Intersymbolstörungen ausgesetzt sind, verbessert werden.
  • Ein System gemäß bestimmten Ausführungsformen der vorliegenden Erfindung kann ein tragbares System (wie ein tragbares UWB-System) beinhalten, das an dem Zeigegerät 100 angebracht oder in oder in der Nähe davon angeordnet oder anderweitig damit assoziiert ist. Das System kann auch ein festes System (wie z. B. ein festes UWB-System) beinhalten, das an dem Zeigeziel, wie dem festen Bildschirm 200, angebracht oder darin oder in dessen Nähe angeordnet oder anderweitig damit verbunden ist. In bestimmten Ausführungsformen der Erfindung kann das tragbare System mit der Dualantennenstation verbunden sein, die unter Bezugnahme auf 3 beschrieben wird, und das feste System kann mit der Einzelantennenstation verbunden sein, die unter Bezugnahme auf 3 beschrieben wird. Die Systeme sind als tragbar und fest definiert, um sie in dieser Offenbarung durchgehend zu differenzieren, wobei, gemäß bestimmten Ausführungsformen der Erfindung, das tragbare mit dem Zeigegerät verbunden ist und das feste mit dem Zeigeziel verbunden ist. Dies sollte jedoch nicht als Einschränkung der Erfindung angesehen werden. Das Zeigeziel könnte ein nicht festes Ziel sein und das Zeigegerät könnte ein nicht tragbares Gerät sein. Das Zeigeziel könnte ein nicht feststehendes Ziel sein, und das Zeigegerät könnte ein festes Gerät, beispielsweise zur Identifizierung oder Ortung von Zeigezielen, sein. Diese und andere Varianten der hierin offenbarten Systeme sind ebenfalls im Umfang der vorliegenden Erfindung enthalten.
  • Wie in 5 veranschaulicht, kann das tragbare System einen Empfänger 107 (wie z. B. einen UWB-Empfänger) umfassen, der mit den Antennen 104 und 105 verbunden ist. Die Antennen 104 und 105 können UWB-Antennen sein. Der Empfänger 107 und die Antennen 104 und 105 können der Dualantennenstation entsprechen, die unter Bezugnahme auf 3 beschrieben ist. Das tragbare System kann auch einen oder mehrere Chipsätze (nicht abgebildet) zur Verarbeitung von elektromagnetischen Signalen (wie z. B. elektromagnetische UWB-Signale) beinhalten, die von den zwei Antennen empfangen werden. In einer bestimmten Ausführungsform der Erfindung kann der Empfänger 107 ein Transceiver oder ein Sender sein. Das tragbare System kann auch ein computerlesbares Medium beinhalten, auf dem Anweisungen gespeichert sind, die vom System ausgeführt werden sollen, um die beabsichtigten Funktionen auszuführen.
  • Das feste System kann einen Transceiver 203 (wie z. B. einen UWB-Transceiver) umfassen, der mit mindestens einer Antenne 202 (wie z. B. einer UWB-Antenne) verbunden ist. Der Transceiver 203 und die Antenne 202 können der Einzelantennenstation entsprechen, die unter Bezugnahme auf 3 beschrieben ist. Das feste System kann auch einen oder mehrere Chipsätze (nicht abgebildet) zum Erzeugen von elektromagnetischen Signalen (wie z. B. elektromagnetischen UWB-Signalen) beinhalten, die von der Antenne 202 gesendet werden sollen. In einer bestimmten Ausführungsform der Erfindung kann der Transceiver 203 ein Empfänger oder ein Sender sein. Das feste System kann auch ein computerlesbares Medium beinhalten, auf dem Anweisungen gespeichert sind, die vom System ausgeführt werden sollen, um die beabsichtigten Funktionen auszuführen.
  • In bestimmten Ausführungsformen der Erfindung stellt ein Winkel β einen Einstrahlwinkel dar, bei dem es sich um den Winkel zwischen der Richtung des einfallenden elektromagnetischen Signals, das von dem festen System ausgesendet wird, und der Ebene aller Punkte, die im gleichen Abstand zwischen den Antennen 104 und 105 angeordnet sind, handeln kann. Der Einstrahlwinkel β ist in den Darstellungen in der zweidimensionalen Ebene dargestellt, die durch den Punkt 101 des tragbaren Geräts und parallel sowohl zu Vektor u als auch Vektor x verläuft. Der Winkel α kann aus dem Messwert des Einstrahlwinkels β mit der folgenden Formel abgeleitet werden: α = π 2 β
    Figure DE112021000822T5_0004
  • Es ist möglich, eine äquivalente Einstrahlwinkelmessung mit einem System durchzuführen, das mehr Antennen auf einer der beiden Seiten aufweist. Beispielsweise könnten die Antennen des Zeigegeräts (oder tragbaren Geräts) und/oder die Antenne des Zeigeziels (oder der festen Fläche) durch ein Antennenarray ersetzt werden. Im Falle eines Antennenarrays könnte, auf dem Empfänger 107, der Punkt 101 als der Schwerpunkt des von den Antennen in dem Zeigegerät 100 erzeugten Felds definiert werden. In ähnlicher Weise könnte, auf dem Transceiver 203, der Punkt 201 als der Schwerpunkt des Felds definiert werden, das von den Antennen an dem Zeigeziel, wie z. B. dem festen Bildschirm 200, erzeugt wird.
  • 6 veranschaulicht die Beziehung zwischen dem Einstrahlwinkel (AOA), der Zeigerichtung und der Position des Zeigegeräts. 6 veranschaulicht eine einfallende Wellenfront unter Annahme eines Fernfelds, wobei der Abstand d zwischen beiden Antennen 104 und 105 im Vergleich zum Abstand zwischen dem Zeigegerät 100 und dem Zeigeziel 200 vernachlässigbar sein kann. Die Richtung des von dem festen System ausgesendeten einfallenden elektromagnetischen Signals ist durch den Pfeil 211 dargestellt. In dieser Situation kann eine von dem Transceiver 203 über die Antenne 202 ausgesendete elektromagnetische Welle als eine einfallende Wellenfront von dem Empfänger 107 über die Antennen 104 und 105 empfangen werden.
  • Anschließend kann ein Maß für die Phasendifferenz zwischen den Antennen 104 und 105 verwendet werden, um das Maß für den Einstrahlwinkel abzuleiten, wenn die zwei Antennen entlang der Zeigerichtung des Zeigegeräts angeordnet sind: ψ 2 ψ 1 = 2 π d λ cos  α ± 2 k π
    Figure DE112021000822T5_0005
    • wobei:
      • k eine ganze Zahl ist;
      • ψ1 das Maß der Phase einer bestimmten elektromagnetischen Welle an der Antenne 104 ist, nicht zu verwechseln mit φ (Kleinschreibung), das einen Winkel darstellt; und
      • ψ2 das Maß der Phase der gleichen bestimmten elektromagnetischen Welle an der Antenne 105 ist.
  • Eine Berechnung ergibt: cos  α = λ 2 π d ( ψ 2 ψ 1 )   m o d u l o   2 π
    Figure DE112021000822T5_0006
  • In bestimmten Ausführungsformen der Erfindung ist es, durch Anordnen der Antennen in dem Zeigegerät in Ausrichtung mit der Zeigerichtung des Geräts, möglich, eine Interaktionsbedingung, zum Beispiel, ob das Gerät auf ein bestimmtes Ziel zeigt oder nicht, durch Bestimmen der geometrischen Parameter, wie z. B. Winkel α und/oder β, anstatt eines vollständigen Koordinatensatzes zu bestimmen. Dieser Ansatz kann sich von anderen unterscheiden, bei denen die Antennen beispielsweise nebeneinander auf einer Achse senkrecht zur Zeigerichtung angeordnet sind, wobei es womöglich keine Phasendifferenz zwischen den Antennen geben kann, wenn das Zeigegerät geneigt wird, was die Hinzufügung einer dritten Antenne in einer anderen Ebene zum Vervollständigen der Messungen oder eine andere Lösung zum Bestimmen eines Zeigewinkels oder einer Zeigerichtung des Geräts erfordert.
  • In bestimmten Ausführungsformen der Erfindung ist es möglich, ein System, wie das unter Bezugnahme auf 5 und 6 beschriebene, zu verwenden, um die Differenz zwischen der Phase eines Signals zu bestimmen, wie es von jeder Antenne in dem Zeigegerät, wie z. B. den Antennen 104 und 105, empfangen wird. Diese Phasendifferenz könnte verwendet werden, um einen interessierenden Winkel, wie z. B. Winkel α und/oder β zu bestimmen. Die Winkel könnten eine Zeigerichtung des Zeigegerätes angeben und/oder bei der Identifizierung von Zeigezielen, interessierenden Punkten oder anderweitig zum Einstellen einer Interaktion zwischen Geräten verwendet werden. In bestimmten Ausführungsformen der Erfindung kann das System ein Zeigeziel des Zeigegeräts anhand eines Vergleichs eines Signals bestimmen, das von einer mit dem Zeigeziel assoziierten Quelle aus empfangen wird. Das System kann computerlesbare Medien beinhalten, auf denen Anweisungen gespeichert sind, die das System veranlassen, die oben genannten Bestimmungen auszuführen. Das System könnte auch Phasendetektionsschaltungen und Hardware zur Verarbeitung des empfangenen Signals beinhalten, um die zum Fortfahren mit den Einstrahlwinkelberechnungen erforderlichen Daten zu erhalten.
  • 7A veranschaulicht ein Beispiel des sphärischen Koordinatensystems und des kartesischen Koordinatensystems des Zeigegeräts. 7A veranschaulicht einen Azimutwinkel φ (nicht zu verwechseln mit dem Phasenwert, der zuvor eingeführt wurde und von den Antennen empfangen wird) und einen Höhenwinkel θ.
  • Der Zeigewinkel α kann als Kombination aus dem Azimutwinkel φ und dem Höhenwinkel θ angesehen werden. In einem nicht sphärischen/Polarkoordinatensystem, das auf das Zeigegerät 100 zentriert ist, kann es möglich sein, ein kartesisches Koordinatensystem zu definieren, das durch drei Achsen x, y und z gebildet und auf Punkt 101 zentriert ist:
    • - die x-Achse könnte der Längsachse des Zeigegeräts entsprechen;
    • - die y-Achse könnte einer Querachse des Zeigegeräts entsprechen, und
    • - die z-Achse könnte einer Vertikalachse des Zeigegeräts entsprechen, in dem Sinne, dass diese Achse der oberen Richtung in Bezug auf das Zeigegerät (und nicht die Erde) entsprechen könnte.
  • Diese Achsen können in bestimmten Ausführungsformen der Erfindung auf das tragbare Gerät p zentriert und mit inertialen Messeinheiten (IMUs) verbunden sein, die beispielsweise Gyroskope zum Messen einer Winkelgeschwindigkeit beinhalten.
  • 7B veranschaulicht die Gierungs-, Längsneigungs- und Querneigungswinkel, die den drei oben eingeführten Achsen x, y und z zugeordnet sein können. Der Querneigungswinkel kann einer Drehung um die x-Längsachse des Zeigegeräts entsprechen. Der Längsneigungswinkel kann einer Drehung um die y-Querachse des tragbaren Geräts entsprechen. Der Gierungswinkel kann einer Drehung um die z-Vertikalachse des tragbaren Gerätes entsprechen.
  • 8A veranschaulicht ein Koordinatensystem, das verwendet werden kann, um die Definitionen, die für ein Modell verwendet werden, das die Leistung und das Verhalten eines Zeigegeräts anhand von Roh-UWB-Messungen vorhersagt, zu erläutern.
  • In dem Beispiel aus 8A kann ein Referenzrahmen definiert werden mit:
    • • der Koordinate ps = [0 0 0]T als eine Zeigeziel-Referenzposition, wie z. B. eine Bildschirm-Tag-Position,
    • • dem Vektor ns = [1 0 0]T als den Normalenvektor zu dem Zeigeziel, wie z. B. der Bildschirmfläche,
    • • dem Vektor z = [0 0 1]T, der unter Befolgen der Rechte-Hand-Regel aus x und y abgeleitet wird,
  • Darüber hinaus gilt:
    • • pr ist die Position des Zeigegeräts,
    • • nr ist die Zeigerichtung des Zeigegeräts.
  • Der Projektionspunkt pp des Zeigegeräts auf dem Zeigeziel, der beispielsweise den Ort eines Cursors auf einem Bildschirm darstellen kann, wenn der Bildschirm das Zeigeziel ist, kann durch folgende Formel bestimmt werden: p p = p r + d n r ,
    Figure DE112021000822T5_0007
    mit d = n s T p r n s T n r .
    Figure DE112021000822T5_0008
  • 8B veranschaulicht ein Polarkoordinatensystem, das auf das Zeigegerät zentriert ist. Das in 8B veranschaulichte Polarkoordinatensystem kann verwendet werden, um die Position des Zeigeziels, wie beispielsweise ein Bildschirm, in einem Koordinatensystem darzustellen, das beispielsweise auf einen entfernten Körperrahmen des Zeigegeräts zentriert ist. Dieser Körperrahmen kann hinsichtlich seiner mechanischen Struktur fixiert sein. Der Übersichtlichkeit halber wurden alle in diesem Rahmen berücksichtigten Koordinaten mit (rb) als obere Indizes dargestellt.
  • In diesem Rahmen kann x(rb) der Zeigerichtung des Zeigegeräts zugeordnet sein, und die Ebene, die x(rb) und y(rb) enthält, kann der PCB-Ebene des Zeigegeräts zugeordnet sein, wobei φ(rb) und θ(rb) jeweils der Azimut und die Erhebung des interessierenden Punkts, beispielsweise des TV-Bildschirms in den in dieser Offenbarung angegebenen spezifischen Beispielen, sind.
  • Die Pose des tragbaren Geräts 100 kann eine Kombination aus dessen Positionskoordinaten und dessen Ausrichtungskoordinaten in einem dreidimensionalen Raum sein. Jede Position oder Ausrichtung kann mit drei Variablen dargestellt werden. Die Pose des tragbaren Geräts 100 im dreidimensionalen Raum kann daher über sechs Variablen definiert werden. Wie bereits erläutert, kann es in einer Situation, in der mindestens eine fehlende Koordinate vorliegt, zu einer Uneindeutigkeit kommen. Bei der Uneindeutigkeit kann es sich um eine Situation handeln, in der es mindestens eine fehlende Koordinate (entweder hinsichtlich Position oder hinsichtlich Ausrichtung) des Zeigegeräts 100 gibt.
  • In bestimmten Ausführungsformen der Erfindung kann, für Variablen im Zusammenhang mit der Ausrichtung des Zeigegeräts 100, bestimmt werden, ob sich das tragbare Gerät nach links oder nach rechts bewegt (über das Maß des Azimutwinkels φ), und nach oben oder unten (über das Maß des Höhenwinkels θ).
  • In bestimmten Ausführungsformen der Erfindung ist es nicht erforderlich, einen genauen Wert des Zeigewinkels zu bestimmen. Beispielsweise würde bei bestimmten Anwendungen, bei denen die Bedingung zur Interaktion erfüllt ist, wenn der absolute Zeigewinkel kleiner als ein Schwellenwert ist, unabhängig davon, wo genau der Benutzer in der Nähe des interessierenden Punkts hingezeigt, nur der Absolutwert des Zeigewinkels ausreichen, um die Interaktionsbedingung zu bestimmen.
  • In bestimmten Ausführungsformen der Erfindung kann es erwünscht sein, eine genauere Information über die Position und die Zeigerichtung des Zeigegeräts zu erhalten. In bestimmten Ausführungsformen der Erfindung kann es erwünscht sein, nicht nur eine Interaktionsbedingung zu bestimmen, sondern auch die genaue Position des Zeigegeräts in Bezug auf das Zeigeziel ohne Uneindeutigkeit zu bestimmen. In bestimmten Ausführungsformen der Erfindung könnte die genaue Zeigerichtung durch eine Kombination aus der oben beschriebenen Antennenkonfiguration, bestimmten Kalibrierungsvorgängen und zusätzlichen Messungen bestimmt werden. In bestimmten Ausführungsformen der Erfindung können zusätzliche Antennen, Sensoren und die Berechnung zusätzlicher geometrischer Parameter zu einer höheren Genauigkeit der Messungen beitragen. So könnten beispielsweise zusätzliche Sendeantennen, die mit dem Zeigeziel assoziiert sind, verwendet werden, um zweite, dritte oder weitere Winkel zu bestimmen, um dadurch einen zunehmenden Grad an Informationen über die genaue Zeigerichtung des Zeigegeräts zu erhalten. Als ein weiteres Beispiel könnten zusätzliche Empfangsantennen, die mit dem Zeigegerät assoziiert sind, verwendet werden, um zusätzliche Winkel zu bestimmen, um dadurch einen zunehmenden Grad an Informationen über die genaue Zeigerichtung des Zeigegeräts zu erhalten. Als weiteres Beispiel könnte eine Sensorfusion mit anderen Sensoren wie Magnetometern, Gyroskopen und IMUs verwendet werden, um die genaue Zeigerichtung der des Zeigegeräts zu bestimmen. Diese drei Ansatzklassen könnten auch in Kombination zur verwendet werden, um die Genauigkeit des Systems zu erhöhen.
  • Wie zuvor erläutert, kann das Zeigegerät mindestens zwei UWB-Antennen, wie beispielsweise ein Array von UWB-Antennen oder ein Paar von UWB-Antennen, beinhalten oder daran angebracht sein. Die Antennen können so konfiguriert sein, dass sie die vertikale Dicke des Zeigegeräts mit den UWB-Antennen minimieren. Beispielsweise können die UWB-Antennen ungefähr in einer horizontalen Ebene des Zeigegeräts angeordnet sein. In bestimmten Ausführungsformen können das Zeigegerät und/oder das Zeigeziel zusätzliche Antennen umfassen, um Uneindeutigkeiten der Zeigerichtung aufzulösen oder die Genauigkeit der Zeigerichtungsbestimmung zu erhöhen.
  • 9A veranschaulicht ein Beispiel eines Systems, das ein Zeigegerät 100 und ein Zeigeziel in Form eines TV-Bildschirms 200, der mindestens eine eingebettete Bake 901 beinhaltet, umfasst.
  • Bei der Bake kann es sich um eine UWB-Bake handeln. Beispielsweise könnte die UWB-Bake eine Einzel- oder Dualantennenstation sein. Die UWB-Bake könnte auch als ein UWB-Tag oder als ein UWB-Knoten bezeichnet werden. Eine Einzelantennenstation könnte verwendet werden, um Abstandsinformationen mit einer Time-of-Flight-Erkennung zu messen. Eine Dualantennenstation könnte verwendet werden, um Informationen über Abstand und Einstrahlwinkel (AOA) zu messen.
  • 9B veranschaulicht ein Beispiel eines Systems, das ein Zeigegerät 100 und ein Zeigeziel in Form eines TV-Bildschirms 200, der mindestens zwei eingebettete Baken 902 und 903 beinhaltet, umfasst. Bei den Baken kann es sich um eine UWB-Bake handeln. Jede Bake kann von der anderen in horizontaler Richtung beabstandet sein. Zum Beispiel könnte jede UWB-Bake links und rechts an dem TV-Bildschirm positioniert sein, wie in dem Beispiel aus 9B veranschaulicht. Gemäß einer bestimmten Ausführungsform können die UWB-Baken auf der Oberseite des TV-Bildschirms angeordnet sein, um die Wahrscheinlichkeit zu erhöhen, mit dem Telepointer eine direkte Sichtlinie zu haben. Innerhalb des Umfangs der vorliegenden Offenbarung sind jedoch andere Konfigurationen zum Anordnen der Baken möglich. Es versteht sich, dass dies auf eine beliebige andere Form von Zeigeziel angewendet werden könnte und nicht auf einen bestimmten TV-Bildschirm beschränkt ist.
  • In bestimmten Ausführungsformen der Erfindung können die Einstrahlwinkelinformationen, obgleich sie in Echtzeit sind und häufig aktualisiert werden, einem Jitterrauschen unterliegen. In diesen Ausführungsformen könnte die Verwendung der Einstrahlwinkelinformationen zum Schätzen der Zeigerichtung des tragbaren Geräts beispielsweise dazu führen, dass ein Cursor auf dem Bildschirm „springt“. Wenn die AOA- oder andere Informationen verwendet werden, um die Zeigerichtung durch Integrieren der Winkelgeschwindigkeit zu verfolgen, unterliegt die Ausrichtungsschätzung einer langsamen zeitlichen Drift. Bei einer Drift von beispielsweise 0,1 °/s kann das System nach 10 Minuten einen Fehler von etwa 60° akkumuliert haben.
  • In bestimmten Ausführungsformen der Erfindung kann die Ausrichtungsschätzung durch Integrieren der Winkelgeschwindigkeit einer langsamen zeitlichen Drift unterliegen. Dieser Driftfehler kann für Systeme, die lediglich auf „relativer“ Positionsbestimmung beruhen, wie z. B. ein Luftstift für ein Spielsystem, akzeptabel sein. Unter relativer Positionsbestimmung ist zu verstehen, dass sich der Cursor nach links bewegen muss, wenn der Benutzer das Gerät nach links ausrichtet, und nach rechts, wenn der Benutzer das Gerät nach rechts ausrichtet. Der Driftfehler kann auch bei einem mit einer Taste ausgestatteten tragbaren Luftmaus-Gerät akzeptabel sein. Möchte ein Benutzer beispielsweise weiter in eine Richtung gehen, aber sein Handgelenk ist bereits vollständig in diese bestimmte Richtung ausgerichtet, kann eine Taste gedrückt (oder losgelassen) werden, um das Luftmaus-System für die Zeit anzuhalten, die benötigt wird, um den Arm des Benutzers in eine zentralere Position und Ausrichtung zu bringen. Auf diese Weise kann der Benutzer seinen Arm wieder so bewegen, wie er es wünscht. Dieses „Anhalte“-System kommt dem Effekt des Hochhebens einer herkömmlichen Rollmaus-Steuerung über den Schreibtisch, um sie an einer zentraleren Position auf dem Schreibtisch wieder abzusetzen, gleich. In diesen Fällen kann es dazu kommen, dass keine genaue Zuordnung zwischen der räumlichen Konfiguration des Systems und der Cursorprojektion auf dem Bildschirm vorliegt, da die Zuordnung jedes Mal verschoben werden kann, wenn das Luftmaus-System angehalten wird.
  • In bestimmten Ausführungsformen der Erfindung kann das Zeigegerät einen Unsicherheitsbereich abschätzen und diese Daten zusammen mit der Schätzung der Mittenkoordinaten der Zeigerichtung übertragen. Dieser Unsicherheitsbereich kann von dem System somit zum Beispiel dazu verwendet werden, eine andere Form eines Symbols (z. B. einen Kreis anstelle eines Punkts) anzuzeigen oder Steueraktionen (z. B. Auswahl virtueller Objekte) basierend auf einer virtuellen Umhüllung, die durch die Mitte und den Unsicherheitsbereich bestimmt wird, durchzuführen.
  • Basierend auf dem übertragenen Unsicherheitsbereich könnte eine Toleranzmarge ermittelt werden. Die Toleranzmarge könnte von dem System verwendet werden, um Steueraktionen basierend auf Wahrscheinlichkeitsregeln durchzuführen. Wenn das Zeigegerät zum Beispiel eine Fernbedienung oder eine Luftmaus wäre, die konfiguriert ist, ein auf einem Bildschirm angezeigtes Objekt auszuwählen oder damit zu interagieren, kann ein probabilistischer Ansatz verwendet werden, um zu bestimmen, ob und welches Objekt ausgewählt oder anderweitig betätigt wurde (z. B. Ziehbewegung).
  • Durch Verwenden von Sensorfusion können, in bestimmten Ausführungsformen der Erfindung, die Genauigkeit der Zeigerichtungsbestimmung verbessert werden und/oder Uneindeutigkeiten bei der Bestimmung der Zeigerichtungsbestimmung aufgelöst werden. Die Sensorfusion kann ein Fusionieren von Informationen umfassen, die von Antennen an dem Gerät und von anderen Sensoren stammen.
  • In bestimmten Ausführungsformen der Erfindung kann es, durch Vergleichen der durch das Einstrahlwinkelsystem gemessenen Winkelgeschwindigkeit und Messen der gegebenen Winkelgeschwindigkeit, beispielsweise durch ein Gyroskop, möglich sein, die genaue Zeigerichtung des tragbaren Geräts 100 zu erhalten. Unter Verwendung der mit den oben beschriebenen geometrischen Berechnungen berechneten Winkeln könnte ein Winkelgeschwindigkeitsmesswert bestimmt werden. Ein zusätzlicher Winkelgeschwindigkeitsmesswert könnte mithilfe einer physikalischen Größe bestimmt werden, die von einer IMU, einem Schwerkraftsensor, einem Magnetometer oder einem anderen Sensor in dem System gemessen wird. Auf diese Weise könnten zwei oder mehr unterschiedliche Alternativen innerhalb desselben Systems verwendet werden, um entsprechende Messwerte aus verschiedenen Quellen und unter Verwendung verschiedener Techniken zu erhalten. Die unterschiedlichen Winkelgeschwindigkeitsmesswerte können dann zur genaueren Bestimmung der Zeigerichtung des Zeigegeräts verwendet werden, beispielsweise durch Fusionieren der Daten aus den unterschiedlichen Messungen, wie nachfolgend ausführlicher beschrieben.
  • Die Daten von dem System und zusätzlichen Sensoren können fusioniert werden. Das Fusionieren kann auch auf beliebige von den Antennen gemessene Daten und beliebige von den Sensoren an dem Zeigegerät gemessene physikalische Daten angewendet werden, um eine genauere Vorhersage der Zeigerichtung zu erhalten. Das Fusionieren kann eine Schätzung der Unsicherheit der von beiden Geräten ausgeführten Messungen beinhalten. Außerdem kann das Fusionieren eine beliebige lineare quadratische Schätzung beinhalten. Die Fusion kann auch eine Kalman-Filter-Pipeline verwenden.
  • Dazu kann das Zeigegerät 100, in bestimmten Ausführungsformen der Erfindung, ferner eine inertiale Messeinheit (IMU) beinhalten, die einen oder mehrere elektronische Sensoren zum Messen einer spezifischen Kraft, einer Winkelbewegungsrate (d. h. einer Winkelgeschwindigkeit) und/oder der absoluten Ausrichtung des Zeigegeräts unter Verwendung einer Kombination von Beschleunigungssensoren, Gyroskopen und gelegentlich Magnetometern umfasst. Ein Gyroskop kann Winkelgeschwindigkeitsdaten bereitstellen. Ein Magnetometer kann eine Ausrichtung gegenüber einem lokalen Magnetfeld (aus dem Erdmagnetfeld oder/und einer lokalen Magnetquelle) bereitstellen, was jedoch für manche Anwendungen nicht sehr genau sein kann. Ein Satz von Beschleunigungssensoren kann dreiachsige Beschleunigungsdaten bereitstellen. Beispielsweise können auf der Basis von Beschleunigungssensoren Ausrichtungsdaten abgeleitet werden, indem die Schwerkraft (vertikale Beschleunigung/Kraft) anhand der Beschleunigungssensordaten ermittelt wird.
  • Die Beschleunigungssensoren können einen elektrostatischen Kapazitäts-(Kapazitäts-Kopplungs)-Beschleunigungssensor, der auf der mikrobearbeiteten Silizium-MEMS(Micro-Electro-Mechanical Systems)-Technologie basiert, einen Beschleunigungssensor vom piezoelektrischen Typ, einen Beschleunigungssensor vom Piezowiderstandstyp oder einen beliebigen anderen geeigneten Beschleunigungssensor umfassen.
  • In bestimmten Ausführungsformen der Erfindung stellen die zusätzlichen IMU-Daten von dem Zeigegerät physikalische Variablen bereit, die zusammen mit den AOA-Daten von dem tragbaren/festen System integriert werden können. Beispielsweise kann das Zeigegerät die Gyroskop-Winkelgeschwindigkeit (eine Art von IMU-Daten) integrieren.
  • Eine Liste von IMU-Sensoren und die Verwendung physikalischer Variablen ist in US-Patent Nr. 10,068,463 B2 mit dem Titel „Methods for the determination and control of a piece of equipment to be controlled; device, use and system implementing these methods“ näher beschrieben, das hierin durch Bezugnahme in seiner Gesamtheit für sämtliche Zwecke aufgenommen ist.
  • Gemäß bestimmten Ausführungsformen der Erfindung können die IMU-Daten mit Einstrahlwinkeldaten fusioniert werden, um eine genaue Schätzung der Höhe des Zeigegeräts 100 zusammen mit einer Schätzung der Position des Zeigegeräts 100 auf der horizontalen Ebene bereitzustellen. Beispielsweise können Gyroskopdaten und die Einstrahlwinkeldaten mit anderen Eingaben unter Verwendung von Kalman-Filtern kombiniert werden, wie nachfolgend beschrieben wird. Dies könnte eine Kombination des Vorteils von geglätteten IMU-Sensordaten (z. B. von einem Gyroskop) zusammen mit Einstrahlwinkeldaten (keine Drift) mit Kalman-Filtern, wie nachfolgend näher erläutert, ermöglichen. Das System könnte ein computerlesbares Medium beinhalten, das Anweisungen speichert, die es dem System ermöglichen, die Winkelgeschwindigkeit unter Verwendung der geometrischen Parameter, beispielsweise den Winkeln, die mit den Einstrahlwinkeltechniken berechnet wurden, zu bestimmen. Zusätzlich kann das System Sensordaten von den hierin erwähnten Sensoren, wie Schwerkraftsensoren, Magnetometern und einer inertialen Messeinheit, erfassen und die Winkelgeschwindigkeit unter Verwendung dieser Sensordaten bestimmen. Zusätzlich kann das System gespeicherte Anweisungen zum Ausführen von Sensorfunktionen und zum Bestimmen einer globalen Zeigerichtung des Zeigegeräts unter Verwendung der von den verschiedenen Quellen in dem System bestimmten Winkelgeschwindigkeiten aufweisen.
  • In bestimmten Ausführungsformen der Erfindung kann mit dem Gyroskop in Abhängigkeit von der Hypothese über die Position und die Ausrichtung des Zeigegeräts 100 vorhergesagt werden, was mit dem Einstrahlwinkelsystem gemessen werden würde. Sind diese beiden Informationsquellen übereinstimmend, so kann die Positions- und Ausrichtungshypothese für das tragbare Gerät als richtig angesehen werden. Wenn nicht, könnte eine andere Hypothese für die Position und die Ausrichtung des tragbaren Geräts 100 in Betracht gezogen werden. Das Kalman-Filter ist eine Möglichkeit, eine solche Situation zu adressieren.
  • 10 veranschaulicht ein Beispiel eines Ablaufdiagramms zum Fusionieren von Daten von einer Vielzahl von Eingabequellen zum Schätzen der Position des Zeigegeräts 100, die die Zeigerichtung des Zeigegeräts auf ein Zeigeziel, wie beispielsweise einen festen Bildschirm, darstellen kann.
  • Die Roheingabedaten von den Sensoren können fusioniert werden, um eine Interaktion zu berechnen, wie beispielsweise eine projizierte Cursorposition auf einem festen Bildschirm. Gemäß bestimmten Ausführungsformen der Erfindung können die Roheingabedaten durch ein Softwareprogramm, dedizierte Hardware oder eine Kombination aus dedizierter Hardware und Software, die eine Kalman-Filter-Pipeline implementiert, fusioniert werden.
  • In den folgenden Abschnitten wird eine Konfiguration zum Fusionieren der Daten von einer Vielzahl von Eingabequellen zum Schätzen der Position eines Zeigegeräts, die die Zeigerichtung des Zeigegeräts auf ein Ziel, wie einen festen Bildschirm, darstellt, gemäß bestimmten Ausführungsformen der vorliegenden Erfindung beschrieben.
  • Die Kalman-Filter-Pipeline kann zum Integrieren oder Fusionieren einer Reihe unterschiedlicher Beobachtungen (die hinsichtlich ihrer Art, Dimensionalität und Konfidenz variieren) verwendet werden, um eine semioptimale Schätzung der Position und Ausrichtung eines mobilen Objekts, wie beispielsweise des Zeigegeräts 100, zu erhalten.
  • Die Kalman-Filter-Pipeline kann einen Kompromiss zwischen Vorabschätzung 1001 (in Zukunft umgesetzt durch den Vorhersageschritt 1002) und Korrektur durch Messungen (implementiert durch den Aktualisierungsschritt 1003) beinhalten.
  • Gemäß bestimmten Ausführungsformen der Erfindung kann eine Software ebenfalls eine Echtzeit-Feinabstimmung der intrinsischen Parameter der Sensoren derart, dass sie Änderungen von Kalibrierwerten folgen, ermöglichen. Sie kann Redundanzen in den von den Sensoren bereitgestellten Informationen nutzen, um Ausreißer zu verwerfen und die geschätzte Robustheit zu verstärken.
  • Ein Kalman-Filter zeichnet sich dadurch aus, dass es eine aktuelle Schätzung, aber auch die mit dieser Schätzung verbundene Unsicherheit, speichern kann, sodass bei jeder neuen Beobachtung (die mit ihren eigenen Unsicherheitsparametern daherkommen) eine genaue Anpassung des Kompromisses zwischen vorheriger Schätzung und neuen Informationsquellen während einer Aktualisierung erfolgen kann. Praktischerweise kann das Kalman-Filter diese Unsicherheit über eine Kovarianzmatrix codieren, die die Varianz in jeder Dimension auf ihrer Diagonalen, aber auch die Art und Weise, wie Dimensionen miteinander korrelieren, über ihre außerdiagonalen Parameter codiert. Auf diese Weise ist es möglich, zu bestimmen, wie eine Veränderung in einer Dimension andere beeinflussen könnte (z. B. wie eine Korrektur der Position die letzte Geschwindigkeitsschätzung beeinflussen sollte).
  • In bestimmten Ausführungsformen der Erfindung können die Antennen des tragbaren Geräts entlang der Längsachse des Zeigegeräts 100 ausgerichtet sein. Das tragbare Gerät 100, und auch die Antennen in seinem Inneren, kann in einem Gehäuse / einer Hülle eingeschlossen sein. In diesen Ausführungsformen könnte die Längsachse des Zeigegeräts mit der Zeigerichtung des Zeigegeräts ausgerichtet sein, und die Antennen könnten mit der Zeigerichtung der Antennen ausgerichtet sein, wie zuvor in dieser Offenbarung beschrieben.
  • In bestimmten Ausführungsformen der Erfindung kann das Zeigegerät ein Smartphone-Gerät sein. Es gibt mehrere Antennenkonfigurationen für ein Smartphone-Gerät gemäß bestimmten Ausführungsformen der Erfindung (die für andere Arten von Zeigegeräten verwendet werden könnten).
  • Gemäß bestimmten Ausführungsformen der Erfindung kann ein Smartphone so konfiguriert werden, dass es als Zeigegerät fungiert, indem Verfahren implementiert werden, die durch Software- und/oder Hardwarekomponenten umgesetzt werden. Unter einem Smartphone kann ein Hardware-Verbraucherelektronikgerät verstanden werden, das über die Installation von Benutzeranwendungen, beispielsweise durch Installieren von Benutzeranwendungen aus einem „App Store“, konfiguriert werden kann. Alternativ können die Funktionalitäten eines Smartphones durch vom Hersteller aus der Ferner durchgeführte Betriebssoftwareupgrades erhöht werden. In bestimmten Ausführungsformen der Erfindung kann die Smartphone-Anwendung so konfiguriert sein, dass sie Daten von einem Chip, wie z. B. UWB, verwendet, der in dem Smartphone bereits installiert ist.
  • Die Benutzeranwendung kann beispielsweise dazu verwendet werden, ein TV zu steuern, indem das Smartphone auf das TV gerichtet wird und auf dem Bildschirm des TV ein Cursor in der Richtung angezeigt wird, in die mit dem Telefon gezeigt wird. Alternativ könnte anstelle eines Anzeigens eines Cursors eine Komponente (z. B. HTML5-Komponente) auf dem TV-Bildschirm basierend auf der Zeigerichtung des Smartphones aktiviert werden.
  • In bestimmten Ausführungsformen der Erfindung können ergonomische und physiologische Überlegungen berücksichtigt werden, um eine komfortable Betrachtungserfahrung zu liefern. Ergonomische und physiologische Überlegungen können mögliche Augenbelastung, Größe des Raums, Größe des Bildschirms, Betrachtungsabstand, Auflösung usw. umfassen. Beispielsweise kann das System, in den Beispielen, in denen das System einen Bildschirm beinhaltet, für ein optimiertes Signal-Rausch-Verhältnis (SNR) für einen Betrachtungsabstand konfiguriert sein, der zwischen dem 1,5-Fachen und 2,5-Fachen der diagonalen Länge des Bildschirms liegt. Beispielsweise wäre bei einer Bildschirmdiagonale von 55 Zoll (1,4 Meter) ein Betrachtungsabstand von 2,8 m das Zweifache der Diagonale, was in der Mitte des Bereichs 1,5 bis 2,5 liegt.
  • In bestimmten Ausführungsformen der Erfindung können Uneindeutigkeiten bezüglich der Ausgangsposition der Elemente des Systems auf verschiedene Weise aufgelöst werden. Beispielsweise kann die Ausgangsposition dem System unbekannt sein. Die Position des Zeigegeräts in Bezug auf das Zeigeziel kann eine wichtige zu betrachtende Information sein. Beispielsweise könnte die Projektion eines Cursors auf einen Bildschirm von der Position des Zeigegeräts im Raum und nicht nur von der Ausrichtung des Zeigegeräts abhängen.
  • Bei einer anfänglichen AOA-Schätzung von einem UWB-Erfassungssystem könnte eine Uneindeutigkeit hinsichtlich der Position des Zeigegeräts im Raum gegeben sein. 11 veranschaulicht ein Beispiel von zwei Zeigegeräten 100a und 100b (Fernbedienungen in dieser Darstellung), die den gleichen AOA und Abstand zu einem Tag 1101 an dem Zeigeziel 200 messen können, jedoch unterschiedliche Positionen aufweisen. Dies kann deshalb problematisch sein, weil sich diese zwei unterschiedlichen Positionen in zwei unterschiedliche Projektionspunkte auf dem Bildschirm p1 und p2 übersetzen ließen. Es könnte daher wichtig sein, die Fernbedienungsposition so zu berücksichtigen, um eine gute Vorstellung davon zu bekommen, worauf die Fernbedienung auf dem Bildschirm zeigt.
  • Eine Möglichkeit könnte das Einstellen einer zufälligen Ausgangsposition sein. Auf diese Weise kann unabhängig von der tatsächlichen Position des Benutzers eine vorgegebene Ausgangsposition für das Zeigegerät angenommen werden. Beispielsweise könnte eine Ausgangsposition des Benutzers auf der x-Achse angenommen werden. Diese (falsche) Annahme könnte akzeptabel sein in einer Umgebung, in der das Zeigeziel ein TV ist und der Benutzer den TV normalerweise aus der gleichen Position betrachtet.
  • Eine andere Möglichkeit könnte darin bestehen, eine Anfangsposition mit einer Zweischusszeigefunktion zu bestimmen, wie in 12 veranschaulicht. Beispielsweise kann dem Benutzer eine Aufforderung zum Initiieren eines Kalibrierungsvorgangs angezeigt werden. Die Aufforderung könnte den Benutzer auffordern, mit dem Zeigegerät auf zwei verschiedene Stellen auf dem Zeigeziel zu zeigen. In dem Beispiel aus 12 könnte die Aufforderung dem Benutzer angezeigt werden und dazu auffordern, nacheinander in die Richtung von zwei unterschiedlichen Markierungen (Markierung 1 bzw. Markierung 2) an jedem seitlichen Ende des Bildschirms oder an einer anderen Stelle auf dem Bildschirm zu zeigen.
  • Eine Winkeldifferenz (α oder β) zwischen den Linien, die die Zeigerichtungen beim Zeigen auf die beiden Markierungen darstellen, hängt von der Position des Zeigegeräts 100 ab. Bei einem festen Abstand zwischen dem Bildschirm 200 und dem Zeigegerät 100 ist die Winkeldifferenz zwischen dem Zeigen auf die beiden Markierungen umso kleiner, je weiter das Zeigegerät von der Mitte des Bildschirms entfernt ist. In dieser Darstellung ist α in der Tat größer als β.
  • Bei einem auf der durch die Bildschirmfläche definierten Ebene befindlichen Zeigegerät könnte dieser Winkel sogar auf Null abfallen. Dieser Vorgang könnte ohne die Notwendigkeit eines UWB-Sensorsystems, wie solche, die hier beschrieben sind, funktionieren. Eine IMU-Winkelschätzung könnte ausreichen, insbesondere bei so kurzen Zeiträumen, in denen eine Ausrichtungsdrift kaum wahrnehmbar sein könnte.
  • Dieser Kalibrierungsvorgang hat jedoch einige Einschränkungen. Erstens kann er eine Abschätzung der Lateralität der Fernbedienung erlauben, aber nur bis zu einer Links-Rechts-Uneindeutigkeit. Diese Links-Rechts-Uneindeutigkeit kann aufgelöst werden, indem der Benutzer gefragt wird, auf welcher Seite sich der Benutzer befindet, oder indem der Benutzer gezwungen wird, zuerst auf die Markierung zu zeigen, die näher an (oder weiter weg von) ihm ist. Dies könnte allerdings das Benutzererlebnis beeinträchtigen. Zweitens könnte die Genauigkeit des Kalibrierungsvorgangs durch die Genauigkeit der Ausrichtungsschätzung beeinflusst werden. Die von der IMU gelieferten Ergebnisse können sehr genau sein, können aber auch akkumulierende Fehler sein, die vom Benutzer beim Zeigen gemacht wurden. Durch den Anmelder durchgeführte Benutzerversuche zeigten eine große Differenz zwischen dem Punkt, von dem der Benutzer denkt, dass er auf diesen gezeigt hat, und dem Punkt, auf den der Benutzer tatsächlich zeigt. Bei größeren Abständen, in denen die aus der Benutzerperspektive gesehene Bildschirmgröße klein ist, können solche Fehler die Positionsschätzung stark beeinflussen. Zuletzt könnte der Kalibrierungsvorgang durch eine Differenz der Handposition des Benutzers zwischen den beiden Zeigevorgängen beeinflusst werden.
  • In bestimmten Ausführungsformen der Erfindung kann das Auffinden der Position durch Aufbauen auf eine IMU-Ausrichtungsschätzung erreicht werden. Auf diese Weise kann ein alternativer Kalibrierungsvorgang durchgeführt werden. Dem Benutzer kann eine Aufforderung zum Initiieren des Kalibrierungsvorgangs angezeigt werden, die den Benutzer auffordert, aus einem bekannten Anstellwinkel in Bezug auf die Bildschirmfläche in die Richtung des Bildschirms zu zeigen. Wie in den vorherigen Beispielen wird ein Bildschirm als ein nicht einschränkendes Beispiel für ein Zeigeziel verwendet.
  • 12 zeigt zwei äquivalente Lösungen für einen gegebenen Fernbedienungsabstand und Einstrahlwinkel, doch tatsächlich kann es einen unendlichen Satz möglicher Positionen geben. Diese Lösungen befinden sich alle auf der Oberfläche einer Kugel (oder an der Kontur eines Kreises, wenn die Höhe begrenzt wird). Gleichwohl wäre es möglich, dass zwei Zeigegeräte an unterschiedlichen Positionen den gleichen Einstrahlwinkel und den gleichen Abstand zu einem Tag oder einem Referenzpunkt auf dem Bildschirm messen, jedoch würden sie in diesem Fall nicht die gleiche absolute Ausrichtung aufweisen. Darüber hinaus könnte es bei zwei Zeigegeräten, die den gleichen Einstrahlwinkel messen und in einem vorgegebenen Rahmen und Abstand zu dem Tag ausgerichtet sind, möglich sein, ihre Positionen zu erhalten.
  • Gemäß dem mit Bezug auf bestimmte Ausführungsformen der vorliegenden Erfindung beschriebenen alternativen Kalibrierungsvorgang kann eine IMU verwendet werden, um eine Bedeutung der Ausrichtung der Zeigegeräte zu geben. Um die Position zu erhalten, könnten zwei Probleme übrig bleiben. Erstens könnte die IMU nur die Ausrichtung in einem willkürlichen Rahmen bereitstellen, der nicht notwendigerweise mit dem Rahmen übereinstimmt, in dem die Position und Ausrichtung des Bildschirms bekannt ist (d. h. dem TV-Rahmen, der in 12 oben definiert ist). Dieses Problem kann teilweise dadurch gelöst werden, dass es ein Beschleunigungssensor ermöglicht, die horizontale Ebene zu erhalten. Zweitens könnte eine verbleibende Uneindeutigkeit bis zu einer Drehung der Fernbedienung um ihre z(rb)-Achse auftreten. Um diese Drehung zu finden, könnte eine Ausrichtungsphase erforderlich sein. Es wäre möglich, den Benutzer aufzufordern, aus einer bekannten Position in die Richtung eines Bildschirmtags zu zeigen, um daraus zu schließen, dass die in die horizontale Ebene projizierte Zeigerichtung des Zeigegeräts mit dem Zeigegerät auf die Bildschirmachse ausgerichtet werden sollte, was ermöglichen würde, die fehlende Ausrichtungsdrehung zu berechnen. Der oben beschriebene Vorgang könnte auch dazu verwendet werden, eine Initialisierungsposition zu erhalten und die Zeigegerät-Bildschirm-Richtung mit der IMU-Richtung abzugleichen.
  • In bestimmten Ausführungsformen der Erfindung kann die Uneindeutigkeit hinsichtlich der Position auf der horizontalen Ebene durch Hinzufügen zusätzlicher Module, wie beispielsweise UWB-Module, auf der Zeigezielseite aufgelöst werden. Beispielsweise könnte es möglich sein, ein neues UWB-Tag an einer anderen Stelle auf dem Bildschirm hinzuzufügen und Multilaterationsalgorithmen zu verwenden, um den Standort des Zeigegeräts zu finden. Eine andere Möglichkeit könnte darin bestehen, ein UWB-Tag durch einen UWB-Knoten mit horizontaler Achse zwischen Antennen zu ersetzen.
  • Wie in 13 veranschaulicht, können Knoten, wie beispielsweise UWB-Knoten, auf beiden Seiten des UWB-Sensorsystems vorhanden sein, um beispielsweise die Position des Zeigegeräts auf der horizontalen Ebene zu berechnen. 13 veranschaulicht ein Zeigegerät 100, das eine Dualantennenstation 1301 und IMU 1302 umfasst, und einen Bildschirm 200, der ebenfalls eine Dualantennenstation 1303 umfasst.
  • In bestimmten Ausführungsformen der Erfindung können Informationen über die Höhe des Zeigegeräts erforderlich sein. Es kann schwierig sein, die Höhe des Zeigegerätes in Bezug auf das Zeigeziel abzuschätzen. Unter der Höhe kann die vertikale Position des Zeigegerätes in Bezug auf das Zeigeziel, wie z. B. einen TV-Bildschirm, oder, im Umkehrschluss, die vertikale Position des TV-Bildschirms in dem Referenzsystem des Zeigeziels (z. B. Erhebung des TV in dem Zeigegerät-Körperrahmen) verstanden werden.
  • Unter erneuter Bezugnahme auf die Polarkoordinaten in 8B:
    • x: Zeigerichtung des Zeigegerätekörpers („rb“)
    • (x, y): Horizontale Ebene von „rb“
    • φ: Azimut von „rb“
    • Θ: Erhebung von „rb“
  • Die Erhebung (Θ), die als die Winkelkomponente der Höheninformation verstanden werden kann, kann fehlen. In bestimmten Ausführungsformen der Erfindung kann es sinnvoll sein, davon auszugehen, dass die Querneigung des Zeigegeräts minimal ist, da die meisten Zeigevorgänge unter Verwendung von Verschiebung, Längsneigungsdrehung und Gierungsdrehung des Zeigegeräts durchgeführt werden können. Das AOA-System könnte in dieser Konfiguration (ohne Querneigung) jedoch im Wesentlichen nur den azimutalen Teil des Einstrahlwinkels und nicht die Erhebung beschreiben.
  • Beispielsweise könnte das Zeigegerät flach auf der horizontalen Ebene gehalten werden und auf ein Tag (auf eine Einzel- oder Dualantennenstation des Bildschirms) zeigen. In dieser Konfiguration könnten die zwei Knotenantennen das Signal genau zur gleichen Zeit ohne Differenz in der Phase empfangen. Durch Bewegen des Zeigegeräts auf der y-Achse oder Verändern seiner Gierung könnte sich eine Knotenantenne näher an das Tag heranbewegen als die andere, wodurch eine Phasendifferenz und damit die Unterscheidung bei unterschiedlichem Azimut in Bezug auf das Zeigegerät induziert wird. Jedoch könnten beide Knotenantennen, durch Variieren der Längsneigung oder stattdessen Bewegen des Zeigegeräts auf der z-Achse, bei konstanter Phasendifferenz immer in gleichem Abstand zu dem Tag bleiben. In diesem Zusammenhang könnte das AOA-System keinen Hinweis darauf liefern, was die Höhe des Zeigeziels in Bezug auf den Zeigegerät-Referenzrahmen wäre. Diese Uneindeutigkeit könnte zu einem Fehler der Höhe des Zeigegeräts im Raum und beispielsweise der Höhe des projizierten Cursors auf dem Bildschirm führen.
  • Die Höhe des Zeigegeräts kann geschätzt werden. Alternativ könnte die Höhe des Cursors auf dem Bildschirm festgelegt werden (z. B. mit vorheriger Kenntnis über die Höhe eines Ziels auf dem Bildschirm und unter Aufforderung des Benutzers, den Cursor mit dem Ziel auszurichten), wobei die IMU-Ausrichtung es dann ermöglichen würde, die Höhe der Fernbedienung zu berechnen oder die Höhe der Fernbedienung festzulegen (z. B. durch Auffordern des Benutzers, die Fernbedienung auf einer bestimmten Höhe zu positionieren), und die IMU-Ausrichtung es dann ermöglichen würde, die Höhe des projizierten Cursors auf dem Bildschirm zu berechnen. Beides gleichzeitig lässt sich jedoch nicht berechnen: das System ist unterbestimmt. Ausgehend von diesen Möglichkeiten könnte es sinnvoll sein, die Höhe der Fernbedienung im Raum festzulegen. Bei einer guten Hypothese über das Verhalten des Benutzers (z. B. Sitzen oder Stehen) kann der mittlere Höhenfehler akzeptabel sein.
  • In bestimmten Ausführungsformen der Erfindung können Daten von einem Sensor zur Höhenmessung oder -schätzung hinzugefügt werden. Zum Beispiel könnten Beschleunigungssensordaten verwendet werden, um die Höhe Θ herzuleiten. Als weiteres Beispiel können ein oder mehrere Drucksensoren zur Messung der Zeigegerätehöhe verwendet werden. Diese Sensoren könnten weitere zu korrigierende Fehlerfaktoren im Zusammenhang mit Temperatur und Zeit einführen.
  • Ein Kalibrierungsvorgang gemäß bestimmten Ausführungsformen der Erfindung könnte die 90°-Querneigung verwenden. Dem Benutzer kann eine Aufforderung zum Einleiten eines Kalibrierungsvorgangs angezeigt werden, die den Benutzer auffordert, die Fernbedienung mit 90°-Querneigung zu halten. Dies könnte durch Drehen der die Fernbedienung haltenden Hand erreicht werden, was eine recht einfach auszuführende Geste ist. In einem solchen Fall könnten die beiden Knotenantennen perfekt ausgerichtet werden, um die Erhebung des TV in Bezug auf die Fernbedienung und damit dessen Höhe zu messen.
  • Gemäß dem Vorstehenden könnte ein erster Satz geometrischer Parameter, wie beispielsweise ein Einstrahlwinkel, an einer ersten Position unter Verwendung eines ersten Signals berechnet werden, und ein zweiter Satz geometrischer Parameter könnte an einer zweiten Position unter Verwendung eines zweiten Signals berechnet werden. Die Differenz zwischen der ersten und der zweiten Position könnte durch die Querneigung gegeben sein. Beispielsweise könnte ein Sensor anzeigen, wann die 90-Quemeigung abgeschlossen ist, um zu beurteilen, wann ein zweites Signal empfangen wird, sodass die neuen Parameter bestimmt werden können.
  • In bestimmten Ausführungsformen der Erfindung kann ein Kalman-Filter für den Kalibrierungsvorgang und die Höhenschätzung verwendet werden. Eine Höhenschätzung kann unter Verwendung von Kalman-Filtern durchgeführt und in den Fusionsalgorithmus integriert werden, was eine opportunistische Höhenschätzung ermöglicht, sobald die Fernbedienung selbst kleine Querneigungen erfährt. Die für die Datenfusion verwendeten Kalman-Filter könnten es dem System auch erlauben, seine Konvergenzgeschwindigkeit je nach Betrag der Querneigung zu modulieren: Die Konvergenz zur optimalen Höhe könnte bei großer Querneigung schneller als bei einer kleinen sein. Mit anderen Worten kann eine „implizite“ oder „opportunistische“ Kalibrierung durch Überwachen von Veränderungen der Ausrichtung des Zeigegeräts durchgeführt werden. Wird das Zeigegerät entlang seiner Zeigerichtung (x) gedreht, so können zusätzliche Daten zur Verfügung stehen, auch wenn die Drehung keine volle 90°-Drehung ist. Diese zusätzlichen Daten können beispielsweise von Kalman-Filtern verarbeitet werden, um eine Schätzung der Erhebung (und damit die Erhebung) abzuleiten.
  • In bestimmten Ausführungsformen der Erfindung könnte das Zeigegerät eine zusätzliche Antenne, wie beispielsweise eine UWB-Antenne, umfassen, die so angeordnet ist, dass die drei Antennen des Zeigegeräts annähernd einen rechten Winkel bilden. Dies kann eine Möglichkeit zur Auflösung der Uneindeutigkeit für die Erhebung Θ bereitstellen, ohne dass eine gestenbasierte Kalibrierung erforderlich ist. Ein solches System könnte also die Uneindeutigkeit auflösen, jedoch auf Kosten einer zusätzlichen Hardwarekomponente (der dritten Antenne).
  • In bestimmten Ausführungsformen der Erfindung wird/werden eine weitere Antenne(n), wie UWB-Antennen, an oder in der Nähe des Zeigeziels hinzugefügt. Die neue Antenne könnte sich auf einer anderen Höhe als die anderen(n) befinden. Dies könnte eine direkte Berechnung der Zeigegerätehöhe oder der Zeigezielerhebung in Bezug auf den Zeigegerät-Körperrahmen ermöglichen. Die neue Antenne könnte in Form einer Bake, beispielsweise einer UWB-Bake, mit einer einzigen Antenne an dem Zeigeziel in einer anderen Höhe oder durch Austauschen einer der Einzelantennenstationen durch eine Dualantennenstation mit vertikaler Achse zwischen Antennen hinzugefügt werden.
  • 14 und 15 können verwendet werden, um ein Leistungsvorhersagemodell zu beschreiben, um von der Rohfehlerquantifizierung von Sensoren, wie beispielsweise UWB-Sensoren, zu einer funktionalen Fehleranalyse zu gelangen. Dieses Modell könnte die Vorhersage des Verhaltens eines Zeigegeräts unter Verwendung von Rohmessungen, wie UWB-Rohmessungen, ermöglichen.
  • 14 veranschaulicht Ergebnisse der Messungen für eine AOA-Winkelschätzung. Bei jedem Winkel wird die gemessene Standardabweichung durch die vertikalen Balken repräsentiert. Es gibt Anomalien bei -80° und -90°. Tatsächlich könnte das System für wichtige Winkel eine Uneindeutigkeit beim Erkennen, welche Antenne das Signal zuerst empfängt, aufweisen. Der resultierende Winkel kann dann zwischen zwei Extremwerten wechseln, wenn dieses Phänomen eintritt. Bei -80° könnte diese Instabilität erklären, warum die mittleren gemessenen Winkel zwischen -80° und 80° mit sehr großer Standardabweichung liegen. Bei -90° gibt es keine Instabilität mehr, sondern das System hat den Einstrahlwinkel vollständig umschlagen, und sein Vorzeichen hat sich nun geändert.
  • Diese beiden anormalen Werte können zum Zweck der Leistungsanalyse ausgeschlossen werden. Zusätzlich können, wie in 13 gezeigt, mehrere Phänomene die Ergebnisse der Winkelmessungen beeinflussen. Die Standardabweichung nimmt zu, je weiter wir von 0° entfernt sind. Mit anderen Worten kann sich Genauigkeit verschlechtern, je weiter das Zeigeziel von der Mittelposition weg zeigt.
  • Die folgende Tabelle fasst die Ergebnisse gemessener AOA bei 3 Metern zusammen. Wie die Tabelle zeigt, variiert die Standardabweichung von 1,94° bei einem Einstrahlwinkel (AOA) von 0° bis etwa 9° bei einem Einstrahlwinkel von 80°.
    Ground-Truth-Winkel (Grad) Gemittelt Gemessener Winkel (Grad) Standardabweichung (Grad)
    -90 89,46 6,20
    -80 27,17 85,79
    -60 -73,08 7,56
    -70 -88,61 4,99
    -50 -59,54 3,83
    -40 -47,58 2,29
    -30 -36,65 1,78
    -20 -25,15 1,57
    -10 -13,23 1,55
    -5 -6,57 1,78
    0 -0,00 1,94
    5 6,31 2,03
    10 12,88 2,02
    20 23,88 2,29
    30 33,41 2,99
    40 41,86 3,69
    50 50,81 4,16
    60 59,46 5,29
    70 69,11 6,97
    80 80,72 8,98
    90 86,52 6,51
  • Genauigkeitsergebnisse lassen sich mit insgesamt besseren Ergebnissen in der Mitte und unter positiven Winkeln mischen, aber mit einer bedeutenden negativen Verzerrung bei negativen Winkeln von bis zu -18,61° Verzerrung bei -70°, wo sie bei positiven 70° kleiner als 1° ist.
  • 15 veranschaulicht Abstandsmessungen, die von einem UWB-Sensorsystem mit einem Abstand von 3 Metern zwischen einem Tag, beispielsweise in einem Zeigeziel, und einem Knoten, beispielsweise in einem Zeigegerät, während 30 Sekunden mit einer Frequenzabtastung von 10 Hz durchgeführt werden. Die Messungen gehen von einem AOA von 0° und einer Fernbedienungslängsneigung von 0° aus.
  • Die Spitzenwertvariation um den Mittelwert ist etwa gleich 5 cm. Die Standardabweichung ist σ ≅ 1.91 cm, d. h., dass, wenn 3σ als Maß für die maximale Abweichung betrachtet wird, eine resultierende maximale Abweichung 3σ = 5.73 cm wäre.
  • In bestimmten Ausführungsformen der Erfindung können die Messfehler unter Verwendung eines Modells zur Vorhersage der funktionalen Leistungsfähigkeit (d. h. einer Simulation) in eine Schätzung der Genauigkeit und Präzision eines Systems, wie eines Luftmaus-Systems, übersetzt werden.
  • Zum Zweck dieser Analyse kann der Benutzer mit der x-Achse des TV ausgerichtet sein, und die Variable kann der Abstand zu einem Bildschirm sein. Mit anderen Worten zeigen die Ergebnisse der Simulation die Variation der Leistungsfähigkeit mit der Zeigerichtung des Telepointers: Wenn der Benutzer gerade auf das TV-Tag zeigt, könnte sich der Abstand zwischen dem Benutzer und dem Bildschirm nichts ändern.
  • Der Fehler könnte nur dann vorliegen, wenn die Fernbedienung nicht direkt auf das TV-Tag zeigt, und könnte mit zunehmender Abweichung von dieser Richtung verstärkt werden. Die größte Divergenz, die erwartet werden kann, ist, wenn der Benutzer auf eine untere Ecke des Bildschirms zeigt (ungefähr 92 cm entfernt von dem Tag). Δ d ( 0.92 | p r | ) = ± 0.05
    Figure DE112021000822T5_0009
  • Bei einem Betrachtungsabstand (Abstand zwischen Benutzer und Bildschirm) von 2,8 m (d. h. |pr| = 2.8 m) auf der x-Achse des Bildschirms ergibt sich: Δ d ± 0.15
    Figure DE112021000822T5_0010
  • Der Anmelder hat festgestellt, dass der Fehler bei Entfernungsmessungen, die von einem UWB-Sensorsystem geliefert werden, keine zu starke Auswirkung auf die Funktion hat, wobei die Standardabweichung meist unter 15 cm liegt.
  • Ein System gemäß den hierin beschriebenen Ausführungsformen könnte in verschiedenen Anwendungen verwendet werden. Beispielsweise kann das System zum Steuern eines Fernsehers, eines intelligenten Fernsehers oder eines Heimkinosystems verwendet werden. Das Zeigegerät kann als ein virtueller Pointer ausgebildet sein, wobei der Ort der Zeigerichtung zur Anzeige auf einem Bildschirm des Fernsehers, intelligenten Fernsehers oder Heimkinosystems übermittelt werden kann. Das Zeigegerät kann als eine Fernsteuerung konfiguriert sein, wobei die Ausgangsdaten des Zeigegeräts in Steuereingaben der Benutzeroberfläche für den Fernseher, den intelligenten Fernseher oder das Heimkinosystem umgewandelt werden. Die Steuereingaben können über vorhandene physische Kommunikationsschnittstellen (z. B. Infrarotsignale, Drahtlossignale) oder über eine Anwendungsprogrammierschnittstelle (API) übertragen werden. Das System kann zur Steuerung bestehender Mediensysteme, die eine Vielzahl unterschiedlicher Eingabemechanismen aufweisen, verwendet werden. Zum Beispiel können einige Mediensysteme von einem Benutzer gesteuert werden, der Eingaben direkt auf einer Schnittstelle des Mediensystems bereitstellt (z. B. durch Drücken von Tasten, die auf dem Mediensystem integriert sind, oder durch Berühren eines Touchscreens des Mediensystems). Daten von dem Zeigegerät könnten für eine API eines bestehenden Mediensystems oder für ein angeschlossenes Zeigeanalysemodul, das die Zeigegerätedaten empfängt, bereitgestellt werden.
  • Das System kann zur Steuerung elektronischer Komponenten in einer universellen Rechenumgebung verwendet werden. Ein Zeigegerät kann verwendet werden, um elektronische Komponenten mittels multimodaler Integration zu steuern, wobei Eingaben von einem Spracherkennungssubsystem, einem Gestenerkennungssubsystem, das die von dem Zeigegerät bereitgestellten Daten verwendet, und/oder einem Zeigeanalysesystem, das die Zeigegerätedaten empfängt, kombiniert werden, um zu bestimmen, welche elektronische Komponente ein Benutzer steuern möchte und welche Steuerungsaktion gewünscht wird.
  • Das System kann zur Steuerung eines Videospiels oder eines Entertainment-Systems verwendet werden. Das System könnte beispielsweise mit Heimsystem für Videospiele verwendet werden, das ein Zeigegerät gemäß der Erfindung beinhaltet und das Zeigegerät als eine drahtlose handgehaltene Spielsteuervorrichtung mit Fähigkeiten, einschließlich Positionserfassung, einsetzt. Das Zeigegerät könnte als Steuervorrichtung arbeiten, bei der ein Gehäuse mit einer Hand gehalten wird und in diesem Zustand auf einer oberen Fläche und unteren Fläche des Zeigegerätegehäuses angeordnete Bedientasten und Bedienschalter betätigt werden.
  • Das System kann zum Bewegen und Steuern eines Cursors, Objekts, einer Figur oder eines mechanischen Systems in einer virtuellen oder physischen 3D-Umgebung verwendet werden. Das System kann beispielsweise so konfiguriert sein, dass es die Zeigegerätekoordinaten in absoluten oder relativen Kugelkoordinaten oder kartesischen Koordinaten an ein Computersystem überträgt. Gemäß einer bestimmten Ausführungsform kann die Richtung des Zeigegeräts verwendet werden, um 2D-Koordinaten in einer Schnittfläche zu berechnen, die durch eine physische oder virtuelle Fläche oder einen Bildschirm definiert ist.
  • Beispielsweise ist es eine Aufgabe bestimmter Ausführungsformen der Erfindung, mit einem entfernten Bildschirm oder Fläche mit einem Telepointer zu interagieren, indem beispielsweise ein Cursor auf dem Bildschirm an dem Schnittpunkt zwischen der Zeigerichtung und der Fläche des Bildschirms angezeigt wird. Andere Formen von Interaktionen sind möglich, wie Entsperren und Steuern eines entfernten Computergeräts, das mit einem Monitor oder Videoprojektor verbunden ist, Bedienen eines intelligenten Fernsehers aus der Ferne, Bedienen einer Set-Top-Box, die mit einem TV-Bildschirm verbunden ist, aus der Ferne, Anzeigen einer kontextuellen Benutzeroberfläche einer intelligenten Fernbedienung basierend auf der Identifikation des Objekts (real oder virtuell), auf das gezeigt wird, Bestimmen eines zu steuernden Geräts basierend auf der Zeigerichtung des Telepointers, Steuern einer Audio- oder Videowiedergabe basierend auf der Pose oder/und Ausrichtung des Telepointers.
  • Beispielsweise kann das System zum Steuern eines Fernsehers, eines intelligenten Fernsehers oder eines Heimkinosystems und allgemeiner eines steuerbaren Geräts verwendet werden. Das Zeigegerät kann als ein virtueller Pointer ausgebildet sein, wobei der Ort, an der die Zeigerichtung eine Fläche des Zeigeziels schneidet, zur Anzeige auf einem Bildschirm des Fernsehers, intelligenten Fernsehers oder Heimkinosystems übermittelt wird. Das Zeigegerät kann als eine Fernsteuerung konfiguriert sein, wobei die Ausgangsdaten des tragbaren Geräts in Steuereingaben der Benutzeroberfläche in dem Fernseher, dem intelligenten Fernseher oder dem Heimkinosystem umgewandelt werden. Die Steuereingaben können über vorhandene physische Kommunikationsschnittstellen (z. B. Infrarotsignale, Drahtlossignale) übertragen werden. Die Steuereingaben können konfiguriert sein, über eine Anwendungsprogrammierschnittstelle (API) des steuerbaren Gerätes zu interagieren.
  • In bestimmten Ausführungsformen der Erfindung kann das Zeigegerät eine Steuervorrichtung sein, und das Zeigeziel kann ein steuerbares Objekt sein. Das Zeigegerät kann eine Fernsteuerung zum Auswählen von Zeigezielen in Form von steuerbaren Objekten oder Kommunikationsobjekten im Allgemeinen sein. Das Zeigen mit dem Zeigegerät auf ein bestimmtes Zeigeziel könnte eine Zuordnung zwischen dem steuerbaren oder Kommunikationsobjekt und einem Leitsystem bilden. Die Zuordnung könnte dann verwendet werden, um Befehle an die aktuell zugeordneten steuerbaren Objekte oder Kommunikationen von dem aktuell zugeordneten Kommunikationsobjekt weiterzuleiten. Wenn das Objekt beispielsweise ein steuerbares Objekt wie ein Fernseher wäre, könnten von einem Benutzer an dem Zeigegerät erhaltene Befehle an das steuerbare Objekt geleitet werden, während die Zuordnung beibehalten würde. Als ein weiteres Beispiel könnten, wenn das Objekt ein Kommunikationsobjekt wie ein Wetterdienst auf einem Remoteserver wäre, Kommunikationen, die von dem Remoteserver erhalten werden, an das Zeigegerät geleitet werden, während die Verbindung beibehalten würde. Auf diese Weise könnte ein Benutzer, basierend darauf, wohin das Zeigegerät zu einem beliebigen gegebenen Zeitpunkt gezeigt hat, Kommunikationen von verschiedenen Objekten empfangen und Befehle an diese senden.
  • Die durch Zeigen mit dem Zeigegerät auf ein bestimmtes Ziel gebildete Objektzuordnung könnte auch dazu verwendet werden, eine Benutzeroberfläche so zu verändern, dass auf dieser Oberfläche Steuerelement für das aktuell zugeordnete Objekt dargestellt werden. Die Benutzeroberfläche könnte auf dem Zeigegerät bereitgestellt werden. Zum Beispiel könnte das Zeigegerät ein Touchdisplay beinhalten, und Steuerelemente für das aktuell zugeordnete steuerbare Objekt könnten auf dem Touchdisplay dargestellt werden, wenn die Zuordnung hergestellt wäre. Würde der Benutzer das Zeigegerät auf einen Fernseher zeigen, könnte das Touchdisplay eine Kanal- und Lautstärkesteuerungsoberfläche für den Fernseher darstellen. Würde der Benutzer das Gerät drehen, um auf eine Leuchte zu zeigen, könnte das Touchdisplay eine Helligkeitssteuerungsoberfläche für die Leuchte darstellen.
  • Auch wenn die Beschreibung in Bezug auf bestimmte Ausführungsformen der Erfindung im Detail beschrieben wurde, versteht es sich, dass sich Fachleute auf dem Gebiet, wenn sie ein Verständnis des Vorstehenden erreicht haben, ohne Weiteres Änderungen an, Abwandlungen von und Äquivalente zu diesen Ausführungsformen ausdenken können. Beispielsweise können, obwohl in der gesamten Offenbarung das Beispiel eines Zeigegeräts verwendet wurde, das zwei Antennen umfasst, die mit der Zeigeachse ausgerichtet sind, können mehr als zwei Antennen mit der Zeigerichtung ausgerichtet werden und an den Einstrahlwinkelmessungen beteiligt sein. Obwohl viele Beispiele für ein UWB-System und Komponenten gegeben wurden, lassen sich die hierin offenbarten Konzepte gleichermaßen auf andere Funktechnologien anwenden. Diese und weitere Modifikationen und Abwandlungen der vorliegenden Erfindung können vom Fachmann durchgeführt werden, ohne vom Umfang der vorliegenden Erfindung, der in den beigefügten Ansprüchen genauer dargelegt ist, abzuweichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 63/022065 [0001, 0014]
    • EP 3172727 B1 [0014]
    • US 16049074 [0014]
    • US 16/056888 [0014]
    • US 10068463 B2 [0084]

Claims (30)

  1. Gerät, umfassend: eine Zeigerichtung; einen Satz von Antennen, der eine erste Antenne und eine zweite Antenne beinhaltet; mindestens eines von einer inertialen Messeinheit, einem Schwerkraftsensor und einem Magnetometer; und ein oder mehrere computerlesbare Medien, auf denen Anweisungen gespeichert sind, die, wenn sie auf dem Gerät ausgeführt werden, das Gerät veranlassen zum: Bestimmen einer Differenz zwischen: (i) einem Signal, wie es von der ersten Antenne empfangen wird; und (ii) dem Signal, wie es von der zweiten Antenne empfangen wird; Bestimmen, anhand der Differenz, eines Winkels zwischen: (i) der Zeigerichtung; und (ii) einer Signalursprungsrichtung des Signals; Messen einer physikalischen Größe unter Verwendung des mindestens einen von der inertialen Messeinheit, dem Schwerkraftsensor und dem Magnetometer; und Bestimmen der Zeigerichtung des Geräts anhand des Winkels und der physikalischen Größe.
  2. Gerät nach Anspruch 1, wobei: auf dem einen oder den mehreren computerlesbaren Medien ferner Anweisungen gespeichert sind, die, wenn sie auf dem Gerät ausgeführt werden, das Gerät veranlassen zum: Bestimmen eines ersten Winkelgeschwindigkeitsmesswerts anhand des Winkels; Bestimmen eines zweiten Winkelgeschwindigkeitsmesswerts anhand der physikalischen Größe; und wobei das Bestimmen der Zeigerichtung den ersten Winkelgeschwindigkeitsmesswert und den zweiten Winkelgeschwindigkeitsmesswert verwendet.
  3. Gerät nach Anspruch 1, wobei: das Bestimmen der Zeigerichtung anhand des Winkels und der physikalischen Größe unter Verwendung von Sensorfusion erfolgt.
  4. Gerät nach Anspruch 3, wobei: das Bestimmen der Zeigerichtung unter Verwendung von Sensorfusion eine Kalman-Filter-Pipeline verwendet.
  5. Gerät nach Anspruch 3, wobei: das Bestimmen der Zeigerichtung unter Verwendung von Sensorfusion lineare quadratische Schätzung verwendet.
  6. Gerät nach Anspruch 1, wobei das Bestimmen der Zeigerichtung ferner Folgendes umfasst: Bestimmen einer absoluten Position des Geräts; und wobei die physikalische Größe verwendet wird, um die absolute Position zu bestimmen.
  7. Gerät nach Anspruch 1, wobei das Bestimmen der Zeigerichtung ferner Folgendes umfasst: Bestimmen einer absoluten Position des Geräts; wobei die physikalische Größe verwendet wird, um eine Höhe des Geräts zu bestimmen; und wobei der Winkel und die Höhe des Geräts verwendet werden, um die absolute Position des Geräts zu bestimmen.
  8. Gerät nach Anspruch 1, wobei auf dem einen oder den mehreren computerlesbaren Medien ferner Anweisungen gespeichert sind, die, wenn sie auf dem Gerät ausgeführt werden, das Gerät veranlassen zum: Bestimmen einer zweiten Differenz zwischen: (i) einem zweiten Signal, wie es von der ersten Antenne empfangen wird; und (ii) dem zweiten Signal, wie es von der zweiten Antenne empfangen wird; Bestimmen, anhand der zweiten Differenz, eines zweiten Winkels zwischen: (i) der Zeigerichtung; und (ii) einer Signalursprungsrichtung des Signals; und wobei das Bestimmen der Zeigerichtung des Geräts den Winkel und den zweiten Winkel verwendet und die physikalische Größe verwendet, um zu beurteilen, wann das zweite Signal von der ersten Antenne und der zweiten Antenne empfangen wird.
  9. Gerät nach Anspruch 1, wobei: die Antennen in dem Satz von Antennen Ultra-Breitband-Antennen sind.
  10. Gerät nach Anspruch 1, wobei: die Zeigerichtung durch das Gerät physisch abgegrenzt wird.
  11. Gerät nach Anspruch 1, wobei: das Gerät eines ist von: einer Luftmaus, einem Smartphone, einer intelligenten Fernbedienung und einem Telepointer.
  12. Gerät nach Anspruch 1, wobei: der Winkel ein Zeigewinkel ist; und auf dem einen oder den mehreren computerlesbaren Medien ferner Anweisungen gespeichert sind, die, wenn sie auf dem Gerät ausgeführt werden, das Gerät veranlassen zum: Identifizieren eines Zeigeziels basierend auf der Zeigerichtung.
  13. System, umfassend: ein tragbares Gerät, das eine Zeigerichtung und einen Satz von Antennen, der eine erste Antenne und eine zweite Antenne beinhaltet, und mindestens eines von einer inertialen Messeinheit, einem Schwerkraftsensor und einem Magnetometer aufweist; eine dritte Antenne, die mit einem Zeigeziel assoziiert ist; und ein oder mehrere computerlesbare Medien, auf denen Anweisungen gespeichert sind, die, wenn sie von dem System ausgeführt werden, das System veranlassen zum: Übertragen eines Signals unter Verwendung der dritten Antenne; Bestimmen einer Differenz zwischen: (i) dem Signal, wie es von der ersten Antenne empfangen wird; und (ii) dem Signal, wie es von der zweiten Antenne empfangen wird; Bestimmen, anhand der Differenz, eines Winkels zwischen: (i) der Zeigerichtung; und (ii) einer Signalursprungsrichtung des Signals; Messen einer physikalischen Größe unter Verwendung des mindestens einen von der inertialen Messeinheit, dem Schwerkraftsensor und dem Magnetometer; und Bestimmen der Zeigerichtung des tragbaren Geräts anhand des Winkels und der physikalischen Größe.
  14. System nach Anspruch 13, ferner umfassend: ein Antennenarray, das die dritte Antenne beinhaltet; wobei auf dem einen oder den mehreren computerlesbaren Medien ferner Anweisungen gespeichert sind, die, wenn sie von dem System ausgeführt werden, das System veranlassen zum: Übertragen eines Satzes von Signalen unter Verwendung des Antennenarrays; Bestimmen eines Satzes von Differenzen zwischen: (i) den Signalen in dem Satz von Signalen, wie sie von der ersten Antenne empfangen werden; und (ii) den Signalen in dem Satz von Signalen, wie sie von der zweiten Antenne empfangen werden; und wobei das Bestimmen der Zeigerichtung ein Bestimmen, unter Verwendung des Satzes von Differenzen, einer Pose und eines Standorts des tragbaren Geräts beinhaltet.
  15. System nach Anspruch 13, wobei: das Bestimmen der Zeigerichtung anhand des Winkels und der physikalischen Größe unter Verwendung von Sensorfusion erfolgt.
  16. System nach Anspruch 15, wobei: auf dem einen oder den mehreren computerlesbaren Medien ferner Anweisungen gespeichert sind, die, wenn sie von dem System ausgeführt werden, das System veranlassen zum: Bestimmen eines ersten Winkelgeschwindigkeitsmesswerts anhand des Winkels; Bestimmen eines zweiten Winkelgeschwindigkeitsmesswerts anhand der physikalischen Größe; und wobei das Bestimmen der Zeigerichtung unter Verwendung von Sensorfusion den ersten Winkelgeschwindigkeitsmesswert und den zweiten Winkelgeschwindigkeitsmesswert verwendet.
  17. System nach Anspruch 16, wobei: das Bestimmen der Zeigerichtung unter Verwendung von Sensorfusion eine Kalman-Filter-Pipeline verwendet.
  18. System nach Anspruch 16, wobei: das Bestimmen der Zeigerichtung unter Verwendung von Sensorfusion lineare quadratische Schätzung verwendet.
  19. System nach Anspruch 13, wobei das Bestimmen der Zeigerichtung ferner Folgendes umfasst: Bestimmen einer absoluten Position des tragbaren Geräts; und wobei die physikalische Größe verwendet wird, um die absolute Position zu bestimmen.
  20. System nach Anspruch 13, wobei das Bestimmen der Zeigerichtung ferner Folgendes umfasst: Bestimmen einer absoluten Position des tragbaren Geräts; wobei die physikalische Größe verwendet wird, um eine Höhe des tragbaren Geräts zu bestimmen; und wobei der Winkel und die Höhe des tragbaren Geräts verwendet werden, um die absolute Position des tragbaren Geräts zu bestimmen.
  21. System nach Anspruch 13, wobei auf dem einen oder den mehreren computerlesbaren Medien ferner Anweisungen gespeichert sind, die, wenn sie auf dem tragbaren Gerät ausgeführt werden, das tragbare Gerät veranlassen zum: Bestimmen einer zweiten Differenz zwischen: (i) einem zweiten Signal, wie es von der ersten Antenne empfangen wird; und (ii) dem zweiten Signal, wie es von der zweiten Antenne empfangen wird; Bestimmen, anhand der zweiten Differenz, eines zweiten Winkels zwischen: (i) der Zeigerichtung; und (ii) einer Signalursprungsrichtung des Signals; wobei das Bestimmen der Zeigerichtung des tragbaren Geräts den Winkel und den zweiten Winkel verwendet und die physikalische Größe verwendet, um zu beurteilen, wann das zweite Signal von der ersten Antenne und der zweiten Antenne empfangen wird.
  22. System nach Anspruch 13, wobei: die Antennen in dem Satz von Antennen Ultra-Breitband-Antennen sind.
  23. System nach Anspruch 13, wobei: die Zeigerichtung durch das tragbare Gerät physisch abgegrenzt wird.
  24. System nach Anspruch 13, wobei: das tragbare Gerät eines ist von: einer Luftmaus, einem Smartphone, einer intelligenten Fernbedienung und einem Telepointer.
  25. System nach Anspruch 13, wobei: der Winkel ein Zeigewinkel ist; und auf dem einen oder den mehreren computerlesbaren Medien ferner Anweisungen gespeichert sind, die, wenn sie von dem System ausgeführt werden, das System veranlassen zum: Identifizieren eines Orts auf dem Zeigeziel basierend auf dem Zeigewinkel.
  26. Verfahren, in dem jeder Schritt computerimplementiert ist, umfassend: Erhalten eines ersten Abtastwerts eines Signals an einer ersten Antenne und eines zweiten Abtastwerts des Signals an einer zweiten Antenne, wobei sich die erste Antenne und die zweite Antenne in einem Satz von Antennen an einem tragbaren Gerät befinden, und wobei das tragbare Gerät eine Zeigerichtung aufweist; Bestimmen einer Differenz unter Verwendung des ersten Abtastwerts und des zweiten Abtastwerts; Bestimmen, anhand der Differenz, eines Winkels zwischen: (i) der Zeigerichtung; und (ii) einer Signalursprungsrichtung des Signals; Messen einer physikalischen Größe unter Verwendung von mindestens einem von einer inertialen Messeinheit, einem Schwerkraftsensor und einem Magnetometer; und Bestimmen der Zeigerichtung des tragbaren Geräts anhand des Winkels und der physikalischen Größe.
  27. Verfahren nach Anspruch 26, ferner umfassend: Bestimmen eines ersten Winkelgeschwindigkeitsmesswerts anhand des Winkels; Bestimmen eines zweiten Winkelgeschwindigkeitsmesswerts anhand der physikalischen Größe; und wobei das Bestimmen der Zeigerichtung den ersten Winkelgeschwindigkeitsmesswert und den zweiten Winkelgeschwindigkeitsmesswert verwendet.
  28. Verfahren nach Anspruch 26, wobei: das Bestimmen der Zeigerichtung anhand des Winkels und der physikalischen Größe Sensorfusion verwendet.
  29. Verfahren nach Anspruch 28, wobei: das Bestimmen der Zeigerichtung unter Verwendung von Sensorfusion eine Kalman-Filter-Pipeline verwendet.
  30. Verfahren nach Anspruch 26, wobei: die Antennen in dem Satz von Antennen Ultra-Breitband-Antennen sind.
DE112021000822.6T 2020-01-31 2021-01-28 Sensorfusion für flaches zeigegerät Pending DE112021000822T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062968543P 2020-01-31 2020-01-31
US62/968,543 2020-01-31
PCT/IB2021/050688 WO2021152513A1 (en) 2020-01-31 2021-01-28 Low profile pointing device sensor fusion

Publications (1)

Publication Number Publication Date
DE112021000822T5 true DE112021000822T5 (de) 2022-11-10

Family

ID=74505310

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021000822.6T Pending DE112021000822T5 (de) 2020-01-31 2021-01-28 Sensorfusion für flaches zeigegerät

Country Status (4)

Country Link
US (1) US20230195242A1 (de)
CN (1) CN115053204A (de)
DE (1) DE112021000822T5 (de)
WO (1) WO2021152513A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113687590B (zh) * 2021-08-10 2023-03-10 青岛小鸟看看科技有限公司 Vr系统中头戴与手柄的时间同步方法、系统
WO2024100769A1 (ja) * 2022-11-08 2024-05-16 株式会社ソニー・インタラクティブエンタテインメント 測位システム及び測位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068463B2 (en) 2014-07-25 2018-09-04 7Hugs Labs Methods for the determination and control of a piece of equipment to be controlled; device, use and system implementing these methods

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10355351B2 (en) * 2014-04-21 2019-07-16 Maxtena, Inc. Antenna array pointing direction estimation and control
US20160183057A1 (en) * 2014-12-18 2016-06-23 Intel Corporation Method and system for hybrid location detection
US11320509B2 (en) * 2018-04-17 2022-05-03 Apple Inc. Electronic devices with motion sensing and angle of arrival detection circuitry
NL2021045B1 (en) * 2018-06-01 2019-12-10 Agis Automatisering B V Locating a mobile radiofrequency transmitter using a mobile receiver
WO2019239365A1 (en) * 2018-06-13 2019-12-19 Purohit Ankit System and method for position and orientation tracking of multiple mobile devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068463B2 (en) 2014-07-25 2018-09-04 7Hugs Labs Methods for the determination and control of a piece of equipment to be controlled; device, use and system implementing these methods
EP3172727B1 (de) 2014-07-25 2019-09-11 7Hugs Labs Verfahren zur bestimmung und steuerung eines teils einer zu steuernden ausrüstung sowie vorrichtung, verwendung und system zur durchführung der besagten verfahren

Also Published As

Publication number Publication date
US20230195242A1 (en) 2023-06-22
WO2021152513A1 (en) 2021-08-05
CN115053204A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
DE60103778T2 (de) Netzwerkgerät mit auswählbaren zielen
DE102014009845A1 (de) Bestimmung von Nähe unter Verwendung von mehreren Transpondern
DE112021000822T5 (de) Sensorfusion für flaches zeigegerät
DE112013004569B4 (de) Verfahren zum festen Anvisieren und Verfolgen eines ausgewählten Retroreflektors mit einem Lasertracker
DE102013009035A1 (de) Kontext- und kartenhilfe zum selbstlernen
CN109154499A (zh) 用于增强立体显示的系统和方法
CN105931263A (zh) 一种目标跟踪方法及电子设备
EP2727180A1 (de) Verfahren und vorrichtung zur bestimmung und speicherung von position und ausrichtung von antennenstrukturen
DE102013005985A1 (de) Zugangspunkt-Ortsindentifikationsverfahren und -Vorrichtung auf der Basis von absolutem und relativem sammeln
CN105044667B (zh) 一种运动目标的双星跟踪方法、装置和系统
Baker et al. Biomimetic echolocation with application to radar and sonar sensing
WO2017097905A1 (de) Verfahren und vorrichtung zur hochpräzisen positionsbestimmung eines mobilen gerätes sowie verfahren zur lokalisierung oder positionierung von ortsfesten geräten
DE102008011596B4 (de) Kombiniertes Baken- und Szenen-Navigationssystem
WO2015185668A1 (en) Method, device and system for indoor localization and tracking using ultra-wideband radio signals
DE102009007684B4 (de) Verfahren und Vorrichtung zur Lokalisierung von Objekten
US20210349177A1 (en) Low profile pointing device
DE112021007303T5 (de) Geräte zur gestenerkennung mit ultra-breitband (uwb) transceivern
DE102017128369A1 (de) Vorrichtung und verfahren zum lokalisieren eines ersten bauelements, lokalisierungsvorrichtung und verfahren zur lokalisierung
DE102022134316A1 (de) UWB-Automatisierungserfahrungssteuerung
DE102018104056B3 (de) Verfahren zur optimierten Anordnung und Ausrichtung eines Feldgerätes
EP2065722B1 (de) Vorrichtung zur Ortung von Objekten oder Personen, insbesondere für eine Lawinenverschüttetensuche sowie Verfahren zur Ortung
CN209530065U (zh) 一种基于图像的坐标定位装置
DE102022127765A1 (de) Objekt- und Umgebungsdimensionierung basierend auf UWB-Funkeinrichtungen
DE102021214580A1 (de) Systeme und Verfahren zur Unterstützung von Fahrern und Fahrgästen, sich gegenseitig zu lokalisieren
KR20190060625A (ko) 관성 측정 유닛 센서의 위치 보정 장치 및 그 보정 방법

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: D YOUNG & CO LLP, DE

R081 Change of applicant/patentee

Owner name: QORVO PARIS, FR

Free format text: FORMER OWNER: 7HUGS LABS SAS, MONTROUGE, FR