CN113543863A - 利用相控阵波束成形对增强现实系统中的发射器进行六自由度跟踪的方法和系统 - Google Patents

利用相控阵波束成形对增强现实系统中的发射器进行六自由度跟踪的方法和系统 Download PDF

Info

Publication number
CN113543863A
CN113543863A CN202080017238.9A CN202080017238A CN113543863A CN 113543863 A CN113543863 A CN 113543863A CN 202080017238 A CN202080017238 A CN 202080017238A CN 113543863 A CN113543863 A CN 113543863A
Authority
CN
China
Prior art keywords
electromagnetic
phased array
handheld controller
array element
transmitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080017238.9A
Other languages
English (en)
Inventor
M·J·伍兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN113543863A publication Critical patent/CN113543863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0087—Phased arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S2013/0236—Special technical features
    • G01S2013/0245—Radar with phased array antenna
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种电磁跟踪系统包括手持控制器，该手持控制器包括以第一相位为特征的第一相控阵元件和以与第一相位不同的第二相位为特征的第二相控阵元件。第一相控阵元件和第二相控阵元件被配置为生成以电磁场模式为特征的可转向电磁波束。电磁跟踪系统还包括头戴式增强现实显示器，该头戴式增强现实显示器包括被配置为感测电磁场模式的电磁传感器。

Description

利用相控阵波束成形对增强现实系统中的发射器进行六自由 度跟踪的方法和系统
相关申请的交叉引用
本申请要求于2019年2月28日提交的美国临时专利申请号为62/811,914，题为“METHOD AND SYSTEM UTILIZING PHASED ARRAY BEAMFORMING FOR SIX DEGREE OFFREEDOM TRACKING FOR AN EMITTER IN AUGMENTED REALITY SYSTEMS”的优先权的权益，其内容通过引用整体并入在此。
背景技术
现代计算和显示技术促进了用于所谓“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以它们看起来是真实的或可以被认为是真实的的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际的真实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围实际世界的可视化的增强。
尽管在这些显示技术中取得了进展，但本领域中仍需要与增强现实系统，特别是显示系统相关的改进的方法、系统和设备。
发明内容
本公开涉及虚拟现实(VR)和/或增强现实(AR)成像和可视化系统。本公开总体上涉及用于在VR和/或AR系统中执行六自由度(DoF)跟踪的方法和系统。更具体地，本公开的实施例提供用于引导由发射器(也称为发送器)发射的能量以便计算发射器相对于传感器的位置和取向的方法和系统。在一些实施例中，使用发射器的相控阵元件的波束成形被用来实现如在此更充分描述的波束转向。本公开适用于计算机视觉和图像显示系统中的多种应用。
根据本公开的实施例，提供了一种电磁跟踪系统。电磁跟踪系统包括包含电磁发射器的手持控制器。电磁发射器包括以第一相位为特征的第一相控阵元件，以及以与第一相位不同的第二相位为特征的第二相控阵元件。第一相控阵元件和第二相控阵元件被配置为生成以电磁场模式为特征的可转向电磁波束。电磁跟踪系统还包括头戴式AR显示器，该头戴式AR显示器包括配置为感测电磁场模式的电磁传感器。
根据本公开的另一实施例，提供了一种确定手持控制器的六自由度姿态的方法。该方法包括确定电磁传感器的姿态并从手持控制器生成电磁波束。电磁波束以电磁场模式为特征。该方法还包括将电磁波束转向以增加电磁传感器处的接收功率并确定与电磁波束相关联的波束角。该方法进一步包括确定手持控制器和电磁传感器之间的距离，并使用电磁传感器的姿态、波束角和距离来确定手持控制器的六DoF姿态。
与传统技术相比，通过本公开实现了许多益处。例如，本公开的实施例提供以预定方式增加传感器处的电磁场强度的方法和系统。本公开的实施例能够主动跟踪发射器位置，从而提高姿态确定的准确度。结合下面文本和附图更详细地描述本公开的这些和其它实施例以及其许多优点和特征。
附图说明
被包括以提供对本公开的进一步理解的附图并入并构成本说明书的一部分，示出了本公开的实施例，并且与详细描述一起用于解释本公开的原理。没有尝试比对本公开的基本理解和可以实施的各种方式所必需的更详细地示出本公开的结构细节。
图1示意性地示出根据一些实施例的电磁(EM)跟踪系统的系统图。
图2是描述根据一些实施例的电磁跟踪系统的功能的流程图。
图3示意性地示出根据一些实施例的结合有增强现实(AR)系统的电磁跟踪系统。
图4示意性地示出根据一些实施例的在AR设备的上下文中使用转向的波束的电磁跟踪。
图5A示意性地示出根据一些实施例的以预定角度生成转向的波束的一组三个电磁源。
图5B示意性地示出根据一些实施例的四面体布置中的一组四个电磁源。
图6是示出根据一些实施例的跟踪手持控制器位置的方法的流程图。
图7A示意性地示出根据一些实施例的作为两个发射器位置的函数的接收信号的变化。
图7B示意性地示出根据其它实施例的作为两个发射器位置的函数的接收信号的变化。
图8示意性地示出与5G蜂窝移动通信系统通信的增强现实系统。
具体实施方式
增强现实(AR)系统可以设计为与用户交互。作为示例，可以为用户提供手持控制器，也称为图腾，用户可以利用该手持控制器与AR系统交互。因此，能够确定手持控制器相对于AR系统的其它元件(包括由用户佩戴的头戴式显示系统，也称为AR耳机或耳机)的位置和取向(例如，6自由度(DoF)姿态)是有用的。
实现高准确度定位的一种方法可能涉及电磁场的发送和检测。例如，电磁场可由至少一个电磁场发射器(通常称为“发射器”)发射并由至少一个电磁场传感器(通常称为“传感器”)接收。(一个或多个)发射器和(一个或多个)传感器可以战略性地放置在用户的AR耳机、腰包和/或其它辅助设备(例如，图腾、触觉设备、游戏仪器等)上。(一个或多个)发射器在AR耳机用户的环境中生成具有已知空间(和/或时间)分布的电磁场。(一个或多个)传感器测量在(一个或多个)传感器的(一个或多个)位置处生成的电磁场。基于这些测量和所生成电磁场分布的知识，可以确定(一个或多个)传感器相对于(一个或多个)发射器的姿态(例如，位置和/或取向)。因此，可以确定(一个或多个)传感器和/或(一个或多个)发射器所附接到的对象的姿态。也就是说，可以确定(一个或多个)传感器和(一个或多个)发射器的相对位置。
图1示出电磁跟踪系统100的示例系统图。在一些实施例中，电磁跟踪系统100包括一个或多个电磁场发射器102(通常称为“发射器102”)，其被配置为发射已知的电磁场。如图1中所示，发射器102可以耦合到电源110(例如，电流、电池等)以向发射器102提供电力。
在一些实施例中，发射器102包括生成电磁场的若干线圈(例如，彼此垂直放置以产生X、Y和Z方向中的场的至少三个线圈)。线圈可以以预定的AC频率(例如，在20kHz-40kHz的范围内)操作，使得每个线圈生成AC偶极子形状的电磁场。该电磁场用于建立坐标空间(例如，X-Y-Z笛卡尔坐标空间)。这允许系统映射与已知电磁场相关的电磁传感器104a、104b的位置(例如(X，Y，Z)位置)，并确定电磁传感器104a、104b的位置和/或取向。在一些实施例中，电磁传感器104a、104b(通常称为“传感器104”)可以附接到一个或多个真实对象。传感器104可以包括线圈，在该线圈中可以通过电磁场(例如由发射器102发射的电磁场)感应电流。传感器104可以包括被定位/取向以捕获来自电磁场(例如由发射器102发射的电磁场)的传入电磁通量的线圈或环(例如，彼此垂直放置的至少三个线圈)，并且通过比较通过这些线圈感应的电流，并且知道线圈相对于彼此的相对定位和取向，可以计算传感器104相对于发射器102的相对位置和取向。
可以测量与可操作地耦合到传感器104的线圈和惯性测量单元(IMU)组件的行为有关的一个或多个参数以检测传感器104(以及它所附接到的对象)相对于发射器102耦合到的坐标系的位置和/或取向。在一些实施例中，可以相对于发射器102使用多个传感器104以检测传感器104中每个传感器在坐标空间中的位置和取向。电磁跟踪系统100可以提供三个方向(例如，X、Y和Z方向)中以及进一步在两个或三个取向角中的位置。在一些实施例中，可以将IMU的测量与线圈的测量进行比较以确定传感器104的位置和取向。在一些实施例中，电磁(EM)数据和IMU数据二者以及各种其它数据源(诸如相机、深度传感器和其它传感器)可被组合以确定位置和取向。该信息可以被发送(例如，无线通信、蓝牙等)到控制器106。在一些实施例中，可以在传统系统中以相对高的刷新率报告姿态(或位置和取向)。
通常，电磁场发射器耦合到相对稳定且大的对象，诸如桌子、操作台、墙壁或天花板，并且一个或多个传感器耦合到小的对象，诸如医疗设备、手持游戏组件等。可替代地，如下面参考图3所述，可以采用电磁跟踪系统的各种特征来产生一种配置，其中，可以跟踪相对于更稳定的全局坐标系在空间中移动的两个对象之间的位置和/或取向的变化或增量。换句话说，图3中示出了配置，其中电磁跟踪系统的变化可用于跟踪头戴式组件和手持式组件之间的位置和取向增量(变化)，同时以其它方式确定相对于全局坐标系(就用户本地的房间环境而言)的头部姿态，诸如通过使用可以耦合到系统的头戴式组件的向外捕获相机的同时定位和地图绘制(SLAM)技术。
控制器106可以控制发射器102并且还可以从传感器104捕获数据。应当理解，系统的各个组件可以通过任何机电或无线/蓝牙装置彼此耦合。控制器106还可包括关于已知电磁场的数据和相对于电磁场的坐标空间。该信息然后用于检测传感器104相对于与已知电磁场对应的坐标空间的位置和取向。
电磁跟踪系统的优势之一是它们以最小的延迟产生高分辨率、高度可重复的跟踪结果。此外，电磁跟踪系统不一定依赖于光学跟踪器，并且可以轻松跟踪不在用户视线范围内的传感器/对象。
应当理解，电磁场的强度V作为距线圈发射器(例如，发射器102)的距离r的三次函数下降。因此，可以基于距发射器102的距离来使用算法。控制器106(也可以称为处理器)可以配置有此类算法，以确定传感器104在远离发射器102的不同距离处的位置和取向。考虑到随着传感器104远离发射器102移动，电磁场的强度迅速下降，就准确性、效率和低延迟而言，可以在更近的距离处实现最优结果。在典型的电磁跟踪系统中，发射器由电流(例如，插入式电源)供电，并且传感器位于发射器20英尺半径内。在包括AR应用的许多应用中，传感器和发射器之间的更短半径可以更加可取。
图2示出描述电磁跟踪系统(诸如电磁跟踪系统100)的功能的方法200的示例流程图。在202处，发射已知的电磁场。在一些实施例中，电磁场发射器可以生成电磁场。例如，电磁场发射器的每个线圈可以在一个方向(例如，X、Y或Z)中生成电磁场。电磁场可以以任意波形生成。在一些实施例中，沿着轴中每个轴的电磁场分量可以以与沿着其它方向的其它电磁场分量稍微不同的频率振荡。在204处，可以可选地确定与电磁场对应的坐标空间。例如，控制器可以基于电磁场自动确定发射器和/或传感器周围的坐标空间。在一些实施例中，在该方法的该阶段可以不确定坐标空间。在206处，可以检测传感器(其可以附接到已知对象)处的线圈的行为。例如，可以计算在线圈处感应的电流。在一些实施例中，可以跟踪和测量线圈的旋转或任何其它可量化的行为。在208处，该行为可用于检测传感器和/或已知对象(例如，包括传感器的AR耳机)相对于发射器的位置或取向，反之亦然。例如，控制器106可以查阅将传感器处的线圈的行为与各种位置或取向相关的映射表。基于这些计算，可以确定坐标空间中的位置以及传感器和/或发射器的取向。
在AR系统的上下文中，可能需要修改电磁跟踪系统的一个或多个组件以促进移动组件(例如，发射器和传感器)的准确跟踪。如上所述，在许多AR应用中可能需要跟踪用户的头部姿态和取向。准确确定用户的头部姿态和取向允许AR系统向用户显示合适/相关的虚拟内容。例如，虚拟场景可以包括隐藏在真实建筑物后面的虚拟怪物。取决于用户头部相对于建筑物的姿态和取向，可能需要修改虚拟怪物的视图，使得提供逼真的AR体验。或者，图腾、触觉设备或与虚拟内容交互的一些其它装置的位置和/或取向在使用户能够与AR系统交互方面可能很重要。例如，在许多游戏应用中，AR系统可以检测真实对象相对于虚拟内容的位置和取向。或者，当显示虚拟界面时，图腾、用户的手、触觉设备或被配置用于与AR系统交互的任何其它真实对象的位置可以相对于显示的虚拟界面获知，以便系统理解命令、交互等。一些定位方法(诸如光学跟踪)可能会受到高延迟和低分辨率问题困扰，这使得在许多AR应用中渲染虚拟内容具有挑战性。
在一些实施例中，相对于图1和图2讨论的电磁跟踪系统可以适用于AR系统以检测一个或多个对象相对于发射的电磁场的位置和取向。典型的电磁跟踪系统往往具有大而笨重的电磁发射器(例如，图1中的发射器102)，这对于头戴式AR设备(例如带有图腾)是有问题的。然而，在AR系统的上下文中，较小的电磁发射器(例如，在毫米范围内)可用于发射已知的电磁场。
图3示出与AR系统结合的电磁跟踪系统，其中电磁场相控阵发射器302(通常称为“相控阵发射器302”)作为手持控制器306的一部分被并入。手持控制器306可以相对于AR耳机301(或腰包370)独立地移动。例如，手持控制器306可以被握在用户的手中，或者手持控制器306可以被安装到用户的手或手臂(例如，作为戒指或手镯或者作为由用户佩戴的手套的一部分)。在一些实施例中，手持控制器306可以是图腾，例如，用于游戏场景(例如，多自由度控制器)或在AR环境中提供丰富的用户体验或允许用户与AR系统的交互。在一些实施例中，手持控制器306可以是触觉设备。在一些实施例中，相控阵发射器302可以为腰包370的一部分被并入。
手持控制器可以包括为相控阵发射器302供电的电池310或其它电源。应当理解，相控阵发射器302还可以包括或耦合到IMU 350组件，该IMU350组件被配置为辅助确定相控阵发射器302相对于其它组件的定位和/或取向。这在相控阵发射器302和电磁场传感器304(通常称为“传感器304”)都可移动的情况下特别有利。将相控阵发射器302放置在手持控制器306而不是腰包307中，如图3的实施例中所示，有助于确保相控阵发射器302不竞争腰包370处的资源，而是在手持控制器306处使用其自己的电池源。在一些实施例中，相控阵发射器302可以设置在AR耳机301上，并且传感器304可以设置在手持控制器306或腰包370上。因此，本公开的实施例提供了手持控制器306被实现为手持单元的实现方式，而在其它实施例中，手持控制器在AR耳机301中实现，而在附加实施例中，手持控制器在辅助单元(例如腰包307)中实现。此外，除了在单个设备中实现手持控制器306的实现方式之外，手持控制器和伴随的物理组件的功能可以横跨多个设备(例如，手持控制器306、AR耳机301和/或辅助单元，诸如腰包307)分布。
在一些实施例中，传感器304可以与其它感测设备或传感器308(诸如一个或多个IMU或附加电磁通量捕获线圈)一起放置在AR耳机301上的一个或多个位置上。例如，如图3中所示，传感器304、308可以放置在AR耳机301的一侧或两侧。由于传感器304、308可以被设计为相当小(并且在一些情况下可能不那么敏感)，因此具有多个传感器304、308可以提高效率和准确度。在一些实施例中，一个或多个传感器也可以放置在腰包370或用户身体的任何其它部分上。传感器304、308可以例如通过蓝牙无线地通信到计算装置，该计算装置确定传感器304、308(以及其所附接的AR耳机301)的姿态和取向。在一些实施例中，计算装置可以位于腰包370处。在一些实施例中，计算装置可以位于AR耳机301或手持控制器306处。在一些实施例中，计算装置进而可以包括地图绘制数据库330(例如，地图绘制数据库、云资源、可通行世界模型、坐标空间等)来检测姿态，以确定真实对象和/或虚拟对象的坐标，并且甚至可以连接到云资源和可通行世界模型。在一些实施例中，手持控制器306能够控制电磁发射器的电磁发射和电磁传感器的感测的时序，使得基于来自修改的电磁场模式的场计算电磁发射器和电磁传感器的位置和取向。在一些实施例中，相对于电磁传感器计算电磁发射器的位置和取向。在其它实施例中，相对于电磁发射器计算电磁传感器的位置和取向。在一些实施例中，计算电磁发射器和电磁传感器的位置和取向。
如上所述，一些电磁发射器对于AR设备来说可能过于庞大。因此，可以使用比传统系统更小的组件(例如，线圈)将发射器设计成紧凑的。然而，考虑到电磁场的强度作为距发射器距离的三次函数减小，当与诸如图1中详述的系统的传统系统相比时，传感器304和相控阵发射器302之间的较短半径(例如，约3至3.5英尺)可以降低功耗。
在一些实施例中，该方面可用于延长在一个或多个实施例中可为手持控制器306和相控阵发射器302供电的电池310的寿命。在一些实施例中，该方面可用于减小在相控阵发射器302处生成电磁场的线圈的大小。然而，为了获得相同强度的电磁场，可能需要增加功率。这允许可以紧凑地安装在手持控制器306中的紧凑相控阵发射器302。
当使用用于电磁跟踪系统的AR设备时，可进行一些其它更改。虽然该姿态报告率相当不错，但AR系统可受益于更有效的姿态报告率。为此，可以(另外地或可替代地)使用基于IMU的姿态跟踪。有利地，IMU可以保持尽可能稳定以便提高姿态检测过程的效率。IMU可以被设计成使得其保持稳定达50-100毫秒。应当理解，一些实施例可以利用外部姿态估计器模块(例如，IM可以随时间漂移)，其可以使得姿态更新能够以10到20Hz的速率被报告。通过以合理的速率保持IMU稳定，姿态更新的速率可以显著降低到10到20Hz(与传统系统中的更高频率相比)。
如果电磁跟踪系统可以以例如10％的占空比运行(例如，仅每100毫秒针对基准(ground truth)延迟(ping))，则AR系统可以节省功率。这可意味着电磁跟踪系统每100毫秒中唤醒10毫秒以生成姿态估计。这可以直接转化为功耗节省，这进而可以影响AR设备(例如，AR耳机301和/或控制器306)的大小、电池寿命和成本。
在一些实施例中，可以通过提供第二手持控制器(未示出)而不是如图3中所示的仅仅一个手持控制器306来战略性地利用占空比的该降低。例如，用户可以正在玩需要两个控制器的游戏等。或者，在多用户游戏中，两个用户可以使自己的控制器玩游戏。当使用两个控制器(例如，针对每只手的对称控制器)而不是一个控制器时，控制器可以以偏移占空比操作。相同的概念也可以应用于玩多人游戏的两个不同用户所使用的控制器。
尽管在电磁发射器中使用电磁元件的相控阵列的上下文中讨论了本公开的一些实施例，但是本公开的实施例不限于使用电磁辐射并且其它形式的能量可以用于执行波束成形，包括声能(即声音)，从而导致以相长干涉区域和相消干涉区域为特征的能量分布。
为了确定手持控制器306相对于AR耳机301的六DoF姿态(即，位置和取向)，可以利用磁跟踪。使用设置在手持控制器中的发射器，可以创建已知几何形状的磁场。然后可以使用耳机中的一个或多个传感器，基于对已知几何形状中AR耳机位置的测量，确定手持控制器和AR耳机之间的六DoF关系。在一些情况下，可以利用由IMU提供的测量数据，例如，在传感器融合的上下文中，来计算或改进手持控制器的六DoF姿态的测量。然而，尽管IMU可以适用于测量相对运动，但它们可能具有与其测量数据相关联的偏差水平。由于集成了该偏差，IMU位置中的漂移可能累积，从而劣化测量准确度。因此，本公开的实施例提供以减少的偏差为特征的测量数据。在一些实施例中，虽然测量数据可以包括噪声分量，但是偏差的减小使得能够对噪声进行平均以提供具有提高的准确度的信号。
图4示意性地示出根据一些实施例的在AR设备的上下文中使用转向的波束的电磁跟踪。如下面更充分地描述，由手持控制器410发射的发射波束402以波束角Θ定向。知道相控阵发射器412中各个相控阵元件之间的相位延迟关系，可以计算波束角Θ。然后可以利用使用双向通信路径430(例如，蓝牙)实现的反馈回路，使得与相控阵发射器412中的每个相控阵元件相关联的相位延迟被调节以使波束转向并达到/保持AR耳机420的电磁场传感器422处接收功率的最大值。如在此更充分地描述的，通信路径430使得与手持控制器410相关的数据能够被发送到AR耳机420，例如手持控制器IMU数据、相控阵发射器412中的各个相控阵元件的相位延迟、波束角Θ等。此外，通信路径430使得与AR耳机420相关的数据能够被发送到手持控制器410，例如，AR耳机IMU数据、电磁场传感器422处的接收功率等。发射波束402的波束角Θ可以被扫掠和转向以最大化在AR耳机420处且更具体地在电磁场传感器422处接收的能量。
给定相控阵发射器412中的各个相控阵元件的相位延迟以及手持控制器410和AR耳机420之间的距离(其可以基于发射波束402的特性来计算，如下面更充分地描述)，手持控制器410的六DoF姿态可以相对于AR耳机420的已知姿态来确定。
图5A示意性地示出根据一些实施例的以预定角度生成转向波束的一组三个电磁源(例如，各个相控阵元件)。如图5A中所示，包括三个相控阵元件510、512和514作为设置在手持控制器中的相控阵发射器505的元件(例如，图4中的相控阵发射器412)。在一些实施例中，相控阵元件510、512和514中的每一个可以是在预定AC频率(例如，在20KHz-40KHz的范围内)操作的线圈，使得每个线圈生成AC偶极形电磁场。在示例性相控阵发射器505中，所有相控阵元件510、512、514使它们的线圈与公共方向(例如z方向)对齐。通常，相控阵元件510、512、514的相对取向和布置被选择为使得由相控阵发射器505产生的主瓣沿AR耳机(例如，图4中的AR耳机420)在正常操作期间将相对于手持控制器(例如图4中的手持控制器410)的最常见的方向定向(例如，手持控制器在大约腰部/躯干中部水平握在用户手中，手掌面向左侧或右侧，取决于用户用哪只手握住手持控制器)。AR耳机(例如，AR耳机301)在正常操作期间将相对于手持控制器(例如，手持控制器306)的这个最常见的方向在图3中示出。
由于相控阵元件510、512、514中的每一个发射电磁辐射，所发射的电磁辐射的波性质导致由相控阵元件510、512和514发射的电磁辐射之间的干扰。该干扰产生区域相长干涉区域和相消干涉区域。对于图5A中所示的相控阵元件510、512和514，如果每个元件的相位对齐(即，元件之间没有延迟)，将沿与图平面正交的x方向产生主瓣。如果在相控阵元件之间实现固定的相位延迟关系(即相控阵元件510具有可以为零的相位延迟(p、相控阵元件512具有相位延迟(pi和相控阵元件514具有相位延迟(p2)，相控阵元件510、512和514之间的干扰将导致主瓣525以及旁瓣(为了清楚的目的未示出)的生成。在一些实施例中，相控阵元件510、512和514将被定位成使得图5A中所示的y-z平面将与图4中所示的波束角Θ正交，以便使主瓣与手持控制器和AR耳机之间最常见的方向对齐，没有相位延迟。虽然图5A中示出了三个相控阵元件，但是本公开的实施例不限于该特定数量，并且本公开的实施例可以利用包括两个相控阵元件和多于三个相控阵元件的其它数量。
在一些实施例中，单个线圈可用于每个相控阵元件。在一些实施例中，多个线圈可用于每个相控阵元件。作为示例，当手持控制器关于AR耳机相对于手持控制器的最常见方向旋转90°时，为了提高性能，每个相控阵元件的第二线圈可用于增加主瓣在指向图形平面内/外的方向(即±x方向)中的强度。除了手持控制器的相控阵元件之外，发射器可以实现为如由图1中的电磁场发射器102所示的三线圈发射器。
因此，尽管三个相控阵元件510、512和514是静态的(即，它们在手持控制器中的位置是固定的)，但对与每个相控阵元件相关联的相位延迟的控制可以实现主瓣525的转向。如图5A中所示，主瓣525以矢量520为中心，该矢量520以波束角Θ取向，该波束角分别具有沿x轴、y轴和z轴的分量θx、θy和θz。矢量520可以被称为中心矢量，因为它与主瓣的中心对齐。通过修改相位延迟
Figure BDA0003233067810000121
和/或
Figure BDA0003233067810000122
可以使主瓣525转向，使得矢量520可以以任意波束角Θ取向。尽管在该示例中仅修改了与相控阵元件512和514对应的相位延迟
Figure BDA0003233067810000124
和/或
Figure BDA0003233067810000123
但是应当理解，结合对与主瓣525相关联的波束角Θ的控制，附加的相位延迟
Figure BDA0003233067810000125
可以与相控阵元件510相关联。当利用附加相位延迟
Figure BDA0003233067810000126
时，可以控制所有三个相位延迟以实现相控阵元件510、512、514之间的所需相位延迟。本领域将认识到许多变化、修改和替代。
主瓣525的波束转向可用于将矢量520与从设置在手持控制器中的相控阵发射器505指向AR耳机中的电磁场传感器(例如，电磁场传感器422)的矢量对齐。一旦从设置在手持控制器中的相控阵发射器505指向的矢量520与AR耳机中的电磁场传感器对齐，则在电磁场传感器处接收的能量将被最大化，因为主瓣525的中心将指向电磁场传感器。如关于图6更充分地描述的，主瓣525的波束转向将用于确定手持控制器相对于AR耳机的取向。
虽然在此提供了相控阵发射器在手持控制器中的放置和电磁场传感器在AR耳机中的放置的描述，但这不是本公开所要求的，并且相控阵发射器可以放置在AR耳机中，对应的电磁场传感器放置在手持控制器中。此外，在一些实施例中，相控阵发射器或电磁场传感器可以放置在辅助单元中。通常，手持控制器可以支持与相控阵发射器的操作相关联的功率需求和重量，并且因此，相控阵发射器将被实现为设置在手持控制器中的组件。参考图3，计算工作可以在手持控制器306、AR耳机301、腰包370或小型蜂窝(未示出)中执行，或者适当地分布在这些元件之间。本领域的普通技术人员将认识到许多变化、修改和替代。
图5B示意性地示出根据一些实施例的四面体布置中的一组四个电磁源。如图5B中所示，四个相控阵元件510、512、514和516被定位成位于四面体的四个顶点上。相控阵元件510、512和514位于y-z平面中，而相控阵元件516位于沿x轴测量的y-z平面上方的预定高度处。通过利用图5B中所示的四面体布置，提供了对主瓣的波束形状的附加控制以及对y-z平面中的波束转向的增加的控制。
图6示出说明根据一些实施例的跟踪手持控制器位置的方法600的示例流程图。该方法包括确定电磁场传感器的姿态(即，位置和取向)(610)。在一些实施例中，确定电磁场传感器的姿态可以包括确定包括电磁场传感器的AR耳机的头部姿态。在一些实施例中，仅确定电磁场传感器的位置。在一些实施例中，AR耳机中的一个或多个IMU可用于提供该头部姿态确定。该方法还包括例如使用电磁场发射器中的一个或多个IMU，确定电磁场发射器(例如，手持控制器)的近似位置的可选过程(620)。在一些实现方式中，该可选过程还例如使用电磁场发射器中的一个或多个IMU，确定电磁场发射器(例如，手持控制器)的近似取向(即，近似姿态)。在一些实施例中，近似姿态可以基于由于重力导致的加速度来确定，当用户握住手持控制器并校准或初始化手持控制器时，该由于重力导致的加速度超过与重力正交的方向中的加速度。
然后启动波束转向(630)以控制电磁波束的主瓣，例如图5中的主瓣525。使用优化算法，也称为搜索算法，将波束转向直到电磁传感器接收到的能量最大化。本领域技术人员已知的几种优化算法之一可用于该波束转向过程。通常，适应度函数F被最大化：
Figure BDA0003233067810000141
其中
Figure BDA0003233067810000142
并且
Figure BDA0003233067810000143
其中
Figure BDA0003233067810000144
是与相控阵元件510相关的相位延迟，
Figure BDA0003233067810000145
是与相控阵元件512相关联的相位延迟，并且
Figure BDA0003233067810000146
是与相控阵元件514相关联的相位延迟。相控阵元件可以与如下工作频率相关联：相控阵元件510：
Figure BDA0003233067810000147
其中
Figure BDA0003233067810000148
可以为零；相控阵元件512：
Figure BDA0003233067810000149
并且相控阵元件514：
Figure BDA00032330678100001410
如上所述，波束转向可以通过控制相位延迟
Figure BDA00032330678100001411
和
Figure BDA00032330678100001412
或控制所有三个相位
Figure BDA00032330678100001413
和
Figure BDA00032330678100001414
来实现。
根据各种实施例，在此讨论的波束转向过程可以使用在AR耳机或手持控制器处确定的波束控制信息来实现。例如，当在AR耳机处确定波束转向信息时，可以实现以下过程。手持控制器经由第一通信路径发送电磁波束并且经由第二通信路径发送传感器数据(例如，在手持控制器处收集的传感器数据)。AR耳机经由第一通信路径接收电磁波束，并经由第二通信路径接收手持控制器传感器数据。
AR耳机然后计算与电磁波束相关联的功率并且基于计算出的与电磁波束相关联的功率、手持设备传感器数据和AR耳机传感器数据来确定波束转向信息。给定该波束转向信息，AR耳机经由第二通信路径发送波束转向信息，并且手持控制器接收波束转向信息。因此，手持控制器能够基于接收到的波束转向信息改变电磁波束的波束转向特性。例如，接收到的波束转向信息可以指示手持控制器要增加或减少相位延迟
Figure BDA00032330678100001415
和
Figure BDA00032330678100001416
中的一个或多个。作为另一示例，AR耳机可以基于手持设备传感器数据和AR耳机传感器数据确定手持控制器正在相对于AR耳机移动，并且可以相应地生成波束转向信息，该波束转向信息使手持控制器增加或减少相位延迟
Figure BDA0003233067810000151
和
Figure BDA0003233067810000152
中的一个或多个，使得主波束(例如，主波束525)及其对应的矢量(例如，矢量520)可以继续与AR耳机中的电磁传感器对齐。
此外，当在手持控制器处确定波束转向信息时，可以实现以下过程流程。手持控制器经由第一通信路径发送电磁波束，并且AR耳机经由第一通信路径接收电磁波束。然后，AR耳机计算与电磁波束相关联的功率，并经由第二通信路径将计算的功率和AR耳机传感器数据发送到手持控制器。
手持控制器接收计算的功率和AR耳机传感器数据，并基于计算的与电磁波束相关联的功率、AR耳机传感器数据和手持控制器传感器数据确定波束转向信息。因此，手持控制器能够基于接收到的波束转向信息改变电磁波束的波束转向特性。
在一些实施例中，可以利用校准过程来说明系统特性并提高波束转向算法的准确性。此外，多种控制和优化算法适用于本公开的实施例。可用于最大化适应度函数的示例性控制和优化算法包括梯度下降法、随机梯度下降法、具有动量的梯度下降法、深度学习算法等。作为示例，在初始化阶段中，波束可以通过以较大的量改变相位延迟
Figure BDA0003233067810000154
和
Figure BDA0003233067810000153
来转向，该较大的量导致转向波束的大角度偏差(例如，10°增量)，因为手持控制器周围的区域被分析。回到提供最大接收功率值的波束角(和相关联的相位延迟)，可以逐渐利用较小的增量(例如，5°、2°、1°、0.5°)以最大化接收的功率。
可以通过人体工程学研究通知初始化过程，该人体工程学研究提供与手持控制器将相对于AR耳机在给定方向中取向的概率相关的信息。作为示例，如果手持控制器通常保持在腰部/躯干中部，手掌朝左，则初始化过程可以与手持控制器和该取向中的AR耳机之间的方向对齐的角度附近启动。手持控制器和AR耳机之间最常见的方向如图4中示为波束角Θ。对本领域技术人员来说显而易见的是，可以提供更快收敛的优化算法包括在本公开的范围内。一旦实现波束锁定，波束转向角的角度调节可以根据特定应用适当地减少或增加。本领域的普通技术人员将认识到许多变化、修改和替代。
在操作这些优化算法时，在手持控制器和AR耳机之间提供通信路径以交换在例如优化算法的操作期间收集的数据。图4中的通信路径430的示例是提供手持控制器和AR耳机之间双向通信的蓝牙无线链路。例如，该通信路径可用于将接收到的来自AR耳机的功率数据发送到手持控制器。此外，该通信路径可用于从手持控制器向AR耳机发送有关波束角的信息(例如，基于相位延迟的波束角或用于计算AR耳机处的波束角的相位延迟)。因此，通信路径430使得控制信号和数据能够在手持控制器和AR耳机之间以双向方式发送。例如，在AR耳机或手持控制器中生成的IMU数据可以通过通信路径430发送。虽然蓝牙无线链路被描述为通信路径430的示例，但其它通信技术也包括在本公开的范围内，包括WiFi无线链路、诸如USB链路的有线链路等。
在操作中，由于相位延迟的修改而导致的波束转向导致AR耳机处的接收功率的增加/减少。响应于AR耳机中电磁场传感器处的接收功率的变化，手持控制器中的电磁场发射器可以改变相控阵元件之间的相位延迟，以便以增加接收功率的方式将波束转向。
如上所述，一旦波束已经被转向以将穿过主瓣中心的矢量与从手持控制器中的相控阵发射器指向到电磁场传感器(这也可以被称为接收器)的矢量对齐，在AR耳机中，电磁场传感器处接收的能量会最大化。因此，使用从AR耳机中的电磁场传感器到手持控制器中的相控阵发射器的通过通信路径发送的反馈，可以实现波束转向以最大化接收功率(并在一些实施例中保持接收功率)。
再次参考图6，一旦波束被转向以最大化接收功率，就可以生成指示符以指示实现波束锁定(632)。实现波束锁定将与给定时间手持控制器和AR耳机之间的给定方向相关联。随着手持控制器(和/或AR耳机)随时间移动，跟踪算法将持续运行以通过波束转向保持波束锁定。手持控制器中的IMU和/或AR耳机中的IMU提供的数据可以被初始化和/或跟踪算法利用，例如，以响应于手持控制器和AR耳机的位置和/或取向、速度、加速度等的小变化来减少角步长偏差，或响应于手持控制器和AR耳机的位置和/或取向、速度、加速度等的大变化来增加角步长偏差。在一些实施例中，响应于手持控制器的角速度和/或加速度来修改角步长偏差，因为手持控制器的旋转可导致发射波束的快速转向。
当电磁场传感器处的能量达到最大值时，主瓣取向的波束角Θ可以分别根据与相控阵元件512和514相关联的相位延迟
Figure BDA0003233067810000173
和
Figure BDA0003233067810000174
来确定(634)。换句话说，给定相位延迟
Figure BDA0003233067810000172
和
Figure BDA0003233067810000171
以及相控阵元件510、512和514的几何布置，可以根据相位延迟和几何布置计算波束角Θ。给定手持控制器和AR耳机之间的波束角Θ，可知手持控制器和AR耳机沿着连接手持控制器和AR耳机的矢量设置。对于该信息，如下面更详细地描述，手持控制器和AR耳机之间的距离可被确定并添加(634)。
本公开的实施例利用若干技术中的一种来确定手持控制器和AR耳机之间的距离。例如，在一些实施例中，可以将测量的功率与将接收功率和距离相关联的校准表或函数进行比较。利用通信路径，来自手持控制器的IMU数据可以与AR耳机处的测量功率融合，以优化距离计算。在一些实施例中，已知的电磁场模式可用于在给定接收功率的情况下确定手持控制器与AR耳机之间的距离。作为示例，对于给定的电磁场模式和给定的距离，将主瓣转向预定角度(例如，5°)将导致接收功率降低预定量(例如，10％)。在更大的距离处(例如，两倍的距离)，将主瓣转向预定角度将导致接收功率的较小减少(例如，20％)。一旦接收到的功率最大化，就可以改变相位延迟以将波束转向预定角度(例如，通过一系列角度)，并且接收到的功率的减少可以用于计算距离。本领域的普通技术人员将认识到许多变化、修改和替代。
在一些实施例中，根据手持控制器位置对接收功率的测量可用于确定手持控制器和AR耳机之间的距离。该实施例关于图7A和7B描述。
图7A示意性地示出根据一些实施例的接收信号根据两个发射器位置的变化的示例。在图7A中，相控阵发射器710位于位置x1处并且以具有与矢量715对齐的中心角的发送模式711为特征。为了清楚起见，仅示出了发送模式的中心或主瓣。电磁场传感器720位于距相控阵发射器710的给定距离处，该距离等于矢量715的长度，并且已经在位置x1(Tx(x1))处实现了相控阵发射器的波束锁定。
参考图7A，示出在已经平移到位置x2(Tx(x2))之后的相控阵发射器712。位置平移信息可以通过分析由手持控制器生成并发送到AR耳机的IMU数据来获得，因为该IMU数据可用于跟踪手持控制器的姿态。在一些实施例中，与手持控制器姿态相关的IMU数据与由AR耳机接收的电磁功率的测量相融合，以提供手持控制器姿态值。在平移之后，如果在给定新的相控阵发射器位置(即，x2)的情况下保持发送模式，则电磁场传感器720处接收的功率将减小，如图7A中的矢量717所示，在位置718处与主瓣相交。因为在位置718处主瓣幅度显著减小，所以可以生成将平移距离与针对给定距离的接收功率相关的函数。
图7B示意性地示出根据一些实施例的接收信号根据两个发射器位置的变化的示例。在图7B中，与矢量735的长度相等的距离大于与图7A中所示的矢量715的长度相等的距离。在图7B中，相控阵发射器730位于位置x1处并且以具有与矢量735对齐的中心角的发送模式731为特征。为了清楚起见，仅示出了发送模式的中心或主瓣。电磁传感器740位于与相控阵发射器730相距等于矢量735的长度的距离处，并且相控阵发射器730在位置x1(Tx(x1))处实现了波束锁定。
也在图7B中示出，在其已经平移到位置x2(Tx(x2))之后的相控阵发射器732。位置平移信息可以通过分析由手持控制器生成的IMU数据获得。在平移之后，如果在给定新的相控阵发射器位置(即，x2)的情况下保持发送模式，则在电磁传感器740处接收的功率将减小，如图7B中的矢量737所示，在位置738处与主瓣相交。与图7A相比，由于图7B中电磁发射器和电磁传感器之间的较大距离，对于给定的平移(即，从位置x1到位置x2)，接收功率的减小与图7A中相同平移的接收功率的减小相比有所下降。因此，可以生成附加函数，该附加函数将平移距离与针对图7B中所示的较大给定距离的接收功率相关联。通过测量各种平移距离处的接收功率，可以生成查找表、方程或其它数学结构，其将接收功率的增加或减少映射为(1)平移距离和(2)相控阵发射器到电磁传感器距离的函数。结果，给定接收功率的增加或减少以及平移距离，可以计算相控阵发射器到电磁场传感器之间的距离。在一些实施例中，以上讨论的值可用于映射功率导函数：
Figure BDA0003233067810000191
其可用于根据接收功率和平移距离的确定相控阵发射器和电磁场传感器之间的距离。因此，本公开的实施例可以利用手持控制器的位置变化以及手持控制器的取向变化来确定发射器到传感器的距离。
应当注意，在一些实施例中，接收功率根据手持控制器位置的变化的增加或减少(其用于确定发射器到传感器的距离)在短时间段内执行，这与可以重定向可转向的主动跟踪循环相比。因此，实施例能够如例如关于图6所讨论的结合主动跟踪进行距离测量。
在一些实施例中，利用在手持控制器处收集和/或可获得的信息来增强手持控制器的功能。例如，如果在手持控制器处确定了IMU数据的变化，例如，确定手持控制器已在给定方向中平移了给定量或围绕给定轴旋转了给定量，则波束转向可以在从AR耳机中的电磁场传感器接收到反馈之前，在手持控制器处启动。因此，手持控制器响应于来自AR耳机的反馈执行波束转向的本公开的实施例，以及手持控制器响应于在手持控制器处测量和/或可获得的数据而启动波束转向的实施例包括在本公开的范围内。此外，这些方法的组合包括在本公开的范围内。作为示例，在手持控制器处的IMU测量导致在手持控制器处启动波束转向的实现方式中，可以在波束转向启动之后利用从AR耳机接收的反馈作为用于波束转向过程的控制系统的元素。
在一些实施例中，除了如上所述使用波束转向计算的波束角和手持控制器与AR耳机之间的距离之外，还可以利用结合在手持控制器中的IMU来提供关于手持控制器姿态的信息，该信息可以与上面计算的波束角以及手持控制器和AR耳机之间的距离相结合。本领域的普通技术人员将认识到许多变化、修改和替代。
返回图6，使用AR耳机的位置，具体地是电磁场传感器在x-y-z坐标系中的位置，手持控制器与AR耳机之间的角度Θ，以及从手持控制器到AR耳机的距离，可以确定手持控制器的六DoF姿态(640)。AR耳机的位置可以从AR耳机的头部姿态来确定，通常使用AR耳机中的IMU跟踪该AR耳机的头部姿态。基于AR耳机的已知位置，给定波束角度和手持控制器与AR耳机之间的距离，可以确定手持控制器的位置。此外，波束相对于相控阵元件平面(即图5A中所示的y-z平面)的角度可用于确定手持控制器的取向，从而确定六DoF姿态(即位置和取向)。在一些实施例中，在AR耳机和图腾围绕z轴的旋转可能导致给定距离和波束角无法区分独特手持控制器姿态的情况下，来自手持控制器IMU的数据可以用于移除手持控制器取向的不确定性。在一些实施例中，给定头部姿态(即，AR耳机的姿态)，距离和波束角足以确定手持控制器姿态。
给定手持控制器位置，可以执行手持控制器位置和取向(即姿态)的主动跟踪(650)。因此，一旦确定了手持控制器的六DoF姿态，就可以执行手持控制器六DoF姿态的主动跟踪以根据时间更新六DoF姿态。作为示例，使用AR耳机和手持控制器之间的通信路径，手持控制器和/或AR耳机的运动将导致接收功率降低，因为与主瓣对齐的矢量和手持控制器与AR耳机之间的矢量未对齐。基于该测量的通过AR耳机和手持控制器之间的通信路径传送到手持控制器的接收功率的下降，可以调节相位延迟以将波束转向并重新使与主瓣对齐的矢量和手持控制器与AR耳机之间的矢量对齐。
以迭代方式，可以通过确定波束角和距离并计算手持控制器的六DoF姿态来执行主动跟踪。如上所讨论，可以在该主动跟踪过程期间调节波束偏差的步长。因此，随着AR耳机或手持控制器移动，主动跟踪可以基于反馈实时保持波束角，使得波束角与AR耳机和手持控制器之间的方向对齐。
图8示意性地示出与5G蜂窝移动通信系统通信的增强现实系统。如图8中所示，5G发射器810，也被称为小蜂窝(例如，毫微微蜂窝、微微蜂窝或微蜂窝)，与包括AR耳机820、电磁手持控制器822和辅助单元824的AR系统805通信。因此，在本公开的一些实施例中，在AR系统中包括通信设备，例如5G设备。参考图3和图8，图8中示出的AR耳机820、电磁手持控制器822和辅助单元824可以分别对应于图3中所示的AR耳机301、电磁场发射器302和腰包370。
如图8中所示，5G发射器810可以利用波束成形来引导从5G发射器到AR系统805的通信路径，例如，沿着用于与AR耳机820通信的波束路径812或者沿着用于与辅助单元824通信的波束路径814。在一些实现方式中，AR系统805的各个元件的空间接近度彼此足够接近，使得5G发射器810执行的波束成形的特征在于连接5G发射器和AR系统的单个光束路径，而没有与AR系统的特定元素相关的特异性。
通过在5G发射器810和AR系统805之间的通信路径中实现波束成形，可以提供增加的数据速率、更低的延迟和其它益处。此外，如波束路径830所示，可以在AR系统805处执行波束成形以与5G发射器810通信。虽然手持控制器处的波束成形由波束路径830示出，但本公开的实施例还可以在辅助单元或AR耳机处利用波束成形来促进与5G发射器的通信。因此，除了在5G发射器处执行波束成形以促进与AR系统的通信之外，波束成形还可以在AR系统的一个或多个元件处执行以促进与5G发射器的通信。此外，波束成形可以在AR系统的一个或多个元件处执行，包括AR耳机、手持控制器和/或辅助单元。本领域的普通技术人员将认识到许多变化、修改和替代。
在一些实施例中，5G发射器或其它合适的通信集线器的位置在预定坐标空间(例如，X-Y-Z笛卡尔坐标空间)中是已知的。给定5G发射器的该已知位置，AR系统可以利用5G发射器和AR系统之间的通信路径，例如，使用波束转向，来确定AR系统(或AR系统的元件)相对于5G发射器的已知位置的位置。作为示例，当在5G发射器与AR系统的辅助单元之间建立通信时，可以确定辅助单元相对于5G发射器的已知位置的位置。因此，例如，在AR系统的初始化过程期间，可以确定AR系统的位置。虽然在图8中示出5G，但是本公开的实施例不限于该特定通信标准并且在本公开的范围内可以利用具有已知位置的其它通信集线器。相反，一旦5G发射器和AR系统建立了它们的相对位置，AR系统就可以使用它独立收集的关于其变化的位置或姿态的信息，以便沿波束路径830更准确地执行波束转向，并且可以将关于其变化的位置或姿态的此类信息传送给5G发射器，以便5G发射器沿波束路径812和814更准确地执行波束转向。
还应理解，在此描述的示例和实施例仅用于说明目的，并且本领域技术人员将根据其进行的各种修改或改变将被包括在本申请的精神和范围内和所附权利要求的范围内。

Claims (20)

1.一种电磁跟踪系统，包括：
手持控制器，其包括电磁发射器，所述电磁发射器包括：
第一相控阵元件，其以第一相位为特征；以及
第二相控阵元件，其以与所述第一相位不同的第二相位为特征；
其中，所述第一相控阵元件和所述第二相控阵元件被配置为生成以电磁场模式为特征的可转向电磁波束；以及
头戴式增强现实显示器，其包括被配置为感测所述电磁场模式的电磁传感器。
2.根据权利要求1所述的电磁跟踪系统，进一步包括处理器，所述处理器被配置为：
控制所述第一相位和所述第二相位；以及
基于所述电磁场模式以数字方式计算所述手持控制器的位置和取向。
3.根据权利要求2所述的电磁跟踪系统，其中，所述处理器设置在所述手持控制器中。
4.根据权利要求2所述的电磁跟踪系统，进一步包括包含所述手持控制器的辅助单元。
5.根据权利要求4所述的电磁跟踪系统，其中，所述辅助单元包括腰包。
6.根据权利要求1所述的电磁跟踪系统，其中，通过所述第一相位和所述第二相位的修改来使所述电磁场模式转向。
7.根据权利要求1所述的电磁跟踪系统，其中，所述电磁发射器进一步包括第三相控阵元件，其中，所述第一相控阵元件、所述第二相控阵元件和所述第三相控阵元件设置在一个平面内。
8.根据权利要求7所述的电磁跟踪系统，其中，所述电磁发射器进一步包括第四相控阵元件，其中，所述第一相控阵元件、所述第二相控阵元件和所述第三相控阵元件形成四面体的三个角，并且所述第四相控阵元件形成所述四面体的第四个角。
9.一种确定手持控制器的六自由度(DoF)姿态的方法，所述方法包括：
确定电磁传感器的姿态；
从所述手持控制器生成电磁波束，其中，所述电磁波束以电磁场模式为特征；
将所述电磁波束转向以增加所述电磁传感器处的接收功率；
确定与所述电磁波束相关联的波束角；
确定所述手持控制器与所述电磁传感器之间的距离；以及
使用所述电磁传感器的所述姿态、所述波束角和所述距离确定所述手持控制器的所述六DOF姿态。
10.根据权利要求9所述的方法，其中，所述手持控制器包括电磁发射器，所述电磁发射器包括：
第一相控阵元件，其被配置为以第一相位操作；以及
第二相控阵元件，其被配置为以第二相位操作。
11.根据权利要求10所述的方法，其中，所述电磁发射器进一步包括第三相控阵元件，其中，所述第一相控阵元件、所述第二相控阵元件和所述第三相控阵元件设置在一个平面中。
12.根据权利要求9所述的方法，其中，所述电磁传感器的所述姿态包括头部姿态，并且所述电磁传感器是AR耳机的元件。
13.根据权利要求9所述的方法，其中，将所述电磁波束转向包括将所述电磁波束的中心矢量与从所述手持控制器到所述电磁传感器的矢量对齐。
14.根据权利要求9所述的方法，其中，将所述电磁波束转向以增加所述电磁传感器处的接收功率包括最大化所述电磁传感器处的接收功率。
15.一种非暂态计算机可读介质，其包括指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行包括以下操作的操作：
确定电磁传感器的姿态；
从手持控制器生成电磁波束，其中，所述电磁波束以电磁场模式为特征；
将所述电磁波束转向以增加所述电磁传感器处的接收功率；
确定与所述电磁波束相关联的波束角；
确定所述手持控制器与所述电磁传感器之间的距离；以及
使用所述电磁传感器的所述姿态、所述波束角和所述距离确定所述手持控制器的六自由度(DoF)姿态。
16.根据权利要求15所述的非暂态计算机可读介质，其中，所述手持控制器包括电磁发射器，所述电磁发射器包括：
第一相控阵元件，其被配置为以第一相位操作；以及
第二相控阵元件，其被配置为以第二相位操作。
17.根据权利要求16所述的非暂态计算机可读介质，其中，所述电磁发射器进一步包括第三相控阵元件，其中，所述第一相控阵元件、所述第二相控阵元件和所述第三相控阵元件设置在一个平面中。
18.根据权利要求15所述的非暂态计算机可读介质，其中，所述电磁传感器的所述姿态包括头部姿态，并且所述电磁传感器是AR耳机的元件。
19.根据权利要求15所述的非暂态计算机可读介质，其中，将所述电磁波束转向包括将所述电磁波束的中心矢量与从所述手持控制器到所述电磁传感器的矢量对齐。
20.根据权利要求15所述的非暂态计算机可读介质，其中，将所述电磁波束转向以增加所述电磁传感器处的接收功率包括最大化所述电磁传感器处的接收功率。
CN202080017238.9A 2019-02-28 2020-02-27 利用相控阵波束成形对增强现实系统中的发射器进行六自由度跟踪的方法和系统 Pending CN113543863A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962811914P 2019-02-28 2019-02-28
US62/811,914 2019-02-28
PCT/US2020/020178 WO2020176779A1 (en) 2019-02-28 2020-02-27 Method and system utilizing phased array beamforming for six degree of freedom tracking for an emitter in augmented reality systems

Publications (1)

Publication Number Publication Date
CN113543863A true CN113543863A (zh) 2021-10-22

Family

ID=72239149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080017238.9A Pending CN113543863A (zh) 2019-02-28 2020-02-27 利用相控阵波束成形对增强现实系统中的发射器进行六自由度跟踪的方法和系统

Country Status (5)

Country Link
US (2) US11726582B2 (zh)
EP (1) EP3930865A4 (zh)
JP (1) JP2022521986A (zh)
CN (1) CN113543863A (zh)
WO (1) WO2020176779A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114557780A (zh) * 2022-03-01 2022-05-31 长春理工大学 一种辅助外科手术的三维定位系统及方法
CN114976595A (zh) * 2022-05-17 2022-08-30 南昌黑鲨科技有限公司 一种智能天线系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022521986A (ja) * 2019-02-28 2022-04-13 マジック リープ， インコーポレイテッド 拡張現実システム内のエミッタのための６自由度追跡のためにフェーズドアレイビーム形成を利用する方法およびシステム
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN112822480B (zh) * 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
CN117368848B (zh) * 2023-12-06 2024-05-03 中国海洋大学 基于长短期记忆神经网络的虚拟阵元波束形成方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US8104654B2 (en) * 2007-02-13 2012-01-31 Overton Enterprises, Llc Belt with expandable pouch
US8795082B2 (en) * 2010-01-25 2014-08-05 Rambus Inc. Directional beam steering system and method to detect location and motion
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
NZ735465A (en) * 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
US10254546B2 (en) 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
CA3031276A1 (en) * 2018-02-08 2019-08-08 Ascension Technology Corporation Compensating for distortion in an electromagnetic tracking system
US10651566B2 (en) * 2018-04-23 2020-05-12 The Boeing Company Unit cell antenna for phased arrays
JP2022521986A (ja) * 2019-02-28 2022-04-13 マジック リープ， インコーポレイテッド 拡張現実システム内のエミッタのための６自由度追跡のためにフェーズドアレイビーム形成を利用する方法およびシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114557780A (zh) * 2022-03-01 2022-05-31 长春理工大学 一种辅助外科手术的三维定位系统及方法
CN114557780B (zh) * 2022-03-01 2024-01-26 长春理工大学 一种辅助外科手术的三维定位系统及方法
CN114976595A (zh) * 2022-05-17 2022-08-30 南昌黑鲨科技有限公司 一种智能天线系统

Also Published As

Publication number Publication date
EP3930865A1 (en) 2022-01-05
US20230333670A1 (en) 2023-10-19
WO2020176779A1 (en) 2020-09-03
US20220050533A1 (en) 2022-02-17
US11726582B2 (en) 2023-08-15
JP2022521986A (ja) 2022-04-13
EP3930865A4 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
US11726582B2 (en) Method and system utilizing phased array beamforming for six degree of freedom tracking for an emitter in augmented reality systems
CN109791435B (zh) 虚拟现实或增强现实显示系统中磁传感器和光学传感器的校准
CN108700939B (zh) 用于增强现实的系统和方法
KR102331164B1 (ko) 증강 현실을 위한 시스템들 및 방법들
Foxlin Motion tracking requirements and technologies
JP7455121B2 (ja) 電磁追跡のための周囲電磁歪み補正
US20170205903A1 (en) Systems and methods for augmented reality
CN116300091A (zh) 用于使用位置向量解析半球模糊度的方法和系统
JP2022529245A (ja) 電磁追跡のためのセンサ融合
US11836283B2 (en) Method of operating a directed emitter/sensor for electromagnetic tracking in augmented reality systems
US20210263592A1 (en) Hand and totem input fusion for wearable systems
JP2022518779A (ja) ６自由度の姿勢測定値における半球の曖昧性を解決するための方法およびシステム
JPH0954542A (ja) 動作検出装置、シミュレータ装置及び動作検出方法
Barai et al. Outside-in electromagnetic tracking method for augmented and virtual reality 6-degree of freedom head-mounted displays
Vincent Portable indoor multi-user position tracking system for immersive virtual environments using sensor fusion with multidimensional scaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination