CN111465886B - 头戴式显示器的选择性跟踪 - Google Patents

头戴式显示器的选择性跟踪 Download PDF

Info

Publication number
CN111465886B
CN111465886B CN201880078615.2A CN201880078615A CN111465886B CN 111465886 B CN111465886 B CN 111465886B CN 201880078615 A CN201880078615 A CN 201880078615A CN 111465886 B CN111465886 B CN 111465886B
Authority
CN
China
Prior art keywords
target object
tracking
tracking system
magnetic
magnetic field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880078615.2A
Other languages
English (en)
Other versions
CN111465886A (zh
Inventor
伦佐·德纳尔迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN111465886A publication Critical patent/CN111465886A/zh
Application granted granted Critical
Publication of CN111465886B publication Critical patent/CN111465886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/004—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

跟踪系统跟踪与头戴式显示器(HMD)分离的目标对象。跟踪系统包括第一跟踪设备(例如，照相机)、第二跟踪设备(例如，磁跟踪系统)和选择性跟踪系统。第一跟踪设备使用第一类型的跟踪信息来确定目标对象的位置，并且确定与所确定的位置相关联的跟踪误差。选择性跟踪系统将跟踪误差与阈值进行比较，并且基于该比较，使用第二跟踪设备来确定目标对象的位置。

Description

头戴式显示器的选择性跟踪
背景
本公开总体上涉及头戴式显示器(HMD)，并且具体涉及用于HMD的选择性跟踪系统。
在虚拟现实(VR)或增强现实(AR)环境中使用HMD设备已经变得越来越普遍。传统的HMD设备通常接收语音输入、手势、来自与HMD设备上有限数量的按钮或触摸区域中的一个或更多个的交互的输入。对于用户来说，这些输入机制中的许多在各种环境中实现都不方便或笨拙。现有系统包括独立于HMD设备的控制器，并使用跟踪设备来跟踪控制器。然而，当前的跟踪设备具有有限的视场，当用户将控制器移动到跟踪设备的视场之外时，这些跟踪设备可能无法跟踪控制器。因此，传统系统中控制器的功能可能由于传统系统无法在相应跟踪设备的视场之外跟踪控制器而受到限制。
概述
一种选择性跟踪系统跟踪在HMD周围的局部区域中的一个或更多个目标对象。一个或更多个目标对象耦合到HMD但与其分离。选择性跟踪系统与第一跟踪设备和第二跟踪设备相关联，第一跟踪设备在其有效区域内生成目标对象的第一类型的跟踪信息，第二跟踪设备生成目标对象的第二类型的跟踪信息。选择性跟踪系统选择使用哪个跟踪设备来确定目标对象的位置。
第一跟踪设备的实施例是图像跟踪系统。图像跟踪系统可以包括例如照相机、深度照相机组件或用于跟踪局部区域中的对象的某个其他系统。照相机组件捕获局部区域的一部分的图像。在一些实施例中，照相机组件是深度照相机组件的一部分，深度照相机组件包括将结构光发射到局部区域的照明源。第一类型的跟踪信息包括捕获的图像或基于捕获的图像生成的深度信息。第二跟踪设备的实施例是磁跟踪系统，该系统包括一个或更多个磁传感器和一个或更多个磁场发生器。磁传感器包含在HMD中，且磁场发生器位于目标对象上。磁传感器检测由磁场发生器产生的磁场。第二类型的跟踪信息包括磁场的方向和强度或磁传感器和磁场发生器的空间关系。
选择性跟踪系统基于与第一跟踪设备相关联的跟踪误差选择确定目标对象的位置的跟踪系统。在一些实施例中，跟踪误差指示目标对象在第一跟踪设备的有效区域之外。例如，在第一跟踪设备是深度照相机组件的情况下，跟踪误差指示目标对象不在深度照相机组件的有效视场中。跟踪误差可以基于由图像跟踪设备生成的图像来确定。例如，响应于图像不具有目标对象的至少阈值百分比(例如，80％)，确定存在跟踪误差。
在一个实施例中，选择性跟踪系统默认选择第一跟踪设备。但是一旦确定第一跟踪设备与跟踪误差相关联，选择性跟踪系统就选择第二跟踪设备。在一些实施例中，无论是否选择第二跟踪设备，第二跟踪设备都生成第二类型的跟踪信息。可替代地，第二跟踪设备不生成第二类型的跟踪信息，除非它被选择。
附图说明
图1示出了根据一个或更多个实施例的跟踪系统，其中选择性跟踪系统跟踪耦合到HMD的目标对象。
图2是根据一个或更多个实施例的HMD的接线图(wire diagram)。
图3是根据一个或更多个实施例的选择性跟踪系统的框图。
图4A示出了根据一个或更多个实施例的用于确定磁发生器相对于磁传感器的空间位置的三维框架。
图4B示出了根据一个或更多个实施例的用于确定多个磁场发生器相对于磁传感器的空间位置的框架。
图5示出了根据一个或更多个实施例的用于确定磁场发生器相对于磁传感器的位置的磁跟踪系统。
图6示出了根据一个或更多个实施例的使用磁跟踪系统跟踪目标对象的过程的流程图。
图7是根据一个或更多个实施例的选择性跟踪系统在其中运行的HMD系统的框图。
附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到本文示出的结构和方法的替代实施例可以被采用而不偏离本文所述的本公开的原理或所推崇的益处。
详细描述
图1示出了根据一个或更多个实施例的跟踪系统100，其中选择性跟踪系统140跟踪耦合到HMD 120的目标对象120。跟踪系统100还包括照相机组件130。在其他实施例中，跟踪系统100可以包括不同的、附加的或更少的部件。例如，跟踪系统100可以包括不同数量的目标对象120。此外，跟踪系统100可以包括耦合到HMD 120的HMD控制台。选择性跟踪系统140可以是HMD控制台的一部分。
目标对象110提供允许HMD 120的用户控制HMD 120的输入接口。例如，目标对象110可以是用户控制器、棒等，其包括一个或更多个按钮、按键、可点击垫、滚轮/球、语音输入设备或其任意组合，这些部件允许用户控制HMD 120的媒体呈现。用户可以在HMD 120周围的局部区域中移动目标对象110。目标对象110在局部区域中的位置可以由选择性跟踪系统140跟踪。在图1的实施例中，HMD 120耦合到两个目标对象，每个目标对象由HMD 120的用户的手控制。
如图1所示，目标对象110包括两个磁场发生器115。每个磁场发生器115产生用于跟踪目标对象110的磁场。在一些实施例中，磁场发生器115(例如永磁体或电磁体)位于目标对象110上的预定义(例如，已知)位置，并产生相对于目标对象110固定的磁场。因此，磁场发生器115的空间位置(和/或定向)指示目标对象110的空间位置(和/或定向)。
磁场发生器115包括一个或更多个磁体。每个磁体可以被配置成产生沿着与该磁发生器的其他磁体不同的方向(例如，不同的坐标轴)定向的相应磁场。在一些实施例中，磁场发生器115包括一个或更多个可编程磁体(例如，多磁体(polymagnet))，其提供可编程(例如，软件控制的)磁场特性。这些可编程磁体实现对磁极数量、磁极密度(给定表面区域上的磁极数量)、磁极的空间定向/配置/布局、磁场强度、作为空间坐标(例如，距磁场发生器115的距离)的函数的磁场强度的变化、磁场焦点、同一多磁体的磁极之间或多磁体之间的机械力(例如，吸引力、排斥力、保持力、对准力)等等的控制和可编程可变性。目标对象110可以具有两个以上的磁场发生器115。类似地，例如，在HMD 120包括多个磁传感器115的实施例中，目标对象110可以具有一个磁场发生器115。
HMD 120是向用户呈现内容的头戴式显示器，这些内容包括具有计算机生成的元素(例如，2D或3D图像、2D或3D视频、声音等)的物理的、现实世界环境的虚拟和/或增强的视图。HMD 120所呈现的媒体的示例包括一个或更多个图像、视频、音频或其某种组合。在一些实施例中，经由外部设备(例如，扬声器和/或头戴式耳机)来呈现音频，该外部设备从HMD120接收音频信息并基于该音频信息来呈现音频数据。
HMD 120包括磁传感器125，其检测由磁场发生器115产生的磁场。在图1的实施例中，单个磁传感器125包括在HMD 120中。可替代地，HMD 120可以包括多个磁传感器125，其检测由磁场发生器115产生的磁场。在一些实施例中，磁传感器125包括一个或更多个组成感测元件(例如，一个或更多个磁力计)。在一些实施例中，相对于磁传感器内的其他感测元件，每个感测元件(磁力计)被放置在不同的已知位置。可替代地或附加地，每个感测元件(磁力计)被配置成响应于检测到的磁场而产生信号，该检测到的磁场沿着不同的方向(例如，不同的坐标轴)定向。
磁传感器125和磁场发生器115是磁跟踪系统的部件。磁跟踪系统还包括磁跟踪模块，其基于磁传感器125对磁场发生器115产生的磁场的检测来确定磁跟踪信息。磁跟踪信息可以包括检测到的磁场的方向和强度。可替代地或附加地，磁跟踪信息包括磁传感器125和磁场发生器115之间的空间关系。例如，磁跟踪模块可以使用预期磁场的模型(其可以在初始使用时校准)来确定磁传感器125和磁场发生器115之间的空间关系。因此，可以确定HMD 120和目标对象120之间的相对位置。关于磁传感器和磁场发生器之间的空间关系的更多细节将结合图4A-图4B进行描述。
磁跟踪模块还可以将磁跟踪信息发送到选择性跟踪系统140。在一个实施例中，磁跟踪模块包括在HMD 120中。可替代地，磁跟踪模块的一部分(例如磁跟踪模块的软件部件)可以包括在HMD控制台中。结合图5描述关于磁跟踪系统的更多细节。
照相机组件130包括捕获HMD 120周围的局部区域的图像的一个或更多个照相机。照相机组件130对于每个目标对象120具有有效视场。目标对象110的有效视场是局部区域的一部分。在一个实施例中，目标对象110的有效视场是局部区域种的包括整个目标对象110的一部分。在替代实施例中，目标对象110的有效视场是包括目标对象110的至少阈值百分比的局部区域的一部分。例如，阈值百分比可以是80％。照相机组件130包括传感器(例如，光电二极管、电荷耦合显示器等)，其将光子转换成可以存储在一个或更多个存储器单元中的数字信号。照相机组件130通过读取数字信号产生图像。例如，照相机组件130收集从位于目标对象110的预定位置的发射器(例如，发光二极管)发射的光，以捕获图像。因此，捕获的图像可以显示发射器的位置，其指示目标对象120的位置。可替代地，照相机组件130收集从目标对象110反射的光。例如，照相机组件130是深度照相机组件的一部分，深度照相机组件包括将结构光发射到局部区域的照明源。目标对象110被发射的结构光照亮。照相机组件130可以包括一个或更多个无源红-绿-蓝(RGB)照相机、飞行时间(TOF)系统、有源立体系统或其某种组合。
在一个实施例中，照相机组件130是图像跟踪系统的部件，该图像跟踪系统将捕获的图像作为图像跟踪信息发送到选择性跟踪系统140。在替代实施例中，图像跟踪系统还包括图像跟踪模块，其基于捕获的图像确定深度信息。图像跟踪系统将深度信息作为图像跟踪信息发送到选择性跟踪系统140。
选择性跟踪系统140选择图像跟踪系统或磁跟踪系统，并根据该选择来跟踪目标对象120。在一些实施例中，选择性跟踪系统140默认选择图像跟踪设备。但是选择性跟踪系统140响应于确定图像跟踪系统与跟踪误差相关联而选择磁跟踪系统。在一个实施例中，跟踪误差指示目标对象在照相机组件130的有效视场之外。例如，选择性跟踪系统140(或图像跟踪系统)确定局部区域的一部分的一个或更多个图像是否包括目标对象110的至少阈值百分比。如果图像包括目标对象110的至少阈值百分比，则目标对象110在照相机组件130的有效视场中。在确定目标对象110在照相机组件130的有效视场内之后，选择性跟踪系统140基于图像跟踪信息来确定目标对象110的位置。在选择性跟踪系统140确定目标对象110在照相机组件130的有效视场之外之后，选择性跟踪系统140使用来自磁跟踪系统的磁跟踪信息来确定目标对象110的位置。
跟踪误差的另一个示例是基于图像跟踪信息确定的目标对象110的位置偏离预定位置至少一阈值。阈值可以是预定量的距离，例如10mm或100mm。阈值也可以是目标对象110的尺寸的预定百分比，例如目标对象110的长度的10％。跟踪误差可以由图像跟踪系统、选择性跟踪系统140或两者来确定。此外，在一些实施例中，磁跟踪系统无论其是否被选择都可以是活动的(即，它总是在收集数据)。可替代地，默认情况下，磁跟踪系统保持不活动，而在被选择后变为活动。
图2是根据一个或更多个实施例的HMD 120的接线图。HMD 120可以是例如VR系统、AR系统、MR(混合现实)系统或其某种组合的一部分。在描述AR系统和/或MR系统的实施例中，HMD 120的位于HMD 120的前侧210A和用户的眼睛之间的部分至少是部分透明的(例如，部分透明的电子显示器)。除了前侧210A，HMD 120还包括顶侧210B、底侧210C、右侧210D、左侧210E、前刚性主体220和带230。前刚性主体220还包括惯性测量单元(IMU)240、一个或更多个位置传感器250、参考点260和定位器270。在图1所示的实施例中，位置传感器250位于IMU 240内，并且IMU 240和位置传感器250对用户都不可见。
IMU 240是基于从一个或更多个位置传感器250接收的测量信号来生成IMU数据的电子设备。位置传感器250响应于HMD 120的运动而生成一个或更多个测量信号。位置传感器250的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 240的误差校正的一类传感器或者其某种组合。位置传感器250可以位于IMU 240的外部、IMU 240的内部或者这两种位置的某种组合。
基于来自一个或更多个位置传感器250的一个或更多个测量信号，IMU 240生成IMU数据，该数据指示HMD 120相对于HMD 120的初始位置的估计位置。例如，位置传感器250包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航或横滚)的多个陀螺仪。在一些实施例中，IMU 240对测量信号进行快速采样，并从采样的数据计算HMD 120的估计位置。例如，IMU 240对从加速度计接收的测量信号在时间上求积分以估计速度矢量，并对速度矢量在时间上求积分以确定HMD 120上的参考点的估计位置。参考点260是可以用来描述HMD 120的位置的点。尽管参考点通常可以被定义为空间中的点；然而，在实践中，参考点被定义为HMD 120内的点(例如，IMU240的中心)。HMD还包括磁传感器125。
定位器270相对于彼此并相对于参考点260位于前刚性主体220上的固定位置。因此，定位器270可用于确定参考点260和HMD 120的位置。如图2所示，定位器270或定位器270的部分位于前刚性主体220的前侧210A、顶侧210B、底侧210C、右侧210D和左侧210E。定位器270可以是发光二极管(LED)、角立方体反射器、反光标记、与HMD 120的操作环境形成对比的一类光源、或它们的某种组合。在定位器270是有源的(即，LED或其他类型的发光设备)的实施例中，定位器270可以发射在可见光波段(约380nm至750nm)中、在红外(IR)波段(约750nm至1700nm)中、在紫外波段(10nm至380nm)中、电磁波谱的某个其他部分或其某种组合中的光。
在一些实施例中，定位器270位于HMD 120的外表面之下，该外表面对于由定位器270发射或反射的光的波长是透光的，或者足够薄以至于基本上不减弱由定位器270发射或反射的光的波长。另外，在一些实施例中，HMD 120的外表面或其他部分在光的波长的可见光波段中是不透光的。因此，定位器270可以在外表面下发射在IR波段中的光，该外表面在IR波段中是透光的，但在可见光波段中是不透光的。
图3是根据一个或更多个实施例的选择性跟踪系统300的框图。选择性跟踪系统300的实施例是结合图1描述的选择性跟踪系统140。选择性跟踪系统300确定目标对象(例如，目标对象110)的位置。选择性跟踪系统300从第一跟踪设备和第二跟踪设备(两者均未在图3中示出)接收跟踪信息。第一跟踪设备生成第一类型的跟踪信息，且第二跟踪设备生成第二类型的跟踪信息。在一些实施例中，第一跟踪设备是图像跟踪系统，例如图1中的照相机组件130，第二跟踪设备是结合图1描述的磁跟踪系统。
选择性跟踪系统140包括跟踪设备选择模块310、位置确定模块320、数据库330和校准模块340。在其他实施例中，选择性跟踪系统140可以包括不同的、附加的或更少的部件。
跟踪设备选择模块310选择使用哪个跟踪设备(第一跟踪设备或第二跟踪设备)来确定目标对象的位置。该选择基于与第一跟踪设备相关联的跟踪误差。在一些实施例中，跟踪误差指示由第一跟踪设备生成的第一类型的跟踪信息不能有效地确定目标对象的位置。例如，跟踪误差指示目标对象在第一跟踪设备的有效区域之外。作为另一示例，跟踪误差指示基于第一类型的跟踪信息确定的目标对象的位置偏离预测位置超过阈值。跟踪误差可以由跟踪设备选择模块310或第一跟踪设备生成。
在第一跟踪设备是图像跟踪系统的实施例中，跟踪设备选择模块310可以确定目标对象是否在图像跟踪系统的深度照相机组件的有效区域中。为了确定目标对象是否在深度照相机组件的有效区域中，跟踪设备选择模块310使用由图像跟踪系统生成的局部区域的图像。例如，跟踪设备选择模块310确定图像是否包括目标对象的至少阈值百分比。阈值百分比可以是80％。如果捕获的图像包括目标对象的至少80％，则跟踪设备选择模块310确定目标对象在深度照相机组件的有效区域中；否则，跟踪设备选择模块310确定目标对象在深度照相机组件的有效区域之外。
在跟踪设备选择模块310确定目标对象在深度照相机组件的有效区域中之后，跟踪设备选择模块310选择图像跟踪系统。例如，跟踪设备选择模块310指示位置确定模块320使用图像跟踪信息来确定目标对象的位置。相反，在跟踪设备选择模块310确定目标对象在深度照相机组件的有效区域之外之后，跟踪设备选择模块310选择第二跟踪设备(例如，磁跟踪系统)。第二跟踪设备可以在选择时被激活，以生成第二类型的跟踪信息，并将第二类型的跟踪信息(例如，磁跟踪信息)发送到位置确定模块320。
在一些实施例中，跟踪设备选择模块310向第一跟踪设备和/或第二跟踪设备发送跟踪指令。例如，跟踪设备选择模块310指示第一跟踪设备捕获图像。此外，在选择磁跟踪设备时，跟踪设备选择模块310可以指示磁跟踪设备的磁场发生器产生磁场，并指示磁传感器组件测量产生的磁场的方向和强度。跟踪指令可以由跟踪设备选择模块310生成或者从数据库330中获取。
位置确定模块320基于从跟踪设备选择模块310选择的跟踪设备发送的跟踪信息来确定目标对象的位置。在第一跟踪设备是图像跟踪系统的实施例中，位置确定模块320可以基于局部区域的一部分的图像来确定目标对象的位置。在图像示出位于目标对象的预定位置的发射器的实施例中，位置确定模块320例如通过将捕获的图像与发射器的模型进行比较来确定发射器的位置(和/或定向)。基于发射器的确定位置，位置确定模块320确定目标对象的位置。在图像示出从目标对象反射的结构化光图案的替代实施例中，位置确定模块320可以将捕获的图像与目标对象的模型进行比较，以确定目标对象的位置。例如，位置确定模块320基于被局部区域中的目标对象的形状扭曲的反射结构光的部分的相移图案来确定目标对象的位置。作为另一个示例，对于基于飞行时间的位置确定，位置确定模块320使用与深度照相机组件的每个光电二极管相关联的存储器单元之间的电荷比来确定目标对象的位置。除了图像之外，位置确定模块320还可以基于局部区域的部分的深度信息来确定目标对象的位置。
在跟踪设备选择模块310选择第二跟踪设备(例如，磁跟踪系统)之后，位置确定模块320基于第二类型的跟踪信息(例如，磁跟踪信息)来确定目标对象的位置。例如，位置确定模块320可以将检测到的磁场与预期的模型磁场进行比较，以确定目标对象的位置。或者位置确定模块320可以基于(位于目标对象上的)磁场发生器和(在HMD内的)磁传感器之间的空间关系来确定目标对象相对于HMD的位置。
数据库330存储由选择性跟踪系统140生成和/或使用的数据。数据库330是存储器，例如ROM、DRAM、SRAM或它们的某种组合。数据库330可以是HMD系统的更大数字存储器的一部分。在一些实施例中，数据库330存储第一和第二类型的跟踪信息、来自校准模块390的描述已训练的或已建立的基线的基线数据、目标对象的确定位置、跟踪信息、由选择性跟踪系统140生成的其他类型的信息，或其任意组合。在一些实施例中，数据库330可以存储校准数据和/或来自其他部件的其他数据。
数据库330还存储预期磁场的模型。该模型用于与磁跟踪系统检测到的磁场进行比较，以确定目标对象相对于HMD的位置。数据库330还存储目标对象或目标对象上的发射器的模型。该模型用于与捕获的图像进行比较，以确定目标对象的位置。存储在数据库330中的模型可以是近似于对象的表面几何形状的3D模型。
在一些实施例中，校准序列发生在位置确定之前，并且校准模块340在校准序列期间生成和/或训练存储在数据库150中的目标对象或预期磁场的模型。校准模块340是在一个或更多个处理器、专用硬件单元或其某种组合上实现的软件模块。由校准模块340实现的校准序列可以包括使用图像跟踪系统的深度照相机组件来重复扫描目标对象。目标对象的这些扫描可以被插入到目标对象的模型中。此外，校准序列可以包括使用磁传感器来重复检测由磁场发生器产生的磁场，以确定预期的磁场。
图4A示出了根据一个或更多个实施例的用于确定磁发生器420相对于磁传感器410的空间位置的三维框架400。在图4A的实施例中，空间位置被表示为具有表示多维空间中的空间坐标(位置和/或定向)的多个分量的矢量。在三维(3D)框架400中，空间位置矢量的矢量分量包括沿着三个正交笛卡尔坐标轴(X，Y，Z)的笛卡尔距离和/或相对于三个相互垂直的笛卡尔轴(X，Y，Z)或相互垂直的笛卡尔平面(YZ，XZ和XY)定义的角定向(角度α,
Figure BDA0002524400260000111
ψ)。在一些实施例中，空间位置矢量可以包括沿着三个正交笛卡尔坐标轴(X，Y，Z)的笛卡尔距离，但不包括角定向(角度α,
Figure BDA0002524400260000112
ψ)。
在一个或更多个实施例中，磁场发生器420包括一个或更多个磁体；给定磁发生器420的每个磁体可以被配置成产生沿着与该磁场发生器420的其他磁体不同方向(例如，不同坐标轴)定向的相应磁场。在一些实施例中，磁场发生器420包括三个磁体，这三个磁体沿着三个正交笛卡尔坐标轴产生三个正交磁场。
类似地，磁传感器410包括一个或更多个组成感测元件(例如，一个或更多个磁力计)，每个感测元件(磁力计)被配置成响应于沿着不同方向(例如，不同坐标轴)定向的检测到的磁场而生成信号。例如，磁传感器410包括三个感测元件(例如霍尔效应传感器)，其被配置成生成(输出)对应的信号(例如，电流输出)，该信号与沿着三维空间坐标系的三个不同正交轴(X、Y和Z)的磁场成比例并对其做出响应。
可以针对磁场发生器420和磁传感器410的配对定义空间位置矢量，以表示包括在该配对中的磁场发生器420和磁传感器410之间的沿着三个正交笛卡尔坐标轴(X，Y，Z)的笛卡尔距离。空间位置矢量还可以包括被表示为在磁场发生器420的磁场轴(例如，Hx、Hy和Hz)和磁传感器410的感测轴(例如，X、Y和Z)之间的角(α,
Figure BDA0002524400260000113
ψ)的角定向。可替代地，可以相对于为MS 410或MG 420定义的三个相互垂直的笛卡尔平面(YZ、XZ和XY)来计算角度。
磁跟踪系统可以具有对应于耦合到HMD的多个目标对象的多个磁场发生器。
图4B示出了根据一个或更多个实施例的用于确定多个磁场发生器420-1、420-2和420-n相对于磁传感器410的空间位置的框架450。为了简单起见，图4B中的框架450是二维的。
在一些实施例中，来自不同磁场发生器420-1、420-2、420-n的磁场(H1x，H1y；H2x，H2y；Hnx，Hny)可彼此区分开，允许磁传感器410能够识别来自不同磁发生器MG 420-1、420-2、420-n的磁场，允许对不同磁发生器MG 420-1、420-2、420-n的位置的单独确定。
如图4B所示，包括笛卡尔距离(x，y，z)和角定向(α,
Figure BDA0002524400260000122
ψ)的空间位置矢量(V)可以基于磁传感器410响应于由3D笛卡尔空间中的MG420-1、420-2、420-n产生的磁场(Hx，Hy和Hz)检测到的信号来计算。
在一些实施例中，在3D坐标系中，通过执行从3D空间到2D磁场空间的2D投影来解决3D传感器空间中位置的空间模糊。这个2D投影包括三个未知的旋转角度，且可以用数学方法表示如下：
Figure BDA0002524400260000121
其中，H是传感器矢量，以及TR,P,Y是具有对应于角定向(α,
Figure BDA0002524400260000123
ψ)的三个未知变量R(横滚)、P(俯仰)和Y(偏航)的旋转矩阵，以将3D传感器空间投影到2D磁场空间。由于方程(1)是一个欠约束系统，所以有三个方程(Hx，Hy，Hz)用于确定五个未知变量(R，P，Y，r，θ)。在一些实施例中，确定全局最优解的搜索过程用于对未知变量(例如，R、P、Y)求解。
图5示出了根据一个或更多个实施例的用于确定磁场发生器520-1、520-2、520-n相对于磁传感器510的位置的磁跟踪系统500。磁跟踪系统500还包括偏置/驱动电路530、测量电路540、位置分析器550、定向分析器560和刺激产生电路570。在各种实施例中，磁跟踪系统500可以包括与结合图5描述的那些部件相比不同的或附加的部件。此外，在一些实施例中，由下面结合图5描述的不同部件提供的功能可以在磁跟踪系统500的各种部件之间不同地分配。例如，磁跟踪系统500可以包括磁传感器组件，该磁传感器组件包括磁传感器510、偏置/驱动电路530、测量电路540、位置分析器550、定向分析器560和刺激产生电路570。
在图5所示的示例中，磁跟踪系统500包括磁传感器510和一个或更多个附加磁传感器525。另外，磁跟踪系统500包括一个或更多个磁场发生器520-1、520-2、520-n。附加传感器525可以包括惯性传感器，例如加速度计和陀螺仪。
磁跟踪系统500还包括偏置/驱动电路530，该偏置/驱动电路530用于向磁传感器510、一个或更多个附加传感器525以及磁场发生器520-1、520-2、520-n提供偏置信号(例如功率和其他操作信号)和驱动信号(例如刺激/驱动电流和电压)。可以基于例如频率、定时、调制码、调制模式等的属性来将提供给磁场发生器520-1、520-2、520-n中的每个的驱动信号与提供给其他磁场发生器520-1、520-2、520-n的相应驱动信号消歧。
测量电路540检测并选择来自磁传感器510和一个或更多个附加传感器525的信号，并可选地对检测到的信号进行预处理(例如，滤波、放大、去噪)。磁传感器510可以具有与特定频率谐振的感测元件，并且可以被调谐以响应这些频率，从而允许磁传感器510检测由在不同频率上操作的不同磁场发生器520-1、520-2、520-n产生的磁场。例如，测量电路540包括带通滤波器，每个带通滤波器以不同的频率为中心，以提取和区分从不同的单独磁场发生器520-1、520-3、520-n检测到的磁场。在一种实施方式中，带通滤波器是6阶有限脉冲响应(FIR)滤波器，在距离中心频率+2Hz和-2Hz处具有3dB截止。如果磁跟踪系统500的数据速率是220个样本/秒，则可用带宽约为260Hz，因此在一个实施例中，不同的磁场发生器520-1、520-2、520-n可以在70Hz、85Hz、400Hz、115Hz和125Hz操作。
测量电路540可以包括模拟解调器和选择滤波器，用于将检测到的信号转换到基带(具有感兴趣的信号内容的频率范围)。此外，测量电路540可以包括数字信号处理器，用于对检测到的或基带转换的信号进行数字滤波，以进一步选择感兴趣的频率分量。
位置分析器550接收来自测量电路540的输出，并产生对应于每对磁场发生器520-1、520-2、520-n和磁传感器510的空间位置矢量(V1、V2、Vn等)。对应于一对磁场发生器520-1和磁传感器510的空间位置矢量表示磁场发生器520-1相对于磁传感器510的位置。空间位置矢量可以被输入到选择性跟踪系统140，例如选择性跟踪系统140的位置确定模块320，以确定目标对象相对于HMD的位置。
刺激产生电路560产生信号，该信号基于测量的或检测的信号修改磁传感器510、一个或更多个附加传感器525以及一个或更多个磁场发生器520-1、520-2、520-n的偏置和驱动特性。刺激产生电路570可以从位置分析器550和定向分析器550或者从测量电路540接收信号，并且基于接收的信号修改由磁场发生器520-1、520-2、520-n产生的磁场的一个或更多个属性。
图6示出了根据一个或更多个实施例的使用磁跟踪系统跟踪目标对象的过程600的流程图。过程600由结合图3描述的选择性跟踪系统300执行。可替代地，其他部件可以执行过程600的一些或全部步骤。例如，在一些实施例中，HMD和/或控制台可以执行过程600的一些步骤。此外，该方法可以包括与下面结合图6描述的那些步骤相比不同的或附加的步骤。在一些实施例中，该方法的步骤可以以与结合图6描述的顺序不同的顺序来执行。
选择性跟踪系统300确定610目标对象在第一跟踪设备的有效跟踪区域之外，该目标对象包括被配置成产生磁场的磁场发生器。第一跟踪设备的示例是捕获局部区域的图像的深度照相机组件。选择性跟踪系统140基于捕获的图像确定610目标对象是否在第一跟踪设备的有效跟踪区域之外。例如，选择性跟踪系统140响应于所捕获的图像包括小于80％的目标对象的确定，来确定610目标对象在第一跟踪设备的有效跟踪区域之外。在一些实施例中，代替确定目标对象在第一跟踪设备的有效跟踪区域之外，选择性跟踪系统300接收或生成跟踪误差，该跟踪误差指示基于第一跟踪设备生成的跟踪信息确定的目标对象的位置偏离预测位置超过阈值。
选择性跟踪系统300使用耦合到与目标对象分离的HMD的磁传感器组件来检测620磁场。HMD可以被目标对象控制。磁传感器组件包括检测磁场强度和方向的一个或更多个磁传感器。
选择性跟踪系统300使用磁场确定630目标对象的位置。例如，选择性跟踪系统140确定磁场发生器的空间位置矢量。空间位置矢量表示多维空间中的空间坐标(位置和/或定向)，其指示磁场发生器相对于磁传感器组件的位置。因此，可以确定目标对象相对于HMD的位置。
图7是根据一个或更多个实施例的跟踪系统140在其中运行的HMD系统700的框图。HMD系统700可以在VR系统环境、AR系统环境、MR系统环境或其某种组合中运行。图7所示的HMD系统700包括耦合到HMD 720的HMD控制台710、目标对象110和第一跟踪设备730。虽然图7示出了包括一个HMD 720和一个目标对象110的示例系统700，但是在其他实施例中，系统700中可以包括任何数量的这些部件。例如，可以有多个HMD 720，每个HMD具有相关联的目标对象110并与HMD控制台710通信。在替代配置中，系统环境700中可以包括不同和/或附加的部件。类似地，一个或更多个部件的功能可以以不同于本文描述的方式在部件之间分配。例如，HMD控制台710的一些或全部功能可以包含在HMD720内。
图1中的HMD 120是HMD 720的一个实施例。HMD 720包括电子显示器722、光学器件块(optics block)724、IMU 240、一个或更多个位置传感器250、参考点260和磁传感器组件726。在一些实施例中，HMD 720还可以可选地包括定位器270。HMD 720的一些实施例具有不同于这里描述的部件。
在一些实施例中，IMU 240例如从HMD控制台710接收一个或更多个校准参数。一个或更多个校准参数用于保持对HMD 720的跟踪。基于接收到的校准参数，IMU 240可以调整一个或更多个IMU参数(例如，采样率)。在一些实施例中，某些校准参数使得IMU 240更新参考点260的初始位置，使得其对应于参考点260的下一个校准位置。将参考点260的初始位置更新为参考点260的下一个校准位置有助于降低与所确定的估计位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点260的估计位置随着时间的推移“漂移”离开参考点260的实际位置。磁传感器组件726测量由位于目标对象110上的磁场发生器125产生的磁场的强度和方向。
目标对象110是允许用户向HMD控制台710发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。目标对象110可以包括一个或更多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器或用于接收动作请求并将接收到的动作请求传送到HMD控制台710的任何其他合适的设备。由目标对象110接收的动作请求被传送到HMD控制台710，其执行对应于该动作请求的动作。在一些实施例中，目标对象110可以根据从HMD控制台710接收的指令来向用户提供触觉反馈。例如，在接收到动作请求之后提供触觉反馈，或者HMD控制台710向目标对象110传送指令，使得HMD输入接口830在HMD控制台710执行动作之后生成触觉反馈。
目标对象110包括产生磁场的磁场发生器115。磁场发生器115包括一个或更多个磁体。每个磁体可以产生沿不同方向定向的磁场。磁场发生器115位于目标对象110上的预定义位置，并产生相对于目标对象110固定的磁场。因此，磁场发生器的空间位置(和/或定向)指示目标对象110的空间位置(和/或定向)。
磁场发生器115和磁传感器组件726是生成磁跟踪信息的磁跟踪系统的部件。基于由磁场发生器115产生并由磁传感器组件726检测的磁场来生成磁跟踪信息。磁跟踪信息可以包括磁场的强度和方向或者磁场发生器115和磁传感器组件726的空间关系。
第一跟踪设备730的实施例包括捕获HMD 720周围的局部区域的图像的照相机组件(例如，图1中的照相机组件130)，目标对象110也可以位于该局部区域。在一些实施例中，照相机组件是深度照相机组件的一部分，深度照相机组件包括将结构光发射到局部区域的照明源。第一跟踪设备730生成第一类型的跟踪信息，并将第一类型的跟踪信息发送到选择性跟踪系统140。第一类型的跟踪信息可以包括捕获的图像或基于捕获的图像生成的深度信息。捕获的图像或深度信息可用于确定目标对象110的位置。在一些实施例中，第一跟踪设备730附着在HMD 720上或包括在其中，使得捕获的图像可以用于确定目标对象110相对于HMD 720的位置。可替代地，第一跟踪设备730与HMD 720分离或在它的外部。HMD控制台710根据从HMD 720和/或目标对象110接收的信息来向HMD 720提供媒体以呈现给用户。在图7所示的示例中，HMD控制台710包括应用储存器712、HMD跟踪模块714、HMD引擎716和选择性跟踪系统140。HMD控制台710的一些实施例具有与结合图7描述的模块不同的模块。类似地，下面进一步描述的功能可以以不同于这里所描述的方式在HMD控制台710的部件当中分配。
应用储存器712存储用于由HMD控制台710执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由HMD 720或目标对象110的移动而从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
HMD跟踪模块714使用一个或更多个校准参数来校准HMD系统700，并且可以调整一个或更多个校准参数以降低HMD 720位置确定中的误差。此外，由HMD跟踪模块714执行的校准也考虑了从IMU 240接收的信息。另外，如果失去了对HMD 720的跟踪，则HMD跟踪模块714重新校准HMD系统700中的一些或全部。
HMD跟踪模块714跟踪HMD 720的运动。HMD跟踪模块714使用来自IMU数据的位置信息来确定HMD 720的参考点260的位置。在一些实施例中，HMD跟踪模块714可以使用IMU数据的部分来预测HMD 720的未来位置。附加地或可替代地，HMD跟踪模块714可以使用定位器270来跟踪HMD 720的运动。此外，HMD跟踪模块714可以使用选择性跟踪系统140生成的信息来跟踪HMD 720的运动。例如，选择性跟踪系统140确定对象相对于HMD 720周围的局部区域是静止的位置。使用对象的位置，HMD跟踪模块714可以确定对象相对于HMD 720的移动，这与HMD720在局部区域中的移动相反。HMD跟踪模块714向HMD引擎716提供HMD 720的估计或预测的未来位置。
HMD引擎716执行系统环境100内的应用，并从HMD跟踪模块714接收HMD 720的位置信息、加速度信息、速度信息、所预测的未来位置或其某种组合。基于接收到的信息，HMD引擎716确定要提供给HMD 720用于向用户呈现的内容。例如，如果接收到的位置信息指示目标对象110已经远离HMD 720移动，则HMD引擎716生成用于HMD 720的内容，该内容反映目标对象110在增强现实环境中的移动。另外，HMD引擎716响应于从目标对象110接收的动作请求来在HMD控制台710上执行的应用内执行动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 720的视觉或听觉反馈，或者经由目标对象110的触觉反馈。
选择性跟踪系统140基于由图像跟踪系统生成的图像跟踪信息或者由磁跟踪系统生成的磁跟踪信息来确定目标对象110的位置。该选择基于图像跟踪系统是否与跟踪误差相关联。跟踪误差指示由图像跟踪系统生成的图像跟踪信息不能有效地确定目标对象110的位置。在没有这种跟踪误差的情况下，选择性跟踪系统140选择图像跟踪系统；否则，它选择磁跟踪系统。
附加配置信息
本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。这些算法描述和表示通常被数据处理领域的技术人员用来将他们工作的实质有效地传达给本领域的其他技术人员。这些操作虽然在功能上、计算上或逻辑上被描述，但被理解为由计算机程序或等效电路、微码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，该计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
本公开的实施例也可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，其可以耦合到计算机系统总线。此外，本说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的体系结构。
本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开旨在对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims (19)

1.一种跟踪系统，包括：
照相机组件，其被配置为捕获头戴式显示器周围的局部区域的一个或更多个图像，并且包括图像跟踪系统；
耦合到目标对象的磁场发生器，所述磁场发生器被配置成产生磁场；
磁传感器组件，其耦合到头戴式显示器并且包括磁跟踪系统，其中，所述头戴式显示器与所述目标对象分离，所述磁传感器组件被配置成检测所述磁场；
选择性跟踪系统，其包括跟踪设备选择模块，所述选择性跟踪系统被配置为跟踪所述目标对象，其中所述选择性跟踪系统被配置为：
使用所捕获的图像来确定所述目标对象是否在所述照相机组件的有效视场内，以及
响应于所述目标对象在所述有效视场之外，激活所述磁跟踪系统，以使用检测到的磁场来确定所述目标对象的位置，以及
响应于所述目标对象在所述有效视场内，选择所述图像跟踪系统，以使用所捕获的图像来确定所述目标对象的位置。
2.根据权利要求1所述的跟踪系统，其中，所述选择性跟踪系统还被配置成：
确定所捕获的图像是否包括所述目标对象的至少阈值百分比；和
响应于确定所捕获的图像不包括所述目标对象的至少阈值百分比，确定所述目标对象在所述照相机组件的有效视场之外。
3.根据权利要求1所述的跟踪系统，其中，所述选择性跟踪系统还被配置成：
基于磁跟踪信息来确定所述目标对象的位置，其中，基于由所述磁传感器检测到的磁场的强度和方向来生成所述磁跟踪信息。
4.根据权利要求3所述的跟踪系统，其中，所述磁跟踪信息包括表示多维空间中的空间坐标的空间位置矢量。
5.根据权利要求1所述的跟踪系统，其中，所述磁场发生器位于所述目标对象上的预定义位置，并且被配置为产生相对于所述目标对象固定的磁场。
6.根据权利要求1所述的跟踪系统，其中，所述照相机组件是深度照相机组件的一部分，所述深度照相机组件包括将结构光发射到所述局部区域的照明源。
7.一种跟踪系统，包括：
第一跟踪设备，其被配置为生成在局部区域内的在所述第一跟踪设备的有效区域中的目标对象的第一类型的跟踪信息；
耦合到所述目标对象的磁场发生器，所述磁场发生器被配置成产生磁场；
磁传感器组件，其耦合到头戴式显示器并且包括磁跟踪系统，其中，所述头戴式显示器与所述目标对象分离，所述磁传感器组件被配置成检测所述磁场；
选择性跟踪系统，其包括跟踪设备选择模块，所述选择性跟踪系统被配置为跟踪所述目标对象，其中所述选择性跟踪系统被配置为：
确定所述目标对象在所述第一跟踪设备的有效跟踪区域之外，以及
激活所述磁跟踪系统，以使用所述磁场来确定所述目标对象的位置。
8.根据权利要求7所述的跟踪系统，其中，所述第一跟踪设备包括捕获所述局部区域的图像的照相机组件。
9.根据权利要求8所述的跟踪系统，其中，所述选择性跟踪系统还被配置成：
确定所捕获的图像是否包括所述目标对象的至少阈值百分比；和
响应于确定所捕获的图像不包括所述目标对象的至少阈值百分比，确定所述目标对象在所述第一跟踪设备的有效视场之外。
10.根据权利要求7所述的跟踪系统，其中，所述选择性跟踪系统还被配置成：
基于磁跟踪信息来确定所述目标对象的位置，其中，基于由所述磁传感器检测到的磁场的强度和方向来生成所述磁跟踪信息。
11.根据权利要求10所述的跟踪系统，其中，所述磁跟踪信息包括表示多维空间中的空间坐标的空间位置矢量。
12.根据权利要求7所述的跟踪系统，其中，所述磁场发生器位于所述目标对象上的预定义位置，并且被配置为产生相对于所述目标对象固定的磁场。
13.根据权利要求8 所述的跟踪系统，其中，所述照相机组件是深度照相机组件的一部分，所述深度照相机组件包括将结构光发射到所述局部区域的照明源。
14.一种跟踪系统，包括：
第一跟踪设备，其被配置为生成在局部区域内的在所述第一跟踪设备的有效区域中的目标对象的第一类型的跟踪信息；
耦合到所述目标对象的磁场发生器，所述磁场发生器被配置成产生磁场；
磁传感器组件，其耦合到头戴式显示器并且包括磁跟踪系统，其中，所述头戴式显示器与所述目标对象分离，所述磁传感器组件被配置成检测所述磁场；
选择性跟踪系统，其包括跟踪设备选择模块，所述选择性跟踪系统被配置为跟踪所述目标对象，其中所述选择性跟踪系统被配置为：
使用所述第一类型的跟踪信息来确定所述目标对象的位置；
确定与所确定的位置相关联的跟踪误差，
将所述跟踪误差与阈值进行比较，以及
基于所述比较，激活所述磁跟踪系统，以使用所述磁场来确定所述目标对象的位置。
15.根据权利要求14所述的跟踪系统，其中，所述第一跟踪设备包括捕获所述局部区域的部分的图像的照相机。
16.根据权利要求15所述的跟踪系统，其中，所述跟踪误差指示所述目标对象在所述照相机的有效视场之外。
17.根据权利要求14所述的跟踪系统，其中，所述选择性跟踪系统还被配置成：
使用所述磁场生成磁跟踪信息，所述磁跟踪信息包括表示多维空间中的空间坐标的空间位置矢量。
18.根据权利要求14所述的跟踪系统，其中，所述磁场发生器位于所述目标对象上的预定义位置，并且被配置为产生相对于所述目标对象固定的磁场。
19.根据权利要求14所述的跟踪系统，其中，所述第一跟踪设备是深度照相机组件，所述深度照相机组件包括将结构光发射到所述局部区域的照明源和捕获所述局部区域的图像的至少一个照相机。
CN201880078615.2A 2017-12-08 2018-12-07 头戴式显示器的选择性跟踪 Active CN111465886B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/835,846 2017-12-08
US15/835,846 US10514545B2 (en) 2017-12-08 2017-12-08 Selective tracking of a head-mounted display
PCT/US2018/064560 WO2019113504A1 (en) 2017-12-08 2018-12-07 Selective tracking of a head-mounted display

Publications (2)

Publication Number Publication Date
CN111465886A CN111465886A (zh) 2020-07-28
CN111465886B true CN111465886B (zh) 2022-02-22

Family

ID=66696666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880078615.2A Active CN111465886B (zh) 2017-12-08 2018-12-07 头戴式显示器的选择性跟踪

Country Status (4)

Country Link
US (1) US10514545B2 (zh)
EP (2) EP3721284B1 (zh)
CN (1) CN111465886B (zh)
WO (1) WO2019113504A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554363B (en) * 2016-09-21 2021-12-08 Cmr Surgical Ltd User interface device
CN110494792B (zh) * 2018-03-07 2021-07-09 奇跃公司 外围设备的视觉跟踪
US10725549B2 (en) * 2018-03-29 2020-07-28 Cirrus Logic, Inc. Efficient detection of human machine interface interaction using a resonant phase sensing system
US11092657B2 (en) 2018-03-29 2021-08-17 Cirrus Logic, Inc. Compensation of changes in a resonant phase sensing system including a resistive-inductive-capacitive sensor
US10908200B2 (en) 2018-03-29 2021-02-02 Cirrus Logic, Inc. Resonant phase sensing of resistive-inductive-capacitive sensors
US10921159B1 (en) 2018-03-29 2021-02-16 Cirrus Logic, Inc. Use of reference sensor in resonant phase sensing system
US10642435B2 (en) 2018-03-29 2020-05-05 Cirrus Logic, Inc. False triggering prevention in a resonant phase sensing system
EP4286894A3 (en) 2018-09-05 2024-01-24 Magic Leap, Inc. Directed emitter/sensor for electromagnetic tracking in augmented reality systems
US11536758B2 (en) 2019-02-26 2022-12-27 Cirrus Logic, Inc. Single-capacitor inductive sense systems
US11402946B2 (en) 2019-02-26 2022-08-02 Cirrus Logic, Inc. Multi-chip synchronization in sensor applications
US10948313B2 (en) 2019-02-26 2021-03-16 Cirrus Logic, Inc. Spread spectrum sensor scanning using resistive-inductive-capacitive sensors
US10935620B2 (en) 2019-02-26 2021-03-02 Cirrus Logic, Inc. On-chip resonance detection and transfer function mapping of resistive-inductive-capacitive sensors
US10852828B1 (en) * 2019-07-17 2020-12-01 Dell Products, L.P. Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US11054923B2 (en) * 2019-10-11 2021-07-06 Finch Technologies Ltd. Automatic switching between different modes of tracking user motions to control computer applications
US11079874B2 (en) 2019-11-19 2021-08-03 Cirrus Logic, Inc. Virtual button characterization engine
GB202008826D0 (en) * 2020-06-10 2020-07-22 Essence Security International Esi Ltd Sensing device for access point
US11579030B2 (en) 2020-06-18 2023-02-14 Cirrus Logic, Inc. Baseline estimation for sensor system
US11835410B2 (en) 2020-06-25 2023-12-05 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
US11868540B2 (en) 2020-06-25 2024-01-09 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
CN112181138B (zh) * 2020-09-16 2022-05-03 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法
US11619519B2 (en) 2021-02-08 2023-04-04 Cirrus Logic, Inc. Predictive sensor tracking optimization in multi-sensor sensing applications
US11808669B2 (en) 2021-03-29 2023-11-07 Cirrus Logic Inc. Gain and mismatch calibration for a phase detector used in an inductive sensor
US11821761B2 (en) 2021-03-29 2023-11-21 Cirrus Logic Inc. Maximizing dynamic range in resonant sensing
US11507199B2 (en) 2021-03-30 2022-11-22 Cirrus Logic, Inc. Pseudo-differential phase measurement and quality factor compensation
US20230055773A1 (en) * 2021-08-23 2023-02-23 Shanghai Jiao Tong University Object tracking method, device, backend and medium
US11979115B2 (en) 2021-11-30 2024-05-07 Cirrus Logic Inc. Modulator feedforward compensation
US11854738B2 (en) 2021-12-02 2023-12-26 Cirrus Logic Inc. Slew control for variable load pulse-width modulation driver and load sensing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533369A (zh) * 2015-02-20 2018-01-02 索尼互动娱乐股份有限公司 带有外围装置的手套指尖的磁性跟踪

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW395121B (en) 1996-02-26 2000-06-21 Seiko Epson Corp Personal wearing information display device and the display method using such device
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
US8632182B2 (en) * 2011-05-05 2014-01-21 Sony Computer Entertainment Inc. Interface using eye tracking contact lenses
US9459457B2 (en) 2011-12-01 2016-10-04 Seebright Inc. Head mounted display with remote control
US10162177B2 (en) * 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US20160259404A1 (en) * 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
WO2017139871A1 (en) 2016-02-18 2017-08-24 Vrvana Inc. Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
US20170287219A1 (en) 2016-03-31 2017-10-05 Adam G. Poulos Electromagnetic tracking of objects for mixed reality
US10261162B2 (en) * 2016-04-26 2019-04-16 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US10268266B2 (en) * 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
KR102529137B1 (ko) * 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
US10754417B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US10248191B2 (en) * 2016-12-12 2019-04-02 Microsoft Technology Licensing, Llc Virtual rigid framework for sensor subsystem
JP2018124721A (ja) * 2017-01-31 2018-08-09 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US10760931B2 (en) * 2017-05-23 2020-09-01 Microsoft Technology Licensing, Llc Dynamic control of performance parameters in a six degrees-of-freedom sensor calibration subsystem
US10380798B2 (en) * 2017-09-29 2019-08-13 Sony Interactive Entertainment America Llc Projectile object rendering for a virtual reality spectator
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
JP2019105885A (ja) * 2017-12-08 2019-06-27 セイコーエプソン株式会社 頭部装着型表示装置、情報処理装置、情報処理システム、及び頭部装着型表示装置の制御方法
JP2019105777A (ja) * 2017-12-14 2019-06-27 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US10671239B2 (en) * 2017-12-18 2020-06-02 Sony Interactive Entertainment America Llc Three dimensional digital content editing in virtual reality
JP2019128693A (ja) * 2018-01-23 2019-08-01 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533369A (zh) * 2015-02-20 2018-01-02 索尼互动娱乐股份有限公司 带有外围装置的手套指尖的磁性跟踪

Also Published As

Publication number Publication date
WO2019113504A1 (en) 2019-06-13
EP4015984A1 (en) 2022-06-22
US10514545B2 (en) 2019-12-24
EP3721284A1 (en) 2020-10-14
EP3721284B1 (en) 2023-05-03
CN111465886A (zh) 2020-07-28
EP3721284A4 (en) 2021-04-28
US20190179146A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN111465886B (zh) 头戴式显示器的选择性跟踪
US11029757B1 (en) Detecting positions of magnetic flux sensors having particular locations on a device relative to a magnetic field generator located at a predetermined position on the device
US10095031B1 (en) Non-overlapped stereo imaging for virtual reality headset tracking
JP6381711B2 (ja) 仮想現実システムの較正
US10852847B2 (en) Controller tracking for multiple degrees of freedom
US20210142508A1 (en) Calibration system and method to align a 3d virtual scene and a 3d real world for a stereoscopic head-mounted display
US9524021B2 (en) Imaging surround system for touch-free display control
CN106774880B (zh) 用户控制装置的在空间中的三维跟踪
US10191561B2 (en) Tracking controllers of a virtual reality system
Lobo et al. Vision and inertial sensor cooperation using gravity as a vertical reference
WO2017134886A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11347310B2 (en) Tracking positions of portions of a device based on detection of magnetic fields by magnetic field sensors having predetermined positions
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
US20180088676A1 (en) Gesture interface
KR101341727B1 (ko) 3ｄ ｇｕｉ 제어 장치 및 방법
US9774989B2 (en) Position and rotation of a portable device relative to a television screen
CN108257177B (zh) 基于空间标识的定位系统与方法
US10974148B2 (en) Information processing apparatus and user guide presentation method
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
CN109716396A (zh) 信息处理设备、信息处理方法和程序
CN106384365B (zh) 一种包含深度信息获取的扩增实境系统及其方法
US9551922B1 (en) Foreground analysis on parametric background surfaces
Kleinschmidt et al. Tracking Solutions for Mobile Robots: Evaluating Positional Tracking using Dual-axis Rotating Laser Sweeps.
CN116635893A (zh) 用于确定三维位置的方法和系统
van den Heuvel et al. Detecting 3D position and orientation of a wii remote using webcams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC