CN114945854A - 头戴式显示系统的位置跟踪系统 - Google Patents

头戴式显示系统的位置跟踪系统 Download PDF

Info

Publication number
CN114945854A
CN114945854A CN202180007924.2A CN202180007924A CN114945854A CN 114945854 A CN114945854 A CN 114945854A CN 202180007924 A CN202180007924 A CN 202180007924A CN 114945854 A CN114945854 A CN 114945854A
Authority
CN
China
Prior art keywords
polarizer
light
angle
detector
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180007924.2A
Other languages
English (en)
Inventor
约书亚·马克·胡德曼
卡梅伦·韦德·罗施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN114945854A publication Critical patent/CN114945854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0136—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of polarisation, e.g. state of polarisation [SOP] control, polarisation scrambling, TE-TM mode conversion or separation
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • G02F1/139—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent
    • G02F1/1396—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent the liquid crystal being selectively controlled between a twisted state and a non-twisted state, e.g. TN-LC cell
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/07—Polarisation dependent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

用于跟踪头戴式显示器(HMD)系统部件的位置的系统和方法。HMD部件可以承载能够检测从光源发射的光的角度的多个角度敏感检测器。HMD部件可以包括一个或多个散射检测器，其检测光是否已经被散射或反射，因此可以忽略这种光。控制电路使光源根据指定的模式发光，并从多个角度敏感检测器接收传感器数据。处理器可以例如使用机器学习或其它技术处理传感器数据和散射检测器数据，以跟踪HMD部件的位置。角度敏感检测器可以包括具有随位置变化的偏振模式的空间变化偏振器和一个或多个偏振器层，它们一起用于检测入射光的角度。

Description

头戴式显示系统的位置跟踪系统
技术领域
本公开大体上涉及针对对象(例如头戴式显示系统和与头戴式显示系统相关联的控制器)的位置跟踪。
背景技术
当前一代虚拟现实(“VR”)或增强现实(“AR”)体验是使用头戴式显示器(“HMD”)创建的，所述头戴式显示器可连接到固定计算机(例如个人计算机(“PC”)、膝上型计算机或游戏控制台)，与智能电话和/或关联的显示器组合和/或集成，或自包含。通常，HMD是佩戴在用户头部上的显示设备，其在一只眼睛(单目HMD)或每只眼睛(双目HMD)的前面具有小显示设备。显示单元通常是小型化的，可以例如包括CRT、LCD、硅基液晶(LCos)或OLED技术。双目HMD具有向每只眼睛显示不同图像的潜力。这种能力被用于显示透视图像。
随着智能电话、高清晰度电视以及其它电子设备的发展，对具有增强性能的显示器的需求增加。虚拟现实和增强现实系统，特别是使用HMD的那些系统的日益普及，已经进一步增加了这种需求。虚拟现实系统通常完全包围佩戴者的眼睛，并用“虚拟”现实代替佩戴者前方的实际或物理视图(或实际现实)，而增强现实系统通常在佩戴者眼睛前方提供一个屏幕或多屏幕的半透明或透明覆盖，使得用附加信息增强实际视图，并且介导现实系统可以类似地将真实世界元素与虚拟元素相结合地将信息呈现给观看者。在许多虚拟现实和增强现实系统中，可以通过各种方式来跟踪这种头戴式显示器的佩戴者的运动，例如通过头戴式显示器中的传感器、控制器或外部传感器，以便使得能够显示图像来反映用户的运动并允许环境交互。
位置跟踪允许HMD系统估计一个或多个部件相对于彼此和周围环境的位置。位置跟踪可以利用硬件和软件的组合来实现对HMD系统的部件的绝对位置的检测。位置跟踪是AR或VR系统的重要技术，使得能够以六个自由度(6DOF)来跟踪HMD(和/或控制器或其它外围设备)的运动。
位置跟踪技术可以被用于改变用户的视角以反映不同的动作，例如跳跃或下蹲，并且可以允许在虚拟环境中准确表示用户的手和其他对象。位置跟踪还可以例如通过使用手势通过触摸移动虚拟对象来增加物理环境和虚拟环境之间的连接。位置跟踪改善了源于视差的用户对虚拟环境的3D感知，这有助于对距离的感知。而且，位置跟踪可以帮助最小化由眼睛所看到的内容和用户耳朵前庭系统所感觉到的内容的输入之间的断开引起的晕动病。
存在不同的位置跟踪方法。这些方法可以包括声跟踪、惯性跟踪、磁跟踪、光学跟踪、它们的组合等。
发明内容
角度敏感检测器可以概括为包括第一偏振器，用于接收和过滤来自光源的光；与第一偏振器光学对准的空间变化偏振器，空间变化偏振器包括被配置为通过入射光相对于角度敏感检测器的入射角来唯一地区分入射光的偏振模式；第二偏振器，其与空间变化偏振器光学对准，以接收和过滤从空间变化偏振器接收的光；以及光电检测器，其被定位成接收来自第二偏振器的光，光电检测器用于输出至少一个强度信号，强度信号指示入射光相对于角度敏感检测器的入射角。
空间变化偏振器可以包括液晶材料。空间变化偏振器可以包括多扭曲延迟器。空间变化偏振器能够被关闭，并且当空间变化偏振器被关闭时，空间变化偏振器能够停止改变入射光的偏振。空间变化偏振器可以包括相位延迟器。空间变化偏振器可以在第一端提供线性偏振，并且可以向与第二端相对的第二端逐渐增加延迟。空间变化偏振器可以在第二端提供四分之一波长延迟。第一偏振器和第二偏振器可以每个包括线性偏振片。第一偏振器和第二偏振器可以每个包括具有相同偏振方向的线性偏振片。
角度敏感检测器可以被概括为包括第一偏振器，其被配置为：接收光；过滤光；输出过滤后的光的第一分量；空间变化偏振器，其具有限定了分别与多个位置相关联的多个偏振转换特性的随位置变化的偏振模式，多个偏振转换特性用于根据第一分量入射空间变化偏振器的位置而不同地改变第一分量的偏振，空间变化偏振器被配置为：在多个位置的第一位置处接收第一分量；根据多个偏振转换特性中的与第一位置相关联的第一偏振转换特性来改变第一分量的偏振；输出偏振转换后的第一分量；第二偏振器，其被配置为：接收偏振转换后的第一分量；对偏振转换后的第一分量进行过滤；输出偏振转换后的第一分量的第二分量；以及光电检测器，其被配置为：接收第二分量；检测第二分量的强度；以及输出表示第二分量的强度的数据，该数据表示可用于确定第一位置的第二分量的强度。
空间变化偏振器可以包括液晶材料。空间变化偏振器可以包括多扭曲延迟器。随位置变化的偏振模式可以包括位于第一端的线性偏振器、位于与第一端相对的第二端的圆偏振器、以及在第一端和第二端之间的线性偏振器和圆偏振器之间的逐渐变化。第一偏振器可以均匀地过滤光，而不管光入射到第一偏振器的何处。第二偏振器可以均匀地过滤偏振转换后的第一分量，而不管偏振转换后的第一分量入射到第二偏振器上的何处。空间变化偏振器能够被关闭，并且当空间变化偏振器被关闭时，空间变化偏振器能够停止改变第一分量的偏振。
光电检测器可以是单单元光电二极管。光电检测器可以是具有多个单元的多单元光电二极管，多个单元用于检测多个单元的每个单元中的第二分量的相应强度。光可以由基站或移动物体发射。第一偏振器和第二偏振器可以具有相同的滤光特性。
头戴式显示系统可以概括为包括用户可佩戴的第一头戴式显示系统部件；由第一头戴式显示系统部件承载的多个角度敏感检测器，在操作中，多个角度敏感检测器中的每一个捕获指示从一个或多个光源发射的光的到达角度的传感器数据；散射检测器，其捕获指示在多个角度敏感检测器中的一个或多个处接收的光在到达多个角度敏感检测器中的一个或多个之前是否已经被反射或散射的散射检测器数据；包括多个光源的第二头戴式显示系统部件；以及控制电路，用于：使多个光源中的一个或多个光源发光；从多个角度敏感检测器中的一个或多个接收传感器数据；接收来自散射检测器的散射检测器数据；处理接收到的传感器数据和散射检测器数据；以及至少部分地基于对所接收的传感器数据和散射检测器数据的处理，来跟踪第一头戴式显示系统部件的位置。
控制电路可以处理散射检测器数据以确定由多个角度敏感检测器中的一个或多个接收的光是否已经被反射或散射，并且响应于确定光已经被反射或散射，可以忽略来自一个或多个角度敏感检测器的传感器数据。第一头戴式显示系统部件可以包括可佩戴在用户头部上的头戴式显示设备或手持控制器。多个角度敏感检测器中的每一个可以包括光电二极管检测器或位置敏感检测器中的一个。多个角度敏感检测器中的每一个可以包括具有至少四个单元的光电二极管检测器。
第一头戴式显示系统部件可包括头戴式显示设备、控制器或基站中的一个，且第二头戴式显示系统部件包括头戴式显示设备、控制器或基站中的另一个。第二头戴式显示部件可以包括固定在接近头戴式显示系统操作环境的位置处的部件。多个光源中的每一个可以包括发光器和位于发光器前面的圆偏振器。圆偏振器可以包括线性偏振器和四分之一波长延迟器。散射检测器可以包括位于光学检测器前面的圆偏振器。散射检测器的圆偏振器可以包括线性极化器和四分之一波长延迟器。多个光源中的每一个可以包括光发射器、和右旋圆偏振器、和左旋圆偏振器中的一个，并且散射检测器可以包括右旋圆偏振器、和左旋圆偏振器中的另一个。
头戴式显示系统还可以包括多个散射检测器，每个散射检测器捕获散射检测器数据，该散射检测器数据指示在多个角度敏感检测器中的一个或多个处接收的光在到达多个角度敏感检测器中的一个或多个之前是否已经被反射或散射。多个散射检测器中的每一个可以对应于多个角度敏感检测器的子集。在操作中，第二头戴式显示系统部件可以使用复用来点亮多个光源。为了处理接收到的传感器和散射检测器数据，控制电路可以将所接收的传感器和散射检测器数据中的至少一个提供为对训练的机器学习模型的输入。
一种操作头戴式显示系统的方法，头戴式显示系统包括可由用户佩戴的第一头戴式显示系统部件，由第一头戴式显示系统部件承载的多个角度敏感检测器，捕获散射检测器数据的散射检测器，散射检测器数据指示在多个角度敏感检测器中的一个或多个处接收的光在到达多个角度敏感检测器中的一个或多个之前是否已经被反射或散射，以及第二头戴式显示系统部件，其包括多个光源，其中方法可被概括为包括使多个光源中的至少一个光源发光；经由多个角度敏感检测器中的每一个来捕获指示从至少一个光源发射的光的到达角度的传感器数据；由至少一个处理器从多个角度敏感检测器接收传感器数据；由至少一个处理器从散射检测器接收散射检测器数据；由至少一个处理器处理接收到的传感器数据和散射检测器数据；以及由至少一个处理器至少部分地基于所接收的传感器数据和散射检测器数据的处理来跟踪第一头戴式显示系统部件的位置。
提供了一种角度敏感光电二极管结构，其包括提供衰减过滤器的空间变化偏振器。空间变化偏振器可以由多扭曲延迟器(MTR)形成，MTR是类似波片的延迟膜，其在单个薄膜中提供精确和定制水平的宽带、窄带或多频带延迟。空间变化偏振器被配置为具有随位置变化的偏振延迟特性和/或随位置变化的偏振延迟模式。取决于特性和/或模式，角度敏感光电二极管结构根据光入射在角度敏感光电二极管结构上的位置唯一地衰减光(例如，其强度)。在至少一些实施方式中，空间变化偏振器用于根据位置改变入射光的偏振。角度敏感光电二极管结构可以包括均匀的偏振器，用于将所改变的、位置相关的偏振转换为强度。因此，角度敏感光电二极管结构建立了强度和位置之间的关系。角度敏感光电二极管结构可以包括被配置为检测过滤后的光的强度的光电二极管。可以基于检测到的强度来确定位置。
附图说明
在附图中，相同的附图标记表示类似的元件或动作。附图中的元件的尺寸和相对位置不必按比例绘制。例如，各种元件的形状和角度不必按比例绘制，并且这些元件中的一些可被任意地放大和定位以提高图的可读性。此外，如图所示的元件的特定形状不一定旨在传达关于特定元件的实际形状的任何信息，并且可以仅为易于在附图中识别而选择。
图1是包括一个或多个系统的网络化环境的示意图，所述一个或多个系统适于执行本公开中所描述的至少一些技术、包括跟踪子系统的实施方式；
图2是示出示例环境的图，其中至少一些所描述的技术与示例头戴式显示设备一起使用，该头戴式显示设备被连接到视频呈现计算系统并且向用户提供虚拟现实显示；
图3是具有双目显示子系统和多个角度敏感检测器的HMD设备的示意图；
图4是可以与HMD设备一起使用的控制器的示意图；
图5是根据本公开的示例性实施方式的HMD设备的示意性框图；
图6是根据一个非限制性的说明性实现的环境的示意图，其中机器学习技术可用于实现HMD设备的跟踪子系统；
图7是根据本公开的示例性实施方式的操作HMD系统的位置跟踪系统以在使用期间跟踪HMD系统的部件的位置、方向和/或运动的方法的流程图；
图8示出了可以在本公开的一个或多个实现中使用的示例性角度敏感检测器的透视图；
图9示出了角度敏感光电二极管结构的第一线性偏振片、空间变化偏振器和第二线性偏振片，以及通过其到达光电二极管的光或光点的偏振；
图10示出了角度敏感光电二极管结构的第一线性偏振片、空间变化偏振器和第二线性偏振片，以及通过其到达光电二极管的光或光点的偏振；
图11A是可用于本公开的一个或多个实施方式中的示例性角度敏感检测器的俯视图；
图11B是图11A所示的角度敏感检测器的透视图；
图12是示出根据一个非限制性的所示实现的使用光源和角度敏感检测器来确定HMD系统的部件的位置的简化图；
图13是描述根据一个非限制性的所示实现的光源和角度敏感检测器的示例光学系统的图；
图14是描述根据一个非限制性的所示实现的跟踪系统的散射检测模块和光源的示例性操作的图；
图15是示出根据一个非限制性的所示实现的跟踪系统的光源和散射检测模块的部件的图；
图16是具有双目显示子系统、多个角度敏感检测器和多个散射检测模块的HMD设备的示意图，所述散射检测模块用于检测已经散射或反射的光，这可用于在HMD设备或其部件的位置跟踪期间忽略这种散射光；
图17是根据一个非限制性的所示实现的跟踪系统的光源和散射检测模块的部件的透视图。
具体实施方式
在以下描述中，阐述了某些特定细节，以提供对公开的各实施方式的透彻理解。然而，相关领域的技术人员将认识到，可以在没有这些具体细节中的一个或多个的情况下，或者在其它方法、部件、材料等的情况下实践实施方式。在其它实例下，没有详细示出或描述与计算机系统、服务器计算机和/或通信网络相关联的公知结构，以避免不必要地模糊实施方式的描述。
除非上下文另有要求，否则在整个说明书和所附的权利要求书中，词语“包括”与“包含”同义，并且是包含性的或开放性的(即，不排除其他未列举的元件或方法动作)。
在整个说明书中，对“一个实施方式”或“实施方式”的引用意指结合实施方式描述的特定特征、结构或特性包括在至少一个实施方式中。因此，出现在说明书全文各处的短语“在一个实施方式中”或“在实施方式中”不一定都指的是相同的实施方式。此外，特定特征、结构或特性可以以任何合适的方式结合在一个或多个实施方式中。
除非上下文另外明确规定，本说明书和所附权利要求书中使用的单数形式“一”、“一个”和“所述”包括复数指示物。还应该注意的是，除非上下文另有明确规定，通常以包括“和/或”的意义使用术语“或”。
本文提供的本公开的标题和摘要仅为方便起见，而不解释实施的范围或含义。
本公开的一个或多个实现涉及用于精确跟踪头戴式显示器(HMD)系统的部件(例如，HMD、控制器、外围设备)的位置的系统和方法。在至少一些实施方式中，HMD包括支撑结构，该支撑结构承载面向前方的相机(“前置相机”或“前方相机”)和多个角度敏感检测器或光源。类似地，一个或多个控制器可以包括多个角度敏感检测器或光检测器。在其它实现中，HMD不包括前置相机。前置相机可以以第一帧速率(例如，30Hz、90Hz)捕获前置相机视野中的图像传感器数据。
在操作中，如下面进一步讨论的，可以使一个或多个固定的或可移动的光源(例如，IR LED)发光。光源可以连接到HMD、控制器、位于环境中的固定对象(例如，基站)等。多个角度敏感检测器中的每一个以第二帧速率(例如，1000Hz、2000Hz)捕获各个多个角度敏感检测器视野中的传感器数据，所述第二帧速率可以大于前置相机(当存在时)的第一帧速率。在至少一些实施方式中，尽管不是必需的，角度敏感检测器视野可以比前置相机视野窄。例如，前置相机可以具有90°、120°或150°的相对宽的前置相机视野，并且每个角度敏感检测器可以具有相对窄的传感器IC视野(例如，25°、45°、75°)。在至少一些实施方式中，角度敏感检测器视野可以总体上覆盖前置相机视野的至少大部分，或者甚至大于前置相机视野，其中每个角度敏感检测器视野与前置相机视野的不同部分重叠。
在操作中，可操作地连接到多个角度敏感检测器的至少一个处理器可以接收捕获来自多个光源(例如，LED、激光器、其它光源)的光的传感器数据。至少一个处理器可以处理所接收的图像传感器数据并至少部分地基于对所接收的图像传感器数据的处理来跟踪头戴式显示器部件的位置。例如，至少一个处理器可以融合来自角度敏感检测器的传感器数据以跟踪环境中存在的一个或多个特征。所述至少一个处理器可利用机器学习技术、解算器或其它方法来处理传感器数据以确定HMD系统的一个或多个部件的位置(例如，位置、方向、移动)。在至少一些实施方式中，该传感器数据可以与来自其它传感器的传感器数据融合，例如来自HMD系统部件的前置相机或惯性测量单元(IMU)的传感器数据。在至少一些实现中，可以使用一个或多个散射检测模块或“散射检测器”来检测光在到达一个或多个角度敏感检测器之前何时已经散射或反射，并且跟踪系统可以忽略此类光，因为其角度不能准确指示发射光的光源的位置。利用该技术，可以大大提高位置跟踪的精度。下面参考附图详细讨论本公开的实现的各种特征。
图1是包括本地媒体呈现(LMR)系统110(例如，游戏系统)的网络化环境100的示意图，所述本地媒体呈现(LMR)系统110包括本地计算系统120、显示设备180(例如，HMD设备具有两个显示面板，每只眼睛一个)、以及适于执行本文所述的至少一些技术的一个或多个控制器182。在图1所示的实施方式中，本地计算系统120经由传输链路115(其可以是有线的或系绳的，例如经由如图2所示的一个或多个电缆(电缆220)，或者也可以是无线的)通信地连接到显示设备180。控制器182可以分别经由合适的有线或无线链路186和184连接到本地计算系统120或显示设备180。在其它实施方式中，无论除了HMD设备180以外还是替代HMD设备180，本地计算系统120可提供经编码的图像数据以供经由有线或无线链路显示到面板显示设备(例如，TV、控制台或监视器)，且每个显示设备包括一个或多个可寻址像素阵列。在各种实施方式中，本地计算系统120可以包括通用计算系统、游戏控制台、视频流处理设备、移动计算设备(例如，蜂窝电话、PDA或其它移动设备)、VR或AR处理设备、或其它计算系统。
在所示实施方式中，本地计算系统120包括如下部件：一个或多个硬件处理器(例如，集中式处理单元或“CPU”)125，内存130，各种I/O(“输入/输出”)硬件部件127(例如，键盘、鼠标、一个或多个游戏控制器、扬声器、麦克风、IR发射器和/或接收器等)，包括一个或多个专用硬件处理器(例如，图形处理单元或“GPU”)和视频存储器(VRAM)148的视频子系统140，计算机可读存储器150和网络连接160。另外在所示实施方式中，跟踪子系统135的实施方式在内存130中执行以便执行至少一些所描述的技术，例如通过使用CPU125和/或GPU144来执行实现那些所描述的技术的自动操作，并且内存130可以可选地进一步执行一个或多个其它程序133(例如，生成要显示的视频或其它图像，例如游戏程序)。作为用于实现这里描述的至少一些技术的自动操作的一部分，在内存130中执行的跟踪子系统135和/或程序133可以存储或检索包括在存储器150的示例数据库数据结构中的各种类型的数据，在该示例中，所使用的数据可以包括数据库(“DB”)154中的各种类型的图像数据信息、DB 152中的各种类型的应用数据、DB 157中的各种类型的配置数据和附加信息(例如系统数据或其它信息)。
在所描述的实施方式中，LMR系统110还经由一个或多个计算机网络101和网络链路102可通信地连接到示例性网络可访问媒体内容提供商190，不管是除了图像生成程序133以外还是代替图像生成程序133，该网络可访问媒体内容提供商190可以进一步向LMR系统110提供内容以供显示。媒体内容提供商190可以包括一个或多个计算系统(未示出)，每个计算系统可以具有与本地计算系统120的部件类似的部件，包括一个或多个硬件处理器、I/O部件、本地存储设备和存储器，但是为了简洁起见，没有示出网络可访问媒体内容提供商的一些细节。
应当理解，尽管在图1所示的实施方式中显示设备180被描述为与本地计算系统120不同和分离，但是在某些实施方式中，本地媒体呈现系统110的一些或所有部件可以被集成或容纳在例如移动游戏设备、便携式VR娱乐系统、HMD设备等的单个设备内。在这样的实施方式中，传输链路115可以例如包括一个或多个系统总线和/或视频总线结构。
作为涉及由本地媒体呈现系统120本地执行的操作的示例，假定本地计算系统是游戏计算系统，使得应用数据152包括通过使用内存130的CPU 125执行的一个或多个游戏应用，并且由图像生成程序133生成和/或处理各种视频帧显示数据，例如结合视频子系统140的GPU144。为了提供高质量的游戏体验，由本地计算系统120生成大量的视频帧数据(对应于每个视频帧的高图像分辨率，以及大约每秒60-180个这样的视频帧的高“帧速率”)，并通过有线或无线传输链路115将其提供给显示设备180。
还将理解，计算系统120和显示装置180仅是说明性的且不旨在限制本公开的范围。计算系统120可以替代地包括多个交互计算系统或设备，并且可以通过诸如因特网的一个或多个网络、经由Web、或经由专用网络(例如，移动通信网络等)连接到未示出的其它设备。更一般地，计算系统或其它计算节点可包括可交互并执行所述类型的功能的硬件或软件的任何组合，包括但不限于台式或其它计算机、游戏系统、数据库服务器、网络存储设备和其它网络设备、PDA、蜂窝电话、无线电话、寻呼机、电子记事簿、因特网设备、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机)、以及包括适当的通信能力的各种其他消费产品。显示设备180可以类似地包括具有一个或多个各种类型和形式的显示面板的一个或多个设备，并且可选地包括各种其它硬件和/或软件部件。
此外，在一些实施方式中，由跟踪子系统135提供的功能可以分布在一个或多个部件(例如，本地和远程计算系统、HMD、控制器、基站)中，并且在一些实施方式中，可以不提供跟踪子系统135的一些功能和/或可以获得其它附加功能。还应当理解，尽管在使用时将各种项目示出为存储在内存中或存储在存储器上，但是出于内存管理或数据整合的目的，这些项目或它们的部分可以在内存和其它存储设备之间传送。因此，在一些实施方式中，例如当通过一个或多个软件程序(例如，通过跟踪子系统135或其部件)和/或数据结构(例如，通过执行一个或多个软件程序的软件指令和/或通过存储这样的软件指令和/或数据结构)配置时，所描述的技术中的一些或全部可以由包括一个或多个处理器或其它配置的硬件电路或内存或存储器的硬件来执行。部件、系统和数据结构中的一些或全部也可以(例如，作为软件指令或结构化数据)存储在诸如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性内存(例如，RAM)、网络存储设备或要通过适当驱动器读取的便携式媒体制品(DVD盘、CD盘、光盘等)或要通过适当的连接读取的便携式媒体制品之类的非暂时性计算机可读存储介质上。在一些实施方式中，系统、部件和数据结构还可以作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)采取各种形式(例如，作为单个或复用模拟信号的一部分，或者作为多个离散数字分组或帧)在各种计算机可读传输介质上传输，所述计算机可读传输介质包括基于无线和基于有线/电缆的介质。在其它实施方式中，这种计算机程序产品也可以采用其它形式。因此，本公开可以用其它计算机系统配置来实现。
图2示出了示例性环境200，其中至少一些所述技术与示例性HMD设备202一起使用，所述HMD设备202经由系绳连接220(或其它实施方式中的无线连接)连接到视频呈现计算系统204以向人类用户206提供虚拟现实显示。用户佩戴HMD设备202并通过HMD设备从计算系统204接收与实际物理环境不同的模拟环境的显示信息，其中计算系统充当图像呈现系统，其将模拟环境的图像(例如由在计算系统上执行的游戏程序和/或其它软件程序生成的图像)提供给HMD设备以显示给用户。在该示例中，用户还能够在实际物理环境200的跟踪容量201内移动，并且还可以具有一个或多个I/O(“输入/输出”)设备，以允许用户进一步与模拟环境交互，在该示例中，一个或多个I/O包括手持控制器208和210。
在所示示例中，环境200可以包括一个或多个基站214(示出了两个，标记为基站214a和基站214b)，其可以帮助跟踪HMD设备202或控制器208和控制器210。当用户移动HMD设备202的位置或改变HMD设备202的方向时，跟踪HMD设备的位置，以便允许在HMD设备上向用户显示模拟环境的相应部分，并且控制器208和控制器210也可以使用类似的技术来跟踪控制器的位置(并且可选地使用该信息来帮助确定或验证HMD设备的位置)。在已知HMD设备202的跟踪位置之后，经由系绳220或无线地将相应的信息发送到计算系统204，计算系统204使用所跟踪的位置信息来生成所模拟的环境的一个或多个下一个图像以显示给用户。
本文描述的光学跟踪可与各种位置跟踪方法结合使用，包括但不限于声学跟踪、惯性跟踪或磁跟踪等。
在至少一些实现中，HMD设备202和控制器208和控制器210中的至少一个可以包括可以用于实现本公开的跟踪功能或其它方面的一个或多个光接收器或传感器。在至少一些实现中，HMD设备202、控制器208和控制器210中的至少一个，或其它部件可以包括一个或多个光源(例如，LED)，其可以发射由一个或多个光学接收器检测的光。光源可以处于固定位置、或者可以位于诸如HMD设备或控制器的可移动的部件上。
在至少一些实现中，除了生成定点光源或代替生成定点光源，基站214可以各自在跟踪容量201上扫射光信号。根据每个特定实现的要求，每个基站214可以生成多于一个的光信号。例如，虽然单个基站214通常足以进行六自由度跟踪，但是在一些实施方式中，可能需要或希望多个基站(例如，基站214a、基站214b)来为HMD设备和外围设备提供鲁棒的房间规模跟踪。在这个示例中，光接收器(诸如角度敏感检测器或散射检测器)被结合到HMD设备202和/或其它被跟踪的对象中，例如控制器208和控制器210。在至少一些实现中，在每个被跟踪设备上光接收器可以与加速度计和陀螺仪惯性测量单元(“IMU”)配对，以支持低延迟传感器融合。
在至少一些实施方式中，每个基站214包括两个转子，其在跟踪容量201上在正交轴上扫射线性波束。在每个扫射周期的开始，基站214可以发射全向光脉冲(被称为“同步信号”)，该全向光脉冲对于被跟踪对象上的所有传感器是可见的。因此，每个传感器通过对同步信号和波束信号之间的持续时间进行计时来计算扫射容量中的唯一角位置。可以使用固定到单个刚性主体上的多个传感器来解算传感器距离和方向。
位于被跟踪物体(例如，HMD设备202、控制器208和控制器210)上的一个或多个传感器可以包括能够检测来自转子的调制光的光电子装置。对于可见光或近红外(NIR)光，可以使用硅光电二极管和合适的放大器/检测器电路。因为环境200可以包含具有与基站214信号的信号波长相似的静态和时变信号(光噪声)，所以在至少一些实现中，可以以使得容易地与任何干扰信号区分和/或从除基站信号之外的任何波长的辐射中过滤传感器的方式来调制基站光。如下面进一步讨论的，在至少一些实现中，角度敏感检测器被用于跟踪HMD系统的一个或多个部件，并且一个或多个散射检测器可用于忽略在被光学检测器检测之前可能已经散射或反射的光。
内外跟踪也是一种可用于跟踪HMD设备202和/或其它对象(例如，控制器208和控制器210、平板计算机、智能电话)的位置的位置跟踪。内外跟踪与外内跟踪的不同之处在于用于确定HMD部件的位置的相机或其它传感器的位置。对于内外跟踪，相机或传感器位于HMD部件或被跟踪的物体上，而在外外跟踪中，相机或传感器被放置在环境中的固定位置。
利用内外跟踪的HMD利用一个或多个传感器来“向外看”以确定其位置如何相对于环境改变。当HMD移动时，传感器重新调整它们在房间中的位置，并且虚拟环境相应地实时响应。可以使用或不使用放置在环境中的标记来实现这种类型的位置跟踪。放置在HMD上的相机观察周围环境的特征。当使用标记时，标记被设计成易于被跟踪系统检测到并且被放置在特定区域中。关于“无标记”的内外跟踪，HMD系统使用原始存在于环境中的独特特征(例如，自然特征)来确定位置和方向。HMD系统的算法识别特定的图像或形状，并使用它们来计算设备在空间中的位置。来自加速度计和陀螺仪的数据也可以用于增加位置跟踪的精度。
图3示出了当佩戴在用户342的头部上时示例性HMD设备344的前视图的信息300。HMD设备344包括支撑面向前方或前置的相机346、以及多个一种或多种类型的角度敏感检测器348a-348f(统称为348)的面向前方的结构343。作为一个示例，一些或全部角度敏感检测器348可以帮助确定设备344在空间中的位置和方向，例如光传感器，其检测和使用从一个或多个外部设备(未示出，例如，图2的基站214、控制器)发射的光信息。角度敏感检测器348可以是用于检测从光源发射的光的到达角度的任何类型的检测器。角度敏感检测器的非限制性示例包括光电二极管检测器(例如，双单元检测器、象限单元检测器)、使用电阻片的位置敏感检测器等。
如图所示，将前置相机346和角度敏感检测器348向前指向其中用户342操作HMD设备344的实际场景或环境(未示出)。更一般地，可以将角度敏感检测器348指向其它区域(例如，向上、向下、向左、向右、向后)以检测来自诸如控制器(例如，由用户342持有)或安装在各种位置(例如，墙壁、天花板)的物体的各种源头的光。实际的物理环境可以包括，例如，一个或多个对象(例如，墙壁、天花板、家具、楼梯、汽车、树木、跟踪标记、光源、或任何其它类型的对象)。传感器348的特定数目可以比所示的传感器数目更少(例如，2、4)或更多(例如，10、20、30、40)。HMD设备344可进一步(例如，在HMD设备内部)包括一个或一个以上未附接到面向前方结构的附加部件，例如IMU(惯性测量单元)347电子设备，其测量并报告HMD设备344的特定力、角速率和/或HMD设备周围的磁场(例如，使用加速计和陀螺仪(以及可选地，磁力计)的组合)。HMD设备344还可以包括未示出的附加部件，包括一个或多个显示面板和光学透镜系统，该一个或多个显示面板和光学透镜系统朝向用户的眼睛(未示出)并且可选地具有一个或多个附接的内部马达，以改变一个或多个光学透镜系统和/或显示面板在HMD设备内的对准或其它定位。
所示的HMD设备344的示例至少部分地基于一个或多个绑带345支撑在用户342的头部上，所述绑带345附接到HMD设备344的外壳上并且全部或部分地围绕用户的头部延伸。虽然这里未示出，但是HMD设备344还可以具有一个或多个外部马达，例如附接到一个或多个绑带345，并且自动校正动作可以包括使用这样的马达来调节这样的绑带，使得修改HMD设备在用户头部上的对准或其它定位。应当理解，无论是作为所示绑带的补充还是替代，HMD设备可以包括在此未示出的其它支撑结构(例如鼻件、颏带等)，并且一些实施方式可以包括附接在一个或多个这样的其它支撑结构上的马达，以类似地调整它们的形状和/或位置，从而修改HMD设备在使用者头部上的对准或其它定位。未固定到用户头部的其它显示设备可以类似地附接到影响显示设备的定位的一个或多个结构或其一部分，并且在至少一些实施方式中可以包括马达或其它机械致动器，以类似地修改它们的形状和/或位置，从而修改显示设备相对于显示设备的一个或多个用户的一个或多个瞳孔的对准或其它定位。
图4更详细地示出了手持控制器400的示例。实际上，HMD系统可以包括与图4的手持控制器400类似或相同的两个手持控制器，其可以与上述的控制器182、控制器208和控制器210类似或相同。如图所示，控制器400具有各种表面，角度敏感检测器402位于这些表面上。角度敏感检测器402被设置成接收来自各种不同方向的光信号。控制器400可以具有按钮、传感器、灯、控制器、旋钮、指示器、显示器等，允许用户以各种方式进行交互。此外，如上所述，在至少一些实施方式中，控制器400和HMD设备344中的一个可包括多个光源，而控制器和HMD设备中的另一个可包括多个角度敏感检测器或其它类型的检测器或传感器。本文所述的技术可用于各种类型的位置跟踪，且不限于HMD、控制器等。
图5示出了根据本公开的一个或多个实现的HMD设备500的示意性框图。HMD器件500可以与本文别处讨论的HMD设备相似或相同。因此，以上关于HMD设备的讨论也可应用于HMD设备500。此外，HMD设备500的至少一些部件可以存在于诸如控制器、基站等的HMD系统的其它部件中。因此，以下描述中的至少一些可适用于此类其它部件。
HMD设备500包括处理器502、面向前方的或前置的相机504、多个角度敏感检测器506(例如，四单元光电二极管、位置敏感检测器)，并且可选地包括IMU 507或多个光源509。在一些实现中，HMD设备500可以包括角度敏感检测器或光源中的一个，并且其他部件(例如，控制器、基站)可以包括角度敏感检测器或光源中的另一个。如下文所述，在至少一些实现中，HMD设备500可包括一个或多个散射检测模块或散射检测器，其可用于检测由一个或多个角度敏感检测器接收的光是否已散射或反射，因此应被忽略。HMD设备500可以包括显示子系统508(例如，两个显示器和相应的光学系统)。HMD设备500还可以包括非暂时性数据存储器510，其可以存储用于位置跟踪512的指令或数据、用于显示功能514(例如，游戏)的指令或数据、和/或其他程序516。HMD系统500可以包括如图1所示和上面所讨论的本地计算系统120或媒体内容提供商190的一些功能，或HMD系统500可以允许如图1所示和上面所讨论的本地计算系统120或媒体内容提供商190的功能。
HMD设备500还可以包括各种I/O部件518，其可以包括一个或多个用户接口(例如，按钮、触摸板、扬声器)，一个或多个有线或无线通信接口等。作为示例，I/O部件518可以包括允许HMD设备500通过有线或无线通信链路522与外部设备520通信的通信接口。作为非限制性示例，外部设备520可以包括主机、服务器、移动设备(例如，智能电话、可佩戴计算机)、控制器等。HMD设备500的各种部件可以容纳在单个外壳中，可以容纳在分开的外壳(例如，主机)中，或者任意组合它们。
应当理解，所示的计算系统和设备仅仅是说明性的，而不旨在限制本公开的范围。例如，HMD 500和/或外部设备520可以连接到未示出的其它设备，包括通过诸如因特网的一个或多个网络或通过Web。更一般地，例如当用适当的软件编程或配置时，这样的计算系统或设备可以包括能够交互和执行所述类型的功能的硬件的任何组合，包括但不限于台式计算机、膝上型计算机、平板触摸计算机、平板计算机或其它计算机、智能电话计算设备和其它蜂窝电话、因特网设备、PDA和其它电子组织器、数据库服务器、网络存储设备和其它网络设备、无线电话、寻呼机、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机和/或游戏控制台和/或媒体服务器)、以及包括适当的互相通信能力的各种其它消费产品。例如，在至少一些实施方式中，所示系统500和系统520可以包括可执行软件指令和/或数据结构，其在被加载到特定计算系统或设备上和/或由特定计算系统或设备执行时，可以被用于编程或配置那些系统或设备，例如配置那些系统或设备的处理器。或者，在其它实施方式中，软件系统中的一些或全部可在另一设备上的内存中执行且经由计算机间通信与所示出的计算系统/设备通信。此外，虽然在各种时间(例如，在使用时)各种项目被示为存储在内存中或存储在存储器上，但是出于内存管理和/或数据整合的目的，这些项目或它们的部分可以在内存和存储器之间和/或在存储设备(例如，在不同的位置)之间被传送。
因此，在至少一些实施方式中，所示出的系统是基于软件的系统，其包括软件指令，所述软件指令在由处理器和/或其它处理器装置执行时对所述处理器编程以自动执行所述系统的所述操作。此外，在一些实施方式中，可以以其它方式来实现或提供系统中的一些或全部，例如至少部分地以固件和/或硬件装置来实现或提供，固件和/或硬件装置包括但不限于，一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑设备(CPLD)等。系统或数据结构中的一些或全部也可以被存储(例如，作为软件指令内容或结构化数据内容)在诸如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性存储器(例如，RAM)、网络存储设备或由适当的驱动器或经由适当的连接来读取的便携式媒体制品(例如，DVD盘、CD盘、光盘、闪存设备等)之类的非暂时性计算机可读存储介质上。在一些实施方式中，系统、模块和数据结构还可以作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)采取各种形式(例如，作为单个或复用模拟信号的一部分，或者作为多个离散数字分组或帧)在各种计算机可读传输介质上传输，所述计算机可读传输介质包括基于无线和基于有线/电缆的介质。在其它实施方式中，这种计算机程序产品也可以采用其它形式。因此，本公开可以用其它计算机系统配置来实现。
图6是根据非限制性所示实现的环境600的示意图，其中机器学习技术可用于实现跟踪子系统(例如，本文所讨论的跟踪子系统)，以跟踪HMD设备、一个或多个控制器、或其它部件。环境600包括模型训练部分601和推断部分603。在训练部分601中，训练数据602被馈送到机器学习算法604中以生成经过训练的机器学习模型606。训练数据可以包括例如来自角度敏感检测器的标记数据，该标记数据指定特定对象相对于一个或多个光源(例如LED)的位置和/或方向、标记或未标记的散射检测器数据(下文所述)、或其他类型的数据。作为非限制性示例，在包括具有30个角度敏感检测器的部件(例如，HMD、控制器)的实施方式中，每个训练样本可以包括来自角度敏感检测器的每个或子集的输出、部件的已知或推断的位置或方向、以及关于一个或多个光源的位置或方向的信息。如下所述，每个角度敏感检测器可以输出单个数据点(例如，角度)，或者可以输出多个数据点，例如两个或四个信号，每个信号指示在角度敏感检测器的特定有源元件(例如，子检测器或单元、电阻片等)处接收的光的功率或强度。数据还可以包括来自一个或多个散射检测器(例如下面讨论的散射检测器)的数据。此类数据可包括偏振信息(例如，偏振类型或程度)、关于检测到的光是否已散射的信息或其他类型的数据。
可以从HMD系统的多个用户和/或单个用户获得训练数据602。训练数据602可以在受控环境中获得和/或在用户实际使用期间获得(“现场训练”)。此外，在至少一些实现中，模型606可以及时(例如，周期性地、连续地、在某些事件之后)更新或校准，以提供精确的位置跟踪预测。
在推断部分603中，运行时数据608作为输入被提供给训练的机器学习模型606，该机器学习模型606生成位置跟踪预测610。继续上面的示例，角度敏感检测器的输出数据(例如，强度数据、角度数据)，可选的关于一个或多个光源的信息，以及可选的来自一个或多个散射检测器的信息可以作为输入被提供给训练的机器学习模型606，该模型可以处理数据以预测部件的位置。跟踪预测610然后可以被提供给与HMD设备相关联的一个或多个部件(例如，一个或多个VR或AR应用、一个或多个显示或呈现模块、一个或多个机械控制、一个或多个附加位置跟踪子系统等)。
用于实现本文讨论的特征的机器学习技术可以包括任何类型的适当结构或技术。作为非限制性示例，机器学习模型606可以包括决策树、统计分层模型、支持向量机、诸如卷积神经网络(CNN)或递归神经网络(RNN)的人工神经网络(ANN)(例如，长短期记忆(LSTM)网络)、混合密度网络(MDN)、隐马尔可夫模型中的一个或多个。或者可以使用其它的。在至少一些实现中，诸如利用RNN的实现，机器学习模型606可以利用过去的输入(内存、反馈)信息来预测一个或多个HMD部件的位置。这样的实现可以有利地利用序列数据来确定运动信息或预先位置预测，这可以提供更精确的实时位置预测。
图7是操作HMD系统以在使用期间跟踪HMD部件的位置的示例方法700的流程图。方法700可以由例如图5所示的HMD系统500的位置跟踪系统或模块512执行。如上所述，方法700可用于跟踪例如HMD设备、一个或多个控制器等任何部件的位置。
所示的方法700的实现在动作702处开始，其中提供具有多个角度敏感检测器的第一HMD系统部件。所述多个角度敏感检测器可以用于检测从一个或多个光源发射的光，所述一个或多个光源可以被固定地定位(例如，安装到墙壁或天花板)或可移动地定位(例如，连接到HMD或控制器)。在操作中，多个角度敏感检测器中的每一个以帧速率捕获各个多个角度敏感检测器视野中的传感器数据。传感器数据可以包括处理器用以检测光源相对于角度敏感检测器的存在和方向的任何类型的数据。在至少一些实施方式中，每个角度敏感检测器可以包括其上具有图像感测电路和图像处理电路的一个或多个传感器(例如，光电二极管)。角度敏感检测器可以输出相对原始的数据(例如，光强度或功率数据)或处理后的数据(例如，入射角数据)。
在704处，可提供包括多个光源(例如，近IR LED)的第二HMD系统部件。第二HMD系统部件例如可以包括控制器、HMD设备、或位于固定位置(例如，天花板、墙壁)的光源。
在706，HMD系统的至少一个处理器可以使光源发光。可以以这样一种方式点亮光源，其中角度敏感检测器中的每一个可以每次检测来自单个光源的光，或者更一般地，以这样一种方式点亮，其中系统能够确定由角度敏感检测器检测到的光是从哪个光源接收到的。这可以通过使用任何合适类型的复用来复用光源的点亮来实现，例如时间复用、波长复用、频率复用、偏振复用、或允许系统在使用期间知道从每个角度敏感检测器接收的光源的其它技术。
作为时间复用的示例，至少一个处理器可以一次只点亮光源的子集(例如，一个、两个、四个)。例如，至少一个处理器可以一次一个子集地顺序地点亮光源，并且响应于每个光源收集传感器数据。
作为波长复用的示例，光源的不同子集可以发射不同波长的光，并且角度敏感检测器的不同子集可以用于感测不同波长的光。因此，可以同时点亮具有不同波长的光源并由相应的波长敏感检测器检测。
作为频率复用的一个示例，可以以确定的模式或频率点亮光源的子集，这些模式或频率可以被角度敏感检测器检测到，以识别光的特定光源。
作为偏振复用的示例，光源的子集可以被不同地偏振(例如，线性、圆形)，并且角度敏感检测器的相应子集可以被配置为检测某些偏振光(例如，使用通过具有相应偏振的光的偏振器)，这允许多个光源被同时点亮。
在708，与HMD系统相关联的至少一个处理器可以从多个角度敏感检测器接收传感器数据。如上所述，对于每个角度敏感检测器，传感器数据可以指示从已知光源发射的光的到达角度。在710处，与HMD系统相关联的至少一个处理器可以可选地从惯性测量单元(IMU)接收传感器数据，所述惯性测量单元(IMU)用于提供惯性跟踪能力或来自一个或一个以上附加传感器的传感器数据。
在712处，与HMD系统相关联的至少一个处理器可处理所接收的传感器数据。例如，至少一个处理器可以将传感器数据的一些或全部融合在一起，以跟踪在HMD系统工作的环境中存在的一个或多个特征。传感器数据可以包括来自多个角度敏感检测器的传感器数据，以及可选地包括来自IMU或来自相机的传感器数据。至少一个处理器可以例如使用机器学习模型(例如，模型606)或另一解算器来处理传感器数据。如下文进一步讨论的，在至少一些实现中，至少一个处理器可以忽略来自被确定为可能已经接收到散射或反射的光的一个或多个传感器的数据。
在714处，与HMD系统相关联的至少一个处理器可在环境中的用户使用HMD系统期间实时跟踪HMD系统的部件的位置(例如，位置、方向或移动)。如上所述，方法700可以在HMD的工作期间持续，以持续地跟踪HMD系统的部件的位置。
图8示出了可以在本公开的一个或多个实现中使用的示例性角度敏感检测器800的透视图。在该示例中，角度敏感检测器800包括角度敏感光电二极管结构804。角度敏感光电二极管结构804包括光电二极管806、第二线性偏振器808、空间变化偏振器810和第一线性偏振器812。光电二极管806可以是接收光，确定与光相关联的强度并输出表示该强度的信号(或数据)的任何设备。第一线性偏振器812和第二线性偏振器808可以各自是任何类型的滤光器，光入射在该滤光器上。第一线性偏振器812和第二线性偏振器808可以输出入射光的线性偏振分量(例如，垂直偏振或水平偏振)，并滤除(例如，反射或拒绝、吸收)入射光的其它分量。
在至少一些实施方式中，空间变化偏振器810可以由多扭曲延迟器(MTR)形成，MTR是类似波片的延迟膜，其在单个薄膜中提供精确和定制水平的宽带、窄带或多频带延迟。更具体地，MTR包括在单个基板上的两个或更多个扭曲的液晶(LC)层，并且具有单个对准层。之后的LC层通过之前的层直接对准，允许简单的制造，实现自动的层注册，并产生具有连续变化的光轴的单片膜。
空间变化偏振器810可以包括由双折射材料形成的波延迟器。双折射是具有取决于光的偏振和传播方向的折射率的材料的性质。波延迟器改变通过波延迟器传播的光的偏振状态或相位。波延迟器可以具有慢轴(或非寻常轴)和快轴(寻常轴)。当偏振光通过波延迟器传播时，沿着快轴的光比沿着慢轴的光传播更快。
如图8所示，第二线性偏振器808、空间变化偏振器810和第一线性偏振器812可以堆叠在光电二极管806上，并且连续层叠在光电二极管806上。应当注意，尽管在本文将偏振器812、偏振器808描述为线性偏振器，但是在各种实施例中，偏振器812、偏振器808可以是非线性偏振器，并且可以例如是椭圆或圆偏振器。偏振器812、偏振器808可以具有相同的滤光特性，并且可以类似地或相同地抑制或通过具有特定偏振的光。在该简化示例中，角度敏感检测器800包括具有孔816的盖814，该孔816允许来自光源820的光818通过。如图所示，通过孔816的光818形成光点822，该光点822可被电表征以确定光818的角度，并因此确定光源820相对于角度敏感检测器800的角度。本公开的系统和方法可以如下所述利用多个光源和角度敏感检测器来确定HMD系统的部件的位置。
图9示出了角度敏感光电二极管结构804的第一线性偏振器812、空间变化偏振器810和第二线性偏振器808，以及通过其到达光电二极管806的光818或光点822的偏振。最初，光818入射在第一线性偏振器812上。至少一些实现中，光818可以具有任何偏振，因此可以被称为非偏振的。在至少一些实现中，光可以是线性偏振的、圆偏振的或大体上椭圆偏振的。
第一线性偏振器812通过光818的线性偏振分量824并拒绝(吸收或反射)光818的剩余偏振分量。尽管第一线性偏振器812被示为垂直偏振滤光器，但是在各种实施例中，第一线性偏振器812可以是水平偏振滤光器或圆偏振滤光器等。
然后，线性偏振分量824入射至位于第一线性偏振器812下方的空间变化偏振器810。空间变化偏振器810被调整为具有根据空间变化偏振器810上的位置而变化的光偏振特性，线性偏振分量824(或任何入射光)入射在空间变化偏振器810上。在图9所示的示例中，空间变化偏振器810改变入射线性偏振分量824。
空间变化偏振器810改变入射线性偏振分量824的方式根据入射线性偏振分量824入射空间变化偏振器810的位置而变化。该位置可以基本上与光818入射在角度敏感光电二极管结构804上的位置相同。
在该说明性示例中，在空间变化偏振器810的第一端826(如图所示的右上)处，空间变化偏振器810将入射线性偏振分量824保持为垂直偏振的光信号。空间变化偏振器810使垂直偏振光通过并阻挡其它偏振分量。入射在第一端826上的线性偏振分量824按原样通过。
作为非限制性示例，空间变化偏振器810的偏振过滤特性可以随着至第一端的距离的函数逐渐变化。在空间变化偏振器810的第二端828(如图所示左下)，空间变化偏振器810几乎将垂直偏振的入射线性偏振分量824转换为水平偏振的光信号。特别地，在第二端828处，空间变化偏振器810具有175°的线性偏振方向。因此，在第二端828处，空间变化偏振器810输出水平偏振分量比垂直偏振分量更大的光。相反，在空间变化偏振器810的中心附近，空间变化偏振器810具有大约135°的线性偏振方向，因此，空间变化偏振器810将(具有垂直偏振的)入射线性偏振分量824的偏振朝向水平偏振旋转大约45°的角度。在中心附近离开空间变化偏振器810的光具有这样的垂直偏振分量，该垂直偏振分量具有与水平偏振分量相同的幅度。
空间变化偏振器810的空间变化特性使得可以识别线性偏振分量824入射的位置或可能入射的位置。如图9所示，空间变化偏振器810通过过滤后的光830。过滤后的光830的水平偏振或垂直偏振的强度代表线性偏振分量824在空间变化偏振器810上的入射位置或可能入射的位置。当线性偏振分量824入射到第一端826上时，过滤后的光830具有最高的垂直偏振幅度。垂直偏振幅度可以与距第一端826的距离成反比。
然后，过滤后的光830入射到第二线性偏振器808上，第二线性偏振器808用于去除过滤后的光830的任何水平分量，并使垂直光分量通过。第二线性偏振器808通过滤光后的线性偏振分量832。第二线性偏振器808可以确保通过的至光电二极管806的光排他性地包括垂直偏振光并且排除水平偏振光。
光电二极管806接收滤光后的线性偏振分量832并检测滤光后的线性偏振分量832的强度。滤光后的线性偏振分量832的强度代表光818入射在空间变化偏振器810上的位置或位置组，并因此代表光818入射在角度敏感光电二极管结构804上的位置或位置组。
注意，参考图9描述的特定偏振是通过示例的方式进行的，以便于描述。在替代实施例中，可以采用不同的偏振器、偏振或偏振模式。例如，第一线性偏振器812和第二线性偏振器808和空间变化偏振器810可以代替线偏振利用圆偏振、椭圆偏振或任何其它类型的偏振。
再参考图8，孔816的尺寸和位置决定了在角度敏感光电二极管结构804上形成的光点822的尺寸。由光电二极管806检测到的强度表示已经通过(或已经滤过)第一线性偏振器812和第二线性偏振器808以及空间变化偏振器810的光点822的强度。光点822的强度可以是构成光点822的光线的强度之和。光点822的线性偏振分量824入射在空间变化偏振器810的区域上而不是一个点上的事实在空间变化偏振器810的设计中提供了附加的自由度，以实现改进的位置检测。空间变化偏振器810可以具有按区域变化的特性，以便能够改进光点822的位置检测。
注意，在一些实施例中，可以省去第一线性偏振器812和第二线性偏振器808中的一个。在一个实施例中，可以省去第一线性偏振器812，并且可以仅发射水平偏振的光以用于位置或角度确定。
在一个实施例中，可以通过使用具有多个区域单元的光电二极管806来实现改进的位置检测。
图10示出了角度敏感光电二极管结构804的第一线性偏振器812、空间变化偏振器810和第二线性偏振器808，以及通过其到达光电二极管806的光818或光点822的偏振。在图10中，光电二极管806是象限单元(“quad-cell”)光电二极管，其包括由小间隙分开的四个分开的光电二极管有源区或元件802a-802d。应当理解，也可以使用其它类型的角度敏感检测器，例如具有更少或更多单元的光电二极管检测器、位置敏感检测器(PSD)等。
每个元件802a-802d的有源区域(例如，阳极)是单独可用的，使得点亮单个象限的光点可以被电表征为仅在该象限中。光点的能量分布在相邻元件802a-802d之间，并且对每个元件的电贡献的差异限定了光点相对于角度敏感检测器的中心的相对位置。可以结合元件802a-802d上的相对强度分布和空间变化偏振器810的相对强度分布来确定光点的位置。
在一个实施例中，可以关闭空间变化偏振器810以识别基线强度。空间变化偏振器810可以连接至控制器。控制器(可以是微控制器或微处理器等、或者这里描述的一个或多个控制器182或处理器502)可以打开或关闭空间变化偏振器810。当打开空间变化偏振器810时，空间变化偏振器810如本文所述过滤光。相反，当关闭空间变化偏振器810时，空间变化偏振器810可以停止偏振滤光，而是原样通过线性偏振分量824。
当关闭空间变化偏振器810时，光电二极管806结合第一线性偏振器812和第二线性偏振器808检测无空间变化偏振器810所执行的衰减的光818(或光点822)的强度。该检测的强度可以用作基线强度或最大检测强度。基线强度或最大检测强度可以对应于入射在在第一端826上的光818的强度。
当打开空间变化偏振器810时，光电二极管806在具有位置相关偏振滤光的情况下检测光818(或光点822)的强度。具有位置相关偏振滤光的情况下的光818(或光点822)的检测强度与基线强度之间的关系表示光818入射到角度敏感光电二极管结构804上的位置或位置组。
如本文所述，由空间变化偏振器810执行的偏振转换与第一线性偏振器812和第二线性偏振器808的滤光的结合导致光818的幅度(或强度)衰减随空间变化。幅度(或强度)又由光电二极管806检测并用于位置确定。
图11A和图11B分别示出了可以在本公开的一个或多个实现中使用的示例性角度敏感检测器1100的俯视图和透视图。在该示例中，角度敏感检测器1100包括象限单元(“quad-cell”)光电二极管，该象限单元(“quad-cell”)光电二极管包括由公共基板1104上的小间隙分开的四个独立的光电二极管有源区或元件1102A-1102D。应当理解，也可以使用其它类型的角度敏感检测器，例如具有更少或更多单元的光电二极管检测器、位置敏感检测器等。
在所示的非限制性示例中，每个元件1102A-1102D的有源区域(例如，阳极)是单独可用的，使得入射单个象限的光点可以被电表征为仅在该象限中。当光点在角度敏感检测器1100上平移时，光点的能量分布在相邻元件1102A-1102D之间，并且对每个元件的电贡献的差异限定了光点相对于角度敏感检测器中心的相对位置。元件1102A-1102D上的相对强度分布可用于确定光点的位置。
在该简化示例中，角度敏感检测器1100包括其中具有孔1108的盖1110，所述孔1108允许来自光源1112的光1114通过。如图所示，可以电表征通过孔1108形成光点1106的光1114以确定光1114的角度，并因此确定光源1112相对于角度敏感检测器1100的角度。如下所述，本公开的系统和方法可以利用多个光源和角度敏感检测器来确定HMD系统的部件的位置。
应当理解，本公开的角度敏感检测器可以包括任何合适类型的检测器中的一个或多个，包括四单元光电二极管检测器、利用电阻片的位置敏感检测器(PSD)、具有较少(例如，2个)或较多(例如，16个)独立敏感元件的光电二极管检测器、或者能够检测从光源发射的光的到达角的任何其它检测器。此外，如下面所讨论的，在至少一些实现中，本公开的角度敏感检测器或光源可以利用各种光学部件，例如滤光器、透镜、偏振器等，以改进这里所讨论的系统和方法的功能。
图12是根据一个非限制性所示实现的HMD系统的环境1200的简化图，该环境使用光源和角度敏感检测器来确定HMD系统的部件的位置。在该示例中，诸如HMD的第一部件1202包括多个光源1206(示出两个，1206a和1206b)，并且诸如HMD系统的控制器的第二部件1204包括多个角度敏感检测器1208(示出两个，1208a和1208b)。角度敏感检测器1208a和角度敏感检测器1208b在第二部件1204上彼此分开已知的距离d1，并且光源1206a和光源1206b在第一部件1202上彼此分开已知的距离d2。第一部件和第二部件可以是HMD系统的任何部件，例如HMD、控制器、基站、固定或移动的光源、固定或移动的角度敏感检测器等。
在该示例中，角度敏感检测器1208a用于确定光以角度1210从光源1206a到达，并且光以角度1212从光源1206b到达。类似地，角度敏感检测器1208b用于确定光以角度1214从光源1206b到达，并且光以角度1216从光源1206a到达。给定检测到的到达角1210、角1212、角1214和角1216以及光源1206和检测器1208之间的已知几何关系(例如，距离d1和距离d2)，可以使用方法(例如，三角测量)来确定和跟踪第一部件1202和第二部件1204之间的相对位置、方向或运动。如上所述，可以使用一个或多个解算器或机器学习方法，使用来自角度敏感检测器的传感器数据和/或指示关于HMD系统的光源的信息的光源数据来确定部件的位置。
图13是本公开的示例光源1302和角度敏感检测器1304的示意图1300。光源1302和角度敏感检测器1304可以与本文讨论的任何光源和角度敏感检测器类似或相同，并且可以用于本公开的任何实现中。在所示的示例中，光源1302可以包括光学子系统1306，并且角度敏感检测器1304可以包括光学子系统1308。光学子系统1306和光学子系统1308可以彼此相同或不同，并且可以各自包括一个或多个光学部件。光学子系统1306和光学子系统1308可以与光源1302和角度敏感检测器1304集成在一起，或者可以是单独的部件。光学部件的非限制性实例包括一个或多个透镜、一个或多个偏振器、一个或多个滤光器、一个或多个孔等。在至少一些实现中，光源的子集可以包括一种类型的光学子系统，并且光源的一个或多个其它子集可以包括另一种类型的光学子系统。类似地，角度敏感检测器的子集可以包括一种类型的光学子系统，并且角度敏感检测器的一个或多个其它子集可以包括另一种类型的光学子系统。作为示例，光学子系统可以包括滤除可见光或其它类型的光的滤光器。此外，如上所述，光学子系统可以包括便于上述一个或多个各种类型的复用的部件，所述复用允许多个光源被同时点亮，而不会与发射光源混淆。
图14是本公开的散射检测模块或散射检测器1402的图示1400，其可用于确定由一个或多个光学检测器(例如，角度敏感或其它类型的检测器)接收的光在由一个或多个光学检测器接收之前是否已经被反射或散射。使用这种信息，可操作所述至少一个处理器忽略被确定为散射或反射光信号的光数据，因为这种信号不直接指示发射信号的光源的位置。在至少一些实现中，散射检测器1402可以是与用于位置跟踪的一个或多个光学检测器结合使用的单独部件。在其它实现中，散射检测器1402可以被集成到用于位置跟踪的一个或多个光学检测器(例如，角度敏感检测器)中。可以在本公开的任何实施例中使用一个或多个散射检测器1402。此外，可以使用各种基于机器学习或人工智能的方法来处理散射检测器数据，以提高本公开的跟踪系统的位置跟踪能力。例如，机器学习或其它AI方法可用于训练跟踪系统以使用偏振信息来帮助提高跟踪准确性。
在所示的非限制性示例中，示出了散射检测器1402，并且还示出了第一光源1408和第二光源1410。实际上，可以有多个散射检测器和多个光源。作为非限制性示例，散射检测器1402可以位于HMD和控制器中的一个上，并且光源1408和光源1410可以位于HMD和控制器中的另一个上。在至少一些实施方式中，散射检测器1402和光源1408和光源1410中的一个或多个可以位于固定物体(例如，墙壁、天花板、支架)或可移动物体(例如，HMD、控制器)上或连接至固定物体(例如，墙壁、天花板、支架)或可移动物体(例如，HMD、控制器)。散射检测器1402和光源1408和光源1410可以与本文讨论的任何光源和散射检测器类似或相同，并且可以用于本公开的任何实现。
在所示的示例中，散射检测器1402可以包括光学检测器1404和光学子系统1406，光学检测器1404可选地可以是角度敏感检测器。光源1408可以包括发射光1420的光发射器1412(例如LED)和光学子系统1414，并且光源1410可以包括发射光1422的光发射器1416和光学子系统1414。光学子系统1406、光学子系统1414和光学子系统1418中的一些或全部可以彼此相同或不同，并且可以各自包括一个或多个光学部件。光学子系统1406、光学子系统1414和光学子系统1418可以分别与检测器1404和光源1408和光源1410集成在一起，或者可以是单独的部件。光学部件的非限制性示例包括一个或多个透镜、一个或多个偏振器、一个或多个波延迟器、一个或多个滤光器、一个或多个孔等。在至少一些实现中，光源的子集可以包括一种类型的光学子系统，并且光源的一个或多个其它子集可以包括另一种类型的光学子系统。类似地，散射检测器1402的子集可以包括一种类型的光学子系统，并且散射检测器的一个或多个其它子集可以包括另一种类型的光学子系统。作为示例，光学子系统可以包括滤除可见光或其它类型的光的滤光器。此外，如上所述，光学子系统可以包括便于上述各种类型的复用中的一个或多个的部件，所述复用允许多个光源被同时点亮，而不会混淆所发射光的光源。
可以协调光学子系统1406、光学子系统1414和光学子系统1418的设计，使得散射检测器1402可用于检测来自光源1408和光源1410的光是否已经被散射或反射，或者光是否直接到达散射检测器而没有散射或反射。例如，散射检测器1402可用于检测由于散射或反射而引起的光源发射的光的偏振类型或偏振度的变化。在所示的示例中，来自光源1408的光1420被散射检测器1402直接接收，而来自光源1410的光1422被反射离开表面1423，作为光1424被散射检测器1402所接收。在该示例中，光1420指示光源1408相对于散射检测器1402的相对位置，而从表面1423反射的光1424无法指示光源1410相对于散射检测器1402的相对位置。因此，当执行位置跟踪时，通过检测到光1424已经被散射或反射，跟踪系统可以忽略或拒绝来自一个或多个传感器(例如与散射检测器类似地被定位和定向的传感器)的光信号，从而提高系统的位置跟踪能力。
有多种配置可以允许散射检测器1402能够检测来自光源的光是否已经被散射或反射，因此应该被一个或多个检测器忽略。通常，在至少一些实施方式中，光源1408和光源1410发射的光可以分别由光学系统1414和光学系统1418以确定的方式偏振，并且散射检测器1402可以被配置为区分直接从光源1408和1410接收的光和在被散射检测器接收之前被散射或反射的来自光源的光。例如，来自光源的光的偏振的类型或程度可以由于散射或镜面反射而改变，并且散射检测器1402可以被配置为检测到这种改变。作为一个非限制性示例，光源1408和光源1410的光学子系统1414和光学子系统1418分别可以包括右旋或左旋圆偏振器中的一个，并且散射检测器1402的光学子系统1406可以包括右旋或左旋圆偏振器中的另一个。例如，光源1408和1410的光学子系统1414和光学子系统1418可以分别包括右旋圆偏振器，散射检测器1402的光学子系统1406可以包括左旋圆偏振器。在这种配置中，散射检测器1402的光学子系统1406可以用于检测从去偏振表面(例如，具有随机偏振)反射的光或者从非去偏振表面反射(例如，玻璃、金属、丙烯酸等)的光，反射光在反射之后是左圆偏振的。如果这样的光高于确定的阈值，则跟踪系统可以忽略来自一个或多个检测器的信号，所述一个或多个检测器被确定为也可能接收到该反射光或该散射光。
在图15的示例1500中示出了这种配置的示例，图15示出了散射检测器1502和光源1504。光源1504包括光发射器1506(例如，LED)和包括右旋圆偏振器1508的光学子系统。在该实施例中，圆偏振器1508包括线性偏振器1510和四分之一波长延迟器或波片1512，并提供具有右旋圆偏振的光1522。
散射检测器1502包括光学检测器1514(例如，四单元检测器、单单元检测器)和包括左旋圆偏振器1516的光学子系统。左旋圆偏振器1516包括四分之一波长延迟器或波片1518和线性偏振器1520。由于散射检测器1502包括与光源的圆偏振器1508相反的圆偏振器，因此，由于反射的圆偏振光的旋向性切换到相反的旋向性(即，在该示例中从右旋切换到左旋)，散射检测器将检测到经由镜面反射反射的光。
在操作中，当散射检测器1502检测到已经被散射或反射(例如，高于确定的阈值)的光时，跟踪系统可以拒绝或忽略来自可能已经接收到相同光的一个或多个光学传感器(例如，类似于散射检测器被定位或定向的传感器)的光。
图16示出了当佩戴在用户1642的头部上时示例性HMD设备1644的前视图的信息1600。HMD设备1644包括支撑面向前方或前置的相机1646和一种或多种类型的多个角度敏感检测器1648a-1648f(统称为1648)的面向前方的结构1643。作为一个示例，一些或全部角度敏感检测器1648可以帮助确定设备1644在空间中的位置和方向，例如光传感器，用于检测和使用从一个或多个外部设备(未示出，例如，图2的基站214、控制器)发射的光信息。角度敏感检测器1648可以是用于检测从光源发射的光的到达角度的任何类型的检测器。角度敏感检测器的非限制性实例包括光电二极管检测器(例如，双单元检测器、象限单元检测器)、使用电阻片的位置敏感检测器等。
如图所示，前置相机1646和角度敏感检测器1648面向用户1642操作HMD设备1644的实际场景或环境(未示出)。更一般地，角度敏感检测器1648可以指向其它区域(例如，向上、向下、向左、向右、向后)以检测来自各种源(例如控制器(例如，由用户1642持有)或安装在各种位置(例如，墙壁、天花板)的物体)的光。实际的物理环境可以包括，例如，一个或多个对象(例如，墙壁、天花板、家具、楼梯、汽车、树木、跟踪标记、光源、或任何其它类型的对象)。传感器1648的特定数目可以比所示的传感器数目更少(例如2个、4个)或更多(例如10个、20个、30个、40个)。HMD设备1644可进一步(例如，在HMD设备内部)包括一个或一个以上未附接到面向前方的结构的附加部件，例如IMU(惯性测量单元)1647电子设备，其测量并报告HMD设备1644的特定力、角速率和/或HMD设备周围的磁场(例如，使用加速计和陀螺仪(以及可选地，磁力计)的组合)。HMD设备1644还可以包括未示出的附加部件，包括一个或多个显示面板和光学透镜系统，该一个或多个显示面板和光学透镜系统朝向用户的眼睛(未示出)并且可选地具有一个或多个附接的内部马达，以改变一个或多个光学透镜系统和/或显示面板在HMD设备内的对准或其它定位。
所示的HMD设备1644的示例至少部分地基于一个或多个绑带1645支撑在用户1642的头部上，所述绑带1645附接到HMD设备1644的外壳上并且全部或部分地围绕用户的头部延伸。虽然这里未示出，但是HMD设备1644还可以具有一个或多个外部马达，例如附接到一个或多个绑带1645，并且自动校正动作可以包括使用这样的马达来调节这样的绑带，使得修改HMD设备在用户头部上的对准或其它定位。应当理解，无论是作为所示绑带的补充还是替代，HMD设备可以包括在此未示出的其它支撑结构(例如鼻件、颏带等)，并且一些实施方式可以包括马达附接在一个或多个这样的其它支撑结构上，以类似地调整它们的形状和/或位置，从而修改HMD设备在使用者头部上的对准或其它定位。未固定到用户头部的其它显示设备可以类似地附接到影响显示设备的定位的一个或多个结构或其一部分，并且在至少一些实施方式中可以包括马达或其它机械致动器，以类似地修改它们的形状和/或位置，从而修改显示设备相对于显示设备的一个或多个用户的一个或多个瞳孔的对准或其它定位。
HMD设备1644还包括多个散射检测器1650、散射检测器1652和散射检测器1666。散射检测器1650、散射检测器1652和散射检测器1666可以与本文讨论的散射检测器中的任何一个相似或相同，并且可以分别有效地检测来自与HMD设备1644相关联的光源1658、光源1662和光源1670的光1660、光1664和光1672在到达HMD设备之前是否已经从表面反射或散射。如上所述，在检测到光已经散射时，可以忽略来自被确定为可能接收到相同光的一个或多个传感器的传感器数据。
在至少一些实现中，可以为所有检测器1648提供单个散射检测器。在其它实现中，可以为每个检测器1648提供单独的散射检测器，或者可以将散射检测器包括为一个或多个检测器1648的一部分。在所示的简化示例中，位于面向前方的结构1643右侧的散射检测器1650对应于检测器1648a、检测器1648b和检测器1648e，它们用于检测来自用户1642右侧区域1654中的光源(例如光源1658)的光。也就是说，如果散射检测器1650检测到已经被反射或散射的光，则跟踪系统可以忽略来自由于与散射检测器1650相似的定向，被确定为可能接收到相同的光的检测器1648a、检测器1648b和检测器1648e中的一个或多个的信号。类似地，位于面向前方的结构1643的左侧的散射检测器1652对应于检测器1648c、检测器1648d和检测器1648g，其用于检测来自用户1642左侧的区域1656中的光源(例如，光源1662)的光。面向前方的结构1643的上部区域上的散射检测器1666对应于检测器1648f，检测器1648f用于检测来自用户1642上方的区域1668中的光源(例如，光源1670)的光。如上所述，复用(例如，时间、波长、模式)可用于允许系统知道检测器1648、检测器1650、检测器1652和检测器1666是从哪个光源或光源组接收的光。
图17示出了可以在本公开的一个或多个实现中使用的散射检测器1700的透视图。在该非限制性实例中，散射检测器1700包括象限单元(“quad-cell”)光电二极管，该象限单元光电二极管包括由公共基板1704上的小间隙分开的四个独立的光电二极管有源区或元件1702A-1702D。应当理解，也可以使用其它类型的检测器，例如具有更少或更多单元的光电二极管检测器、位置敏感检测器等。
在所示的非限制性示例中，每个元件1702A-1702D的有源区域(例如，阳极)是单独可用的，使得入射单个象限的光点可以电表征为仅在该象限中。当光点在检测器1700上平移时，光点的能量分布在相邻元件1702A-1702D之间，并且对每个元件的电贡献的差异限定了光点相对于检测器中心的相对位置。元件1702A-1702D上的相对强度分布可用于确定光点的位置。
在该简化示例中，检测器1700包括具有孔1708的盖1710，所述孔1708允许来自光源1712的光1714通过。如图所示，通过孔1708形成光点1706的光1714可以被电表征以确定光1714的角度，并因此确定光源1712相对于检测器1700的角度。如下所述，本公开的系统和方法可以利用多个光源和检测器来确定HMD系统的部件的位置。
在所示的示例中，第一圆偏振器1716位于光源1712附近(例如，邻近)，而第二偏振器1718位于检测器1700附近。在至少一些实施方式中，由光源1712发射的光可以由第一圆偏振器1716以确定的方式偏振，并且散射检测器1700的第二圆偏振器1718可以被配置为区分直接从光源1712接收的光和在被散射检测器1700接收之前被散射或反射的来自光源的光。作为一个非限制性示例，第一圆偏振片1716和第二圆偏振片1718中的一个可以分别地包括右旋或左旋圆偏振片中的一个，而第一圆偏振片1716和第二圆偏振片1718中的另一个可以包括右旋或左旋圆偏振片中的另一个。例如，光源1712的第一圆偏振片1716可以包括右旋圆偏振片，散射检测器1700的第二圆偏振片1718可以包括左旋圆偏振片。在这种配置中，散射检测器1700的第二圆偏振器1718可以用于检测从去偏振表面(例如，具有随机偏振)反射的光或者从非去偏振表面(例如，玻璃、金属、丙烯酸等)反射的光，反射光在反射之后被左圆偏振。如果这样的光高于确定的阈值，则跟踪系统可以忽略来自一个或多个检测器的信号，所述一个或多个检测器被确定为也可能接收到反射光或散射光。
通过使用框图、示意图和示例，前面的详细描述已经阐述了设备和/或过程的各种实现。在这样的框图、示意图和示例包含一个或多个功能和/或操作的情况下，本领域的技术人员将理解，在这样的框图、流程图或示例内的每个功能和/或操作可以通过广泛的硬件、软件、固件或其几乎任何组合来单独地和/或共同地实现。在一个实现中，本主题可以通过专用集成电路(ASIC)来实现。然而，本领域技术人员将认识到，本文所公开的实现可以作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个控制器(例如，微控制器)上运行的一个或多个程序，作为在一个或多个处理器(例如，微处理器)上运行的一个或多个程序，作为固件或作为几乎其任何组合，整体或部分地在标准集成电路中等效地实现。根据本公开，设计电路和/或写入用于软件和/或固件的代码，将在本领域的普通技术人员的技术范围内。
所属领域的技术人员将认识到，本文所述的许多方法或算法可采用附加的动作，可省略一些动作，和/或可按不同于指定的次序来执行动作。
此外，本领域的技术人员将会理解，这里所教导的机制能够作为程序产品以各种形式被分发，并且无论用于实际执行分发的信号承载介质的特定类型如何，说明性的实现都同样适用。信号承载介质的示例包括但不限于以下：可记录型介质，例如软盘、硬盘驱动器、CD ROM、数字磁带和计算机内存。
可以组合上述各种实现方式以提供进一步的实现方式。在不与本文的具体教导和定义不一致的程度上，本说明书中涉及的所有美国专利、美国专利申请公开、美国专利申请、外国专利、外国专利申请和非专利公开(包括2020年2月6日提交的美国临时申请62/971,181号)以全文引用的方式并入本文中。如果需要，可以修改实现的各个方面，以采用各种专利、申请和公开的系统、电路和概念来提供进一步的实现。
根据以上详细描述，可以对实现进行这些和其它改变。通常，在随后的权利要求中，所使用的术语不应被解释为将权利要求限制为在说明书和权利要求中所公开的特定实现，而应被解释为包括所有可能的实现以及这些权利要求所赋予的等同物的全部范围。因此，权利要求不受本公开的限制。

Claims (37)

1.一种角度敏感检测器，包括：
第一偏振器，用于接收和过滤来自光源的光；
空间变化偏振器，与所述第一偏振器光学对准，所述空间变化偏振器包括偏振模式，所述偏振模式被配置为通过入射光相对于所述角度敏感检测器的入射角来唯一地区分入射光；
第二偏振器，与所述空间变化偏振器光学对准，以接收和过滤从所述空间变化偏振器接收的光；以及
光电检测器，被定位成接收来自所述第二偏振器的光，所述光电检测器用于输出至少一个强度信号，所述强度信号指示所述入射光相对于所述角度敏感检测器的所述入射角。
2.根据权利要求1所述的角度敏感检测器，其中，所述空间变化偏振器包括液晶材料。
3.根据权利要求1所述的角度敏感检测器，其中，所述空间变化偏振器包括多扭曲延迟器。
4.根据权利要求1所述的角度敏感检测器，其中，所述空间变化偏振器能够被关闭，并且当所述空间变化偏振器被关闭时，所述空间变化偏振器能够停止改变所述入射光的偏振。
5.根据权利要求1所述的角度敏感检测器，其中，所述空间变化偏振器包括相位延迟器。
6.根据权利要求1所述的角度敏感检测器，其中，所述空间变化偏振器在第一端提供线性偏振，并且向与所述第二端相对的第二端逐渐增加延迟。
7.根据权利要求6所述的角度敏感检测器，其中，所述空间变化偏振器在所述第二端提供四分之一波长延迟。
8.根据权利要求1所述的角度敏感检测器，其中，所述第一偏振器和所述第二偏振器均包括线性偏振器。
9.根据权利要求1所述的角度敏感检测器，其中，所述第一偏振器和所述第二偏振器均包括具有相同偏振方向的线性偏振器。
10.一种角度敏感检测器，包括：
第一偏振器，被配置为：
接收光；
过滤所述光；以及
输出过滤后的光的第一分量；
空间变化偏振器，具有随位置变化的偏振模式，所述随位置变化偏振模式限定了分别与多个位置相关联的多个偏振转换特性，所述多个偏振转换特性用于根据所述第一分量入射所述空间变化偏振器的位置而不同地改变所述第一分量的偏振，所述空间变化偏振器被配置为：
在所述多个位置中的第一位置处接收所述第一分量；
根据所述多个偏振转换特性中的与所述第一位置相关联的第一偏振转换特性来改变所述第一分量的偏振；以及
输出偏振转换后的第一分量；
第二偏振器，被配置为：
接收所述偏振转换后的第一分量；
对所述偏振转换后的第一分量进行过滤；以及
输出所述偏振转换后的第一分量的第二分量；以及
光电检测器，被配置为：
接收所述第二分量；
检测所述第二分量的强度；以及
输出表示所述第二分量的强度的数据，所述表示所述第二分量的强度的数据能够用于确定所述第一位置。
11.根据权利要求10所述的角度敏感检测器，其中，所述空间变化偏振器包括液晶材料。
12.根据权利要求10所述的角度敏感检测器，其中，所述空间变化偏振器包括多扭曲延迟器。
13.根据权利要求10所述的角度敏感检测器，其中，所述随位置变化的偏振模式包括位于第一端的线性偏振器、位于与所述第一端相对的第二端的圆偏振器、以及在所述第一端和所述第二端之间处于所述线性偏振器和所述圆偏振器之间的逐渐变化。
14.根据权利要求10所述的角度敏感检测器，其中，无论所述光在何处入射到所述第一偏振器上，所述第一偏振器都均匀地过滤所述光。
15.根据权利要求10所述的角度敏感检测器，其中，无论所述偏振转换后的第一分量在何处入射到所述第二偏振器上，所述第二偏振器都均匀地过滤所述偏振转换后的第一分量。
16.根据权利要求10所述的角度敏感检测器，其中，所述空间变化偏振器能够被关闭，并且当所述空间变化偏振器被关闭时，所述空间变化偏振器能够停止改变所述第一分量的偏振。
17.根据权利要求10所述的角度敏感检测器，其中，所述光电检测器是单单元光电二极管。
18.根据权利要求10所述的角度敏感检测器，其中，所述光电检测器是具有多个单元的多单元光电二极管，所述多单元光电二极管用于检测所述多个单元中的每个单元中的所述第二分量的相应强度。
19.根据权利要求10所述的角度敏感检测器，其中，所述光由基站或移动物体发射。
20.根据权利要求10所述的角度敏感检测器，其中，所述第一偏振器和所述第二偏振器具有相同的滤光特性。
21.一种头戴式显示系统，包括：
用户可佩戴的第一头戴式显示系统部件；
由所述第一头戴式显示系统部件承载的多个角度敏感检测器，在操作中，所述多个角度敏感检测器中的每一个捕获传感器数据，所述传感器数据指示从一个或多个光源发射的光的到达角度；
散射检测器，捕获散射检测器数据，所述散射检测器数据指示在所述多个角度敏感检测器中的一个或多个处接收的光在到达所述多个角度敏感检测器中的所述一个或多个之前是否已经被反射或散射；
第二头戴式显示系统部件，包括多个光源；以及
控制电路，用于：
使所述多个光源中的一个或多个发光；
从所述多个角度敏感检测器中的一个或多个接收传感器数据；
接收来自所述散射检测器的散射检测器数据；
处理所接收的传感器数据和散射检测器数据；以及
至少部分地基于对所接收的传感器数据和散射检测器数据的处理，来跟踪所述第一头戴式显示系统部件的位置。
22.根据权利要求21所述的头戴式显示系统，其中，所述控制电路处理所述散射检测器数据，以确定由所述多个角度敏感检测器中的一个或多个接收的光是否已经被反射或散射，并且响应于确定光已经被反射或散射，忽略来自所述一个或多个角度敏感检测器的传感器数据。
23.根据权利要求21所述的头戴式显示系统，其中，所述第一头戴式显示系统部件包括可佩戴在所述用户头部上的头戴式显示设备或手持控制器。
24.根据权利要求21所述的头戴式显示系统，其中，所述多个角度敏感检测器中的每一个包括光电二极管检测器或位置敏感检测器中的一个。
25.根据权利要求21所述的头戴式显示系统，其中，所述多个角度敏感检测器中的每一个包括具有至少四个单元的光电二极管检测器。
26.根据权利要求21所述的头戴式显示系统，其中，所述第一头戴式显示系统部件包括头戴式显示设备、控制器或基站中的一个，且所述第二头戴式显示系统部件包括头戴式显示设备、控制器或基站中的另一个。
27.根据权利要求21所述的头戴式显示系统，其中，所述第二头戴式显示部件包括固定在接近操作所述头戴式显示系统的环境的位置处的部件。
28.根据权利要求21所述的头戴式显示系统，其中，所述多个光源中的每一个包括发光器和位于所述发光器前面的圆偏振器。
29.根据权利要求28所述的头戴式显示系统，其中，所述圆偏振器包括线性偏振器和四分之一波长延迟器。
30.根据权利要求21所述的头戴式显示系统，其中，所述散射检测器包括位于光学检测器前面的圆偏振器。
31.根据权利要求30所述的头戴式显示系统，其中，所述散射检测器的所述圆偏振器包括线性偏振器和四分之一波长延迟器。
32.根据权利要求21所述的头戴式显示系统，其中，所述多个光源中的每一个包括光发射器以及右旋圆偏振器和左旋圆偏振器中的一个，并且所述散射检测器包括右旋圆偏振器和左旋圆偏振器中的另一个。
33.根据权利要求21所述的头戴式显示系统，还包括多个散射检测器，所述多个散射检测器中的每一个捕获散射检测器数据，所述散射检测器数据指示在所述多个角度敏感检测器中的一个或多个处接收的光在到达所述多个角度敏感检测器中的一个或多个之前是否已经被反射或散射。
34.根据权利要求33所述的头戴式显示系统，其中，所述多个散射检测器中的每一个对应于所述多个角度敏感检测器的子集。
35.根据权利要求21所述的头戴式显示系统，其中，在操作中，所述第二头戴式显示系统部件使用复用来点亮所述多个光源。
36.根据权利要求21所述的头戴式显示系统，其中，为了处理所接收的传感器和散射检测器数据，所述控制电路将所接收的传感器和散射检测器数据中的至少一个提供为训练的机器学习模型的输入。
37.一种操作头戴式显示系统的方法，所述头戴式显示系统包括可由用户佩戴的第一头戴式显示系统部件，由所述第一头戴式显示系统部件承载的多个角度敏感检测器，捕获指示在所述多个角度敏感检测器中的一个或多个处接收的光在到达所述多个角度敏感检测器中的一个或多个之前是否已经被反射或散射的散射检测器数据的散射检测器，以及包括多个光源的第二头戴式显示系统部件，所述方法包括：
使所述多个光源中的至少一个光源发光；
经由所述多个角度敏感检测器中的每一个来捕获指示从所述至少一个光源发射的光的到达角度的传感器数据；
由至少一个处理器从所述多个角度敏感检测器接收所述传感器数据；
由所述至少一个处理器从所述散射检测器接收所述散射检测器数据；
由所述至少一个处理器处理所接收的传感器数据和散射检测器数据；以及
由所述至少一个处理器至少部分地基于对所接收的传感器数据和散射检测器数据的处理，来跟踪所述第一头戴式显示系统部件的位置。
CN202180007924.2A 2020-02-06 2021-02-04 头戴式显示系统的位置跟踪系统 Pending CN114945854A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062971181P 2020-02-06 2020-02-06
US62/971,181 2020-02-06
PCT/US2021/016639 WO2021158804A1 (en) 2020-02-06 2021-02-04 Position tracking system for head-mounted display systems

Publications (1)

Publication Number Publication Date
CN114945854A true CN114945854A (zh) 2022-08-26

Family

ID=77178316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180007924.2A Pending CN114945854A (zh) 2020-02-06 2021-02-04 头戴式显示系统的位置跟踪系统

Country Status (6)

Country Link
US (4) US11467660B2 (zh)
EP (1) EP4100784A4 (zh)
JP (1) JP2023512876A (zh)
KR (1) KR20220130809A (zh)
CN (1) CN114945854A (zh)
WO (1) WO2021158804A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158804A1 (en) * 2020-02-06 2021-08-12 Valve Corporation Position tracking system for head-mounted display systems
WO2023235117A1 (en) * 2022-06-03 2023-12-07 Valve Corporation Optical tracking including imaging-based angle sensitive detectors
US20240094529A1 (en) * 2022-09-14 2024-03-21 Valve Corporation Position tracking systems and methods for head-mounted display systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130027656A1 (en) * 2007-04-16 2013-01-31 Univ North Carolina State Multi-twist retarders for broadband polarization transformation and related fabrication methods
US20180164157A1 (en) * 2015-07-02 2018-06-14 Danmarks Tekniske Universitet Street light detection
CN108463767A (zh) * 2016-01-12 2018-08-28 奇跃公司 虚拟/增强现实系统中的光束角度传感器

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3004675A (en) 1955-12-16 1961-10-17 Sylvania Electric Prod Bulb assembly transfer device
US5291273A (en) * 1993-04-19 1994-03-01 Creo Products Inc. Non-contact diameter measuring method and apparatus
JP3411953B2 (ja) * 1996-04-24 2003-06-03 シャープ株式会社 光学装置および該光学装置を用いた頭部搭載型ディスプレイ
JPH09319505A (ja) * 1996-05-27 1997-12-12 Nippon Syst Integureeshiyon Kk 相対角度検出装置及び仮想現実感提供装置
CN1451230A (zh) 2000-07-21 2003-10-22 纽约市哥伦比亚大学托管会 图象拼合方法与设备
US6909473B2 (en) 2002-01-07 2005-06-21 Eastman Kodak Company Display apparatus and method
US7160017B2 (en) 2004-06-03 2007-01-09 Eastman Kodak Company Brightness enhancement film using a linear arrangement of light concentrators
US8514380B2 (en) * 2006-02-13 2013-08-20 Boston Applied Technologies, Inc. Polarization imaging apparatus with auto-calibration
US7295312B1 (en) 2006-05-10 2007-11-13 United States Of America As Represented By The Secretary Of The Army Rapid 4-Stokes parameter determination via Stokes filter wheel
WO2008128024A1 (en) 2007-04-12 2008-10-23 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compact snapshot polarimetry camera
US8004675B2 (en) * 2007-09-20 2011-08-23 Boss Nova Technologies, LLC Method and system for stokes polarization imaging
WO2011014743A2 (en) 2009-07-31 2011-02-03 North Carolina State University Beam steering devices including stacked liquid crystal polarization gratings and related methods of operation
CN102576119B (zh) 2009-10-24 2014-03-26 3M创新有限公司 光源和采用所述光源的显示系统
US8235533B2 (en) 2009-11-12 2012-08-07 Microvision, Inc. Post-scan distortion adjustment optics for infinite focus projector system
JP5869494B2 (ja) 2009-12-08 2016-02-24 スリーエム イノベイティブ プロパティズ カンパニー 光ガイド及び低屈折率フィルムを組み込んだ光学構造体
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
CN103959150B (zh) 2011-10-07 2018-05-18 北卡罗莱纳州立大学 具有偏振光栅的偏振转换系统及相关制造方法
US20130286479A1 (en) 2012-04-25 2013-10-31 Ko, Chi-Yuan of Cordic Technology Co. Ltd. Polarization recycling structure
US10302494B2 (en) * 2014-12-18 2019-05-28 Palo Alto Research Center Incorporated Obtaining spectral information from a moving object
US9712806B2 (en) 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
US10078219B2 (en) 2015-05-28 2018-09-18 Thalmic Labs Inc. Wearable heads-up display with integrated eye tracker and different optical power holograms
JP7180873B2 (ja) * 2015-12-22 2022-11-30 イー－ビジョン スマート オプティックス， インク． 動的集束ヘッドマウントディスプレイ
KR102460003B1 (ko) * 2016-01-08 2022-10-31 삼성디스플레이 주식회사 λ/4 위상 지연 필름, 표시 장치 및 이의 제조 방법
US10203489B2 (en) 2016-08-02 2019-02-12 Apple Inc. Optical system for head-mounted display
US10466036B2 (en) * 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
WO2018077870A1 (en) * 2016-10-25 2018-05-03 Trinamix Gmbh Nfrared optical detector with integrated filter
US10668368B2 (en) * 2017-06-14 2020-06-02 Sony Interactive Entertainment Inc. Active retroreflectors for head-mounted display tracking
KR20200106547A (ko) * 2018-01-18 2020-09-14 밸브 코포레이션 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템
US20190243147A1 (en) 2018-02-07 2019-08-08 Disney Enterprises, Inc. Polarization-sensitive pancake optics
US11093208B2 (en) * 2018-02-16 2021-08-17 Valve Corporation Using detected pupil location to align optical components of a head-mounted display
US11226483B2 (en) 2018-06-07 2022-01-18 Facebook Technologies, Llc Reverse-order crossed pancake lens with a shaped polarizer
US10778963B2 (en) * 2018-08-10 2020-09-15 Valve Corporation Head-mounted display (HMD) with spatially-varying retarder optics
WO2020176783A1 (en) 2019-02-28 2020-09-03 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US11209657B2 (en) * 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
KR20220129639A (ko) * 2020-02-03 2022-09-23 밸브 코포레이션 디스플레이 백라이트에 대한 공간적으로 변화하는 편광기
WO2021158804A1 (en) * 2020-02-06 2021-08-12 Valve Corporation Position tracking system for head-mounted display systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130027656A1 (en) * 2007-04-16 2013-01-31 Univ North Carolina State Multi-twist retarders for broadband polarization transformation and related fabrication methods
CN103959159A (zh) * 2011-10-07 2014-07-30 北卡罗莱纳州立大学 用于宽带偏振变换的多扭曲延迟器及相关制造方法
US20180164157A1 (en) * 2015-07-02 2018-06-14 Danmarks Tekniske Universitet Street light detection
CN108463767A (zh) * 2016-01-12 2018-08-28 奇跃公司 虚拟/增强现实系统中的光束角度传感器

Also Published As

Publication number Publication date
EP4100784A1 (en) 2022-12-14
KR20220130809A (ko) 2022-09-27
US11467660B2 (en) 2022-10-11
EP4100784A4 (en) 2024-03-06
US11703946B2 (en) 2023-07-18
WO2021158804A1 (en) 2021-08-12
US20230333638A1 (en) 2023-10-19
US20230026078A1 (en) 2023-01-26
US11847257B2 (en) 2023-12-19
JP2023512876A (ja) 2023-03-30
US20210247842A1 (en) 2021-08-12
US20230018233A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US11847257B2 (en) Position tracking system for head-mounted display systems
EP3396511B1 (en) Information processing device and operation reception method
EP3241088B1 (en) Methods and systems for user interaction within virtual or augmented reality scene using head mounted display
CN103119628B (zh) 利用运动特性的显示器上三维用户界面效果
US11209657B2 (en) Position tracking system for head-mounted display systems that includes angle sensitive detectors
CN112400202A (zh) 为在hmd环境中进行快速中央凹渲染利用预测和对gpu的后期更新做出的眼睛跟踪
CN112400150A (zh) 基于预测扫视着陆点的动态图形渲染
KR20190117415A (ko) Ar 장치 및 그 제어 방법
US20210373650A1 (en) Interactive augmented reality experiences using positional tracking
US11442542B2 (en) Systems and methods for eye tracking
JP5879353B2 (ja) 頭の位置及び向きのトラッキング
JP2020513590A (ja) 検出された特徴を用いた３ｄオブジェクトレンダリング
CN103294260A (zh) 触敏用户界面
KR20170003442A (ko) 시선 추적 디바이스 및 상기 시선 추적 디바이스를 내장한 헤드 장착형 디바이스
US11463795B2 (en) Wearable device with at-ear calibration
US11933976B2 (en) Position tracking systems and methods for head-mounted display systems
CN110461427B (zh) 变焦设备和相关方法
JP2023512866A (ja) ヘッドマウントディスプレイシステムのワイヤグリッド偏光子向け偏光補償
US20240094529A1 (en) Position tracking systems and methods for head-mounted display systems
US20230393654A1 (en) Optical tracking including imaging-based angle sensitive detectors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination