CN107533225B - 用于虚拟现实系统的稀疏投影 - Google Patents

用于虚拟现实系统的稀疏投影 Download PDF

Info

Publication number
CN107533225B
CN107533225B CN201680022460.1A CN201680022460A CN107533225B CN 107533225 B CN107533225 B CN 107533225B CN 201680022460 A CN201680022460 A CN 201680022460A CN 107533225 B CN107533225 B CN 107533225B
Authority
CN
China
Prior art keywords
clusters
additional
diffractive optical
cluster
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680022460.1A
Other languages
English (en)
Other versions
CN107533225A (zh
Inventor
多夫·卡茨
帕尔默·弗里曼·勒基
山姆·雷德蒙·达米科
伊万·M·理查兹
沈诗哲
珍妮弗·利·道尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN107533225A publication Critical patent/CN107533225A/zh
Application granted granted Critical
Publication of CN107533225B publication Critical patent/CN107533225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Holo Graphy (AREA)

Abstract

虚拟现实(VR)包括稀疏投影系统，该稀疏投影系统被配置为使用一个或多个衍射光学元件生成多个集群。所生成的每个集群具有与局部区域的虚拟映射中的唯一位置相对应的唯一配置。该稀疏投影系统投射所生成的集群到局部区域的各处。VR控制台从成像设备接收局部区域的一系列图像，其中，至少一个图像包括至少一个集群。VR控制台至少部分基于该一系列图像中包括的至少一个集群的配置来确定VR头戴设备在局部区域的虚拟映射内的位置。至少部分基于所确定的VR头戴设备的位置生成内容，并且将内容提供至VR头戴设备以呈现。

Description

用于虚拟现实系统的稀疏投影
技术领域
本公开总体涉及虚拟现实系统，并且更具体地，涉及用于虚拟现实系统的投影系统。
背景技术
虚拟现实(VR)系统包括用于确定用户所佩带的VR头戴设备(VR headset)的位置和移动的部件。传统VR系统通过发出由VR系统用来跟踪VR头戴设备的位置的光的有源器件(例如，发光二极管)来确定VR头戴设备的位置和移动。然而，使用有源部件来跟踪VR头戴设备的位置和移动增加了VR头戴设备的设计和制造的复杂性。
发明内容
虚拟现实(VR)系统包括：包含成像设备的VR头戴设备、稀疏投影系统以及VR控制台。稀疏投影系统使用一个或多个衍射光学元件生成多个集群(cluster)，并且将集群投射在包括稀疏投影系统的局部区域各处。每个集群具有与包括稀疏投影系统的局部区域的虚拟映射(virtual mapping)中的唯一位置相对应的唯一位置配置(unique locationconfiguration)。VR头戴设备包括成像设备，该成像设备被配置为捕获局部区域的部分的一系列图像，其中，一个或多个图像包括至少一个集群。此外，VR头戴设备包括电子显示器，该电子显示器被配置为至少部分基于局部区域的虚拟映射输出内容。VR控制台从VR头戴设备的成像设备接收该一系列图像，并且至少部分基于该一系列图像中的至少一个集群的位置配置来确定VR头戴设备在局部区域的虚拟映射内的位置。例如，至少部分基于所确定的VR头戴设备在局部区域的虚拟映射内的位置，VR控制台生成被提供至VR头戴设备以由电子显示器呈现的内容。
附图说明
图1是根据实施方式的包括虚拟现实系统的系统环境的框图。
图2是根据实施方式的虚拟现实头戴设备的接线图。
图3是根据实施方式的由稀疏投影系统照明的局部区域的实例。
图4是根据实施方式的包括投影组件的稀疏投影仪。
图5是根据实施方式的包括多个投影组件的稀疏投影仪的框图。
附图仅为了说明的目的而绘出本公开的实施方式。本领域技术人员从下列描述中容易认识到，可在不背离文中所描述的本公开的原理或推崇的益处的情况下，采用本文中所示出的结构和方法的替代实施方式。
具体实施方式
系统概述
图1是VR控制台110所运行的虚拟现实(VR)系统环境100的框图。图1所示的系统环境100包括：包含成像设备135的VR头戴设备105、稀疏投影系统136和VR输入接口140，它们均耦接至VR控制台110。尽管图1示出了示例性系统环境100包括一个VR头戴设备105、一个稀疏投影系统136和一个VR输入接口140，但是在其他实施方式中，在系统环境100中可包括任意数量的这些部件。例如，可存在多个稀疏投影系统136，用于在包括稀疏投影系统136的局部区域中投射多个集群，VR头戴设备105和/或VR输入接口140使用该多个集群在局部区域的虚拟映射内为自身定向。在前述实例中，每个VR头戴设备105、VR输入接口140、稀疏投影系统136以及成像设备135与VR控制台110进行通信。在替代配置中，不同和/或附加部件可被包括在系统环境100中。
稀疏投影系统136包括一个或多个稀疏投影仪，该一个或多个稀疏投影仪遍及包括稀疏投影系统136的局部区域，生成并投射多个集群。在一些实施方式中，稀疏投影系统136包括发射特定波段(例如，光的波长范围)的相干光的一个或多个光源。由稀疏投影系统136中的一个或多个光源发射的光的示例性波段包括可见波段(～380nm至750nm)、红外(IR)波段(～750nm至1mm)、紫外线波段(10nm至380nm)、其他部分的电磁频谱或其某些组合。例如，稀疏投影系统136中的光源是以IR波段产生光的激光器。为了生成多个集群，一个或多个衍射光学元件被稀疏投影系统136中的一个或多个光源照明。所生成的多个集群随后由稀疏投影系统136投射至局部区域。以下结合图4和图5进一步描述稀疏投影系统136。
集群是与包括稀疏投影系统136的局部区域的虚拟映射中的唯一位置相对应的被照明区域的唯一图案或配置。因此，不同集群与局部区域的虚拟映射中的不同位置相关联，该局部区域是稀疏投影系统136向其上投射集群的现实世界环境。例如，局部区域是围绕将集群投射至房间内的一个或多个表面上的稀疏投影系统136的房间的内部。每个集群包括具有唯一位置配置的各种照明区域，该唯一位置配置描述集群的空间配置以及集群的反射型。集群的空间配置描述集群内的照明区域的数量和布置，而反射型指定用于生成集群的光的波段(例如，光的波长范围)。没有两个集群具有相同的唯一位置配置。例如，每个集群具有不同空间配置，但是具有共同反射型。替代地，多个集群可具有相同空间配置但是具有不同反射型。
VR头戴设备105是向用户呈现内容的头戴式显示器。通过VR头戴设备105呈现的内容的实例包括一个或多个图像、视频、音频或其某些组合。在一些实施方式中，经由从VR头戴设备105、VR控制台110或两者接收音频信息并且基于音频信息呈现音频数据的外部设备(例如，扬声器和/或听筒)呈现音频。以下结合图2进一步描述VR头戴设备105的实施方式。VR头戴设备105可包括一个或多个刚体，该一个或多个刚体可刚性或非刚性彼此耦接在一起。刚体之间的刚性耦接使得所耦接的刚体起单个刚性实体的作用。与此相反，刚体之间的非刚性耦接允许刚体相对于彼此移动。在一些实施方式中，VR头戴设备105还可作为增强现实(AR)头戴设备和/或混合现实(MR)头戴设备。在这些实施方式中，VR头戴设备105利用计算机生成的内容(例如，图像、视频、声音等)增强物理、现实世界环境的视图。
在一些实施方式中，VR头戴设备105包括电子显示器115、光学块118、一个或多个位置传感器125、惯性测量单元(IMU)130以及成像设备135。电子显示器115根据从VR控制台110接收的数据，向用户显示图像。在各种实施方式中，电子显示器115可包括单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器115的实例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器或其某些组合。
光学块118放大所接收的图像光，校正与该图像光相关的光学误差，并且向VR头戴设备105的用户呈现所校正的图像光。在各种实施方式中，光学块118包括一个或多个光学元件。包括在光学块118中的示例性光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤波器或影响图像光的任意其他合适光学元件。此外，光学块118可包括不同光学元件的组合。在一些实施方式中，光学块118中的一个或多个光学元件中可具有一个或多个涂层，诸如，抗反射涂层。
与更大显示器相比，图像光通过光学块118的放大允许电子显示器115物理上更小、重量更轻且消耗更少电力。此外，放大可增加由电子显示器115呈现的内容的视场。例如，所显示内容的视场使得使用几乎所有(例如，110度对角线)用户视场并且在一些情况下所有用户视场来呈现所显示内容。在一些实施方式中，放大数量可通过添加或移除光学元件来调整。
光学块118可设计为校正一类或多类光学误差。光学误差的实例包括二维光学误差、三维光学误差或其某些组合。二维误差是以二维出现的光学像差。二维误差的示例性类型包括：桶形失真、枕形失真、纵向色像差、横向色像差或任意其他类型的二维光学误差。三维误差是以三维出现的光学误差。三维误差的示例性类型包括：球面像差、彗形像差、像场弯曲、像散或任意其他类型的三维光学误差。在一些实施方式中，提供至电子显示器115以用于显示的内容预失真，所以当光学块118从电子显示器115接收基于内容生成的图像光时，它校正失真。
IMU 130是基于从一个或多个位置传感器125接收的测量信号而生成快速校准数据的电子设备，该快速校准数据指示VR头戴设备105相对于VR头戴设备105的初始位置的估计位置。位置传感器125响应于VR头戴设备105的运动而生成一个或多个测量信号。位置传感器125的实例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力仪、检测运动的其他合适类型的传感器、用于IMU 130的纠错的一类传感器或其某些组合。位置传感器125可位于IMU 130的外部、IMU 130的内部或其某些组合。
基于由一个或多个位置传感器125生成的一个或多个测量信号，IMU 130生成表示VR头戴设备105相对于VR头戴设备105的初始位置的估计位置的快速校准数据。例如，位置传感器125包括测量平移运动(前/后、上/下、左/右)的多个加速计和测量旋转运动(例如，俯仰、偏转、滚转)的多个陀螺仪。在一些实施方式中，IMU 130从各位置传感器125快速采样测量信号，并且根据采样数据计算VR头戴设备105的估计位置。例如，IMU 130在时间上积分从一个或多个加速计接收的测量信号以估计速度向量，并且在时间上积分速度向量以确定VR头戴设备105上的基准点的估计位置。替换地，IMU 130将采样测量信号提供至VR控制台110，VR控制台110确定快速校准数据。基准点是可用于描述VR头戴设备105的位置的点。尽管基准点可般定义为空间中的点，但是实际上基准点被定义为VR头戴设备105内的点(例如，IMU 130的中心)。
IMU 130从VR控制台110接收一个或多个校准参数。如以下进一步讨论的，一个或多个校准参数用于保持对VR头戴设备105的跟踪。基于接收的校准参数，IMU 130可调节一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些校准参数使得IMU 130更新基准点的初始位置，如此基准点的初始位置对应于基准点的下一校准位置。将基准点的初始位置更新为基准点的下一校准位置，有助于减少与所确定的估计位置相关的累积误差。累积误差，也称为漂移误差，使基准点的估计位置随时间远离基准点的实际位置“漂移”。
成像设备135捕获包括VR头戴设备105的局部区域的一个或多个图像，其中，至少一组捕获图像包括至少一个集群。在各种实施方式中，成像设备135可包括一个或多个照相机、一个或多个摄像机、能够捕获集群的图像的任意其他设备或其某些组合。此外，成像设备135可包括一个或多个滤波器(例如，用于增加信噪比)。成像设备135被配置为检测成像设备135的视场中的集群。在各种实施方式中，由成像设备135捕获的图像是从成像设备135向VR控制台110传送的慢速校准数据。成像设备135从VR控制台110接收一个或多个校准参数以调节用于捕获局部区域的图像的一个或多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈等)。在替代实施方式中，成像设备135与VR头戴设备105分开。
VR输入接口140是允许用户向VR控制台110发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是启动应用、结束应用或者执行应用内的特定动作。VR输入接口140可包括一个或多个输入设备。示例性输入设备包括：键盘、鼠标、游戏控制器、操纵杆(joystick)、操作杆(yoke)或用于接收动作请求并且将所接收的动作请求传送至VR控制台110的任意其他合适设备。由VR输入接口140接收的动作请求被传送至VR控制台110，VR控制台110执行与动作请求相对应的动作。在一些实施方式中，VR输入接口140也可包括捕获一个或多个集群的图像并且将图像提供至VR控制台110的成像设备135。
VR输入接口140也可包括捕获快速校准数据并且将快速校准数据提供至VR控制台110的IMU 130，该快速校准数据表示VR输入接口140相对于VR接口140的初始位置的估计位置。IMU 130从VR控制台110接收一个或多个校准参数。如以下进一步讨论的，一个或多个校准参数用于保持对VR接口140的跟踪。
在一些实施方式中，VR输入接口140可根据从VR控制台110接收的指令向用户提供触觉反馈。例如，当接收动作请求时，触觉反馈被提供至用户。作为另一实例，当VR控制台110执行动作时，在VR控制台110将指令传送至VR输入接口140，使得VR输入接口140生成触觉反馈时，VR输入接口140向用户提供触觉反馈。
VR控制台110根据从如下一个或多个接收的信息向VR头戴设备105提供用于呈现至用户的内容：成像设备135、VR头戴设备105以及VR输入接口140。在图1所示的实例中，VR控制台110包括应用存储器145、特征数据库147、映射模块148、跟踪模块150以及虚拟现实(VR)引擎155。一些实施方式中，VR控制台110具有与结合图1描述的那些部件不同的部件。类似地，在各种实施方式中，可以以与这里描述的方式不同的方式在VR控制台110的部件中分配以下进一步描述的功能。
应用存储器145存储用于由VR控制台110执行的一个或多个应用。应用是在被处理器执行时生成内容以用于呈现至用户的一组指令。由应用生成的内容可以是对经由VR头戴设备105或VR接口设备140的移动而从用户接收的输入的响应。应用的实例包括：游戏应用、会议应用、视频播放应用或其他合适应用。
特征数据库147在局部区域的虚拟映射中存储对应集群的交比的映射。集群的交比基于集群内的各个照明区域之间的距离。例如，从集群内的共面照明区域对之间的距离确定集群的交比。作为具体实例，对于集群，确定第一照明区域和第二照明区域之间的距离与第三照明区域和第四照明区域之间的距离的乘积，以及第一照明区域和第四照明区域之间的距离与第三照明区域和第二照明区域之间的距离的另一乘积。针对集群的交比被确定为乘积与另一乘积的比，其中，交比与关联于集群的集群标识符相关联地存储在特征数据库147中。此外，在一些实施方式中，交比也与反射型(例如，IR的特定波段)相关联。因此，在一些实施方式中，交比和另一交比具有相同空间配置但是具有不同反射型，因此交比和另一交比映射至局部区域中的不同区域。局部区域的虚拟映射中的每个集群由集群标识符唯一识别。因此，特征数据库147存储各集群标识符与其相应交比之间的映射。
映射模块148基于从VR头戴设备105或从VR输入接口140接收的投射集群的图像，生成局部区域的虚拟映射。此外，映射模块148确定局部区域中的每个集群相对于稀疏投影系统136和VR头戴设备105的位置。例如，映射模块148使用来自VR头戴设备105的慢速校准信息(例如，局部区域的各部分的图像)，来计算从成像集群到VR头戴设备105的距离。根据接收自VR头戴设备105的信息以及来自稀疏投影系统136的集群信息，映射模块148通过经由与不同集群相关联的集群标识符，将每个集群分配至虚拟空间中的覆盖局部区域的具体位置，来生成虚拟映射。
跟踪模块150使用一个或多个校准参数校准系统环境100，并且可调节一个或多个校准参数以在确定VR头戴设备105的位置时降低误差。例如，跟踪模块150调节成像设备135的焦点以获得所观察集群的更准确位置。此外，由跟踪模块150执行的校准也考虑从VR头戴设备105或VR输入接口140中的IMU 130接收的信息。此外，如果对VR头戴设备105或VR输入接口140的跟踪丢失(例如，成像设备135丢失至少阈值数量的集群的视线)，则跟踪模块150可重新校准部分或全部系统环境100。
跟踪模块150使用来自一个或多个成像设备135的慢速校准信息，来跟踪VR头戴设备105或VR输入设备140的移动。例如，跟踪模块150使用来自慢速校准信息的至少一个观察集群和特征数据库147，确定虚拟映射中的VR头戴设备105的基准点的位置。例如，跟踪模块150确定观察集群的交比，并且比较所确定的交比与存储在特征数据库147中的交比。跟踪模块150识别来自特征数据库147中的与匹配所确定交比的交比相关联的集群标识符，随后从映射模块148确定局部区域中的与识别集群标识符相对应的位置。在VR输入接口140包括成像设备135的实施方式中，跟踪模块150以类似于上述用于VR头戴设备105的方式，确定VR输入接口140的位置。
跟踪模块150也可使用来自快速校准信息的位置信息，确定VR头戴设备105的基准点或VR输入接口140的基准点的位置。此外，在一些实施方式中，跟踪模块150可使用部分快速校准信息、部分慢速校准信息或其某些组合，来预测VR头戴设备105的未来位置或VR输入接口140的未来位置。跟踪模块150将VR头戴设备105或VR输入接口140的估计或预测的未来位置提供至VR引擎155。
VR引擎155在系统环境100内执行应用，并且从跟踪模块150接收VR头戴设备105的位置信息、加速度信息、速度信息、预测的未来位置或其某些组合。基于所接收的信息，VR引擎155确定提供至VR头戴设备105以用于呈现至用户的内容。内容可包括视频信息、一个或多个图像、虚拟物体、音频信息或其某些组合。例如，如果所接收的信息表示用户已经向左看，则VR引擎155为VR头戴设备105生成反映用户在虚拟环境中的移动的内容。此外，VR引擎155响应于从VR输入接口140接收的动作请求而在VR控制台110上运行的应用内执行动作，并且将执行该动作的反馈提供至用户。所提供的反馈可以是经由VR头戴设备105的视觉反馈或听觉反馈或者经由VR输入接口140的触觉反馈。
图2是根据实施方式的虚拟现实(VR)头戴设备200的接线图。VR头戴设备200是VR头戴设备105的实施方式，并且包括前刚体205和带子210。前刚体205包括电子显示器115(未示出)、IMU 130、一个或多个位置传感器125以及成像设备135的一个或多个电子显示元件。在一些实施方式中，成像设备135是两个不同的照相机，因此通过两个照相机生成的分离图像用于确定从VR头戴设备200到由两个照相机成像的、由稀疏投影系统136投射的集群的距离。在替代实施方式中，成像设备135是包括用于确定到成像的、由稀疏投影系统136投射的集群的距离的测距仪的单个摄像机。此外，在替代实施方式中，一个或多个成像设备可与VR头戴设备200分开。例如，一个或多个成像设备可被配置为从不同有利位置观看包括VR头戴设备200的局部区域。
图3是由稀疏投影系统136照明局部区域300的实例。在图3的实例中，局部区域300包括遍及局部区域300，生成并投射多个集群340的稀疏投影仪310。如以上结合图1描述的，每个集群具有描述集群的空间配置和反射型的唯一位置配置。例如，集群340A具有的空间配置与集群340B具有的空间配置不同。作为另一实例，集群340A和集群340B具有共同空间配置但是具有不同反射型。如以上结合图1描述的，因为每个集群对应于局部区域300的虚拟映射中的唯一位置，所以捕获包括单个集群的图像允许识别VR头戴设备105在局部区域300的虚拟映射内的位置。
在有些情况下，局部区域300包括一个或多个物品(椅子、桌子、沙发、人等)。在图3的实例中，局部区域300包括稀疏投影仪310向其上投射一些集群的桌子320。桌子320相对于稀疏投影仪310的定位在桌子310后面产生没有集群340投射的阴影区域330。在一些实施方式中，为了将集群340投射至阴影区域310，在局部区域300中包括在不同位置处的一个或多个额外稀疏投影仪310。例如，包括安装至图3的局部区域300中的桌子320上方的天花板的第二稀疏投影仪将集群投射至阴影区域330，允许VR控制台110生成局部区域300的更好虚拟映射。
图4是包括投影组件410的稀疏投影仪400的实施方式的框图。在图4所示的实施方式中，稀疏投影仪400包括源组件405和投影组件410。源组件405是被配置为朝向投影组件410发出相干光束412的相干光源。源组件405的实例包括激光二极管、垂直腔面发射激光器、可调谐激光器或发射相干光的其他光源。在各种实施方式中，源组件405以IR波段发光；然而，在其他实施方式中，源组件405以可见波段、UV波段或任意其他合适波段发光。在一些实施方式中，光束412可以是相对准直的。然而，在一些实施方式中，源组件405发射未被准直的光束412。例如，通过源组件405发射的光可以是发散的或会聚的。因此，在一些实施方式中，源组件405也包括将来自光源的光准直为光束412的准直器。
投影组件410接收从源组件405发射的光束412并且输出多个集群。在一个实施方式中，投影组件410包括光束扩展器组件420、衍射光学元件430以及变换组件440。然而，在其他实施方式中，投影组件410可包括与结合图4描述的那些部件不同的和/或额外部件。
光束扩展器组件420扩展从源组件405接收的相干光束412，以生成具有足够完全照明衍射光学元件430的尺寸的扩展光束422。光束扩展器组件420可以是伽利略的(Galilean)、开普勒的(Keplerian)或者被配置为从光束412生成完全照明衍射光学元件430的扩展光束422的一些其他结构。在一些实施方式中，单个衍射光学元件430可沉积在基板上，因此相干光束412仅照明单个衍射光学元件430。在其他实施方式中，基板可包括各自对应于不同集群组的多个衍射光学元件430，因此相干光束412同时照明多个衍射光学元件430中的一些或所有。
衍射光学元件430是用于投射至局部区域的多个集群的二维(2D)傅里叶变换。在各种实施方式中，衍射光学元件430是使用计算机生成全息术(诸如，傅里叶变换全息术)生成的计算机生成全息图。在一些实施方式中，计算机生成全息图呈现在空间光调制器(例如，以相位调制模式操作)上。替代地，计算机生成全息图是应用至光学元件的膜。计算机生成全息术数字化生成全息干涉图案，并且将生成的图案应用至光学元件，诸如衍射光学元件430。各种方法可用于利用多个集群的2D傅里叶变换来编码衍射光学元件430，其实例记载在如下文献中：Brown,Byron R.；Lohmann,Adolf W.，“利用二进制掩模的复杂空间滤波(Complex spatial filtering with binary masks)”，应用光学(美国光学学会)第5卷，第6期，1966年6月；以及J.J.Burch(1967)；以及“一种用于合成空间频率滤波器的计算机算法(AComputer Algorithm for the Synthesis of Spatial Frequency Filters)”，IEEE论文集(IEEE)55:599-601；Burrchardt,C.B.，“由计算机生成全息图的李氏方法的简化(ASimplification of Lee's Method of Generating Holograms by Computer)”，应用光学，第9卷，第8期，1970年8月；Lee,Wai Hon，“通过计算机生成的采样傅里叶变换全息图(Sampled Fourier Transform Hologram Generated by Computer)”，“应用光学，第9卷，第3期，1970年3月；Lohmann,A.W.，Paris，D.P.，“由计算机生成的二进制夫朗和斐全息图(Binary Fraunhofer Holograms,Generated by Computer)”，应用光学，第6卷，第10期，1967年10月；Lohmann,A.W.，Sinzinger,S.，“用于计算机全息术的图形码(Graphic Codesfor Computer Holography)”，应用光学，第34卷，第17期，1995年6月，它们的全部内容通过引证结合于此。图4包括作为多个集群的2D傅里叶变换的示例性衍射光学元件430的表示。为了说明的目的，衍射光学元件430的一部分440被放大以更好地示出衍射光学元件430的编码。衍射光学元件430的放大部分440中所示出的竖直柱代表其振幅和相位信息已被量化并且编码在衍射光学元件430的部分440上的单个集群的傅里叶变换。
衍射光学元件430比掩模更少地衰减光功率，该掩模是远场中的期望图像的颠倒(inverse)。例如，远场中的期望图像是包括一个或多个照明区域的多个集群，因此用于期望图像的掩模在与照明区域相对应的位置中是透明的并且在其他位置中是不透明的。例如，图4示出与单个集群相对应的掩模450的一部分。然而，实际上，掩模阻挡大部分的光，其浪费大部分光功率。如图4所示，与掩模450的部分相比，衍射光学元件430的放大部分440明显阻挡较少光，并且也对应于单个集群。因此，相对于掩模的使用，使用衍射光学元件430降低产生集群442所需的光功率。
变换组件440对从衍射光学元件430输出的光432进行傅里叶逆变换以生成多个集群442，并且将多个集群442投射至包括稀疏投影仪400的局部区域。例如，变换组件440包括变换透镜和投影部件。变换透镜是对从衍射光学元件430输出的光432进行2D傅里叶逆变换的正透镜，并且输出多个集群442的图像，如同它会出现在变换透镜的后焦平面的远场中。如以上提及的，在一些实施方式中，对应于不同集群组的多个衍射光学元件430可被同时照明，因此在有些情况下，变换组件440使得集群组在远场中重叠。
变换组件440的投影部件在大的视场内(例如，～半球)将集群442的图像投射至局部区域。在各种实施方式中，投影组件包括相对于集群442的图像设置以便在大的视场内投射集群442的一个或多个透镜。在一些实施方式中，鱼眼镜片被使用，所以集群442投射在其上的视场接近半球(例如，180度)。此外，在一些实施方式中，一个或多个滤波器和/或挡板可用于阻挡集群442的图像的低阶表示被投射至局部区域。
图5是包括多个投影组件510A、510B和510C的稀疏投影仪500的实施方式的框图。在图5所示的实例中，稀疏投影仪500包括源组件505以及投影组件510A、510B和510C。源组件505大致类似于以上结合图4描述的源组件405；然而，源组件505被配置为输出多个光束515A、515B、515C而不是单个光束。在一些实施方式中，由源组件505输出的不同光束515A、515B、515C处于相同的波长范围。替代地，由源组件505输出的不同光束515A、515B、515C处于不同的波长范围。
投影组件510A、510B和510C均大致类似于以上结合图4描述的投影组件410。在一些实施方式中，投影组件510A、510B和510C中的每一个包括不同衍射光学元件，因此每个投影组件510A、510B和510C分别输出不同集群组542A、542B和542C。此外，每个集群组542A、542B和542C内的每个集群是唯一的，因此在集群组542A、542B和542C中，特定集群出现单次。在替代实施方式中，投影组件510A、510B和510C的每一个中的衍射光学元件相同，但是每个投影组件510A、510B、510C使用不同波长范围照明。例如，光束515A是特定波长范围，光束515B是不同波长范围，并且光束515C是另一波长范围。因此，不同集群组542A、542B和542C中的集群可具有相同空间配置但是具有不同反射型；因此，集群组542A、542B和542C中的每个集群仍具有唯一位置配置。
使用多个投影组件510A、510B和510C允许集群组542A、542B和542C在其投影组件510A、510B和510C的各自视场(均～60度)内的集群密度增加，因为给定集群组542A、542B和542C不会跨稀疏投影仪500的总视场(例如，～180度)分布。相反，图4中的投影组件410在相同视场(例如，～180度)中输出单个集群组442。因此，集群组542A、542B和542C的相邻集群之间的距离更小，有可能允许局部区域的更准确虚拟映射。
额外配置信息
本公开的实施方式的上述描述出于说明目的而呈现；它并非旨在穷尽或者将本公开局限于所公开的确切形式。相关领域技术人员应认识到，根据上述公开内容，多种修改和变化是可能的。
本说明书的一些部分从信息运算的算法和符号表示法的角度描述了本公开的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以便将他们的工作实质有效传达给本领域的其他技术人员。这些运算，当被描述为功能性、计算性或逻辑性时，被理解为由计算机程序或等同电路、微码等实施。此外，有时，把这些运算的安排称为模块也是方便的，并且不失其一般性。所描述的运算及其关联模块可具体化为软件、固件、硬件或其任意组合。
本文描述的任何步骤、操作或流程可由一个或多个硬件或软件模块单独或与其他设备组合执行或实现。在一个实施方式中，软件模块由计算机程序产品实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可由用于执行所描述的任何或所有步骤、操作或流程的计算机处理器执行。
本公开的实施方式还可涉及一种用于执行本文中的操作的装置。该装置可针对需要目的而具体构造和/或该装置可包括由存储在计算机中的计算机程序选择性激活或重新配置的通用计算设备。这种计算机程序可存储在非易失性、有形计算机可读存储介质中，或者适用于存储电子指令的任何类型的介质，其可耦接至计算机系统总线。而且，本说明书中提及的任何计算系统可包括单一处理器或者可以是采用多处理器设计的架构以提高计算能力。
本公开的实施方式还可涉及由本文中所描述的计算过程制造的产品。这种产品可包括从计算处理得到的信息，其中，信息存储在非易失性、有形计算机可读存储介质中，并且可包括本文中描述的计算机程序产品或其他数据组合的任意实施方式。
最后，原则上出于可读性和说明性之目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，本公开的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此，实施方式的公开内容旨在用于说明，而非限制在所附权利要求中阐述的本公开的范围。

Claims (17)

1.一种虚拟现实系统，包括：
稀疏投影系统，被配置为：
使用一个或多个衍射光学元件生成多个集群，每个集群具有与局部区域的虚拟映射中的唯一位置对应的唯一配置，以及
将所生成的集群投射在所述局部区域的各处；以及
虚拟现实VR头戴设备，包括：
成像设备，被配置为捕获所述局部区域的部分的一系列图像，至少一个图像包括至少一个集群，以及
电子显示器，被配置为至少部分基于所述局部区域的所述虚拟映射来输出视频信息；以及
VR控制台，包括：
处理器；以及
存储器，耦接至所述处理器并且包括指令，
所述指令在由所述处理器执行时，使得所述处理器配置为：
从所述成像设备接收所述一系列图像；
至少部分基于所述至少一个集群的配置来确定所述VR头戴设备在所述局部区域的所述虚拟映射内的位置；
至少部分基于所确定的所述VR头戴设备在所述局部区域的所述虚拟映射内的位置，生成内容；以及
将所述内容提供至所述VR头戴设备以由所述电子显示器呈现，
其中，给定集群的所述唯一配置是描述所述给定集群内的照明区域的数量和布置的空间配置与指定用来生成所述给定集群的光的波段的反射型的组合。
2.根据权利要求1所述的虚拟现实系统，其中，所述一个或多个衍射光学元件中的衍射光学元件是计算机生成的全息图，并且所述稀疏投影系统被配置为通过对从所述衍射光学元件输出的光执行傅里叶逆变换而生成多个集群。
3.根据权利要求1所述的虚拟现实系统，其中，所述稀疏投影系统包括：
源组件，被配置为生成光束和额外光束；
投影组件，被配置为：
使用所述一个或多个衍射光学元件中的衍射光学元件和所述光束生成所述多个集群中的一组集群，以及
将所生成的一组集群投射在所述局部区域的一部分的各处；以及
第二投影组件，被配置为：
使用所述一个或多个衍射光学元件中的额外衍射光学元件和所述额外光束，生成所述多个集群中的额外一组集群，以及
将所生成的额外一组集群投射在所述局部区域的额外一部分的各处。
4.根据权利要求3所述的虚拟现实系统，其中，所述光束和所述额外光束具有不同波长，使得与所述一组集群相关联的反射型和与所述额外一组集群相关联的反射型不同。
5.根据权利要求4所述的虚拟现实系统，其中，所述衍射光学元件和所述额外衍射光学元件被配置使得针对所述一组集群的空间配置与针对所述额外一组集群的空间配置相同。
6.根据权利要求3所述的虚拟现实系统，其中，所述光束和所述额外光束被配置使得与所述一组集群相关联的反射型和与所述额外一组集群相关联的反射型相同。
7.根据权利要求6所述的虚拟现实系统，其中，所述衍射光学元件和所述额外衍射光学元件不同，使得针对所述一组集群的空间配置不同于针对所述额外一组集群的空间配置。
8.一种虚拟现实系统，包括：
稀疏投影系统，包括：
源组件，被配置为生成一个或多个光束，以及
投影组件，被配置为：
使用衍射光学元件和所述一个或多个光束中的光束生成多个集群，每个集群具有与局部区域的虚拟映射中的唯一位置对应的唯一配置，以及
将所生成的集群投射在所述局部区域的各处；以及
虚拟现实VR头戴设备，包括：
成像设备，被配置为捕获所述局部区域的部分的一系列图像，至少一个图像包括至少一个集群，以及
电子显示器，被配置为至少部分基于所述局部区域的所述虚拟映射来输出内容；以及
VR控制台，包括：
处理器；以及
存储器，耦接至所述处理器并且包括指令，
所述指令在由所述处理器执行时，使得所述处理器配置为：
从所述成像设备接收所述一系列图像；
至少部分基于所述至少一个集群的配置来确定所述VR头戴设备在所述局部区域的所述虚拟映射内的位置；
至少部分基于所确定的所述VR头戴设备在所述局部区域的所述虚拟映射内的位置，生成内容；以及
将所述内容提供至所述VR头戴设备以由所述电子显示器呈现，
其中，给定集群的所述唯一配置是描述所述给定集群内的照明区域的数量和布置的空间配置与指定用来生成所述给定集群的光的波段的反射型的组合。
9.根据权利要求8所述的虚拟现实系统，其中，所述衍射光学元件是计算机生成的全息图，并且所述稀疏投影系统被配置为通过对从所述衍射光学元件输出的光执行傅里叶逆变换而生成所述多个集群。
10.根据权利要求8所述的虚拟现实系统，其中，所述稀疏投影系统进一步包括：
额外投影组件，被配置为：
使用额外衍射光学元件和所述一个或多个光束中的额外光束生成额外多个集群，以及
将所生成的额外多个集群投射在所述局部区域的各处。
11.根据权利要求10所述的虚拟现实系统，其中，所述光束和所述额外光束具有不同波长，使得与所述多个集群相关联的反射型和与所述额外多个集群相关联的反射型不同。
12.根据权利要求11所述的虚拟现实系统，其中，所述衍射光学元件和所述额外衍射光学元件相同，使得针对所述多个集群的空间配置与针对所述额外多个集群的空间配置相同。
13.根据权利要求10所述的虚拟现实系统，其中，所述光束和所述额外光束相同，使得与所述多个集群相关联的反射型和与所述额外多个集群相关联的反射型相同。
14.根据权利要求13所述的虚拟现实系统，其中，所述衍射光学元件和所述额外衍射光学元件不同，使得针对所述多个集群的空间配置与针对所述额外多个集群的空间配置不同。
15.一种虚拟现实系统，包括：
稀疏投影系统，包括：
源组件，被配置为生成一个或多个光束，以及
投影组件，被配置为：
使用一个或多个衍射光学元件和所述一个或多个光束中的光束生成多个集群，每个集群具有与局部区域的虚拟映射中的唯一位置对应的唯一配置，以及
将所生成的集群投射在所述局部区域的各处；以及
虚拟现实VR控制台，包括：
处理器；以及
存储器，耦接至所述处理器并且包括指令，
所述指令在由所述处理器执行时，使得所述处理器配置为：
从成像设备接收一系列图像，至少一个图像包括至少一个集群；
至少部分基于所述至少一个集群的配置来确定VR头戴设备在所述局部区域的所述虚拟映射内的位置；
至少部分基于所确定的所述VR头戴设备在所述局部区域的所述虚拟映射内的位置，生成内容；以及
将所述内容提供至所述VR头戴设备以由电子显示器呈现，
其中，给定集群的所述唯一配置是描述所述给定集群内的照明区域的数量和布置的空间配置与指定用来生成所述给定集群的光的波段的反射型的组合。
16.根据权利要求15所述的虚拟现实系统，其中，所述一个或多个衍射光学元件中的衍射光学元件是计算机生成的全息图，并且所述稀疏投影系统被配置为通过对从所述衍射光学元件输出的光执行傅里叶逆变换而生成所述多个集群。
17.根据权利要求15所述的虚拟现实系统，其中，所述稀疏投影系统进一步包括：
所述源组件，还被配置为生成所述光束和额外光束；
所述投影组件，还被配置为：
使用所述一个或多个衍射光学元件中的衍射光学元件和所述光束生成所述多个集群中的一组集群，以及
将所生成的一组集群投射在所述局部区域的一部分的各处；以及
额外投影组件，被配置为：
使用所述一个或多个衍射光学元件中的额外衍射光学元件和所述额外光束，生成所述多个集群中的额外一组集群，以及
将所生成的额外一组集群投射在所述局部区域的额外一部分的各处。
CN201680022460.1A 2015-03-04 2016-03-04 用于虚拟现实系统的稀疏投影 Active CN107533225B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562128433P 2015-03-04 2015-03-04
US62/128,433 2015-03-04
PCT/US2016/020814 WO2016141263A1 (en) 2015-03-04 2016-03-04 Sparse projection for a virtual reality system

Publications (2)

Publication Number Publication Date
CN107533225A CN107533225A (zh) 2018-01-02
CN107533225B true CN107533225B (zh) 2020-07-14

Family

ID=56849076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022460.1A Active CN107533225B (zh) 2015-03-04 2016-03-04 用于虚拟现实系统的稀疏投影

Country Status (6)

Country Link
US (1) US10073263B2 (zh)
EP (1) EP3114528B1 (zh)
JP (1) JP6581203B2 (zh)
KR (1) KR102054695B1 (zh)
CN (1) CN107533225B (zh)
WO (1) WO2016141263A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728518B2 (en) 2018-03-22 2020-07-28 Microsoft Technology Licensing, Llc Movement detection in low light environments
US10944957B2 (en) 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10643341B2 (en) 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10565720B2 (en) * 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10994216B2 (en) * 2019-08-15 2021-05-04 Board Media Group LLC Virtual reality motion simulator
US12111180B2 (en) 2021-07-01 2024-10-08 Summer Robotics, Inc. Calibration of sensor position offsets based on rotation and translation vectors for matched trajectories
US11704835B2 (en) 2021-07-29 2023-07-18 Summer Robotics, Inc. Dynamic calibration of 3D acquisition systems
WO2023177692A1 (en) 2022-03-14 2023-09-21 Summer Robotics, Inc. Stage studio for immersive 3-d video capture
US20230316657A1 (en) * 2022-04-05 2023-10-05 Summer Robotics, Inc. Auxiliary device for augmented reality
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101349889B (zh) * 2002-11-13 2012-04-25 希瑞尔技术有限公司 视频全息图和用于重构大物体的视频全息图的装置
US8164640B2 (en) * 2005-06-30 2012-04-24 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
WO2012033170A1 (ja) * 2010-09-08 2012-03-15 大日本印刷株式会社 投射装置および投射型映像表示装置
WO2012049795A1 (ja) * 2010-10-12 2012-04-19 パナソニック株式会社 表示処理装置、表示方法およびプログラム
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US8711370B1 (en) 2012-10-04 2014-04-29 Gerard Dirk Smits Scanning optical positioning system with spatially triangulating receivers
JP6061334B2 (ja) * 2012-11-26 2017-01-18 Kddi株式会社 光学式シースルー型ｈｍｄを用いたａｒシステム
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
JP6123342B2 (ja) * 2013-02-20 2017-05-10 ソニー株式会社 表示装置
EP2797313A1 (en) * 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
DE102013210746A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs
CN103617636B (zh) * 2013-12-02 2016-08-17 西北工业大学 基于运动信息及稀疏投影的视频目标自动检测跟踪方法
KR20150096948A (ko) 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
WO2015138266A1 (en) * 2014-03-10 2015-09-17 Ion Virtual Technology Corporation Modular and convertible virtual reality headset system
CN110308561A (zh) * 2014-03-14 2019-10-08 索尼互动娱乐股份有限公司 用于头戴式显示器(hmd)的方法和系统

Also Published As

Publication number Publication date
CN107533225A (zh) 2018-01-02
KR102054695B1 (ko) 2019-12-11
WO2016141263A1 (en) 2016-09-09
US10073263B2 (en) 2018-09-11
EP3114528A1 (en) 2017-01-11
JP6581203B2 (ja) 2019-09-25
EP3114528A4 (en) 2017-11-01
KR20170122215A (ko) 2017-11-03
US20160259168A1 (en) 2016-09-08
EP3114528B1 (en) 2019-11-06
JP2018517187A (ja) 2018-06-28

Similar Documents

Publication Publication Date Title
CN107533225B (zh) 用于虚拟现实系统的稀疏投影
EP3371973B1 (en) Eye tracking using a diffraction pattern of coherent light on the surface of the eye
US10198032B2 (en) Passive locators for a virtual reality headset
CN109425994B (zh) 深度相机组件、头戴式显示器和用于深度感测的方法
CN108780223B (zh) 用于生成眼睛模型的角膜球跟踪
US10469722B2 (en) Spatially tiled structured light projector
US10827163B2 (en) Multiple emitter illumination source for depth information determination
US10410373B1 (en) Calibration of a phase interferometry depth camera assembly
US10636193B1 (en) Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
US10636192B1 (en) Generating a graphical representation of a face of a user wearing a head mounted display
EP3288259B1 (en) Array detector for depth mapping
KR102510644B1 (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
US10948283B1 (en) Tileable structured light projection system
JP2022504010A (ja) 構造化光源および飛行時間カメラ付き深度測定アセンブリ
US10789777B1 (en) Generating content for presentation by a head mounted display based on data captured by a light field camera positioned on the head mounted display
US10795436B2 (en) Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
US10521926B1 (en) Tileable non-planar structured light patterns for wide field-of-view depth sensing
EP3282285A1 (en) Multiple emitter illumination source for depth information determination
US10462451B1 (en) Asymmetric structured light source
US10855973B1 (en) Depth mapping using fringe interferometry
US10495882B1 (en) Positioning cameras in a head mounted display to capture images of portions of a face of a user
US10685453B1 (en) Folded laser emitters for structured light applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: OCULUS VR, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder