CN111194423A - 头戴式显示器跟踪系统 - Google Patents

头戴式显示器跟踪系统 Download PDF

Info

Publication number
CN111194423A
CN111194423A CN201780095731.0A CN201780095731A CN111194423A CN 111194423 A CN111194423 A CN 111194423A CN 201780095731 A CN201780095731 A CN 201780095731A CN 111194423 A CN111194423 A CN 111194423A
Authority
CN
China
Prior art keywords
hmd
camera
cameras
exposure
local area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780095731.0A
Other languages
English (en)
Inventor
奥斯卡·林德
安德鲁·梅林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN111194423A publication Critical patent/CN111194423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

头戴式显示器(HMD)被配置成捕获局部区域的图像和/或视频。HMD包括成像组件和控制器。成像组件包括多个相机，该多个相机定位在HMD上的不同位置处，并且被定向成捕获围绕HMD的局部区域的不同部分的图像。控制器使用图像信息生成用于每个相机的成像指令。成像指令使得对于所捕获的图像中的每一个，每个相机的曝光时间的相应中点在同一时间值出现。相机根据成像指令捕获局部区域的图像。控制器使用所捕获的图像来确定HMD在局部区域中的位置，并更新表示局部区域的深度和曝光设置的映射函数的模型。

Description

头戴式显示器跟踪系统
背景
本公开总体上涉及头戴式显示器，并且具体涉及头戴式显示器跟踪系统。
虚拟现实(VR)系统通常包括用于确定由用户佩戴的头戴式装置(headset)的位置和移动的外部设备。因此，这样的系统的操作被限制在包括外部设备的特定区域(例如，房间)。此外，这样的外部设备通常使用某种有源照明源(例如，结构光)来确定用户的位置，这增加了系统的复杂性和功率要求。
概述
一种头戴式显示器(HMD)被配置成捕获局部区域的图像和/或视频，该图像和/或视频的至少一部分是立体的。HMD包括成像组件和控制器。
成像组件包括多个相机，该多个相机定位在HMD上的不同位置处，并且被定向成捕获围绕HMD的局部区域的不同部分的图像。多个相机各自具有与相邻相机重叠的视场。多个相机中的每个相机生成曝光设置，该曝光设置由控制器用来为每个相机生成成像指令。每个相机根据成像指令捕获局部区域的图像。
控制器被配置为使用相应的曝光设置来为每个相机生成成像指令。成像指令使得对于所捕获的图像中的每一个，多个相机中的每一个相机的曝光时间的相应中点在同一时间值出现。控制器向成像组件提供成像指令，使得相机可以捕获局部区域的图像。控制器使用所捕获的图像来确定HMD在局部区域中的位置。
附图简述
图1示出了根据实施例的头戴式显示器(HMD)。
图2A示出了根据一个实施例的HMD的前视图。
图2B示出了根据一个实施例的HMD的侧视图。
图3是示出根据一个实施例的HMD系统的实施例的框图。
图4示出了根据一个实施例的HMD上的多个相机的视场。
图5示出了根据一个实施例的用于同步HMD上的多个相机的图像捕获的方法。
图6是示出根据一个实施例的确定HMD在局部区域内的位置的过程的流程图。
附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到本文示出的结构和方法的替代实施例可以被采用而不偏离本文所述的本公开的原理或者所推崇的益处。
详细描述
本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是在呈现给用户之前以某种方式被调整的现实的形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，其中任一个可以在单个通道中或在多个通道(例如为观看者产生三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。可以在各种平台(包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。
图1示出了根据实施例的头戴式显示器(HMD)100。HMD 100可以是例如人工现实系统的一部分。HMD 100包括前刚性主体105、带110和HMD控制器(未示出)。在图1的实施例中，HMD 100包括成像组件，该成像组件包括定位在前刚性主体105上的相机115、相机120、相机125和相机130。
前刚性主体105包括一个或更多个电子显示元件(未在图1中示出)、一个或更多个集成的眼睛跟踪系统(未在图1中示出)、惯性测量单元(IMU)135和一个或更多个位置传感器140。在图1所示的实施例中，位置传感器140位于IMU 135内，并且IMU 135和位置传感器140对于HMD 100的用户都是不可见的。IMU 135是一种基于从一个或更多个位置传感器140接收的测量信号来生成快速校准数据的电子设备。位置传感器140响应于HMD 100的运动而生成一个或更多个测量信号。位置传感器140的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU 135的误差校正的一种类型的传感器、或者其某种组合。位置传感器140可以位于IMU 135的外部、IMU 135的内部、或者这两个位置的某种组合。
带110将HMD 100固定到用户的头部，并将前刚性主体105定位在用户的脸部上。在图1的实施例中，带110通过缠绕在用户的头的后部周围而将HMD 100固定到用户的头部。带110可以由耐用的织物组成，例如尼龙、聚酯、丙烯、某种其他类似的材料、或者其某种组合。在一些实施例中，带110可以具有弹性(例如，弹性尼龙)，这允许带110拉伸或贴合用户的头部。带110可以具有各种配置，这些配置可以为佩戴HMD 100的用户提供额外的舒适性或稳定性。在一些实施例中，冷却风扇和/或电源可以沿着带110被附接。
成像组件使用从围绕HMD 100的局部区域捕获的图像和/或音频信息来生成图像信息。局部区域是围绕HMD 100的环境。例如，局部区域可以是佩戴HMD 100的用户在其内部的房间，或者用户可以在外部并且局部区域是对HMD 100可见的外部区域。图像组件包括被定位成捕获局部区域的一部分的相机115、120、125、130。图像信息可以包括例如一个或更多个图像、音频信息(例如，由一个或更多个麦克风捕获的声音)、视频信息、元数据、或者其某种组合。图像信息可以包括局部区域中的一个或更多个对象的深度信息和/或由相机115、120、125、130检测到的光量。在图1的实施例中，成像组件包括相机115、120、125、130。
相机115、120、125、130被配置成捕获局部区域的不同部分的图像和/或视频。每个相机115、120、125、130包括传感器(未示出)、透镜和相机控制器(未示出)。传感器是一种使用光敏像素(例如，互补金属氧化物、电荷耦合显示器等)的阵列来捕获光的电设备，其中每个像素将光转换成电子信号。传感器可以具有不同的特征，例如分辨率、像素大小和灵敏度、光灵敏度、快门类型和信号处理类型。透镜是相机中促成将光聚焦到传感器上的一个或更多个光学元件。透镜具有可以是固定的或可变的特征(例如，焦点和孔径)，可以具有变化的焦距，以及可以覆盖有光学涂层。在一些实施例中，相机115、120、125、130中的一个或更多个可以具有麦克风，以捕获音频信息。麦克风可以位于相机内部，也可以位于相机外部。
每个相机115、120、125、130都具有视场，视场表示局部区域内由相机可观察到的区域。在图1的实施例中，每个相机115、120、125、130的视场的范围可以在50度至180度之间。范围在大约50度至120度的视场通常被称为宽视场，而大于120度的视场通常被称为鱼眼视场(fish eye field of view)。在图1的实施例中，每个相机115、120、125、130的透镜可以具有相同或不同度数的视场。例如，相机115、120、125、130可以具有范围在120度至180度之间的视场。在图1的实施例中，相机115、120、125、130中的每一个具有150度的视场。具有150度的视场而不是具有例如180度的视场允许每个相机与前刚性主体105的表面平齐或插入前刚性主体105中，这可有助于保护相机115、120、125、130免受损坏。各种视场可以在相机115、120、125、130之间提供不同类型的覆盖(例如，单目(monocular)区域、重叠区域、立体区域等)。
除了每个相机的视场之外，每个相机115、120、125、130的位置和定向允许控制相机之间的覆盖类型。期望的覆盖类型可以基于要从捕获的图像收集的期望信息的类型。在图1的实施例中，相机115、120定位在前刚性主体105的上拐角(upper corner)处，并且被定向成朝向前刚性主体105的侧部向外指向且朝向前刚性主体105的顶部向上指向。在这种配置中，相机115、120具有分离的视场，提供单目覆盖区域。相机125、130沿着前刚性主体105的底部边缘定位，并且被定向成指向下方且彼此平行(或几乎平行)。在这种配置中，相机125、130具有重叠的视场，提供立体覆盖区域。相机115、120、125、130可以在相机的视场之间具有重叠的覆盖区域，这允许来自每个视场的细节被移交，使得来自相机115、120、125、130的帧可以被拼接在一起。相机115、120、125、130的配置参照图4更详细地讨论。在其他实施例中，相机115、120、125、130的视场、位置和定向可以变化，以提供不同类型的覆盖。
每个相机115、120、125、130的相机控制器确定相机的曝光设置。相机的曝光设置决定了由相机捕获的光如何被传感器收集。每个相机115、120、125、130检测入射到传感器上的光量，并且基于检测到的光，相机控制器确定适当的曝光设置。曝光设置可以包括例如光圈大小、快门速度、增益、或其某种组合。光圈大小控制到达传感器的光量。快门速度是传感器曝光的时间长度(即曝光长度)。增益是传感器对光的灵敏度。在图1的实施例中，光圈是固定大小，而增益和曝光是可变的。使用检测到的光量，每个相机的相机控制器确定每个相机的光圈大小、快门速度和增益设置。
在图1的实施例中，每个相机控制器独立地工作，使得每个控制器可以确定对应相机115、120、125、130相对于其他相机的不同曝光设置。例如，每个相机的快门速度可以变化，以使传感器暴露于更多或更少的光。这种配置使得第一相机能够比第二相机具有长得多的曝光，这允许成像组件在局部区域内捕获变化范围的光并使局部区域的不同部分曝光，以从局部区域收集期望的信息。作为示例，房间的局部区域可以具有房间的良好照亮的第一侧(例如，允许大量光进入房间的窗户)，而房间的第二侧被阴影遮蔽。具有全局曝光设置的成像组件可以确定这样的曝光设置使得其适合于房间的第一侧或第二侧，但是可能会导致成像组件对房间的另一侧过度曝光或曝光不足，因而阻止成像组件捕获具有整个局部区域的期望信息的图像。通过使相机115、120、125、130具有不同的曝光设置，这些曝光设置是针对局部区域中由相应的相机观察到的区域而适当确定的，成像组件捕获局部区域内所期望的对象。在一些实施例中，HMD 100可以包括单个相机控制器，其能够为每个相机115、120、125、130确定单独的曝光设置。
此外，每个相机控制器可以被配置成选择性地使局部区域中在其相应相机115、120、125、130的视场内的某些部分曝光。相机控制器将房间的不同部分识别为高优先级或低优先级，并根据其优先级选择性地使房间的不同部分曝光。局部区域的高优先级区域可以被确定为局部区域中在HMD100附近内(例如，在HMD的10英尺内)的一部分，并且局部区域的其余部分可以是低优先级区域。在一些实施例中，局部区域的一部分的优先级可以由局部区域内的光级别之间的定义的偏移来确定。继续以带有窗户的房间为例，相机可以在其视场中包括房间的第一侧和窗户，并且检测房间内与窗户外不同级别的光。基于检测到的光的级别，相机控制器将房间的部分识别为高优先级或低优先级。例如，相机控制器可以将房间内的对象识别为高优先级区域，并将窗户外的对象识别为低优先级区域，以从高优先级区域而不是低优先级区域收集期望的信息。相机控制器可以将第一曝光值与高优先级区域关联起来，并将不同的曝光值与低优先级区域关联起来。曝光值表示相机的快门速度和f数(即焦距与光圈大小的比率)的组合，使得产生相同曝光的所有组合具有相同的曝光值。相机控制器为高优先级区域确定相机的曝光设置，使得曝光设置针对第一曝光值进行曝光。相机115、120、125、130中的一个或更多个可以具有基于曝光值的曝光设置。
HMD 100的控制器基于从每个相机接收的曝光设置而为每个相机115、120、125、130生成成像指令。成像指令可以包括每个相机115、120、125、130的曝光设置(例如，曝光长度、增益、光圈等)。此外，成像指令可以包括每个相机115、120、125、130的同步信息。HMD控制器生成同步信息，该同步信息同步相机115、120、125、130的曝光设置使得每个相机保持其各自的曝光设置，允许相机115、120、125、130。这种配置允许相机115、120、125、130捕获同一帧的图像，并确保每个捕获的图像包括局部区域内的信息丰富的对象。在图1的实施例中，同步信息包括由HMD控制器确定的中心时间点和每个相机115、120、125、130的时间延迟。
HMD控制器通过使每个相机115、120、125、130的曝光长度以中心时间点为中心来同步每个相机115、120、125、130的曝光设置。换句话说，每个曝光长度的中点在同一时间点对齐。这种配置适应相机115、120、125、130的不同曝光长度，并确保每个相机捕获相同的帧。为了使曝光以相同的时间点为中心，HMD控制器100计算每个相机115、120、125、130的时间延迟，该时间延迟允许每个相机在相对于参考时间点的特定的一段时间之后开始图像捕获。HMD控制器100根据相机的曝光长度而为每个相机115、120、125、130确定适当的时间延迟。在图1的实施例中，时间延迟的参考点可以是由HMD 100检测到的同步脉冲。同步脉冲可以由外部设备(例如用户持有的控制器或HMD系统的控制台)发送。HMD控制器向成像组件发送成像指令以进行图像捕获，成像指令可以包括曝光设置和同步信息。相机115、120、125、130的曝光设置的同步参照图5进一步详细讨论。在一些实施例中，相机控制器的功能可以由HMD控制器合并和执行。
HMD控制器被配置成基于来自成像组件的一个或更多个捕获图像来确定局部区域中的一个或更多个对象的深度信息。可以通过使用接收到的关于对象的位置的信息测量到对象的距离来确定深度信息。在图1的实施例中，HMD控制器使用来自相机115、120、125、130的立体覆盖区域来确定对象的深度信息。在视场的重叠区域内的对象被多于一个的相机所观察，这为每个对象提供了多于一个的视角。通过计算在不同视角之间对象的位置的相对差异，HMD控制器确定对象到成像组件的距离。在一些实施例中，可以通过向对象发送信号(例如，结构光、无线电信号、超声波等)来测量到对象的距离而确定深度信息。
HMD控制器另外被配置为更新HMD 100的局部区域模型。局部区域模型包括围绕HMD 100的环境的深度信息、曝光设置或其某种组合。在图1的实施例中，局部区域模型基于HMD 100在环境内的位置来表示HMD 100的环境的深度信息和曝光设置的映射函数。HMD100在环境内的位置根据从成像组件的捕获图像收集的深度信息来确定。局部区域模型针对相机在环境内的不同位置而为每个相机115、120、125、130提供曝光设置，并允许HMD 100在环境内的位置和定向改变时调整曝光设置。使用局部区域模型和来自IMU 135的位置信息(例如，速度矢量、加速度矢量等)，HMD控制器预测HMD 100的未来位置和定向。随后，使用局部区域模型，HMD控制器对于HMD 100的所预测出的未来位置和定向确定适当的曝光设置。基于所预测的位置和定向以及所确定的曝光设置，HMD控制器然后为每个相机115、120、125、130生成成像指令。成像指令指定每个相机115、120、125、130在什么时间以及在什么曝光设置下捕获图像。在这种配置中，HMD 100不必连续地从每个相机115、120、125、130获得信息来确定每个相机的曝光设置和HMD 100的位置。当HMD 100在环境内的位置和定向改变时，HMD控制器可以使用来自成像组件的深度信息和曝光设置来更新局部区域模型。在一些实施例中，HMD控制器可以更新深度模型和单独的曝光模型。此外，在一些实施例中，结合图1所示的一个或更多个部件描述的功能可以以与结合图1描述的方式不同的方式在部件之间分配。例如，由HMD控制器执行的功能可以由相机控制器执行，反之亦然。
图2A示出了根据一个实施例的HMD 100的前视图。如图2A所示，HMD 100包括沿着HMD 100的前表面的边缘定位的相机115、120、125、130。每个相机115、120、125、130嵌套在各自的袋状物(pocket)内，这可有助于防止对相机的损坏。如前所述，相机115、120定位在前刚性主体105的上拐角处，并朝向前刚性主体105的侧部向外指向且朝向前刚性主体105的顶部向上指向，而相机125、130沿着前刚性主体105的底部边缘定位，并被定向成指向下方且彼此平行(或几乎平行)。在这种配置中，相机115、120、125、130捕获围绕HMD 100的局部环境的一大部分的图像。在其他实施例中，相机的数量、位置和定向可以变化，以提供不同类型的覆盖。
图2B示出了根据一个实施例的HMD 100的侧视图。如图2B所示，带110附接到HMD100的侧部，并被配置成缠绕在用户的头部周围，以将HMD 100固定在用户的面部前面。在一些实施例中，HMD 100可以包括条带(strap)，其被配置为当用户佩戴HMD 100时放置在用户的头顶上方，以进一步稳定HMD 100的位置。此外，图2B示出了相机120、125相对于各自的坐标系205、210的定向。如图2B所示，相机120、125被定位成使得它们各自的视场不仅重叠，而且覆盖大面积的局部区域。
图3是示出根据一个实施例的HMD系统300的实施例的框图。HMD系统300可以在人工现实系统环境中操作。图3所示的HMD系统300包括与外围设备310相关联的HMD 305。虽然图3示出了包括一个HMD 305的示例HMD系统300，但是在其他实施例中，任何数量的这些部件可以被包括在HMD系统300中。例如，可以有多个HMD 305，每个HMD 305与相应的外围设备310进行通信。在替代配置中，不同的和/或附加的部件可以被包括在HMD系统300中。此外，在一些实施例中，结合图3所示的一个或更多个部件描述的功能可以以与结合图3描述的方式不同的方式在部件之间分配。
HMD设备305是向用户呈现内容的头戴式显示器，所呈现的内容包括具有计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)的物理、真实世界环境的虚拟和/或增强视图。在一些实施例中，所呈现的内容包括经由外部设备(例如，扬声器和/或头戴式耳机)呈现的音频，该外部设备从HMD 305接收音频信息，并基于该音频信息来呈现音频数据。HMD 305可以包括可以刚性或非刚性地耦合在一起的一个或更多个刚性主体。在刚性主体之间的刚性耦合使所耦合的刚性主体充当单个刚性实体。相比之下，在刚性主体之间的非刚性耦合允许刚性主体相对于彼此移动。HMD 305的实施例是上面结合图1描述的HMD 100。
外围设备310是用户用来向HMD 305发送动作请求并从HMD 305接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。外围设备310可以包括一个或更多个输入设备。示例输入设备包括：鼠标、游戏控制器或用于接收动作请求并将动作请求传送给HMD控制器350的任何其他合适的设备。由外围设备310接收的动作请求被传送到HMD控制器350，HMD控制器350执行对应于该动作请求的动作。在一些实施例中，外围设备310包括IMU，该IMU捕获指示外围设备310相对于外围设备310的初始位置的估计位置的校准数据。在一些实施例中，外围设备310可以根据从HMD控制器350接收的指令来向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或HMD控制器350向外围设备310传送指令，使得外围设备310在HMD控制器350执行动作时生成触觉反馈。
在一些实施例中，外围设备310促成使HMD 305的成像组件的曝光设置同步的过程。如参照图1所述，成像组件可以包括多个相机(例如相机115、120、125、130)，每个相机具有单独的曝光设置。每个相机的曝光设置由HMD控制器同步，以捕获以同一时间点为中心的图像。外围设备310被配置为向HMD 305发送同步脉冲，该同步脉冲用作参考时间点，从该参考时间点测量每个相机的时间延迟。在图3的实施例中，同步脉冲可以是由成像组件(例如成像组件315)检测到的一个或更多个闪光。闪光可以是在可见光范围(例如，400-700纳米)、红外光(例如，700-1,000,000纳米)、可由成像组件315检测到的任何其他光、或其某种组合内。闪光可以由发光二极管(LED)发射。在一些实施例中，在成像组件315的每次图像捕获之前，外围设备310向HMD 305发送同步脉冲。外围设备310可以包括具有其自己的时基(time base)的微控制器，其允许外围设备310在适当的时间向HMD 305发送同步脉冲。在一些实施例中，同步脉冲以指定的时间间隔发送。可替代地，外围设备310可以从HMD 305接收指定同步协议的指令。同步协议在同一时基上同步HMD 305和外围设备310。在替代实施例中，外围设备310向HMD 305发送初始同步脉冲，并且一旦相机的曝光被同步，成像组件就以指定的时间间隔捕获图像。
在一些实施例中，外围设备310由HMD 305的成像组件315进行跟踪。外围设备310可以被配置成发射可以由成像组件315检测的跟踪脉冲。跟踪脉冲可以是在可见光范围、红外光或可由成像组件315检测到的任何其他光内的闪光。跟踪脉冲与同步脉冲是可区别的。跟踪脉冲允许当外围设备310在成像组件315的视场内移动时外围设备310的运动被跟踪。
HMD 305包括成像组件315、电子显示器320、光学组件325、一个或更多个位置传感器330、IMU 335、可选的眼睛跟踪系统340、可选的变焦模块345和HMD控制器350。HMD 305的一些实施例具有与结合图3描述的部件不同的部件。此外，由结合图3描述的各种部件提供的功能可以在其他实施例中在HMD 305的部件之间不同地分配。
成像组件315捕获描述围绕HMD 305的一些或全部的局部区域的深度信息的数据。成像组件315包括位于HMD 305上的一个或更多个相机，该一个或更多个相机捕获图像和/或视频信息和/或音频信息。在一些实施例中，成像组件315可以使用数据(例如，基于所捕获的具有局部区域内对象的立体视图的图像)来计算深度信息。此外，成像组件315确定由成像组件315中的每个相机检测到的光量。成像组件315可以将深度信息和检测到的光量发送到HMD控制器350用于进一步处理。成像组件315是图1中成像组件的实施例。
电子显示器320根据从成像组件控制器接收的数据向用户显示2D或3D图像。在各种实施例中，电子显示器320包括单个电子显示器或多个电子显示器(例如，针对用户的每只眼睛的显示器)。电子显示器320的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、某种其他显示器、或其某种组合。
光学组件325放大从电子显示器320接收的图像光，校正与图像光相关联的光学误差，并将校正后的图像光呈现给HMD 305的用户。光学组件325包括多个光学元件。光学组件325中包括的示例光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器、反射表面或影响图像光的任何其他合适的光学元件。此外，光学组件325可以包括不同光学元件的组合。在一些实施例中，光学组件325中的一个或更多个光学元件可以具有一个或更多个涂层(例如部分反射的或抗反射的涂层)。
光学组件325对图像光的放大和聚焦允许电子显示器320比更大的显示器在物理上更小、重量更轻以及消耗更少的功率。此外，放大可以增大电子显示器320所呈现的内容的视场。例如，所显示内容的视场使得所显示内容使用用户的几乎所有视场(例如，大约110度对角线)、且在一些情况下使用所有视场来呈现。此外，在一些实施例中，可以通过添加或移除光学元件来调整放大倍数。
在一些实施例中，光学组件325可以被设计成校正一种或更多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差还可以包括球面像差、色差或由于透镜场曲率、像散(astigmatisms)或任何其他类型的光学误差导致的误差。在一些实施例中，提供给电子显示器320用于显示的内容被预失真，并且当光学组件325从电子显示器320接收到基于该内容生成的图像光时，光学组件325校正该失真。
IMU 335是电子设备，其基于从一个或更多个位置传感器330接收的测量信号和从成像组件315接收的深度信息来生成指示HMD 305的位置的数据。位置传感器330响应于HMD305的运动而生成一个或更多个测量信号。位置传感器330的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU 335的误差校正的一种类型的传感器、或者其某种组合。位置传感器330可以位于IMU335的外部、IMU 335的内部或者这两个位置的某种组合。
基于来自一个或更多个位置传感器330的一个或更多个测量信号，IMU 335生成指示HMD 305相对于HMD 305的初始位置的估计的当前位置的数据。例如，位置传感器330包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中，IMU 335对测量信号进行快速采样，并根据所采样的数据来计算HMD 305的估计的当前位置。例如，IMU335对从加速度计接收到的测量信号在时间上求积分以估计速度矢量，并对速度矢量在时间上求积分以确定在HMD 305上的参考点的估计的当前位置。参考点是可以用来描述HMD 305的位置的点。参考点通常可以被定义为与HMD 305的定向和位置相关的空间中的点或者位置。
IMU 335从HMD控制器350接收一个或更多个参数。该一个或更多个参数用于保持对HMD 305的跟踪。基于接收到的参数，IMU 335可以调整一个或更多个IMU参数(例如，采样率)。在一些实施例中，某些参数使得IMU 335更新参考点的初始位置，使得其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一个校准后的位置有助于减少与IMU 335的估计的当前位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随着时间的推移而“漂移”远离参考点的实际位置。在HMD 305的一些实施例中，IMU 335可以是专用硬件部件。在其他实施例中，IMU 335可以是在一个或更多个处理器中实现的软件部件。
在一些实施例中，眼睛跟踪系统340被集成到HMD 305中。眼睛跟踪系统340确定与佩戴HMD 305的用户的眼睛相关联的眼睛跟踪信息。由眼睛跟踪系统340确定的眼睛跟踪信息可以包括关于用户的眼睛的定向的信息，即关于眼睛注视的角度的信息。在一些实施例中，眼睛跟踪系统340被集成到光学组件325中。眼睛跟踪系统340的实施例可以包括照明源和成像设备(相机)。
在一些实施例中，变焦模块345进一步被集成到HMD 305中。变焦模块345可以耦合到眼睛跟踪系统340，以获得由眼睛跟踪系统340确定的眼睛跟踪信息。变焦模块345可以被配置为基于从眼睛跟踪系统340获得的所确定的眼睛跟踪信息来调整显示在电子显示器320上的一个或更多个图像的焦点。以这种方式，变焦模块345可以缓解与图像光相关的辐辏-调节冲突(vergence-accommodation conflict)。变焦模块345可以与光学组件325的至少一个光学元件和电子显示器320中的至少一个进行接口(例如，或机械地或电气地)连接。然后，变焦模块345可以被配置为基于从眼睛跟踪系统340获得的所确定的眼睛跟踪信息，通过调整光学组件325的至少一个光学元件和电子显示器320中的至少一个的位置来调整显示在电子显示器320上的一个或更多个图像的焦点。通过调整位置，变焦模块345改变从电子显示器320向用户的眼睛输出的图像光的焦点。变焦模块345还可以被配置成至少部分地基于从眼睛跟踪系统340获得的所确定的眼睛跟踪信息，通过执行所显示图像的注视点渲染(foveated rendering)来调整显示在电子显示器320上的图像的分辨率。在这种情况下，变焦模块345向电子显示器320提供适当的图像信号。变焦模块345仅在用户的眼睛注视的中心凹区域中为电子显示器320提供具有最大像素密度的图像信号，而在电子显示器320的其他区域中提供具有较低像素密度的图像信号。在一个实施例中，变焦模块345可以利用由成像组件315获得的深度信息来例如生成用于在电子显示器320上呈现的内容。
HMD控制器350基于从成像组件315接收的信息来处理用于HMD305的内容。在图3所示的示例中，HMD控制器350包括应用储存器355、跟踪模块360和引擎365。HMD控制器350的一些实施例具有与结合图3描述的模块或部件不同的模块或部件。类似地，下面进一步描述的功能可以以与结合图3描述的不同的方式在HMD控制器350的部件之间分配。
应用储存器355存储用于由HMD控制器350执行的一个或更多个应用。应用是一组指令，其当由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由HMD 305的移动或经由外围设备310从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块360使用一个或更多个校准参数来校准HMD系统300，并且可以调整一个或更多个校准参数以减少在HMD 305或外围设备310的位置的确定中的误差。例如，跟踪模块360将校准参数传送给成像组件315以调整成像组件315的焦点，从而更准确地确定由成像组件315捕获的对象的位置。由跟踪模块360执行的校准也可以考虑从在HMD 305中的IMU335和/或被包括在外围设备310中的IMU 335接收的信息。另外，如果失去对外围设备310的跟踪(例如，成像组件315失去对至少一部分的外围设备310的视线)，则跟踪模块360可以重新校准HMD系统300的一些或全部。
跟踪模块360使用来自成像组件315、一个或更多个位置传感器330、IMU 335或其某种组合的信息来跟踪HMD 305或外围设备310的移动。例如，跟踪模块345基于来自成像组件315的信息来确定HMD 305的参考点在局部区域的映射中的位置。跟踪模块360还可以分别使用来自IMU335的指示HMD 305的位置的数据或者使用来自被包括在外围设备310中的IMU 335的指示外围设备310的位置的数据来确定HMD 305的参考点的位置或者外围设备310的参考点的位置。另外，在一些实施例中，跟踪模块360可以使用来自IMU 335的指示HMD305的位置的部分数据以及来自成像组件315的局部区域的表示来预测HMD 305的未来位置。跟踪模块360向引擎355提供HMD 305或外围设备310的估计的或预测的未来位置。
引擎365处理从成像组件315接收的信息(例如，深度和/或曝光)。使用接收到的信息，引擎365同步成像组件315的相机的曝光设置。如参照图1所述，成像组件315中的每个相机的曝光设置关于中心时间点对齐，使得成像组件315捕获的图像是信息丰富的并且具有相同的帧。为了使成像组件315中的相机的曝光长度居中，引擎365确定每个相机的曝光长度的中点，并将这些中点关于中心时间点对齐。另外，引擎365根据相机的曝光长度来确定成像组件315中的每个相机的图像捕获的适当时间延迟。基于所确定的曝光设置和同步信息，引擎365生成成像指令以发送到成像组件315和/或外围设备310。在图3的实施例中，引擎365具有其自己的时基，它通过该时基确定中心时间点并为每个相机计算相应的时间延迟。HMD控制器350可以与外围设备310进行通信，以使引擎365的单元和外围设备310的微控制器在同一时基上同步。同步这些单元允许外围设备310根据HMD 305的成像指令发送同步脉冲。
引擎365还使用来自成像组件315和跟踪模块360的信息来更新局部区域模型。局部区域模型可以表示基于HMD 305在围绕HMD 305的一些或全部的区域(即，“局部区域”)内的位置的局部区域的映射函数。局部区域模型针对HMD 305的不同位置和定向来为成像组件315的每个相机提供曝光设置，并允许曝光设置在HMD 305在环境内的位置和定向改变时被调整。引擎365可以在根据由成像组件315捕获的立体图像计算深度时使用一种或更多种技术来计算对象在环境内的深度。根据映射的对象，HMD控制器确定HMD 305在环境内的位置，并更新环境的局部区域模型。跟踪模块360还可以在HMD 305在环境内改变位置和定向时利用HMD305的位置信息来更新局部区域模型。引擎365使用局部区域模型以基于HMD 305的新位置和定向来为成像组件315中的每个相机确定适当的曝光设置。一旦为成像组件315中的每个相机确定了适当的曝光设置，引擎365就同步曝光设置并生成用于成像组件315的成像指令。此外，引擎365用HMD 305的新位置和定向更新局部区域模型。在一些实施例中，引擎365使用成像组件315从第一帧或第一组帧检测到的深度信息和光量来生成局部区域模型，以映射在围绕HMD 305的环境内的对象。在其他实施例中，局部区域模型由引擎365预加载或下载。
引擎365另外可以结合局部区域模型使用来自跟踪模块360的信息。使用来自跟踪模块360的信息，引擎365可以预测HMD 305的未来位置和定向。随后，使用局部区域模型，引擎365针对HMD 305的所预测的未来位置和定向确定成像组件315中的每个相机的适当的曝光设置。局部区域模型允许引擎365高效地调整成像组件315中的相机的曝光设置，使得引擎365不必分析在HMD 305的每个新位置和/或定向处由成像组件315检测到的深度信息和光量。当HMD 305在环境内的位置和定向改变时，引擎365可以使用从成像组件315检测到的深度信息和光量来更新局部区域模型。另外，成像组件315可以被配置成以特定的时间间隔向引擎365发送检测到的深度信息和光量，以考虑环境内可能已经出现的光级别的任何变化，并确保局部区域模型被相应地更新。
引擎365还在HMD系统300内执行应用，并从跟踪模块360接收HMD305的位置信息、加速度信息、速度信息、所预测的未来位置或其某种组合。基于接收到的信息，引擎365确定要提供给电子显示器320用于显现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则引擎365生成用于电子显示器320的内容，该内容反映用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动。此外，引擎365响应于从外围设备310接收的动作请求来在HMD控制器350上执行的应用内执行动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 305的视觉或听觉反馈或者经由外围设备310的触觉反馈。
在一些实施例中，基于从眼睛跟踪系统340接收的眼睛跟踪信息(例如，用户的眼睛的定向)，引擎365确定提供给电子显示器320以呈现给用户的内容的分辨率。引擎365在电子显示器320上的用户注视的中心凹区域中提供具有最大像素分辨率的内容，而引擎365在电子显示器320的其他区域中提供较低的像素分辨率，从而在HMD 305处实现较少的功耗并节省HMD控制器350的计算周期，而不影响用户的视觉体验。在一些实施例中，引擎365还可以使用眼睛跟踪信息来调整对象被显示在电子显示器320上的位置，以防止辐辏-调节冲突。
图4示出了根据一个实施例的HMD 100的跟踪区域400。跟踪区域400是围绕HMD100的局部区域的可由HMD 100上的成像组件观察到的一部分。跟踪区域400内的对象由捕获对象的图像信息的相机115、120、125、130检测。如图4所示，跟踪区域400由几个较小的区域组成，每个区域对应于由HMD 100上的相机115、120、125、130的视场提供的一种类型的覆盖。在图4的实施例中，跟踪体积400包括第一区域405、第二区域410、第三区域415和三个重叠区域420。
第一区域405代表单目覆盖区域。在图4的实施例中，第一区域405由相机120的视场提供。如参照图1所述，相机120定位在HMD 100的前刚性主体105的左上角处，并且被定向为朝向前刚性主体105的侧部向外指向且朝向前刚性主体105的顶部向上指向，并且相机120具有范围在120度至180度之间的视场。因此，第一区域405包括局部区域的位于用户的左上视场中的对象。对于佩戴HMD 100的用户来说，感兴趣的对象可能位于用户的视平线(eye level)处或其下方。因此，确定在用户的视场的左上角中的对象的深度信息可能不是所期望的。因此，单个相机为局部区域的第一区域405中的对象提供了足够的视角。在一些实施例中，可能期望在该区域中具有不同类型的覆盖。例如，HMD 100可以处于室外环境中，其中，感兴趣的对象(例如，风筝、飞机等)位于用户的视平线上方。可以调整HMD 100上的相机的位置和定向，以更好地适应HMD 100的环境。
第二区域410代表单目覆盖区域。在图4的实施例中，第二区域410由相机115的视场提供。如参照图1所述，相机115定位在HMD 100的前刚性主体105的右上角处，并且被定向为朝向前刚性主体105的侧部向外指向且朝向前刚性主体105的顶部向上指向，并且相机115具有范围在120度至180度之间的视场。因此，第二区域410包括局部区域的位于用户的右上视场中的对象。类似于第一区域405，确定关于在用户的视场的右上角中的对象的深度信息可能不是所期望的，因为感兴趣的对象可能位于用户的视平线处或其下方。因此，单个相机为局部区域的第二区域410中的对象提供了足够的视角。在一些实施例中，可能期望在该区域中具有不同类型的覆盖。可以调整HMD 100上的相机的位置和定向，以更好地适应HMD 100的环境。
第三区域415代表立体覆盖区域。在图4的实施例中，第三区域415由相机125、130的视场提供。如参照图1所述，相机125、130沿着前刚性主体105的底部边缘定位，并且被定向成指向下方且彼此平行(或几乎平行)，并且相机125、130具有范围在120度至180度之间的视场。相机125、130具有基本上相同的定向，使得相机125和相机130的视场完全(或几乎完全)重叠，从而为第三区域415内的对象提供立体覆盖。第三区域415包括局部区域的位于用户的视平线处的或低于用户的视平线的对象。如前面所提到的，用户可能对该区域内的对象具有更高的兴趣。因此，该区域的立体覆盖是期望的，因为多个视角允许HMD 100为第三区域415内的对象确定足够的深度信息。
在一些实施例中，用户可以在他的或她的手中手持外围设备(例如，外围设备310)。如参照图3所述，用户使用外围设备发送请求和接收来自HMD的请求。此外，外围设备通过发送由成像组件检测的同步脉冲来促进同步成像组件的曝光设置的过程。因此，外围设备是高度感兴趣的对象，并且期望捕获外围设备的足够的图像信息。通常，用户将外围设备保持在中立位置，其特征在于用户的手臂垂在他的或她的两侧。在图4的实施例中，相机125、130定位成向下倾斜以观察用户的大部分身体，使得即使用户正在移动他的或她的头部，外围设备也可能落在第三区域415内。第三区域415的立体覆盖有助于缓解外围设备的部分遮挡，因为HMD 100具有两个不同的观察外围设备的有利位置(vantage point)。如果用户移动他的或她的手，则第三区域415的相机配置还提高了跟踪外围设备的准确度，并且改善了针对第三区域415内的其他对象所捕获的深度信息。
重叠区域420各自代表立体覆盖区域。在图4的实施例中，重叠区域420由相邻相机(例如，相机115和120、相机115和130以及相机120和125)之间的重叠视场提供。相邻相机之间的重叠区域420允许来自第一视场的细节被移交给第二视场，使得来自不同相机的帧可以被拼接在一起。落在重叠区域420内的对象也可以用于校准HMD 100的相机，并且另外可以用于对在使用期间可能由HMD部件的热膨胀引起的问题进行校正。
图5示出了根据一个实施例的用于同步HMD 100上的相机115、120、125、130的图像捕获的方法。如参照图1所述，相机115、120、125、130被配置成具有单独的曝光设置，而不具有应用于成像组件的全局曝光设置。这种配置使得第一相机比第二相机具有长得多的曝光，允许成像组件在围绕HMD 100的局部区域内捕获变化范围的光。HMD 100选择局部区域的不同部分以朝向该部分驱动曝光，从而从局部区域收集期望的信息。如图5所示，每个相机115、120、125、130分别具有不同长度的曝光帧505、510、515、520。为了同步相机115、120、125、130的图像捕获，HMD控制器(例如，HMD控制器350)为每个相机115、120、125、130确定曝光帧505、510、515、520的中心时间点525和相应的时间延迟530。相对于由相机115、120、125、130中的一个或更多个检测到的同步(“sync”)脉冲535来测量时间延迟530。
中心时间点525是每个曝光帧505、510、515、520以其为中心的时间点。HMD控制器评估每个曝光帧505、510、515、520的长度，并确定每个曝光帧的中点。HMD控制器然后将每个曝光帧的中点在中心时间点525处对齐。这种配置确保相机115、120、125、130在保持各自的曝光设置的同时捕获相同的帧。
时间延迟530是在参考时间点和相机的曝光帧的开始之间经过的指定的时间量。用相应的时间延迟530对每个相机115、120、125、130编程确保每个相机115、120、125、130在适当的时间开始图像捕获，使得相应的曝光帧505、510、515、520以中心时间点525为中心。因为每个曝光帧505、510、515、520可具有不同的长度，所以每个相机115、120、125、130的时间延迟相应地变化。例如，因为相机115的曝光帧505比相机120的曝光帧510长，所以相机115比相机120具有更短的时间延迟。因此，相机115在相机120之前开始图像捕获，使得曝光帧505、510的中点沿着中心时间点525对齐。在图5的实施例中，相对于作为参考时间点的同步(“sync”)脉冲535来测量时间延迟530。
sync脉冲535触发每个相机115、120、125、130的时间延迟530的开始。sync脉冲535可以是由外部设备(例如外围设备或系统的控制台)发射的信号，该信号由成像组件的一个或更多个相机检测。在一些实施例中，sync脉冲535可以是在可见光范围、红外光范围或可由相机115、120、125、130检测到的任何其他光范围内的一个或更多个同时的闪光。在一些实施例中，如图5所示，sync脉冲535可以被每个相机115、120、125、130检测到。在一些实施例中，sync脉冲535可以被至少一个相机检测到，使得HMD控制器可以随后将事件信息中继到每个相机115、120、125、130，从而触发每个相机115、120、125、130的时间延迟530的开始。在图5的实施例中，一旦HMD控制器基于相应的曝光帧505、510、515、520确定了中心时间点525和每个相机115、120、125、130的适当的时间延迟530，HMD控制器就向每个相机发送成像指令。这种配置适应相机115、120、125、130的不同曝光长度，并确保每个相机捕获相同的帧。当HMD 100在HMD 100的环境内改变位置和定向时，可以调整每个相机的曝光设置，且因此，同步信息被相应地调整。
在一些实施例中，HMD 100跟踪用户所持有的外围设备的位置和移动。如参照图1所述，外围设备是允许用户向HMD 100发送动作请求并从HMD 100接收响应的设备。在图5的实施例中，外围设备被配置成发射可被相机115、120、125、130中的一个或更多个检测到的跟踪脉冲540。跟踪脉冲540可以是在可见光范围、红外光或可由相机115、120、125、130检测到的任何其他光内的一个或更多个闪光。由于相机115、120、125、130各自具有不同的曝光长度，外围设备在特定时间发射跟踪脉冲540，使得跟踪脉冲540可以在每个相机115、120、125、130的曝光帧期间被检测到。在图5的实施例中，外围设备在中心时间点525发射跟踪脉冲540。外围设备可以具有微控制器，该微控制器具有与HMD 100同步的时基，使得外围设备能够在精确的时间点发射跟踪脉冲540。
图6是示出根据一个实施例的确定HMD在局部区域内的位置的过程600的流程图，过程600可以在图1所示的HMD 100处实现。图6的过程600可以由HMD 100的部件(例如，成像组件315、HMD控制器350、跟踪模块360、引擎365)、外围设备310或其某种组合来执行。在其他实施例中，其他实体(例如，HMD系统的控制台)可以执行该过程的一些或全部步骤。同样，实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行步骤。
HMD 100(例如，经由成像组件)收集605在HMD 100上的多个相机的图像信息。图像信息可以包括局部区域中的一个或更多个对象的深度信息和/或入射到相机的传感器上的光量。在一些实施例中，基于HMD 100在局部区域内的位置，从局部区域模型收集图像信息。在一些实施例中，从成像组件收集图像信息。
对于成像组件中的每个相机，HMD 100使用图像信息确定610曝光设置。曝光设置可以包括例如光圈大小、快门速度、增益、或其某种组合。在一些实施例中，HMD 100上的每个相机被配置成具有单独的曝光设置，这允许成像组件在局部区域内捕获变化范围的光，并使局部区域的不同部分曝光以收集期望的信息。在这些实施例中，HMD 100为每个相机生成同步信息，以同步相机的曝光设置，这确保每个相机捕获相同的帧。同步信息包括每个相机的曝光长度以其为中心的中心时间点和相对于同步脉冲测量的每个相机的时间延迟。如参照图1所述，同步脉冲可以从外部设备(例如，外围设备或系统的控制台)发送到HMD 100。基于曝光设置和同步信息，HMD 100为每个相机生成成像指令。
HMD 100使用多个相机来捕获615局部区域的图像。根据HMD 100生成的成像指令捕获615图像。在一些实施例中，HMD 100也可以捕获视频和/或音频信息。所捕获的图像包括局部区域的一个或更多个对象。如参照图1和图4所述，成像组件的相机的位置和定向允许相机捕获局部区域的不同部分的信息。例如，HMD 100上的相机115、120捕获局部区域的在用户的视场中的右上和左上部分，而相机125、130捕获局部区域的在用户的视平线处及其下方的部分。成像指令使得成像组件的相机捕获图像，这些图像提供局部区域的同一帧的不同部分的信息。
HMD 100确定620局部区域中一个或更多个对象的深度信息。深度信息根据HMD100捕获的图像确定。如参照图1和图4所述，相机的位置和定向决定了HMD 100上相机提供的覆盖的类型。HMD 100包括具有相机的视场的重叠区域的相机。在这些重叠区域内的对象被多于一个的相机所观察，这为每个对象提供了多于一个的视角。通过计算不同视角之间对象的位置的相对差异，HMD 100确定对象到成像组件的距离。
HMD 100使用所确定的深度信息来更新625局部区域的局部区域模型。如参照图3所述，在一些实施例中，HMD 100生成局部区域模型，该局部区域模型基于HMD 100在环境内的位置来表示HMD 100的环境的映射函数。在其他实施例中，局部区域模型被预加载或下载到HMD 100上。
HMD 100使用更新后的模型来确定630其在局部区域内的位置。在一些实施例中，局部区域模型另外包括用于HMD 100上的相机的曝光设置。在这些实施例中，局部区域模型基于HMD 100在环境内的位置和定向来为每个相机提供曝光设置，使得HMD 100针对所确定的HMD 100的位置来确定适当的曝光设置。这种配置允许在HMD 100在环境内的位置和定向改变时调整曝光设置。在一些实施例中，HMD 100另外基于来自跟踪模块的信息并使用局部区域模型来预测HMD 100的未来位置。在局部区域模型包括曝光信息的实施例中，HMD 100针对所预测出的HMD 100的未来位置来确定适当的曝光设置。
附加的配置信息
本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。这些算法描述和表示通常被数据处理领域中的技术人员用来向本领域中的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为通过计算机程序或等效电路、微码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
本公开的实施例也可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中或者适于存储电子指令的任何类型的介质中，这些介质可以耦合到计算机系统总线。此外，本说明书中提到的任何计算系统可以包括单个处理器，或者可以是为了提高的计算能力而采用多处理器设计的体系结构。
本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形计算机可读介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims (20)

1.一种头戴式显示器(HMD)，包括：
成像组件，其包括多个相机，所述多个相机定位在所述HMD上的不同位置处并且被定向为捕获围绕所述HMD的局部区域的不同部分的图像，所述多个相机各自具有与相邻相机重叠的视场，并且所述成像组件被配置为：
生成所述多个相机中的每一个相机的曝光设置，以及
根据成像指令来捕获所述局部区域的图像；
控制器，其被配置为：
使用所述曝光设置生成成像指令，所述成像指令使得对于所捕获的图像中的每一个，所述多个相机中的每一个相机的曝光时间的相应中点在同一时间值出现，
向所述成像组件提供所述成像指令，以及
使用所捕获的图像来确定所述HMD在所述局部区域中的位置。
2.根据权利要求1所述的HMD，其中，所述成像组件包括四个相机，每个相机具有在120度至180度的范围内的视场。
3.根据权利要求2所述的HMD，其中，第一相机和第二相机具有基本平行的定向，使得所述第一相机和所述第二相机的视场提供所述局部区域的一部分的立体成像。
4.根据权利要求3所述的HMD，其中，所述第一相机和所述第二相机位于所述HMD的底部部分上，使得所述第一相机和所述第二相机的视场捕获在静止位置的佩戴所述HMD的用户。
5.根据权利要求3所述的HMD，其中，第三相机和第四相机具有不同的定向，使得所述第三相机和所述第四相机的视场的仅一部分重叠。
6.根据权利要求1所述的HMD，其中，所述成像指令包括针对所述多个相机中的每一个相机的编程化的时间延迟，所述时间延迟是在参考时间点和所述相机的曝光的开始之间的一段时间，并且所述参考时间点由所述HMD检测到的同步脉冲控制。
7.根据权利要求6所述的HMD，其中，所述同步脉冲是由外围设备发射的光脉冲。
8.根据权利要求1所述的HMD，其中，所述多个相机中的每一个相机的曝光设置随所述HMD在所述局部区域内的位置的改变而改变，并且其中所述控制器基于改变的曝光设置生成更新的成像指令。
9.根据权利要求1所述的HMD，其中，所述控制器使用所述多个相机中的每一个相机的曝光设置和来自所捕获的图像的深度信息来更新模型，其中，所述模型表示所述局部区域的映射函数。
10.根据权利要求9所述的HMD，其中，使用所述模型和来自所述HMD内的惯性测量单元的信息，所述控制器还被配置成：
使用来自所述惯性测量单元的信息来预测所述HMD在所述局部区域内的未来位置；以及
基于所预测的未来位置和所述模型来确定所述多个相机中的每一个相机的曝光设置。
11.根据权利要求1所述的HMD，其中，所述控制器被配置成：
识别所述局部区域中的高优先级的区域和所述局部区域中的低优先级的区域，所述高优先级的区域和所述低优先级的区域都在所述多个相机中的相机的视场中，其中，所述高优先级区域与第一曝光值相关联，并且所述低优先级区域与不同的曝光值相关联；以及
为所述高优先级区域确定所述相机的曝光设置，使得所述曝光设置针对所述第一曝光值而曝光。
12.根据权利要求1所述的HMD，其中，所述控制器还被配置成：
确定所述多个相机中的每一个相机的曝光长度的中点；
使每个相机的所确定的中点以同一时间点为中心；以及
确定每个相机的时间延迟，其中，所述时间延迟是在参考时间点和所述相机的曝光长度的开始之间的一段时间，导致每个相机开始图像捕获使得每个相机的曝光长度的中点出现在所述同一时间点。
13.一种方法，包括：
生成在头戴式显示器(HMD)上的成像组件的多个相机的图像信息，其中，所述多个相机中的每一个相机定位在所述HMD上的不同位置处并且被定向为捕获围绕所述HMD的局部区域的不同部分的图像，所述多个相机各自具有与相邻相机重叠的视场；
基于所述多个相机中的每一个相机的所述图像信息来更新模型，其中，所述模型基于所述HMD在所述局部区域内的位置来表示所述局部区域的映射函数；
使用由所述成像组件捕获的图像来确定所述HMD在所述局部区域中的位置；
通过将所述HMD的所确定的位置输入所述模型中来确定所述多个相机中的每一个相机的曝光设置；
基于所确定的曝光设置而为所述多个相机中的每一个相机生成成像指令；
向所述成像组件提供所述成像指令；
根据所述成像指令捕获所述局部区域的多个图像；以及
使用多个所捕获的图像来更新所述HMD的位置。
14.根据权利要求13所述的方法，其中，为所述多个相机中的每一个相机生成成像指令还包括：
确定所述多个相机中的每一个相机的曝光长度的中点；
使每个相机的所确定的中点以同一时间点为中心；以及
确定每个相机的时间延迟，其中，所述时间延迟是在参考时间点和所述相机的曝光长度的开始之间的一段时间，导致每个相机开始图像捕获使得每个相机的曝光长度的中点出现在所述同一时间点。
15.根据权利要求14所述的方法，其中，所述参考时间点由所述HMD检测到的同步脉冲控制。
16.根据权利要求13所述的方法，还包括：
响应于所述HMD的运动，使用惯性测量单元(IMU)产生测量信号。
17.根据权利要求16所述的方法，还包括：
使用来自所述IMU的信息和所述模型来预测所述HMD在所述局部区域内的未来位置。
18.根据权利要求17所述的方法，还包括：
基于所预测出的未来位置来确定所述多个相机中的相机的曝光设置。
19.根据权利要求13所述的方法，还包括：
识别所述局部区域中的高优先级的区域和所述局部区域中的低优先级的区域，所述高优先级的区域和所述低优先级的区域都在所述多个相机中的相机的视场中，其中，所述高优先级区域与第一曝光值相关联，并且所述低优先级区域与不同的曝光值相关联；以及
为所述高优先级区域确定所述相机的曝光设置，使得所述曝光设置针对所述第一曝光值而曝光。
20.一种存储指令的非暂时性计算机可读存储介质，所述指令当被一个或更多个处理器执行时使得所述一个或更多个处理器执行包括以下项的操作：
生成在头戴式显示器(HMD)上的成像组件的多个相机的图像信息，其中，所述多个相机中的每一个相机定位在所述HMD上的不同位置处，并且被定向为捕获围绕所述HMD的局部区域的不同部分的图像，所述多个相机各自具有与相邻相机重叠的视场；
基于所述多个相机中的每一个相机的所述图像信息来更新模型，其中，所述模型基于所述HMD在所述局部区域内的位置来表示所述局部区域的映射函数；
使用由所述成像组件捕获的图像来确定所述HMD在所述局部区域中的位置；
通过将所述HMD的所确定的位置输入所述模型中来确定所述多个相机中的每一个相机的曝光设置；
基于所确定的曝光设置来为所述多个相机中的每一个相机生成成像指令；
向所述成像组件提供所述成像指令；
根据所述成像指令捕获所述局部区域的多个图像；以及
使用多个所捕获的图像来更新所述HMD的位置。
CN201780095731.0A 2017-10-09 2017-10-11 头戴式显示器跟踪系统 Pending CN111194423A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/728,389 US10506217B2 (en) 2017-10-09 2017-10-09 Head-mounted display tracking system
US15/728,389 2017-10-09
PCT/US2017/056183 WO2019074503A1 (en) 2017-10-09 2017-10-11 HEAD-ON DISPLAY MONITORING SYSTEM

Publications (1)

Publication Number Publication Date
CN111194423A true CN111194423A (zh) 2020-05-22

Family

ID=65993593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780095731.0A Pending CN111194423A (zh) 2017-10-09 2017-10-11 头戴式显示器跟踪系统

Country Status (6)

Country Link
US (2) US10506217B2 (zh)
EP (1) EP3467585B1 (zh)
JP (1) JP7026214B2 (zh)
KR (1) KR102448284B1 (zh)
CN (1) CN111194423A (zh)
WO (1) WO2019074503A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785924A (zh) * 2022-04-11 2022-07-22 北京梦想绽放技术有限公司 用于vr设备的摄像模组

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10536646B2 (en) * 2017-07-28 2020-01-14 Panasonic Intellectual Property Corporation Of America Imaging control device and imaging control method
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
GB2569785B (en) * 2017-12-20 2022-07-13 Sony Interactive Entertainment Inc Data processing
EP3627827B1 (en) * 2018-04-28 2024-05-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for controlling photographing, electronic device, and computer readable storage medium
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10475415B1 (en) * 2018-08-20 2019-11-12 Dell Products, L.P. Strobe tracking of head-mounted displays (HMDs) in virtual, augmented, and mixed reality (xR) applications
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US20210021743A1 (en) * 2019-07-19 2021-01-21 Htc Corporation Handheld electronic device and head mounted electronic device
WO2021054342A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 情報処理装置および制御方法
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
AU2020417796B2 (en) * 2019-12-30 2023-09-14 Matterport, Inc. System and method of capturing and generating panoramic three-dimensional images
US11943539B2 (en) * 2019-12-30 2024-03-26 Matterport, Inc. Systems and methods for capturing and generating panoramic three-dimensional models and images
AU2021251117A1 (en) * 2020-04-06 2022-11-03 Pike Enterprises, Llc Virtual reality tracking system
US11733529B1 (en) * 2020-04-21 2023-08-22 Apple Inc. Load-distributing headband for head-mounted device
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
CN112214106B (zh) * 2020-09-16 2023-05-30 青岛小鸟看看科技有限公司 高精度抗干扰的vr系统、运行方法
CN112203076B (zh) 2020-09-16 2022-07-29 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
EP4244673A1 (en) 2020-11-12 2023-09-20 Iristick nv Multi-camera head-mounted device
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
KR20220083346A (ko) 2020-12-11 2022-06-20 삼성전자주식회사 영상 표시 장치의 위치를 추정하는 방법 및 장치
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
CN112822480B (zh) * 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
TW202235956A (zh) 2021-03-05 2022-09-16 大立光電股份有限公司 頭戴裝置
TWM621801U (zh) 2021-08-16 2022-01-01 大立光電股份有限公司 頭戴裝置
US20230072623A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Artificial Reality Device Capture Control and Sharing
TW202416037A (zh) * 2022-06-30 2024-04-16 日商索尼半導體解決方案公司 攝影裝置、攝影方法、程式
WO2024096267A1 (ko) * 2022-11-01 2024-05-10 삼성전자주식회사 외부 객체를 추적하여 획득된 정보에 기반하여 어플리케이션을 실행하기 위한 웨어러블 장치 및 그 방법

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027451A1 (en) * 2002-04-12 2004-02-12 Image Masters, Inc. Immersive imaging system
US20090003678A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US20120326959A1 (en) * 2011-06-21 2012-12-27 Microsoft Corporation Region of interest segmentation
US20130027581A1 (en) * 2011-07-29 2013-01-31 Apple Inc. Adaptive auto exposure adjustment
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN103873765A (zh) * 2012-12-18 2014-06-18 安讯士有限公司 监控方法和监控相机
US20150061996A1 (en) * 2013-09-03 2015-03-05 Tobii Technology Ab Portable eye tracking device
CN105705210A (zh) * 2013-09-30 2016-06-22 索尼电脑娱乐公司 用于头戴式显示器用户的基于摄像机的安全机制
WO2016095057A1 (en) * 2014-12-19 2016-06-23 Sulon Technologies Inc. Peripheral tracking for an augmented reality head mounted device
US20160248971A1 (en) * 2015-02-23 2016-08-25 The Eye Tribe Aps Illumination system synchronized with image sensor
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display
US20160316110A1 (en) * 2015-04-23 2016-10-27 Jonathan Ross Low-latency timing control
US20170142312A1 (en) * 2015-11-12 2017-05-18 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
WO2017092804A1 (en) * 2015-12-02 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Electronic device and method for controlling cameras thereof
US20170180713A1 (en) * 2015-12-16 2017-06-22 Oculus Vr, Llc Range-gated depth camera assembly
US20170230558A1 (en) * 2016-02-04 2017-08-10 KARL STORZ, Imaging, Inc. Exposure control method and system for an image capture device
US20170285735A1 (en) * 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344800A (ja) * 2001-05-18 2002-11-29 Minolta Co Ltd 同期撮影方法および撮影システム
US8908043B2 (en) 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
KR102019124B1 (ko) * 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
JP5790949B2 (ja) * 2013-02-14 2015-10-07 カシオ計算機株式会社 カメラ、撮影制御プログラム及び撮影制御方法、並びにカメラシステム
CA2888943C (en) * 2013-10-03 2015-08-18 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
JP6624776B2 (ja) * 2014-11-26 2019-12-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US9766461B2 (en) 2015-01-20 2017-09-19 Microsoft Technology Licensing, Llc Head-mounted display device with stress-resistant components
US20160225191A1 (en) 2015-02-02 2016-08-04 Daqri, Llc Head mounted display calibration
US20160248995A1 (en) * 2015-02-19 2016-08-25 Daqri, Llc System and method for using millimeter wave in a wearable device
US10440355B2 (en) 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
CN109477966B (zh) 2016-02-18 2022-06-03 苹果公司 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
JP6632443B2 (ja) * 2016-03-23 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027451A1 (en) * 2002-04-12 2004-02-12 Image Masters, Inc. Immersive imaging system
US20090003678A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US20120326959A1 (en) * 2011-06-21 2012-12-27 Microsoft Corporation Region of interest segmentation
US20130027581A1 (en) * 2011-07-29 2013-01-31 Apple Inc. Adaptive auto exposure adjustment
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN103873765A (zh) * 2012-12-18 2014-06-18 安讯士有限公司 监控方法和监控相机
US20140168432A1 (en) * 2012-12-18 2014-06-19 Axis Ab Monitoring method and camera
US20150061996A1 (en) * 2013-09-03 2015-03-05 Tobii Technology Ab Portable eye tracking device
CN105705210A (zh) * 2013-09-30 2016-06-22 索尼电脑娱乐公司 用于头戴式显示器用户的基于摄像机的安全机制
WO2016095057A1 (en) * 2014-12-19 2016-06-23 Sulon Technologies Inc. Peripheral tracking for an augmented reality head mounted device
US20160248971A1 (en) * 2015-02-23 2016-08-25 The Eye Tribe Aps Illumination system synchronized with image sensor
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display
US20160316110A1 (en) * 2015-04-23 2016-10-27 Jonathan Ross Low-latency timing control
US20170142312A1 (en) * 2015-11-12 2017-05-18 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
WO2017092804A1 (en) * 2015-12-02 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Electronic device and method for controlling cameras thereof
US20170180713A1 (en) * 2015-12-16 2017-06-22 Oculus Vr, Llc Range-gated depth camera assembly
US20170230558A1 (en) * 2016-02-04 2017-08-10 KARL STORZ, Imaging, Inc. Exposure control method and system for an image capture device
US20170285735A1 (en) * 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785924A (zh) * 2022-04-11 2022-07-22 北京梦想绽放技术有限公司 用于vr设备的摄像模组

Also Published As

Publication number Publication date
EP3467585A1 (en) 2019-04-10
WO2019074503A1 (en) 2019-04-18
KR20200055010A (ko) 2020-05-20
JP2020537383A (ja) 2020-12-17
KR102448284B1 (ko) 2022-09-29
US10506217B2 (en) 2019-12-10
US20200068187A1 (en) 2020-02-27
US10848745B2 (en) 2020-11-24
EP3467585B1 (en) 2023-07-26
JP7026214B2 (ja) 2022-02-25
US20190110039A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US10848745B2 (en) Head-mounted display tracking system
US10504243B2 (en) Calibration system for a head-mounted display tracking system
US11523213B2 (en) Audio system for dynamic determination of personalized acoustic transfer functions
JP6860488B2 (ja) 複合現実システム
US10748021B2 (en) Method of analyzing objects in images recorded by a camera of a head mounted device
JP6381711B2 (ja) 仮想現実システムの較正
US10269139B2 (en) Computer program, head-mounted display device, and calibration method
US10043281B2 (en) Apparatus and method for estimating eye gaze location
US10365710B2 (en) Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
CN110658914B (zh) 边界区域的闪烁追踪
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
CN110771145A (zh) 事件摄像机
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
CN110554501B (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
US10992928B1 (en) Calibration system for concurrent calibration of device sensors
JP6641525B2 (ja) 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC