CN109565585B - 用于深度信息确定的多发射器照明源 - Google Patents

用于深度信息确定的多发射器照明源 Download PDF

Info

Publication number
CN109565585B
CN109565585B CN201780048657.7A CN201780048657A CN109565585B CN 109565585 B CN109565585 B CN 109565585B CN 201780048657 A CN201780048657 A CN 201780048657A CN 109565585 B CN109565585 B CN 109565585B
Authority
CN
China
Prior art keywords
emitters
emitter
camera assembly
optical element
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780048657.7A
Other languages
English (en)
Other versions
CN109565585A (zh
Inventor
尼古拉斯·丹尼尔·特雷尔
伦佐·德·纳尔迪
理查德·安德鲁·纽科姆比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN109565585A publication Critical patent/CN109565585A/zh
Application granted granted Critical
Publication of CN109565585B publication Critical patent/CN109565585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

深度相机组件(DCA)，其捕获描述局部区域中的深度信息的数据。DCA包括成像装置、控制器和照明源。照明源包括在单个基板上的多个发射器。成像装置捕获用来自照明源的光照射的局部区域的一个或多个图像。控制器使用一个或多个图像确定局部区域中的对象的深度信息。

Description

用于深度信息确定的多发射器照明源
技术领域
本公开一般涉及虚拟或增强现实系统，并且更具体地涉及包括用于确定局部区域的深度信息的深度相机组件中的多个发射器的照明源。
背景技术
虚拟现实(VR)系统或增强现实(AR)系统可以利用三维(3D)中的用户周围环境的捕获。然而，传统的深度相机成像架构在尺寸上相当大、重、并且消耗大量功率。用于获得场景的3D信息的示例深度相机成像架构包括例如立体视觉、飞行时间(ToF)和结构化光(SL)。不同的深度相机成像架构提供不同的优点和缺点，因此某些深度相机成像架构可以在不同的操作条件下提供比其他更好的性能。例如，立体视觉架构在环境照明下运行良好，而具有有源照明源的ToF架构可能受到来自环境照明的信噪比限制的影响。然而，由于传统深度相机成像架构的相对大尺寸，因此包括深度相机的许多系统通常使用针对特定使用情况而配置的单一类型的深度相机成像架构。随着头戴式系统越来越多地用于在各种操作条件和环境中执行更广泛的功能，选择深度相机成像结构以获得头戴式系统和用户周围区域的深度信息可以在以其他方式施加的相同的体积和重量限制内使用更多的能力和灵活性。
发明内容
一种深度相机组件(DCA)，其捕获描述DCA周围的局部区域中的深度信息的数据。DCA包括成像装置、控制器和照明源。照明源包括位于单个基板上的多个发射器。成像装置捕获用来自多个发射器中的一个或多个的光照射的局部区域的图像。图像可以由例如控制器和/或虚拟现实控制台使用，以通过各种技术确定局部区域的深度信息，该技术包括例如立体视觉、光度立体、结构化光(SL)、飞行时间(ToF)或其中的某种组合。控制器和/或虚拟现实控制台使用图像确定局部区域中的对象的深度信息。在一些实施方式中，DCA是包括电子显示元件和光学块的头戴式显示器(HMD)的一部分。电子显示元件部分地基于深度信息显示虚拟对象，且光学块将来自电子显示元件的光引导到HMD的出射光瞳。
照明源包括多个发射器，每个发射器发射具有某些特性的光。特性是描述从发射器发射的光的特征。特性可以是例如偏振、波长范围、幅度、时间调制、发射光的一些其他性质、或其中的组合。在一些实施方式中，多个发射器具有相同的特性。在其他实施方式中，一个或多个特性在多个发射器中的至少两个之间不同。
公共基板用于保持作为照明源的一部分的多个发射器。因此，可以部分地基于用于在单个基板上形成发射器的光刻(例如，半导体制造)工艺的极高精度来确定每个发射器的位置。此外，由于发射器位于相同的基板上、以相同的工艺制造、并且非常靠近，因此它们可以抵抗温度变化(并且可以更容易地校准大的温度波动)、环境冲击和其他影响。
另外，在一些实施方式中，可以在多个发射器中的一个或多个之间共享一个或多个光学元件(例如，准直透镜和/或衍射光学元件)。如果透镜移动，则它对共享光学元件的所有发射器产生线性效应，这可以比单独地将发射器对准相应的光学元件更容易地校正。在一些实施方式中，每个发射器在总功率方面是相当的并且经过公共的光学路径以提高系统校准对生产后潜在的未校准移位的弹性。在一些实施方式中，多个发射器被准直并通过衍射光学元件(例如，用于SL应用)发送，从而导致图案原点的已知且稳定的偏移，这可以改善如下的深度信息检索。
依赖于发射器之间的相对和绝对位置，而不是发射器和成像装置之间的绝对位置可以帮助DCA在甚至不利的环境中执行。这允许更稳定的校准，尤其是在其终端用户的寿命期间(其中深度检索精度受到发射器位置(无论虚拟的还是真实的)的了解的限制)。发射器之间略微不同的间距(无论是有目的的还是在工程公差范围内)在例如产生的SL图案中产生已知的偏移。
另外，通过随时间交替或使用多个发射器，发射器之间的相对图案偏移可以改善深度信息的确定(给定场景中的数据检索的准确性、精度和密度)。另外，通过同时操作多个发射器，可以增加SL密度。此外，当更密集和均匀的照明通常更好时，这可以改善ToF(时间模态)。另外，多个发射器中的一个或多个可以被配置为充当“备用”发射器，其可以在照明源中的一个或多个其他发射器发生故障的情况下被激活。
在涉及系统的所附权利要求中特别公开了根据本发明的实施方式，其中在一个权利要求类别中提到的任何特征(例如，系统)也可以在另一个权利要求类别(例如，方法、存储介质、以及计算机程序产品系统)中要求保护。附加权利要求中的依赖关系或后向引用仅出于形式原因而被选择。然而，也可以要求保护由于有意后向引用任何先前的权利要求(特别是多重依赖关系)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可以被要求保护，而不管所附权利要求中所选择的依赖关系如何。可以要求保护的主题不仅包含所附权利要求中阐述的特征的组合，还包括权利要求中的任何其他特征组合，其中权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的任何实施方式和特征可以在单独的权利要求中和/或与本文描述或描绘的任何实施方式或特征或所附权利要求的任何特征的任何组合中要求保护。
在根据本发明的实施方式中，深度相机组件(DCA)包括：
照明源，包括在单个基板上的多个发射器，照明源被配置为使用多个发射器中的一个或多个将光投射到局部区域中；
成像装置，被配置为捕获用来自照明源的光照射的局部区域的一个或多个图像；以及
控制器，被配置为使用一个或多个图像确定局部区域中的对象的深度信息。
DCA可以是头戴式显示器(HMD)的一部分，头戴式显示器可以包括：
电子显示元件，被配置为部分地基于深度信息显示虚拟对象；
以及
光学块，被配置为将来自电子显示元件的光引导到HMD的出射光瞳。
多个发射器中的相邻发射器可以以相同的距离分开。
多个发射器中的至少一组相邻发射器可以与另一组相邻发射器以不同的距离分开。
控制器还可以被配置为：
激活多个发射器中的第一发射器，以在第一时间段内发射光，发射的光用于使用第一衍射光学元件在局部区域中生成第一结构化光图案；以及
激活多个发射器中的第二发射器，以在第一时间段之后的第二时间段发射光，发射的光用于使用第二衍射光学元件在局部区域中生成第二结构化光图案。
第一衍射光学元件可以产生与第二衍射光学元件不同的结构化光图案。
第一衍射光学元件和第二衍射光学元件可以是相同的衍射光学元件。
控制器还可以被配置为：
激活多个发射器中的第一发射器和多个发射器中的第二发射器以在一段时间内发射光，所发射的光用于生成一个或多个结构化光图案。
每个发射器可以发射由一个或多个特性描述的光，特性可以选自由以下组成的组：偏振、波长范围、幅度、时间调制、描述所发射的光的一些其他特征、或其中的某种组合。
多个发射器中的每一个的所发射的光的特性可以是相同的。
来自多个发射器中的一个发射器的所发射的光的至少一个特性可以不同于多个发射器中的另一个发射器的对应特性。
在根据本发明的实施方式中，深度相机组件(DCA)可以包括：
照明源，包括在单个基板上的多个发射器，照明源被配置为使用多个发射器中的一个或多个将光投射到局部区域中；
成像装置，被配置为捕获用来自照明源的光照射的局部区域的一个或多个图像；以及
控制器，被配置为将一个或多个图像提供给虚拟现实(VR)控制台，其中，VR控制台被配置为部分地基于一个或多个图像来确定深度信息，并且部分地基于深度信息来生成虚拟对象。
多个发射器中的相邻发射器可以以相同的距离分开。
多个发射器中的至少一组相邻发射器可以与另一组相邻发射器以不同的距离分开。
控制器可以配置为：
激活多个发射器中的第一发射器，以在第一时间段内发射光，所发射的光用于使用第一衍射光学元件在局部区域中生成第一结构化光图案；以及
激活多个发射器中的第二发射器，以在第一时间段之后的第二时间段发射光，所发射的光用于使用第二衍射光学元件在局部区域中生成第二结构化光图案。
第一衍射光学元件可以产生与第二衍射光学元件不同的结构化光图案。
第一衍射光学元件和第二衍射光学元件可以是相同的衍射光学元件。
控制器可以被配置为：
激活多个发射器中的第一发射器和多个发射器中的第二发射器以在一段时间内发射光，所发射的光用于生成一个或多个结构化光图案。
每个发射器可以发射由一个或多个特性描述的光，特性可以选自由以下组成的组：偏振、波长范围、幅度、时间调制、描述所发射的光的一些其他特征、或其中的某种组合。
多个发射器中的每一个的所发射的光的特性可以是相同的。
来自多个发射器中的一个发射器的所发射的光的至少一个特性可以不同于多个发射器中的另一个发射器的对应特性。
在根据本发明的实施方式中，深度相机组件(DCA)可以包括：
照明源，包括在单个基板上的多个发射器，多个发射器共享光路，使得从不同发射器发射的光穿过公共的光学元件，照明源被配置为使用多个发射器中的一个或多个将光投射到局部区域中；
成像装置，被配置为捕获用来自照明源的光照射的局部区域的一个或多个图像；以及
控制器，被配置为使用一个或多个图像确定局部区域中的对象的深度信息。
在根据本发明的实施方式中，深度相机组件(DCA)可以包括：
照明源，包括在单个基板上的多个发射器，照明源被配置为使用多个发射器中的一个或多个将光投射到局部区域中；
成像装置，被配置为捕获用来自照明源的光照射的局部区域的一个或多个图像；以及
控制器，被配置为：
使用一个或多个图像确定局部区域中的对象的深度信息；和/或
将一个或多个图像提供给虚拟现实(VR)控制台，其中，VR控制台被配置为部分地基于一个或多个图像来确定深度信息，并且部分地基于深度信息来生成虚拟对象。
照明源可以包括在单个基板上的多个发射器，多个发射器共享光路使得从不同发射器发射的光穿过公共的光学元件。
在根据本发明的实施方式中，一个或多个计算机可读非暂时性存储介质可以包括在被执行时可操作以执行根据本发明的方法或任何上述实施方式的软件。
在根据本发明的实施方式中，系统可以包括：一个或多个处理器；以及至少一个耦接到处理器并且包括可由处理器执行的指令的存储器，处理器在执行指令时可操作以执行根据本发明的方法或任何上述实施方式。
在根据本发明的实施方式中，优选地包括计算机可读非暂时性存储介质的计算机程序产品在数据处理系统上执行时可操作以执行根据本发明的方法或任何上述实施方式。
附图说明
图1是根据实施方式的包括虚拟现实系统的系统环境的框图。
图2是根据实施方式的头戴式显示器的图。
图3是根据实施方式的包括深度相机组件的头戴式显示器的前刚体的横截面。
图4是根据实施方式的照明源的横截面。
附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员将从以下描述中容易地认识到，在不脱离本文所述的本公开的原理或益处的情况下，可以采用本文所示的结构和方法的替代实施方式。
具体实施方式
系统概述
图1是VR控制台110操作的虚拟现实(VR)系统环境100的一个实施方式的框图。虽然图1用于说明目的示出了VR系统环境，但是本文描述的组件和功能也可以包括在各种实施方式中的增强现实(AR)或混合现实(MR)系统中。如本文所使用的，VR系统环境100还可以包括向用户呈现用户可以与之交互的虚拟环境的虚拟现实系统环境。图1所示的VR系统环境100包含头戴式显示器(HMD)105和耦接到VR控制台110的VR输入/输出(I/O)接口115。虽然图1示出了包括一个HMD 105和一个VR I/O接口115的示例系统100，但是在其他实施方式中，可以在VR系统环境100中包括任何数量的这些组件。例如，可以存在多个具有相关联的VR I/O接口115的HMD 105，每个HMD 105和VR I/O接口115与VR控制台110通信。在替代配置中，不同的和/或附加的组件可以包括在VR系统环境100中。另外，在一些实施方式中，结合图1中所示的一个或多个组件描述的功能可以以与结合图1描述的方式不同的方式分布在组件之间。例如，VR控制台110的一些或全部功能由HMD 105提供。
HMD 105是头戴式显示器，其向用户呈现包括具有计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频，声音等)的物理真实世界环境的虚拟和/或增强视图的内容。在一些实施方式中，所呈现的内容包括经由外部装置(例如，扬声器和/或耳机)呈现的音频，该外部装置从HMD 105、VR控制台110或两者接收音频信息，并且基于音频信息呈现音频数据。HMD 105可包含一个或多个刚体，其可刚性地或非刚性地耦接在一起。刚体之间的刚性耦接使耦接的刚体充当单个刚性实体。相反，刚体之间的非刚性耦接允许刚体相对于彼此移动。
HMD 105包括深度相机组件(DCA)120、电子显示器125、光学块130、一个或多个位置传感器135、以及惯性测量单元(IMU)140。HMD 105的一些实施方式具有与结合图1描述的组件不同的组件。另外，在其他实施方式中，由结合图1描述的各种组件提供的功能可以在HMD 105的组件之间不同地分布。
DCA 120捕获描述HMD 105周围区域的深度信息的数据。描述深度信息的数据可以与用于确定深度信息的以下技术中的一个或组合相关联：立体视觉、光度立体、SL和ToF。DCA 120可以使用数据计算深度信息，或者DCA 120可以将该信息发送到可以使用来自DCA120的数据确定深度信息的另一个装置，诸如VR控制台110。
DCA 120包括照明源、成像装置和控制器。照明源将光发射到HMD周围的区域。照明源包括在单个基板上的多个发射器。成像装置捕获环境光和来自多个发射器的多个发射器中的一个或多个发射器的从该区域中的对象反射的光。控制器协调照明源如何发射光以及成像装置如何捕获光。在一些实施方式中，控制器还可以使用捕获的图像确定与局部区域相关联的深度信息。
照明源包括多个发射器，每个发射器发射具有某些特性(例如，波长、偏振、相干性、时间行为等)的光。发射器之间的特性可以相同或不同，并且发射器可以同时或单独操作。在一个实施方式中，多个发射器可以是垂直腔表面发射激光器(VCSEL)阵列。在另一个实施方式中，多个发射器可以是单模边缘发射器激光器的阵列，其可以输出比任何给定单模VCSEL大几个数量级的功率。公共基板用于保持多个发射器作为照明源的一部分，允许精确确定每个发射器位置。每个发射器位置是已知的并且与相邻发射器偏移几十到几千微米(在X轴、Y轴、和/或Z轴上)幅度的距离。在公共或离散光学系统后面的不同起始点处的每个发射器在例如产生的SL图案中产生已知的偏移。图案偏移在深度信息确定中可能是有用的，诸如提高分辨率、准确度和精度限制。此外，由于发射器位于相同的基板上、以相同或类似的工艺步骤制造、并且靠的非常近，因此它们对温度变化(可以更容易地校准大温度波动)和环境冲击/冲击具有弹性。另外，通过随时间交替或使用多个发射器，发射器之间的相对图案转换可以改善深度信息的确定和弹性。另外，通过同时操作多个发射器，可以增加SL密度。当更均匀照明通常更好时，这可以帮助ToF(时间模态)，并且当场景照明中的更多结构有用时辅助立体方法。另外，多个发射器中的一个或多个可以被配置为充当“备用”发射器，其可以在照明源中的一个或多个其他发射器发生故障的情况下被激活。关于DCA120的操作的附加细节将在下面参考图3进行讨论。
电子显示器125根据从VR控制台110接收的数据向用户显示2D或3D图像。在各种实施方式中，电子显示器125包含单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器125的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器、或其中的某种组合。
光学块130放大从电子显示器125接收的图像光，校正与图像光相关联的光学误差，并将校正的图像光呈现给HMD 105的用户。在各种实施方式中，光学块130包括一个或更多光学元件。包括在光学块130中的示例光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器、反射表面、或影响图像光的任何其他合适的光学元件。此外，光学块130可以包括不同光学元件的组合。在一些实施方式中，光学块130中的一个或多个光学元件可具有一个或多个涂层，诸如部分反射或抗反射涂层。
通过光学块130对图像光的放大和聚焦允许电子显示器125在物理上更小、重量更轻并且比更大的显示器消耗更少的功率。另外，放大可以增加由电子显示器125呈现的内容的视野。例如，所显示内容的视野使得使用几乎所有(例如，大约110度对角线)并且在一些情况下为所有的用户的视野来呈现所显示的内容。另外，在一些实施方式中，可以通过添加或移除光学元件来调整放大量。
在一些实施方式中，光学块130可以被设计为校正一种或多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可以进一步包括由于透镜场曲率、像散或任何其他类型的光学误差引起的球面像差、色差或误差。在一些实施方式中，提供给电子显示器125用于显示的内容是预失真的，并且当光学块130从电子显示器125接收基于内容生成的图像光时，光学块130校正失真。
IMU 140是电子装置，其基于从一个或多个位置传感器135接收的测量信号和从DCA 120接收的深度信息生成指示HMD 105的位置的数据。位置传感器135响应于HMD 105的运动产生一个或多个测量信号。位置传感器135的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 140的误差校正的一类传感器、或其某种组合。位置传感器135可以位于IMU 140外部、IMU 140内部、或其某种组合。
基于来自一个或多个位置传感器135的一个或多个测量信号，IMU 140生成指示相对于HMD 105的初始位置的HMD 105的估计当前位置的数据。例如，位置传感器135包括多个加速度计以测量平移运动(前/后、上/下、左/右)和多个陀螺仪以测量旋转运动(例如，俯仰、偏航、转动)。在一些实施方式中，IMU 140快速采样测量信号并根据采样数据计算HMD105的估计当前位置。例如，IMU 140对从加速度计接收的测量信号随时间积分以估计速度矢量并且对速度矢量随时间积分以确定HMD 105上的参考点的估计当前位置。或者，IMU140将采样的测量信号提供给VR控制台110，VR控制台110解释数据以减小误差。参考点是可以用于描述HMD 105的位置的点。参考点通常可以被定义为空间中的点或与HMD 105的取向和位置相关的位置。
IMU 140从VR控制台110接收一个或多个参数。如下面进一步讨论的，一个或多个参数用于维持对HMD 105的跟踪。基于接收的参数，IMU 140可以调整一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些参数使IMU 140更新参考点的初始位置，使其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与IMU 140估计的当前位置相关联的累积误差。累积误差(也称为漂移误差)使得参考点的估计位置随时间“漂移”远离参考点的实际位置。在HMD 105的一些实施方式中，IMU 140可以是专用硬件组件。在其他实施方式中，IMU 140可以是在一个或多个处理器中实现的软件组件。
VR I/O接口115是允许用户发送动作请求并从VR控制台110接收响应的装置。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。VR I/O接口115可以包括一个或多个输入装置。示例输入装置包括：键盘、鼠标、游戏控制器或用于接收动作请求并将动作请求传送到VR控制台110的任何其他合适的装置。由VR I/O接口115接收的动作请求被传送到VR控制台110，VR控制台执行与动作请求相对应的动作。在一些实施方式中，如上面进一步描述的，VRI/O接口115包括IMU 140，其捕获指示相对于VR I/O接口115的初始位置的VR I/O接口115的估计位置的校准数据。在一些实施方式中，VR I/O接口115可以根据从VR控制台110接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者VR控制台110将指令传送到VR I/O接口115，使得VR I/O接口115在VR控制台110执行动作时生成触觉反馈。
VR控制台110向HMD 105提供内容，以根据从DCA 120、HMD 105和VR I/O接口115中的一个或多个接收的信息进行处理。在图1所示的示例中，VR控制台110包括应用储存器150、跟踪模块155和VR引擎145。VR控制台110的一些实施方式具有与结合图1描述的模块或组件不同的模块或组件。类似地，下面进一步描述的功能可以以与结合图1描述的方式不同的方式分布在VR控制台110的组件之间。
应用储存器150存储一个或多个应用以供VR控制台110执行。应用是一组指令，该指令在由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由HMD 105或VR I/O接口115的移动从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块155使用一个或多个校准参数来校准VR系统环境100，并且可以调整一个或多个校准参数以减小确定HMD 105或VR I/O接口115的位置时的误差。例如，跟踪模块155将校准参数传送到DCA 120，以调整DCA 120的焦点，以更准确地确定由DCA 120捕获的SL元件的位置。由跟踪模块155执行的校准还考虑从HMD 105中的IMU 140和/或VR I/O接口115中包括的IMU 140接收的信息。另外，如果丢失了对HMD 105的跟踪(例如，DCA 120丢失了至少阈值数量的SL元素的视线)，则跟踪模块140可以重新校准VR系统环境100中的一些或全部。
跟踪模块155使用来自DCA 120、一个或多个位置传感器135、IMU 140或其某种组合的信息来跟踪HMD 105或VR I/O接口115的移动。例如，跟踪模块155基于来自HMD 105的信息确定HMD 105的参考点在局部区域的映射中的位置。跟踪模块155还可以分别使用来自IMU 140的指示HMD 105的位置的数据或者使用来自包括在VR I/O接口115中的IMU 140的指示VR I/O接口115的位置的数据来确定HMD 105的参考点或VR I/O接口115的参考点的位置。另外，在一些实施方式中，跟踪模块155可以使用来自IMU 140的指示HMD 105的位置的数据的部分以及来自DCA 120的局部区域的表示来预测HMD 105的未来位置。模块155将HMD105或VR I/O接口115的估计或预测的未来位置提供给VR引擎145。
VR引擎145基于从HMD 105接收的信息生成HMD 105周围区域(即，“局部区域”)的3D映射。在一些实施方式中，VR引擎145基于从DCA 120接收的与计算深度中使用的技术相关的信息来确定用于局部区域的3D映射的深度信息。VR引擎145可以使用计算深度中的一种或多种技术(例如，立体视觉、光度立体，SL、ToF或其某种组合)来计算深度信息。在各种实施方式中，VR引擎145使用由DCA 120确定的不同类型的信息或由DCA 120确定的多类信息的组合。
VR引擎145还执行VR系统环境100内的应用，并从跟踪模块155接收HMD 105的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于所接收的信息，VR引擎145确定要提供给HMD 105以呈现给用户的内容。例如，如果所接收的信息指示用户已向左看，则VR引擎145生成用于HMD 105的内容，该内容镜像用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动。另外，VR引擎145响应于从VR I/O接口115接收的动作请求，在VR控制台110上执行的应用内执行动作，并向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 105的视觉或听觉反馈或经由VR I/O接口115的触觉反馈。
图2是HMD 200的一个实施方式的线图。HMD 200是HMD 105的实施方式，并且包括前刚体205、带210、参考点215、左侧220A、顶侧220B、右侧220C、底侧220D和前侧220E。图2中所示的HMD 200还包括深度相机组件(DCA)120的实施方式，并且描绘成像孔225和照明孔230。DCA 120的一些实施方式包括成像装置和照明源。照明源通过照明孔230发射光。成像装置通过成像孔225捕获来自照明源的光和局部区域中的环境光。前刚体205包括电子显示器125的一个或多个电子显示元件(未示出)、IMU 130、一个或多个位置传感器135和参考点215。
图3是根据实施方式的HMD 305的横截面300。在一些实施方式中，HMD 305是HMD105的实施方式。在其他实施方式中，它是一些其他HMD的一部分。前刚体307包括深度相机组件(DCA)120、电子显示器125和光学块130。HMD 305的一些实施方式具有与本文描述的组件不同的组件。类似地，在一些情况下，功能可以以不同于本文描述的方式在组件之间分布。前刚体307还包括出射光瞳308，用户的眼睛309将位于该出射光瞳308处。出于说明的目的，图3示出了根据单个眼睛309的前刚体307的横截面。尽管图3描绘眼睛309的中心横截面与DCA 120在同一平面中，但眼睛309的中心横截面和DCA 120不必在同一平面内。另外，与图3中所示的那些分开的另一电子显示器125和光学块130可以包括在前刚体307中，以向用户的另一只眼睛呈现诸如局部区域310或虚拟内容的增强表示的内容。
深度相机组件(DCA)120包括照明源320、成像装置325和控制器330。照明源320用光照射局部区域310。局部区域310是围绕HMD 105的区域，并且包括成像装置325的视野中的对象。照明源320包括在单个基板上的多个发射器，发射器将光发射到局部区域310上。在一个实施方式中，照明源320包括发射器342、发射器344和发射器346。典型的发射器可以是通过半导体制造工艺制造的激光二极管。在照明源320中，多个激光二极管可以在单个基板上制造，并且保持为所制造的取向(公共结构载体、继承半导体/光刻精度)。在一个实施方式中，激光二极管之间的间隔可以是50到250微米。在其他实施方式中，激光二极管之间的间隔在0.3mm至1.5mm的范围内。照明源320中的相邻发射器可以相等地间隔开，或者在一些实施方式中，可以不等距地间隔开。例如，在一个实施方式中，发射器342和发射器344之间的距离与发射器344和发射器346之间的距离相同。然而，在另一个实施方式中，发射器342和发射器344之间的距离与发射器344和发射器346之间的距离不同，例如分别为0.2对1.0mm。由于多个发射器位于同一基板上，因诸如温度变化、环境冲击或环境影响等事件导致的照明源位置的移位可能类似地影响多个发射器。可以基于从照明源320中的每个发射器检索的图案图像的差异来关联移位，并且通过知道照明源320的位置变化，可以提高深度检索精度。此外，因为每个发射器在几何上以微米到毫米分开，并且在结构支撑中具有很少或没有接口，因此发射器可以对系统中的任何梯度具有弹性，该梯度否则会以非线性和难以预测的方式影响性能。
每个发射器342、344、346发射具有某些特性的光。特性是描述从发射器发射的光的特征。特性可以是例如、偏振、波长范围、幅度、时间调制、描述所发射的光的一些其他特征、或其某种组合。在一些实施方式中，多个发射器都具有相同的特性。在其他实施方式中，每个发射器中的一个或多个特性可以与照明源320中的其他发射器不同。波长范围通常是光带的一部分。由照明源320发射的示例光带包括：可见光带(～380nm至750nm)、红外(IR)光带(～750nm至1500nm)、紫外光带(100nm至380nm)，另一部分电磁频谱或其某种组合。例如，在一些实施方式中，发射器342、发射器344和发射器346都发射相同的波长范围(例如，接近950nm)。在替代实施方式中，发射器342在可见光带中发射、发射器344在IR带的子区域(例如850纳米)中发射、并且发射器346在IR带的另一部分中发射(例如940纳米)。类似地，照明源320中的发射器之间的其他特性可以变化或相同。例如，发射器342和发射器344可以在IR带的第一部分中发射圆偏振光，并且发射器346可以在IR带的第二部分发射线性(垂直)偏振光。
照明源320包括光学元件块348，其包括多个发射器共用的一个或多个光学元件。光学元件可以是例如衍射光学元件(DOE)、准直透镜、当被照射时产生SL图案的掩模等。DOE可以是例如菲涅耳透镜、衍射光栅、一些其他DOE、或其某种组合。
例如，在一个实施方式中，一个或多个光学元件包括公共准直透镜和DOE，其中发射器342、发射器344和发射器346通过DOE发射光以产生结构化光(例如，DOE对于发射器342、发射器344和发射器346是公共的)。产生的结构化光是指定的图案，诸如对称或准随机点图案、网格或水平条。在视野的中心区域内，指定图案的密度可以随着附加发射器的激活而增加。另外，基于发射器间隔，结构化光图案的视在视野可以增加，因为输出图案可能看起来在经过DOE之后以角坐标复制和移位。例如，在一个实施方式中，DOE可以创建点图案。当发射器342被激活时，产生第一点图案。当发射器344被激活时，产生第二点图案，类似于第一点图案，但在相应的局部区域310中在空间原点和投影角轴位置上移位。因此，同时激活发射器342和发射器344产生两个点图案，大约是由点图案重叠的单个发射器产生的点图案(如果这样使用的话)的密度的两倍，并且否则可以增加照明视野。
照明源320的光学元件块348可包括对应于多个发射器的不同发射器的一个或多个光学元件。例如，在一个实施方式中，发射器342通过第一DOE发射光以产生栅格图案，而发射器344通过第二DOE发射光以产生水平条形图案。
成像装置325捕获局部区域310的图像。成像装置325可包括一个或多个检测器和一个或多个光学元件(例如，一个或多个透镜、衍射元件、波长滤波器、偏振器、光圈或其中的一些组合)。成像装置325可以捕获并记录特定的光带或特定的光偏振。例如，成像装置325可以捕获包括可见光带和红外光带中的光的图像。成像装置325可以捕获包括特定偏振光(例如，圆形、线性偏振光)的图像。在一些实施方式中，成像装置325可包括透镜阵列，其呈现穿过成像装置325的检测器的不同区域的局部区域的多个图像。
在一些实施方式中，控制器330被配置为使用一个或多个图像确定局部区域310中的对象的深度信息。控制器330控制光如何从照明源320发射以及成像装置325如何捕获光。例如，控制器330指示照明源320中的一个或多个发射器发射光。以这种方式，控制器330控制诸如照明源320的定时、强度、波长范围、偏振、视野限制和密度(在SL的情况下)的性质。控制器330还可以控制何时从成像装置325收集数据的定时。因此，控制器330可以利用照明源320的光发射来协调成像装置325进行的数据捕获。在替代实施方式中，一些其他装置(例如，VR控制台110)确定局部区域的深度信息。
在一些实施方式中，控制器330被配置为部分地基于用于捕获深度信息的技术来确定深度信息。例如，可以通过使用以下技术中的一个或组合来确定深度信息：立体视觉、光度立体，SL和ToF。
控制器还可以使DCA 120使用(主动或辅助)立体视觉技术捕获深度信息。在一个实施方式中，控制器330控制来自成像装置325的两个或多个检测器以捕获从局部区域310反射的光。成像装置325的检测器彼此隔开固定距离并且可用于提取深度信息。每个检测器收集从局部区域310(例如，局部区域310中的一个或多个对象)反射的光。在替代实施方式中，控制器330利用来自阵列检测器325的两个或更多个检测器的光的收集来协调来自照明源320的光的发射。可以比较控制器330收集的数据(包含来自不同有利位置的数据)以确定深度信息。
控制器330还可以使DCA 120使用光度立体技术来捕获深度信息。控制器330利用来自成像装置325的光的收集来协调来自多个发射器中的两个或更多个发射器的光的发射。由控制器收集的数据(包括具有不同照明条件的数据)可用于确定局部区域310中的对象的深度。
控制器330还可以使DCA 120使用SL技术捕获深度信息。在一个实施方式中，控制器330控制照明源320以将具有特定图案的SL发射到局部区域310上。控制器330可以打开照明源320的一个或多个发射器以增加密度、视野或特定图案的基线。例如，如果局部区域310包括具有精细细节的对象，则控制器可以激活更多的发射器。控制器330利用成像装置325的光收集来协调来自照明源320的SL的发射。由控制器330收集的数据(包括SL信息)可用于确定局部区域310中的对象的深度。控制器330还可以在不同时间激活每个发射器，并使用成像装置325捕获多个发射器的多个图像，从而提高深度确定的准确度。
控制器330还可以使DCF 120使用ToF技术捕获深度信息。在一个实施方式中，控制器330控制在照明源320中激活一个或多个发射器的时间，并且有效地测量所发射的光从局部区域310反射并由成像装置325检测所累积的相位偏移(与时间差相当)。由控制器330收集的数据(其中包括ToF信息)可用于确定局部区域310中的对象的深度。
图4是根据实施方式的照明源320的截面图。在该实施方式中，发射器342、发射器344和发射器346是发射器激光器阵列402的一部分，并且光学元件块348包括准直透镜415和激光器阵列共用的DOE 425。发射器激光器阵列402的发射器342、发射器344和发射器346分别发射在起始点404、起始点406和起始点408处离开相应激光腔的光。然后，该发射的光由公共准直透镜415准直，并通过公共DOE 425以产生SL。
其他配置信息
已经出于说明的目的呈现了本公开的实施方式的前述描述；其并非旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可以理解，鉴于以上公开内容，许多修改和变化是可能的。
本说明书的一些部分在关于信息的操作的算法和符号表示方面描述了本公开的实施方式。数据处理领域的技术人员通常使用这些算法描述和表示来有效地将其工作的实质传达给本领域其他技术人员。这些操作虽然在功能上、计算上或逻辑上描述，但应理解为由计算机程序或等效电路、微代码等实现。此外，在不失一般性的情况下，将这些操作安排称为模块，有时也证明是方便的。所描述的操作及其相关模块可以体现为软件、固件、硬件或其任何组合。
本文描述的任何步骤、操作或过程可以单独地或与其他装置组合地用一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块用计算机程序产品实现，该计算机程序产品包括含有计算机程序代码的计算机可读介质，该计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。
本公开的实施方式还可以涉及用于执行本文的操作的设备。该设备可以为所需目的而专门构造，和/或它可以包含由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。这样的计算机程序可以存储在非暂时性有形计算机可读存储介质中，或者适合于存储电子指令的任何类型的介质中，该介质可以耦接到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。
本公开的实施方式还可以涉及通过本文描述的计算过程产生的产品。这样的产品可以包含由计算过程产生的信息，其中信息存储在非暂时性有形计算机可读存储介质上，并且可以包括计算机程序产品的任何实施方式或本文描述的其他数据组合。
最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且可能未选择它来描绘或限制本发明的主题。因此，本公开的范围旨在不受该详细描述的限制，而是受在基于本文的本申请上发布的任何权利要求的限制。因此，实施方式的公开内容旨在说明而非限制本公开的范围，本公开的范围在所附权利要求中阐述。

Claims (34)

1.一种深度相机组件，包括：
照明源，包括在单个基板上的多个发射器，所述多个发射器包括第一发射器和第二发射器，所述照明源被配置为使用所述多个发射器中的一个或多个将光投射到局部区域中，所述照明源还包括：
对应于所述第一发射器的第一衍射光学元件，所述第一发射器被配置为使用所述第一衍射光学元件在所述局部区域中生成第一结构化光图案，以及
对应于所述第二发射器的第二衍射光学元件，所述第二发射器被配置为使用第二衍射光学元件在所述局部区域中生成第二结构化光图案，所述第一结构化光图案是与所述第二结构化光图案不同的图案，
其中，所述照明源被配置为分开地激活所述第一发射器和所述第二发射器，或者同时激活所述第一发射器和所述第二发射器，以产生将所述第一结构化光图案与所述第二结构化光图案相结合的光图案，以及
其中，所述第一结构化光图案为点图案，并且所述第二结构化光图案为条形图案；
成像装置，被配置为捕获用来自所述照明源的光照射的所述局部区域的一个或多个图像；以及
控制器，被配置为使用所述一个或多个图像确定所述局部区域中的对象的深度信息。
2.根据权利要求1所述的深度相机组件，其中，所述深度相机组件是头戴式显示器的一部分，所述头戴式显示器包括：
电子显示元件，被配置为部分地基于所述深度信息显示虚拟对象；以及
光学块，被配置为将来自所述电子显示元件的光引导到所述头戴式显示器的出射光瞳。
3.根据权利要求1所述的深度相机组件，其中，所述多个发射器中的相邻发射器以相同的距离分开。
4.根据权利要求1所述的深度相机组件，其中，所述多个发射器中的至少一组相邻发射器与另一组相邻发射器以不同的距离分开。
5.根据权利要求1所述的深度相机组件，其中，所述控制器还被配置为：
激活所述多个发射器中的第一发射器，以在第一时间段内发射光，所发射的光用于使用第一衍射光学元件在所述局部区域中生成第一结构化光图案；以及
激活所述多个发射器中的第二发射器，以在所述第一时间段之后的第二时间段发射光，所发射的光用于使用第二衍射光学元件在所述局部区域中生成第二结构化光图案。
6.根据权利要求5所述的深度相机组件，其中，所述第一衍射光学元件产生与所述第二衍射光学元件不同的结构化光图案。
7.根据权利要求5所述的深度相机组件，其中，所述第一衍射光学元件和所述第二衍射光学元件是相同的衍射光学元件。
8.根据权利要求1所述的深度相机组件，其中，所述控制器还被配置为：
激活所述多个发射器中的第一发射器和所述多个发射器中的第二发射器以在一段时间内发射光，所发射的光用于生成一个或多个结构化光图案。
9.根据权利要求1所述的深度相机组件，其中，每个发射器发射由一个或多个特性描述的光，所述特性选自由以下组成的组：偏振、波长范围、幅度、时间调制、或其中的某种组合。
10.根据权利要求9所述的深度相机组件，其中，所述多个发射器中的每一个的所发射的光的特性是相同的。
11.根据权利要求9所述的深度相机组件，其中，来自所述多个发射器中的一个发射器的所发射的光的至少一个特性不同于所述多个发射器中的另一个发射器的对应特性。
12.一种深度相机组件，包括：
照明源，包括在单个基板上的多个发射器，所述多个发射器包括第一发射器和第二发射器，所述照明源被配置为使用所述多个发射器中的一个或多个将光投射到局部区域中，所述照明源还包括：
对应于所述第一发射器的第一衍射光学元件，所述第一发射器被配置为使用所述第一衍射光学元件在所述局部区域中生成第一结构化光图案，以及
对应于所述第二发射器的第二衍射光学元件，所述第二发射器被配置为使用第二衍射光学元件在所述局部区域中生成第二结构化光图案，所述第一结构化光图案是与所述第二结构化光图案不同的图案，
其中，所述照明源被配置为分开地激活所述第一发射器和所述第二发射器，或者同时激活所述第一发射器和所述第二发射器，以产生将所述第一结构化光图案与所述第二结构化光图案相结合的光图案，以及
其中，所述第一结构化光图案为点图案，并且所述第二结构化光图案为条形图案；
成像装置，被配置为捕获用来自所述照明源的光照射的所述局部区域的一个或多个图像；以及
控制器，被配置为将所述一个或多个图像提供给虚拟现实控制台，其中，所述虚拟现实控制台被配置为部分地基于所述一个或多个图像来确定深度信息，并且部分地基于所述深度信息来生成虚拟对象。
13.根据权利要求12所述的深度相机组件，其中，所述多个发射器中的相邻发射器以相同的距离分开。
14.根据权利要求12所述的深度相机组件，其中，所述多个发射器中的至少一组相邻发射器与另一组相邻发射器以不同的距离分开。
15.根据权利要求12所述的深度相机组件，其中，所述控制器还被配置为：
激活所述多个发射器中的第一发射器，以在第一时间段内发射光，所发射的光用于使用第一衍射光学元件在所述局部区域中生成第一结构化光图案；以及
激活所述多个发射器中的第二发射器，以在所述第一时间段之后的第二时间段发射光，所发射的光用于使用第二衍射光学元件在所述局部区域中生成第二结构化光图案。
16.根据权利要求15所述的深度相机组件，其中，所述第一衍射光学元件产生与所述第二衍射光学元件不同的结构化光图案。
17.根据权利要求15所述的深度相机组件，其中，所述第一衍射光学元件和所述第二衍射光学元件是相同的衍射光学元件。
18.根据权利要求12所述的深度相机组件，其中，所述控制器还被配置为：
激活所述多个发射器中的第一发射器和所述多个发射器中的第二发射器以在一段时间内发射光，所发射的光用于生成一个或多个结构化光图案。
19.根据权利要求12所述的深度相机组件，其中，每个发射器发射由一个或多个特性描述的光，所述特性选自由以下组成的组：偏振、波长范围、幅度、时间调制、或其中的某种组合。
20.根据权利要求19所述的深度相机组件，其中，所述多个发射器中的每一个的所发射的光的特性是相同的。
21.根据权利要求19所述的深度相机组件，其中，来自所述多个发射器中的一个发射器的所发射的光的至少一个特性不同于所述多个发射器中的另一个发射器的对应特性。
22.一种深度相机组件，包括：
照明源，包括在单个基板上的多个发射器，所述多个发射器包括第一发射器和第二发射器，所述多个发射器共享光路，使得从不同发射器发射的光穿过公共的光学元件，所述照明源被配置为使用所述多个发射器中的一个或多个将光投射到局部区域中，所述照明源还包括：
对应于所述第一发射器的第一衍射光学元件，所述第一发射器被配置为使用所述第一衍射光学元件在所述局部区域中生成第一结构化光图案，以及
对应于所述第二发射器的第二衍射光学元件，所述第二发射器被配置为使用第二衍射光学元件在所述局部区域中生成第二结构化光图案，所述第一结构化光图案是与所述第二结构化光图案不同的图案，
其中，所述照明源被配置为分开地激活所述第一发射器和所述第二发射器，或者同时激活所述第一发射器和所述第二发射器，以产生将所述第一结构化光图案与所述第二结构化光图案相结合的光图案，以及
其中，所述第一结构化光图案为点图案，并且所述第二结构化光图案为条形图案；
成像装置，被配置为捕获用来自所述照明源的光照射的所述局部区域的一个或多个图像；以及
控制器，被配置为使用所述一个或多个图像确定所述局部区域中的对象的深度信息。
23.一种深度相机组件，包括：
照明源，包括在单个基板上的多个发射器，所述多个发射器包括第一发射器和第二发射器，所述照明源被配置为使用所述多个发射器中的一个或多个将光投射到局部区域中，所述照明源还包括：
对应于所述第一发射器的第一衍射光学元件，所述第一发射器被配置为使用所述第一衍射光学元件在所述局部区域中生成第一结构化光图案，以及
对应于所述第二发射器的第二衍射光学元件，所述第二发射器被配置为使用第二衍射光学元件在所述局部区域中生成第二结构化光图案，所述第一结构化光图案是与所述第二结构化光图案不同的图案，
其中，所述照明源被配置为分开地激活所述第一发射器和所述第二发射器，或者同时激活所述第一发射器和所述第二发射器，以产生将所述第一结构化光图案与所述第二结构化光图案相结合的光图案，以及
其中，所述第一结构化光图案为点图案，并且所述第二结构化光图案为条形图案；
成像装置，被配置为捕获用来自所述照明源的光照射的所述局部区域的一个或多个图像；以及
控制器，被配置为：
使用所述一个或多个图像确定所述局部区域中的对象的深度信息；并且
将所述一个或多个图像提供给虚拟现实控制台，其中，所述虚拟现实控制台被配置为部分地基于所述一个或多个图像来确定深度信息，并且部分地基于所述深度信息来生成虚拟对象。
24.根据权利要求23所述的深度相机组件，其中，所述深度相机组件是头戴式显示器的一部分，所述头戴式显示器包括：
电子显示元件，被配置为部分地基于所述深度信息显示虚拟对象；以及
光学块，被配置为将来自所述电子显示元件的光引导到所述头戴式显示器的出射光瞳。
25.根据权利要求23或24所述的深度相机组件，其中所述多个发射器中的相邻发射器以相同的距离分开。
26.根据权利要求23或24所述的深度相机组件，其中，所述多个发射器中的至少一组相邻发射器与另一组相邻发射器以不同的距离分开。
27.根据权利要求23或24所述的深度相机组件，其中，所述控制器还被配置为：
激活所述多个发射器中的第一发射器，以在第一时间段内发射光，所发射的光用于使用第一衍射光学元件在所述局部区域中生成第一结构化光图案；以及
激活所述多个发射器中的第二发射器，以在所述第一时间段之后的第二时间段发射光，所发射的光用于使用第二衍射光学元件在所述局部区域中生成第二结构化光图案。
28.根据权利要求27所述的深度相机组件，其中，所述第一衍射光学元件产生与所述第二衍射光学元件不同的结构化光图案。
29.根据权利要求27所述的深度相机组件，其中，所述第一衍射光学元件和所述第二衍射光学元件是相同的衍射光学元件。
30.根据权利要求23或24所述的深度相机组件，其中，所述控制器还被配置为：
激活所述多个发射器中的第一发射器和所述多个发射器中的第二发射器以在一段时间内发射光，所发射的光用于生成一个或多个结构化光图案。
31.根据权利要求23或24所述的深度相机组件，其中，每个发射器发射由一个或多个特性描述的光，所述特性选自由以下组成的组：偏振、波长范围、幅度、时间调制、或其中的某种组合。
32.根据权利要求31所述的深度相机组件，其中，所述多个发射器中的每一个的所发射的光的特性是相同的。
33.根据权利要求31所述的深度相机组件，其中，来自所述多个发射器中的一个发射器的所发射的光的至少一个特性不同于所述多个发射器中的另一个发射器的对应特性。
34.根据权利要求23或24所述的深度相机组件，其中，所述照明源包括在单个基板上的多个发射器，所述多个发射器共享光路使得从不同发射器发射的光穿过公共的光学元件。
CN201780048657.7A 2016-08-09 2017-07-13 用于深度信息确定的多发射器照明源 Active CN109565585B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/232,073 2016-08-09
US15/232,073 US10827163B2 (en) 2016-08-09 2016-08-09 Multiple emitter illumination source for depth information determination
PCT/US2017/041870 WO2018031179A1 (en) 2016-08-09 2017-07-13 Multiple emitter illumination source for depth information determination

Publications (2)

Publication Number Publication Date
CN109565585A CN109565585A (zh) 2019-04-02
CN109565585B true CN109565585B (zh) 2021-05-14

Family

ID=61160395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048657.7A Active CN109565585B (zh) 2016-08-09 2017-07-13 用于深度信息确定的多发射器照明源

Country Status (5)

Country Link
US (1) US10827163B2 (zh)
JP (1) JP7071336B2 (zh)
KR (1) KR102288574B1 (zh)
CN (1) CN109565585B (zh)
WO (1) WO2018031179A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325394B (zh) * 2017-08-01 2022-06-21 苹果公司 确定稀疏图案照明与密集图案照明
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
CN111263899B (zh) * 2017-11-28 2023-11-24 索尼半导体解决方案公司 照明装置、飞行时间系统和方法
US11061234B1 (en) 2018-02-01 2021-07-13 Facebook Technologies, Llc Depth camera assembly based on near infra-red illuminator
CN108490632B (zh) * 2018-03-12 2020-01-10 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10565720B2 (en) 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10914823B2 (en) * 2018-05-01 2021-02-09 Qualcomm Incorporated Time of flight ranging with varying fields of emission
US10909373B1 (en) 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US12112493B2 (en) * 2018-12-07 2024-10-08 Texas Instruments Incorporated Structured light projector
US11063407B1 (en) * 2019-04-18 2021-07-13 Facebook Technologies, Llc Addressable vertical cavity surface emitting laser array for generating structured light patterns
KR20200125215A (ko) * 2019-04-26 2020-11-04 엘지이노텍 주식회사 카메라 모듈
US11340456B1 (en) 2019-05-22 2022-05-24 Facebook Technologies, Llc Addressable crossed line projector for depth camera assembly
CN110244309A (zh) * 2019-06-21 2019-09-17 浙江舜宇光学有限公司 深度的检测系统和方法
US11580654B2 (en) * 2019-12-30 2023-02-14 Qualcomm Incorporated Alternating light distributions for active depth sensing
US11726365B1 (en) 2020-07-10 2023-08-15 Meta Platforms Technologies, Llc Optical assembly for providing koehller illumination to a display
KR20220047035A (ko) 2020-10-08 2022-04-15 삼성전자주식회사 객체의 깊이를 측정하는 디바이스 및 방법
US11493332B1 (en) * 2021-08-18 2022-11-08 Himax Technologies Limited Three-dimensional sensing system for determining three-dimensional profile of object and method thereof
US11979548B2 (en) * 2022-04-08 2024-05-07 Himax Technologies Limited Structured light projector and three-dimensional image sensing apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104116496A (zh) * 2014-07-11 2014-10-29 深圳先进技术研究院 医用三维静脉血管增强现实装置及方法
WO2016111878A1 (en) * 2015-01-08 2016-07-14 Microsoft Technology Licensing, Llc Multimode depth imaging

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7581681B2 (en) * 1998-03-24 2009-09-01 Metrologic Instruments, Inc. Tunnel-type digital imaging system for use within retail shopping environments such as supermarkets
US7583875B2 (en) * 2005-07-22 2009-09-01 Seiko Epson Corporation Illumination device, image display device, and projector
JP5588353B2 (ja) * 2008-01-21 2014-09-10 プライムセンス リミテッド ０次低減のための光学設計
US9870068B2 (en) * 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US8749796B2 (en) * 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US8966613B2 (en) * 2011-09-30 2015-02-24 Microsoft Technology Licensing, Llc Multi-frame depth image information identification
US20130322683A1 (en) * 2012-05-30 2013-12-05 Joel Jacobs Customized head-mounted display device
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
US9117267B2 (en) * 2012-10-18 2015-08-25 Google Inc. Systems and methods for marking images for three-dimensional image generation
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
KR101827180B1 (ko) * 2013-06-19 2018-02-07 애플 인크. 통합 구조화된 광 프로젝터
US20150015701A1 (en) * 2013-07-10 2015-01-15 Faro Technologies, Inc. Triangulation scanner having motorized elements
US9443310B2 (en) * 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
WO2015077455A1 (en) * 2013-11-25 2015-05-28 Digimarc Corporation Methods and systems for contextually processing imagery
KR102277309B1 (ko) 2014-01-29 2021-07-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
CN106796661B (zh) * 2014-08-12 2020-08-25 曼蒂斯影像有限公司 投影光图案的系统、方法和计算机程序产品
US20160072258A1 (en) * 2014-09-10 2016-03-10 Princeton Optronics Inc. High Resolution Structured Light Source
US9503708B2 (en) * 2014-11-03 2016-11-22 Aquifi, Inc. Systems and methods for reducing z-thickness and zero-order effects in depth cameras
CN107209960B (zh) * 2014-12-18 2021-01-01 脸谱科技有限责任公司 用于提供虚拟现实环境的用户界面的系统、设备及方法
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
US10708573B2 (en) * 2016-01-04 2020-07-07 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US20180035101A1 (en) * 2016-07-29 2018-02-01 Osterhout Group, Inc. See-through computer display systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104116496A (zh) * 2014-07-11 2014-10-29 深圳先进技术研究院 医用三维静脉血管增强现实装置及方法
WO2016111878A1 (en) * 2015-01-08 2016-07-14 Microsoft Technology Licensing, Llc Multimode depth imaging

Also Published As

Publication number Publication date
JP2019526790A (ja) 2019-09-19
JP7071336B2 (ja) 2022-05-18
KR102288574B1 (ko) 2021-08-12
US20180048880A1 (en) 2018-02-15
CN109565585A (zh) 2019-04-02
KR20190075044A (ko) 2019-06-28
WO2018031179A1 (en) 2018-02-15
US10827163B2 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
CN109565585B (zh) 用于深度信息确定的多发射器照明源
US11920916B1 (en) Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
US10469722B2 (en) Spatially tiled structured light projector
CN109425994B (zh) 深度相机组件、头戴式显示器和用于深度感测的方法
KR102456961B1 (ko) 구조화 조명 및 비행 시간을 사용한 깊이 맵핑
US10606071B1 (en) Lightfield waveguide integrated eye tracking
CN109644264B (zh) 用于深度映射的阵列检测器
US10158845B2 (en) Tileable structured light projection for wide field-of-view depth sensing
KR102510644B1 (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
US10957059B1 (en) Multi-pattern depth camera assembly
EP3282285B1 (en) Multiple emitter illumination source for depth information determination
US10462451B1 (en) Asymmetric structured light source
EP3445049B1 (en) Camera assembly with programmable diffractive optical element for depth sensing
US10685453B1 (en) Folded laser emitters for structured light applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC