CN109644264B - 用于深度映射的阵列检测器 - Google Patents

用于深度映射的阵列检测器 Download PDF

Info

Publication number
CN109644264B
CN109644264B CN201780051832.8A CN201780051832A CN109644264B CN 109644264 B CN109644264 B CN 109644264B CN 201780051832 A CN201780051832 A CN 201780051832A CN 109644264 B CN109644264 B CN 109644264B
Authority
CN
China
Prior art keywords
pixels
lens
detector
camera assembly
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780051832.8A
Other languages
English (en)
Other versions
CN109644264A (zh
Inventor
尼古拉斯·丹尼尔·特瑞尔
伦佐·德·纳尔迪
理查德·A·纽科姆比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN109644264A publication Critical patent/CN109644264A/zh
Application granted granted Critical
Publication of CN109644264B publication Critical patent/CN109644264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

深度相机组件(DCA)捕获描述局部区域中的深度信息的数据。DCA包括阵列检测器、控制器和照明源。阵列检测器包括利用透镜阵列覆盖的检测器。检测器包括多个像素，该多个像素被分成多个不同的像素组。透镜阵列包括多个透镜堆叠并且每个透镜堆叠覆盖不同的像素组。阵列检测器捕获用来自照明源的光照亮的局部区域的一个或多个合成图像。控制器使用一个或多个合成图像确定局部区域中的对象的深度信息。

Description

用于深度映射的阵列检测器
技术领域
本公开内容一般涉及虚拟或增强现实系统，并且更具体地，涉及获得用于确定局部区域的深度信息的信息的阵列检测器。
背景技术
虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统可以在三维(3D)中平衡围绕用户的环境的捕获。然而，传统的深度相机成像体系结构在尺寸上相对大、沉重，并且消耗巨大功率量。用于获得场景的3D信息的示例性深度相机成像体系结构包括例如立体视觉、飞行时间(ToF)和结构化光(SL)。不同的深度相机成像体系结构提供不同的优点和弱点，因此某些深度相机成像体系结构可以在不同操作条件下提供比其他体系结构更好的性能。例如，立体视觉体系结构利用环境照明操作良好，同时可以通过来自环境照明的信噪比中的限制削弱具有有源照明源的ToF体系结构。然而，因为传统的深度相机成像体系结构的相对大的尺寸，包括深度相机的许多系统通常使用配置用于具体使用情况的单个类型的深度相机成像体系结构。因为头戴式系统在变化的操作条件和环境中越来越多地用于执行更广泛的功能，因此选择单个深度相机成像体系结构以获得围绕头戴式系统的区域的深度信息并且用户可以利用头戴式系统削弱用户体验。此外，因为HMD在室内和室外使用这两者中变得更普遍，因此操作环境的动态可以在捕获的数据质量中受益于更高程度的可靠性和弹性。
发明内容
一种深度相机组件(DCA)，捕获描述围绕例如包括该DCA的头戴式显示器(HMD)的局部区域中的深度信息的数据。DCA包括阵列检测器、控制器和照明源。阵列检测器包括检测器并且检测器的一部分利用透镜阵列覆盖。检测器包括多个像素，该多个像素被分成多个不同的像素组。透镜阵列包括多个透镜堆叠并且每个透镜堆叠覆盖不同的像素组。阵列检测器捕获用来自照明源的光照亮的局部区域的一个或多个合成图像。控制器使用一个或多个合成图像确定局部区域中的对象的深度信息。在实施方式中，其中，DCA是HMD的一部分，电子显示元件部分基于深度信息显示虚拟对象。并且，光学块将光从电子显示元件引导至HMD的出射光瞳。
透镜堆叠是将来自局部区域的光聚焦在活动区域的对应部分上的一个或多个光学元件。每个透镜堆叠可以与透镜阵列中的其他透镜堆叠相同或不同。例如，透镜堆叠的一个或多个光学元件可以是变化的，使得焦距、f数、孔径、透射波长、偏振度等中的一个或多个在相同的透镜阵列中的透镜堆叠之间可以不同。每个透镜堆叠覆盖与各个像素组对应的检测器的活动区域的不同部分，以形成相机单元。因此，单个检测器和多个透镜堆叠创建多个相机单元。来自检测器的输出包括来自一起形成局部区域的合成图像的每一个相机单元的内容。可以由例如控制器和/或虚拟现实控制台使用合成图像，以便经由包括例如立体视觉、光度立体、结构化光(SL)、飞行时间(ToF)以及它们的某种组合的各种技术确定用于局部区域的深度信息。
根据本发明的实施方式具体公开在针对系统的所附权利要求中，其中，在一个权利要求类别(例如，系统)中提到的任何特征也可以在另一个权利要求类别(例如，方法)中要求保护。仅由于形式的原因而选择所附权利要求中的从属权利要求或后向引用。然而，也可以要求保护特意后向引用对任何上述权利要求(具体地，多个从属权利要求)导致的任何主题内容，以便权利要求及其特征的任何组合被公开并且可以要求被保护而不管在所附权利要求中选择的从属权利要求。可以要求保护的主题内容不仅包括所附权利要求中阐述的特征的组合，而且包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中描述或描绘的任何实施方式和特征可以在单独的权利要求中和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求被保护。
在根据本发明的实施方式中，深度相机组件(DCA)可以包括：
照明源，被配置为将光投射到局部区域中；
包括检测器的阵列检测器，该检测器包括用包括多个透镜堆叠的透镜阵列覆盖的多个像素，该多个像素被分成不同的像素组并且每个透镜堆叠覆盖不同的像素组，该阵列检测器被配置为捕获用来自照明源的光照亮的局部区域的一个或多个合成图像；以及
控制器，被配置为使用一个或多个合成图像确定局部区域中的对象的深度信息。
DCA可以是头戴式显示器(HMD)的一部分，该头戴式显示器包括：
电子显示元件，被配置为部分基于深度信息显示虚拟对象；以及
光学块，被配置为将光从电子显示元件引导至HMD的出射光瞳。
控制器还可以被配置为：
使用一个或多个合成图像以及从由立体视觉、飞行时间、光度立体、结构化光以及它们的某种组合组成的组中选择的深度测量技术确定深度信息。
每个像素组可以包括相同数量的像素。
至少一个像素组可以具有与多个像素的另一像素组不同数量的像素。
透镜阵列可以包括四个透镜堆叠，并且每个对应的像素组可以具有相同数量的像素。
多个透镜堆叠中的一透镜堆叠可以包括从由透镜、衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。
透镜阵列中的至少一个透镜堆叠可以包括至少一个与透镜阵列中的另一透镜堆叠不同的光学元件。
透镜阵列中的每个透镜堆叠可以包括相同的一个或多个光学元件。
在根据本发明的实施方式中，深度相机组件(DCA)可以包括：
照明源，被配置为将光投射到局部区域中；
包括检测器的阵列检测器，该检测器包括用包括多个透镜堆叠的透镜阵列覆盖的多个像素，该多个像素被分成不同的像素组并且每个透镜堆叠覆盖不同的像素组，该阵列检测器被配置为捕获用来自照明源的光照亮的局部区域的一个或多个合成图像；以及
控制器，被配置为将一个或多个合成图像提供至虚拟现实(VR)控制台，其中，VR控制台被配置为部分基于一个或多个合成图像确定深度信息并且部分基于深度信息生成虚拟对象。
每个像素组可以包括相同数量的像素。
至少一个像素组可以具有与多个像素的另一像素组不同数量的像素。
透镜阵列可以包括四个透镜堆叠，并且每个对应的像素组可以具有相同数量的像素。
多个透镜堆叠中的一透镜堆叠可以包括从由衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。
透镜阵列中的至少一个透镜堆叠可以包括至少一个与透镜阵列中的另一透镜堆叠不同的光学元件。
在根据本发明的实施方式中，深度相机组件(DCA)可以包括：
照明源，被配置为将光投射到局部区域中；
包括检测器的阵列检测器，该检测器包括用包括多个透镜堆叠的透镜阵列覆盖的多个像素，该多个像素被分成不同的像素组并且每个透镜堆叠覆盖不同的像素组，该阵列检测器被配置为捕获用来自照明源的光照亮的局部区域的一个或多个合成图像；以及
控制器，被配置为使用一个或多个合成图像确定局部区域中的对象的深度信息；和/或
控制器，被配置为将一个或多个合成图像提供至虚拟现实(VR)控制台，其中，VR控制台被配置为部分基于一个或多个合成图像确定深度信息并且部分基于深度信息生成虚拟对象。
在根据本发明的实施方式中，深度相机组件(DCA)可以包括：
照明源，将光投射到局部区域中；
阵列检测器，包括：
第一检测器，包括第一组像素；
第二检测器，位于邻近于第一检测器，第二检测器包括第二组像素，
透镜阵列，包括第一透镜堆叠和第二透镜堆叠，第一透镜堆叠覆盖第一组像素，并且第二透镜堆叠覆盖第二组像素，并且
其中，由第一检测器在特定时间范围内捕获的局部区域的图像以及由第二检测器在该特定时间范围内捕获的局部区域的图像一起组成合成图像；以及
控制器，被配置为使用合成图像确定局部区域中的对象的深度信息。
第一组像素和第二组像素可以包括相同数量的像素。
第一组像素可以与第二组像素具有不同数量的像素。
第一透镜堆叠和第二透镜堆叠可以包括从由衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。
第一透镜堆叠可以包括至少一个与第二透镜堆叠不同的光学元件。
控制器还可以被配置为：
使用合成图像以及从由立体视觉、飞行时间、光度立体、结构化光以及它们的某种组合组成的组中选择的深度测量技术确定深度信息。
附图说明
图1是根据实施方式的包括虚拟现实系统的系统环境的框图。
图2是根据实施方式的头戴式显示器的图。
图3是根据实施方式的包括深度相机组件的头戴式显示器的前刚体的截面。
图4是根据实施方式的深度相机组件的阵列检测器的俯视图。
附图仅为了说明的目的描述了本公开的实施方式。本领域技术人员从下列描述中容易认识到，在不背离本文中描述的本公开的原理或推崇的益处的情况下，可以采用本文中示出的结构和方法的替代实施方式。
具体实施方式
系统概述
图1是VR控制台110在其中运行的虚拟现实(VR)系统环境100的一个实施方式的框图。尽管图1为了说明的目的示出了VR系统环境，但是在各种实施方式中，本文中描述的部件和功能还可以包括在增强现实(AR)系统或混合现实(MR)系统中。如本文中使用的，VR系统环境100还可以包括利用用户可以交互的虚拟环境来呈现用户的虚拟现实系统环境。由图1示出的VR系统环境100包括头戴式显示器(HMD)105和耦接至VR控制台110的VR输入/输出(I/O)界面115。尽管图1示出包括一个HMD 105和一个VR I/O界面115的示例性系统100，但是在其他实施方式中，在VR系统环境100中可以包括任何数量的这些部件。例如，可以存在各自具有相关联的VR I/O界面115的多个HMD 105，其中，每个HMD 105和VR I/O界面115与VR控制台110通信。在替代配置中，VR系统环境100中可以包括不同的和/或附加部件。此外，在一些实施方式中，可以与结合图1描述的不同方式在部件中分配结合图1中示出的一个或多个部件描述的功能。例如，由HMD 105提供VR控制台110的一些或者所有功能。
HMD 105是利用计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)将包括物理、真实世界环境的增强视图的内容呈现给用户的头戴式显示器。在一些实施方式中，所呈现的内容包括经由从HMD 105、VR控制台110、或这两者接收音频信息并且基于音频信息呈现音频数据的外部设备(例如，扬声器和/或听筒)呈现的音频。HMD 105可以包括一个或多个刚体，刚体可刚性地或非刚性地彼此耦接在一起。刚体之间的刚性耦接使耦接的刚体充当单个刚性实体。相反，刚体之间的非刚性耦接允许刚体相对彼此移动。
HMD 105包括深度相机组件(DCA)120、电子显示器125、光学块130、一个或多个位置传感器135以及惯性测量单元(IMU)140。HMD 105的一些实施方式具有与结合图1描述的那些不同的部件。此外，在其他实施方式中由结合图1描述的各种部件提供的功能可以被不同地分配在HMD 105的部件中，或者在远离HMD 105的单独组件中被捕获。
DCA 120捕获描述围绕HMD 105的区域的深度信息的数据。描述深度信息的数据可以与用于确定深度信息的以下技术：立体视觉、光度立体、结构化光(SL)和飞行时间(ToF)中的一个或组合相关联。DCA 120可以使用数据计算深度信息，或者DCA 120可以将该信息发送至诸如VR控制台110的另一设备，该VR控制台110可以使用来自DCA 120的数据确定深度信息。
在一个实施方式中，DCA 120包括照明源、阵列检测器和控制器。照明源将光发射到围绕HMD的区域上。阵列检测器捕获环境光以及来自照明源的从该区域中的对象反射的光。阵列检测器包括将阵列检测器的活动区域划分为多个区域的透镜阵列(例如，该透镜阵列可以包括4个分开的透镜堆叠)，并且每个区域提供局部区域的不同视点。阵列检测器被配置为提供有关局部区域的多个视图的数据，以用于更好地提取深度信息。控制器协调照明源如何发光以及阵列检测器如何捕获光。以下关于图3论述关于DCA 120的操作的补充细节。
电子显示器125根据从VR控制台110接收的数据将2D或3D图像显示给用户。在各种实施方式中，电子显示器125包括单个电子显示器或多个电子显示器(例如，用于用户的每个眼睛的显示器)。电子显示器125的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器或者其某种组合。
光学块130放大从电子显示器125接收的图像光，校正与图像光相关联的光学误差，并且将校正的图像光呈现给HMD 105的用户。在各种实施方式中，光学块130包括一个或多个光学元件。在光学块130中包括的示例性光学元件包括：孔、菲涅尔透镜、凸透镜、凹透镜、滤波器、反射面、或者影响图像光的任何其他合适的光学元件。此外，光学块130可包括不同光学元件的组合。在一些实施方式中，光学块130中的一个或多个光学元件可以具有一个或多个涂层，诸如，部分反射或者抗反射涂层。
通过光学块130放大和聚焦图像光以允许电子显示器125与较大的显示器相比在物理上更小、重量更轻、并且消耗更少的功率。此外，放大可以增加由电子显示器125呈现的内容的视野。例如，所显示的内容的视野使得使用几乎全部(例如，约110度对角线)的用户的视野并且在一些情况下是使用全部的用户的视野来呈现所显示的内容。此外，在一些实施方式中，可以通过添加或移除光学元件来调节放大量。
在一些实施方式中，光学块130可以被设计成校正一种或多种类型的光学误差。光学误差的示例包括桶形失真或枕形失真、纵向色差或横向色差。其他类型的光学误差还可以包括球面像差、色像差、或者由于透镜场曲率、像散导致的误差、或者任何其他类型的光学误差。在一些实施方式中，提供给用于显示的电子显示器125的内容是预失真的，并且当光学块130从基于内容生成的电子显示器125接收图像光时，该光学块130校正失真。
IMU 140是基于从一个或多个位置传感器135接收的测量信号以及根据从DCA 120接收的深度信息生成表示HMD 105的位置的数据的电子设备。位置传感器135响应于HMD105的运动生成一个或多个测量信号。位置传感器135的示例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU 140的误差校正的一类传感器或者其某种组合。位置传感器135可以位于IMU 140的外部、IMU 140的内部、或其某种组合。
基于来自一个或多个位置传感器135的一个或多个测量信号，IMU140生成指示相对于HMD 105的初始位置的HMD 105的估计的当前位置的数据。例如，位置传感器135包括测量平移运动(前/后、上/下、左/右)的多个加速计和测量旋转运动(例如，倾斜、偏转、滚动)的多个陀螺仪。在一些实施方式中，IMU 140对测量信号进行快速采样并且根据采样数据计算HMD 105的估计的当前位置。例如，IMU 140将从加速计接收的测量信号随时间积分以估计速度矢量并且将速度矢量随时间积分以确定HMD 105上的参考点的估计的当前位置。可替换地，IMU 140将采样的测量信号提供至VR控制台110，这将解释数据以减少误差。参考点是可以用于描述HMD 105的位置的点。参考点一般可以定义为与HMD 105的方位和位置相关的空间中的点或位置。
IMU 140从VR控制台110接收一个或多个参数。如以下进一步讨论的，一个或多个参数用于保持对HMD 105的跟踪。基于所接收的参数，IMU 140可以调节一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些参数使IMU 140更新参考点的初始位置，使得其对应于参考点的下一个位置。更新参考点的初始位置作为参考点的下一个校准位置有助于减少与所估计的IMU 140的当前位置相关联的累积误差。累积误差(也称为漂移误差)使参考点的估计位置随时间“漂移”远离参考点的实际位置。在HMD 105的一些实施方式中，IMU140可以是专用硬件部件。在其他实施方式中，IMU 140可以是在一个或多个处理器中实现的软件部件。
VR I/O界面115是允许用户发送动作请求并且从VR控制台110接收响应的设备。动作请求是执行具体动作的请求。例如，动作请求可以是开始或结束图像或视频数据的指令，或者是在应用程序内执行特定动作的指令。VR I/O界面115可以包括一个或多个输入设备。示例性输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将动作请求传送至VR控制台110的任何其他合适的设备。由VR I/O界面115接收的动作请求被传送至VR控制台110，VR控制台执行与动作请求对应的动作。在一些实施方式中，VR I/O界面115包括IMU140，如以下进一步描述的，该IMU140捕获指示相对于VR I/O界面115的初始位置的VR I/O界面115的估计位置的校准数据。在一些实施方式中，VR I/O界面115可以根据从VR控制台110接收的指令将触觉反馈提供给用户。例如，当接收动作请求时提供触觉反馈，或者VR控制台110将指令传送至VR I/O界面115使得当VR控制台110执行动作时VR I/O界面115生成触觉反馈。
VR控制台110根据从DCA 120、HMD 105和VR I/O界面115中的一个或多个接收的信息，将内容提供给HMD 105以用于处理。在图1示出的示例中，VR控制台110包括应用存储器150、跟踪模块155和VR引擎145。VR控制台110的一些实施方式具有与结合图1描述的那些不同的模块或部件。类似地，可以以与结合图1描述的不同方式在VR控制台110的部件中分配下面进一步描述的功能。
应用存储器150存储由VR控制台110执行的一个或多个应用程序。应用程序是一组指令，该组指令在由处理器执行时生成用于呈现给用户的内容。由应用程序生成的内容可以响应于经由HMD 105或VR I/O界面115的移动而从用户接收的输入。应用程序的示例包括：游戏应用程序、会议应用程序、视频播放应用程序、或其他合适的应用程序。
跟踪模块155使用一个或多个校准参数校准VR系统环境100并且可以调整一个或多个校准参数以减少确定HMD 105或者VR I/O界面115的位置的误差。例如，跟踪模块155将校准参数传送至DCA 120以调整DCA120的焦点以更精确地确定由DCA 120捕获的SL元素的位置。由跟踪模块155执行的校准还考虑从HMD 105中的IMU 140和/或包括在VR I/O界面115中的IMU 140接收的信息。此外，如果HMD 105的跟踪丢失(例如，DCA 120失去至少阈值数量的SL元素的视线)，则跟踪模块140可以重新校准VR系统环境100中的一些或全部。
跟踪模块155使用来自DCA 120、一个或多个位置传感器135、IMU140或者其某种组合的信息来跟踪HMD 105或VR I/O界面115的移动。例如，跟踪模块155基于来自HMD 105的信息确定在局部区域的映射中的HMD 105的参考点的位置。跟踪模块155还可以分别使用来自IMU 140的指示HMD 105的位置的数据或者使用来自包括在VR I/O界面115中的IMU 140的指示VR I/O界面115的位置的数据来确定HMD 105的参考点的位置或VR I/O界面115的参考点的位置。此外，在一些实施方式中，跟踪模块155可以使用来自IMU 140的指示HMD 105的位置的数据的部分以及来自DCA 120的局部区域的表示以预测HMD 105的未来位置。跟踪模块155将HMD 105或VR I/O界面115的估计的或预测的未来位置提供至VR引擎145。
VR引擎145基于从HMD 105接收的信息生成围绕HMD 105的区域(即，“局部区域”)的3D映射。在一些实施方式中，VR引擎145基于从DCA 120接收的与计算深度中使用的技术相关的信息确定用于局部区域的3D映射的深度信息。VR引擎145可以使用计算深度中的一个或多个技术(例如，立体视觉、光度立体、SL、ToF或者其某种组合)计算深度信息。在各种实施方式中，VR引擎145使用由DCA 120确定的不同类型的信息或者由DCA 120确定的类型的信息的组合。
VR引擎145也执行VR系统环境100内的应用程序并且从跟踪模块155接收HMD 105的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于所接收的信息，VR引擎145确定将内容提供给HMD105以呈现给用户。例如，如果所接收的信息指示用户看向左边，则VR引擎145生成用于在虚拟环境中或者在利用额外内容增强局部区域的环境中反映用户的移动的HMD 105的内容。此外，VR引擎145响应于从VR I/O界面115接收的动作请求在VR控制台110上执行的应用程序内执行动作并且将该动作被执行的反馈提供至用户。所提供的反馈可以是经由HMD 105的视觉反馈或听觉反馈或者经由VR I/O界面115的触觉反馈。
图2是HMD 200的一个实施方式的线示图。HMD 200是HMD 105的实施方式，并且包括前刚体205、带子210、参考点215、左侧220A、顶侧220B、右侧220C、底侧220D和前侧220E。图2中示出的HMD 200还包括深度相机组件(DCA)120的实施方式并且描述成像孔225和照明孔230。DCA 120的一些实施方式包括阵列检测器和照明源。照明源通过照明孔230发光。阵列检测器通过成像孔225捕获来自照明源的光以及局部区域中的环境光。前刚体205包括电子显示器125(未示出)的一个或多个电子显示元件、IMU 130、一个或多个位置传感器135和参考点215。
图3是根据实施方式的HMD 305的截面300。在一些实施方式中，HMD 305是HMD 105的实施方式。在其他实施方式中，它是一些其他HMD的一部分。前刚体307包括深度相机组件(DCA)120、电子显示器125和光学块130。HMD 305的一些实施方式具有与本文中描述的那些部件不同的部件。类似地，在一些情况下，可以以与本文描述的不同的方式在部件中分配功能。前刚体307还包括其中用户的眼睛309将位于的出射光瞳308。为了说明的目的，图3示出根据单个眼睛309的前刚体307的截面。尽管图3描绘眼睛309的中心截面在与DCA 120相同的平面中，但是眼睛309的中心截面和DCA 120不必在相同平面上。此外，与图3中示出的那些分开的另一电子显示器125和光学块130可以包括在前刚体307中以将诸如局部区域310的增强表示的内容或者虚拟内容呈现给用户的另一只眼睛。
深度相机组件(DCA)120包括照明源320、阵列检测器325和控制器330。在替代实施方式中，DCA 120不包括照明源320，并且依赖于局部区域310上的环境光以用于数据。
照明源320利用光照亮局部区域310。照明源320包括将光发射到局部区域310上的一个或多个发射器。局部区域310是围绕HMD 105的区域并且包括阵列检测器325的视野中的对象。照明源320的一个或多个发射器可以发射相同光谱的光，或者每个发射器可以发射不同光谱或者特定范围的波长的光(即，光的“频带”)。由照明源320发射的光的示例性频带包括：可见频带(～380nm至750nm)、红外线(IR)频带(～750nm至2,200nm)、紫外线频带(100nm至380nm)、电磁光谱的另一部分、或者其某种组合。照明源320可以利用诸如对称的或准随机的光点图形、网格或水平条等指定模式发射SL。在2016年8月9日提交的美国申请第15/232,073号中进一步描述了具有多个发射器并且集成到HMD中的照明源的实施方式，其全部内容通过引证结合于本文中。
阵列检测器325捕获局部区域310的图像。阵列检测器325包括检测器340和透镜堆叠350。检测器340由单个传感器构成，然而，在替代实施方式中由两个或更多个传感器构成。在一些实施方式中，检测器340是单个传感器并且该系统可以平衡像素组之间的内在平版和半导体制造精度。此外，检测器340可以利用数量级为毫米的总尺寸安装在一般的整体式机架上，这有助于减少系统对环境影响(例如，由于温度、振动和冲击在校准中引入误差)的灵敏度。
检测器340可以捕获和记录具体频带的光或者特定偏振度的光。例如，检测器340可以捕获包括可见频带和红外频带中的光的图像。检测器340可以捕获包括特定偏振度的光(例如，圆偏振光、线偏振光)的图像。
检测器340由活跃区和非活跃区构成。检测器340的活跃区是检测器的包括多个像素的对光做出响应的区域。入射在检测器340的活跃区中的像素上的光可以有助于由检测器340测量的光。检测器340的非活跃区不对光做出响应。入射在检测器340的非活跃区上的光不会有助于由检测器340测量的光。例如，检测器340可以包括像素之间或者多个像素的边缘处的区域，这不会有助于由检测器340测量的光。
在一个实施方式中，检测器340是由多个像素组成的单个传感器。多个像素被分成两个或更多个不同的像素组。每个像素组可以具有相同数量的像素或者不同数量的像素。在一些实施方式中，像素组可以是相同的大小。例如，检测器340可以具有2000×2000个像素，并且被分成各自为1000×1000个像素的4个不同的像素组。在其他实施方式中，一个或多个像素组具有不同的大小(例如，继续以上示例，检测器可以分成10个不同的像素组，这些像素组可以包括两个1000×1000个像素，以及八个500×500个像素)。
透镜阵列350由多个透镜堆叠构成。透镜堆叠由一个或多个光学元件构成。透镜堆叠可以包括例如一个或多个透镜、反射面、衍射元件、波长滤波器、偏振器、孔或者其某种组合。透镜堆叠中的光学元件可以针对透镜堆叠的特定焦距、f数、孔径、透射波长、透射的偏振度被配置。例如，透镜堆叠可以包括过滤特定偏振度的光的偏振滤光器、过滤特定频带的光的带通滤光器等。
透镜阵列350中的透镜堆叠可以与透镜阵列350中的其他透镜堆叠相同或不同。每个透镜堆叠覆盖与检测器340的像素组相对应的检测器340的活跃区的不同部分，以便形成相机单元。因为透镜堆叠的光学特性部分由其光学部件确定，因此对应的相机单元还可以具有与阵列检测器325中的其他相机单元不同的属性(例如，焦距、f数、孔径、波长、偏振态等)。阵列检测器325的每个相机单元可以记录局部区域310的图像。每个相机单元可以具有部分重叠且部分不同的视野覆盖，以便允许具有多个视图的视野的区域以及方法这两者增强被覆盖的一切有用的视野。以此方式，由一个或多个相机单元重叠的视野的区域可以允许较高的数据密度并且利用用于检索深度信息的立体法，并且每个相机单元独有的视野区域可以利用稀疏采样方法和/或依赖用于检索深度的非对称的相机技术(例如，SL和ToF)。以此方式，可以增加认为是“较高优先级”的视野的部分的数据密度，同时还考虑一切视野覆盖。可以使用来自单个相机单元的图像构成局部区域310的一个或多个合成图像。合成图像是包括来自不同的相机单元的信息的单个图像。
控制器330被配置为使用一个或多个合成图像确定用于局部区域310中的对象的深度信息。控制器330控制光如何从照明源320发射以及阵列检测器325如何捕获光。例如，控制器330可以指示照明源320中的一个或多个发射器发射光。以此方式，控制器330可以控制照明源320的定时。控制器330还可以控制何时从阵列检测器的一个或多个相机单元收集数据的定时。因此，控制器330可以利用由照明源320的光发射或者通过环境源协调阵列检测器325的一个或多个相机单元的数据的捕获。
控制器330被配置为部分基于用于捕获深度信息采用的技术来捕获深度信息。例如，可以通过使用以下技术：立体视觉、光度立体、SL和ToF中的一个或组合来确定深度信息。
控制器还可以使DCA 120使用立体视觉技术捕获深度信息。在一个实施方式中，控制器330控制来自阵列检测器325的两个或更多个相机单元以捕获局部区域310反射的光。因为阵列检测器325的相机单元位于彼此相隔的固定距离，因此可以使用两个或更多个相机单元提取深度信息。每个相机单元收集从局部区域310(例如，局部区域310中的一个或多个对象)反射的光。在替代实施方式中，控制器330利用来自阵列检测器325的两个或更多个相机单元的光的收集协调来自照明源320的光的发射。可以比较由控制器330收集的包含来自不同的有利位置的数据的数据以确定深度信息。
控制器330还可以使DCA 120使用光度立体技术捕获深度信息。在一个实施方式中，控制器330利用来自阵列检测器325的一个或多个相机单元的光的收集协调来自照明源320的两个或更多个发射器的光的发射。可以使用由控制器330收集的包括具有不同的照明条件的数据的数据来确定局部区域310中的对象的深度。
控制器330还可以使DCA 120使用SL技术捕获深度信息。在一个实施方式中，控制器330控制照明源320利用特定模式将SL发射到局部区域310上。控制器330利用来自阵列检测器325中的一个或多个相机单元的光的收集协调来自照明源320的SL的发射。可以使用由控制器330收集的包括SL信息的数据来确定局部区域310中的对象的深度。
控制器330还可以使DCA 120使用ToF技术捕获深度信息。在一个实施方式中，控制器330控制光何时从照明源320发射，并且测量从局部区域310反射且由阵列检测器325的一个或多个相机检测到的发射光所花费的时间(时间相位)。可以使用由控制器330收集的包括ToF信息的数据来确定局部区域310中的对象的深度。
控制器330还可以使DCA 120利用SL信息同时或者几乎同时捕获ToF信息。控制器330利用具有特定频率(诸如，10MHz)的载波信号调制发射SL的照明源320，以捕获ToF信息以及SL信息。在各种实施方式中，控制器330在相对彼此不同的时间处激活阵列检测器325的不同的相机单元以捕获由照明源320发射的载波信号调制的SL的不同的时间相位。例如，在不同时间处激活相机单元使得相邻的相机单元捕获相对彼此具有约90、180或270度的相位偏移的光。控制器330收集来自单个相机单元的可以用于得出用于ToF信息的载波信号的相位的数据。可以使用由控制器330收集的包括SL和ToF信息这两者的数据来确定局部区域310中的对象的深度。
图4示出了根据实施方式的图3的阵列检测器325的俯视图。透镜堆叠350是2×2阵列的四个透镜堆叠(具体地，透镜堆叠410、透镜堆叠420、透镜堆叠430和透镜堆叠440)。相邻的透镜堆叠具有大约为2至20毫米的中心间距。例如，在图4中透镜堆叠410和透镜堆叠420具有中心间距450。在该实施方式中，每个透镜堆叠大致覆盖检测器340的四分之一区域，该区域被分成相同数量的像素的2×2阵列的像素组：A、B、C和D。例如，如果阵列检测器325具有2000×2000个像素，则每个像素组是1000×1000个像素。每个像素组利用关联的透镜堆叠覆盖。例如，像素组A利用透镜堆叠410覆盖，像素组B利用透镜堆叠420覆盖，像素组C利用透镜堆叠430覆盖，并且像素组D利用透镜堆叠440覆盖。
在一个实施方式中，像素组具有大致相同的视野覆盖，并且因此可以生成相同的局部区域的四个视图。由于2至20mm的透镜堆叠间距，四个视图与基线中的微小偏移有效地相关。由于存在相同场景、照明和时间的多个相关视图，因此可以改善任何单个的图像捕获。
附加配置信息
本公开的实施方式的上述描述出于说明的目的而呈现；不旨在穷尽或者将本公开局限于所公开的确切形式。相关领域的技术人员可以理解，根据上述公开，可以进行许多修改和变化。
本说明书的一些部分从关于信息的运算的算法和符号表示的角度描述本公开的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以将他们的工作实质有效地传达给本领域的其他技术人员。当被描述为功能性的、计算性的或逻辑性的时，这些运算被理解为由计算机程序或等同电路、微码等实现。此外，有时把这些运算的安排称为模块也是方便的，而不失其一般性。所描述的运算及其关联模块可以体现在软件、固件、硬件或其任意组合中。
本文中描述的任何步骤、操作或过程可以利用一个或多个硬件或软件模块单独或与其他设备组合执行或实现。在一个实施方式中，软件模块利用计算机程序产品实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可以由用于执行描述的任何或所有步骤、操作或过程的计算机处理器执行。
本公开的实施方式还可以涉及用于执行本文中的操作的装置。出于需要的目的，可以特别构造该装置，和/或该装置可以包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算设备。这种计算机程序可以被存储在非易失性的、有形的计算机可读存储介质中或者适用于存储电子指令的可以耦接至计算机系统总线的任何类型的介质中。此外，本说明书中所提及的任何计算系统可以包括单个处理器或者可以是采用多处理器设计以增强计算能力的体系结构。
本公开的实施方式还可以涉及由本文中所描述的计算过程产生的产品。这种产品可以包括从计算过程中得到的信息，其中，该信息存储在非易失性的、有形的计算机可读存储介质中并且可以包括本文中描述的计算机程序产品或其他数据组合的任何实施方式。
最后，主要出于可读性和指导性的目的选择本说明书中使用的语言，并且选择其不是为了划定或者限制发明的主题。因此，本公开的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此，实施方式的公开旨在用于说明而非限制在所附权利要求中阐述的本公开的范围。

Claims (19)

1.一种深度相机组件，包括：
照明源，被配置为将光投射到局部区域中，其中，所投射的光包括利用载波信号调制的结构化红外光；
包括检测器的阵列检测器，所述检测器包括用包括多个透镜堆叠的透镜阵列覆盖的多个像素，所述多个像素被分成不同的像素组并且每个透镜堆叠覆盖不同的像素组，其中，至少两个不同的透镜堆叠被配置为透射红外光，所述阵列检测器被配置为捕获用来自所述照明源的所述光照亮的所述局部区域的一个或多个合成图像，每个合成图像是从所述检测器捕获的单一图像，所述单一图像包括多个图像，并且从由对应的透镜堆叠覆盖的对应的像素组捕获所述多个图像中的每个图像；以及
控制器，被配置为：
部分基于所述多个图像得出所述载波信号的相位；以及
通过以下方式确定所述局部区域中的对象的深度信息：(i)部分基于所得出的所述载波信号的相位，将飞行时间第一深度测量技术应用于所述一个或多个合成图像，以及(ii)将结构化光第二深度测量技术应用于所述一个或多个合成图像。
2.根据权利要求1所述的深度相机组件，其中，所述深度相机组件是头戴式显示器的一部分，所述头戴式显示器包括：
电子显示元件，被配置为部分基于所述深度信息显示虚拟对象；以及
光学块，被配置为将光从所述电子显示元件引导至所述头戴式显示器的出射光瞳。
3.根据权利要求1所述的深度相机组件，其中，每个像素组包括相同数量的像素。
4.根据权利要求1所述的深度相机组件，其中，至少一个像素组与所述多个像素中的另一像素组具有不同数量的像素。
5.根据权利要求1所述的深度相机组件，其中，所述透镜阵列包括四个透镜堆叠，并且每个对应的像素组具有相同数量的像素。
6.根据权利要求1所述的深度相机组件，其中，多个所述透镜堆叠中的一透镜堆叠包括从由透镜、衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。
7.根据权利要求6所述的深度相机组件，其中，所述透镜阵列中的至少一个所述透镜堆叠包括至少一个与所述透镜阵列中的另一透镜堆叠不同的光学元件。
8.根据权利要求7所述的深度相机组件，其中，所述透镜阵列中的每个透镜堆叠包括相同的一个或多个光学元件。
9.一种深度相机组件，包括：
照明源，被配置为将光投射到局部区域中，其中，所投射的光包括利用载波信号调制的结构化红外光；
包括检测器的阵列检测器，所述检测器包括用包括多个透镜堆叠的透镜阵列覆盖的多个像素，所述多个像素被分成不同的像素组并且每个透镜堆叠覆盖不同的像素组，其中，至少两个不同的透镜堆叠被配置为透射红外光，所述阵列检测器被配置为捕获用来自所述照明源的所述光照亮的所述局部区域的一个或多个合成图像，每个合成图像是从所述检测器捕获的单一图像，所述单一图像包括多个图像，并且从由对应的透镜堆叠覆盖的对应的像素组捕获所述多个图像中的每个图像；以及
控制器，被配置为将所述一个或多个合成图像提供至虚拟现实控制台，其中，所述虚拟现实控制台被配置为部分基于所述多个图像得出所述载波信号的相位，以及通过以下方式确定深度信息：(i)部分基于所得出的所述载波信号的相位，将飞行时间第一深度测量技术应用于所述一个或多个合成图像，以及(ii)将结构化光第二深度测量技术应用于所述一个或多个合成图像，并且部分基于所述深度信息生成虚拟对象。
10.根据权利要求9所述的深度相机组件，其中，每个像素组包括相同数量的像素。
11.根据权利要求9所述的深度相机组件，其中，至少一个像素组与所述多个像素中的另一像素组具有不同数量的像素。
12.根据权利要求9所述的深度相机组件，其中，所述透镜阵列包括四个透镜堆叠，并且每个对应的像素组具有相同数量的像素。
13.根据权利要求9所述的深度相机组件，其中，多个所述透镜堆叠中的一透镜堆叠包括从由衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。
14.根据权利要求13所述的深度相机组件，其中，所述透镜阵列中的至少一个所述透镜堆叠包括至少一个与所述透镜阵列中的另一透镜堆叠不同的光学元件。
15.一种深度相机组件，包括：
照明源，将光投射到局部区域中，其中，所投射的光包括利用载波信号调制的结构化红外光；
阵列检测器，包括：
第一检测器，包括第一组像素；
第二检测器，位于邻近于所述第一检测器，所述第二检测器包括
第二组像素，
透镜阵列，包括第一透镜堆叠和第二透镜堆叠，所述第一透镜堆叠覆盖所述第一组像素，并且所述第二透镜堆叠覆盖所述第二组像素，其中，所述第一透镜堆叠和所述第二透镜堆叠被配置为透射红外光，并且
其中，由所述第一检测器在特定时间范围内捕获的所述局部区域的第一图像以及由所述第二检测器在所述特定时间范围内捕获的所述局部区域的第二图像一起组成合成图像，所述合成图像是从所述第一检测器和所述第二检测器捕获的单一图像；以及
控制器，被配置为部分基于所述第一图像和所述第二图像得出所述载波信号的相位，以及通过以下方式确定所述局部区域中的对象的深度信息：(i)部分基于所得出的所述载波信号的相位，将飞行时间第一深度测量技术应用于所述合成图像，以及(ii)将结构化光第二深度测量技术应用于所述合成图像。
16.根据权利要求15所述的深度相机组件，其中，所述第一组像素和所述第二组像素包括相同数量的像素。
17.根据权利要求15所述的深度相机组件，其中，所述第一组像素与所述第二组像素具有不同数量的像素。
18.根据权利要求15所述的深度相机组件，其中，所述第一透镜堆叠和所述第二透镜堆叠包括从由衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。
19.根据权利要求18所述的深度相机组件，其中，所述第一透镜堆叠包括至少一个与所述第二透镜堆叠不同的光学元件。
CN201780051832.8A 2016-08-25 2017-02-03 用于深度映射的阵列检测器 Active CN109644264B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/247,727 US11102467B2 (en) 2016-08-25 2016-08-25 Array detector for depth mapping
US15/247,727 2016-08-25
PCT/US2017/016551 WO2018038763A1 (en) 2016-08-25 2017-02-03 Array detector for depth mapping

Publications (2)

Publication Number Publication Date
CN109644264A CN109644264A (zh) 2019-04-16
CN109644264B true CN109644264B (zh) 2022-06-21

Family

ID=61244140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780051832.8A Active CN109644264B (zh) 2016-08-25 2017-02-03 用于深度映射的阵列检测器

Country Status (5)

Country Link
US (1) US11102467B2 (zh)
JP (1) JP2019533918A (zh)
KR (1) KR20190075045A (zh)
CN (1) CN109644264B (zh)
WO (1) WO2018038763A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016112826A1 (de) * 2016-07-13 2018-01-18 Jabil Optics Germany GmbH Detektionseinrichtung, HUD und Verfahren zum Betrieb eines HUD
US10192147B2 (en) * 2016-08-30 2019-01-29 Microsoft Technology Licensing, Llc Foreign substance detection in a depth sensing system
US10284836B2 (en) * 2017-02-08 2019-05-07 Microsoft Technology Licensing, Llc Depth camera light leakage avoidance
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
US10495798B1 (en) 2018-08-07 2019-12-03 Facebook Technologies, Llc Switchable reflective circular polarizer in head-mounted display
US10642048B2 (en) 2018-08-07 2020-05-05 Facebook Technologies, Llc Reflective circular polarizer for head-mounted display
CN109669268A (zh) 2019-02-25 2019-04-23 京东方科技集团股份有限公司 虚拟现实镜筒组件和虚拟现实设备
WO2021016839A1 (zh) * 2019-07-30 2021-02-04 深圳市汇顶科技股份有限公司 图像传感器及其制造方法、芯片及手持装置
WO2021025190A1 (ko) * 2019-08-05 2021-02-11 엘지전자 주식회사 전자 디바이스 및 이를 제작하는 방법
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
US11215712B2 (en) 2020-04-27 2022-01-04 Facebook Technologies, Llc Time-to-digital converter for depth sensing
US11656500B2 (en) 2020-06-10 2023-05-23 Meta Platforms Technologies, Llc Switchable multilayer cholesteric liquid crystal reflective polarizer
US11652653B1 (en) * 2022-08-11 2023-05-16 Sandipan Subir Chaudhuri Conferencing between remote participants

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102197639A (zh) * 2008-11-21 2011-09-21 全视科技有限公司 图像传感器的延伸的景深
CN102439979A (zh) * 2009-04-22 2012-05-02 雷特利克斯股份有限公司 数字成像系统，全光照光学设备及图像数据处理方法
CN104469147A (zh) * 2014-11-20 2015-03-25 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
WO2015074078A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
CN104935790A (zh) * 2014-03-20 2015-09-23 株式会社东芝 成像系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006026354A2 (en) * 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
WO2007035720A2 (en) * 2005-09-20 2007-03-29 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
WO2009125577A1 (ja) 2008-04-10 2009-10-15 パナソニック株式会社 撮像装置、撮像システムおよび撮像方法
KR101590767B1 (ko) * 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130194389A1 (en) 2012-01-31 2013-08-01 Ben Vaught Head-mounted display device to measure attentiveness
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US8970827B2 (en) * 2012-09-24 2015-03-03 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9395543B2 (en) 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US9398287B2 (en) 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
JP2015125641A (ja) 2013-12-26 2015-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
US9754415B2 (en) 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation
EP4206870A1 (en) 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
US9904054B2 (en) 2015-01-23 2018-02-27 Oculus Vr, Llc Headset with strain gauge expression recognition system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102197639A (zh) * 2008-11-21 2011-09-21 全视科技有限公司 图像传感器的延伸的景深
CN102439979A (zh) * 2009-04-22 2012-05-02 雷特利克斯股份有限公司 数字成像系统，全光照光学设备及图像数据处理方法
WO2015074078A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
CN104935790A (zh) * 2014-03-20 2015-09-23 株式会社东芝 成像系统
CN104469147A (zh) * 2014-11-20 2015-03-25 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备

Also Published As

Publication number Publication date
JP2019533918A (ja) 2019-11-21
KR20190075045A (ko) 2019-06-28
CN109644264A (zh) 2019-04-16
WO2018038763A1 (en) 2018-03-01
US20180063508A1 (en) 2018-03-01
US11102467B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
CN109644264B (zh) 用于深度映射的阵列检测器
US11920916B1 (en) Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
US10198032B2 (en) Passive locators for a virtual reality headset
US10073517B1 (en) Position tracking system that exploits arbitrary configurations to determine loop closure
US10893260B2 (en) Depth mapping with a head mounted display using stereo cameras and structured light
CN109565585B (zh) 用于深度信息确定的多发射器照明源
KR101949950B1 (ko) 구조화 조명 및 비행 시간을 사용한 깊이 맵핑
US10972715B1 (en) Selective processing or readout of data from one or more imaging sensors included in a depth camera assembly
US11774769B2 (en) Depth measurement using a pulsed structured light projector
US20180063390A1 (en) Spatially tiled structured light projector
US20190072771A1 (en) Depth measurement using multiple pulsed structured light projectors
US10504243B2 (en) Calibration system for a head-mounted display tracking system
US10948283B1 (en) Tileable structured light projection system
US10789777B1 (en) Generating content for presentation by a head mounted display based on data captured by a light field camera positioned on the head mounted display
CN110771145A (zh) 事件摄像机
US10574938B1 (en) Variable frame rate depth camera assembly
EP3282285A1 (en) Multiple emitter illumination source for depth information determination
US10462451B1 (en) Asymmetric structured light source
US10521926B1 (en) Tileable non-planar structured light patterns for wide field-of-view depth sensing
EP3288259A1 (en) Array detector for depth mapping
US10678048B1 (en) Head mounted display with tiled optical assembly
US10685453B1 (en) Folded laser emitters for structured light applications
US10712572B1 (en) Angle sensitive pixel array including a liquid crystal layer
US10572731B1 (en) Infrared transparent backlight device for eye tracking applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder