CN110135232A - 用于增强深度传感器装置的系统和方法 - Google Patents

用于增强深度传感器装置的系统和方法 Download PDF

Info

Publication number
CN110135232A
CN110135232A CN201811633260.7A CN201811633260A CN110135232A CN 110135232 A CN110135232 A CN 110135232A CN 201811633260 A CN201811633260 A CN 201811633260A CN 110135232 A CN110135232 A CN 110135232A
Authority
CN
China
Prior art keywords
scene
optical
image
light
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811633260.7A
Other languages
English (en)
Inventor
马诺杰·比库芒拉
安德鲁·马修·巴尔达居
奇纳·哈泽格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN110135232A publication Critical patent/CN110135232A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Vascular Medicine (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及用于增强深度传感器装置的系统和方法。一种示例性深度成像装置包括：光学传感器，具有光轴；透镜，定位成将来自场景的光聚焦到光学传感器上；可变相位光学元件矩阵，其尺寸被设计成将不同的相位延迟引入到光的波前中；以及壳体，其将矩阵固定在光学传感器和透镜之间。所述装置还包括耦合到处理子系统的通信总线，所述处理子系统引导光学传感器捕捉场景的至少两个不同景象，以创建指示场景内深度的输出图像。所述装置包括将装置的光学部件耦合到壳体的定位系统。所述光学部件可以包括透镜、光学传感器和矩阵中的至少一个。还提供了其他相关系统和方法。

Description

用于增强深度传感器装置的系统和方法
技术领域
本公开涉及用于增强深度传感器装置的系统和方法。
背景技术
成像系统可以在多种应用中使用光学传感器来捕捉图像、视频和表征场景或场景内的对象的其他信息。然而，传统的光学传感器装置和系统可能具有多种限制。例如，从可见光谱中的光捕捉标准图像的传统图像传感器可能不能提供场景的深度信息。相反，传统的飞行时间(ToF)传感器可能具有比其他图像传感器更低的分辨率，至少部分是由于解调反射信号以计算场景内的深度所需的电路。此外，一些传统的高光谱成像系统被设计成以牺牲空间分辨率为代价来提高光谱分辨率。因此，需要改进的成像装置、系统和方法。
发明内容
如下面将更详细地描述的，本公开描述了允许捕捉和使用场景的多个景象以增加深度感测系统的分辨率的系统、装置和方法。例如，光学图像传感器能够生成图像，例如，深度图，所述图像具有沿着图像传感器的光轴的分辨率，即，深度分辨率。所公开的系统、装置和方法可以向普通的图像捕捉相机提供用于生成深度图，并且可以允许获得更高分辨率的深度图。
在一个示例中，深度成像装置可以包括：光学传感器，具有光轴；透镜，被定位成将来自场景的光聚焦到光学传感器上；可变相位光学元件矩阵，其尺寸被设计成将至少两个不同的相位延迟引入到来自场景的光的波前中；以及壳体，可以将矩阵固定在光学传感器和透镜之间。深度成像装置还可以包括通信总线，其耦合到处理系统，所述处理系统可以引导光学传感器捕捉场景的至少两个不同景象，以创建指示场景内深度的输出图像。深度成像装置还可以包括定位系统。所述定位系统可以将深度成像装置的光学部件耦合到壳体。所述光学部件可以包括透镜、光学传感器或矩阵中的至少一个。
在一些实现方式中，定位系统可以包括以下中的至少一个：通道，被配置为容纳光学部件的边缘；粘合剂，将光学部件相对于壳体固定在固定位置；或者定位部件，可操作为将光学部件可移动地定位成至少基本垂直于光轴。处理子系统可以被配置为通过以下方式来执行相位差异化处理的一部分：当光学部件处于第一位置时，捕捉第一图像；致动所述定位部件，以将光学部件从第一位置移动到第二位置；当光学部件处于第二位置时，捕捉第二图像；并且将所述第一图像和所述第二图像组合成具有表征所述场景的至少一部分的深度信息的输出图像。处理子系统还可以被配置成通过由第一图像和第二图像表示的场景的两个不同景象之间的三角测量将第一图像和第二图像组合成输出图像，以提供场景的深度图(深度映射)，作为输出图像。所述深度图可以包括场景的多个部分的深度尺寸值。所述第一和第二图像可以包括场景的深度图像，每个图像具有场景的三维表示。所述输出图像可以包括来自第一图像和第二图像的深度信息。
在一些实现方式中，处理子系统可以被编程为：当光学部件处于第一位置时，捕捉第一图像；致动定位部件，以将光学部件从第一位置移动到第二位置；当光学部件处于第二位置时，捕捉第二图像；生成与第一位置和第二位置之间的图像数据对应的插值像素数据；并且将第一和第二图像与插值像素数据组合成输出图像，所述输出图像可以具有比第一图像或第二图像更高的分辨率。所述可变相位光学元件矩阵可以减小或细分所述光学传感器中包括的每个像素的瞬时视场(iFOV)，以提供更高的角度分辨率。深度成像装置还可以包括光源，该光源被配置为用红外波长范围内的光照射场景，所述红外波长范围被配置为用于深度感测。所述可变相位光学元件矩阵包括衍射光学元件(DOE)，所述衍射光学元件具有特征，所述特征的尺寸被设计成将至少两个不同的相位延迟引入到通过透镜接收的从场景反射的红外波长范围内的光的波前中，以至少部分地光学解调该光。深度成像装置还可以包括微透镜阵列，所述微透镜阵列设置在所述矩阵的顶表面上，以通过所述矩阵聚焦光。所述微透镜阵列的每个微透镜可以相对于存在于所述可变相位光学元件矩阵中的图案被一致地定位。
在另一示例中，深度成像系统可以包括成像装置和光投影仪。成像装置可以包括：光学传感器，具有光轴；透镜，被定位成将来自场景的光聚焦到光学传感器上；可变相位光学元件矩阵，被图案化成将至少两个不同的相位延迟引入到来自场景的光的波前中；以及壳体。所述壳体可以以下配置将矩阵固定在光学传感器和透镜之间，该配置使得光学图像传感器能够捕捉场景的至少两个不同景象，以产生输出图像。投光装置可以包括：光源，发射光；以及透镜，用于向场景引导来自光源的发射光，其中，所述场景反射发射光，以便产生反射光。
在一些实现方式中，深度成像系统还可以包括光学传感器上方的滤光器层，所述滤光器层通过第一波长范围内的红外光。所述光源可以发射第一波长范围的红外光。深度成像系统还可以包括处理子系统，该处理子系统可以被编程为：使光源发射第一波长范围内的调制光信号；捕捉所述至少两个不同景象中的第一景象，作为第一图像；捕捉所述至少两个不同景象中的第二景象，作为第二图像；并且将第一图像和第二图像组合成输出图像，形成场景的三维图像。
在另一示例中，一种用于生成深度图像的方法可以包括：将可变相位光学元件矩阵定位在至少基本垂直于光学传感器的光轴的第一位置；捕捉场景的至少两个不同景象；基于捕捉的场景的至少两个景象，确定场景的深度特征；并且生成场景的输出深度图像。所述输出深度图像可以表示场景的深度特征。矩阵可以设置在光学传感器和透镜之间，所述透镜被定位成将来自场景的光聚焦到光学传感器上。光学传感器可用于捕捉场景的至少两个景象。
在一些实现方式中，该方法还可以包括将所述可变相位光学元件矩阵定位在至少基本垂直于所述光轴的第二位置，使得所述光学传感器被定位成捕捉所述至少两个不同景象中的第二景象。捕捉所述场景的所述至少两个不同景象可以包括：当光学部件处于与第一景象相关联的第一位置时，捕捉第一图像；并且当光学部件处于与第二景象相关联的第二位置时，捕捉第二图像。所述光学部件可以包括透镜、光学传感器或可变相位光学元件矩阵中的至少一个。所述第一图像和所述第二图像可以均包括深度信息，使得所述第一和第二图像可以包括所述场景的三维表示。或者，所述第一图像和所述第二图像并不均包括深度信息，使得所述第一和第二图像可以仅包括所述场景的二维表示。该方法还可以包括将光信号发射到场景中，以从场景反射回透镜，其中，基于所捕捉的场景的至少两个景象确定场景的深度特征可以包括：确定光信号的相位特征，该相位特征包括指示光学传感器和场景的部分之间的距离的相位差。矩阵可以将具有第一相位延迟的一部分光引导到所述光学传感器的第一像素，并将具有第二相位延迟的一部分光引导到所述光学传感器的第二像素。
在一些示例中，上述方法可以被编码为计算机可读介质上的计算机可读指令。例如，计算机可读介质可以包括一个或多个计算机可执行指令，当由计算装置的至少一个处理器执行时，这些指令可以使计算装置：将可变相位光学元件矩阵定位在至少基本垂直于光学传感器的光轴的第一位置；捕捉场景的至少两个不同景象；基于捕捉的场景的至少两个景象，确定场景的深度特征；并且生成场景的输出深度图像。可以通过移动或抖动可变相位光学元件矩阵来提供不同的景象。
任何上述实施例的特征可以根据本文描述的一般原理彼此相结合地使用。通过结合附图和权利要求阅读以下详细描述，将更全面地理解这些和其他实施例、特征和优点。
附图说明
附图示出了几个示例性实施例并且是本说明书的一部分。与以下描述一起，这些附图示出并解释了本公开的各种原理。
图1是根据一些实施例的包括处理子系统、光学传感器装置和输入/输出(I/O)接口的光学传感器系统的方框图；
图2是根据一些实施例的图1的成像装置的截面图；
图3A、图3B、图3C和图3D是根据一些实施例的示例性成像装置的截面图；
图4A、图4B、图4C和图4D是根据一些实施例的可变相位光学元件的示例性矩阵的截面图；
图5A、图5B、图5C和图5D是根据一些实施例的成像装置和用其成像的场景的截面图；
图6A、图6B和图6C示出了根据一些实施例的传统采样视场(FOV)和过采样FOV；
图6D、图6E、图6F和图6G示出了根据一些实施例的与成像系统交互的光的透视图；
图7A和图7B是根据一些实施例的光学解调深度传感器装置的截面图；
图8A示出了根据一些实施例的发射信号和反射信号的基于时间的比较；
图8B示出了根据一些实施例的具有示例性光学采样方案的单位圆；
图9A是根据一些实施例的使用可变相位光学元件矩阵来生成分辨率增强的输出图像的方法的流程图；
图9B是根据一些实施例的使用可变相位光学元件矩阵来生成具有场景的深度特征的输出图像的方法的流程图；
图9C是根据一些实施例的使用可变相位光学元件矩阵来生成相位延迟的入射光信号以用于电相位辨别操作的方法的流程图；
图10是根据一些实施例的图1的成像系统的HMD实现方式的透视图；
图11是根据一些实施例的图10的HMD的前刚体的截面图。
在附图中，相同的附图标记和描述表示类似但不一定相同的元件。尽管本文描述的示例性实施例易于进行各种修改和替换形式，但是在附图中通过示例的方式示出了，并且将在本文中详细描述特定实施例。然而，本文描述的示例性实施例并非旨在限于所公开的特定形式。确切地说，本公开涵盖落入所附权利要求范围内的所有修改、等同物和替代物。
具体实施方式
本公开总体上涉及使用可变相位光学元件矩阵(例如，衍射光学元件(DOE)将相位延迟引入通过透镜接收的光的波前的系统、装置和方法，从而增强光学传感器和捕捉场景的各方面的装置的性能。这些增强可以是关于光如何穿过可变相位光学元件，并且在一些实施例中，还可以是关于移动矩阵或光学装置的另一光学部件(例如，传感器或透镜)。例如，由可变相位光学元件矩阵引入的相位延迟可以使得光学传感器能够捕捉场景的至少两个不同景象，并且本文呈现的系统和装置可以使用不同景象来提供或增加光学装置的输出图像或帧的分辨率(例如，在角度、深度和/或光谱维度上)。
本文公开的装置可以使用可变相位光学元件以各种不同的方式并出于多种不同的目的捕捉场景的不同景象。例如，DOE可以被配置为，当处于初始位置时，将来自场景的光作为干涉图案分散在光学传感器上，光学传感器可以捕捉干涉图案，作为场景的第一景象。DOE可以横向移动到第二位置，使得所得到的干涉图案表示也可以被光学传感器捕捉的场景的另一景象。可以处理这两个景象，以增加角度分辨率(例如，经由过采样)或提供深度感测(例如，经由三角测量和/或相位辨别)。例如，通过使用DOE将两个景象提供给单个光学传感器，可以使用两个景象之间的三角测量来获得场景的深度值。作为另一示例，可变相位光学元件的层或矩阵内的每个元件可以被配置成确定性地将光相移并聚焦到光学传感器的特定像素(或像素组)上。可以表示场景的不同景象的这些相移波前可以被捕捉、混合并与参考信号进行比较，以检测场景内的深度。
本公开的实施例也可以在具有不同的配置(例如，具有静态或可移动光学部件的配置)的各种类型的系统(例如，传统的CMOS传感器系统、飞行时间(ToF)系统、高光谱成像系统等)内实现。作为具有可移动光学部件的实现方式的示例，成像装置可以包括：可变相位光学元件矩阵，其位于图像传感器的各个像素上方；以及致动器，其被配置为移动成像装置的部件(例如，矩阵、传感器、透镜等)，以获得表示每个像素的两个不同瞬时视场(iFOV)的两个不同图像。然后，系统可以分析这些图像，以获得或推导成像场景的额外空间信息。在具有ToF传感器的一些示例中，可以通过使用传统的大像素ToF传感器系统并平移该部件，以过采样图像平面或场景的一部分，来以更高的空间分辨率捕捉场景。在具有非ToF传感器(例如，传统CMOS传感器)的示例中，系统可以对不同的iFOV执行三角测量操作和/或相位辨别操作，以计算场景的深度映射。对于非ToF和ToF传感器，该系统也可以在相移iFOV之间插值，以增加传感器捕捉的图像的角度分辨率。
过采样处理也可用于增加各种高光谱成像系统(例如，快照高光谱成像系统)中的空间分辨率。传统的高光谱成像可以使用直接设置在传感器上的高光谱滤光器(例如，拼接滤光器、马赛克滤光器等)，以采样光谱域中的宽带光，这可能会以空间分辨率为代价增加光谱分辨率。相比之下，所提出的高光谱成像系统可以将高光谱滤光器与传感器分离，并将可变相位光学元件定位在滤光器和传感器之间，以促进空间过采样和增加空间分辨率。例如，通过平移可变相位光学元件，对通过高光谱滤光器的各个窗口的图像平面或场景的部分进行过采样，可以在高光谱图像中以更高的空间分辨率捕捉场景。
除了用于通过三角测量、相位辨别和过采样来增加分辨率之外，本文公开的光学元件可以被配置为替换解调系统的至少一个电相移部件。例如，光学装置可以包括位于传感器上方的可变相位光学元件，以将确定性相移引入入射波前。然后，系统可以在传感器处捕捉相移图像，并将其发送到解调电路，解调电路(1)使用图像来确定入射波前相对于传输的载波信号的相移，以及(2)使用相移来识别场景内的深度。在一些示例中，系统可以通过比较两个相移信号来提供较低的相位分辨率，或者可以通过比较几个(例如，三个或更多)相移信号来提供更高的相位分辨率。可以使用ToF深度传感器中的相移信号来执行飞行时间测量。另外或替代地，该系统可以包括单层可变相位光学元件或堆叠的可变相位光学元件层，其被配置为引入传统上由电气部件处理的相移。在图3C、图3D和图6G中包括这种堆叠或分层配置的示例，这将在下面更详细地描述。
在这样的系统中，每个光学部件可以固定在单个位置和/或在垂直于光轴的平面中的两个以上位置之间可移动。例如，具有固定光学部件的系统可以在入射波前中引入两个或更多不同的相移。这些相移信号然后可以混合并与参考信号进行比较。作为另一示例，全局快门系统可以包括光学元件，这些光学元件产生两个相移光路，当光学元件处于第一位置时，传感器捕捉和存储所述光路。然后，系统可以将光学元件移动到第二位置，以产生两个额外的相移光路，这两个额外的相移光路也可以被传感器捕捉。结果，传感器可以同时向电正交解调部件提供四个相移信号，其中，这些信号可以被合并与参考信号进行比较，以创建场景的深度映射。如下面参考图1至图11更详细讨论的，本公开的实施例还可以提供各种其他配置、特征和优于传统光学传感器系统的优点。
参考图1至图11，下文将提供用于增强光学传感器装置的示例性系统、装置和方法的详细描述。例如，附图和所附说明书显示了本公开的实施例可以克服传统光学传感器(光学图像传感器和光学深度传感器)的某些限制的方式。
图1是光学传感器系统100的一个实施例的方框图。图1所示的光学传感器系统100可以包括光学传感器装置105和输入/输出(I/O)接口115，这两者都可以耦合到处理子系统110。在一些实施例中，光学传感器装置105、处理子系统110和/或I/O接口115可以集成到单个壳体或主体中。其他实施例可以包括光学传感器系统100的分布式配置，其中，光学传感器装置105可以在单独的壳体或外壳中，但是仍然通过有线或无线通信信道耦合到处理子系统110。例如，光学传感器装置105可以耦合到处理子系统110，该处理子系统110由外部游戏控制台或诸如台式或膝上型计算机等外部计算机提供。处理子系统110也可以是专用硬件部件，其被设计成专门与光学传感器系统105协作，以执行本文描述的各种操作。
虽然图1描绘了包括至少一个光学传感器装置105和至少一个I/O接口115的示例性光学传感器系统100，但是在其他实施例中，光学传感器系统100中可以包括任何数量的这些部件。例如，可以有多个光学传感器装置105与处理子系统110通信。在替代配置中，光学传感器系统100中可以包括不同的和/或额外的部件。另外，结合图1所示的一个或多个部件描述的功能可以以与结合图1描述的方式不同的方式分布在部件之间。例如，处理子系统110的一些或全部功能可以由包括在光学传感器装置105中的部件提供，例如，包括集成图像处理器的光学传感器装置105的片上系统(SOC)实现方式。
光学传感器装置105的一些实施例可以包括成像装置120、电子显示器125、光学组件130(也称为光学块130)、一个或多个位置传感器135和惯性测量单元(IMU)140。光学传感器装置105的一些实施例可以具有与结合图1描述的部件不同的部件。
成像装置120可以捕捉表征围绕一些或全部光学传感器装置105的场景或本地区域的数据。在一些实施例中，成像装置120可以包括传统的图像传感器，使得由成像装置120捕捉的信号仅包括二维图像数据(例如，没有深度信息的数据)。在一些实施例中，成像装置120可以作为深度成像系统操作，该深度成像系统使用收集的数据(例如，基于根据一个或多个计算机视觉方案或算法捕捉的光、通过处理结构化光图案的一部分、通过飞行时间(ToF)成像、通过同时定位和映射(SLAM)等)来计算场景的深度信息，或者成像装置120可以将相应的数据传输到另一装置，例如，处理子系统110，处理子系统110可以使用来自成像装置120的数据来确定或生成深度信息。在一些实施例中，为了启用或扩充这种计算机视觉方案，成像装置120可以包括投射装置。
在一些实施例中，成像装置120可以是高光谱成像装置，其可以将场景表示为多个光谱，从而可以更好地理解、分析和/或可视地或定量地描述可以利用特定波长的光最佳地可视化的场景内的不同特征或对象。
在包括电子显示器125的实施例中，电子显示器125可以根据从处理子系统110接收的数据向用户显示二维或三维图像。在包括电子显示器125的实施例中，光学组件130可以放大从电子显示器125接收的图像光，校正与图像光相关联的光学误差，和/或向光学传感器装置105的用户呈现校正后的图像光。
图1中的I/O接口115可以表示允许用户发送动作请求并从处理子系统110接收响应的装置。在一些实施例中，外部控制器可以经由I/O接口115发送这样的动作请求并接收这样的响应。在一些示例中，动作请求可以表示执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据捕捉的指令或者在应用程序中执行特定动作的指令。I/O接口115可以包括一个或多个输入装置。示例性输入装置包括键盘、鼠标、手持控制器或用于接收动作请求并将动作请求传送给处理子系统110的任何其他合适的装置。
处理子系统110可以从光学传感器装置105接收数据，用于处理，以提取信息或组合数据集。在一些实施例中，处理子系统110可以向光学传感器装置105提供内容，用于根据从成像装置120、光学传感器装置105和I/O接口115中的一个或多个接收的信息进行处理。在图1所示的示例中，处理子系统110包括图像处理引擎160、应用商店150和跟踪模块155。处理子系统110的一些实施例可以具有与结合图1描述的模块或部件不同的模块或部件。类似地，下面进一步描述的功能可以以与结合图1描述的方式不同的方式分布在处理子系统110的部件中。
应用商店150可以存储一个或多个应用程序或指令集，以供处理子系统110或光学传感器装置105执行。在一些示例中，应用程序可以表示一组指令，当由处理器执行时，这些指令生成内容，以呈现给用户。可以响应于经由光学传感器装置105或I/O接口115的移动从用户接收的输入，生成应用程序生成的内容。应用程序的示例包括游戏应用、会议应用、视频回放应用或其他合适的应用。应用商店150可以是非暂时性存储库，其也存储从成像装置120或从光学传感器装置105中包括的其他源获得的、或从处理子系统110接收的数据。应用商店150中的一些示例性应用程序可以包括用于执行本文描述的方法的指令。
跟踪模块155可以使用一个或多个校准参数来校准光学传感器系统100，并且可以调整校准参数，以减少在确定光学传感器装置105或I/O接口115的位置时的误差。另外，跟踪模块155可以使用来自成像装置120、一个或多个位置传感器135、IMU 140或其某种组合的信息来跟踪光学传感器装置105或I/O接口115的移动。
引擎160可以基于从光学传感器装置105或其部件(例如，成像装置120)接收的信息，生成围绕一些或全部光学传感器装置105的区域(例如，“场景”或“本地区域”)的三维深度映射或多个三维深度映射。在一些实施例中，引擎160可以基于从成像装置120接收的二维信息或三维信息来生成场景的三维映射的深度信息，该深度信息与用于计算深度映射的技术相关。深度映射可以包括深度映射中每个像素的深度尺寸值，其可以表示场景的多个不同部分。引擎160可以将一种或多种技术用于计算来自结构化光或非结构化光的深度，来计算深度信息。在各种实施例中，引擎160可以使用深度信息来例如生成或更新本地区域的模型，并且可以部分基于该模型来生成内容。例如，引擎160可以基于ToF深度传感器系统中的发射信号和接收信号来识别第一延迟分量或相位差相位差可以由引擎160通过从测量的相位差中减去已知的或确定性的第二延迟分量来确定，如本文更详细描述的。
此外，光学传感器系统100可以包括通信总线165，通信总线165可以在光学传感器装置105、处理子系统110和/或I/O接口115的各个部件之间传输信息，以允许各个部件根据本文描述的实施例进行协作。I/O接口115可以允许光学传感器系统100经由有线或无线信道与外部装置和/或系统附件交互，例如，额外的独立传感器系统、手持控制器等。
图2是根据一些实施例的称为成像系统200的图1的光学传感器装置105的成像装置120的截面图。如图2所示，成像系统200包括具有光学传感器212的成像装置210，该光学传感器212可以接收可见光波长范围内和/或周围的电磁信号，包括或不包括红外波长范围，并且将这些电磁信号转换成电子信号，所述电子信号可被随后处理，以提取关于成像装置210前面的成像环境的信息。成像系统200还可以包括光投射装置250，其可以包括产生期望光谱中的光的光源252和至少一个透镜254，以控制来自光源252的光的传播和方向。投射装置250可以配置有反射镜、滤光器、透镜和其他光学部件，这些光学部件可以用于成形、引导和/或过滤光源252发射或投射到本地环境或场景中的光。光源252可以被配置为发射结构化或非结构化光，并且可以被配置为提供稳定的光或由脉冲或连续波函数调制的光。如图2所示，成像装置210和光投射装置250可以通过印刷电路板(PCB)202耦合在一起。在一些实施例中，发射的光可以用作参考信号，以与反射光信号进行比较。PCB 202可以包括将成像装置210和光投射装置250耦合到电源和/或外部处理装置或系统(例如，图1的处理子系统110)的多个引线。
如在本文中所描述的，成像装置210可用于允许传统图像捕捉系统除了二维图像信息之外还提供深度信息，对从场景反射的光进行过采样，以增加深度图像的分辨率，使光学解调能够检测反射光信号和参考光信号中的相位差，和/或增加高光谱图像的分辨率，超过高光谱过滤施加的限制。
图3A、3B、3C和3D是根据一些实施例的示例性成像装置的截面图。如图3A所示，成像装置310A可以包括光学传感器312，其可以沿着光轴314与透镜316对准。光学传感器312可以是传统CMOS图像传感器，其被配置为捕捉信息，以呈现为二维图像或图像文件，而没有任何深度信息。在其他实施例中可以使用其他光学传感器，包括设计成捕捉三维图像的光学传感器。光学传感器312可以包括单个的光敏或光反应地域或区域的二维阵列，称为光电探测器或像素。可以由光电二极管(例如，单光子雪崩二极管(SPAD))、光敏电阻或其他合适的光电检测器提供像素。光学传感器312还可以包括用于从阵列像素中读取和重置阵列像素的控制电路，并且还可以包括图像处理电路。包括在光学传感器312中的图像处理电路可以包括执行自动聚焦操作、颜色校正和白平衡操作、压缩和格式化操作和/或如本文所述的其他操作和处理的电路。
在一些实施例中，光学传感器312可以被配置成捕捉主要在可见波长范围内的光。例如，光学传感器312可以包括直接设置在其上或上方的光学层318。在一些实施例中，光学层318可以包括红外滤光器和/或抗反射涂层。在其他实施例中，光学层318可以省略，或者可以包括抗反射涂层而没有红外滤光器或其他滤色器。另外，光学层318的一些实施例可以包括可见波长滤光器，其阻挡或抑制可见光谱中的光，同时允许光学传感器312接收其他光，例如，预定波长范围的红外光。在一些实施例中，光学传感器312可以是另一种类型的传感器，例如，ToF传感器，该传感器检测发射光波或光信号(例如，由图2的光投射装置250发射的光)的直接传输和反射传输之间的时间延迟或相位差。如本文进一步描述的，ToF传感器可以被配置为识别包括在发射光中的相位信号，作为相位差异化处理的一部分，并且从反射相位信号恢复的相位差可以用于确定深度，如本文进一步详细描述的。
成像装置310A还可以包括光学矩阵320，其沿着光轴314设置并且设置在透镜316(其可以表示多个透镜)和光学传感器312之间。光学矩阵320可以是滤光器、透镜、小透镜、棱镜、折射阵列和/或其他光学元件的集合或矩阵，其可以通过改变光的方向、将光聚焦在光学传感器312的特定区域上和/或向光中引入相位延迟，来改变由透镜316引导到光学传感器312的光。与单个透镜不同，光学矩阵320的一些实施例可以对穿过其中的光具有不连续的影响，使得可以不通过沿着光学矩阵320的表面的连续函数来描述光学矩阵320的影响。相反，光学矩阵320可以生成期望的干涉图案。光学矩阵320可以具有存在于至少一个表面上的可变相位光学元件矩阵。如图3A所示，光学矩阵320可以包括至少在光学矩阵320最靠近光学传感器312的一侧上的可变相位光学元件矩阵。在本文描述的一些实施例中，光学矩阵320可以是DOE，如下面进一步详细描述的。
DOE可以通过使用干涉和衍射来来操作以产生穿过的光的期望变化。例如，基于特定DOE上光学元件的图案，DOE可以作为光束整形器来操作，以在透射光中产生期望的图案。光学矩阵320可以包括光学元件的矩阵，其使得光以期望的图案引导到光学传感器312中的各像素或像素组。因此，DOE可用于光学矩阵320的一些实施例中，以将光引导到和/或将期望的相位延迟引入到被引导到光学传感器312中的特定像素的光中。在图6B至图6G中包括由DOE引起的图案的一些示例，这将在下面进一步详细描述。
光学矩阵320可以多种方式耦合到透镜316和光学传感器312。例如，光学矩阵320的一个或多个边缘可以通过壳体322机械地固定在透镜316和光学传感器312之间(例如，壳体322可以包括形成为与透镜316的外部尺寸匹配的相应凹部或通道)。透镜316也可以通过化学手段固定到壳体322，例如，粘合剂。壳体322可以类似地耦合到光学矩阵320。例如，光学矩阵320可以固定关系耦合到壳体322，例如，通过粘合剂或安全压配合关系，或者以可移动关系，使得光学矩阵320可以在至少一个维度上相对于壳体322移动，从而相对于光学传感器312移动至少一个维度。例如，光学元件矩阵320可以包括位于形成在壳体322内壁中的一个或多个通道324内的部分，该内壁限制光学矩阵320在基本平行于光学传感器312的二维方向上移动。
此外或者替代地，光学矩阵320可以通过定位系统326的一个或多个部件固定到壳体322。如图3A所示，定位系统326的所描绘的部件可以单独称为定位部件326A和定位部件326B。定位系统326的一个或多个部件可以由一个或多个微机电系统(MEMS)致动器或装置、音圈马达或其他适合集成到成像装置310A中的小规模有源定位部件来提供。
通过操作光学传感器312或外部处理装置上包括的电路，光学矩阵320可以以受控方式定位在基本平行于光学传感器312本身并垂直于光轴314的平面中。在一些实施例中，光学矩阵320还可以通过定位系统326沿着光轴314移动。当光学矩阵320平行于光学传感器312移动时，指向光学矩阵320的单个元件的光可以从光学传感器312的第一像素或第一组像素重定向到光学传感器312的第二像素或第二组像素。因此，光学矩阵320的移动可导致光学矩阵320中任何给定像素的FOV(例如，像素的iFOV)的相应移动。在一些实施例中，在光学矩阵320移动之后，指向第一像素或第一组像素的光可以具有与这种移动之前不同的相位延迟。
图3B描绘了根据一些实施例的示例性成像装置310B的截面图。成像装置310B共享先前结合图3A的成像装置310A描述的许多特征。成像装置310B可以包括固定在壳体322内的光学传感器312和透镜316。成像装置310B还可以包括光学矩阵，类似于图3A的光学矩阵320。图3B的光学矩阵可以称为DOE 330，但是在其他实施例中，可以由另一种类型的光学矩阵提供。DOE 330可以是基本平坦的结构，该结构具有至少一个改性表面，其上具有可变相位光学元件矩阵。在一些实施例中，短语“基本平坦的”可以指具有功能部分的元件(例如，DOE 330)，该功能部分是平面的或者由于制造缺陷等而偏离平面，以提供光栅特征。此外，构成改性表面上的矩阵的图案化特征可以包括具有相同高度的多个特征，使得这些特征可以位于公共平面之下。DOE 330的可变相位光学元件可由从基板突出或凹入基板内的成形特征形成。DOE 330可以具有表面图案，该表面图案将从透镜316接收的光折射成传输到光学传感器312的特定图案，和/或可以将多个不同的相位延迟引入到穿过透镜316射向光学传感器312的光中。
虽然DOE 330的一些实施例可以包括在一侧形成可变相位光学元件矩阵的图案化特征(如图3B所示，这些特征形成在DOE 330最靠近光学传感器312的一侧)，但是一些实施例可以在DOE 330的两侧上包括这些特征。在一些实施例中，一个或多个微透镜(例如，微透镜332)可以设置在DOE 330最靠近透镜316的一侧。微透镜的尺寸和位置可以遵循相对于DOE 330的图案和/或光学传感器312的像素图案和节距。DOE 330的一些示例性实施例如图4A至图4D所示。
图4A、4B、4C和4D是根据一些实施例的示例性DOE的截面图，每个DOE包括可变相位光学元件矩阵。DOE的基板和特征可以由光学玻璃形成，例如，熔融石英或其他类型的玻璃，或者由各种聚合物材料形成。在一些实施例中，可以通过蚀刻处理或通过沉积或压花处理来图案化DOE。
如图4A所示，DOE 400A可以具有主基板主体402和形成在主基板主体402上或中的多个光学特征404。特征404可以是在主体402的表面上形成方波状轮廓的简单台阶特征。特征404可以具有高度H1和宽度W1，每个高度H1和宽度W1可以是任何合适的长度。在一些实施例中，高度H1可以在约10纳米(nm)、50nm或100nm至约1微米、2微米或更大的范围内。可以基于已知光源的波长和归因于主体402和特征404的材料的光学特性来确定高度。在一些实施例中，宽度W1可以在约500nm至约5微米的范围内。作为另一示例，通过DOE 400A最厚部分的总高度H2可以在约100nm至约800微米的范围内。此外，在一些实施例中，特征404之间的间隙的宽度W2可以与宽度W1相同或不同。在一些示例中，宽度W2可以在约500nm至约5微米的范围内。特征404的侧壁可以与基板主体402形成角度θ1。在一些实施例中，角度θ1可以在约85°至约95°的范围内。在其他实施例中，角度θ1可以在约90°至约175°的范围内。在图4C和图4D中可以看到具有更大角度的DOE的示例。
虽然图4A中的DOE 400A被描绘为在高度和宽度上具有相同尺寸的特征，由相同宽度分隔开，但是图3B的DOE 330的一些实施例可以包括更复杂但重复的光学特征图案。图案可以对应于光学传感器312的方面，例如，光学传感器312的像素的尺寸。另外，特征404的高度(例如，高度H1)可以对应于特定波长的光。例如，当已知图2的投射装置250发射或投射大约850nm的窄波长带的光时，DOE 330或400A(或具有可变相位光学元件的重复图案的任何其他这种光学矩阵)可以具有高度H1为波长的预定分数的特征。例如，当投影光的波长约为850nm时，一个特征404可具有约212.5nm(四分之一)的高度H1、约425nm(一半)的高度、约637.5(四分之三)的高度或约850nm的高度。DOE 400A的一些实施例可以包括具有所有这些示例性高度的特征404。在一些实施例中，可以基于DOE的折射率或其他材料特性来修改高度。因此，DOE或其他光学矩阵的特征的高度可以是与图2的光源252产生的预定波长的光相关和/或与DOE的材料/光学特性相关，例如，材料的折射率。
图4B描绘了具有复合台阶特征406的DOE 400B的横截面。重复特征406包括多个台阶，每个台阶在主体402上具有不同的高度。图4C和图4D分别包括DOE 400C和400D的截面图，其分别具有由特征408和410提供的甚至更复杂的表面。本文描述的DOE或其他光学部件可以在x和y方向上相同或不同地图案化。在本文描述的DOE 400A至400D和其他光学矩阵的实施例中包括的特征和特征图案可以具有不同的周期，使得在各种实施例中，特征可以分开1微米、2微米、4微米等。
返回到图3A至图3D，图3C描绘了成像装置310C，其在许多方面可以分别类似于图3A和图3B的成像装置310A和310B。成像装置310C可以包括光学传感器312、透镜316和光学矩阵320，其都可以固定到壳体322上。如本文所述，光学矩阵320可以通过定位系统326的一个或多个定位部件固定到壳体322。成像装置310C还可以包括额外光学矩阵340，其通过定位系统326的额外部件固定到壳体322。光学矩阵320和340可以理解为堆叠光学矩阵。如图3C所示，光学矩阵340可以通过定位部件342A和342B固定到壳体322，定位部件342A和342B可以类似于定位系统326的定位部件326A和326B。定位部件342A和342B可以与定位系统326的其他定位部件分开致动，使得光学矩阵320可以与光学矩阵340分开定位和重新定位。虽然图3C所示的实施例示出了光学矩阵320和340都是可移动的，但是成像装置310C的一些实施例可以具有相对于光学传感器312和光轴314固定就位的光学矩阵320和/或340。光学矩阵可以用具有不同周期和/或取向的图案来图案化。例如，光学矩阵320可以具有在第一方向上延伸的线性突起的图案，而光学矩阵340可以具有在第二正交方向上延伸的线性突起的图案。
在一些实施例中，光学矩阵320和光学矩阵340可以被视为单个堆叠光学矩阵中的层或部件，使得光学矩阵具有额外的尺寸(维度)。例如，图3A和3B的光学矩阵320可以包括由第一DOE提供的第一层光学元件，并且还可以包括由第二DOE提供的第二层光学元件。第一和第二DOE可以相对于彼此固定或者可以移动。
图3D描绘了成像装置310D的截面图，其可以类似于图3A至图3C的成像装置310A至310C。成像装置310D可以包括光学传感器312、透镜316和固定到壳体322的一个或多个额外光学部件。因此，成像装置310D可以包括光学部件的堆叠配置，例如，光学矩阵320和340的堆叠配置。在光学部件的堆叠配置中，沿着光轴314并且在透镜315和光学传感器312之间设置的多个光学部件可以用于改变穿过其朝向光学传感器312的光。每个部件可以添加预定的变化，例如，预定的相位延迟、方向的变化或相关联的iFOV的变化。因此，堆叠配置中的光学部件可以协作，以对指向光学传感器312的光提供期望的效果，如本公开的额外部分中进一步描述的。
成像装置310D还可以包括高光谱滤光器350。高光谱滤光器350可以包括多个滤光窗口，每个窗口或窗口类型通过特定波长的光。在一些实施例中，可以通过在对宽波长范围透明的基板上沉积材料层来形成窗口。在一些实施例中，窗口被形成为使得在滤光器350的主基板上成直线延伸。在其他实施例中，窗口可以是平铺或马赛克窗口，使得每个像素具有对应的窗口，或者像素组(例如，4像素乘4像素、4像素乘8像素、10像素乘10像素等)与特定窗口相关联。高光谱滤光器350中的平铺或马赛克窗口可以在高光谱滤光器350的表面上以重复图案排列。在包括高光谱滤光器350的实施例中，光学矩阵320和/或光学传感器312可以省略沉积在其上的滤色器阵列。此外，在成像装置310D的一些实施例中，高光谱滤光器350可以通过固定或可移动的定位部件固定到壳体322上，如本文描述的，用于将光学矩阵固定到壳体上。
本公开的实施例可以在高光谱成像系统内实现空间过采样和/或光谱过采样。成像装置310D的光学部件的移动可以通过移位场景的iFOV来提供光谱过采样，使得在第一位置通过初始波长光谱的滤光器并且在第二位置通过不同波长光谱的滤光器捕捉iFOV。例如，光学矩阵320和/或光学矩阵340可以移动，使得特定像素的iFOV移位，以经由不同的光谱滤光器来捕捉。通过经由多个不同的滤光器捕捉场景的iFOV，可以创建更高分辨率的光谱图像。
为了提供空间过采样，成像装置310D可用于当光学部件(例如，光学矩阵320)处于第一位置并且正通过第一滤光窗口将过滤的光引导至第一像素时捕捉场景的第一景象，并且当光学部件处于第二位置并且正通过第一滤光窗口将过滤的光引导至第一像素时捕捉场景的第二景象。换言之，当光学矩阵320处于第一位置时，可以使像素(或像素组)能够通过特定光谱滤光器捕捉第一iFOV。当移动到第二位置时，光学矩阵320可以使像素(或像素组)能够通过相同的光谱滤光器捕捉第二iFOV。为了产生增强的高光谱图像，图1的处理子系统110可以组合在不同时间从像素收集的信息，即，当可移动光学矩阵320和/或340处于不同的位置配置时，以产生具有更大的空间分辨率的输出图像。
图5A、5B、5C和5D是根据一些实施例的示例性成像装置和用其成像的对象的截面图。图5A至图5D可以提供光学部件(例如，本文所述的光学矩阵)改变给定像素或像素组的iFOV的方式的示例。如图5A所示，成像装置500A可以包括：光学传感器502，在光学传感器502上具有多个像素，包括像素504；透镜506，其将来自场景508的一部分光聚焦在像素504上，如图所示。传感器502的每个像素可以具有限定场景508的一部分的iFOV。给定像素的iFOV可以用角度来表示，但是为了方便起见，在图5A中显示为场景508的平坦部分。根据本公开的方面，成像装置500A不包括可定位的光学部件，例如，光学矩阵或另一光学部件。
图5B描绘了成像装置500B，其可以包括光学传感器502、透镜506和光学矩阵510。另外，成像装置500B的一些实施例可以包括设置在透镜506和光学传感器502之间的图3D的高光谱滤光器350。如本文所述，光学矩阵510可以包括可变相位光学元件矩阵，并且可以由透镜阵列、光栅或DOE等提供。光学矩阵510可以使与像素504相关联的iFOV的尺寸从图5A的iFOV 512减小到图5B的iFOV 514B。
如图5C和图5D所示，光学矩阵510可以平行于光学传感器502移动或移位。当平行于光学传感器502移动或重新定位光学矩阵510时，像素504的iFOV可能移位。iFOV可能朝与移动相反的方向移位。如图5C所示，光学矩阵510可以从默认位置向上移动，这可以促使像素504的FOV在场景508上移位到iFOV 514C。如图5D所示，光学矩阵510可以从默认位置向下移动，这可以促使像素504的FOV在场景508上移位到iFOV 514A。
通过如图5B至图5D所示操作，可以移动光学矩阵510，以允许像素504对场景的不同部分成像；即，光学矩阵510的移动可促使像素504对场景508的不同部分进行采样。这可以进行，以过采样场景或者使场景508的不同部分通过高光谱滤光器的特定滤光窗口成像，例如，图3D的滤光器350。此外，虽然图5示出了光学矩阵510在单个维度内沿着单个轴线移动，但是光学矩阵510可以在多个轴和维度内移动。
根据一些实施例，图6A示出了场景的传统采样FOV，图6B和图6C示出了同一场景的FOV的过采样。当用不包括光学矩阵510的成像装置对场景成像时，可以获得未改变的iFOV604的样本。如图6A所示，图像样本601的面积大致或精确地对应于iFOV 604。然后，场景508的该部分可以由图像样本601中收集的数据在图像(例如，二维图像、三维高光谱图像(由波长定义一维)或三维深度映射图像)中表示，图像样本601表示iFOV 604中所示的场景508的该部分。
当成像装置中包括光学矩阵510时，可以从场景508获得更详细的信息。在一些实施例中，多个光学部件或单个光学部件可以包括在成像系统中，并且可以在一个或多个方向上移动，同时保持平行于成像装置的光学传感器。通过在成像装置的光路中包括光学部件，例如，光学矩阵，成像装置的像素的iFOV可以减小，以提供更大的角度分辨率，如图6B的默认位置样本602所示。当使用捕捉图6A的场景508的系统或者如图6B所示捕捉场景508的系统时，以像素为单位测量的图像分辨率可以是相同的。然而，通过移动光学矩阵，例如，图5B至图5D的光学矩阵510，场景508可以相对于与像素相关联的固定FOV过采样，产生更详细的图像。过采样可以允许任何给定像素通过改变像素的iFOV大小和相对于场景508移位像素的FOV来从场景508捕捉额外信息。如图6C所示，当光学矩阵510移位时，像素可以捕捉改变的位置样本606，而不是默认位置样本602。通过沿着单个轴线性移动，可以在默认位置提供的FOV的任一侧获得样本。光学矩阵510的线性移动可以提供过采样图案608A或过采样图案608B。正交方向上的组合线性移动可以提供捕捉过采样图案608C和608D中的信息。此外，多个光学部件(例如，光学矩阵320和340)的协调移动可以提供扩展的过采样图案，这可以允许光学传感器312对额外信息进行编码。
为了执行过采样，多个图像可以组合成一个图像或帧。例如，当光学矩阵510处于对应于场景508上的默认景象的默认位置时，光学传感器312可以捕捉第一图像。当移动光学矩阵510时，光学传感器312可以捕捉第二图像，该第二图像对应于场景508上的不同景象。因此，为了捕捉过采样图案608A或608B中所示的三个样本，可以捕捉三个景象。类似地，对于过采样图案608C，可以捕捉四个景象，对于过采样图案608D，可以捕捉九个景象。可以在图像中捕捉这些额外的景象。可以旨在组合成单个输出图像或输出帧的这种图像可以称为中间图像。通过根据表征相应位置的信息组合来自中间图像的信息，图像可以适当地组合成最终输出图像或帧。
可以使用任何合适的处理以任何合适的方式组合中间图像。例如，中间图像可以在插值处理中组合，该插值处理在两个不同的中间图像(例如，两个不同景象或iFOV)的像素数据之间插值数据点。例如，定义改变的位置样本606和默认位置样本602的值可以组合，例如，通过平均，来估计中间位置样本。这种插值可以增加场景在一个或多个维度上的分辨率。例如，处理子系统可以将第一中间图像、第二中间图像和插值像素数据组合成分辨率增加的输出图像。
图6D、6E、6F和6G是示出根据一些实施例的与成像系统交互的光的透视图。图6D至图6G示出了不同光学矩阵对从透镜316到光学传感器312的波前610的影响，如同在图3A至图3D的任何成像装置中一样。描绘了光学传感器312的各个像素，例如，示例性像素612。虽然示例性像素(例如，像素612)被描绘为大致正方形，但是在一些其他实施例中，也可以使用其他像素形状。在图6D至图6G中，示出了透镜316、光学传感器312和光学矩阵的示例性部分。例如，光学传感器312可以包括比所示的5x5像素阵列更多(或更少)的像素。类似地，光学矩阵可以包括比明确示出的特征更多(或更少)特征。
如图6D所示，波前610可以由透镜316朝向光学传感器312引导，并且可以穿过光学矩阵620D。光学矩阵620D可以将多个相位延迟引入波前610。可以在图案中引入相位延迟，例如，光学传感器312上所示的感应图案630D。如图6D所示，感应图案630D可以包括标记为“1”和“2”的两个不同相位延迟。感应图案630D可以包括交替图案，使得具有相位延迟1的示例性像素612可以在水平和垂直方向上邻接接收具有相位延迟2的光的像素。在其他实施例中，光学矩阵620D可以感应其他图案。光学矩阵620D可以另外影响波前610相对于光学传感器312的焦点，使得只有每个像素612的有限部分可以接收光。在一些实施例中，光学矩阵620D或本文所述的其他光学矩阵可以使光入射到每个像素的不到75％、50％或25％的光敏区域上。
图6E描绘了光学矩阵620E对波前610的影响，该光学矩阵620E至少在某些方面可以不同于图6D的光学矩阵620D。波前610的光可由透镜316引导，通过光学矩阵620E，并可在光学传感器312上产生感应图案630E。光学矩阵620E可以图案化，使得产生两个以上不同的相位延迟。如图所示，光学矩阵620E可以产生四个不同的相位延迟，在图6E中标记为“1”、“2”、“3”和“4”。在一些实施例中，感应相位延迟1、2、3和4之间的差异可以是预定的相位差，例如，45°或90°。如图6E所示，光学矩阵620E引入感应图案630E，感应图案630E具有排列在正方形图案单元632E中的四个不同的相位延迟。在其他实施例中，光学矩阵620E可以包括线性图案单元，该线性图案单元包括线性配置或水平线中的四个相位延迟中的每一个。
图6F描绘了根据一些实施例的光学矩阵620F的示例性移动或重新定位的效果，该光学矩阵可以类似于光学矩阵620E。如图所示，光学矩阵620F可以相对于光学传感器312移动。例如，包括一个或多个定位部件的定位系统可以促使光学矩阵620F在基本平行于光学传感器312的第一方向上移动。光学矩阵620F的这种移动可以促使由光学矩阵620F产生的图案相对于光学传感器312及其各个像素的相应位移。该移动可以位移感应图案630F。如图所示，在一些实施例中，光学矩阵620F在第一方向上的移动可以产生感应图案630F在与第一方向相反的方向上的位移。由于该移动，图案630F的一部分可能不会入射到图6F所示的光学传感器312的部分上。比较图6E和图6F，当光学矩阵处于默认位置时，示例性像素612可以接收具有相位延迟2的光，并且当光学矩阵处于改变的位置时，示例性像素612可以接收具有相位延迟1的光。
图6G描绘了成像装置的实施例，该成像装置具有在其从透镜316到光学传感器312的光路中由不止一个光学矩阵提供的可变相位光学元件的堆叠配置，例如，图3C和图3D的成像装置310C和310D。波前610可以在到达光学传感器312之前穿过第一光学矩阵620G，然后穿过第二光学矩阵640G。在一些实施例中，光学矩阵620G和640G都可以图案化，使得每个光学矩阵都产生两个不同的相位延迟。如图6G所示，光学矩阵620G可以感应中间感应图案632G，其可以在第一中间相位延迟I1和第二中间相位延迟I2之间交替。当来自波前610的光穿过光学矩阵620G和640G时，由光学矩阵620G和640G中的每一个引入的相位延迟的组合效应可导致具有四个不同相位延迟的图案，如感应图案630G所示。
在一些实施例中，光学矩阵620G和640G中的一个或多个可以是固定的。如图所示，光学矩阵620G可以从默认位置沿基本平行于光学传感器312的第一方向移动，而光学矩阵640G可以沿也基本平行于光学传感器312的第二方向移动。如图所示，第二方向可以与第一方向正交。光学矩阵620G和640G的组合移动可产生感应图案630G沿与光学矩阵620G和640G的移动相反的方向上的移位或移动，使得图案630G相对于光学传感器312对角位移。例如，当矩阵620G和640G处于默认位置时，矩阵620G和640G可以在入射到像素612上的光中引起相位延迟2。图6G示出了当矩阵620G和640G都移动到新位置时，矩阵620G和640G可以使入射到像素612上的光具有相位延迟4。
虽然图6D至图6G可以示出光学矩阵及其移动的一些示例的一些潜在影响，但是本公开的实施例可以包括其他类型的移动，例如，光学矩阵的旋转或其他非线性移动，其可以基于所公开的原理产生更复杂的干涉图案。类似地，光学矩阵的其他实施例可以引起相位延迟的其他模式。此外，虽然关于光学矩阵产生的相位延迟讨论了图6D至图6G，但是可以关于高光谱滤光器中的窗口理解感应图案，例如，图3D的高光谱滤光器350。例如，识别相位延迟的上面讨论的图6E至图6G中的数字1、2、3和4也可以理解为识别通过高光谱滤光器350的滤光窗口的图案化光，使得在重新定位光学矩阵或多个光学矩阵时，光学传感器312的像素可以在不同时间捕捉通过不同窗口的光。
图7A和图7B是根据一些实施例的光学解调深度传感器装置的截面图，例如，基于相位的深度传感器。图7A和图7B描绘了成像装置的部分的实施例，例如，图3B的成像装置310B。如图7A所示，可由透镜(例如，图3B的透镜316)朝向光学矩阵701A引导反射信号700。光学矩阵701A可以将第一和第二相位延迟引入反射信号700。反射信号700可以由已知波长的光形成，例如，大约850nm的光。可以调制反射信号700的光。例如，可以调制光，以产生连续波形，例如，正弦波，或者产生如图7A和图7B所示的脉冲波形，该波形具有预定的波长和频率。
当载波光的波长是预先已知的时，光学矩阵701A和701B的相对尺寸可以从该波长导出。如图7A所示，光学矩阵701A包括支撑多个特征704的基板702。特征704可以具有高度H3，该高度H3将180°相位延迟引入反射光信号中。该相位延迟可以是由基板702的厚度引起的180°相位延迟的补充，基板702和特征704的组合厚度或高度可以被称为高度H4。在该示例中，高度H4可以是高度H3的两倍。在其他实施例中，高度H4可以大于或小于高度H3的两倍。然而，即使当基板702引入的相位延迟大于或小于180°时，高度H3也可以引入已知的相位延迟，例如，180°相位延迟或90°相位延迟。
可以通过多种方式捕捉、存储和比较光学元件引入的相位差异。例如，当光学矩阵701A处于第一位置时，光学传感器706中的每个像素可以捕捉第一iFOV，并且当光学矩阵701A处于第二位置时，可以捕捉第二相移iFOV。这些相移信号中的两个以上除了用于增加输出图像的分辨率之外，还可以与参考信号进行比较，以确定场景内的深度。另外或替代地，可以将不同像素捕捉的相移信号与参考信号进行比较，以确定场景内的深度。例如，可以比较光学传感器706的像素708A和708B产生的信号，以确定相位差。这种相位差可用于识别信号700发射(发射时间可能是已知的)并反射回光学传感器706所花费的时间。从此时起，可以确定从像素708A和708B到场景中与这些像素的FOV相对应的任何对象的距离。使用这种像素到对象的距离，可以重建场景的三维深度映射。
图7B提供了引入反射光信号700中的额外相位延迟差。图7B描绘了光学矩阵701B，其可以具有基板710和台阶特征712。特征712可以包括多个台阶，每个台阶将不同的相位延迟引入光信号700中。如图所示，台阶特征712可以包括导致90°、180°、270°和360°的相位延迟的部分。在一些实施例中，90°的初始相位延迟可以是不同的相位延迟(即，大于或小于90°)，但是在步骤之间的相位差可以是预定值，例如，90°的倍数。这些已知的相位延迟差可用于光学恢复相位信息或光学地对反射信号700执行解调操作的一部分。由像素708A、708B、708C和708D生成的信号可用于恢复发射光信号和反射光信号700之间的相位差。
传统的ToF深度传感器可能具有大的像素，部分原因是执行基于电路的解调以准确恢复相位信息所需的电路。本文描述的实施例可以允许至少部分地在光域中执行这种解调，而不需要传统解调电路的至少一部分。在这种实施例中，光学传感器312的总像素尺寸可以减小，这可以使得能够制造能够产生比通过传统ToF传感器可以获得的更高分辨率深度映射的更高分辨率ToF传感器。这可以允许CMOS图像传感器(用于捕捉传统二维图像的传感器类型，例如，手机相机传感器)用作ToF深度传感器，具有相应较小的像素尺寸，例如，在某些示例中，大约2微米乘2微米或更小。在一些实施例中，可以使用光学解调和基于电路的解调的组合来确定发射信号和反射信号之间的相位差。
图8A示出了根据一些实施例的发射信号和接收的反射信号的基于时间的比较。一些ToF系统可以基于从被成像的场景的特征反射的单个返回脉冲来确定深度。其他ToF系统可以利用关于信号的更多信息，例如，表征发射和反射信号的相位或发射和反射信号之间的相位差的信息。如图8A所示，发射信号802可以用方波调制。然而，其他实施例可以包括通过不同波形的调制。在与场景(例如，图5A至图5D的场景508)交互之后，通过从场景的一些方面反射光，成像装置的光学传感器可以接收反射信号804。例如，反射信号804可以是由图7B的光学传感器706的像素708A接收的信号。
发射信号802和反射信号804可以由相移或相位差分开，如图8A所示。相位差可以被理解为由于从发射信号802的发射器到场景的一部分的深度而产生的第一延迟分量和由于光学部件(例如，图7B的矩阵701B)的光学特性、形状、尺寸和材料而产生的第二延迟分量的总和，信号穿过该光学部件，以便像素708A接收。因为第二延迟分量可以是已知的或确定性的，所以可以通过从相位差中减去已知的第二延迟分量来确定可以用于确定信号的飞行时间的第一延迟分量或相位差相位差然后可用于如下根据以下等式(1)确定从光学传感器到场景的一部分的深度值d：
图像处理器可以执行等式(1)的操作，以根据相位差确定深度。例如，图1的处理子系统110的图像处理引擎160可以执行这些操作中的一些或全部操作。
图8B示出了具有示例性光学采样方案的单位圆806，该单位圆806可以由本文描述的光学部件的实施例光学地实现，以至少部分解调图8A的反射信号804，例如，由可以用于确定相位差的图4A至图4D的DOE 400A至400D中的任一个的实施例实现。单位圆806示出了可以由光学矩阵引入的已知的或确定性的相位延迟，例如，图7A的光学矩阵701B。相位延迟θ2可以由基板710引入，并且可以是小于90°的某个值。相位延迟θ3可以是另外的90°，相位延迟θ4可以向反射信号804添加另外的90°相位延迟，并且相位延迟θ5可以添加另外的90°相位延迟。相位差或延迟θ3、θ4和θ5可以是90°或π/4的预定倍数。
在一些实施例中，可以在收集数据之前执行校准处理，使得可以精确地确定延迟，并且可以通过得到的校准因子来补偿与光学矩阵701A的预期尺寸的任何不期望的偏差。可以在基板和光学矩阵或其他光学部件的突出特征和/或凹陷特征中选择并体现相位延迟θ2、θ3、θ4和θ5，使得反射信号804的相位可以在由采样点808A、808B、808C和808D所示的单位圆806的所有四个象限(I、II、III和IV)中采样。可以通过接收具有不同的已知相位延迟的光部分的像素的电荷累积来生成信号，其中，可以补偿信号。然后，由图7B的像素706A至D生成的这些信号可用于如下根据等式(2)识别相位差
以这种方式，相位差可以基于光学延迟信号来确定，而不是像在一些传统的基于相位的ToF深度传感器中那样基于电子延迟信号来确定。
一些实施例还可以利用现有的全局快门和像素级存储技术来使用两个像素产生四个相移信号，而不牺牲当使用四个不同像素来产生图7B所示的信号时损失的额外分辨率。例如，系统可以包括产生两个相移光路的光学元件，当光学元件处于第一位置时，这两个相移光路被光学传感器706的两个不同像素(例如，像素708A和708B)捕捉。由像素捕捉的信息可以本地存储在光学传感器706内，或者可以远程存储，用于后续处理。然后，系统可以将一个或多个光学元件移位到第二位置，以产生两个额外的相移光路，这两个额外的相移光路也可以被光学传感器706的相同像素(例如，像素708A和708B)捕捉。结果，光学传感器706或本文描述的任何其他传感器可以同时提供四个相移信号，用于解调处理(例如，如图8B所示)。此外，如在图5A至图5D和图6A至图6C的描述中更详细讨论的，可以处理每个像素捕捉的两个相移信号，以提供更大角度分辨率的输出图像。
在一些实施例中，光学矩阵701A和701B、DOE 400A-400D以及本文描述的一些其他光学部件可以使用与半导体器件制造和半导体掩模制造中使用的制造技术类似的制造技术来制造。例如，基板702可以是晶片的一部分，例如，硅晶片、绝缘体上硅(SOI)晶片或者由具有合适折射率的材料制成的另一晶片，该折射率提供折射和/或衍射的变化，该变化可以引入相位延迟或者改变干涉图案中光信号的传播方向。
在一些示例中，基板702可以具有在大约0.5微米和大约几十或几百微米之间的厚度。特征704和712可以通过相加处理和/或相减处理形成。例如，特征704的材料可以通过物理气相沉积(PVD)、化学气相沉积(CVD)、离子束沉积、气相外延、原子层沉积等沉积在基板702上。一些实施例可以包括蚀刻处理或从材料层移除基板材料以形成图案化特征704和712的另一材料移除处理。因此，基板702的材料可以不同于特征704/712的材料。在一些实现方式中，可以产生特征712的各个台阶，作为几种图案化和生长处理的结果和/或图案化和蚀刻处理的结果。在一些实施例中，例如，在使用外延生长的实施例中，特征704可以生长在图案化表面上。例如，特征可以在基板702的被形成在光致抗蚀剂层中的窗口暴露的部分上生长到期望的高度H3。
高度H3可以基于特征704的材料的折射率及其尺寸引入期望的相位延迟(例如，45°、90°、180°、270°的相位延迟)。在一些实施例中，高度H3可以是大约5nm至大约50nm，以产生期望的相位延迟。在其他实施例中，高度H3可以更大，使得引入更大的相位延迟，该相位延迟等于360°加上实际期望的相位延迟90°、180°、270°等。这种较大的高度H3和相关的较大相位延迟可以为较低高度的期望延迟提供相位等效延迟，同时提高可制造性。
图9A是根据一些实施例的用于使用可变相位光学元件矩阵来生成分辨率增强的输出图像或输出帧的方法900A的流程图，该输出帧可以是形成构成视频的一系列图像的一部分的图像。图9A所示的步骤可以由任何合适的计算机可执行代码和/或计算系统执行，包括图1所示的系统。在一个示例中，图9A所示的每个步骤可以表示一种算法，其结构包括多个子步骤和/或由多个子步骤表示，将在下面更详细地提供其示例。
如图9A中所示，在步骤902，本文描述的一个或多个系统可以将设置在光学传感器和透镜之间的光学部件(例如，可变相位光学元件矩阵)放置在与光学传感器的光轴至少基本垂直(例如，精确垂直，或根据制造公差而可能出现的离精确垂直仅几度或更小)的第一位置，该透镜定位成将来自场景的光聚焦到光学传感器上。例如，处理装置可以触发或激活图3A的定位部件326A和326B，以相对于光学传感器312定位或重新定位光学矩阵320。光学矩阵320可以至少基本平行于光学传感器312从第一位置移动到至少第二位置。通过重新定位光学矩阵320，可以捕捉场景的不同景象，不同景象对应于每个不同位置。在一些实施例中，可变相位光学元件矩阵可以固定的方式定位。
在步骤904，本文描述的一个或多个系统可以利用光学传感器捕捉场景的至少两个不同景象。例如，图5B至图5D的光学传感器502可以在图5B所示的景象中捕捉中间图像，其中，像素504可以接收来自iFOV 514B的光。如图5C所示，光学矩阵510可以重新定位，使得像素504可以接收来自iFOV 514C的光。光学传感器502然后可以在图5C所示的景象中捕捉另一中间图像。在方法900A的一些实施例中，光学矩阵510可以如图5D所示再次重新定位，并且可以捕捉又一景象。光学矩阵510可以重复定位，并且每次可以捕捉新的景象。
在步骤906，本文描述的一个或多个系统可以处理场景的两个不同景象，以产生具有比捕捉到的场景的两个不同景象中的任一个更高分辨率的输出帧或输出图像。例如，光学传感器212、312或502的图像处理电路或外部处理器可以组合不同的景象，以生成具有如图6C所示的样本的场景508的增强表示，这些样本包括默认位置样本和改变的位置样本。在一些实施例中，这些样本可以组合成单个输出图像，包括比光学传感器具有的像素更多的像素值。在一些实施例中，方法900A可以包括在通过在默认位置和改变的位置采样场景而获得的实际像素值之间内插像素值的步骤。以这种额外方式，输出图像在x方向和y方向上的分辨率可以高于光学传感器阵列中的像素。
此外或者替代地，方法900A的操作可以包括以下实施例，其中，捕捉场景的至少两个景象，可以包括利用光学传感器的第一像素或像素组捕捉第一部分光。“一部分光”可以指来自场景的光，例如，图5A至图5D的场景508，该场景可以由成像系统的光学部件聚焦在该成像系统的光学传感器的单独像素或像素组上。例如，这部分光可以是与第一像素相关联的iFOV。由于其穿过的可变相位光学元件矩阵的部分，第一部分光可具有第一相位延迟。捕捉至少两个景象还可以包括利用光学传感器的第二像素或像素组捕捉第二部分光。由于穿过可变相位光学元件矩阵的不同部分，第二部分光可具有第二相位。
图9B是根据一些实施例的用于使用可变相位光学元件矩阵来生成具有场景的深度特征的输出图像的方法900B的流程图。如同图9A的方法900A一样，图9B所示的步骤可以由任何合适的计算机可执行代码和/或计算系统来执行，包括图1、图2、图3A至图3D、图10和图11所示的系统等。在一个示例中，图9B所示的每个步骤可以表示一种算法，其结构包括多个子步骤和/或由多个子步骤表示，将在下面更详细地提供其示例。
方法900B的实施例可以从步骤912开始，在步骤912中，本文描述的任何系统可以将设置在光学传感器和透镜之间的可变相位光学元件矩阵放置在与光学传感器的光轴至少基本垂直的第一位置，该透镜定位成将来自场景的光聚焦到光学传感器上。例如，图3B的DOE 330或任何其他合适的光学部件可以设置在光学传感器312和透镜316之间。在一些实施例中，DOE 330可以以与光学传感器312固定的关系定位。在其他实施例中，DOE 330可以在基本平行于光学传感器312的平面内移动，并且可以通过定位系统326的致动而移动或重新定位，定位系统326可以包括至少一个定位部件326A。DOE 330可以使光学传感器312的至少一些像素的iFOV移位，以便捕捉场景的不同部分，如图5B至图5D所示。
在步骤914，一个或多个公开的系统可以利用光学传感器捕捉场景的至少两个不同景象。例如，图3B的光学传感器312可以捕捉场景的至少两个不同景象。不同的景象可以对应于可变相位光学元件矩阵的不同位置。例如，方法900B的实施例可以包括当矩阵处于与第一景象相关联的第一位置时捕捉第一图像，并且当矩阵处于与第二景象相关联的第二位置时捕捉第二图像，以在步骤914捕捉不同景象。
在步骤916，一个或多个公开的系统可以基于捕捉的场景的至少两个景象来确定场景的深度特征。例如，深度特征可以是特定像素或像素组与被观察场景的对象或特征之间的距离。在一些实施例中，可以通过基于在步骤914获得的场景的至少两个景象执行三角测量算法，来获得深度特征。例如，可以校准用于在对应于至少两个景象的不同位置之间移动光学传感器的定位系统，使得基于用于控制定位系统的致动信号，位置之间的绝对距离是已知的。因为这两个景象之间的距离可以是已知的，所以捕捉的景象中各种对象或特征的景象差异可以用于确定每个捕捉的景象中的角度。例如，使用与第一捕捉景象中的特征的角度、与第二捕捉景象中的相同特征的角度以及两个捕捉的景象之间的已知距离，可以使用三角关系来确定与捕捉的景象质心相距的距离估计，该质心将位于光学传感器312上的某个位置。该算法可以应用于图像中的多个像素，以生成深度映射，该深度映射具有光学传感器312的许多、大多数或所有像素的深度值。成像系统的任何光学部件可以以振荡或抖动的方式移动，以提供许多不同的测量或捕捉，这些测量或捕捉可以组合或平均，以便提高三角测量的精度。例如，光学矩阵可以在两个位置之间抖动，以获得场景的两个基线景象。
在步骤918，一个或多个所述系统可以生成场景的输出深度图像。当渲染或类似处理时，输出深度图像可以提供场景的深度特征的视觉或数学表示。可以通过渲染输出深度图像来再现场景。在一些实施例中，深度图像或深度映射可以具有与所捕捉的中间图像相同的x和y方向分辨率，以表示至少两个景象。深度映射还包括深度值，例如，沿着光学传感器的光轴延伸的z方向值，例如，图3A至图3D的光轴314。
方法900B的一些实施例可以进一步包括向场景中发射光信号的步骤。基于所捕捉的场景的至少两个景象来确定场景的深度特征可以包括确定光信号的相位特征。例如，图7A和图7B的光信号700可以由光投射装置250在已知时间发射，然后基于到反射点的距离在一段时间后反射回来。可变相位光学元件矩阵可以将具有第一相位延迟的一部分光引导到第一像素，并且可以将具有第二相位延迟的一部分光引导到第二像素。
在方法900B的一些实施例中，捕捉至少两个不同的景象可以包括从每个景象捕捉图像，包括至少第一图像和第二图像。在一些实施例中，第一图像和第二图像均包括深度信息，而在其他实施例中不包括深度信息。
图9C是根据一些实施例的用于使用可变相位光学元件矩阵来解调用于相位差确定的信号的方法900C的流程图。如同图9A的方法900A和图9B的方法900B一样，图9C所示的步骤可以由任何合适的计算机可执行代码和/或计算系统来执行，包括图1、图2、图3A至图3D、图10和图11所示的系统等。在一个示例中，图9C中所示的每个步骤可以表示其结构包括多个子步骤和/或由多个子步骤表示的算法，将在下面更详细地提供其示例。
在步骤922，本文描述的一个或多个系统可以从光学传感器的第一像素接收第一电子信号。该第一电子信号可以表示具有第一相位延迟的反射光信号的第一部分。例如，图7A和图7B所示的光学传感器706的像素708A通过另一光学部件(例如，可变相位光学元件矩阵或DOE)的基板702接收反射光信号700。由于基板702的材料和厚度，反射光信号700被相位延迟调制。在一些实施例中，相位延迟可以是90°或更小。光学部件的其他实施例可引入更大的相位延迟。像素708A生成表征具有第一相位延迟的接收光信号的电子信号。电子信号可以被传送到处理装置或子系统，例如，包括在图1的光学传感器706或处理子系统110上的处理装置。
在步骤924，本文描述的一个或多个系统可以从光学传感器的第二像素接收第二电子信号。第二电子信号可以表示反射光信号的第二部分，其具有与第一相位延迟不同的第二相位延迟。例如，图7A和图7B所示的光学传感器706的像素708B通过基板702并通过形成在基板702上的特征(例如，图7A的特征704或图7B的特征712的台阶)接收反射光信号700的不同部分。由于基板702的材料和厚度以及特征，像素708B接收的反射光信号700可以由不同的相位延迟调制。在一些实施例中，相位延迟可以是90°或更小。其他实施例可引入更大的相位延迟。当包括在反射信号700中的光学矩阵的材料和尺寸以及光的波长预先已知或预定时，可以预定第一相位延迟和第二相位延迟之间的相位差。像素708B可以生成表征具有第二相位延迟的接收光信号的电子信号。第一和第二相位延迟可以包括基于从发射到接收的距离的公共延迟分量和由光穿过的光学矩阵部分引起的不同延迟分量。电子信号可以被传送到处理装置或处理子系统。
在步骤926，本文描述的一个或多个系统可以基于第一电子信号和第二电子信号确定反射光信号的相位特征。例如，可以基于在像素708A和像素708B处接收的信号之间的已知相位差来恢复光信号700的相位和光信号的飞行时间。在方法900C的一些实施例中，可以从光学传感器的额外像素接收额外电子信号。这些额外信号还可以包括不同于第一和第二相位延迟的相位延迟。
例如，方法900C的实施例可以包括从光学传感器的第三像素接收第三电子信号和从光学传感器的第四像素接收第四电子信号的步骤。第三电子信号可以表征具有第三相位延迟的反射光信号的第三部分，并且第四电子信号可以表征具有第四相位延迟的反射光信号的第四部分。如图7B所示，由基板702和特征712引入的第一、第二、第三和第四相位延迟可以不同，使得由像素708A、708B、708C和708D中的每一个接收的反射光信号700的部分的相位不同，如图8B所示的采样方案中一样。这些信号可以在像素708A至708D处基本上同时接收，并且可以允许反射信号700被光学解调，使得可以从本文描述的光学传感器中省略专用于信号解调的传统ToF深度传感器的一些或全部电路，例如，图7A和图7B的光学传感器706。一些实施例可以包括用于电子解调的简化电路，使得本公开的实施例可以实现混合解调方法。这种混合方法可以包括本文所述的光学解调和信号处理解调的组合。
在步骤928中，本文描述的一个或多个系统可以基于所确定的相位特征来确定光学传感器与反射该反射光信号的表面之间的距离。例如，光学传感器706可以包括基于反射信号700的飞行时间来确定光学传感器706的各像素与场景的特征之间的距离的电路。在确定距离时，可以使用反射信号和被反射的先前发射的光信号之间的相位差。方法900C的实施例可以包括激活光信号到场景中的发射，从而可以使用光学传感器706捕捉来自场景中的对象和特征的反射。例如，图2的投射装置250的光源252可以被激活，以发射导致反射信号700的调制信号。
方法900A、900B和/或900C的一个或多个步骤或本文描述的其他操作可以由处理子系统执行。这种处理子系统可以是分立部件、固件或软件的组合，其中的任何一个可以位于与光学传感器附接的公共电路板(例如，PCB 202)上、示例性成像装置的另一本地部件内或者远程部件内，例如，图1的处理子系统110。另外或替代地，在一些实施例中，处理子系统可以集成到光学传感器中，例如，光学传感器212、312、502。
图10是根据本公开的实施例的包括成像装置的HMD 1000的示图。HMD 1000可以包括图1的光学传感器装置105。HMD 1000可以是VR系统、AR系统、MR系统或其某种组合的一部分。在描述AR系统和/或MR系统的实施例中，HMD 1000的前侧1002的部分可以在可见波段(约390nm至约750nm)中至少部分透明，并且HMD 1000的在HMD 1000的前侧1002和用户眼睛之间的部分可以至少部分透明(例如，部分透明的电子显示器)。HMD 1000可以包括前刚体1005、带1010和参考点1015。HMD 1000还可以包括成像系统，例如，图2的成像系统200，该成像系统被配置为确定一些或全部HMD 1000周围的本地区域的深度信息。此外，HMD 1000可以包括成像开口1020和照明开口1025，并且成像系统的照明源可以通过照明开口1025发射光(例如，结构化光)，例如，图2的投射装置250。成像装置可以捕捉通过成像开口1020从本地区域反射或反向散射的来自照明源的光。
前刚体1005可以包括一个或多个电子显示元件、一个或多个集成眼睛跟踪系统、IMU 1030、一个或多个位置传感器1035和一个或多个参考点1015。在图10所示的实施例中，位置传感器1035位于IMU 1030内，并且IMU 1030和位置传感器1035对于HMD 1000的用户都不可见。IMU 1030可以表示基于从一个或多个位置传感器1035接收的测量信号生成快速校准数据的电子装置。位置传感器1035可以响应于HMD 1000的运动生成一个或多个测量信号。位置传感器1035的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 1030的误差校正的传感器的类型、或其某种组合。位置传感器1035可以位于IMU 1030的外部、IMU 1030的内部或其某种组合。一个或多个参考点1015可以用于例如图1的跟踪模块155跟踪HMD 1000在本地区域中的位置。
图11表示图10的HMD 1000的前刚体1005的横截面。如图11所示，HMD 1000可以包括成像系统1102。在一些示例中，成像系统1102(其可以是图1的成像装置120的实施例)可以被配置成捕捉图像数据，该图像数据用于确定、映射和/或跟踪诸如局部环境或场景1101(例如，成像系统1102前面的区域)等区域内的对象的位置、方向和/或移动。在一些示例中，成像系统1102可以包括：成像开口1120，其被配置为通过开口1020接收在本地区域或场景1101中产生的或从本地区域或场景1101反射或反向散射的光；以及投射装置1130，其被配置为向场景1101发射光(即，载波信号)，场景1101可以包括对象1109。光可以包括特定的波长范围，例如，可见波长光谱或红外光谱等。
在一些实施例中，成像系统1102可以以多种方式确定场景1101内的对象的深度和/或表面信息。例如，成像系统1102可用于SLAM跟踪系统中，以识别和/或映射场景1101的特征和/或识别HMD 1000和/或其他对象(例如，手持控制器、用户等)在场景1101中的位置、方向和/或移动。在一些示例中，投射装置1130可以向场景1101发射光1131，作为结构化光图案(例如，对称和/或准随机点图案、网格图案、水平条等)。发射光1131可以具有400nm至约1100nm的波长范围。在一些实施例中，发射光1131可具有较窄的波长范围，例如，800nm至约980nm。
在这些示例中，成像系统1102可以基于发射图案的三角测量或感知变形来确定深度和/或表面信息。另外或替代地，成像系统1102可以捕捉ToF信息，该ToF信息描述从投射装置1130的照明源发射的光从场景1101中的一个或多个对象反射回成像装置1120所需的时间，该成像装置收集反射光1121。在该实施例中，成像系统1102可以基于ToF信息确定成像系统1102和场景1101中的对象之间的距离。
在一些示例中，由成像系统1102收集的信息可以用作向佩戴HMD 1000的用户显示的图像和/或视频(例如，人工现实图像和/或视频)的一部分。在一个示例中，如图11所示，图像和/或视频可以经由电子显示器1106显示给用户(例如，经由用户的眼睛1104)。可以是图1的电子显示器125的实施例的电子显示器1106可以表示单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器1106的示例可以包括但不限于LCD显示器、OLED显示器、ILED显示器、AMOLED显示器、TOLED显示器、投影仪、阴极射线管、光混合器和/或其某种组合。成像系统1102还可以包括成像控制器1108，该成像控制器可以是耦合到投射装置1130和/或成像装置1120的图像处理器。在一些实施例中，可以包括光学块1107，以改善电子显示器1106相对于HMD 1000的用户的性能。
因此，本公开的实施例可以包括人工现实系统或结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式调整过的现实形式，可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕捉的(例如，现实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，其中的任何一种都可以在单个通道或多个通道中呈现(例如，向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用程序、产品、附件、服务或其某种组合相关联，这些应用程序、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或以其他方式用于人工现实中(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的HMD、独立HMD、移动装置或计算系统或者能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。
在本文中描述和/或示出的步骤的处理参数和顺序仅通过示例的方式给出并且可以根据需要改变。例如，虽然可以以特定顺序示出或讨论在本文中示出和/或描述的步骤，但是这些步骤不一定需要以所示或讨论的顺序执行。在本文中描述和/或示出的各种示例性方法还可以省略在本文中描述和/或示出的一个或多个步骤，或者除了所公开的那些之外，还包括额外步骤。
已经提供前面的描述，以使本领域技术人员能够最好地利用在本文中公开的示例性实施例的各个方面。该示例性描述并非旨在穷举或限于所公开的任何精确形式。在不脱离本公开的精神和范围的情况下，可以进行许多修改和变化。在本文中公开的实施例应该在所有方面都被认为是说明性的而非限制性的。在确定本公开的范围时，应参考所附权利要求及其等同物。
除非另外指出，在本说明书和权利要求书中使用的术语“连接到”和“耦合至”(及其衍生物)应被解释为允许直接和间接(即，经由其他元件或部件)连接。另外，在说明书和权利要求中使用的术语“a”或“an”应解释为“至少一个”。最后，为了便于使用，在说明书和权利要求中使用的术语“包括”和“具有”(及其衍生物)可与“包含”一词互换并具有相同的含义。

Claims (20)

1.一种深度成像装置，包括：
光学传感器，具有光轴；
透镜，被定位成将来自场景的光聚焦到所述光学传感器上；
可变相位光学元件矩阵，其尺寸被设计成将至少两个不同的相位延迟引入到来自所述场景的光的波前中；
壳体，将所述可变相位光学元件矩阵固定在所述光学传感器和所述透镜之间；
通信总线，耦合到处理系统，所述处理系统引导所述光学传感器捕捉所述场景的至少两个不同景象，以创建指示所述场景内深度的输出图像；以及
定位系统，将所述深度成像装置的光学部件耦合到所述壳体，所述光学部件包括所述透镜、所述光学传感器和所述可变相位光学元件矩阵中的至少一个。
2.根据权利要求1所述的深度成像装置，其中，所述定位系统包括以下中的至少一个：
通道，被配置为容纳所述光学部件的边缘；
粘合剂，将所述光学部件相对于所述壳体固定在固定位置；或者
有源定位部件，能够操作为将所述光学部件可移动地定位成垂直于所述光轴。
3.根据权利要求2所述的深度成像装置，其中，所述处理系统被配置为通过以下方式捕捉所述至少两个不同的景象：
当所述光学部件处于与第一景象相关联的第一位置时，捕捉第一图像；
致动所述有源定位部件，以将所述光学部件从所述第一位置移动到第二位置；
当所述光学部件处于与第二景象相关联的所述第二位置时，捕捉第二图像；以及
将所述第一图像和所述第二图像组合成具有表征所述场景的至少一部分的深度信息的输出图像。
4.根据权利要求3所述的深度成像装置，其中：
所述处理系统还被编程为：通过由所述第一图像和所述第二图像表示的所述场景的两个不同景象之间的三角测量，将所述第一图像和所述第二图像组合成所述输出图像，以提供所述场景的深度图作为所述输出图像；以及
所述深度图包括所述场景的多个部分的深度尺寸值。
5.根据权利要求3所述的深度成像装置，其中：
所述第一图像和所述第二图像包括所述场景的深度图像，每个深度图像包括所述场景的三维表示；并且
所述输出图像包括来自所述第一图像和所述第二图像的深度信息。
6.根据权利要求1所述的深度成像装置，其中，所述处理系统被编程为：
当所述光学部件处于与第一景象相关联的第一位置时，捕捉第一图像；
致动所述有源定位部件，以将所述光学部件从所述第一位置移动到第二位置；
当所述光学部件处于与第二景象相关联的所述第二位置时，捕捉第二图像；
生成与所述第一位置和所述第二位置之间的图像数据对应的插值像素数据；以及
将所述第一图像、所述第二图像和所述插值像素数据组合成所述输出图像，所述输出图像具有比所述第一图像或所述第二图像更高的分辨率。
7.根据权利要求6所述的深度成像装置，其中，所述可变相位光学元件矩阵减小所述光学传感器中包括的每个像素的瞬时视场(iFOV)。
8.根据权利要求1所述的深度成像装置，还包括：
光源，被配置为用红外波长范围内的光照射所述场景，所述红外波长范围被配置为用于深度感测；并且
其中，所述可变相位光学元件矩阵包括衍射光学元件(DOE)，所述衍射光学元件具有特征，所述特征的尺寸被设计成将至少两个不同的相位延迟引入到通过所述透镜接收的从所述场景反射的所述红外波长范围内的光的波前中，以至少部分地光学解调所述光。
9.根据权利要求1所述的深度成像装置，还包括：微透镜阵列，设置在所述可变相位光学元件矩阵的顶表面上，以聚焦通过所述可变相位光学元件矩阵的光。
10.根据权利要求9所述的深度成像装置，其中，所述微透镜阵列中的每个微透镜相对于存在于所述可变相位光学元件矩阵中的图案被一致地定位。
11.一种深度成像系统，包括：
成像装置，包括：
光学传感器，具有光轴；
透镜，被定位成将来自场景的光聚焦到所述光学传感器上；
可变相位光学元件矩阵，被图案化为将至少两个不同的相位延迟引入到来自所述场景的光的波前中；以及
壳体，以以下配置将所述可变相位光学元件矩阵固定在所述光学传感器和所述透镜之间：该配置使得所述光学传感器能够捕捉所述场景的至少两个不同景象，以产生输出图像；以及
投光装置，包括：
光源，发射光；以及
透镜，向所述场景引导来自所述光源的发射光，所述场景反射所述发射光，以产生反射光。
12.根据权利要求11所述的深度成像系统，还包括所述光学传感器上的滤光器层，所述滤光器层通过第一波长范围内的红外光，其中，发射光的所述光源发射所述第一波长范围的红外光。
13.根据权利要求12所述的深度成像系统，还包括：处理系统，被编程为：
使所述光源发射所述第一波长范围内的调制光信号；
捕捉所述至少两个不同景象中的第一景象，作为第一图像；
捕捉所述至少两个不同景象中的第二景象，作为第二图像；以及
将所述第一图像和所述第二图像组合成所述输出图像，以形成所述场景的三维图像。
14.一种深度成像的方法，包括：
将设置在光学传感器和透镜之间的可变相位光学元件矩阵定位在垂直于所述光学传感器的光轴的第一位置，所述透镜被定位成将来自场景的光聚焦到所述光学传感器上；
用所述光学传感器捕捉所述场景的至少两个不同景象；
基于捕捉的所述场景的至少两个景象，确定所述场景的深度特征；并且
生成所述场景的输出深度图像，所述输出深度图像表示所述场景的深度特征。
15.根据权利要求14所述的方法，还包括：将所述可变相位光学元件矩阵定位在垂直于所述光轴的第二位置，使得所述光学传感器被定位成捕捉所述至少两个不同景象中的第二景象。
16.根据权利要求14所述的方法，其中，捕捉所述场景的所述至少两个不同景象包括：
当光学部件位于与第一景象相关联的第一位置时，捕捉第一图像，所述光学部件包括所述透镜、所述光学传感器和所述可变相位光学元件矩阵中的至少一个；以及
当所述光学部件位于与第二景象相关联的第二位置时，捕捉第二图像。
17.根据权利要求16所述的方法，其中，所述第一图像和所述第二图像均包括深度信息，使得所述第一图像和所述第二图像包括所述场景的三维表示。
18.根据权利要求16所述的方法，其中，所述第一图像和所述第二图像并不均包括深度信息，使得所述第一图像和所述第二图像仅包括所述场景的二维表示。
19.根据权利要求14所述的方法，还包括：
将光信号发射到所述场景中，以从所述场景反射回所述透镜，其中，基于所捕捉的所述场景的至少两个景象确定所述场景的深度特征包括：确定所述光信号的相位特征，所述相位特征包括指示所述光学传感器与所述场景的部分之间的距离的相位差。
20.根据权利要求19所述的方法，其中，所述可变相位光学元件矩阵将具有第一相位延迟的一部分光引导到所述光学传感器的第一像素，并将具有第二相位延迟的一部分光引导到所述光学传感器的第二像素。
CN201811633260.7A 2018-02-08 2018-12-29 用于增强深度传感器装置的系统和方法 Pending CN110135232A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/892,150 2018-02-08
US15/892,150 US10805594B2 (en) 2018-02-08 2018-02-08 Systems and methods for enhanced depth sensor devices

Publications (1)

Publication Number Publication Date
CN110135232A true CN110135232A (zh) 2019-08-16

Family

ID=67477149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811633260.7A Pending CN110135232A (zh) 2018-02-08 2018-12-29 用于增强深度传感器装置的系统和方法

Country Status (2)

Country Link
US (1) US10805594B2 (zh)
CN (1) CN110135232A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115280752A (zh) * 2020-04-03 2022-11-01 高通股份有限公司 多光路成像技术和用于主动深度感测技术的共享发射器
WO2023011009A1 (zh) * 2021-08-06 2023-02-09 Oppo广东移动通信有限公司 光接收模组、深度相机及终端
US11940269B1 (en) * 2023-09-29 2024-03-26 Mloptic Corp. Feature location detection utilizing depth sensor

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163379B2 (en) * 2017-04-05 2021-11-02 Telefonaktiebolaget Lm Ericsson (Publ) Illuminating an environment for localisation
US10715718B2 (en) * 2018-03-15 2020-07-14 Taiwan Semiconductor Manufacturing Company, Ltd. Phase detect auto-focus three dimensional image capture system
US11006094B2 (en) * 2018-08-02 2021-05-11 Himax Technologies Limited Depth sensing apparatus and operation method thereof
US10598942B1 (en) * 2018-10-05 2020-03-24 Facebook Technologies, Llc Mounting assembly with reworkable active alignment
US11686935B2 (en) * 2019-01-29 2023-06-27 Meta Platforms Technologies, Llc Interferometric structured illumination for depth determination
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
TWI799749B (zh) * 2020-10-23 2023-04-21 大陸商光寶電子（廣州）有限公司 深度圖像的處理方法
US20240129604A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227915A (en) * 1990-02-13 1993-07-13 Holo-Or Ltd. Diffractive optical element
CN1116719A (zh) * 1993-10-18 1996-02-14 松下电器产业株式会社 衍射光学器件
US5995285A (en) * 1996-07-09 1999-11-30 Canon Kabushiki Kaisha Multilevel optical diffraction device with antireflection film and exposure apparatus
US20020135825A1 (en) * 2000-07-14 2002-09-26 Chih-Kung Lee High light-sensing efficiency image sensor apparatus and method
CN1938615A (zh) * 2004-04-13 2007-03-28 松下电器产业株式会社 聚光元件以及固体摄像装置
US20070132857A1 (en) * 2005-12-12 2007-06-14 Grip Stip M Multi-mega pixel resolution with small sensor
US20080297752A1 (en) * 2007-05-29 2008-12-04 Micron Technology, Inc. Focus sensitive lithographic apparatus, systems, and methods
US20110249866A1 (en) * 2010-04-09 2011-10-13 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
US20130075607A1 (en) * 2011-09-22 2013-03-28 Manoj Bikumandla Image sensors having stacked photodetector arrays
CN103037161A (zh) * 2011-10-07 2013-04-10 三星电子株式会社 包括相位差检测像素的成像装置
US20140111620A1 (en) * 2012-10-22 2014-04-24 Samsung Electronics Co., Ltd. Imaging optical system for 3d image acquisition apparatus, and 3d image acquisition apparatus including the imaging optical system
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160309133A1 (en) * 2015-04-17 2016-10-20 The Lightco Inc. Methods and apparatus for reducing noise in images
CN107667527A (zh) * 2015-03-30 2018-02-06 X开发有限责任公司 用于检测可见光和投影图案的成像器

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925195B2 (en) 2002-05-28 2005-08-02 Eastman Kodak Company Stabilization of three-dimensional images in a scannerless range imaging system
US8849595B2 (en) * 2005-10-27 2014-09-30 Charles L. Manto System and method for providing certifiable electromagnetic pulse and RFI protection through mass-produced shielded containers and rooms
DE102006007750A1 (de) * 2006-02-20 2007-08-23 Wavelight Ag Verfahren und optische Anordnung zur Kontrolle der Fokustiefe eines abbildenden optischen Systems
US20130002903A1 (en) * 2006-04-13 2013-01-03 Manico Joseph A Camera user input based image value index
CN102498456B (zh) * 2009-07-23 2016-02-10 惠普发展公司，有限责任合伙企业 具有光学传感器的显示器
US8542348B2 (en) 2010-11-03 2013-09-24 Rockwell Automation Technologies, Inc. Color sensor insensitive to distance variations
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
DE102013018789A1 (de) * 2012-11-29 2014-06-05 Infineon Technologies Ag Steuern lichterzeugter Ladungsträger
US9214025B2 (en) * 2012-11-30 2015-12-15 Adobe Systems Incorporated Depth estimation using normalized displacement of image pairs
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP6483127B2 (ja) * 2013-08-19 2019-03-13 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの対象物の位置を求めるための検出器
US10190867B2 (en) * 2014-02-13 2019-01-29 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Real time dual mode full-field optical coherence microscopy with full range imaging
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
US9613417B2 (en) * 2015-03-04 2017-04-04 Ricoh Company, Ltd. Calibration of plenoptic imaging systems using fourier transform
WO2016197010A1 (en) * 2015-06-05 2016-12-08 Flir Systems, Inc. Systems and methods for enhanced dynamic range infrared imaging
DE102015117611A1 (de) * 2015-10-16 2017-04-20 Connaught Electronics Ltd. Linseneinrichtung für eine Kamera eines Kraftfahrzeugs mit verbessertem Klebebereich, Kamera, Kraftfahrzeug sowie Verfahren
CN106952310A (zh) * 2016-01-29 2017-07-14 法拉第未来公司 用于确定能见度状态的系统及方法
CN109073356B (zh) * 2016-02-12 2022-02-25 通用医疗公司 用于使用光学相干断层成像进行高速和长深度范围成像的装置和方法
US10469722B2 (en) 2016-08-29 2019-11-05 Facebook Technologies, Llc Spatially tiled structured light projector
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10425628B2 (en) 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
US10209360B2 (en) 2017-02-01 2019-02-19 Microsoft Technology Licensing, Llc Reduced phase sampling for high speed depth sensing
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
US10810753B2 (en) 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
US10671082B2 (en) * 2017-07-03 2020-06-02 Baidu Usa Llc High resolution 3D point clouds generation based on CNN and CRF models
US10638038B2 (en) * 2017-07-27 2020-04-28 Stmicroelectronics (Research & Development) Limited System and method for enhancing the intrinsic spatial resolution of optical sensors
US11212512B2 (en) * 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
US20190204599A1 (en) 2017-12-28 2019-07-04 Microsoft Technology Licensing, Llc Head-mounted display device with electromagnetic sensor

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227915A (en) * 1990-02-13 1993-07-13 Holo-Or Ltd. Diffractive optical element
CN1116719A (zh) * 1993-10-18 1996-02-14 松下电器产业株式会社 衍射光学器件
US5995285A (en) * 1996-07-09 1999-11-30 Canon Kabushiki Kaisha Multilevel optical diffraction device with antireflection film and exposure apparatus
US20020135825A1 (en) * 2000-07-14 2002-09-26 Chih-Kung Lee High light-sensing efficiency image sensor apparatus and method
CN1938615A (zh) * 2004-04-13 2007-03-28 松下电器产业株式会社 聚光元件以及固体摄像装置
US20070132857A1 (en) * 2005-12-12 2007-06-14 Grip Stip M Multi-mega pixel resolution with small sensor
US20080297752A1 (en) * 2007-05-29 2008-12-04 Micron Technology, Inc. Focus sensitive lithographic apparatus, systems, and methods
US20110249866A1 (en) * 2010-04-09 2011-10-13 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
US20130075607A1 (en) * 2011-09-22 2013-03-28 Manoj Bikumandla Image sensors having stacked photodetector arrays
CN103037161A (zh) * 2011-10-07 2013-04-10 三星电子株式会社 包括相位差检测像素的成像装置
US20140111620A1 (en) * 2012-10-22 2014-04-24 Samsung Electronics Co., Ltd. Imaging optical system for 3d image acquisition apparatus, and 3d image acquisition apparatus including the imaging optical system
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN107667527A (zh) * 2015-03-30 2018-02-06 X开发有限责任公司 用于检测可见光和投影图案的成像器
US20160309133A1 (en) * 2015-04-17 2016-10-20 The Lightco Inc. Methods and apparatus for reducing noise in images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115280752A (zh) * 2020-04-03 2022-11-01 高通股份有限公司 多光路成像技术和用于主动深度感测技术的共享发射器
CN115280752B (zh) * 2020-04-03 2024-05-14 高通股份有限公司 多光路成像技术和用于主动深度感测技术的共享发射器
WO2023011009A1 (zh) * 2021-08-06 2023-02-09 Oppo广东移动通信有限公司 光接收模组、深度相机及终端
US11940269B1 (en) * 2023-09-29 2024-03-26 Mloptic Corp. Feature location detection utilizing depth sensor

Also Published As

Publication number Publication date
US20190246091A1 (en) 2019-08-08
US10805594B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN110135232A (zh) 用于增强深度传感器装置的系统和方法
CN110139004A (zh) 用于增强光学传感器装置的系统和方法
US11435448B2 (en) Systems and methods for optical demodulation in a depth-sensing device
US10571668B2 (en) Catadioptric projector systems, devices, and methods
US11067692B2 (en) Detector for determining a position of at least one object
US8760499B2 (en) Three-dimensional imager and projection device
KR101951318B1 (ko) 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
CN108780142A (zh) 3d成像系统和方法
US10055881B2 (en) Video imaging to assess specularity
US20140307100A1 (en) Orthographic image capture system
CN105432080A (zh) 渡越时间相机系统
KR20190075044A (ko) 깊이 정보 결정을 위한 다중 이미터 조명
US9805454B2 (en) Wide field-of-view depth imaging
EP3069100B1 (en) 3d mapping device
CN102461186A (zh) 立体图像捕获方法、系统和摄像机
CN112823291A (zh) 飞行时间rgb-ir图像传感器
CN111510700A (zh) 图像采集装置
US11722654B1 (en) Angle sensing using the Talbot effect, an imaging sensor, and phase/quadrature demodulation
WO2022209166A1 (ja) 情報処理装置、情報処理方法、及び較正用ターゲット
US11651503B2 (en) Determining depth in a depth image
US20210033731A1 (en) Unwrapped phases for time-of-flight modulation light
TWI588441B (zh) Measuring method and apparatus for carrying out the measuring method
WO2021253308A1 (zh) 图像采集装置
KR102718698B1 (ko) 3d 이미지화 시스템 및 방법
CN109974611A (zh) 深度检测系统及其支架和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC