CN111902763B - 用于深度感测设备中的光学解调的系统和方法 - Google Patents

Abstract

示例性成像设备包括：光学传感器，其具有光轴；透镜，其被定位成将来自场景的光聚焦到光学传感器上；可变相位光学元件矩阵，其按尺寸被制造成将至少两个不同相位延迟引入到通过透镜从场景接收的光信号的波前中；壳体，其将可变相位光学元件矩阵固定在光学传感器和透镜之间；以及处理子系统，其被编程为基于至少两个不同相位延迟来确定与光信号相关联的相位差。还提供了相关系统和方法。

Description

用于深度感测设备中的光学解调的系统和方法

背景

成像系统被用在越来越多的应用(包括机器视觉)中。这种系统允许设备(例如头戴式显示器、产品分拣机、车辆等)形成直接操作环境的景象。这可以允许许多其他动作基于在设备与其环境之间的关系(例如设备相对于场景中的一个或更多个对象的位置和定向)来被执行。在用于机器视觉的深度感测系统中，至少部分地由于解调反射信号以确定相对于发射信号的相位差可能所需的电路，常规的基于相位的飞行时间(ToF)传感器可能比其他图像传感器具有更低的分辨率。相位差然后可以用于计算场景内的深度值。因此，所需要的是用于基于相位的ToF传感器的改进的成像设备、系统和方法。

概述

如下文将更详细描述的，本公开描述了实现在基于相位的ToF系统中使用的信号的光学解调的系统和方法。通过至少部分地在光域中解调信号而不是仅仅依赖于电路，在ToF深度传感器上的更多区域可以用于光感测(photosensing)，而更少的区域可以在电路上被使用。

在一个示例中，成像设备可以包括：光学传感器，其具有光轴；透镜，其被定位成将来自场景的光聚焦到光学传感器上；可变相位光学元件矩阵，其按尺寸被制造成将至少两个不同相位延迟引入到通过透镜从场景接收的光信号的波前(wavefront)中；壳体，其将可变相位光学元件矩阵固定在光学传感器和透镜之间；以及处理子系统，其被编程为基于至少两个不同相位延迟来确定与光信号相关联的相位差。

在一些实现中，可变相位光学元件矩阵当在第一位置上时可以将具有至少两个不同相位延迟中的第一相位延迟的光信号的一部分引导到光学传感器的第一像素。当光学设备的至少一个光学部件相对于光学设备的另一个光学部件横向移位时，可变相位光学元件矩阵可以将具有至少两个不同相位延迟中的第二相位延迟的光信号的一部分引导到光学传感器的第一像素。可变相位光学元件矩阵可以包括衍射光学元件，该衍射光学元件将具有至少两个不同相位延迟中的第一相位延迟的光信号的一部分引导到光学传感器的第一像素，并将具有至少两个不同相位延迟中的第二相位延迟的光信号的一部分引导到光学传感器的第二像素。至少两个不同相位延迟中的第二相位延迟可以与至少两个不同相位延迟中的第一相位延迟分隔开携带光信号的光的波长的预定分数。在一些实现中，当光学设备的至少一个光学部件相对于光学设备的另一个光学部件横向移位时，可变相位光学元件矩阵可以将具有第三相位延迟的光信号的一部分引导到光学传感器的第一像素，并且可以将具有第四相位延迟的光信号的一部分引导到光学传感器的第二像素。成像设备的光学部件可以将具有至少两个不同相位延迟中的第一相位延迟的光信号的第一部分引导到光学传感器的第一像素，将具有至少两个不同相位延迟中的第二相位延迟的光信号的第二部分引导到光学传感器的第二像素，将具有至少两个不同相位延迟中的第三相位延迟的光信号的第三部分引导到光学传感器的第三像素，并且将具有至少两个不同相位延迟中的第四相位延迟的光信号的第四部分引导到光学传感器的第四像素。光学部件可以包括透镜、光学传感器或可变相位光学元件矩阵中的至少一个。

在一些实现中，至少两个不同相位延迟中的第一相位延迟可以与至少两个不同相位延迟中的第二相位延迟具有90°的相位差(out of phase)。至少两个不同相位延迟中的第二相位延迟可以与至少两个不同相位延迟中的第三相位延迟具有90°的相位差。至少两个不同相位延迟中的第三相位延迟可以与至少两个不同相位延迟中的第四相位延迟具有90°的相位差，第一相位延迟、第二相位延迟、第三相位延迟和第四相位延迟产生允许光学正交解调的信号。光学传感器可以包括单独光敏区域的阵列，单独光敏区域中的每个区域具有小于约2微米×约2微米的面积。

在一些实现中，可变相位光学元件矩阵可以包括布置在透镜和光学传感器之间的第一衍射光学元件(DOE)和布置在透镜和第一DOE之间的第二DOE，第一DOE和第二DOE产生至少两个不同相位延迟。第一DOE可以包括具有突出特征的第一图案的第一基板，以及第二DOE可以包括具有突出特征的第二图案的第二基板，突出特征的第一图案和突出特征的第二图案具有不同的周期性。成像设备还可以包括将第一DOE和第二DOE耦合到壳体的定位系统，其中定位系统独立地定位第一DOE和第二DOE，以改变与光学传感器的第一像素相关联的相位延迟。成像设备可以包括将光信号作为脉冲光信号投射到待成像的场景上的光投射器，脉冲光信号从场景中的对象反射并被透镜引导到光学传感器。脉冲光信号可以包括在从大约800nm到大约1000nm的波长范围内的光。脉冲光可以由连续波调制，该连续波是正弦波或方波中的至少一种。

在另一个示例中，成像设备可以包括：光学传感器，其具有光轴和光敏像素阵列；透镜，其被定位成将来自场景的光聚焦到光学传感器上；衍射光学元件(DOE)，其具有特征，该特征按尺寸被制造成将至少两个不同相位延迟引入到通过透镜从场景接收的光信号的波前中，以至少部分地光学解调光信号；壳体，其将DOE固定在光学传感器和透镜之间；以及处理子系统，其被编程为基于由光学传感器从DOE接收的被至少部分地光学解调的光来确定与光信号相关联的相位差。

在一些实现中，DOE的特征中的至少一个特征的宽度实质上与光敏像素阵列的第一像素的宽度相同。处理子系统可以被编程为执行对至少两个相位延迟中的延迟的校准，并且处理子系统可以基于对至少两个相位延迟中的延迟的校准来确定与光信号相关联的相位差。

在另一示例中，用于生成场景的三维图像的方法可以包括：从光学传感器的第一像素接收第一电子信号，该第一电子信号表征具有第一相位延迟的反射光信号的第一部分；从光学传感器的第二像素接收第二电子信号，该第二电子信号表征具有不同于第一相位延迟的第二相位延迟的反射光信号的第二部分；基于第一电子信号和第二电子信号确定反射光信号的相位特性；基于所确定的相位特性来确定在光学传感器和反射该反射光信号的表面之间的距离；以及基于所确定的相位特性和来自光学传感器的第一像素和第二像素的所接收的第一电子信号和第二电子信号，生成场景的三维图像。

在一些实现中，该方法可以包括：从光学传感器的第三像素接收第三电子信号，该第三电子信号表征具有第三相位延迟的反射光信号的第三部分；以及从光学传感器的第四像素接收第四电子信号，该第四电子信号表征具有第四相位延迟的反射光信号的第四部分，其中第一相位延迟、第二相位延迟、第三相位延迟和第四相位延迟是不同的。反射光的第一部分、第二部分、第三部分和第四部分可以实质上同时由光学传感器接收。

在一些实现中，该方法还可以包括：激活定位系统以将可变相位光学元件矩阵移动到改变的位置，可变相位光学元件矩阵按尺寸被制造成将相位延迟引入到反射光的波前中，该反射光可以包括反射光信号；当该矩阵在改变的位置上时，从光学传感器的第一像素接收第三电子信号，第三电子信号表征具有第三相位延迟的反射光信号的第三部分；以及当矩阵在改变的位置上时，从光学传感器的第二像素接收第四电子信号，第四电子信号表征具有第四相位延迟的反射光信号的第四部分，其中第一、第二、第三和第四相位延迟是不同的。该方法还可以包括基于第一、第二、第三和第四电子信号确定在反射光信号和先前发射的光信号之间的相位差，以及激活脉冲光信号到场景内的发射，该脉冲光信号从场景中的对象反射作为反射光信号。激活定位系统以提供不同透视图(perspective)可能引起可变相位光学元件矩阵在不同透视图之间的抖动。

根据本文描述的一般原理，来自上面提到的实施例中的任一个的特征可以与彼此组合地被使用。当结合附图和权利要求阅读下面的详细描述时，这些和其他实施例、特征和优点将被更充分地理解。

附图简述

附图示出了若干示例性实施例，并且是说明书的一部分。这些附图连同下面的描述一起展示和解释了本公开的各种原理。

图1是根据一些实施例的包括处理子系统、光学传感器设备和输入/输出(I/O)接口的光学传感器系统的框图。

图2是根据一些实施例的图1的成像设备的横截面图。

图3A、3B、3C和3D是根据一些实施例的示例性成像设备的横截面图。

图4A、4B、4C和4D是根据一些实施例的示例性可变相位光学元件矩阵的横截面图。

图5A、5B、5C和5D是根据一些实施例的成像设备和用该成像设备成像的场景的横截面图。

图6A、6B和6C示出了根据一些实施例的常规采样的视场(FOV)和过采样的FOV。

图6D、6E、6F和6G示出了根据一些实施例的与成像系统相互作用的光的透视图。

图7A和7B是根据一些实施例的光学地解调深度传感器设备的横截面图。

图8A示出了根据一些实施例的发射信号和反射信号的基于时间的比较。

图8B示出了根据一些实施例的具有示例性光学采样方案的单位圆。

图9A是根据一些实施例的用于使用可变相位光学元件矩阵来生成分辨率增强的输出图像的方法的流程图。

图9B是根据一些实施例的用于使用可变相位光学元件矩阵来生成具有场景的深度特性的输出图像的方法的流程图。

图9C是根据一些实施例的用于使用可变相位光学元件矩阵来生成相位延迟的入射光信号用于在电相位鉴别(electrical phase discrimination)操作中使用的方法的流程图。

图10是根据一些实施例的图1的成像系统的HMD实现的透视图。

图11是根据一些实施例的图10的HMD的前刚性主体的横截面图。

在全部附图中，相同的参考符号和描述指示相似但不一定相同的元件。虽然本文所述的示例性实施例能接受各种修改和替代形式，但是特定的实施例在附图中作为例子被示出并且在本文将被详细地描述。然而，本文描述的示例性实施例并没有被规定为限于所公开的特定形式。更确切地，本公开涵盖落在所附权利要求的范围内的所有修改、等同物和替代方案。

示例性实施例的详细描述

本公开总体上涉及使用可变相位光学元件(例如衍射光学元件(DOE))矩阵来将相位延迟引入到通过透镜接收的光的波前中的系统、设备和方法，从而增强捕获场景的各方面的光学传感器和设备的性能。这些增强可以是光如何穿过可变相位光学元件的功能，并且在一些实施例中也可以是将光学设备的所述矩阵或另一光学部件(例如传感器或透镜)移位的功能。例如，由可变相位光学元件矩阵引入的相位延迟可以使光学传感器能够捕获场景的至少两个不同透视图，并且本文提出的系统和设备可以使用不同的透视图来提供或增加光学设备的输出图像或帧的(例如在角度、深度和/或光谱维度上的)分辨率。

本文公开的设备可以使用可变相位光学元件来以各种不同的方式和为了许多不同的目的捕获场景的不同透视图。例如，DOE可以被配置为当在初始位置上时将来自场景的光作为干涉图案分散在光学传感器上，光学传感器可以捕获干涉图案作为场景的第一透视图。DOE可以横向移位到第二位置，使得所得到的干涉图案代表场景的另一个透视图，其也可以被光学传感器捕获。这两个透视图可以被处理以增加角度分辨率(例如通过过采样)或提供深度感测(例如通过三角测量(triangulation)和/或相位鉴别)。例如，可以在两个透视图之间使用三角测量、通过使用DOE将这两个透视图提供给单个光学传感器来获得场景的深度值。作为另一个例子，在可变相位光学元件层或矩阵内的每个元件可以被配置为确定性地相移的并将光聚焦到光学传感器的特定像素(或像素组)上。可以代表场景的不同透视图的这些相移后的波前可以被捕获、混合并与参考信号相比较以检测在场景内的深度。

本公开的实施例也可以在具有不同配置(例如，具有静止或可移动的光学部件的配置)的各种类型的系统(例如传统的CMOS传感器系统、飞行时间(ToF)系统、高光谱成像系统等)内实现。作为具有可移动的光学部件的实现的例子，成像设备可以包括可变相位光学元件矩阵和致动器，可变相位光学元件被定位在图像传感器的单独像素上方，致动器被配置为移动成像设备的部件(例如，矩阵、传感器、透镜等)以获得代表每像素两个不同瞬时视场(iFOV)的两个不同图像。该系统然后可以分析这些图像以获得或推断被成像场景的附加空间信息。在具有ToF传感器的一些示例中，可以通过使用常规的大像素ToF传感器系统并平移该部件以对图像平面或场景的部分过采样来以更高的空间分辨率捕获场景。在具有非ToF传感器(例如传统的CMOS传感器)的示例中，该系统可以对不同的iFOV执行三角测量操作和/或相位鉴别操作以计算场景的深度图(depth map)。对于非ToF传感器和ToF传感器，该系统还可以在相移后的iFOV之间内插(interpolate)，以提高由传感器捕获的图像的角度分辨率。

过采样过程也可用于增加在各种高光谱成像系统(例如快照高光谱成像系统)中的空间分辨率。传统的高光谱成像可以使用直接布置在传感器上以对在光谱域中的宽带光采样的高光谱滤波器(例如平铺滤波器(tiled filter)、马赛克滤波器(mosaic filter)等)，这可以以空间分辨率为代价来提高光谱分辨率。相反，所提出的高光谱成像系统可以将高光谱滤波器与传感器解耦合，并将可变相位光学元件定位在滤波器和传感器之间，以便于空间过采样和提高空间分辨率。例如，通过平移可变相位光学元件以通过高光谱滤波器的单独窗口对图像平面或场景的部分过采样，可以以更高的空间分辨率在高光谱图像中捕获场景。

除了被用于通过三角测量、相位鉴别和过采样来提高分辨率之外，本文公开的光学元件还可以被配置成替换解调系统的至少一个电相移部件。例如，光学设备可以包括被定位在传感器上方的可变相位光学元件以将确定性相移引入到入射波前中。该系统然后可以在传感器处捕获相移图像，并将它们发送到解调电路，该解调电路(1)使用图像来确定入射波前相对于所传输的载波信号的相移，以及(2)使用相移来识别在场景内的深度。在一些示例中，该系统可以通过比较两个相移信号来提供相对低的相位分辨率，或者可以通过比较若干个(例如三个或更多个)相移信号来提供较高的相位分辨率。在ToF深度传感器中可以使用相移信号来执行飞行时间测量。此外或可选地，该系统可以包括被配置成引入传统上由电气部件处理的相移的单个可变相位光学元件层或可变相位光学元件的堆叠层。这种堆叠或分层配置的示例被包括在下面更详细描述的图3C、3D和6G中。

在这样的系统中，每个光学部件可以固定在单个位置上和/或可在垂直于光轴的平面中的两个或更多个位置之间移动。例如，具有固定光学部件的系统可以在入射波前中引入两个或更多个不同的相移。这些相移信号然后可以被混合并与参考信号进行比较。作为另一个示例，全局快门(global shutter)系统可以包括创建两个相移光路的光学元件，当光学元件在第一位置上时，这两个相移光路被传感器捕获并存储。然后，该系统可以将光学元件移位到第二位置以创建两个附加的相移光路，它们也可以被传感器捕获。作为结果，传感器可以同时向电正交解调部件提供四个相移信号，在该电正交解调部件处，它们可以被混合并与参考信号进行比较以创建场景的深度图。本公开的实施例还可以提供优于传统光学传感器系统的各种其他配置、特征和优点，如下面参考图1-11更详细讨论的。

下文将参考图1-11提供用于增强光学传感器设备的示例性系统、设备和方法的详细描述。例如，附图和伴随的描述展示本公开的实施例如何可以克服常规光学传感器(光学图像传感器和光学深度传感器)的某些限制。

图1是光学传感器系统100的一个实施例的框图。图1所示的光学传感器系统100可以包括光学传感器设备105和输入/输出(I/O)接口115，这两者都可以耦合到处理子系统110。在一些实施例中，光学传感器设备105、处理子系统110和/或I/O接口115可以集成到单个壳体或主体中。其他实施例可以包括光学传感器系统100的分布式配置，其中光学传感器设备105可以在分离的壳体或外壳中，但是仍然通过有线或无线通信信道耦合到处理子系统110。例如，光学传感器设备105可以耦合到由外部游戏控制台或外部计算机(例如桌上型或膝上型计算机等)提供的处理子系统110。处理子系统110也可以是设计成与光学传感器系统105特别协作以执行本文描述的各种操作的专用硬件部件。

虽然图1描绘了包括至少一个光学传感器设备105和至少一个I/O接口115的示例性光学传感器系统100，但在其他实施例中，任意数量的这些部件可以被包括在光学传感器系统100中。例如，可以有与处理子系统110通信的多个光学传感器设备105。在替代配置中，不同的和/或附加的部件可以被包括在光学传感器系统100中。另外，结合图1所示的一个或更多个部件描述的功能可以以与结合图1描述的不同方式分布在部件之间。例如，处理子系统110的一些或全部功能可以由在光学传感器设备105中包括的部件(例如包括集成图像处理器的光学传感器设备105的片上系统(SOC)实现)提供。

光学传感器设备105的一些实施例可以包括成像设备120、电子显示器125、光学组件130(也被称为光学块130)、一个或更多个位置传感器135和惯性测量单元(IMU)140。光学传感器设备105的一些实施例可以具有与结合图1描述的部件不同的部件。

成像设备120可以捕获表征围绕光学传感器设备105的一部分或全部的场景或局部区域的数据。在一些实施例中，成像设备120可以包括传统的图像传感器，使得由成像设备120捕获的信号仅包括二维图像数据(例如没有深度信息的数据)。在一些实施例中，成像设备120可以作为深度成像系统来操作，该深度成像系统使用所收集的数据(例如，根据一个或更多个计算机视觉方案或算法基于所捕获的光，通过处理结构光图案的一部分，通过飞行时间(ToF)成像，通过同步定位和映射(SLAM)等)来计算场景的深度信息，或者成像设备120可以将相应的数据传输到另一设备(例如处理子系统110)，该另一设备可以使用来自成像设备120的数据来确定或生成深度信息。为了实现或增强这种计算机视觉方案，在一些实施例中，成像设备120可以包括投射器设备。

在一些实施例中，成像设备120可以是高光谱成像设备，其可以将场景表示为光的多个谱，使得在场景内的可以利用特定波长的光被最佳地可视化的不同特征或对象可以更好地被理解、分析和/或可视地或定量地被描述。

在包括电子显示器125的实施例中，电子显示器125可以根据从处理子系统110接收的数据来向用户显示二维或三维图像。在包括电子显示器125的实施例中，光学组件130可以放大从电子显示器125接收的图像光，校正与图像光相关联的光学误差，和/或将校正后的图像光呈现给光学传感器设备105的用户。

图1中的I/O接口115可以表示允许用户发送动作请求和从处理子系统110接收响应的设备。在一些实施例中，外部控制器可以通过I/O接口115发送这样的动作请求以及接收这样的响应。在一些示例中，动作请求可以表示执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令或者在应用内执行特定动作的指令。I/O接口115可以包括一个或更多个输入设备。示例性输入设备包括键盘、鼠标、手持控制器或者用于接收动作请求并将动作请求传送到处理子系统110的任何其他合适的设备。

处理子系统110可以从光学传感器设备105接收数据用于处理，以提取信息或将数据集进行组合。在一些实施例中，处理子系统110可以根据从成像设备120、光学传感器设备105和I/O接口115中的一个或更多个接收的信息，来向光学传感器设备105提供内容用于处理。在图1所示的示例中，处理子系统110包括图像处理引擎160、应用储存器150和跟踪模块155。处理子系统110的一些实施例可以具有与结合图1描述的模块或部件不同的模块或部件。类似地，下面进一步描述的功能可以以与结合图1描述的不同方式分布在处理子系统110的部件之间。

应用储存器150可以存储用于由处理子系统110或由光学传感器设备105执行的一个或更多个应用或指令集。在一些示例中，应用可以表示一组指令，其当由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由光学传感器设备105或I/O接口115的移动从用户接收的输入而生成。应用的示例包括游戏应用、会议应用、视频回放应用或其他合适的应用。应用储存器150可以是非暂时性存储器储存器，其也存储从成像设备120或从在光学传感器设备105中包括的其他源获得的、或者从处理子系统110接收的数据。在应用储存器150中的一些示例性应用可以包括用于执行本文描述的方法的指令。

跟踪模块155可以使用一个或更多个校准参数来校准光学传感器系统100，并且可以调整校准参数以减少在光学传感器设备105或I/O接口115的位置的确定中的误差。此外，跟踪模块155可以使用来自成像设备120、一个或更多个位置传感器135、IMU 140或其某种组合的信息来跟踪光学传感器设备105或I/O接口115的移动。

引擎160可以基于从光学传感器设备105或从其部件例如成像设备120接收的信息，生成围绕光学传感器设备105的一部分或全部的区域(例如“场景”或“局部区域”)的一个三维深度映射或多个三维深度映射。在一些实施例中，引擎160可以基于从成像设备120接收的、与在计算深度图时使用的技术相关的二维信息或三维信息，生成场景的三维映射的深度信息。深度图可以包括对于在深度图中的每个像素的深度尺寸值，这些深度尺寸值可以表示场景的多个不同部分。引擎160可以在从结构光或非结构光计算深度时使用一种或更多种技术来计算深度信息。在各种实施例中，引擎160可以使用深度信息来例如生成或更新局部区域的模型，并可以部分地基于模型来生成内容。例如，引擎160可以基于在ToF深度传感器系统中的发射信号和接收信号来识别第一延迟分量或相位差

相位差

可以由引擎160通过从所测量的相位差

中减去已知的或确定性的第二延迟分量

来确定，如在本文更详细描述的。

此外，光学传感器系统100可以包括通信总线165，该通信总线165可以在光学传感器设备105的单独部件、处理子系统110和/或I/O接口115之间传输信息，以允许单独部件根据本文描述的实施例来协作。I/O接口115可以允许光学传感器系统100经由有线或无线通道与外部设备和/或系统附件(例如附加的独立传感器系统、手持控制器等)交互作用。

图2是根据一些实施例的图1的光学传感器设备105的成像设备120(其被称为成像系统200)的横截面图。如在图2中看到的，成像系统200包括具有光学传感器212的成像设备210，光学传感器212可以接收在可见波长范围(包括或不包括红外波长范围)内和/或周围的电磁信号，并将这些电磁信号转换成电子信号，该电子信号可以随后被处理以提取关于在成像设备210的前方的成像环境的信息。成像系统200还可以包括光投射器设备250，光投射器设备250可以包括光源252和至少一个透镜254，光源252产生在期望光谱中的光，至少一个透镜254用于控制来自光源252的光的扩散(spread)和方向。投射器设备250可以配置有反射镜、滤波器、透镜和可以用于整形、引导和/或过滤由光源252发射或投射到局部环境或场景中的光的其他光学部件。光源252可以被配置成发射结构光或非结构光，并且可以被配置成提供稳定的光或由脉冲或连续波函数调制的光。如图2所示，成像设备210和光投射器设备250可以通过印刷电路板(PCB)202耦合在一起。在一些实施例中，发射光可以用作参考信号，以与反射光信号进行比较。PCB 202可以包括将成像设备210和光投射器设备250都耦合到电源和/或外部处理设备或系统(例如图1的处理子系统110)的多条引线。

如本文所述的，成像设备210可用于允许常规图像捕获系统除了二维图像信息之外还提供深度信息，对从场景反射的光过采样以提高深度图像的分辨率，实现光学解调以检测在反射光信号和参考光信号中的相位差，和/或将高光谱图像的分辨率提高到超出由高光谱滤波强加的限制。

图3A、3B、3C和3D是根据一些实施例的示例性成像设备的横截面图。如图3A所示，成像设备310A可以包括光学传感器312，光学传感器312可以沿着光轴314与透镜316对准。光学传感器312可以是常规CMOS图像传感器，其被配置为捕获信息用于呈现为二维图像或图像文件，而不捕获任何深度信息。在其他实施例中，可以使用其他光学传感器，包括被设计成捕获三维图像的光学传感器。光学传感器312可以包括单独的光敏或光反应区或区域(被称为光电探测器或像素)的二维阵列。像素可以由光电二极管(例如单光子雪崩二极管(SPAD))、光敏电阻器或其他合适的光电探测器提供。光学传感器312还可以包括用于从阵列的像素读取和重置阵列的像素的控制电路，并且还可以包括图像处理电路。在光学传感器312中包括的图像处理电路可以包括执行自动聚焦操作、颜色校正和白平衡操作、压缩和格式化操作、和/或如本文所述的其他操作和过程的电路。

在一些实施例中，光学传感器312可以被配置成捕获主要在可见波长范围内的光。例如，光学传感器312可以包括直接布置在光学传感器312上或上方的光学层318。在一些实施例中，光学层318可以包括红外滤波器和/或抗反射涂层。在其他实施例中，光学层318可以被省略，或者可以包括抗反射涂层，但不包括红外滤波器或其他滤色器。另外，光学层318的一些实施例可以包括可见波长滤波器，其阻挡或抑制在可见光谱中的光，同时允许其他光(例如预定波长范围的红外光)被光学传感器312接收。在一些实施例中，光学传感器312可以是另一种类型的传感器，例如ToF传感器，其检测在发射光波或光信号(例如由图2的光投射器设备250发射的光)的直接传输和反射传输之间的时间延迟或相位差。如在本文进一步描述的，ToF传感器可以被配置为识别在发射光中包括的相位信号，作为相位区分过程(phase differentiation process)的一部分，并且从所反射的相位信号恢复的相位差可以在确定深度时被利用，如在本文更详细描述的。

成像设备310A还可以包括光学矩阵320，光学矩阵320沿着光轴314布置在透镜316(其可以表示多个透镜)和光学传感器312之间。光学矩阵320可以是滤波器、透镜、小透镜(lenslet)、棱镜、折射阵列和/或其他光学元件的集合或矩阵，这些光学元件可以通过改变光的方向、将光聚焦在光学传感器312的特定区域上和/或将相位延迟引入到光中来改变被透镜316引导到光学传感器312的光。与单个透镜不同，光学矩阵320的一些实施例可以对穿过其的光有不连续的影响，使得光学矩阵320的效果可以不由沿着光学矩阵320的表面的连续函数所描述。更确切地，光学矩阵320可以产生期望的干涉图案。光学矩阵320可以具有存在于至少一个表面上的可变相位光学元件矩阵。如图3A所示，光学矩阵320可以至少在光学矩阵320的最靠近光学传感器312的一侧上包括可变相位光学元件矩阵。在本文描述的一些实施例中，光学矩阵320可以是DOE，如下面更详细描述的。

DOE可以通过使用干涉和衍射来操作，以在穿过的光中产生期望的变化。例如，基于在特定DOE上的光学元件的图案，DOE可以作为光束成形器操作，以在透射光中产生期望的图案。光学矩阵320可以包括使光以期望的图案被引导到光学传感器312中的单独像素或像素组的光学元件矩阵。因此，在光学矩阵320的一些实施例中，DOE可以用于引导光和/或将期望的相位延迟引入到被引导到光学传感器312中的特定像素的光中。可以由DOE引起的图案的一些示例被包括在图6B-6G中，下面会更详细地描述它们。

光学矩阵320可以以多种方式耦合到透镜316和光学传感器312。例如，光学矩阵320的一个或多个边缘可以通过壳体322机械地固定在透镜316和光学传感器312之间(例如，壳体322可以包括与透镜316的外部尺寸相匹配的所形成的相应凹槽或通道)。透镜316也可以通过化学手段例如粘合剂被固定到壳体322。壳体322可以类似地耦合到光学矩阵320。例如，光学矩阵320可以以固定的关系(例如通过粘合剂或牢固的压配合(press-fit)关系)耦合到壳体322，或者以可移动的关系耦合到壳体322，使得光学矩阵320可以在至少一个维度上相对于壳体322移动，从而在至少一个维度上相对于光学传感器312移动。例如，光学元件矩阵320可以包括位于在壳体322的内壁中形成的一个或更多个通道324内的部分，该内壁将光学矩阵320限制成在实质上平行于光学传感器312的两个维度上移动。

此外或替代地，光学矩阵320可以通过定位系统326的一个或更多个部件被固定到壳体322。如图3A所示，定位系统326的所描绘的部件可以单独地被称为定位部件326A和定位部件326B。定位系统326的部件或多个部件可以由一个或更多个微机电系统(MEMS)致动器或设备、音圈电机或适于集成到成像设备310A中的其他小尺度主动定位部件来提供。

通过被包括在光学传感器312或外部处理设备上的电路的操作，光学矩阵320可以以受控的方式定位在实质上平行于光学传感器312本身并且正交于光轴314的平面中。在一些实施例中，光学矩阵320可以进一步通过定位系统326而沿着光轴314移动。当光学矩阵320平行于光学传感器312移动时，被引导到光学矩阵320的单独元件的光可以从光学传感器312的第一像素或第一组像素被重定向到光学传感器312的第二像素或第二组像素。因此，光学矩阵320的移动可以导致在光学矩阵320中的任何给定像素的FOV(例如像素的iFOV)的相应移动。在一些实施例中，被引导到第一像素或第一组像素的光在光学矩阵320移动之后可以具有与在这种移动之前不同的相位延迟。

图3B描绘了根据一些实施例的示例性成像设备310B的横截面图。成像设备310B共享先前结合图3A的成像设备310A描述的许多特征。成像设备310B可以包括固定在壳体322内的光学传感器312和透镜316。成像设备310B还可以包括像图3A的光学矩阵320一样的光学矩阵。图3B的光学矩阵可以被称为DOE 330，但是在其他实施例中可以由另一种类型的光学矩阵提供。DOE 330可以是具有至少一个改性表面(modified surface)的实质上平坦的结构，可变相位光学元件矩阵在该改性表面上。在一些实施例中，短语“实质上平坦的”可以指元件(例如，DOE 330)具有的功能部分是平坦的或者作为制造缺陷等的结果偏离平面以提供光栅特征。另外，构成在改性表面上的矩阵的图案化特征可以包括具有相同高度的多个特征，使得特征可以位于公共平面之下。DOE 330的可变相位光学元件可以由从基板突出或凹进基板内的成形特征形成。DOE 330可以具有表面图案，该表面图案将从透镜316接收的光折射成特定图案，该特定图案被传输到光学传感器312，和/或可以将多个不同的相位延迟引入到从透镜316穿过到光学传感器312的光中。

虽然DOE 330的一些实施例可以在一侧上包括形成可变相位光学元件矩阵的图案化特征(在图3B中示出，该特征在DOE 330的最靠近光学传感器312的一侧上形成)，但是一些实施例可以在DOE 330的两侧上包括这样的特征。在一些实施例中，一个或更多个微透镜(如微透镜332)可以布置在DOE 330的最靠近透镜316的一侧上。微透镜的尺寸和位置可以被确定成遵循相对于DOE 330的图案和/或光学传感器312的像素图案和间距。DOE 330的一些示例性实施例在图4A-D中示出。

图4A、4B、4C和4D是根据一些实施例的示例性DOE的横截面图，每个DOE包括可变相位光学元件矩阵。DOE的基板和特征可以由光学玻璃(例如熔融石英或另一种类型的玻璃)或者由各种聚合物材料形成。在一些实施例中，可以通过蚀刻工艺或通过沉积或浮雕(emboss)工艺来将DOE图案化。

如图4A所示，DOE 400A可以具有主基板主体402和在主基板主体402上或中形成的多个光学特征404。特征404可以是在主体402的表面上形成方波状轮廓的简单台阶(step)特征。特征404可以具有高度H1和宽度W1，它们每个都可以是任何合适的长度。在一些实施例中，高度H1可以在从大约10纳米(nm)、50nm或100nm到大约1微米、2微米或更多的范围内。可以基于已知光源的波长和可归因于主体402和特征404的材料的光学性质来确定高度。在一些实施例中，宽度W1的范围可以从约500nm至约5微米。作为另一个示例，穿过DOE 400A的最厚部分的总高度H2可以在从大约100nm到大约800微米的范围内。此外，在一些实施例中，在特征404之间的间隙的宽度W2可以与宽度W1相同或不同。在一些示例中，宽度W2可以在从大约500nm到大约5微米的范围内。特征404的侧壁可以与基板主体402形成角度θ1。在一些实施例中，角度θ1可以在从大约85°到大约95°的范围内。在其他实施例中，角度θ1可以在从大约90°到大约175°的范围内。具有更大角度的DOE的示例可以在图4C和4D中看到。

虽然在图4A中的DOE 400A被描绘为具有分隔开相同宽度的、在高度和宽度上尺寸相同的特征，但是图3B的DOE 330的一些实施例可能包括更复杂、但重复的光学特征图案。图案可以对应于光学传感器312的方面，例如光学传感器312的像素的尺寸。另外，特征404的高度(如高度H1)可以对应于光的特定波长。例如，当图2的投射器设备250被已知发射或投射在850nm左右的窄波长带中的光时，DOE 330或400A(或具有可变相位光学元件的重复图案的任何其它这样的光学矩阵)可以具有高度为H1的特征，H1为波长的预定分数。例如，当投射光的波长为850nm左右时，一个特征404可具有约212.5nm(四分之一)的高度H1、约425nm(二分之一)的高度、约637.5nm(四分之三)的高度或约850nm的高度。DOE 400A的一些实施例可以包括具有所有这些示例性高度的特征404。在一些实施例中，可以基于DOE的折射率或其他材料性质来修改高度。因此，DOE或其他光学矩阵的特征的高度可以是由图2的光源252产生的光的预定波长的函数，和/或是DOE的材料性质/光学性质(例如材料的折射率)的函数。

图4B描绘了具有复合台阶特征406的DOE 400B的横截面。重复特征406包括多个台阶，每个台阶具有在主体402之上的不同高度。图4C和4D分别包括DOE 400C和400D的横截面的描绘，DOE 400C和400D分别具有由特征408和410提供的甚至更复杂的表面。本文描述的DOE或其他光学部件可以在x方向和y方向上相同或不同地被图案化。在各种实施例中，在本文描述的DOE 400A-D和其他光学矩阵的实施例中包括的特征和特征图案可以具有不同的周期，使得特征可以被分隔开1微米、2微米、4微米等。

返回到图3A-3D，图3C描绘了成像设备310C，该成像设备310C在许多方面分别类似于图3A和3B的成像设备310A和310B。成像设备310C可以包括光学传感器312、透镜316和光学矩阵320，它们都可以固定到壳体322。如本文所述，光学矩阵320可以通过定位系统326的一个或更多个定位部件固定到壳体322。成像设备310C还可以包括通过定位系统326的附加部件固定到壳体322的附加光学矩阵340。光学矩阵320和340可以被理解为堆叠的光学矩阵。如图3C所示，光学矩阵340可以通过定位部件342A和342B固定到壳体322，定位部件342A和342B可以类似于定位系统326的定位部件326A和326B。定位部件342A和342B可以与定位系统326的其他定位部件分开地被致动，使得光学矩阵320可以与光学矩阵340分开地被定位和重新定位。虽然图3C的所描绘的实施例将光学矩阵320和340都示为可移动的，但是成像设备310C的一些实施例可以使光学矩阵320和340中的一个或两个相对于光学传感器312和光轴314固定在适当的位置上。可以用具有不同周期和/或取向的图案来将光学矩阵图案化。例如，光学矩阵320可以具有在第一方向上延伸的线性突起的图案，而光学矩阵340可以具有在第二、正交的方向上延伸的线性突起的图案。

在一些实施例中，光学矩阵320和光学矩阵340可以被考虑为在单个堆叠的光学矩阵中的层或部件，使得光学矩阵具有额外的维度。例如，图3A和3B的光学矩阵320可以包括由第一DOE提供的第一光学元件层，并且还可以包括由第二DOE提供的第二光学元件层。第一DOE和第二DOE可以是相对于彼此固定的，或可以是可移动的。

图3D描绘了可以类似于图3A-3C的成像设备310A-310C的成像设备310D的横截面视图。成像设备310D可以包括固定到壳体322的光学传感器312、透镜316和一个或更多个附加光学部件。因此，成像设备310D可以包括光学部件的堆叠配置，例如光学矩阵320和340的堆叠配置。在光学部件的堆叠配置中，沿着光轴314并在透镜315和光学传感器312之间布置的多个光学部件可用于改变穿过其朝向光学传感器312的光。每个部件可以添加预定的改变，例如预定的相位延迟、方向的改变或相关联的iFOV的改变。因此，在堆叠配置中的光学部件可协作以对被导向光学传感器312的光提供期望的效果，如在本公开的另外部分中进一步描述的。

成像设备310D还可以包括高光谱滤波器350。高光谱滤波器350可以包括多个过滤窗口，其中每个窗口或每种类型的窗口使特定波长的光通过。在一些实施例中，可以通过在对宽范围的波长透明的基板上沉积材料层来形成窗口。在一些实施例中，窗口被形成为使得它们在滤波器350的整个主基板上以直线延伸。在其他实施例中，窗口可以是平铺的或马赛克化的窗口，使得每个像素具有对应的窗口或像素组(例如，4像素×4像素、4像素×8像素、10像素×10像素等)与特定的窗口相关联。在高光谱滤波器350中的平铺的或马赛克化的窗口可以在高光谱滤波器350的整个表面上布置成重复图案。在包括高光谱滤波器350的实施例中，光学矩阵320和/或光学传感器312可以省略沉积在其上的滤色器阵列。此外，在成像设备310D的一些实施例中，高光谱滤波器350可以通过固定的或可移动的定位部件(如本文描述的用于将光学矩阵固定到壳体的那些定位部件)固定到壳体322。

本公开的实施例可以在高光谱成像系统内实现空间过采样和/或光谱过采样。成像设备310D的光学部件的移动可以通过将场景的iFOV移位来提供光谱过采样，使得iFOV在第一位置上通过初始波长光谱的滤波器并且在第二位置上通过不同波长光谱的滤波器来捕获。例如，光学矩阵320和/或光学矩阵340中的一个或两个可以被移动，使特定像素的iFOV移位以经由不同的光谱滤波器来捕获。通过经由多个不同的滤波器捕获场景的iFOV，可以创建更高分辨率的光谱图像。

为了提供空间过采样，成像设备310D可以用于当光学部件(例如光学矩阵320)在第一位置上并且将过滤后的光通过第一滤波器窗口引导到第一像素时捕获场景的第一透视图，以及当光学部件在第二位置上并且将过滤后的光通过第一滤波器窗口引导到第一像素时捕获场景的第二透视图。换句话说，当在第一位置上时，光学矩阵320可以使一个像素(或一组像素)能够通过特定的光谱滤波器捕获第一iFOV。当移动到第二位置时，光学矩阵320可以使该像素(或像素组)能够通过同一光谱滤波器捕获第二iFOV。为了产生增强的高光谱图像，在不同的时间(即当可移动光学矩阵320和/或340在不同的位置配置中时)从像素收集的信息可以由图1的处理子系统110组合以创建具有增加的空间分辨率的输出图像。

图5A、5B、5C和5D是根据一些实施例的示例性成像设备和用其成像的对象的横截面图。图5A-5D可提供光学部件(例如，如本文所述的光学矩阵)可以如何改变给定像素或像素组的iFOV的示例。如图5A所示，成像设备500A可以包括光学传感器502和透镜506，在光学传感器502上具有多个像素(包括像素504)，透镜506将来自场景508的光的一部分聚焦在像素504上，如所描绘的。传感器502的每个像素可以具有定义场景508的一部分的iFOV。给定像素的iFOV可以用角度来表示，但是为了方便，在图5A中被示为场景508的扁平状部分(flat portion)。根据本公开的方面，成像设备500A不包括可定位的光学部件，例如光学矩阵或另一光学部件。

图5B描绘了可以包括光学传感器502、透镜506和光学矩阵510的成像设备500B。此外，成像设备500B的一些实现可以包括布置在透镜506和光学传感器502之间的图3D的高光谱滤波器350。如本文所描述的，光学矩阵510可以包括可变相位光学元件矩阵，并且可以由透镜的阵列、光栅或由DOE等提供。光学矩阵510可以使与像素504相关联的iFOV在尺寸上从图5A的iFOV 512减小至图5B的iFOV 514B。

如图5C和5D所示，光学矩阵510可以平行于光学传感器502移动或移置。当光学矩阵510平行于光学传感器502移动或重新定位时，像素504的iFOV可以移位。iFOV可以在与该移动相反的方向上移位。如图5C所示，光学矩阵510可以从默认位置向上移动，这可以使像素504的FOV在场景508上移位到iFOV 514C。如图5D所示，光学矩阵510可以从默认位置向下移动，这可以使像素504的FOV在场景508上移位到iFOV514A。

通过如图5B-D所示的操作，光学矩阵510可以被移动以允许场景的不同部分由像素504成像；即，光学矩阵510的移动可以使像素504对场景508的不同部分采样。这可以被完成，以对场景过采样，或者使场景508的不同部分通过高光谱滤波器(如图3D的滤波器350)的特定过滤窗口成像。此外，虽然图5示出了光学矩阵510在单个维度内沿着单个轴移动，但是光学矩阵510可以在多个轴和维度内移动。

图6A示出了场景的常规采样的FOV，以及图6B和6C示出了根据一些实施例的对同一场景的FOV的过采样。当用不包括光学矩阵510的成像设备对场景成像时，可以获得未改变的iFOV 604的样本。如图6A所示，图像样本601的区域近似或确切地对应于iFOV 604。然后，场景508的那个部分可以在图像(例如，二维图像、三维高光谱图像(一维由波长定义)或三维深度图图像)中由在图像样本601中收集的数据表示，该图像样本601表示场景508的在iFOV 604中示出的部分。

当在成像设备中包括光学矩阵510时，可以从场景508获得更详细的信息。在一些实施例中，多个光学部件或单个光学部件可以被包括在成像系统中，并且可以在一个或更多个方向上移动，同时保持与成像设备的光学传感器平行。通过在成像设备的光路中包括光学部件(例如光学矩阵)，可以减小成像设备的像素的iFOV以提供增加的角度分辨率，如由图6B的默认位置样本602所示的。当使用捕获图6A的场景508的系统或捕获如图6B所示的场景508的系统时，以像素为单位度量的图像分辨率可以是相同的。然而，通过移动光学矩阵(例如图5B-5D的光学矩阵510)，场景508可以相对于与像素相关联的固定FOV被过采样，产生更详细的图像。过采样可以允许任何给定的像素通过改变像素的iFOV的大小以及通过将像素的FOV相对于场景508移位来从场景508捕获附加信息。如图6C所示，当光学矩阵510被移置时，像素可以捕获改变的位置样本606而不是默认位置样本602。通过沿着单个轴线性地移动，可以在由默认位置提供的FOV的任一侧上获得样本。光学矩阵510的线性移动可以提供过采样图案608A或过采样图案608B。在正交方向上的组合线性移动可以用于捕获在过采样图案608C和608D中的信息。另外，多个光学部件(例如光学矩阵320和340)的协调移动可以提供扩展的过采样图案，该扩展的过采样图案可以允许附加信息被光学传感器312编码。

为了执行过采样，可以将多个图像组合成一个图像或帧。例如，当光学矩阵510在默认位置上时，第一图像可以被光学传感器312捕获，第一图像对应于场景508上的默认透视图。当光学矩阵510移动时，第二图像可以被光学传感器312捕获，第二图像对应于场景508上的不同透视图。因此，为了捕获在过采样图案608A或608B中示出的三个样本，可以捕获三个透视图。类似地，对于过采样图案608C，可以捕获四个透视图，而对于过采样图案608D，可以捕获九个透视图。可以在图像中捕获这些附加透视图。可以被预期组合成单个输出图像或输出帧的这样的图像可以被称为中间图像。通过根据表征相应位置的信息将来自中间图像的信息进行组合，图像可以被适当地组合成最终输出图像或帧。

可以使用任何合适的过程以任何合适的方式组合中间图像。例如，中间图像可以在内插过程中被组合，该内插过程在两个不同中间图像(例如两个不同的透视图或iFOV)的像素数据之间内插数据点。例如，可以例如通过取平均以估计中间位置样本来组合定义改变的位置样本606的值和定义默认位置样本602的值。这种内插可以增加场景在一个或更多个维度上的分辨率。例如，处理子系统可以将第一中间图像、第二中间图像和内插的像素数据组合成分辨率提高的输出图像。

图6D、6E、6F和6G是示出根据一些实施例的与成像系统相互作用的光的透视图。图6D-6G示出了如在图3A-3D的任何成像设备中不同光学矩阵对波前610的影响，波前610从透镜316传递到光学传感器312。描绘了光学传感器312的单独像素，例如示例性像素612。虽然示例性像素如像素612在形状上被描绘为大致正方形，但是在一些其他实施例中，其他像素形状可以被使用。在图6D-6G中，示出了透镜316、光学传感器312和光学矩阵的示例性部分。例如，光学传感器312可以包括比所描绘的5×5像素阵列更多(或更少)的像素。类似地，光学矩阵可以包括比明确示出的更多(或更少)的特征。

如图6D所示，波前610可以由透镜316引导到光学传感器312，并且可以穿过光学矩阵620D。光学矩阵620D可以将多个相位延迟引入到波前610中。相位延迟可以以图案(例如在光学传感器312之上显示的诱导图案(induced pattern)630D)被引入。诱导图案630D可以包括如图6D所示用“1”和“2”标记的两个不同的相位延迟。诱导图案630D可以包括交替的图案，使得具有相位延迟1的示例性像素612可以在水平和垂直方向上与接收具有相位延迟2的光的像素接界。在其他实施例中，其他图案可以由光学矩阵620D诱导。光学矩阵620D可以另外影响波前610相对于光学传感器312的聚焦，使得只有每个像素612的有限部分可以接收光。在一些实施例中，光学矩阵620D或本文所述的其他光学矩阵可以使光入射在每个像素的少于75％、50％或25％的光敏区域上。

图6E描绘了光学矩阵620E对波前610的影响，光学矩阵620E可能在至少一些方面上不同于图6D的光学矩阵620D。波前610的光可以被透镜316引导通过光学矩阵620E，并且可以在光学传感器312上产生诱导图案630E。光学矩阵620E可以被图案化，使得它产生多于两个不同的相位延迟。如所示，光学矩阵620E可以产生在图6E中用“1”、“2”、“3”和“4”标记的四个不同的相位延迟。在一些实施例中，在诱导的相位延迟1、2、3和4之间的差异可以是预定的相位差，例如45°或90°。如图6E所示，光学矩阵620E引入具有布置在正方形图案单元632E中的四个不同相位延迟的诱导图案630E。在其他实施例中，光学矩阵620E可以包括线性图案单元，该线性图案单元在线性配置或水平线中包括四个相位延迟中的每一个。

图6F描绘了根据一些实施例的光学矩阵620F的示例性移动或重新定位的效果，光学矩阵620F可以类似于光学矩阵620E。如所示，光学矩阵620F可以相对于光学传感器312移动。例如，包括一个或更多个定位部件的定位系统可以使光学矩阵620F在实质上平行于光学传感器312的第一方向上移动。光学矩阵620F的这个移动可以引起由光学矩阵620F产生的图案相对于光学传感器312及其单独像素的相应移动。该移动可以将诱导图案630F移位。如所示，在一些实施例中，光学矩阵620F在第一方向上的移动可以产生诱导图案630F在与第一方向相反的方向上的移位。由于该移动，图案630F的一部分可能不入射在图6F所示的光学传感器312的部分上。比较图6E和6F，当光学矩阵在默认位置上时，示例性像素612可以接收具有相位延迟2的光，并且当光学矩阵在改变的位置上时，示例性像素612可以接收具有相位延迟1的光。

图6G描绘了具有可变相位光学元件的堆叠配置的成像设备(例如图3C和3D的成像设备310C和310D)的实施例，该可变相位光学元件的堆叠配置由多于一个光学矩阵在它从透镜316到光学传感器312的光路中提供。波前610可以在到达光学传感器312之前穿过第一光学矩阵620G且然后穿过第二光学矩阵640G。在一些实施例中，光学矩阵620G和640G可以都被图案化，使得每个光学矩阵产生两个不同的相位延迟。如图6G所示，光学矩阵620G可以诱导出中间诱导图案632G，该中间诱导图案632G可以在第一中间相位延迟I1和第二中间相位延迟I2之间交替。当来自波前610的光穿过光学矩阵620G和640G时，由光学矩阵620G和640G中的每一个引入的相位延迟的组合效果可以导致具有四个不同相位延迟的图案，如由诱导图案630G所示的。

在一些实施例中，光学矩阵620G和640G中的一个或更多个可以是固定的。如所示，光学矩阵620G可以在实质上平行于光学传感器312的第一方向上从默认位置移动，而光学矩阵640G可以在也可以实质上平行于光学传感器312的第二方向上移动。如所示，第二方向可以与第一方向正交。光学矩阵620G和640G的组合移动可以产生诱导图案630G在与光学矩阵620G和640G的移动相反的方向上的移位或移动，使得图案630G相对于光学传感器312对角地移位。例如，当矩阵620G和640G在默认位置上时，矩阵620G和640G可以在入射在像素612上的光中诱导相位延迟2。图6G示出当矩阵620G和640G都移动到新位置时，矩阵620G和640G可以导致入射在像素612上的光具有相位延迟4。

虽然图6D-6G可以示出光学矩阵及其移动的一些示例的一些潜在效果，但是本公开的实施例可以包括其他类型的移动，例如光学矩阵的旋转移动或其他非线性移动，其可以基于所公开的原理来产生更复杂的干涉图案。类似地，相位延迟的其他图案可以由光学矩阵的其他实施例诱导。此外，虽然关于由光学矩阵产生的相位延迟来讨论图6D-6G，也可以关于高光谱滤波器(如图3D的高光谱滤波器350)中的窗口来理解诱导图案。例如，上面讨论的图6E-6G中识别相位延迟的数字1、2、3和4也可以被理解为识别穿过高光谱滤波器350的过滤窗口的图案化光，使得当光学矩阵或多个光学矩阵被重新定位时，光学传感器312的像素可以在不同的时间通过不同的窗口捕获光。

图7A和7B是根据一些实施例的光学解调深度传感器设备(例如基于相位的深度传感器)的横截面图。图7A和7B描绘了成像设备(例如图3B的成像设备310B)的部分的实施例。如图7A所示，反射信号700可以由透镜(例如图3B的透镜316)引导到光学矩阵701A。光学矩阵701A可以将第一相位延迟和第二相位延迟引入到反射信号700中。反射信号700可以由已知波长的光(例如850nm左右的光)形成。反射信号700的光可以被调制。例如，光可以被调制，以产生连续波形例如正弦曲线，或者产生如图7A和7B所示的脉冲波形，该波形具有预定的波长和频率。

当预先知道载波光的波长时，可以从波长导出光学矩阵701A和701B的相对尺寸。如图7A所示，光学矩阵701A包括支持多个特征704的基板702。特征704可以具有将180°相位延迟引入到反射光信号中的高度H3。该相位延迟可以附加于由基板702的厚度引起的180°相位延迟，基板702和特征704的组合厚度或高度可以被称为高度H4。在这个示例中，高度H4可以是高度H3的两倍。在其他实施例中，高度H4可以大于或小于高度H3的两倍。然而，即使当由基板702引入的相位延迟大于或小于180°时，高度H3也可以引入已知的相位延迟，例如180°相位延迟或90°相位延迟。

由光学元件引入的相位差可以以多种方式被捕获、存储和比较。例如，光学传感器706中的每个像素可以在光学矩阵701A在第一位置上时捕获第一iFOV，并且在光学矩阵701A在第二位置上时捕获第二、相移的iFOV。除了用于提高输出图像的分辨率之外，这些相移信号中的两个或更多个还可以与参考信号比较以确定在场景内的深度。此外或替代地，由不同像素捕获的相移信号可以与参考信号比较以确定在场景内的深度。例如，由光学传感器706的像素708A和708B产生的信号可以被比较以确定相位差。这种相位差可用于识别信号700被发射(发射的时间可能是已知的)并被反射回到光学传感器706所花费的时间。从这个时间起，可以确定从像素708A和708B到场景中对应于这些像素的FOV的任何对象的距离。使用这种像素到对象的距离，可以重建场景的三维深度图。

图7B提供了引入到反射光信号700中的附加相位延迟差。图7B描绘了可以具有基板710和阶梯状特征712的光学矩阵701B。特征712可以包括多个台阶，每个台阶将不同的相位延迟引入到光信号700中。如所示，阶梯状特征712可以包括引起90°、180°、270°和360°的相位延迟的部分。在一些实施例中，90°的初始相位延迟可以是不同的相位延迟(即，大于或小于90°)，但是从一个台阶到另一台阶的相位差可以是预定值，例如90的倍数。这些已知的相位延迟差可以用于光学地恢复相位信息或者对反射信号700光学地执行解调操作的一部分。由像素708A、708B、708C和708D产生的信号可用于恢复在发射光信号和反射光信号700之间的相位差。

部分地由于执行基于电路的解调以准确地恢复相位信息所需的电路，常规ToF深度传感器可能具有大的像素。本文描述的实施例可以允许这样的解调至少部分地在光域中被执行，而没有对传统解调电路的至少一部分的需要。在这样的实施例中，光学传感器312的总像素尺寸可以减小，这可以实现更高分辨率的ToF传感器的制造，该ToF传感器能够创建相比于使用常规ToF传感器可以获得的更高分辨率的深度图。这可以允许CMOS图像传感器——用于捕获常规二维图像的传感器的类型，例如手机摄像机传感器——被用作具有相应地较小的像素尺寸(例如，在某些示例中为大约2微米×2微米或更小)的ToF深度传感器。在一些实施例中，可以使用光学解调和基于电路的解调的组合来确定在发射信号和反射信号之间的相位差。

图8A示出了根据一些实施例的发射信号和接收到的反射信号的基于时间的比较。一些ToF系统可能基于从被成像的场景的特征反射的单个返回脉冲来确定深度。其他ToF系统可能利用关于信号的更多信息，例如表征发射信号和反射信号的相位或者在发射信号和反射信号之间的相位差的信息。如图8A所示，发射信号802可以是用方波调制的。然而，其他实施例可以包括通过不同波形进行的调制。在与场景(例如图5A-5D的场景508)相互作用之后，通过从场景的一些方面反射光，反射信号804可以由成像设备的光学传感器接收。例如，反射信号804可以是由图7B的光学传感器706的像素708A接收的信号。

发射信号802和反射信号804可以分隔开相移或相位差

如图8A所示。相位差

可以被理解为第一延迟分量

和第二延迟分量

的和，第一延迟分量

由于从发射信号802的发射器到场景的一部分的深度而引起，第二延迟分量

由于光学部件(例如图7B的矩阵701B)的光学性质、形状、尺寸和材料而引起，信号穿过该光学部件以便由像素708A接收。因为第二延迟分量

可以是已知的或确定的，所以可以用于确定信号的飞行时间的第一延迟分量或相位差

可以通过从相位差

减去已知的第二延迟分量

来确定。然后，相位差

可以用于根据如下的等式(1)来确定从光学传感器到场景的一部分的深度值d：

图像处理器可以执行等式(1)的操作以从相位差

确定深度。例如，图1的处理子系统110的图像处理引擎160可以执行这些操作中的一些或全部。

图8B示出了具有示例性光学采样方案的单位圆806，该光学采样方案可以通过本文描述的光学部件的实施例来光学地实现以至少部分地解调图8A的反射信号804，例如通过图4A-4D的DOE 400A-400D中的任一个的实施例来实现，DOE 400A-400D可用于确定相位差

单位圆806示出了可以由光学矩阵(如图7A的光学矩阵701B)引入的已知或确定的相位延迟。相位延迟θ2可以由基板710引入，并且可以是小于90度的某个值。相位延迟θ3可以是额外的90度，相位延迟θ4可以向反射信号804添加额外的90度相位延迟，以及相位延迟θ5可以添加又一个90度相位延迟。相位差或延迟θ3、θ4和θ5可以是90度或π/4的预定倍数。

在一些实施例中，可以在收集数据之前执行校准过程，以便延迟可以被精确地确定，并且离光学矩阵701A的预期尺寸的任何不期望有的偏差可以通过所得到的校准因子来补偿。相位延迟θ2、θ3、θ4和θ5可以被选择并体现在基板中和光学矩阵或其他光学部件的突出特征和/或凹进特征中，使得反射信号804的相位可以在由采样点808A、808B、808C和808D所示的单位圆806的所有四个象限(I、II、III和IV)中被采样。信号可以由接收具有不同的已知相位延迟的光的部分的像素通过电荷的累积产生，信号可以因为相位延迟而被补偿。由图7B的像素706A-D产生的这些信号然后可用于根据如下的等式(2)来识别相位差

以这种方式，可以基于光学地延迟的信号来而不是如在一些常规基于相位的ToF深度传感器中的电子地延迟的信号来确定相位差

一些实施例还可以运用现有的全局快门和像素级存储技术以使用两个像素来创建四个相移信号，而不牺牲当使用四个不同的像素来创建图7B所示的信号时损失的额外分辨率。例如，系统可以包括创建两个相移光路的光学元件，当光学元件在第一位置上时，这两个相移光路由光学传感器706的两个不同像素(例如像素708A和708B)捕获。由像素捕获的信息可以在本地存储在光学传感器706内，或者可以远程地被存储用于后续处理。该系统然后可以将一个或更多个光学元件移位到第二位置以创建两个附加的相移光路，它们也可以由光学传感器706的相同像素(例如像素708A和708B)捕获。作为结果，光学传感器706或本文描述的任何其他传感器可以同时提供四个相移信号用于解调处理(例如，如图8B所示的)。此外，由每个像素捕获的两个相移信号可以被处理以提供输出图像的增加的角度分辨率，如在图5A-5D和6A-6C的描述中更详细讨论的。

在一些实施例中，可以使用与在半导体设备制造和半导体掩模制造中使用的制造技术类似的制造技术来生产光学矩阵701A和701B、DOE400A-400D以及本文所述的一些其他光学部件。例如，基板702可以是晶圆的一部分，例如硅晶圆、绝缘体上硅(SOI)晶圆或具有合适折射率的材料的另一晶圆，该材料提供折射和/或衍射的变化，其可以引入相位延迟或改变光信号在干涉图案中的传播方向。

在一些示例中，基板702可以具有在大约0.5微米与大约几十或几百微米之间的厚度。可以通过加性工艺和/或减性工艺来形成特征704和712。例如，特征704的材料可以通过物理气相沉积(PVD)、化学气相沉积(CVD)、离子束沉积、气相外延、原子层沉积等沉积在基板702之上。一些实施例可包括蚀刻工艺或从材料层去除基板材料以形成图案化特征704和712的另一材料去除工艺。因此，基板702的材料可以不同于特征704/712的材料。在一些实现中，特征712的各个台阶可以作为若干图案化和生长工艺的结果和/或图案化和蚀刻工艺的结果而产生。在一些实施例中，例如在使用外延生长的实施例中，特征704可以在图案化的表面上生长。例如，可以使特征在基板702的被在光致抗蚀剂层中形成的窗口暴露的部分上生长到期望的高度H3。

高度H3可以基于特征704的材料的折射率及其尺寸来引入期望的相位延迟(例如，45°、90°、180°、270°的相位延迟)。在一些实施例中，高度H3可以是大约5nm到大约50nm以产生期望的相位延迟。在其他实施例中，高度H3可以更大，使得它引入更大的相位延迟，该相位延迟等于360°加上90°、180°、270°等的实际期望的相位延迟。这个更大的高度H3和相关联的更大的相位延迟可以向较低高度的期望延迟提供相位等效延迟，同时提高可制造性。

图9A是根据一些实施例的用于使用可变相位光学元件矩阵来生成分辨率增强的输出图像或输出帧的方法900A的流程图，该输出图像或输出帧可以是形成构成视频的一系列图像的一部分的图像。图9A所示的步骤可以由任何合适的计算机可执行代码和/或计算系统(包括图1所示的系统)执行。在一个示例中，图9A所示的每个步骤可以表示算法，该算法的结构包括多个子步骤和/或由多个子步骤表示，子步骤的示例将在下面更详细地提供。

如图9A所示，在步骤902，本文所述的一个或更多个系统可以将布置在光学传感器和透镜之间的光学部件(例如可变相位光学元件矩阵)定位在至少实质上垂直(例如，精确地垂直，或根据制造公差可能出现的偏离精确垂直仅几度或更少)于光学传感器的光轴的第一位置上，该透镜被定位成将来自场景的光聚焦到光学传感器上。例如，处理设备可以触发或激活图3A的定位部件326A和326B以相对于光学传感器312定位或重新定位光学矩阵320。光学矩阵320可以至少实质上平行于光学传感器312从第一位置移动到至少第二位置。通过重新定位光学矩阵320，可以捕获场景的不同透视图，其中不同透视图对应于每个不同位置。在一些实施例中，可变相位光学元件矩阵可以以固定的方式被定位。

在步骤904，本文描述的一个或更多个系统可以用光学传感器捕获场景的至少两个不同透视图。例如，图5B-D的光学传感器502可以在图5B所示的透视图处捕获中间图像，其中像素504可以接收来自iFOV 514B的光。光学矩阵510可以如图5C所示被重新定位，使得像素504可以接收来自iFOV 514C的光。然后，光学传感器502可以在图5C所示的透视图处捕获另一个中间图像。在方法900A的一些实施例中，光学矩阵510可以如图5D所示再次被重新定位，且又一个透视图可以被捕获。光学矩阵510可以重复地被定位，并且每次新的透视图可以被捕获。

在步骤906，本文描述的一个或更多个系统可以处理场景的两个不同透视图，以创建具有比场景的所捕获的两个不同透视图中的任一个更高的分辨率的输出帧或输出图像。例如，光学传感器212、312或502的图像处理电路或外部处理器可以组合不同的透视图，以生成具有如图6C所示的样本(其包括默认位置样本和改变的位置样本)的场景508的增强表示。在一些实施例中，这些样本可以被组合成单个输出图像，该图像包括比光学传感器所具有的像素更多的像素值。在一些实施例中，方法900A可以包括在通过在默认位置和改变的位置处对场景采样而获得的实际像素值之间内插像素值的步骤。以这种额外的方式，输出图像可以在x方向和y方向上具有比光学传感器在其阵列中具有的像素更高的分辨率。

此外或替代地，方法900A的操作可以包括实施例，在实施例中，捕获场景的至少两个透视图可以包括用光学传感器的第一像素或像素组捕获光的第一部分。“光的该部分”可以指来自场景(如图5A-D的场景508)的光，其可以由成像系统的光学部件聚焦在该成像系统的光学传感器的单独像素或像素组上。例如，光的该部分可以是与第一像素相关联的iFOV。光的第一部分可以由于它穿过的可变相位光学元件矩阵的部分而具有第一相位延迟。至少两个透视图的捕获还可以包括用光学传感器的第二像素或像素组捕获光的第二部分。光的第二部分可以由于穿过可变相位光学元件矩阵的不同部分而具有第二相位。

图9B是根据一些实施例的用于使用可变相位光学元件矩阵来生成具有场景的深度特性的输出图像的方法900B的流程图。如同图9A的方法900A一样，图9B所示的步骤可以由任何合适的计算机可执行代码和/或计算系统(尤其包括图1、2、3A-D、10和11所示的系统)执行。在一个示例中，图9B所示的每个步骤可以表示算法，该算法的结构包括多个子步骤和/或由多个子步骤表示，子步骤的示例将在下面更详细地提供。

方法900B的实施例可以在步骤912开始，其中本文描述的任何系统可以将布置在光学传感器和透镜之间的可变相位光学元件矩阵定位在至少实质上垂直于光学传感器的光轴的第一位置上，该透镜被定位成将来自场景的光聚焦到光学传感器上。例如，图3B的DOE 330或任何其他合适的光学部件可以布置在光学传感器312和透镜316之间。在一些实施例中，DOE 330可以以与光学传感器312的固定关系被定位。在其他实施例中，DOE 330可以在实质上平行于光学传感器312的平面上移动，并且可以通过定位系统326的致动来移动或重新定位，定位系统326可以包括至少一个定位部件326A。DOE 330可以使光学传感器312的至少一些像素的iFOV移位，以便捕获场景的不同部分，如图5B-D所示。

在步骤914，一个或更多个所公开的系统可以用光学传感器捕获场景的至少两个不同透视图。例如，图3B的光学传感器312可以捕获场景的至少两个不同透视图。不同的透视图可以对应于可变相位光学元件矩阵的不同位置。例如，方法900B的实施例可以包括当矩阵在与第一透视图相关联的第一位置上时捕获第一图像，并且当矩阵在与第二透视图相关联的第二位置上时捕获第二图像，以在步骤914捕获不同的透视图。

在步骤916，一个或更多个所公开的系统可以基于场景的所捕获的至少两个透视图来确定场景的深度特性。例如，深度特性可以是在特定像素或像素组与被观察的场景的对象或特征之间的距离。在一些实施例中，可以通过基于在步骤914获得的场景的至少两个透视图执行三角测量算法来获得深度特性。例如，用于在对应于至少两个透视图的不同位置之间移动光学传感器的定位系统可以被校准，使得基于用来控制定位系统的致动信号而知道在位置之间的绝对距离。因为在两个透视图之间的距离可以已知，所以在所捕获的透视图中各种对象或特征的透视图的差异可以用于确定在每个所捕获的透视图中的角度。例如，使用与在第一所捕获的透视图中的特征成的角度、与在第二所捕获的透视图中的相同特征成的角度以及在两个所捕获的透视图之间的已知距离，可以使用三角关系来确定距所捕获的透视图的质心(centroid)的距离的估计，该质心将在光学传感器312上的某个位置处。该算法可以应用于图像中的多个像素，以生成具有光学传感器312的许多、大多数或所有像素的深度值的深度图。成像系统的任何光学部件可以以振荡或抖动的方式移动以提供许多不同的测量或捕获，这些测量或捕获可以被组合或平均，以便提高三角测量的准确度。例如，光学矩阵可以在两个位置之间抖动以获得场景的两个基线透视图。

在步骤918，一个或更多个所描述的系统可以生成场景的输出深度图像。当被渲染或类似地被处理时，输出深度图像可以提供场景的深度特性的视觉或数学表示。可以通过渲染输出深度图像来表示性地重新创建场景。在一些实施例中，深度图像或深度图可以具有与被捕获以表示至少两个透视图的中间图像相同的x和y方向分辨率。深度图还可以包括深度值，例如沿着光学传感器的光轴(如图3A-D的光轴314)延伸的z方向值。

方法900B的一些实施例还可以包括将光信号发射到场景中的步骤。基于场景的所捕获的至少两个透视图来确定场景的深度特性可以包括确定光信号的相位特性。例如，图7A和7B的光信号700可以由光投射器设备250在已知时间发射，且然后基于到反射点的距离在一些时间后反射回来。可变相位光学元件矩阵可以将具有第一相位延迟的光的一部分引导到第一像素，并且可以将具有第二相位延迟的光的一部分引导到第二像素。

在方法900B的一些实施例中，捕获至少两个不同透视图可以包括从每个透视图捕获图像，包括至少第一图像和第二图像。第一图像和第二图像每个在一些实施例中包括深度信息，而在其他实施例中不包括深度信息。

图9C是根据一些实施例的用于使用可变相位光学元件矩阵来解调用于相位差确定的信号的方法900C的流程图。如同图9A的方法900A和图9B的方法900B一样，图9C所示的步骤可以由任何合适的计算机可执行代码和/或计算系统(尤其包括图1、2、3A-D、10和11所示的系统)执行。在一个示例中，图9C所示的每个步骤可以表示算法，该算法的结构包括多个子步骤和/或由多个子步骤表示，子步骤的示例将在下面更详细地提供。

在步骤922，本文描述的一个或更多个系统可以从光学传感器的第一像素接收第一电子信号。该第一电子信号可以表示具有第一相位延迟的反射光信号的第一部分。例如，图7A和7B所示的光学传感器706的像素708A通过另一个光学部件(例如可变相位光学元件矩阵或DOE)的基板702接收反射光信号700。由于基板702的材料和厚度，反射光信号700被相位延迟调制。在一些实施例中，相位延迟可以是90°或更小。光学部件的其他实施例可以引入更大的相位延迟。像素708A产生表征具有第一相位延迟的接收到的光信号的电子信号。电子信号可以被传送到处理设备或子系统，例如在光学传感器706或图1的处理子系统110上包括的处理设备。

在步骤924，本文描述的一个或更多个系统可以从光学传感器的第二像素接收第二电子信号。第二电子信号可以表示具有不同于第一相位延迟的第二相位延迟的反射光信号的第二部分。例如，图7A和7B所示的光学传感器706的像素708B通过基板702和在基板702上形成的特征(例如图7A的特征704或者图7B的特征712的台阶)接收反射光信号700的不同部分。由于基板702和特征的材料和厚度，由像素708B接收的反射光信号700可以被不同的相位延迟调制。在一些实施例中，相位延迟可以是90°或更小。其他实施例可以引入更大的相位延迟。当预先知道或预先确定光学矩阵的材料和尺寸以及在反射信号700中包括的光的波长时，可以预先确定在第一相位延迟和第二相位延迟之间的相位差。像素708B可以产生表征具有第二相位延迟的接收到的光信号的电子信号。第一相位延迟和第二相位延迟可以包括基于从发射到接收行进的距离的公共延迟分量以及由光所穿过的光学矩阵的部分引起的不同延迟分量。电子信号可以被传送到处理设备或处理子系统。

在步骤926，本文描述的一个或更多个系统可以基于第一电子信号和第二电子信号来确定反射光信号的相位特性。例如，可以基于在像素708A和像素708B处接收的信号之间的已知相位差来恢复光信号700的相位和光信号的飞行时间。在方法900C的一些实施例中，可以从光学传感器的另外像素接收另外的电子信号。这些另外的信号还可以包括不同于第一相位延迟和第二相位延迟的相位延迟。

例如，方法900C的实施例可以包括从光学传感器的第三像素接收第三电子信号和从光学传感器的第四像素接收第四电子信号的步骤。第三电子信号可以表征具有第三相位延迟的反射光信号的第三部分，以及第四电子信号可以表征具有第四相位延迟的反射光信号的第四部分。如图7B所示，由基板702和特征712引入的第一、第二、第三和第四相位延迟可以是不同的，使得由像素708A、708B、708C和708D中的每一个接收的反射光信号700的部分的相位是不同的，如在图8B所示的采样方案中的。信号可以在像素708A-D处实质上同时被接收，并且可以允许反射信号700被光学地解调，使得常规ToF深度传感器的专用于信号解调的一些或全部电路可以从本文描述的光学传感器(例如图7A和7B的光学传感器706)中省略。一些实施例可以包括用于电子解调的简化电路，使得本公开的实施例可以实现解调的混合方法。这种混合方法可以包括如本文所述的光学解调和信号处理解调的组合。

在步骤928，本文描述的一个或更多个系统可以基于所确定的相位特性来确定在光学传感器和反射所述反射光信号的表面之间的距离。例如，光学传感器706可以包括基于反射信号700的飞行时间来确定在光学传感器706的单独像素和场景的特征之间的距离的电路。在确定距离时，可以使用在反射信号和被反射的先前发射的光信号之间的相位差。方法900C的实施例可以包括激活光信号到场景中的发射，使得来自场景中的对象和特征的反射可以使用光学传感器706来捕获。例如，图2的投射器设备250的光源252可以被激活以发射调制信号，从而得到反射信号700。

方法900A、900B和/或900C的一个或更多个步骤或本文描述的其他操作可以由处理子系统执行。这种处理子系统可以是分立部件、固件或软件的组合，并且其中的任何一个可以位于在示例性成像设备的另一个本地部件内或者在远程部件(如图1的处理子系统110)中的公共电路板(例如PCB 202)上，光学传感器附接到该公共电路板。此外或替代地，在一些实施例中，处理子系统可以集成到光学传感器(如光学传感器212、312、502)中。

图10示出了根据本公开的实施例的包括成像设备的HMD 1000的图。HMD 1000可以包括图1的光学传感器设备105。HMD 1000可以是VR系统、AR系统、MR系统或其某种组合的一部分。在描述AR系统和/或MR系统的实施例中，HMD 1000的前侧面1002的部分可以在可见光频带(约390nm至约750nm)中是至少部分地透明的，并且HMD 1000的在HMD 1000的前侧面1002和用户的眼睛之间的部分可以是至少部分地透明的(例如，部分地透明的电子显示器)。HMD 1000可以包括前刚性主体1005、带1010和参考点1015。HMD 1000还可以包括配置成确定围绕HMD 1000的一部分或全部的局部区域的深度信息的成像系统，如图2的成像系统200。此外，HMD 1000可以包括成像孔1020和照明孔1025，并且成像系统的照明源可以通过照明孔1025(如图2的投射器设备250)发射光(例如结构光)。成像设备可以通过成像孔1020捕获来自照明源的从局部区域反射或反向散射的光。

前刚性主体1005可以包括一个或更多个电子显示元件、一个或更多个集成眼球跟踪系统、IMU 1030、一个或多个位置传感器1035和一个或更多个参考点1015。在图10所示的实施例中，位置传感器1035位于IMU 1030内，并且IMU 1030和位置传感器1035对于HMD1000的用户都是不可见的。IMU 1030可以代表基于从一个或更多个位置传感器1035接收的测量信号而生成快速校准数据的电子设备。位置传感器1035可以响应于HMD 1000的运动而生成一个或更多个测量信号。位置传感器1035的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU 1030的误差校正的一种类型的传感器或者其某种组合。位置传感器1035可以位于IMU 1030的外部、IMU 1030的内部或者其某种组合。一个或更多个参考点1015可以用于由例如图1的跟踪模块155跟踪HMD 1000在局部区域中的位置。

图11示出了图10的HMD 1000的前刚性主体1005的横截面。如图11所示，HMD 1000可以包括成像系统1102。在一些示例中，成像系统1102(其可以是图1的成像设备120的实施例)可以被配置成捕获在确定、映射和/或跟踪在区域例如局部环境或场景1101(例如在成像系统1102前方的区域)内的对象的位置、定向和/或移动时利用的图像数据。在一些示例中，成像系统1102可以包括成像孔1120和投射器设备1130，成像孔1120被配置为通过孔1020接收在局部区域或场景1101中产生、或从局部区域或场景1101反射或反向散射的光，投射器设备1130被配置为将光(即载波信号)发射到场景1101中，场景1101可以包括对象1109。光可以包括特定的波长范围，例如可见波长光谱或红外光谱等。

在一些实施例中，成像系统1102可以以多种方式确定在场景1101内的对象的深度和/或表面信息。例如，成像系统1102可以在SLAM跟踪系统中用于识别和/或映射场景1101的特征、和/或识别HMD 1000和/或在场景1101中的其他对象(例如手持控制器、用户等)的位置、定向和/或移动。在一些示例中，投射器设备1130可以将光1131作为结构光图案(例如对称和/或准随机(quasi-random)点图案、网格图案、水平条等)发射到场景1101中。发射光1131可以具有400nm至大约1100nm的波长范围。在一些实施例中，发射光1131可以具有更窄的波长范围，例如800nm至大约980nm。

在这些示例中，成像系统1102可以基于发射图案的三角测量或所感知的变形来确定深度和/或表面信息。此外或替代地，成像系统1102可以捕获描述从投射器设备1130的照明源发射的光从场景1101中的一个或更多个对象反射回到收集反射光1121的成像设备1120所需的时间的ToF信息。在该实施例中，成像系统1102可以基于ToF信息来确定在成像系统1102和在场景1101中的对象之间的距离。

在一些示例中，由成像系统1102收集的信息可以用作向戴着HMD 1000的用户显示的图像和/或视频(例如，人工现实图像和/或视频)的一部分。在图11所示的一个示例中，图像和/或视频可以经由电子显示器1106显示给用户(例如，经由用户的眼睛1104)。电子显示器1106——其可以是图1的电子显示器125的实施例——可以代表单个电子显示器或多个电子显示器(例如，用户的每只眼睛对应一个显示器)。电子显示器1106的示例可以包括但不限于LCD显示器、OLED显示器、ILED显示器、AMOLED显示器、TOLED显示器、投射器、阴极射线管、光混合器和/或其某种组合。成像系统1102还可以包括成像控制器1108，成像控制器1108可以是耦合到投射器设备1130和/或成像设备1120的图像处理器。在一些实施例中可以包括光学块1107以关于HMD 1000的用户提高电子显示器1106的性能。

因此，本公开的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如真实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，其中任一个可以在单个通道中或在多个通道(例如向观看者产生三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。可以在各种平台(包括连接到主计算机系统的HMD、独立HMD、移动设备或计算系统或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。

在本文描述和/或示出的过程参数和步骤的顺序仅作为例子被给出，并且可以根据需要而变化。例如，虽然在本文示出和/或描述的步骤可以以特定顺序被示出或讨论，但这些步骤不一定需要以所示出或讨论的顺序来执行。本文描述和/或示出的各种示例性方法也可以省略在本文描述或示出的一个或更多个步骤，或者除了所公开的那些步骤之外，还包括附加步骤。

提供前面的描述以使本领域中的其他技术人员能够最好地利用本文公开的示例性实施例的各个方面。该示例性描述并没有被规定为是无遗漏的或被限制到所公开的任何精确形式。许多修改和变化是可能的，而不偏离本公开的精神和范围。本文公开的实施例应当在所有方面被考虑为说明性的而不是限制性的。在确定本公开的范围时，应当参考所附权利要求及其等同物。

除非另外提到，否则如在说明书和权利要求中使用的术语“连接到”和“耦合到”(及其派生词)应被解释为允许直接和间接(即，经由其他元件或部件)的连接。此外，如在说明书和权利要求中使用的术语“a”或“an”应被解释为意指“...中的至少一个”。最后，为了使用的容易，如在说明书和权利要求中使用的术语“包括(including)”和“具有(having)”(及其派生词)与词“包括(comprising)”可互换并具有与词“包括(comprising)”相同的含义。

Claims (12)

1.一种成像设备，包括：

光学传感器，其具有光轴；

透镜，其被定位成将来自场景的光聚焦到所述光学传感器上；

可变相位光学元件矩阵，其按尺寸被制造成将至少两个不同相位延迟引入到通过所述透镜从所述场景接收的光信号中，所述可变相位光学元件矩阵：

当在第一位置上时，将具有所述至少两个不同相位延迟中的第一相位延迟的所述光信号的一部分引导到所述光学传感器的第一像素；以及

当所述成像设备的至少一个光学部件相对于所述成像设备的另一个光学部件横向移位时，将具有所述至少两个不同相位延迟中的第二相位延迟的所述光信号的一部分引导到所述光学传感器的所述第一像素；

壳体，其将所述可变相位光学元件矩阵固定在所述光学传感器和所述透镜之间；以及

处理子系统，其被编程为基于所述至少两个不同相位延迟来确定与所述光信号相关联的相位差。

2.根据权利要求1所述的成像设备，其中，所述可变相位光学元件矩阵包括衍射光学元件，所述衍射光学元件将具有所述至少两个不同相位延迟中的所述第一相位延迟的所述光信号的所述部分引导到所述光学传感器的所述第一像素，并将具有所述至少两个不同相位延迟中的所述第二相位延迟的所述光信号的所述部分引导到所述光学传感器的第二像素。

3.根据权利要求2所述的成像设备，其中，当所述成像设备的所述至少一个光学部件相对于所述成像设备的另一个光学部件横向移位时，所述可变相位光学元件矩阵将具有第三相位延迟的所述光信号的一部分引导到所述光学传感器的所述第一像素，并将具有第四相位延迟的所述光信号的一部分引导到所述光学传感器的所述第二像素。

4.根据权利要求2所述的成像设备，其中，所述至少两个不同相位延迟中的所述第二相位延迟与所述至少两个不同相位延迟中的所述第一相位延迟分隔开携带所述光信号的光的波长的预定分数。

5.根据权利要求1所述的成像设备，其中，所述成像设备的光学部件：

将具有所述至少两个不同相位延迟中的第三相位延迟的所述光信号的第三部分引导到所述光学传感器的第三像素；以及

将具有所述至少两个不同相位延迟中的第四相位延迟的所述光信号的第四部分引导到所述光学传感器的第四像素，所述光学部件包括所述透镜、所述光学传感器或所述可变相位光学元件矩阵中的至少一个。

6.根据权利要求5所述的成像设备，其中：

所述至少两个不同相位延迟中的所述第一相位延迟与所述至少两个不同相位延迟中的所述第二相位延迟具有90°的相位差；

所述至少两个不同相位延迟中的所述第二相位延迟与所述至少两个不同相位延迟中的所述第三相位延迟具有90°的相位差；以及

所述至少两个不同相位延迟中的所述第三相位延迟与所述至少两个不同相位延迟中的所述第四相位延迟具有90°的相位差，所述第一相位延迟、所述第二相位延迟、所述第三相位延迟和所述第四相位延迟产生允许光学正交解调的信号。

7.根据权利要求1所述的成像设备，其中，所述可变相位光学元件矩阵包括：

第一衍射光学元件DOE，其布置在所述透镜和所述光学传感器之间；以及

第二衍射光学元件DOE，其布置在所述透镜和所述第一衍射光学元件DOE之间，所述第一衍射光学元件DOE和所述第二衍射光学元件DOE产生所述至少两个不同相位延迟。

8.根据权利要求7所述的成像设备，其中：

所述第一衍射光学元件DOE包括具有突出特征的第一图案的第一基板；以及

所述第二衍射光学元件DOE包括具有突出特征的第二图案的第二基板，所述突出特征的第一图案和所述突出特征的第二图案具有不同的周期性。

9.根据权利要求8所述的成像设备，还包括将所述第一衍射光学元件DOE和所述第二衍射光学元件DOE耦合到所述壳体的定位系统，其中，所述定位系统独立地定位所述第一衍射光学元件DOE和所述第二衍射光学元件DOE以改变与所述光学传感器的第一像素相关联的相位延迟。

10.根据权利要求1所述的成像设备，还包括光投射器，所述光投射器将所述光信号作为脉冲光信号投射到待成像的所述场景上，所述脉冲光信号从所述场景中的对象反射并被所述透镜引导到所述光学传感器。

11.一种深度成像系统，包括：

成像设备，其包括：

光学传感器，其具有光轴和光敏像素阵列；

透镜，其被定位成将来自场景的光聚焦到所述光学传感器上；

衍射光学元件DOE，其具有特征，所述特征按尺寸被制造成将至少两个不同相位延迟引入到通过所述透镜从所述场景接收的光信号的波前中，以至少部分地光学解调所述光信号，所述衍射光学元件DOE的所述特征中的至少一个特征的宽度实质上与所述光敏像素阵列的第一像素的宽度相同；

壳体，其将所述衍射光学元件DOE固定在所述光学传感器和所述透镜之间；以及

处理子系统，其被编程为基于由所述光学传感器从所述衍射光学元件DOE接收的、被至少部分地光学解调的光来确定与所述光信号相关联的相位差。

12.根据权利要求11所述的深度成像系统，其中：

所述处理子系统被编程为执行对所述至少两个不同相位延迟中的延迟的校准；以及

所述处理子系统基于对所述至少两个不同相位延迟中的延迟的所述校准来确定与所述光信号相关联的所述相位差。

Images