CN116097298A - 用于使用结构光进行深度图构建的红外和非红外通道混合器 - Google Patents

Abstract

一种电子设备包括一个或多个处理器和存储器，该存储器存储有供该一个或多个处理器执行的多个指令。所存储的多个指令包括用于以下操作的多个指令：接收三维区域的红外图像信息；接收同一个三维区域的非红外图像信息；对接收到的红外图像信息执行非线性强度调整；对接收到的非红外图像信息执行非线性强度调整；对经强度调整后的红外图像信息和经强度调整后的非红外图像信息进行混合，以获得合并后的图像信息；以及，提供合并后的图像信息以用于确定深度图。还公开了一种由该电子设备执行的对应方法、以及一种计算机可读存储介质，该计算机可读存储介质存储有供电子设备的一个或多个处理器执行的多个指令。

Description

用于使用结构光进行深度图构建的红外和非红外通道混合器

技术领域

本申请总体上涉及图像处理设备，并且更具体地涉及用于深度图构建的图像处理设备。

背景技术

移动显示设备广泛用于收集视觉信息并将该视觉信息提供给用户。例如，移动电话用于拍照和录制视频。头戴式显示设备因其提供虚拟现实和增强现实信息的能力而正受欢迎。

深度感测是各种应用的重要技术，这些应用例如为摄像头操作(例如，拍照和录制视频)应用、增强现实操作应用、以及安全应用(例如，面部识别等)。

然而，常规深度感测技术需要相当多的计算资源，并且在检测具有低纹理的区域的深度时或在低光照条件下检测区域的深度时会变差。

发明内容

因此，需要一种准确、轻量、紧凑且计算高效的深度感测系统。

本申请中所公开的设备和方法使用合并红外图像信息和非红外图像信息的混合器，这减少了深度图构建的计算负荷，同时提高了深度图构建的精度。

根据本公开的第一方面，提供了一种电子设备，该电子设备包括一个或多个处理器以及存储器，该存储器存储有供该一个或多个处理器执行的多个指令，所存储的多个指令包括用于以下操作的多个指令：接收三维区域的红外图像信息；接收同一个三维区域的非红外图像信息；对接收到的红外图像信息执行非线性强度调整；对接收的非红外图像信息执行非线性强度调整；对经强度调整后的红外图像信息和经强度调整后的非红外图像信息进行混合，以获得合并后的图像信息；以及提供该合并后的图像信息以用于确定深度图。

对经强度调整后的红外图像信息和经强度调整后的非红外图像信息进行混合可以包括：获取经强度调整后的红外图像信息与经强度调整后的非红外图像信息的加权和。

所存储的多个指令可以包括用于以下操作的多个指令：从合并后的图像信息确定深度图。

所存储的多个指令可以包括用于以下操作的多个指令：对红外图像信息进行去噪。

对非红外图像信息进行去噪可以包括：对红外图像信息执行高斯模糊。

所存储的多个指令可以包括用于以下操作的多个指令：压缩合并后的图像信息。

所存储的多个指令可以包括用于以下操作的多个指令：执行以下中的至少一项：裁剪合并后的图像信息，或者缩放合并后的图像信息。

所存储的多个指令可以包括用于以下操作的多个指令：使合并后的图像信息扁平化(flatten)。

接收到的红外图像信息和接收到的非红外图像信息可以对应于相同数量的像素。

该设备还可以包括一个或多个摄像头，每个摄像头包括多个像素，该多个像素中的每个像素包括至少一个红外光电探测器和至少一个非红外光电探测器，该至少一个非红外光电探测器被定位成与该至少一个红外光电探测器相邻。

每个像素中的至少一个红外光电探测器和至少一个非红外光电探测器均可以与共用微透镜耦接。

该至少一个红外光电探测器可以包括与红外滤光器耦接的光电探测器，并且该至少一个非红外光电探测器可以包括与非红外滤光器耦接的光电探测器。

根据本公开的第二方面，提供了一种用于处理图像的方法，该方法包括：接收三维区域的红外图像信息；接收同一个三维区域的非红外图像信息；对接收到的红外图像信息执行非线性强度调整；对接收到的非红外图像信息执行非线性强度调整；对经强度调整后的红外图像信息和经强度调整后的非红外图像信息进行混合，以获得合并后的图像信息；以及提供合并后的图像信息以用于确定深度图。

对经强度调整后的红外图像信息和经强度调整后的非红外图像信息进行混合可以包括：获取经强度调整后的红外图像信息与经强度调整后的非红外图像信息的加权和。

该方法还可以包括：从合并后的图像信息确定深度图。

该方法还可以包括：对红外图像信息进行去噪。

对非红外图像信息进行去噪可以包括：对红外图像信息执行高斯模糊。

该方法还可以包括：压缩合并后的图像信息。

接收到的红外图像信息和接收到的非红外图像信息可以对应于相同数量的像素。

根据本公开的第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有多个指令，这些指令在被电子设备的一个或多个处理器执行时，使得电子设备：接收三维区域的红外图像信息；接收同一个三维区域的非红外图像信息；对接收到的红外图像信息执行非线性强度调整；对接收到的非红外图像信息执行非线性强度调整；对经强度调整后的红外图像信息和经强度调整后的非红外图像信息进行混合，以获得合并后的图像信息；以及提供合并后的图像信息以用于确定深度图。

附图说明

为了更好地理解各种所描述的示例，应结合以下附图来参考以下具体实施方式，在附图中，相似的参考数字指代所有附图中的对应部分。

图1A和图1B是近眼显示器的示例的示意图。

图2是近眼显示器的横截面的示例。

图3示出了具有单个源组件的波导显示器的示例的等轴测视图。

图4示出了波导显示器的示例的横截面。

图5A是包括近眼显示器的系统的示例的框图。

图5B是示出了用于立体成像的成像设备和照明源的示意图。

图6A和图6B示出了图像传感器和主机设备的示例的框图。

图7A、图7B和图7C示出了用于通过图6A中的示例图像传感器确定不同范围的光强度的操作。

图8A、图8B、图8C和图8D示出了图6A中的示例图像传感器的示例像素单元的多个内部部件的示例。

图9是示出了图像处理单元的框图。

图10是示出了处理图像的方法的流程图。

这些附图仅出于说明的目的而描绘了本公开的多个示例。本领域技术人员将从以下描述中容易地认识到，可以在不脱离本公开的原理或所宣称的优势的情况下，采用所示出的结构和方法的替代示例。

在附图中，相似的部件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记后跟随连接号和区分多个相似部件的第二标记，来区分相同类型的各个部件。如果说明书中仅使用了第一参考标记，则该描述适用于具有相同第一参考标记的多个相似部件中的任一个，而不考虑第二参考标记。

具体实施方式

在以下描述中，出于解释的目的，阐述了具体细节以提供对某些发明示例的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下实践各种示例。这些附图和描述不旨在进行限制。

在某些情况下，深度感测涉及从一个或多个图像中确定深度(或深度图)。这些图像使用图像传感器来收集。

典型的图像传感器包括像素单元阵列。每个像素单元包括光电二极管，该光电二极管用于通过将光子转换成电荷(例如，电子或空穴)来测量入射光的强度。由光电二极管产生的电荷可由电荷感应单元转换为电压，该电荷感应单元可包括浮动漏极节点。该电压可以由模数转换器(analog-to-digital converter，ADC)量化为数字值。该数字值可以表示像素单元所接收到的光的强度，并且可以形成像素，该像素可以对应于接收到的来自场景的一点的光。包括像素阵列的图像可以源自于像素单元阵列的数字输出。

图像传感器可以用于执行不同模式的成像，例如，二维(2D)感测和三维(3D)感测。可以基于不同波长范围的光来执行2D感测和3D感测。例如，可见光波长范围内的光可以用于2D感测，而可见光波长范围之外的光(例如，红外光)可以用于3D感测。图像传感器可以包括滤光器阵列，该滤光器阵列允许不同可见光波长范围和不同颜色(例如，红色、绿色、蓝色、单色等)的光到达被分配用于2D感测的第一组像素单元，且允许不可见光波长范围的光到达被分配用于3D感测的第二组像素单元。

为了执行2D感测，像素单元中的光电二极管可以以与入射到该像素单元上的可见光分量(例如，红色、绿色、蓝色、单色等)的强度成比例的速率产生电荷，并且在曝光周期中积累的电荷量可以用于表示可见光(或可见光的某种颜色分量)的强度。可以将该电荷暂存于光电二极管，然后将该电荷转移到电容器(例如，浮置扩散区)以产生电压。可以通过模数转换器(ADC)对该电压进行采样和量化，以生成与可见光的强度相对应的输出。可以基于来自多个像素单元的输出而生成一图像像素值，该多个像素单元被配置为感测可见光的不同颜色(例如，红色、绿色和蓝色)分量。

此外，为了执行3D感测，可以将一不同波长范围的光(例如，红外光)投射到对象上，并且可以由多个像素单元检测反射光。上述光可以包括结构光、光脉冲等。来自像素单元的输出可以用于基于例如检测反射结构光的图案、测量光脉冲的飞行时间等来执行深度感测操作。为了检测反射结构光的图案，可以确定在曝光时间期间由多个像素单元产生的电荷量的分布，并且可以基于与电荷量相对应的电压而生成像素值。对于飞行时间测量，可以将像素单元的光电二极管处的电荷产生时间确定为，表示在像素单元处接收到反射的光脉冲的时间。光脉冲被向对象投射的时间与在像素单元处接收到反射的光脉冲的时间之间的时间差可以用于提供飞行时间测量。

像素单元阵列可用于生成场景的信息。在一些示例中，该阵列内的多个像素单元的子集(例如，第一集合)可以检测光的可见光分量以执行对场景的2D感测，并且该阵列内的多个像素单元的另一子集(例如，第二集合)可以检测光的红外分量以执行对场景的3D感测。对于提供虚拟现实(virtual-reality，VR)体验、增强现实(augmented-reality，AR)体验和/或混合现实(mixed reality，MR)体验的许多应用，对2D成像数据和3D成像数据的融合是有用的。例如，可穿戴VR/AR/MR系统可以对该系统的用户所处的环境进行场景重建。基于重建后的场景，VR/AR/MR可以产生提供交互式体验的显示效果。为了重建场景，像素单元阵列内的像素单元子集可以执行3D感测，以例如识别环境中的一组物理对象并确定这些物理对象与用户之间的距离。像素单元阵列内的另一像素单元子集可以执行2D感测，以例如采集这些物理对象的视觉属性，这些视觉属性包括纹理、颜色和反射率。然后，可以合并场景的2D图像数据和3D图像数据，以创建例如该场景的包括这些对象的视觉属性的3D模型。作为另一示例，可穿戴VR/AR/MR系统还可以基于2D图像数据和3D图像数据的融合来执行头部追踪操作。例如，基于2D图像数据，VR/AR/AR系统可以提取某些图像特征，以识别对象。基于3D图像数据，VR/AR/AR系统可以追踪所识别的对象相对于用户佩戴的可穿戴设备的位置。VR/AR/AR系统可以基于例如追踪所识别的对象相对于可穿戴设备的位置随用户的头部移动的变化，来追踪头部移动。

为了提高2D图像数据和3D图像数据的相关性，像素单元阵列可以被配置为提供对来自场景的一点的入射光的不同分量的并置成像。具体地，每个像素单元可以包括多个光电二极管和多个对应的电荷感应单元。该多个光电二极管中的各个光电二极管被配置为将入射光的不同光分量转换为电荷。为了使该多个光电二极管能够接收到入射光的不同光分量，可以以针对不同光电二极管提供对入射光的不同吸收距离的堆叠方式来形成该多个光电二极管，或者可以将该多个光电二极管形成在滤光器阵列下方的平面上。每个电荷感应单元包括一个或多个电容器，该一个或多个电容器通过将电荷转换成电压来感应对应光电二极管的电荷，ADC可以量化该电压以生成由每个光电二极管转换的入射光分量的强度的数字表示。ADC包括比较器。作为量化操作的一部分，比较器可以将电压与参考值进行比较以输出决定。比较器的输出可以控制存储器何时存储来自自运行计数器的值。该值可以提供对电压进行量化的结果。

图像传感器具有各种性能指标，例如动态范围、功率、帧率等。动态范围可以指图像传感器可测量的光强度的范围。对于动态范围，可以基于由图像传感器提供的光强度测量操作的线性度限定上限，而可以基于影响光强度测量操作的噪声信号(例如，暗电荷、热噪声等)限定下限。另一方面，各种因素可以影响帧率，帧率可以指图像传感器生成一图像帧所花费的时间量。这些因素例如可以包括完成量化操作的时间、被引入到量化操作的各种延迟等。

为了增大光强度测量操作的动态范围，ADC可以基于与不同强度范围相关联的不同量化操作，对电压进行量化。具体地，每个光电二极管可以在曝光周期内产生一定量的电荷，其中，该一定量的电荷表示入射光强度。每个光电二极管还具有量子阱，该量子阱将该电荷中的至少一些存储为残留电荷。可以基于光电二极管与电荷感应单元之间的开关上的偏置电压，设置量子阱容量。对于低光强度范围，光电二极管可以将全部电荷作为残留电荷存储在量子阱中。在光电二极管模数转换器(PD ADC)量化操作中，ADC可以对电荷感应单元因感应到一定量的残留电荷而生成的第一电压进行量化，以提供低光强度的数字表示。由于残留电荷通常对光电二极管中的暗电流不敏感，因此可以降低低光强度测量的本底噪声，这可以进一步扩展动态范围的下限。

此外，对于中间光强度范围，残留电荷可以充满量子阱，并且光电二极管可以将剩余电荷作为溢出电荷而传送到电荷感应单元，该电荷感应单元可以因感应到一定量的溢出电荷而生成第二电压。在浮置扩散区模数转换器(FD ADC)量化操作中，ADC可以对第二电压进行量化，以提供中间光强度的数字表示。对于低光强度和中间光强度这两者，电荷感应单元中的一个或多个电容器还未饱和，并且第一电压的幅度和第二电压的幅度与光强度相关。因此，对于低光强度和中间光强度这两者，ADC中的比较器可以将第一电压或第二电压与斜坡电压进行比较以生成决定。该决定可以控制存储器存储计数器值，该计数器值可以表示残留电荷的量或溢出电荷的量。

对于高光强度范围，溢出电荷可使电荷感应单元中的一个或多个电容器饱和。因此，第二电压的幅度不再随光强度变化，并且可以向光强度测量引入非线性度。为了减少由电容器的饱和引起的非线性度，ADC可以通过将第二电压与静态阈值进行比较来执行饱和时间(time-to-saturation，TTS)测量操作以生成决定，该决定可以控制存储器存储计数器值。该计数器值可以表示第二电压达到饱和阈值的时间。饱和时间可以表示一范围内的光强度，在该范围处，电荷感应单元饱和并且第二电压的值不再反映光强度。利用这种布置，可以扩展动态范围的上限。

另一方面，可以基于各种技术提高图像传感器的操作速度，这些技术例如为减少一像素单元的所有光电二极管完成量化操作的总时间，尤其是在如以上所描述的、对由光电二极管产生的电荷执行多种量化操作以改善动态范围的情况下。减少完成量化操作的总时间的一种方式是，通过例如对像素单元中的每个光电二极管提供比较器来实现各个光电二极管的并行量化操作，使得该像素单元的每个光电二极管具有其自身专用的比较器以执行多种量化操作。

尽管使图像传感器的每个像素单元中包括多个比较器可以减少每个像素单元完成量化操作的总时间从而可以提高图像传感器的操作速度，但这种布置可能会大幅度增加像素单元的功耗和尺寸，而这两者对于可穿戴应用而言尤其不希望。具体地，比较器通常包括消耗大量静态电流的多个模拟电路(例如，差分对、偏置电路、输出级等)。此外，那些模拟电路通常使用多个晶体管器件(这些晶体管器件具有与像素单元的数字电路和光电二极管器件的工艺节点不同的工艺节点)，并占据比数字电路和光电二极管器件大得多的空间。由于工艺技术的进步进一步缩小了光电二极管的尺寸，从而允许将更多的光电二极管包括在图像传感器中以提高分辨率，因此比较器所需的功率和空间可能会成为限制图像传感器可以包括多少个光电二极管的瓶颈，尤其是在每个光电二极管将具有专用比较器的情况下。

除了使像素单元中的各光电二极管的量化操作并行之外，提高图像传感器的操作速度的另一种方式是，通过减少引入到量化操作的各种延迟。延迟的一个来源可能是用于将多个量化结果(例如，像素数据)从图像传感器移动到应用程序的主机设备的时间，该主机设备消耗这些量化结果。例如，可能会暂停后续的量化操作，以等待将先前的量化操作的量化结果传送到主机设备。如果可以减少或最小化后续的量化操作的暂停时间，则可以提高图像传感器的操作速度。

本公开涉及一种图像传感器，该图像传感器可以通过解决上述问题中的至少一些问题，来提供改进的并置的2D成像操作和3D成像操作、以及改进的全局快门操作。具体地，图像传感器可以包括第一光电二极管、第二光电二极管、量化器、第一存储体、第二存储体、和控制器。第一光电二极管可以响应于入射光而产生第一电荷，而第二光电二极管可以响应于入射光而产生第二电荷。量化器包括比较器且在第一光电二极管和第二光电二极管之间共享。控制器可以控制量化器针对第一电荷执行第一量化操作和第二量化操作以分别生成第一数字输出和第二数字输出，并可以将第一数字输出或第二数字输出中的一者存储在第一存储体中，第一量化操作和第二量化操作与不同的强度范围相关联。此外，控制器可以控制量化器针对第二电荷执行第三量化操作以生成第三数字输出，并可以5将第三数字输出存储在第二存储体中。第三量化操作和与第一量化操作或第二量化操作中的至少一个量化操作不同的强度范围相关联。

在一个示例中，图像传感器可以包括电荷感应单元，该电荷感应单元在第一光电二极管和第二光电二极管之间共享，并且量化器可以量化电荷感应单元的输出。电荷感应单元可以包括电容器，该电容器将第一电荷转换为第一电压，且将第二电荷转换为第二电压，该第一电压和第二电压可被量化器量化。具体地，在曝光时间内，控制器首先可以将电荷感应单元连接到第一光电二极管，以接收来自第一光电二极管的第一溢出电荷作为第一电荷的一部分，同时第一光电二极管积累第一残留电荷(作为第一电荷的一部分)并且第二光电二极管15积累第二残留电荷(作为第二电荷的一部分)。在该曝光周期期间，存储于电容器的第一溢出电荷可以形成第一电压，且量化器可以对该第一电压执行TTS操作或FDADC操作中的至少一种以生成第一数字输出。

在曝光周期结束之后，可以对第一光电二极管执行PD ADC操作，在该PD ADC操作中，将第一光电二极管处积累的第一残留电荷转移到电荷感应单元，以获得新的第一电压。新的第一电压可以由量化器量化以生成第二数字输出。基于第一溢出电荷是否使电荷感应单元的电容器饱和、以及第一残留电荷是否使第一光电二极管饱和，可以将第一数字输出(要么来自TTS操作要么来自FD ADC操作)或第二数字输出(来自PD ADC操作)中的一者存储在第一存储体中。在对第一光电二极管的PD ADC操作完成之后，控制器可以控制第二光电二极管将第二残留电荷转移到电荷感应单元以生成第二电压，并控制量化器对第二电压执行PD ADC操作以生成第三数字输出。可以将第三数字输出存储在第二存储体中。

第一光电二极管和第二光电二极管可以是图像传感器的同一像素单元的一部分或不同像素单元的部分。第一光电二极管和第二光电二极管可以被配置为检测入射光的不同分量。在一个示例中，第一光电二极管可以被配置为检测入射光的可见光分量以生成用于2D成像的像素数据，而第二光电二极管可以被配置为检测入射光的红外分量以生成用于3D成像的像素数据。第一存储体可以是用于存储2D图像帧的第一存储器的一部分，而第二存储体可以是用于存储3D图像帧的第二存储器的一部分。

上述布置可以改善图像传感器的性能，并减小图像传感器的尺寸和功耗。具体地，通过提供附加的存储体来存储从完成的量化操作生成的2D图像帧和3D图像帧，可以在下一帧的后续量化操作正在进行的同时，从存储器中读出2D图像帧和3D图像帧并将其传送到主机设备。与单个存储体由多个光电二极管共享、从而需要暂停对一个光电二极管的输出进行的量化直到存储在该存储体中的量化结果被读出且可被擦除的情况相比，上述布置可以减少引入到量化操作的延迟，并且可以提高图像传感器的操作速度。此外，通过在多个光电二极管之间共享比较器，可以减小图像传感器的功耗和尺寸(其通常由比较器的模拟电路来支配)。另一方面，考虑到存储体通常被实现为数字电路(其与比较器相比占用更少的空间且消耗更少的功率)，包括附加的存储体通常不会导致图像传感器的尺寸和功耗大量增加，尤其是在利用先进的工艺技术制造存储体时。

图像传感器可以包括附加的电荷感应单元和附加的存储体，并且光电二极管与存储体之间的映射可以基于不同的应用程序而改变。在一个示例中，图像传感器可以包括两个像素单元，每个像素单元包括一对光电二极管和一电荷感应单元。两个电荷感应单元(两个像素单元的电荷感应单元)可以共享比较器。第一光电二极管可以是第一像素单元中的，而第二光电二极管可以是第二像素单元中的。首先，比较器可以连接到第一像素单元的电荷感应单元，以针对第一光电二极管执行TTS操作、FD ADC操作、和PD ADC操作，并且将这些操作中的一个操作的输出存储于第一存储体。然后，比较器可以连接到第二像素单元的电荷感应单元，以针对第二光电二极管执行FD ADC操作和PD ADC操作，并且将这些操作中的一个操作的输出存储于第二存储体。对于这些像素单元中的其它光电二极管，仅执行PDADC操作，并且可以在第一光电二极管和第二光电二极管的输出已被读出之后，将这些PDADC操作的结果存储在第一存储体和第二存储体中。

作为另一示例，图像传感器的每个像素单元可以包括共享一电荷感应单元的四个光电二极管，并且该图像传感器可以包括四个存储体。在一些示例中，这些存储体可以均匀地分布在多个像素单元之中，例如，使两个存储体存储第一像素单元的输出，并且使另外两个存储体存储第二像素单元的输出。在一些示例中，可以基于例如一像素单元是关注区域的一部分而将这些存储体优先分配为存储该像素单元的输出，并且需要先于其他像素单元读出该像素单元的输出，以例如动态地改变其它像素单元的量化操作(例如，设置其它像素单元的曝光时间，启用/禁用其它像素单元的某些量化操作等)。作为另一示例，可以分配多个存储体来存储一光电二极管的输出。这种布置可以用于实现对电荷感应单元处的、由于残留电荷/溢出电荷的积累而产生的电压的多次采样，这可以提高量化的分辨率。在这种示例中，该多个存储体中的每个存储体可以存储该电压的一数字样本，并且这些数字样本可以被读出取平均值(或者被以其他方式进行后处理)以生成表示残留电荷/溢出电荷的数字输出。

所公开的技术可以包括人工现实系统，或者可以结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与采集的(例如，真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，以上中的任何一种可以在单个通道或多个通道(例如，向观看者产生三维效果的立体视频)中呈现。另外，在一些示例中，人工现实还可以与应用、产品、附件、服务、或它们的某种组合相关联，这些应用、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容和/或以其他方式用于人工现实(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括：连接到主机计算机系统的头戴式显示器(head-mounted display，HMD)、独立的HMD、移动设备或计算系统、或能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。

图1A是近眼显示器100的示例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一幅或多幅图像、视频、和/或音频。在一些示例中，音频经由外部设备(例如，扬声器和/或耳机)来呈现，该外部设备接收来自近眼显示器100、控制台、或它们两者的音频信息，并基于该音频信息呈现音频数据。近眼显示器100普遍地被配置为作为虚拟现实(VR)显示器来运行。在一些示例中，近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器来运行。

近眼显示器100包括框架105和显示器110。框架105与一个或多个光学元件耦接。显示器110被配置为使用户观看近眼显示器100所呈现的内容。在一些示例中，显示器110包括波导显示组件，该波导显示组件用于将来自一个或多个图像的光引导至用户的眼睛。

近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每个图像传感器可以包括像素阵列，这些像素阵列被配置为生成表示沿不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置为提供表示朝向沿Z轴的方向A的两个视场的图像数据，而传感器120c可以被配置为提供表示朝向沿X轴的方向B的视场的图像数据，并且传感器120d可以被配置为提供表示朝向沿X轴的方向C的视场的图像数据。

在一些示例中，传感器120a至120d可以被配置为，作为输入设备而控制或影响近眼显示器100的显示内容，以向佩戴了近眼显示器100的用户提供交互式VR/AR/MR体验。例如，传感器120a至120d可以生成用户所处的物理环境的物理图像数据。该物理图像数据可以被提供给位置追踪系统，以追踪用户在物理环境中的位置和/或移动路径。然后，系统可以基于例如用户的位置和方位，更新提供给显示器110的图像数据，以提供交互式体验。在一些示例中，位置追踪系统可以运行同步定位与地图构建(SLAM)算法，以在用户在物理环境内移动时，追踪在物理环境中且在用户的视场内的一组对象。位置追踪系统可以基于该组对象来构建和更新物理环境的地图，并且追踪用户在该地图内的位置。通过提供与多个视场相对应的图像数据，传感器120a至120d可以向位置追踪系统提供更全面的物理环境的视图，这可以使得在构建和更新的地图中包括更多对象。利用这种布置，可以提高追踪用户在物理环境内的位置的准确性和鲁棒性。

在一些示例中，近眼显示器100还可以包括一个或多个有源的照明器130，该一个或多个有源的照明器将光投射到物理环境上。所投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光以帮助传感器120a至120d采集黑暗环境内的不同对象的图像，以例如实现用户的位置追踪。照明器130可以将某些标记投射到环境内的对象上，以帮助位置追踪系统识别对象以用于地图构建/更新。

在一些示例中，照明器130还可以实现立体成像。例如，传感器120a或120b中的一个或多个可以包括用于可见光感测的第一像素阵列和用于红外(infrared，IR)光感测的第二像素阵列这两者。第一像素阵列可以覆盖有滤色器(例如，拜耳滤光器(Bayer filter))，其中第一像素阵列中的每个像素被配置为测量与特定颜色(例如，红色、绿色或蓝色中的一种)相关联的光的强度。第二像素阵列(用于IR光感测)也可以覆盖有仅允许IR光通过的滤光器，其中第二像素阵列中的每个像素被配置为测量IR光的强度。这些像素阵列可以生成一对象的红绿蓝(red-green-blue，RGB)图像和IR图像，其中IR图像中的每个像素被映射到RGB图像中的每个像素。照明器130可以将一组IR标记投射在一对象上，该对象的图像可以由IR像素阵列采集。基于如图像中所示的、该对象的IR标记的分布，系统可以估计该对象的不同部分距IR像素阵列的距离，并基于这些距离生成该对象的立体图像。基于该对象的立体图像，系统可以确定例如该对象相对于用户的相对位置，并且可以基于相对位置信息对提供给显示器100的图像数据进行更新，以提供交互式体验。

如以上所论述的，近眼显示器100可以在与非常宽的光强度范围相关联的多个环境中运行。例如，近眼显示器100可以在室内环境中或室外环境中运行，和/或在一天的不同时间运行。近眼显示器100还可以在有源的照明器130被打开或没有被打开的情况下运行。因此，图像传感器120a至120d可能需要具有宽的动态范围，以能够在与近眼显示器100的不同运行环境相关联的非常宽的光强度范围上正确地运行(例如，以生成与入射光强度相关的输出)。

图1B是近眼显示器100的另一示例的示意图。图1B示出了近眼显示器100的面向佩戴了近眼显示器100的用户的一个或多个眼球135的一侧。如图1B所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向D(其与图1A的方向A相反)发射特定频率范围(例如，近红外(NIR))的光。所发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，该像素阵列接收反射光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的NIR光。NIR光可以被用户的右眼球反射，然后可以被传感器150b接收。传感器150b也可以包括像素阵列，该像素阵列生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的注视点，并且基于所确定的注视点对提供给显示器100的图像数据进行更新，以向用户提供交互式体验。

如以上所论述的，为了避免损伤用户的眼球，照明器140a、140b、140c、140d、140e和140f典型地被配置为输出非常低强度的光。在图像传感器150a和150b包括与图1A中的图像传感器10 120a至120d相同的传感器器件的情况下，图像传感器120a至120d可能需要在入射光的强度非常低时，能够生成与入射光的强度相关的输出，这可能会进一步增加图像传感器的动态范围需求。

此外，图像传感器120a至120d可能需要能够高速生成输出，以追踪眼球的运动。例如，用户的眼球可以进行非常快速的运动(例如，扫视运动)，在该非常快速的运动中，可存在从一个眼球位置到另一个眼球位置的快速跳转。为了追踪用户的眼球的快速运动，图像传感器120a至120d需要高速生成眼球的图像。例如，图像传感器生成图像帧的速率(帧率)至少需要与眼球的运动速度相匹配。高的帧率要求涉及生成图像帧的所有像素单元的总曝光时间短，且要求将传感器输出高速度地转换为用于图像生成的数字值。此外，如以上所论述的，图像传感器还需要能够在具有低的光强度的环境中运行。

图2是图1A和图1B中所示出的近眼显示器100的横截面200的示例。显示器110包括至少一个波导显示组件210。出射光瞳230是在用户佩戴近眼显示器100时用户的单个眼球220被定位在眼动范围区域中的位置。出于说明的目的，图2显示了与眼球220和单个波导显示组件210相关联的横截面200，而对于用户的第二只眼睛，使用第二波导显示器。

波导显示组件210被配置为将图像光引导至位于出射光瞳230处的眼动范围，并引导至眼球220。波导显示组件210可以由具有一种或多种折射率的一种或多种材料(例如，塑料、玻璃等)构成。在一些示例中，近眼显示器100包括一个或多个光学元件，该一个或多个光学元件位于波导显示组件210与眼球220之间。

在一些示例中，波导显示组件210包括堆叠的一个或多个波导显示器，该堆叠的一个或多个波导显示器包括但不限于，堆叠式波导显示器、可变焦波导显示器等。堆叠式波导显示器是通过堆叠具有不同颜色的相应单色光源的多个波导显示器而产生的多色显示器(例如，红绿蓝(RGB)显示器)。堆叠式波导显示器也是可以投射到多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以投射到多个平面上的单色显示器(例如，多平面单色显示器)。可变焦波导显示器是可调整从波导显示器发射的图像光的焦点位置的显示器。在替代示例中，波导显示组件210可以包括堆叠式波导显示器和可变焦波导显示器。

图3示出了波导显示器300的示例的等轴测视图。在一些示例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些示例中，波导显示器300是将图像光引导至特定位置的某种其他近眼显示器或其他系统的一部分。

波导显示器300包括源组件310、输出波导320和控制器330。出于说明的目的，图3显示了与单个眼球220相关联的波导显示器300，但在一些示例中，与波导显示器300分开或部分分开的另一波导显示器向用户的另一眼睛提供图像光。

源组件310生成图像光355。源组件310生成图像光355，并向位于输出波导320的第一侧370-1上的耦合元件350输出该图像光。输出波导320是向用户的眼球220输出扩展后的图像光340的光波导。输出波导320接收位于第一侧370-1上的一个或多个耦合元件350处的图像光355，并将接收到的输入的图像光355引导到引导元件360。在一些示例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350例如可以是衍射光栅、全息光栅、一个或多个级联反射器、一个或多个棱镜表面元件、和/或全息反射器的阵列。

引导元件360将所接收到的输入的图像光355重定向到解耦元件365，使得所接收的输入的图像光355经由解耦元件365解耦到输出波导5 320之外。引导元件360是输出波导320的第一侧370-1的一部分，或者被固定到该输出波导的第一侧。解耦元件365是输出波导320的第二侧370-2的一部分，或者被固定到该输出波导的第二侧，使得引导元件360与解耦元件365相对。引导元件360和/或解耦元件365例如可以是衍射光栅、全息光栅、一个或多个级联反射器、一个或多个棱镜表面元件、和/或全息反射器的阵列。

第二侧370-2表示沿x-维度和y-维度的平面。输出波导320可以由促进图像光355的全内反射的一种或多种材料构成。输出波导320例如可以由硅、塑料、玻璃、和/或聚合物构成。输出波导320具有相对小的形状因子。例如，输出波导320可以具有沿x-维度的大约50毫米(mm)的宽度、沿y-维度的大约30mm的长度、以及沿z-维度的大约0.5mm至1mm的厚度。

控制器330控制源组件310的扫描操作。控制器330确定用于源组件310的扫描指令。在一些示例中，输出波导320以大视场角(field of view，FOV)向用户的眼球220输出扩展后的图像光340。例如，以等于和/或大于60度、和/或等于和/或小于150度的对角线FOV(沿x和y)向用户的眼球220提供扩展后的图像光340。输出波导320被配置为提供一眼动范围，该眼动范围具有等于或大于20mm和/或等于或小于50mm的长度、和/或等于或大于10mm和/或等于或小于50mm的宽度。

此外，控制器330还基于由图像传感器370提供的图像数据，来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧370-1上，并且例如可以包括图1A中的图像传感器120a至120d，以生成用户前方的物理环境的图像数据(例如，用于位置确定)。图像传感器370也可以位于第二侧370-2上，并且可以包括图1B中的图像传感器150a和150b，以生成用户的眼球220的图像数据(例如，用于注视点确定)。图像传感器370可以与未位于波导显示器300内的远程控制台相连接。图像传感器370可以向远程控制台提供图像数据，该远程控制台可以确定例如用户的位置、用户的注视点等，并且可以确定待显示给用户的图像的内容。远程控制台可以向控制器330发送与所确定的内容有关的多个指令。基于这些指令，控制器330可以控制源组件310对图像光355进行生成和输出。

图4示出了波导显示器300的横截面400的示例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧370-1上的一组像素单元402，以生成用户前方的物理环境的图像。在一些示例中，可以存在插入在该组像素单元402与物理环境之间的机械快门404，以控制该组像素单元402的曝光。在一些示例中，机械快门404可以由电子快门代替，如以下将论述的。多个像素单元402中的每个像素单元可以对应于图像的一个像素。尽管图4中未示出，但应理解，多个像素单元402中的每个像素单元也可以覆盖有滤光器，以控制即将被这些像素单元感测的光的频率范围。

机械快门404在接收到来自远程控制台的指令之后，可以打开，并在曝光周期内使该组像素单元暴露。在曝光周期期间，图像传感器370可以获取入射到该组像素单元402上的光样本，并基于由该组像素单元402检测到的入射光样本的强度分布而生成图像数据。然后，图像传感器370可以将该图像数据提供给远程控制台，该远程控制台确定显示内容，并将显示内容信息提供给控制器330。然后，控制器330可以基于该显示内容信息确定图像光355。

源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410例如可以是激光二极管、垂直腔面发射激光器、和/或发光二极管。

光学系统415包括一个或多个光学元件，该一个或多个光学元件对来自源410的光进行调节。对来自源410的光进行调节例如可以包括根据来自控制器330的指令进行扩展、准直、和/或调整方位。该一个或多个光学元件可以包括一个或多个透镜、一个或多个液体透镜、一个或多个反射镜、一个或多个光圈、和/或一个或多个光栅。在一些示例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许以扫描角度阈值对光束进行扫描，以将该光束移动到液体透镜外部的区域。从光学系统415(以及也从源组件310)发射的光被称为图像光355。

输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的示例中，选择衍射光栅的节距使得输出波导320中发生全内反射，并且图像光355在输出波导320中向着解耦元件365而内部传播(例如，通过全内反射)。

引导元件360将图像光355重定向为朝向解耦元件365，以用于从输出波导320解耦。在引导元件360是衍射光栅的示例中，选择衍射光栅的节距，以使入射的图像光355以相对于解耦元件365的表面的一个或多个倾斜角度离开输出波导320。

在一些示例中，引导元件360和/或解耦元件365在结构上类似。离开输出波导320的扩展后的图像光340是沿一个或多个维度扩展的(例如，可以是沿x-维度延长的)。在一些示例中，波导显示器300包括多个源组件310和多个输出波导320。多个源组件310中的每个源组件发射一特定波长带的单色图像光，该特定波长带与一原色(例如，红色、绿色或蓝色)相对应。多个输出波导320的各输出波导可以以一间隔距离堆叠在一起，以输出彩色的扩展后的图像光340。

图5A是包括近眼显示器100的系统500的示例的框图。系统500包括均耦接到控制电路510的近眼显示器100、成像设备535、输入/输出接口540、以及图像传感器120a至120d和图像传感器150a和150b。系统500可以被配置作为头戴式设备、可穿戴设备等。

近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体的示例包括一幅或多幅图像、视频、和/或音频。在一些示例中，音频经由外部设备(例如，扬声器和/或耳机)来呈现，该外部设备接收来自近眼显示器100和/或控制电路510的音频信息，并且基于该音频信息向用户呈现音频数据。在一些示例中，近眼显示器100也可以充当AR眼镜镜片。在一些示例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理的、真实世界的环境的视图。

近眼显示器100包括波导显示组件210、深度摄像头组件(depth cameraassembly，DCA)520、一个或多个位置传感器525、和/或惯性测量单元(inertialmeasurement unit，IMU)530。近眼显示器100的一些示例具有与关于图5A所描述的那些部件不同的部件。此外，在其他示例中，关于图5A所描述的各种部件所提供的功能可以以不同的方式分布在近眼显示器100的多个部件之中。

在一些示例中，波导显示组件210包括源组件310、输出波导320和控制器330。

DCA 120采集描述近眼显示器100周围的区域的深度信息的数据。DCA 120的一些示例包括一个或多个成像设备(例如，摄像头或摄像机)和照明源，该照明源被配置为发射结构光(structured light，SL)图案。如以下所进一步论述的，结构光将指定图案投射到场景上，该指定图案例如为对称或准随机点图案、网格、或多个横条。例如，照明源将网格或一系列横条发射到近眼显示器100周围的环境上。基于三角测量或在图案被投射到表面上时而感知到的图案变形，确定场景内多个对象的深度信息和表面信息。

在一些示例中，为了更好地采集近眼显示器100周围的区域的深度信息，DCA 120还采集飞行时间信息，该飞行时间信息描述了光从照明源发射至被近眼显示器100周围的区域中的多个对象反射回到一个或多个成像设备的多个时间。在各种实施方式中，DCA120同时或几乎同时采集飞行时间信息与结构光信息。基于所发射的光至被一个或多个成像设备采集的多个时间，DCA 120确定DCA 120与近眼显示器100周围的区域中反射来自照明源的光的多个对象之间的距离。为了采集飞行时间信息以及结构光信息，照明源利用具有特定频率的载波信号对所发射的SL图案进行调制，该特定频率例如为30MHz(在各种示例中，该频率可以选自5MHz和5GHz之间的频率范围)。

成像设备采集并记录多个特定波长范围的光(例如，光的多个“带”)。由成像设备采集的光的示例带包括：可见光带(～380nm至750nm)、红外(IR)带(～750nm至2200nm)、紫外带(100nm至380nm)、电磁波谱的另一部分、或它们的某种组合。在一些示例中，成像设备采集包括可见光带中和红外带中的光的图像。为了采集来自结构光图案的、从近眼显示器100周围的区域中的多个对象反射的光，并连同确定载波信号从照明源至被从该区域中的多个对象反射到DCA 120的多个时间，成像设备包括检测器，该检测器包括像素组阵列。每个像素组包括一个或多个像素，并且不同的像素组与相对于载波信号的相位的不同相移相关联。在各种示例中，不同的像素组相对于彼此在不同时间被激活，以采集被照明源发射的载波信号调制的图案的不同时间相位。例如，在不同时间激活多个像素组，使得相邻像素组采集相对于彼此具有大约90度相移、大约180度相移或大约270度相移的光。DCA 120从不同的像素组所采集的信号数据中获得载波信号的相位，该载波信号的相位相当于距DCA 120的深度。要么通过对时域上的总像素电荷进行求和，要么在对载波相位信号进行校正之后，所采集的数据还生成空间图案的图像帧。

IMU 530是基于接收到的来自多个位置传感器525中的一个或多个位置传感器的测量信号而生成快速校准数据的电子设备，该快速校准数据指示近眼显示器100相对于近眼显示器100的初始位置的估计位置。

成像设备535可以生成用于各种应用的图像数据。例如，成像设备535可以根据接收到的来自控制电路510的校准参数，生成用于提供慢速校准数据的图像数据。成像设备535例如可以包括图1A中的、用于生成用户所处的物理环境的图像数据以用于执行对用户的位置追踪的图像传感器120a至120d。成像设备535例如还可以包括图1B中的、用于生成用于确定用户的注视点的图像数据以识别用户的关注对象的图像传感器150a和150b。

输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是启动或结束应用程序或在应用程序内执行特定动作。

控制电路510根据接收到的来自成像设备535、近眼显示器100和输入/输出接口540中的一个或多个的信息，向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以容纳在被配置作为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500中的其他部件通信耦接的独立的控制台设备。在图5所示的示例中，控制电路510包括应用程序商店545、追踪模块550和引擎555。

应用程序商店545存储用于供控制电路510执行的一个或多个应用程序。应用程序是一组指令，该组指令在被处理器执行时，生成用于向用户呈现的内容。应用程序的示例包括：游戏应用程序、会议应用程序、视频播放应用程序、或其他合适的应用程序。

追踪模块550使用一个或多个校准参数来对系统500进行校准，并且可以调整一个或多个校准参数，以减少确定近眼显示器100的位置时的误差。

追踪模块550使用来自成像设备535的慢速校准信息，来追踪近眼显示器100的移动。追踪模块550还使用来自快速校准信息的位置信息，来确定近眼显示器100的参考点的位置。

引擎555执行系统500内的应用程序，并接收来自追踪模块550的近眼显示器100的位置信息、加速度信息、速度信息、和/或预测的未来位置。在一些示例中，引擎555接收到的信息可以用于为波导显示组件210生成确定呈现给用户的内容的类型的信号(例如，显示指令)。例如，为了提供交互式体验，引擎555可以基于用户的位置(例如，由追踪模块550提供)、或用户的注视点(例如，基于成像设备535所提供的图像数据)、对象与用户之间的距离(例如，基于成像设备535所提供的图像数据)，确定待呈现给用户的内容。

图5B显示了DCA 520中的一个或多个成像设备565(例如，用于立体测量的两个成像设备565)和照明源560的示例布置，其中照明源560将结构光图案(也被称为空间图案)投射到局部区域上。在图5B中，示例空间图案包括在照明源560的视场角内投射的网格图案。通过散射或直接反射，该空间图案被成像设备565采集。在一些示例中，所采集的空间图案存储在DCA 520的存储器570中。DCA 520中的一个或多个处理器575基于采集到的投射的结构光的一个或多个图像，通过三角测量来确定局部区域的三维布局。

图6A示出了图像传感器600的示例。图像传感器600可以是近眼显示器100的一部分，并且可以向图5的控制电路510提供2D图像数据和3D图像数据，以控制近眼显示器100的显示内容。如图6A所示，图像传感器600可以包括像素单元阵列602，该像素单元阵列包括像素单元602a。像素单元602a可以包括多个光电二极管612(该多个光电二极管例如包括光电二极管612a、612b、612c和612d)、一个或多个电荷感应单元614、以及一个或多个模数转换器616。该多个光电二极管612可以将入射光的不同分量转换成电荷。例如，光电二极管612a至612c可以与不同的可见光通道相对应，其中，光电二极管612a可以将可见蓝色分量(例如，波长范围为450纳米(nanometers，nm)至490nm)转换成电荷。光电二极管612b可以将可见绿色分量(例如，波长范围为520nm至560nm)转换成电荷。光电二极管612c可以将可见红色分量(例如，波长范围为635nm至700nm)转换成电荷。此外，光电二极管612d可以将红外分量(例如，700nm至1000nm)转换成电荷。该一个或多个电荷感应单元614中的每个可以包括电荷存储器件和缓冲器，以将光电二极管612a至612d产生的电荷转换成多个电压，这些电压可以被一个或多个ADC 616量化为数字值。从光电二极管612a至612c生成的多个数字值可以表示像素的不同可见光分量，且每个数字值可以用于特定可见光通道中的2D感测。此外，从光电二极管612d生成的数字值可以表示同一像素的红外光分量，并且可以用于3D感测。尽管图6A显示了像素单元602a包括四个光电二极管，但应理解的是，像素单元可以包括不同数量的光电二极管(例如，两个、三个等)。

此外，图像传感器600还包括照明器622、滤光器624、成像模块628和感测控制器640。照明器622可以是红外照明器，例如激光器、发光二极管(light emitting diode，LED)等，该照明器可以投射红外光以用于3D感测。所投射的光例如可以包括结构光、光脉冲等。滤光器624可以包括覆盖在每个像素单元(包括像素单元606a)中的多个光电二极管612a至612d上的一滤光元件阵列。每个滤光元件可以设定由像素单元606a中的每个光电二极管接收的入射光的波长范围。例如，光电二极管612a之上的滤光元件可以透射可见蓝色光分量，同时阻挡其他分量，光电二极管612b之上的滤光元件可以透射可见绿色光分量，光电二极管612c之上的滤光元件可以透射可见红色光分量，而光电二极管612d之上的滤光元件可以透射红外光分量。

图像传感器600还包括成像模块628和存储器630。成像模块628还可以包括用于执行2D成像操作的2D成像模块632、和用于执行3D成像操作的3D成像模块634。这些操作可以基于由多个ADC 616提供的数字值。例如，基于来自光电二极管612a至612c中的各个光电二极管的数字值，2D成像模块632可以生成表示每个可见颜色通道的入射光分量的强度的像素值阵列，从而生成每个可见颜色通道的图像帧。此外，3D成像模块634可以基于来自光电二极管612d的多个数字值生成3D图像。在一些示例中，基于这些数字值，3D成像模块634可以检测被对象的一表面所反射的结构光的图案，并将检测到的图案与照明器622投射的结构光的图案进行比较，以确定该表面的不同点相对于像素单元阵列的深度。为了检测反射光的图案，3D成像模块634可以基于在像素单元处接收到的红外光的强度，生成像素值。作为另一示例，3D成像模块634可以基于由照明器622发射并由对象反射的红外光的飞行时间，生成像素值。存储器630可以存储分别由2D成像模块632和3D成像模块634生成的2D和3D图像中的至少一些像素数据。

图像传感器600还包括感测控制器640，该感测控制器控制图像传感器600的不同部件执行对象的2D成像和3D成像。现参考图7A至图7C，图7A至图7C示出了图像传感器600的用于2D成像和3D成像的操作的示例。图7A示出了用于2D成像的操作的示例。对于2D成像，像素单元阵列602可以检测环境中的可见光，该环境中的可见光包括从对象反射的可见光。例如，参考图7A，可见光源700(例如，灯泡、阳光或其他环境可见光源)可以将可见光702投射到对象704上。对象704的点708可以反射出可见光706。可见光706还可以包括环境红外光分量。可见光706可被滤光器阵列624过滤，以使可见光706中的波长范围为w0，w1，w2和w3的不同分量通过而分别到达像素单元602a中的光电二极管612a、612b、612c及612d。波长范围w0、w1、w2和w3分别对应于蓝色、绿色、红色和红外。如图7A所示，由于红外照明器622未开启，因此红外分量(w3)的强度由环境红外光贡献，且可能非常低。此外，可见光706的不同可见分量也可具有不同强度。电荷感应单元614可以将由多个光电二极管产生的电荷转换为多个电压，这些电压可被多个ADC 616量化为多个数字值，这些数字值表示代表点708的一像素的红色分量、蓝色分量和绿色分量。参考图7C，在这些数字值被生成之后，感测控制器640可以控制2D成像模块632来基于这些数字值生成多组图像，该多组图像包括一组图像710，该组图像包括红色图像帧710a、蓝色图像帧710b和绿色图像帧710c，该红色图像帧、蓝色图像帧和绿色图像帧中的每个表示以同一帧周期714采集的场景的红色图像、蓝色图像或绿色图像中的一个。来自红色图像的每个像素(例如，像素712a)、来自蓝色图像的每个像素(例如，像素712b)和来自绿色图像的每个像素(例如，像素712c)可以表示来自场景的同一点(例如，点708)的光的多个可见分量。在后续的帧周期724中，2D成像模块632可以生成一不同组图像720。红色图像710a、蓝色图像710b和绿色图像710c中的每个可以表示一特定颜色通道中的场景，并且可以被提供给应用程序，以例如从该特定颜色通道中提取图像特征。由于各个图像表示同一场景，并且多个图像中的每个对应像素表示来自该场景的同一点的光，因此可以提高不同颜色通道之间的图像关联性。

此外，图像传感器600还可以执行对象704的3D成像。参考图7B，感测控制器610可以控制照明器622将红外光732投射到对象704上，该红外光可以包括光脉冲、结构光等。红外光732可以具有700nm至1毫米(millimeter，mm)的波长范围。对象704的点708可以反射出红外光734，并且红外光734可以朝向像素单元阵列602传播且通过滤光器624，该滤光器可以将红外分量(波长范围为w3)提供给光电二极管612d以转换成电荷。电荷感应单元614可以将电荷转换成电压，该电压可被ADC 616量化为多个数字值。参考图7C，在这些数字值被生成之后，感测控制器640可以控制3D成像模块634来基于这些数字值生成场景的红外图像710d，作为在曝光周期714内采集的多个图像710的一部分。由于红外图像710d可以表示红外通道中的同一场景，并且红外图像710d的一像素(例如，像素712d)表示来自场景中与多个图像710内的其他图像中的其他对应像素(像素712a至712c)相同的同一点的光，因此也可以提高2D成像和3D成像之间的关联性。

在一些示例中，如图6B所示，图像传感器600可以经由互连650与主机设备652通信耦接，该主机设备托管应用程序654。图像传感器600和主机设备652可以是可穿戴VR/AR/MR系统的一部分，而应用程序654可以基于由图像传感器600提供的2D图像数据和3D图像数据，来执行对系统的用户所处的环境的场景重建，并且可以基于重建后的场景生成显示效果，以提供交互式体验。在一些示例中，互连650可以是符合移动产业处理器接口(MobileIndustry Processor Interface，MIPI)的摄像头串行接口(Camera Serial Interface，CSI)规范的串行互连。图像传感器600可以执行从存储器630读出2D图像数据和/或3D图像数据，并将该2D图像数据和3D图像数据经由互连650传输到主机设备652。

图8A至图8D示出了像素单元中的多个光电二极管612的布置的示例。如图8A所示，像素单元602a中的光电二极管612a至612d可以沿垂直于光接收表面800的轴线形成堆叠，像素单元602a通过该光接收表面接收到来自点804a的入射光802。例如，当光接收表面800与x轴和y轴平行时，光电二极管612a至612d可以沿垂直轴(例如，z轴)形成堆叠。各个光电二极管距光接收表面800的距离可以不同，并且上述距离可以设置入射光802中的被各个光电二极管吸收且转换成电荷的分量。例如，光电二极管612a最靠近光接收表面800，并且可以吸收蓝色分量并将该蓝色分量转换成电荷，该蓝色分量具有其他分量中的最短波长范围。光812包括光802的剩余分量(例如，绿色、红色和红外)，并且可以传播到光电二极管612b，该光电二极管可以吸收并转换绿色分量。光822包括光812的剩余分量(例如，红色和红外)，并且可以传播到光电二极管612c，该光电二极管可以吸收并转换红色分量。剩余的红外分量832可以传播到光电二极管612d，以被转换成电荷。

光电二极管612a、612b、612c和612d中的每个光电二极管可以处于单独的半导体衬底中，这些半导体衬底可以堆叠以形成图像传感器600。例如，光电二极管612a可以处于半导体衬底840中，光电二极管612b可以处于半导体衬底842中，光电二极管612c可以处于半导体衬底844中，而光电二极管612d可以处于半导体衬底846中。每个半导体衬底可以包括其它像素单元中的其它光电二极管，其他像素单元例如为接收来自点804b的光的像素单元602b。图像传感器600可以包括另一个半导体衬底848，该另一个半导体衬底可以包括多个像素单元处理电路849，这些像素单元处理电路例如可以包括多个电荷感应单元614、多个ADC 616等。每个半导体衬底可以连接到金属互连件(例如，金属互连件850、852、854和856)，以将每个光电二极管处产生的电荷转移到处理电路849。

图8B至图8D示出了光电二极管612的其它示例布置。如图8B至图8D所示，多个光电二极管612可以横向地布置成与光接收表面800平行。图8B的上部图示出了像素单元602a的示例的侧视图，而图8B的下部图示出了包括像素单元602a的像素阵列602的顶视图。如图8B所示，在光接收表面800与x轴和y轴平行的情况下，光电二极管612a、612b、612c和612d也可以在半导体衬底840中沿x轴和y轴彼此相邻布置。像素单元602a还包括覆盖在这些光电二极管上的滤光器阵列860。滤光器阵列860可以是滤光器624的一部分。滤光器阵列860可以包括覆盖在光电二极管612a、612b、612c和612d中的每个光电二极管上的一滤光元件，以设置被相应光电二极管接收的入射光分量的波长范围。例如，滤光元件860a覆盖在光电二极管612a上，并且可以仅允许可见蓝色光进入光电二极管612a。此外，滤光元件860b覆盖在光电二极管612b上，并且可以仅允许可见绿色光进入光电二极管612b。此外，滤光元件860c覆盖在光电二极管612c上，并且可以仅允许可见红色光进入光电二极管612c。滤光元件860d覆盖在光电二极管612d上，并且可以仅允许红外光进入光电二极管612d。像素单元602a还包括一个或多个微透镜862，该一个或多个微透镜可以将来自场景的点(例如，点804a)的光864经由滤光器阵列860投射到光接收表面800的不同横向位置，这允许每个光电二极管成为像素单元602a的一子像素，并且允许每个光电二极管接收来自与一像素相对应的同一点的光的分量。像素单元602a还可以包括半导体衬底848，该半导体衬底可以包括用于根据光电二极管产生的电荷生成数字值的电路849(例如，多个电荷感应单元614、多个ADC 616等)。半导体衬底840和848可以形成堆叠并且可以与互连件856连接。

图8B中，多个光电二极管横向布置且滤光器阵列用于控制由这些光电二极管接收的光分量，因此图8B的布置可以提供许多优势。例如，可以减少堆叠的数量和半导体衬底的数量，这不仅减少了垂直高度，还减少了多个半导体衬底之间的互连件。此外，依赖多个滤光元件而不是光的传播距离设置由每个光电二极管吸收的分量的波长范围可以在选择波长范围方面提供灵活性。如图8C的上部图中所示，像素单元阵列602可以包括用于不同像素单元的不同滤光器阵列860。例如，像素单元阵列602中的每个像素单元可以具有一滤光器阵列，该滤光器阵列为光电二极管612a和612b提供波长范围为380nm至740nm的单色通道(用“M”来标记)，并且为光电二极管612d提供波长范围为700nm至1000nm的红外通道(用“NIR”来标记)。但滤光器阵列也可以为不同的像素单元提供不同的可见颜色通道。例如，用于像素单元阵列602a、602b、602c和602d的滤光器阵列860可以分别为这些像素单元阵列的光电二极管612c提供可见绿色通道(用“G”来标记)、可见红色通道(用“R”来标记)、可见蓝色通道(用“B”来标记)和可见绿色通道。作为另一示例，如图8C的下部图所示，每个滤光器阵列860可以为每个像素单元阵列的光电二极管612b提供涵盖380nm至1000nm的波长范围的单色和红外通道(被标记为“M+NIR”)。

图8D示出了提供图8C所示的多个示例通道的滤光器阵列860的示例。如图8D中所示，滤光器阵列860可包括多个滤光器的堆叠，该多个滤光器的堆叠选择由像素单元阵列内的每个光电二极管接收的光的波长范围。例如，参考图8D的上部图，滤光器860a可以包括形成堆叠的全通型元件870(例如，使可见光和红外光均通过的透明玻璃)和红外阻挡元件872，以为光电二极管612a提供单色通道。滤光器860b也可以包括全通型元件874和红外阻挡元件876，以便也为光电二极管612b提供单色通道。此外，滤光器860c可以包括使绿色可见光通过(但拒绝其他可见光分量)的绿色通过元件876、和红外阻挡元件878，以为光电二极管612c提供绿色通道。最后，滤光器860d可以包括全通型元件880和可见光阻挡滤光器882(其可以阻挡可见光但允许红外光通过)，以为光电二极管612d提供红外通道。在另一示例中，如图8D的下部图所示，滤光器860b可以仅包括全通型元件872，以为光电二极管612b提供单色和红外通道。

图9是示出了图像处理单元900的框图。在一些示例中，图像处理单元900被包括在DCA 520的一个或多个处理器575中。在一些示例中，图像处理单元900被实现为专用电路(例如，专用集成电路)或设备。在一些示例中，图像处理单元900在具有一个或多个处理器和存储器的设备中实现。

图像处理单元900包括接收器902，该接收器接收三维区域的红外图像信息(例如，由红外传感器阵列检测到的红外光的强度)。在一些示例中，接收到的红外图像信息与红外图像传感器的整个区域相对应。在一些示例中，接收到的红外图像信息与红外图像传感器的整个区域的子集(小于全部区域)相对应(例如，可以将与红外图像传感器的整个区域相对应的红外图像信息划分成多个非重叠的块，该多个非重叠的块可以具有相同的尺寸，该多个非重叠的块例如为相等尺寸的矩形，并且接收到的红外图像与单个块相对应)。在一些示例中，接收器902包括一8位(bit)至10位的编码器。

图像处理单元900还包括接收器904，该接收器接收同一三维区域的非红外图像信息(例如，由非红外传感器阵列检测到的非红外光的强度，其中，非红外传感器被配置为检测一特定颜色(例如，红色、绿色或蓝色)，或者非红外传感器包括或是单色传感器)。在一些示例中，接收到的非红外图像信息与非红外图像传感器的整个区域相对应。在一些示例中，接收到的非红外图像信息与非红外图像传感器的整个区域的子集(小于全部区域)相对应(例如，可以将与非红外图像传感器的整个区域相对应的非红外图像信息划分成多个非重叠的块，该多个非重叠的块可以具有相同的尺寸，该多个非重叠的块例如为相等尺寸的矩形，并且接收到的非红外图像与单个块相对应)。在一些示例中，接收器904包括一8位至10位的编码器。

在一些示例中，图像处理单元900包括去噪器912，该去噪器降低接收到的图像信息(例如，由接收器902接收到的红外图像信息、或由接收器904接收到的非红外图像信息)中的噪声。在一些示例中，图像处理单元900将模糊(例如，高斯模糊)应用到接收到的图像信息，以用于降低接收到的图像信息中的噪声。

图像处理单元900还包括以下中的至少一个：调整接收到的红外图像信息(或去噪后的红外图像信息)的强度的强度调整器922，或者调整接收到的非红外图像信息(或去噪后的非红外图像信息)的强度的强度调整器924。在一些示例中，图像处理单元900包括强度调整器922和强度调整器924这两者。在一些示例中，强度调整器922和强度调整器924中的至少一个执行非线性强度调整，例如伽马校正。

图像处理单元900包括混合器(blender)930，该混合器将红外图像信息(例如，经强度调整后的红外图像信息)和非红外图像信息(例如，经强度调整后的非红外图像信息)进行结合，以获得合并后的图像信息。在一些示例中，混合器930确定红外图像信息(例如，经强度调整后的红外图像信息)和非红外图像信息(例如，经强度调整后的非红外图像信息)之和(例如，逐像素求和，使得x乘y像素的红外图像和x乘y像素的非红外图像之和提供了x乘y像素的合并后的图像)。在一些示例中，混合器930确定红外图像信息(例如，经强度调整后的红外图像信息)和非红外图像信息(例如，经强度调整后的非红外图像信息)的加权和，以获得合并后的图像信息。

在一些示例中，图像处理单元900包括压缩器940，该压缩器对合并后的图像进行压缩。在一些示例中，图像处理单元900包括裁剪器(cropper)或缩放器(scaler)中的至少一个，该裁剪器和缩放器可以被实现为单个裁剪器/缩放器950。裁剪器/缩放器950裁剪合并后的图像并缩放该合并后的图像。在一些示例中，图像处理单元900包括致平器(flattener)960，该致平器使合并后的图像(或裁剪和缩放后的图像)扁平化。尽管图9显示了图像处理单元900的一种配置，在该配置中，压缩器940、裁剪器/缩放器950、和致平器960以特定顺序布置。然而，在图像处理单元900的其它配置中，压缩器940、裁剪器/缩放器950、和致平器960可以以不同的顺序布置。在图像处理单元900的某些配置中，可以省略压缩器940、裁剪器/缩放器950、和致平器960中的一个或多个。

图像处理单元900输出合并后的图像信息(进行了或没有进行进一步处理(例如，压缩、裁剪/缩放、或扁平化))以用于深度感测。

图10是示出了处理图像的方法1000的流程图。

方法1000包括：(1010)接收三维区域的红外图像信息(例如，利用接收器902)，以及(1020)接收同一三维区域的非红外图像信息(例如，利用接收器904)。

在一些示例中，接收到的红外图像信息和接收到的非红外图像信息对应于相同数量的像素。在一些示例中，接收到的红外图像信息是从特定数量的红外传感器获得的，并且接收到的非红外图像信息是从相同特定数量的非红外传感器获得的。在一些示例中，接收到的红外信息与第一数量的像素相对应，并且接收到的非红外信息与和第一数量的像素不同的第二数量的像素相对应。在这些情况下，在一些示例中，对接收到的红外信息和接收到的非红外信息中的至少一者进行处理(例如，裁剪、合并、舍弃等)，使得红外信息及非红外信息在处理后对应于相同数量的像素。

在一些示例中，接收到的红外图像信息包含基于三维区域上的结构化红外照明的图案。

在一些示例中，方法1000包括：(1012)对红外图像信息进行去噪(例如，利用去噪器912)。在一些示例中，对非红外图像信息进行去噪包括：(1014)对红外图像信息执行高斯模糊(例如，利用去噪器912)。例如，可以应用3乘3像素或5乘5像素之上的高斯模糊。

方法1000还包括：(1030)对接收到的红外图像信息执行非线性强度调整(例如，利用强度调整器922)，以及(1040)对接收到的非红外图像信息执行非线性强度调整(例如，利用强度调整器924)。在一些示例中，执行非线性强度调整包括应用伽马校正。

方法1000还包括：(1050)对经强度调整后的红外图像信息和经强度调整后的非红外图像信息进行混合(例如，利用混合器930)，以获得合并后的图像信息。

在一些示例中，对经强度调整后的红外图像信息和经强度调整后的非红外图像信息进行混合包括：(1052)获取经强度调整后的红外图像信息和经强度调整后的非红外图像信息的加权和(例如，利用混合器930)。

在一些示例中，方法1000包括：(1054)压缩合并后的图像信息(例如，利用压缩器940)。

在一些示例中，方法1000包括：(1056)执行以下中的至少一项：裁剪合并后的图像信息或者缩放合并后的图像信息(例如，利用裁剪器/缩放器950)。

在一些示例中，方法1000包括：(1058)使合并后的图像信息扁平化(例如，利用致平器960)。

方法1000包括：(1060)提供合并后的图像信息(例如，作为图像处理单元900的输出)以用于确定深度图(例如，深度图构建)。通过利用合并后的图像信息而不是分别利用红外图像信息和非红外图像信息，可以更快且更有效地完成深度感测。此外，结构化红外照明提高了深度感测的准确性，使得可以获得准确的深度图。

在一些示例中，方法1000包括：(1062)从合并后的图像信息确定深度图(例如，利用DCA 520的一个或多个处理器575)。例如，如以上关于图5B所描述的，可以通过对由两个或更多个图像传感器获得的立体图像应用三角测量，来执行深度感测。

该描述的一些部分在对信息的操作的算法表示和符号表示方面描述了本公开的示例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。尽管在功能上、计算上或逻辑上描述了这些操作，但这些操作被理解为由计算机程序或等效电路、或微代码等实现。此外，在不失一般性的情况下，有时将这些操作布置称为模块也被证明是方便的。所描述的操作及其相关联的模块可以体现在软件、固件和/或硬件中。

所描述的步骤、操作或过程可以用一个或多个硬件或软件模块单独执行或实现，或者与其他设备相结合来执行或实现。在一些示例中，软件模块利用计算机程序产品来实现，该计算机程序产品包括计算机可读介质，该计算机可读介质包含计算机程序代码，该计算机程序代码可以被计算机处理器执行，以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。

本公开的示例还可以涉及用于执行所描述的操作的装置。该装置可以是为所需目的而专门构造的，和/或该装置可以包括通用计算设备，该通用计算设备由存储在计算机中的计算机程序选择性地激活或重新配置。这种计算机程序可以存储在耦接到计算机系统总线的非暂态有形的计算机可读存储介质、或适于存储电子指令的任何类型的介质中。此外，在本说明书中所提及的任何计算系统可以包括单个处理器，或者可以是采用用于提高计算能力的多处理器设计的架构。

本公开的示例还可以涉及由本文所描述的计算过程而产生的产品。这种产品可以包括从计算过程得到的信息，其中该信息被存储在非暂态有形计算机可读存储介质上，并且可以包括本文所描述的计算机程序产品或其他数据组合的任何示例。

在本说明书中所使用的语言主要是出于可读性和说明性的目的而选择的，且该语言不会被选择来描述或限制本发明的主题。因此，旨在本公开的范围不被该详细描述所限制，而是由基于此而在本申请发布的任何权利要求限制。因此，这些示例的公开旨在对所附权利要求中阐述的本公开的范围进行说明而不是限制。

Claims (15)

1.一种电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储有供所述一个或多个处理器执行的多个指令，所存储的所述多个指令包括用于以下操作的多个指令：

接收三维区域的红外图像信息；

接收同一个所述三维区域的非红外图像信息；

对接收到的所述红外图像信息执行非线性强度调整；

对接收到的所述非红外图像信息执行非线性强度调整；

对该经强度调整后的红外图像信息和该经强度调整后的非红外图像信息进行混合，以获得合并后的图像信息；以及

提供所述合并后的图像信息以用于确定深度图。

2.根据权利要求1所述的设备，其中，对所述经强度调整后的红外图像信息和所述经强度调整后的非红外图像信息进行混合包括：获取所述经强度调整后的红外图像信息与所述经强度调整后的非红外图像信息的加权和。

3.根据权利要求1或2所述的设备，其中，所存储的所述多个指令包括用于以下操作的多个指令：

从所述合并后的图像信息确定深度图。

4.根据前述权利要求中任一项所述的设备，其中，所存储的所述多个指令包括用于以下操作的多个指令：

对所述红外图像信息进行去噪；

优选地，其中，对所述非红外图像信息进行去噪包括：对所述红外图像信息执行高斯模糊。

5.根据前述权利要求中任一项所述的设备，其中，所存储的所述多个指令包括用于以下操作的多个指令：

压缩所述合并后的图像信息。

6.根据前述权利要求中任一项所述的设备，其中，所存储的所述多个指令包括用于以下操作的多个指令：

执行以下中的至少一项：裁剪所述合并后的图像信息，或者缩放所述合并后的图像信息。

7.根据前述权利要求中任一项所述的设备，其中，所存储的所述多个指令包括用于以下操作的多个指令：

使所述合并后的图像信息扁平化。

8.根据前述权利要求中任一项所述的设备，其中，接收到的所述红外图像信息和接收到的所述非红外图像信息对应于相同数量的像素。

9.根据前述权利要求中任一项所述的设备，还包括：

一个或多个摄像头，每个摄像头包括多个像素，所述多个像素中的每个像素包括至少一个红外光电探测器和至少一个非红外光电探测器，所述至少一个非红外光电探测器被定位成与所述至少一个红外光电探测器相邻；

优选地其中，

所述每个像素中的所述至少一个红外光电探测器和所述至少一个非红外光电探测器均与共用微透镜耦接；

进一步优选地，其中，

所述至少一个红外光电探测器包括与红外滤光器耦接的光电探测器，并且所述至少一个非红外光电探测器包括与非红外滤光器耦接的光电探测器。

10.一种用于处理图像的方法，所述方法包括：

接收三维区域的红外图像信息；

接收同一个所述三维区域的非红外图像信息；

对接收到的所述红外图像信息执行非线性强度调整；

对接收到的所述非红外图像信息执行非线性强度调整；

对该经强度调整后的红外图像信息和该经强度调整后的非红外图像信息进行混合，以获得合并后的图像信息；以及

提供所述合并后的图像信息以用于确定深度图。

11.根据权利要求10所述的方法，其中，对所述经强度调整后的红外图像信息和所述经强度调整后的非红外图像信息进行混合包括：获取所述经强度调整后的红外图像信息与所述经强度调整后的非红外图像信息的加权和。

12.根据权利要求10或11所述的方法，还包括：

从所述合并后的图像信息确定深度图。

13.根据权利要求10至12中任一项所述的方法，还包括：

对所述红外图像信息进行去噪；

优选地，其中，对所述非红外图像信息进行去噪包括：对所述红外图像信息执行高斯模糊。

14.根据权利要求10至13中任一项所述的方法，还包括：

压缩所述合并后的图像信息；

优选地，其中，接收到的所述红外图像信息和接收到的所述非红外图像信息对应于相同数量的像素。

15.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有多个指令，所述多个指令在被电子设备的一个或多个处理器执行时，使得所述电子设备：

接收三维区域的红外图像信息；

接收同一个所述三维区域的非红外图像信息；

对接收到的所述红外图像信息执行非线性强度调整；

对接收到的所述非红外图像信息执行非线性强度调整；

对该经强度调整后的红外图像信息和该经强度调整后的非红外图像信息进行混合，以获得合并后的图像信息；以及

提供所述合并后的图像信息以用于确定深度图。

Images