CN112640113A - 具有多个光电二极管的像素单元 - Google Patents

Abstract

在一个示例中，一种装置包括：包括多个像素单元的半导体衬底，每个像素单元包括至少四个光电二极管；多个滤光器阵列，每个滤光器阵列包括覆盖在像素单元的每个光电二极管上的滤光器元件，每个滤光器阵列的至少两个滤光器元件具有不同的波长通带；以及多个微透镜，每个微透镜覆盖在每个滤光器阵列上，并且被配置为将来自场景的点的光经由每个滤光器阵列的每个滤光器元件引导到每个像素单元的每个光电二极管。

Description

具有多个光电二极管的像素单元

背景

本公开总体上涉及图像传感器，并且更具体地，涉及包括多个光电二极管的像素单元(pixel cell)。

图像传感器中典型的像素单元包括光电二极管，其用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。在曝光周期期间，电荷可以暂时存储在光电二极管中。为了改善噪声和暗电流性能，像素中可以包括钉扎光电二极管(pinned photodiode)，以将光子转换为电荷。像素单元还可以包括电容器(例如，浮置扩散(floating diffusion))，以从光电二极管收集电荷并将电荷转换成电压。图像传感器通常包括像素单元阵列。像素单元可以被配置成检测不同波长范围的光，以生成2D和/或3D图像数据。

概述

本公开涉及图像传感器。更具体地，但不限于，本公开涉及被配置成执行不同波长的光的并置感测的像素单元。

在一个示例中，提供了一种装置。该装置包括半导体衬底，该半导体衬底包括多个像素单元，每个像素单元至少包括第一光电二极管、第二光电二极管、第三光电二极管和第四光电二极管。该装置还包括多个滤光器(filter)阵列，每个滤光器阵列至少包括第一滤光器元件、第二滤光器元件、第三滤光器元件和第四滤光器元件，每个滤光器阵列的第一滤光器元件覆盖在每个像素单元的第一光电二极管上，滤光器阵列的第二滤光器元件覆盖在每个像素单元的第二光电二极管上，滤光器阵列的第三滤光器元件覆盖在每个像素单元的第三光电二极管上，滤光器阵列的第四滤光器元件覆盖在每个像素单元的第四光电二极管上，每个滤光器阵列的第一、第二、第三和第四滤光器元件中的至少两个具有不同的波长通带。该装置还包括多个微透镜，每个微透镜覆盖在每个滤光器阵列上，并被配置为将来自场景的点的光分别经由每个滤光器阵列的第一滤光器元件、第二滤光器元件、第三滤光器元件和第四滤光器元件引导到每个像素单元的第一光电二极管、第二光电二极管、第三光电二极管和第四光电二极管。

在一个方面，每个滤光器阵列的第一滤光器元件和第二滤光器元件沿着第一轴对齐。每个像素单元的第一光电二极管和第二光电二极管在半导体衬底的光接收表面下方沿着第一轴对齐。第一滤光器元件沿着垂直于第一轴的第二轴覆盖在第一光电二极管上。第二滤光器元件沿着第二轴覆盖在第二光电二极管上。每个微透镜沿着第二轴覆盖在每个滤光器阵列的第一滤光器元件和第二滤光器元件上。

在一个方面，该装置还包括沿着第二轴覆盖在多个微透镜上的照相机透镜。每个滤光器阵列的面向照相机透镜的表面和照相机透镜的出射光瞳(exit pupil)位于每个微透镜的共轭位置。

在一个方面，覆盖在每个像素单元上的第一滤光器元件和第二滤光器元件被配置为将可见光的不同颜色分量分别传递到每个像素单元的第一光电二极管和第二光电二极管。

在一个方面，每个滤光器阵列的第一滤光器元件和第二滤光器元件基于拜耳(Bayer)图案来布置。

在一个方面，第一滤光器元件被配置为使可见光的一个或更多个颜色分量通过。第二滤光器元件被配置为使红外光通过。

在一个方面，多个滤光器阵列的第一滤光器元件基于拜耳图案来布置。

在一个方面，第一滤光器元件包括沿着第二轴形成堆叠的第一滤光器和第二滤光器。

在一个方面，该装置还包括覆盖在像素单元上的相邻滤光器元件之间以及覆盖在相邻像素单元上的相邻滤光器元件之间的分隔壁。

在一个方面，分隔壁被配置成将从每个微透镜进入每个滤光器阵列的滤光器元件的光朝向其上覆盖有滤光器元件的光电二极管反射。

在一个方面，分隔壁包括金属材料。

在一个方面，该装置还包括置于多个滤光器阵列和半导体衬底之间的光学层。光学层包括以下中的至少一个：抗反射层，或被配置为将红外光导向第一光电二极管或第二光电二极管中的至少一个的微金字塔(micro-pyramid)图案。

在一个方面，该装置还包括置于每个像素单元的相邻光电二极管和相邻像素单元的相邻光电二极管之间的隔离结构。

在一个方面，隔离结构包括深沟槽隔离(DTI)，DTI包括绝缘层和夹在绝缘层之间的金属填充层。

在一个方面，每个像素单元的第一光电二极管和第二光电二极管是钉扎光电二极管。

在一个方面，半导体衬底的背侧表面被配置为光接收表面，每个像素单元的第一光电二极管和第二光电二极管从该光接收表面接收光。在每个像素单元中，半导体还包括浮置漏极，该浮置漏极被配置为存储由每个像素单元的第一光电二极管和第二光电二极管产生的电荷。该装置还包括多晶硅栅极，该多晶硅栅极形成在半导体衬底的与背侧表面相对的前侧表面上，以控制电荷从第一光电二极管和第二光电二极管到每个像素单元的浮置漏极的流动。

在一个方面，半导体衬底的前侧表面被配置为光接收表面，每个像素单元的第一光电二极管和第二光电二极管从该光接收表面接收光。在每个像素单元中，半导体还包括浮置漏极，该浮置漏极被配置为存储由每个像素单元的第一光电二极管和第二光电二极管产生的电荷。该装置还包括多晶硅栅极，该多晶硅栅极形成在半导体衬底的前侧表面上，以控制电荷从第一光电二极管和第二光电二极管到每个像素单元的浮置漏极的流动。

在一个方面，半导体衬底是第一半导体衬底。该装置还包括第二半导体衬底，该第二半导体衬底包括量化器，用于量化由每个像素单元的第一光电二极管和第二光电二极管产生的电荷。第一半导体衬底和第二半导体衬底形成堆叠。

在一个方面，第二半导体衬底还包括成像模块，该成像模块被配置为：基于每个像素单元的第一光电二极管的量化电荷生成第一图像；以及基于每个像素单元的第二光电二极管的量化电荷生成第二图像。第一图像的每个像素对应于第二图像的每个像素。

在一个方面，基于第一光电二极管和第二光电二极管在曝光周期内产生的电荷而生成第一图像的每个像素和第二图像的每个像素。

附图简述

参考以下附图描述说明性实施例：

图1A和图1B是近眼显示器的实施例的示意图。

图2是近眼显示器的横截面的实施例。

图3示出了波导显示器的实施例的等轴视图。

图4示出了波导显示器的实施例的横截面。

图5是包括近眼显示器的系统的实施例的框图。

图6示出了包括多光电二极管(multi-photodiode)像素单元的图像传感器的示例。

图7A、图7B和图7C示出了图6的图像传感器的操作的示例。

图8A和图8B示出了图6的图像传感器的示例部件。

图9A和图9B示出了图6的图像传感器的附加示例部件。

图10A、图10B、图10C和图10D示出了图6的图像传感器的附加示例部件。

图11A、图11B和图11C示出了图6的图像传感器的像素单元的附加示例部件。

图12示出了图6的图像传感器的示例电路示意图。

附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到示出的结构和方法的可选的实施例可以被采用而不偏离本公开的原理和所推崇的益处。

在附图中，相似的部件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记之后用短划线(dash)和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果说明书中仅使用第一参考标记，则该描述适用于具有相同第一参考标记的任何一个相似部件，而与第二参考标记无关。

详细描述

在以下描述中，为了解释的目的而阐述了具体细节，以便提供对某些创造性实施例的透彻理解。然而，很明显，没有这些具体细节也可以实施各种实施例。附图和描述并不旨在是限制性的。

典型的图像传感器通常包括像素单元阵列。每个像素单元可以具有光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。为了改善噪声和暗电流性能，像素中可以包括钉扎光电二极管，以将光子转换为电荷。电荷可以由电荷感测设备(例如浮置漏极区和/或其它电容器)感测，该电荷感测设备可以将电荷转换成电压。可以基于电压生成像素值。像素值可以表示像素单元接收的光的强度。包括像素阵列的图像可以从像素单元阵列所输出的电压的数字输出导出。

图像传感器可以用于执行不同的成像模式，例如2D和3D感测。可以基于不同波长范围的光来执行2D和3D感测。例如，可见光可以用于2D感测，而不可见光(例如，红外光)可以用于3D感测。图像传感器可以包括滤光器阵列，以允许不同光学波长范围和颜色(例如，红色、绿色和蓝色)的可见光到达指定用于2D感测的第一像素单元集合，而不可见光到达指定用于3D感测的第二像素单元集合。

为了执行2D感测，像素单元处的光电二极管可以以与入射到像素单元上的可见光的强度成比例的速率产生电荷，并且在曝光周期中累积的电荷量可以用于表示可见光(或者可见光的某个颜色分量)的强度。电荷可以暂时存储在光电二极管处，然后转移到电容器(例如，浮置扩散)以产生电压。电压可由模数转换器(ADC)采样和量化，以生成对应于可见光的强度的输出。可以基于来自多个像素单元的输出来生成图像像素值，该多个像素单元被配置成感测可见光的不同颜色分量(例如，红色、绿色和蓝色)。

此外，为了执行3D感测，不同波长范围的光(例如，红外光)可以被投射到对象上，并且反射光可以被像素单元检测到。光可以包括结构光、光脉冲等。像素单元输出可用于基于例如检测反射结构光的图案、测量光脉冲的飞行时间等来执行深度感测操作。为了检测反射的结构光的图案，可以确定曝光时间期间由像素单元产生的电荷量的分布，并且可以基于对应于电荷量的电压产生像素值。对于飞行时间测量，可以确定在像素单元的光电二极管处电荷产生的时序(timing)，以表示在像素单元处接收到反射光脉冲的时间。当光脉冲被投射到对象上时和在像素单元处接收到反射光脉冲时之间的时间差可以用来提供飞行时间测量值。

像素单元阵列可用于生成场景信息。在一些示例中，阵列内的像素单元子集(例如，第一集合)可以用于执行场景的2D感测，而阵列内的另一像素单元子集(例如，第二集合)可以用于执行场景的3D感测。2D和3D成像数据的融合对于提供虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)体验的许多应用是有用的。例如，可佩戴VR/AR/MR系统可以执行系统的用户所处环境的场景重建。基于重建的场景，VR/AR/MR可以生成显示效果以提供交互式体验。为了重建场景，像素单元阵列内的像素单元子集可以执行3D感测以，例如，识别环境中物理对象的集合并确定物理对象和用户之间的距离。像素单元阵列内的另一个像素单元子集可以执行2D感测以，例如，捕获包括这些物理对象的纹理、颜色和反射率的视觉属性。然后，场景的2D和3D图像数据可以被合并，以创建例如包括对象的视觉属性的场景的3D模型。作为另一个示例，可佩戴VR/AR/MR系统也可以基于2D和3D图像数据的融合来执行头部跟踪操作。例如，基于2D图像数据，VR/AR/MR系统可以提取某些图像特征来识别对象。基于3D图像数据，VR/AR/MR系统可以跟踪所识别的对象相对于用户佩戴的可佩戴设备的定位(location)。VR/AR/MR系统可以基于例如在用户的头部移动时跟踪所识别的对象相对于可佩戴设备的定位变化，来跟踪头部移动。

然而，使用不同的像素集合用于2D和3D成像会带来许多挑战。首先，因为仅阵列的像素单元的子集用于执行2D成像或3D成像，所以2D图像和3D图像的空间分辨率都低于像素单元阵列处可达到的最大空间分辨率。尽管可以通过包括更多的像素单元来提高分辨率，但是这种方法会导致图像传感器的形状因子(form-factor)以及功耗的增加，这两者尤其对于可佩戴设备来说都是不期望的。

此外，由于被分配来测量不同波长范围的光(用于2D和3D成像)的像素单元不是并置(collocate)的，不同的像素单元可能捕获场景的不同点(spot)的信息，这可能使2D和3D图像之间的映射变得复杂。例如，接收可见光的某个颜色分量(用于2D成像)的像素单元和接收不可见光(用于3D成像)的像素单元也可能捕获场景的不同点的信息。这些像素单元的输出不能简单地合并以生成2D和3D图像。当像素单元阵列捕获移动对象的2D和3D图像时，由于它们的不同定位，像素单元的输出之间对应性的缺乏会变得更糟。虽然存在可用于关联不同像素单元输出以生成2D图像的像素以及关联2D和3D图像(例如，插值)的处理技术，但是这些技术通常是计算密集型的，并且还会增加功耗。

本公开涉及用于提供不同波长的光的并置感测的图像传感器。该图像传感器包括多个像素单元，每个像素单元包括沿着第一轴(例如，水平轴)布置的第一光电二极管和第二光电二极管。该图像传感器还包括多个滤光器阵列，每个滤光器阵列包括沿着垂直于第一轴的第二轴(例如，沿着竖直轴)覆盖在每个像素单元上的第一滤光器和第二滤光器。每个滤光器阵列的第一滤光器覆盖在每个像素单元的第一光电二极管上，而滤光器阵列的第二滤光器覆盖在每个滤光器单元的第二光电二极管上。每个滤光器阵列的第一滤光器和第二滤光器具有不同的波长通带，以使每个像素单元的第一光电二极管和第二光电二极管能够感测不同波长的光。该图像传感器还包括多个微透镜。每个微透镜覆盖在每个滤光器阵列(和每个像素单元)上，并且被配置为将来自场景的点的光分别经由每个滤光器阵列的第一滤光器和第二滤光器引导到每个像素单元的第一光电二极管和第二光电二极管。第一光电二极管和第二光电二极管都可以是半导体衬底的一部分。

该图像传感器还包括控制器，该控制器使得每个像素单元的第一光电二极管能够产生第一电荷，并且使得每个像素单元的第二光电二极管能够产生第二电荷，该第一电荷表示从点并经由第一滤光器接收的第一波长的第一光分量的强度，该第二电荷表示从点并经由第二滤光器接收的第二波长的第二光分量的强度。第一波长和第二波长在多个像素单元中可以不同，并且由滤光器阵列配置。该图像传感器还包括量化器，用于将每个像素单元的第一电荷和第二电荷分别量化为像素的第一数字值和第二数字值。可以基于像素的第一数字值生成第一图像，以及可以基于像素的第二数字值生成第二图像，其中分别基于相同像素单元的第一数字输出和第二数字输出来生成第一图像和第二图像的每个像素。

利用本公开的示例，当第一光电二极管和第二光电二极管都从场景中的相同点接收光时，可以执行不同波长的光的并置感测，这可以简化第一图像和第二图像之间的映射/相关过程。例如，在第一光电二极管感测可见光分量(例如，红色、绿色、蓝色或单色之一)而第二光电二极管感测红外光的情况下，图像传感器可以支持并置的2D和3D成像，并且可以简化2D图像帧(例如，第一图像帧)和3D图像帧(例如，第二图像帧)之间的映射/相关处理，因为两个图像帧的每个像素表示来自场景的相同点的光。出于类似的原因，在第一光电二极管和第二光电二极管感测可见光的不同光分量的情况下，也可以简化不同可见光分量的图像帧的映射/相关处理以形成2D图像帧。所有这些可以显著增强图像传感器和依赖于图像传感器输出的应用的性能。

根据本公开的示例的图像传感器可以包括额外的特征以改善并置的感测操作。具体地，图像传感器可以包括用于增强每个像素单元的第一光电二极管和第二光电二极管对光的吸收的特征。例如，图像传感器可以包括照相机透镜，该照相机透镜覆盖在多个微透镜上以收集和聚焦来自场景的光。每个像素单元可以相对于每个微透镜和照相机透镜定位，使得像素单元和照相机透镜的出射光瞳位于每个微透镜的共轭点处。这种布置允许来自场景的点的光在通过照相机透镜的出射光瞳出射并被微透镜进一步折射后，可以在第一光电二极管和第二光电二极管之间均匀分布。微透镜也可以被设计成使其焦点在滤光器阵列的前面，以使光能够扩散开。此外，诸如抗反射层(例如，具有比包括光电二极管的半导体衬底低的折射率的层)、红外吸收增强结构(例如，微金字塔结构薄膜)等的结构，可以置于滤光器阵列和光电二极管之间，以减少入射光远离光电二极管的反射和/或增加进入光电二极管的入射光的强度。所有这些可以改善每个像素单元的第一光电二极管和第二光电二极管对光的吸收，并提高图像传感器的性能。

此外，图像传感器可以包括用于减少分别由第一光电二极管和第二光电二极管产生的第一电荷和第二电荷中的噪声的特征。噪声可以指由光电二极管产生的、不是由光电二极管检测的目标光分量引起的电荷的分量。噪声有各种来源，包括不同波长的光之间的光学串扰、光电二极管之间的电荷泄漏、暗电荷等。光学串扰可以包括在将由光电二极管感测的目标波长范围之外的光分量。在上面的示例中，像素单元的第一光电二极管可以被配置成基于覆盖在第一光电二极管上的第一滤光器，检测第一波长的第一光分量。对于第一光电二极管，光学串扰可以包括除第一波长之外的其他波长的光分量，其可以包括将由第二光电二极管检测的第二波长的第二光分量。此外，对于第二光电二极管，光学串扰可以包括除第二波长之外的其他波长的光分量，其可以包括将由第一光电二极管检测的第一波长的第一光分量。此外，由于第一电荷从第一光电二极管移动到第二光电二极管，可能发生电荷泄漏，反之亦然。此外，由于在包括光电二极管的半导体衬底的表面的缺陷处产生的暗电流，可能会产生暗电荷。

在一些示例中，图像传感器可以包括用于减轻光学串扰、电荷泄漏和暗电荷的影响的特征，以降低噪声并提高图像传感器的性能。例如，图像传感器可以包括在每个滤光器阵列中的第一滤光器和第二滤光器之间分隔的光学隔离体。光学隔离体可以被配置为围绕第一滤光器和第二滤光器的每个侧表面的侧壁。光学隔离体可以被配置为反射器(例如，金属反射器)，以将通过滤光器的光分量仅引导到被该滤光器覆盖的光电二极管，而不引导到其他光电二极管。例如，光学隔离体可以将第一光分量仅引导到第一光电二极管而不引导到第二光电二极管，并且将第二光分量仅引导到第二光电二极管而不引导到第一光电二极管。此外，半导体衬底可以包括电绝缘体(例如在第一光电二极管和第二光电二极管之间的深沟槽隔离(DTI)结构)，以防止电荷在第一光电二极管和第二光电二极管之间移动。DTI结构还可以填充有反射材料，例如金属，使得DTI结构也可以用作光学隔离体，以减少半导体衬底内光电二极管之间的光学串扰。此外，第一光电二极管和第二光电二极管可以被实现为钉扎光电二极管，以变得与半导体衬底的表面缺陷隔离，从而减轻暗电流的影响。所有这些布置可以减少在由每个光电二极管产生的电荷中存在的噪声，并提高图像传感器的性能。

本公开的示例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个都可以在单个通道或多个通道(例如向观看者产生三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

图1A是近眼显示器100的示例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机(headphone))呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(VR)显示器进行操作。在一些实施例中，近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器来进行操作。

近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。

近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素单元阵列(该像素单元阵列包括像素单元的阵列)，并且被配置成生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置成提供表示沿着Z轴朝向方向A的两个视场的图像数据，而传感器120c可以被配置成提供表示沿着X轴朝向方向B的视场的图像数据，并且传感器120d可以被配置成提供表示沿着X轴朝向方向C的视场的图像数据。

在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式VR/AR/MR体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，以跟踪用户在物理环境中的定位和/或移动路径。然后，系统可以基于例如用户的定位和定向来更新提供给显示器110的图像数据，以提供交互式体验。在一些实施例中，当用户在物理环境内移动时，定位跟踪系统可以运行SLAM算法来跟踪在物理环境中且在用户的视场内的一组对象。定位跟踪系统可以基于该组对象来构建和更新物理环境的地图(map)，并且跟踪用户在地图内的定位。通过提供对应于多个视场的图像数据，传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高跟踪用户在物理环境内的定位的精确度和鲁棒性。

在一些实施例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光和/或光图案，以帮助传感器120a-120d捕获黑暗环境内不同对象的3D图像。3D图像可以包括，例如，表示对象和近眼显示器100之间的距离的像素数据。距离信息可以用于例如构建场景的3D模型、跟踪用户的头部移动、跟踪用户的定位等。如下文更详细讨论的，传感器120a-120d可以在不同时间以用于2D感测的第一模式和用于3D感测的第二模式操作。2D和3D图像数据可以被合并并且提供给系统，以提供对例如用户的定位、用户的头部移动等的更鲁棒的跟踪。

图1B是近眼显示器100的另一个实施例的示意图。图1B示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1B所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向D(与图1A的方向A相反)发射特定光学频率范围(例如NIR)的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素单元阵列，以接收反射的光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的NIR光。NIR光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b还可以包括像素单元阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给近眼显示器100的图像数据，以向用户提供交互式体验。在一些示例中，图像传感器150a和150b可以包括与传感器120a-120d相同的像素单元。

图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳230是当用户佩戴近眼显示器100时，用户的单个眼球220在适眼区(eyebox)区域中的定位。为了说明的目的，图2示出了与眼球220和单个波导显示组件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。

波导显示组件210被配置成将图像光导向位于出射光瞳230处的适眼区，并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃等)组成。在一些实施例中，近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。

在一些实施例中，波导显示组件210包括一个或更多个波导显示器的堆叠，包括但不限于堆叠式波导显示器、变焦波导显示器等。堆叠式波导显示器是通过堆叠其相应单色源具有不同颜色的波导显示器来创建的多色显示器(例如，红-绿-蓝(RGB)显示器)。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中，波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。

图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些实施例中，波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。

波导显示器300包括源组件310、输出波导320、照明器325和控制器330。照明器325可以包括图1A的照明器130。为了说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另一个波导显示器向用户的另一只眼睛提供图像光。

源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些实施例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是，例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismatic surfaceelement)、和/或全息反射器阵列。

导向元件360将接收到的输入图像光355重定向到去耦元件(decouplingelement)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分，或固定到输出波导320的第一侧面370-1。去耦元件365是输出波导320的第二侧面370-2的一部分，或固定到输出波导320的第二侧面370-2，使得导向元件360与去耦元件365相对。导向元件360和/或去耦元件365可以是例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。

第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。

控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些实施例中，输出波导320将扩展的图像光340以大视场(FOV)输出到用户的眼球220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角FOV被提供给用户的眼球220。输出波导320被配置成提供适眼区，该适眼区的长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。

此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上，并且可以包括例如图1A的图像传感器120a-120d。图像传感器120a-120d可以被操作来执行例如用户前方(例如，面对第一侧面370-1)的对象372的2D感测和3D感测。对于2D感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由光源376生成并从对象372反射的光374的强度的像素数据。对于3D感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示对由照明器325产生的光378的飞行时间测量的像素数据。例如，图像传感器120a-120d的每个像素单元可以确定照明器325被启用来投射光378的第一时间和像素单元检测到从对象372反射的光378的第二时间。第一时间和第二时间之间的差异可以指示光378在图像传感器120a-120d和对象372之间的飞行时间，并且飞行时间信息可以用于确定图像传感器120a-120d和对象372之间的距离。图像传感器120a-120d可以被操作来在不同时间执行2D和3D感测，并且将2D和3D图像数据提供给远程控制台390，远程控制台390可以(或者可以不)位于波导显示器300内。远程控制台可以组合2D和3D图像，以例如生成用户所处环境的3D模型，以跟踪用户的定位和/或定向等。远程控制台可以基于从2D和3D图像导出的信息来确定要向用户显示的图像的内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于该指令，控制器330可以控制源组件310产生和输出图像光355，以向用户提供交互式体验。

图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的一组像素单元402，以生成用户前方的物理环境的图像。在一些实施例中，在该组像素单元402和物理环境之间可以插入机械快门404和滤光器阵列406。机械快门404可以控制该组像素单元402的曝光。在一些实施例中，如下面将讨论的，机械快门404可以由电子快门栅极(shutter gate)代替。如下面将讨论的，滤光器阵列406可以控制该组像素单元402所暴露的光的光学波长范围。每个像素单元402可以对应于图像的一个像素。虽然图4中未示出，但是应当理解，每个像素单元402也可以覆盖有滤光器，以控制将由像素单元感测的光的光学波长范围。

在从远程控制台接收到指令之后，机械快门404可以在曝光周期中打开并曝光该组像素单元402。在曝光周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。

源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。

光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。

输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中，衍射光栅的栅距被选择成使得在输出波导320中发生全内反射，并且图像光355在输出波导320中(例如，通过全内反射)朝向去耦元件365进行内部传播。

导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，衍射光栅的栅距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。

在一些实施例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些实施例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。

图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、可佩戴设备等。

近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当AR眼镜。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理、真实世界环境的视图。

近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(IMU)530。波导显示组件210包括源组件310、输出波导320和控制器330。

IMU 530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。

成像设备535可以生成用于各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如图1A的图像传感器120a-120d，用于生成用户所处物理环境的2D图像数据和3D图像数据，以跟踪用户的定位和头部移动。成像设备535还可以包括例如图1B的图像传感器150a-150b，用于生成图像数据(例如，2D图像数据)以确定用户的凝视点，从而识别用户感兴趣的对象。

输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。

控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。

应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于显现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块550使用一个或更多个校准参数来校准系统500，并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。

跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。

引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的定位、(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。

图6示出了图像传感器600的示例。图像传感器600可以是近眼显示器100的一部分，并且可以向图5的控制电路510提供2D和3D图像数据以控制近眼显示器100的显示内容。如图6所示，图像传感器600可以包括像素单元阵列602，该像素单元阵列602包括多光电二极管(多PD)像素单元602a(在下文中称为像素单元602a)。像素单元602a可以包括多个光电二极管612(其包括例如光电二极管612a、612b、612c和612d)以及一个或更多个电荷感测单元614。多个光电二极管612可以将入射光的不同分量转换成电荷。例如，光电二极管612a-612c可以对应于不同的可见光通道，其中光电二极管612a可以将可见的蓝色分量(例如，450-490纳米(nm)的波长范围)转换成电荷。光电二极管612b可以将可见的绿色分量(例如，520-560nm的波长范围)转换成电荷。光电二极管612c可以将可见的红色分量(例如，635-700nm的波长范围)转换成电荷。此外，光电二极管612d可以将红外分量(例如，700-1000nm)转换成电荷。一个或更多个电荷感测单元614中的每一个可以包括电荷存储设备和缓冲器，以将光电二极管612a-612d产生的电荷转换成电压，该电压可以被量化为数字值。从光电二极管612a-612c生成的数字值可以表示像素的不同可见光分量，并且每个数字值可以用于特定可见光通道中的2D感测。此外，从光电二极管612d生成的数字值可以表示同一像素的红外光分量，并且可以用于3D感测。尽管图6示出了像素单元602a包括四个光电二极管，但是应当理解，像素单元可以包括不同数量的光电二极管(例如，两个、三个等)。

此外，图像传感器600还包括照明器622、滤光器624、成像模块628和感测控制器630。照明器622可以是红外照明器(例如激光器、发光二极管(LED)等)，其可以投射用于3D感测的红外光。投射的光可以包括例如结构光、光脉冲等。滤光器624可以包括覆盖在每个像素单元(包括像素单元602a)的多个光电二极管612a-612d上的滤光器元件阵列。每个滤光器元件可以设置由像素单元602a的每个光电二极管接收的入射光的波长范围。例如，光电二极管612a上方的滤光器元件可以透射可见蓝光分量，同时阻挡其他分量，光电二极管612b上方的滤光器元件可以透射可见绿光分量，光电二极管612c上方的滤光器元件可以透射可见红光分量，而光电二极管612d上方的滤光器元件可以透射红外光分量。

图像传感器600还包括成像模块628，成像模块628可以包括一个或更多个模数转换器(ADC)630，以将来自电荷感测单元614的电压量化为数字值。ADC 630可以是像素单元阵列602的一部分，或者可以在像素单元602的外部。成像模块628还可以包括用于执行2D成像操作的2D成像模块632和用于执行3D成像操作的3D成像模块634。这些操作可以基于由ADC 630提供的数字值。例如，基于来自光电二极管612a-612c中的每一个的数字值，2D成像模块632可以生成表示每个可见颜色通道的入射光分量的强度的像素值数组，并且生成每个可见颜色通道的图像帧。此外，3D成像模块634可以基于来自光电二极管612d的数字值生成3D图像。在一些示例中，基于这些数字值，3D成像模块634可以检测由对象表面反射的结构光的图案，并将检测到的图案与由照明器622投射的结构光的图案进行比较，以确定该表面的不同点相对于像素单元阵列的深度。为了检测反射光的图案，3D成像模块634可以基于在像素单元处接收的红外光的强度来生成像素值。作为另一个示例，3D成像模块634可以基于由照明器622发射并由对象反射的红外光的飞行时间来生成像素值。

图像传感器600还包括感测控制器640，以控制图像传感器600的不同部件来执行对象的2D和3D成像。现在参考图7A-图7C，图7A-图7C示出了图像传感器600的用于2D和3D成像的操作的示例。图7A示出了用于2D成像的操作的示例。对于2D成像，像素单元阵列606可以检测环境中的可见光(包括从对象反射的可见光)。例如，参考图7A，可见光源700(例如，灯泡、太阳或其他环境可见光源)可以将可见光702投射到对象704上。可见光706可以从对象704的点708反射。可见光706可以被滤光器624过滤，以使反射的可见光706的预定波长范围w0通过，从而产生用于光电二极管612a的过滤光(filtered light)710a。滤光器624可以使反射的可见光706的预定波长范围w1通过，以产生用于光电二极管612b的过滤光710b，并使反射的可见光706的预定波长范围w2通过，以产生用于光电二极管612c的过滤光710c。不同的波长范围w0、w1和w2可以对应于从点708反射的可见光706的不同颜色分量。过滤光710a-c可以分别被像素单元606a的光电二极管612a、612b和612c捕获，以在曝光周期内分别产生和累积第一电荷、第二电荷和第三电荷。在曝光周期结束时，感测控制器640可以将第一电荷、第二电荷和第三电荷导向电荷感测单元614，以产生表示不同颜色分量的强度的电压，并将这些电压提供给成像模块628。成像模块628可以包括ADC 630，并且可以由感测控制器640控制来采样和量化这些电压，以生成表示可见光706的颜色分量的强度的数字值。

参考图7C，在生成数字值之后，感测控制器640可以控制2D成像模块632来基于数字值生成包括图像集合720的图像集合，图像集合720包括红色图像帧720a、蓝色图像帧720b和绿色图像帧720c，每个图像帧表示帧周期724内场景的红色图像、蓝色图像或绿色图像之一。来自红色图像(例如，像素732a)、来自蓝色图像(例如，像素732b)和来自绿色图像(例如，像素732c)的每个像素可以表示来自场景的同一点(例如，点708)的光的可见分量。2D成像模块632可以在随后的帧周期744中生成不同的图像集合740。红色图像(例如，红色图像720a、740a等)、蓝色图像(例如，蓝色图像720b、740b等)以及绿色图像(例如，绿色图像720c、740c等)中的每一个可以表示在特定颜色通道中和特定时间捕获的场景的图像，并且可以被提供给应用，以例如从特定颜色通道提取图像特征。由于在帧周期内捕获的每个图像可以表示相同的场景，而且图像的每个对应像素是基于检测来自场景的相同点的光而生成的，因此可以改善不同颜色通道之间的图像的对应性。

此外，图像传感器600也可以执行对象704的3D成像。参考图7B，感测控制器640可以控制照明器622将红外光728投射到对象704上，红外光728可以包括光脉冲、结构光等。红外光728可以具有700纳米(nm)至1毫米(mm)的波长范围。红外光子730可以作为反射光734从对象704反射，并朝向像素单元阵列606传播，并作为用于光电二极管612d的过滤光710d通过滤光器624，滤光器624可以使对应于红外光的波长范围的预定的波长范围w3通过。光电二极管612d可以将过滤光710d转换成第四电荷。感测控制器640可以将第四电荷导向电荷感测单元614，以产生表示在像素单元处接收的红外光的强度的第四电压。光电二极管612d对过滤光710d的检测和转换可以与光电二极管612a-c对可见光706的检测和转换在相同的曝光周期内进行，或者在不同的曝光周期中进行。

回到图7C，在生成数字值之后，感测控制器640可以控制3D成像模块634来基于数字值生成场景的红外图像720d，作为在帧周期724(或不同的帧周期)内捕获的图像720的一部分。此外，3D成像模块634还可以生成场景的红外图像740d，作为在帧周期744(或不同的帧周期)内捕获的图像740的一部分。因为尽管在不同的通道中，每个红外图像也可以表示与在同一帧周期内捕获的其他图像相同的场景(例如，红外图像720d与红色、蓝色和绿色图像720a-720c相对，红外图像740d与红色、蓝色和绿色图像740a-740c相对，等等)，而且红外图像的每个像素是基于检测到来自场景的与同一帧周期内的其他图像中的其他对应像素相同的点的红外光而生成的，所以也可以改善2D成像和3D成像之间的对应性。

图8A和图8B示出了图像传感器600的附加部件。图8A示出了图像传感器600的侧视图，而图8B示出了图像传感器600的俯视图。如图8A所示，图像传感器600可以包括半导体衬底802、半导体衬底804以及夹在衬底之间的金属层805。半导体衬底802可以包括光接收表面806和像素单元602(包括像素单元602a和602b)的光电二极管(例如，光电二极管612a、612b、612c和612d)。光电二极管沿着平行于光接收表面806的第一轴(例如，水平x轴)对齐。尽管图8B示出了光电二极管具有矩形形状，但是应当理解，光电二极管可以具有其他形状，例如正方形、菱形等。在图8A和图8B的示例中，光电二极管可以以2×2配置布置，其中每个像素单元602包括布置在一侧的两个光电二极管(例如，光电二极管612a和612b)。半导体衬底802还可以在每个像素单元602中包括电荷感测单元614，以存储由光电二极管产生的电荷。

此外，半导体衬底804包括接口电路820，接口电路820可以包括例如成像模块628、ADC 630、感测控制器640等，其可以由多个像素单元602共享。在一些示例中，接口电路820可以包括多个电荷感测单元614和/或多个ADC 630，每个像素单元具有对电荷感测单元614和/或ADC 630的专用访问。金属层805可以包括例如金属互连件以及金属电容器，金属互连件用于将光电二极管产生的电荷转移到接口电路820的电荷感测单元614，金属电容器可以是电荷感测单元614的电荷存储设备的一部分用于将电荷转换成电压。

此外，图像传感器600包括多个滤光器阵列830。多个滤光器阵列830可以是滤光器624的一部分。每个滤光器阵列830沿着垂直于第一轴的第二轴(例如，竖直z轴)覆盖在像素单元602上。例如，滤光器阵列830a覆盖在像素单元602a上，滤光器阵列830b覆盖在像素单元602b上，等等。每个滤光器阵列830控制将由每个像素单元602的光电二极管感测的光的波长范围。例如，如图8B所示，每个滤光器阵列830包括多个滤光器元件832，包括832a、832b、832c和832d。滤光器阵列830的滤光器元件以与像素单元602的光电二极管相同的配置(例如，以2×2的配置)布置，每个滤光器元件832控制将由一个光电二极管感测的光分量的波长范围。例如，滤光器元件832a覆盖在光电二极管612a上，而滤光器元件832b覆盖在光电二极管612b上。此外，滤光器元件832c覆盖在光电二极管612c上，而滤光器元件832d覆盖在光电二极管612d上。如下所述，滤光器阵列830内的一些或所有滤光器元件832可以具有不同的波长通过范围。此外，不同的滤光器阵列830可以具有不同的滤光器元件组合，以针对不同的像素单元602设置不同的通过波长范围。

此外，图像传感器600包括照相机透镜840和多个微透镜850。照相机透镜840沿着第二轴覆盖在多个微透镜850上，以形成透镜堆叠。照相机透镜840可以从场景的多个点860接收入射光870，并将入射光朝向每个微透镜850折射。每个微透镜850沿着第二轴覆盖在滤光器阵列830(和像素单元602)上，并且可以将点的入射光朝向滤光器阵列830下方的像素单元602的每个光电二极管折射。例如，如图8A所示，微透镜850a可以经由照相机透镜840接收来自点860a的入射光870a，并朝向像素单元602a的每个光电二极管612投射入射光870a。此外，微透镜850b可以经由照相机透镜840接收来自点860b的入射光870b，并朝向像素单元602b的每个光电二极管612投射入射光870b。利用这种布置，像素单元602的每个光电二极管612可以接收来自同一点的光分量，该分量的波长和幅度由覆盖在光电二极管上的滤光器元件832控制，以支持对来自该点的不同光分量的并置感测。

图9A和图9B示出了微透镜850a的布置的不同示例，以将同一点的光引导到像素单元602a的每个光电二极管612。在一个示例中，如图9A所示，滤光器阵列830的面向照相机透镜840的滤光器表面901和照相机透镜840的出射光瞳902可以位于微透镜850a的共轭位置。出射光瞳902可以限定照相机透镜840的虚拟孔径，使得只有穿过出射光瞳902的光(例如来自点804a的光904)可以从照相机透镜840出射。出射光瞳902相对于照相机透镜840的位置可以基于照相机透镜840的各种物理和光学属性，例如曲率、照相机透镜840的材料的折射率、焦距等。微透镜850a的共轭点可以定义一对位置(该对位置为对应的对象位置914和微透镜850a的图像位置916)，并且可以基于微透镜850a与焦点918的焦距f而被定义。例如，在出射光瞳902处于对象位置914并且与微透镜850的距离为u的情况下，滤光器表面901可以处于微透镜850a的图像位置916。u、v和f的值可以基于以下透镜等式相关联：

微透镜850a的焦距f可以基于微透镜850a的各种物理属性来配置，例如，微透镜850a的半径、(沿着z轴的)高度、曲率、材料的折射率等。照相机透镜840、微透镜850a和半导体衬底802(其可以是半导体芯片的一部分)可以安装在图像传感器600中，并且被间隔物分隔开以设置它们的相对位置，使得照相机透镜840的出射光瞳902与微透镜850a的距离为u，而包括半导体衬底802和光接收表面806的半导体芯片与微透镜850a的距离为v。在一些示例中，每个像素单元602的光接收表面806相对于微透镜850的位置可以被单独调节(例如，通过校准过程)，以考虑每个微透镜850的焦距f的变化(例如，由于每个微透镜850的物理属性的变化导致的)。

利用这种布置，来自微透镜850a的主轴908的左侧和右侧的光904(源自点804a)可以均匀地分布在主轴908两侧的一对光电二极管之间，例如光电二极管612a和612b之间、光电二极管612c和612d之间、光电二极管612a和612d之间以及光电二极管612b和612c之间。这种布置可以改善像素单元602的光电二极管612a-612d对光904的并置感测。

在图9A的示例中，使滤光器表面901处于相对于出射光瞳902的共轭位置可以确保交叉点930在微透镜850a内，而不是在滤光器阵列830a中，该交叉点930标记来自主轴908左侧的光904(例如，光904a)和来自主轴908右侧的光904(例如，光904b)相交的区域。这种布置可以减少滤光器阵列830a的滤光器元件之间的光学串扰。具体而言，光904a意图进入滤光器元件832b并被滤光器元件832b过滤并被光电二极管612b检测，而光904b意图进入滤光器元件832a并被滤光器元件832a过滤并被光电二极管612a检测。通过使交叉点930位于滤光器阵列830a上方，可以防止光940a进入滤光器元件832a并作为光学串扰泄漏到光电二极管612a中，而可以防止光940b进入滤光器元件932b并作为光学串扰泄漏到光电二极管612b中。另一方面，参考图9B，如果光接收表面806变得与出射光瞳902共轭，则交叉点930可以被推入滤光器阵列830a。来自主轴908左侧的光904a可能进入滤光器元件832a并泄漏到光电二极管612a中，导致光学串扰。图9A的布置可以减少光学串扰。

图10A、图10B、图10C和图10D示出了滤光器阵列830的示例。在图10A中，每个滤光器阵列830可以具有基于拜耳图案的2×2配置。例如，对于滤光器阵列830a，滤光器元件832a可以被配置为将可见光的蓝色分量(例如，在450-485nm的波长范围内)传递到光电二极管612a，滤光器元件832b和832c可以被配置为将可见光的绿色分量(例如，在500-565nm的波长范围内)分别传递到光电二极管612b和612c，而滤光器元件832d可以被配置为将可见光的红色分量(例如，在625-740nm的波长范围内)传递到光电二极管612d。图10A的布置可以在像素单元的光电二极管对来自同一点的光的不同可见分量执行并置感测的配置中被使用。

图10B和图10C示出了滤光器阵列830的另一个示例。在图10B中，滤光器阵列830a、830b、830c和830d中的每一个都具有被配置为使可见光的所有分量通过以形成单色通道(M)的滤光器元件832a和滤光器元件832b，使近红外光(例如，在800nm至2500nm的波长范围内)通过的滤光器元件832d，以及被配置为使可见光的预定分量通过的滤光器元件832c。例如，对于滤光器阵列830a，滤光器元件832c被配置为使可见光的蓝色分量通过。此外，对于滤光器阵列830c和830b，滤光器元件832c被配置为使绿色可见分量通过。此外，对于滤光器阵列830b，滤光器元件832c被配置为使红色可见分量通过。在图10C中，滤光器阵列830a、830b、830c和830d中的每一个的滤光器元件832b可以被配置为使入射光的所有分量(包括可见光和近红外光)通过，以形成全通通道(M+NIR)。在一些示例中，如图10B和图10C所示，由多个滤光器阵列830的滤光器元件832c通过的可见光的预定分量可以遵循前述拜耳图案。图10B和图10C的布置可以用在这样的配置中(其中像素单元的光电二极管对来自同一点的光的可见分量和近红外分量执行并置感测)，以便于共置(co-located)的2D和3D成像。

图10D示出了示例滤光器阵列1002和1004的俯视图和侧视图。滤光器阵列1002可以包括使绿色、蓝色和红色可见分量以及红外分量通过的滤光器元件。滤光器阵列1002可以由堆叠结构形成，该堆叠结构包括覆盖在红外阻挡滤光器元件1016上的红色滤光器元件1010、绿色滤光器元件1012和蓝色滤光器元件1014，使得红外阻挡滤光器元件1016下方的光电二极管可以接收可见光的红色、绿色和蓝色分量。此外，滤光器阵列1002还包括覆盖在近红外选择性滤光器元件1020上的全通滤光器1018(例如，玻璃)，以仅允许红外分量到达滤光器元件1020下方的光电二极管。

此外，滤光器阵列1004可以包括使绿色可见光通过的滤光器元件、使单色可见光(例如，所有可见光分量)通过的滤光器元件、使单色和红外光通过的滤光器元件以及使近红外光通过的滤光器元件。滤光器阵列1004可以由堆叠结构形成，该堆叠结构包括覆盖在红外阻挡滤光器元件1016上以形成绿色和单色滤光器元件的绿色滤光器元件1012和全通滤光器1018(例如，玻璃)。此外，两个全通滤光器1018可以堆叠以使单色和红外光通过，而全通滤光器1018可以覆盖在近红外选择性滤光器元件1020上以仅允许红外分量通过。

图11A、图11B和图11C示出了图像传感器600的附加示例特征。附加特征可以增强光电二极管对光的吸收和/或减轻在光电二极管产生的电荷中的噪声分量。具体地，如图11A所示，图像传感器600可以包括在像素单元602b上的相邻滤光器元件832(例如，滤光器元件832a和832b)之间的分隔壁1102，以及在两个不同像素单元602(例如，像素单元602a和602b、像素单元602b和602c等)上的相邻滤光器元件之间的分隔壁1104。分隔壁1102和1104可以由反射材料(例如金属)制成，并且可以被配置为引导过滤光通过滤光器元件进入滤光器元件下方的光电二极管，同时防止过滤光进入相邻的滤光器元件。这种布置可以减少由例如从另一个滤光器元件进入滤光器元件的带外(out-of-band)光分量引起的相邻滤光器元件之间的光学串扰。由于滤光器元件的不完全衰减/吸收，光电二极管可能接收到带外光分量并将其转换成噪声电荷。例如，在图11A中，像素单元602b的滤光器元件832a被配置为将可见光的绿色分量传递到光电二极管612a以产生过滤光1120，而像素单元602b的滤光器元件832b被配置为将可见光的蓝色分量传递到光电二极管612b以产生过滤光1122。在没有分隔壁1102的情况下，过滤光1122(其包括绿色分量)即使在被滤光器元件832b衰减/吸收之后，也可能进入光电二极管612b并被转换成电荷，该电荷对于光电二极管612b响应于可见光的蓝色分量而产生的信号电荷变成噪声电荷。同样，除了光电二极管612a响应于可见光的绿色分量而产生的信号电荷之外，过滤光1120也可能进入光电二极管612a并被转换成噪声电荷。另一方面，利用分隔壁1102，过滤光1120可以被反射并导向光电二极管612a，而过滤光1122可以被反射并导向光电二极管612b。这种布置不仅可以增强每个滤光器元件对带外光分量的吸收，而且可以防止带外光分量到达光电二极管，这可以减少光学串扰和由此产生的噪声电荷。

此外，光学层1130可以插入滤光器阵列830和半导体衬底802之间。光学层1130可以被配置成增强半导体衬底802的光电二极管612对过滤光(例如，过滤光1120和1122)的吸收。在一些示例中，光学层1130可以被配置为抗反射膜，以防止(或减少)过滤光从半导体衬底802反射离开回到滤光器阵列830中。抗反射膜可以采用各种技术来减少反射，例如折射率匹配、干涉等。在一些示例中，光学层1130还可以包括嵌入薄膜中的微金字塔结构1132。微金字塔结构1140可以充当波导，以将过滤光(例如红外光)导向光电二极管612。

此外，半导体衬底802可以包括在相邻光电二极管612之间的隔离结构1140。隔离结构1140可以被配置为在相邻光电二极管612之间提供电绝缘，以防止由一个光电二极管产生的电荷进入另一个光电二极管(这将成为噪声电荷)。在一些示例中，隔离结构1140可以被实现为包括侧壁1142和填充物1144的深沟槽隔离(DTI)结构。侧壁1142通常基于诸如二氧化硅的绝缘体材料来实现，以提供电绝缘。填充物1144可以是导电材料，以允许DTI结构传导电势，这可以导致电荷累积在硅半导体衬底802和二氧化硅侧壁1142之间的界面处，这可以减少在该界面处的晶体缺陷处的暗电荷产生。在一些示例中，填充物1144可以是金属，其可以反射并引导过滤光通过光电二极管。类似于分隔壁1102和1104，这种布置不仅可以增强光电二极管对过滤光的吸收，而且可以防止过滤光进入相邻的光电二极管，从而防止光学串扰。此外，光电二极管612可以被配置为钉扎光电二极管，使得每个光电二极管的电荷产生区域被隔离在半导体衬底802内，这可以进一步抑制暗电荷对光电二极管的影响。

图11B和图11C示出了图像传感器600的不同示例配置。在图11B中，图像传感器600被配置为背侧照明(BSI)设备，其中半导体衬底802的背侧表面1152被配置为光接收表面806。另一方面，在图11C中，图像传感器600被配置为前侧照明(FSI)设备，其中半导体衬底802的前侧表面1154被配置为光接收表面806。在半导体衬底802中，前侧表面可以是进行各种半导体处理操作(例如离子注入、硅沉积等)的表面，而背侧表面与前侧表面相对。在图11B和图11C中，图像传感器600还包括形成在前侧表面1154之下的浮置漏极1162和1164、形成在前侧表面1154上的二氧化硅层1166以及形成在二氧化硅层1166上的多晶硅栅极1168和1170。浮置漏极1162和1164可以被配置为电荷感测单元614的电荷存储设备的一部分，以将光电二极管612产生的电荷转换成电压，而多晶硅栅极1168和1170可以分别控制电荷从光电二极管612到浮置漏极1162和1164的流动。浮置漏极1162和1164以及光电二极管612可以通过前侧表面1154上的离子注入工艺形成，而多晶硅栅极1168和1170可以通过前侧表面1154上的硅沉积工艺形成。在一些示例中，如图11C所示，图像传感器600还包括绝缘体层1182(其可以是二氧化硅)，以充当将多晶硅栅极1118和1120与光学层1130分隔和绝缘的隔离物。

图12示出了包括像素单元602a、控制器1202和量化器1204的图像传感器600的电路示意图。像素单元602a包括光电二极管PD0、PD1、PD2和PD3，它们可以分别表示图6中的光电二极管612a、612b、612c和612d。此外，像素单元602a还包括转移门M1、M2、M3和M4，它们可以表示图11B和图11C的多晶硅栅极1168和1170。像素单元602a还包括浮置漏极FD1、FD2、FD3和FD4，它们可以表示图11B和图11C的浮置漏极1162和1164。像素单元602a还包括快门栅极AB0、AB1、AB2和AB3。这些快门栅极可以控制每个光电二极管PD0、PD1、PD2和PD3的曝光周期的开始。在一些示例中，像素单元602a的每个光电二极管可以具有相同的全局曝光周期，快门栅极由相同的快门信号控制，使得每个光电二极管的曝光周期同时开始和结束。在曝光周期开始之前，快门栅极被启用，以将光电二极管产生的电荷导向电流吸收器S0。在曝光周期开始之后，快门栅极被禁用，这允许每个光电二极管基于检测由其对应的滤光器元件832设置的预定波长范围的光分量来产生和累积电荷。光分量可以来自场景的相同点，并由覆盖在像素单元602a上的微透镜850a投射。在曝光周期结束之前，转移门M0、M1、M2和M3可以分别由控制信号TG0、TG1、TG2和TG3启用，以将每个光电二极管PD0、PD1、PD2和PD3产生的电荷转移到相应的浮置漏极FD0、FD1、FD2和FD3，从而转换成电压V0、V1、V2和V3。量化器1204可以将这些电压量化为数字值D0、D1、D2和D3，它们各自可以表示在不同的2D和3D图像帧中的相同像素。控制器1202可以控制控制信号AB0-AB3、TG0-TG3以及量化器1204的量化操作。

本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。

本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。

可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。

本公开的实施例也可以涉及用于执行所描述操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。

本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。

在说明书中使用的语言主要出于可读性和指导性的目的而被选择，并且它可以不被选择来描绘或限制发明的主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开旨在对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims (20)

1.一种装置，包括：

半导体衬底，其包括多个像素单元，每个像素单元至少包括第一光电二极管、第二光电二极管、第三光电二极管和第四光电二极管；

多个滤光器阵列，每个滤光器阵列至少包括第一滤光器元件、第二滤光器元件、第三滤光器元件和第四滤光器元件，每个滤光器阵列的第一滤光器元件覆盖在每个像素单元的第一光电二极管上，所述滤光器阵列的第二滤光器元件覆盖在每个像素单元的第二光电二极管上，所述滤光器阵列的第三滤光器元件覆盖在每个像素单元的第三光电二极管上，所述滤光器阵列的第四滤光器元件覆盖在每个像素单元的第四光电二极管上，每个滤光器阵列的第一滤光器元件、第二滤光器元件、第三滤光器元件和第四滤光器元件中的至少两个具有不同的波长通带；和

多个微透镜，每个微透镜覆盖在每个滤光器阵列上，并且被配置为将来自场景的点的光分别经由每个滤光器阵列的第一滤光器元件、第二滤光器元件、第三滤光器元件和第四滤光器元件引导到每个像素单元的第一光电二极管、第二光电二极管、第三光电二极管和第四光电二极管。

2.根据权利要求1所述的装置，其中：

每个滤光器阵列的第一滤光器元件和第二滤光器元件沿着第一轴对齐；

每个像素单元的第一光电二极管和第二光电二极管在所述半导体衬底的光接收表面下方沿着所述第一轴对齐；和

所述第一滤光器元件沿着垂直于所述第一轴的第二轴覆盖在所述第一光电二极管上；

所述第二滤光器元件沿着所述第二轴覆盖在所述第二光电二极管上；和

每个微透镜沿着所述第二轴覆盖在每个滤光器阵列的第一滤光器元件和第二滤光器元件上。

3.根据权利要求2所述的装置，还包括沿着所述第二轴覆盖在所述多个微透镜上的照相机透镜，

其中，每个滤光器阵列的面向所述照相机透镜的表面和所述照相机透镜的出射光瞳位于每个微透镜的共轭位置。

4.根据权利要求1所述的装置，其中，覆盖在每个像素单元上的第一滤光器元件和第二滤光器元件被配置为将可见光的不同颜色分量分别传递到每个像素单元的第一光电二极管和第二光电二极管。

5.根据权利要求4所述的装置，其中，每个滤光器阵列的第一滤光器元件和第二滤光器元件基于拜耳图案来布置。

6.根据权利要求1所述的装置，其中，所述第一滤光器元件被配置为使可见光的一种或更多种颜色分量通过；和

其中，所述第二滤光器元件被配置为使红外光通过。

7.根据权利要求1所述的装置，其中，所述多个滤光器阵列的第一滤光器元件基于拜耳图案来布置。

8.根据权利要求1所述的装置，其中，所述第一滤光器元件包括沿着所述第二轴形成堆叠的第一滤光器和第二滤光器。

9.根据权利要求1所述的装置，还包括在覆盖在像素单元上的相邻滤光器元件之间以及在覆盖在相邻像素单元上的相邻滤光器元件之间的分隔壁。

10.根据权利要求9所述的装置，其中，所述分隔壁被配置为将从每个微透镜进入每个滤光器阵列的滤光器元件的光朝向其上覆盖有所述滤光器元件的光电二极管反射。

11.根据权利要求10所述的装置，其中，所述分隔壁包括金属材料。

12.根据权利要求1所述的装置，还包括置于所述多个滤光器阵列和所述半导体衬底之间的光学层；

其中，所述光学层包括以下中的至少一个：抗反射层，或被配置为将红外光导向所述第一光电二极管或所述第二光电二极管中的至少一个的微金字塔图案。

13.根据权利要求1所述的装置，还包括置于每个像素单元的相邻光电二极管和相邻像素单元的相邻光电二极管之间的隔离结构。

14.根据权利要求13所述的装置，其中，所述隔离结构包括深沟槽隔离(DTI)，所述DTI包括绝缘层和夹在所述绝缘层之间的金属填充层。

15.根据权利要求1所述的装置，其中，每个像素单元的第一光电二极管和第二光电二极管是钉扎光电二极管。

16.根据权利要求1所述的装置，其中，所述半导体衬底的背侧表面被配置为光接收表面，每个像素单元的第一光电二极管和第二光电二极管从所述光接收表面接收光；

其中，在每个像素单元中，所述半导体还包括浮置漏极，所述浮置漏极被配置为存储由每个像素单元的第一光电二极管和第二光电二极管产生的电荷；和

其中，所述装置还包括多晶硅栅极，所述多晶硅栅极形成在所述半导体衬底的与所述背侧表面相对的前侧表面上，以控制所述电荷从所述第一光电二极管和所述第二光电二极管到每个像素单元的浮置漏极的流动。

17.根据权利要求1所述的装置，其中，所述半导体衬底的前侧表面被配置为光接收表面，每个像素单元的第一光电二极管和第二光电二极管从所述光接收表面接收光；

其中，在每个像素单元中，所述半导体还包括浮置漏极，所述浮置漏极被配置为存储由每个像素单元的第一光电二极管和第二光电二极管产生的电荷；和

其中，所述装置还包括多晶硅栅极，所述多晶硅栅极形成在所述半导体衬底的前侧表面上，以控制所述电荷从所述第一光电二极管和所述第二光电二极管到每个像素单元的浮置漏极的流动。

18.根据权利要求1所述的装置，其中，所述半导体衬底是第一半导体衬底；

其中，所述装置还包括第二半导体衬底，所述第二半导体衬底包括量化器，用于量化由每个像素单元的第一光电二极管和第二光电二极管产生的电荷；和

其中，所述第一半导体衬底和所述第二半导体衬底形成堆叠。

19.根据权利要求18所述的装置，其中，所述第二半导体衬底还包括成像模块，所述成像模块被配置为：

基于每个像素单元的第一光电二极管的量化电荷生成第一图像；和

基于每个像素单元的第二光电二极管的量化电荷生成第二图像；和

其中，所述第一图像的每个像素对应于所述第二图像的每个像素。

20.根据权利要求19所述的装置，其中，基于由所述第一光电二极管和所述第二光电二极管在曝光周期内产生的电荷而生成所述第一图像的每个像素和所述第二图像的每个像素。

Images