CN115516283A - 偏振成像摄像头 - Google Patents

Abstract

在一示例中，一种装置包括：横向布置的多个子像素；定位在该多个子像素上方的共享光学元件，该共享光学元件被配置为将源自场景中同一位置的光引导至该多个子像素中的每个子像素；一个或多个偏振器，该一个或多个偏振器定位在共享光学元件与该多个子像素中的一个或多个第一子像素之间，该一个或多个偏振器被配置为选择性地传递光的具有一个或多个预定偏振态的一个或多个分量，以使该一个或多个第一子像素中的每个第一子像素的光电二极管基于该一个或多个分量的强度生成信号；以及一个或多个处理器，该一个或多个处理器被配置为基于从该一个或多个第一子像素的光电二极管获取的信号、以及该一个或多个偏振器的偏振特性，生成接收到的光的偏振量度。

Description

偏振成像摄像头

相关申请

本专利申请要求于2020年4月24日提交的、名称为“偏振成像摄像头”的第63/015,186号美国临时专利申请的优先权，该申请已转让给其受让人，并出于所有目的通过引用将该申请的全部内容并入本文。

背景技术

偏振成像允许生成场景的图像，该场景的图像可以显示在常规单色、彩色或红外(infrared，IR)图像中可能难以觉察或根本不可见的细节，这可以仅依赖于测量非偏振光的强度或波长特性。通过提取与接收到的光的偏振有关的信息，有可能从该场景获取更多的视角。例如，一对象的偏振图像可以利用高对比度来揭示诸如表面特征、形状、阴影和粗糙度等细节。然而，偏振成像主要用于科学环境，并且需要昂贵且专业的设备。即使当这样的设备是可获得的，现有的偏振成像技术也会涉及时分或空分图像采集，该时分或空分图像采集要么可以与时域中的模糊相关联，要么可以与空间域中的模糊相关联。存在对一种改进的用于偏振成像的系统的显著需求。

发明内容

本公开涉及成像技术。更具体地且非限制性地，本公开涉及执行偏振成像的技术。

在一些示例中，提供了一种装置。该装置包括多个子像素、共享光学元件、一个或多个偏振器、以及一个或多个处理器；该多个子像素沿第一轴横向布置，每个子像素包括光电二极管，该光电二极管被配置为将光能转换为信号；该共享光学元件沿垂直于第一轴的第二轴定位在该多个子像素的上方，该共享光学元件被配置为将源自场景中同一位置的光引导至该多个子像素中的每个子像素；该一个或多个偏振器中的每个偏振器沿第二轴定位在一个或多个第一子像素中的对应一个第一子像素的上方，且被配置为选择性地传递光的具有一个或多个预定偏振态的一个或多个分量，以使该一个或多个第一子像素中的各个第一子像素的光电二极管基于该一个或多个分量的强度生成信号；该一个或多个处理器被配置为生成表示一个或多个斯托克斯参数的输出值，该一个或多个斯托克斯参数对应于表征接收到的光的全部或部分斯托克斯矢量，该输出值是基于从该一个或多个第一子像素的光电二极管获取的信号以及该一个或多个偏振器的偏振特性而生成的。

在一些方面，共享光学元件包括微透镜。

在一些方面，该一个或多个偏振器和该多个子像素被构建为多层半导体设备的多个层。

在一些方面，该一个或多个偏振器包括一个或多个线栅，该一个或多个线栅使用背面金属化(backside metallization，BSM)层或深槽隔离(deep trench isolation，DTI)中的至少一种形成。

在一些方面，该一个或多个偏振器包括至少一个椭圆偏振器，该椭圆偏振器包括以下中的至少一种：线偏振器、或沿第二轴布置的线偏振器和延迟器。

在一些方面，延迟器包括液晶聚合物层。

在一些方面，该一个或多个偏振器被构建为偏振器的像素化板。该多个子像素被构建为半导体器件。偏振器的像素化板和半导体器件是分开制作、且被组装到一起的。

在一些方面，信号为第一信号。该装置还包括一个或多个滤光器，该一个或多个滤光器沿第二轴定位在共享光学元件与该多个子像素中的一个或多个第二子像素之间，该一个或多个滤光器被配置为将光的一个或多个波长范围的一个或多个分量选择性地传递至该一个或多个第二子像素，以使该一个或多个第二子像素的光电二极管能够基于该光的该一个或多个分量的强度生成第二信号。

在一些方面，该一个或多个滤光器包括红色滤光器、绿色滤光器、蓝色滤光器或红外滤光器中的至少一种。

在一些方面，该一个或多个处理器还被配置为：基于该一个或多个第一子像素的第一信号，生成场景的第一图像的第一像素；基于该一个或多个第二子像素的第二信号，生成场景的第二图像的第二像素，第二像素对应于第一像素；以及基于第一图像和第二图像执行对象检测操作。

在一些方面，该一个或多个偏振器中的至少一个偏振器、和该一个或多个滤光器中的至少一个滤光器沿第二轴定位在至少一个第二子像素的上方。

在一些方面，该一个或多个滤光器没有沿第二轴定位在至少一个第一子像素的上方。

在一些方面，该多个子像素形成超像素。该装置包括超像素阵列和共享光学元件阵列，该超像素阵列包括超像素和多个其他超像素，该共享光学元件阵列包括共享光学元件和多个其他共享光学元件。共享光学元件阵列中的每个共享光学元件定位在超像素阵列中的对应超像素的上方，并在该对应超像素的多个子像素之间共享，且被配置为将接收到的源自场景中一不同位置的光引导至该对应超像素的多个子像素。

在一些方面，超像素阵列包括多个单位单元，每个单位单元包括一个或多个超像素，单位单元被复制多次以形成超像素阵列。每个单位单元包括以下中的一种：仅一种类型的超像素，该一种类型的超像素包括覆盖有偏振器的第一子像素、覆盖有滤光器的第二子像素、或未覆盖有偏振器或滤光器的一个或多个子像素的特定组合；或者，不同类型的超像素，该不同类型的超像素中的每种类型的超像素均包括覆盖有偏振器的第一子像素、覆盖有滤光器的第二子像素、或未覆盖有偏振器或滤光器的一个或多个子像素的一不同组合。

在一些方面，还包括照明器，该照明器被配置为朝场景投射光束，其中，接收到的光包括源自照明器且被场景中的一个或多个对象反射的光。

在一些方面，照明器被配置为发射已知偏振态的光。

在一些方面，该装置还包括控制器，该控制器被配置为控制该多个子像素的光电二极管在同一曝光周期内检测光以生成信号。

在一些示例中，一种方法包括：通过定位在多个子像素上方的共享光学元件，接收源自场景中同一位置的光，该多个子像素中的每个子像素沿第一轴横向布置，该多个子像素中的每个子像素包括光电二极管，以将光能转换为信号，该共享光学元件沿第二轴定位在该多个子像素的上方；使用沿第二轴定位在共享光学元件与该多个子像素中的一个或多个第一子像素之间的一个或多个偏振器，将光的具有一个或多个预定偏振态的一个或多个分量选择性地传递到多个子像素中的该一个或多个第一子像素；使用该一个或多个第一子像素的光电二极管基于该一个或多个分量的强度生成信号；由一个或多个处理器，基于从该一个或多个第一子像素的光电二极管获取的信号、以及基于该一个或多个偏振器的偏振特性，生成表示接收到的光的偏振量度的输出值。

在一些方面，输出值包括与表征接收到的光的全部或部分斯托克斯矢量相对应的多个斯托克斯参数。

在一些方面，信号为第一信号。该方法还包括：使用定位在共享光学元件与该多个子像素中的一个或多个第二子像素之间的一个或多个滤光器，将光的一个或多个波长范围的一个或多个分量选择性地传递到多个子像素中的该一个或多个第二子像素，以使该一个或多个第二子像素的光电二极管基于光的该一个或多个分量的强度生成第二信号；由该一个或多个处理器基于该一个或多个第一子像素的第一信号生成场景的第一图像的第一像素；由该一个或多个处理器基于该一个或多个第二子像素的第二信号生成场景的第二图像的第二像素，第二像素对应于第一像素；由该一个或多个处理器基于第一图像和第二图像执行对象检测操作。

附图说明

参考以下附图对说明性示例进行描述。

图1A和图1B示出了作为电磁横波的光的偏振的示例。

图2示出了偏振器对从不同表面反射的光的作用的示例。

图3A和图3B示出了对光的偏振特性进行量化的量度的示例。

图4示出了同一对象的不同类型的图像的示例。

图5A和图5B示出了表征对象与光的偏振相互作用的示例技术。

图6示出了具有可实现所公开技术的超像素的图像传感器的示例。

图7A、图7B和图7C示出了多层半导体传感器设备的示例，该多层半导体传感器设备实现了超像素以提供强度和偏振成像这两者。

图8A、图8B、图8C和图8D示出了超像素阵列和单位单元的示例。

图9和图10示出了可以通过使用偏振数据以提高的精确度处理的分类任务的示例、以及分类任务的输出的示例。

图11示出了对根据本公开各实施例的包含用于获取偏振图像的传感器阵列的偏振摄像头的示例的使用。

图12A和图12B示出了一种头戴式设备(head mounted device，HMD)，在该头戴式设备中可以实施本公开中所描述的一个或多个偏振传感器阵列。

图13A和图13B示出了显示一种示例成像系统的框图。

图14A和图14B示出了由图13A和图13B的成像系统输出的图像的示例。

图15示出了成像过程的示例。

附图描绘了本公开的示例，仅出于说明的目的。本领域技术人员将从以下描述中容易地认识到，在不脱离本公开的原理或本公开中所宣称的优势的情况下，可以采用所示出的结构和方法的替代示例。

在附图中，相似的部件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记后跟随连接号和区分多个相似部件的第二标记，来区分相同类型的各种部件。如果说明书中仅使用了第一参考标记，则该描述适用于具有相同第一参考标记的多个相似部件中任一个，而不考虑第二参考标记。

具体实施方式

在以下描述中，出于解释的目的，阐述了具体细节以提供对某些发明示例的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下来实践各示例。这些附图和描述不旨在进行限制。

图像传感器可以检测光，以生成图像。图像传感器可以检测来自场景的不同波长范围的光，以生成不同通道的图像(例如，根据不同波长范围的光而采集的图像)。这些图像可以由图像处理器来处理，以支持不同的计算机视觉应用，例如某些对象的检测和分类。检测/分类结果可以支持其他应用，例如虚拟现实(VR)/增强现实(AR)/混合现实(MR)应用。例如，图像处理器可以对这些图像执行图像处理操作，以检测感兴趣对象/目标对象、以及感兴趣对象/目标对象在这些图像中的位置。目标对象的检测可以基于从这些图像中检测目标对象的特征的模式(pattern)。基于对目标对象的检测，VR/AR/MR应用可以生成输出内容(例如，用于通过显示器显示给用户的虚拟图像数据、用于通过扬声器输出给用户的音频数据等)，以向用户提供交互式体验。

传统的图像传感器利用非偏振成像，仅依靠非偏振光的强度特性来支持计算机视觉应用，例如对象检测和跟踪。例如，对象识别/检测可以基于检测不同波长的光的强度(作为特征)的预定模式。然而，非偏振光成像的性能可能会受到操作环境的限制。例如，当在低环境光环境中操作时，或者当对象被遮挡(例如，被阴影、雾、烟、朦胧天气、眩光等遮住)时，可能会变得难以区分具有高保真度的非偏振光的不同强度模式以支持对象识别/检测操作。

本公开提出了一种可以解决以上问题中的至少一些问题的装置，例如图像传感器。该图像传感器可以基于对光的偏振进行检测来生成信号。具体地，该装置包括沿第一轴横向排列的多个光电二极管，每个光电二极管被配置为将光能转换成信号。该多个光电二极管可以形成超像素或像素，每个光电二极管形成该超像素的一个子像素，使得该像素包括多个子像素。该装置还包括共享光学元件，该共享光学元件沿垂直于第一轴的第二轴定位在场景与该多个光电二极管之间。该共享光学元件被配置为将接收到的源自场景中同一位置的光引导到该多个光电二极管中的每一个，使得针对该超像素/像素而生成的信号表示场景中的那个位置。此外，该装置包括一个或多个偏振器，该一个或多个偏振器定位在该共享光学元件与选自该多个子像素中的一个或多个第一子像素之间，该一个或多个偏振器中的每个偏振器定位在该一个或多个第一子像素中的对应第一子像素的上方，且被配置为将光的具有预定偏振态的分量选择性地传递到该一个或多个第一子像素中的该对应第一子像素。

该装置还包括一个或多个处理器，该一个或多个处理器被配置为，使用从该一个或多个第一子像素的光电二极管获取的信号、和该一个或多个偏振器的偏振特性，来生成表示一个或多个斯托克斯(Stokes)参数的输出值，该一个或多个斯托克斯参数与表征接收到的光的全部或部分斯托克斯矢量相对应。在一些示例中，该一个或多个处理器还可以使用斯托克斯参数来生成超像素的附加参数，附加参数例如为线偏振度(degree of linearpolarization，DoLP)和线偏振角(angle of linear polarization，AoLP)。不同超像素的DoLP值和AoLP值例如可以用于检测对象的特征。

在一些示例中，由深槽隔离(deep trench isolation，DTI)制成的线栅结构用于创建线偏振器，以使光的线偏振分量选择性地通过。在一些示例中，延迟器也可以与线栅一起被包括，以创建椭圆偏振器，以使光的圆偏振分量选择性地通过。该一个或多个处理器可以使用线偏振器和椭圆偏振器的测量以生成一整套斯托克斯参数。

在一些示例中，超像素可以包括用于偏振态测量的子像素和用于测量不同波长(例如，红色、蓝色和绿色、红外等)的光的强度的子像素，以允许并行的偏振态测量和强度测量。在一些示例中，可以对基于偏振态测量检测到的特征和基于强度测量检测到的特征进行结合，以执行对象检测操作。

根据本公开的示例成像系统可以提供偏振光成像，该偏振光成像可以在非偏振成像受到操作条件(例如，低环境光环境或当对象被遮挡时)的阻碍时，对这种非偏振成像进行补充。此外，通过该一个或多个偏振器和共享光学元件，使用这些光电二极管的信号，可以由这些光电二极管对接收到的、场景中同一位置的光进行不同的偏振测量，并且测量结果用于表示该位置，该位置可以是对象上的一个点。此外，在全局快门操作中这些光电二极管可以具有同一曝光周期，使得不同的偏振态测量基于不仅从同一位置而且在同一时间内接收到的光。与使用不同像素来执行不同偏振态测量的情况(这可能需要在场景内的不同空间位置处具有相同的偏振特性)相比，根据本公开的图像传感器可以提供在一个超像素内的、多个偏振态的并行测量和/或并行的偏振态测量和强度测量。这种设置可以促进同一位置的、不同的偏振态测量之间或偏振态测量与强度测量之间的对应关系。此外，与基于不同曝光周期所接收到的光顺序地进行不同偏振态测量的情况相比，全局快门操作可以减少运动模糊。所有这些都可以提高图像传感器的性能，以及依赖该图像传感器的输出的应用(例如，计算机视觉应用、VR/AR/MR应用等)的性能。

所公开的技术可以包括人工现实系统(artificial reality system)、或结合人工现实系统而被实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括，虚拟现实(virtual reality，VR)、增强现实(augmentedreality，AR)、混合现实(mixed reality，MR)、混合现实(hybrid reality)、或它们的一些组合和/或衍生物。人工现实内容可以包括完全生成的内容或与采集的(例如，真实世界)内容相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的一些组合，以上任何一种都可以在单通道或多通道(例如，给观看者带来三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实也可以与应用、产品、附件、服务或它们的一些组合相关联，这些应用、产品、附件、服务或它们的一些组合例如用于在人工现实中创建内容，和/或以其他方式用于人工现实中(例如，在人工现实中执行动作)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主控计算机系统的头戴式显示器(head-mounted display，HMD)、独立HMD、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。

光的偏振

图1A和图1B示出了作为沿Z轴传播的电磁横波的光的偏振态的示例。尽管电磁波包括电场和磁场这两者的同步振荡，但为了便于说明，图1A和图1B仅显示了电场。具有垂直于电场的方向的磁场被理解为是存在的。在图1A中，图形100示出了沿X轴振荡的“水平”偏振电磁波的传播。该水平偏振波可以表示为：

此外，图形102示出了沿Y轴振荡的“垂直”偏振电磁波。该垂直偏振波可以表示为：

此外，参考图1B，图形104示出了一种线偏振电磁波，该线偏振电磁波呈现为水平偏振波和垂直偏振波的组合，这两个波之间没有相位偏移。这样的线偏振电磁波可以表示为：

为了便于说明，将水平偏振波的幅度和垂直偏振波的幅度呈现为是相等的，即E_x＝E_y，这使得线偏振波沿X轴与Y轴之间的45度线而振荡。如果水平偏振波的幅度和垂直偏振波的幅度不相等，则产生的线偏振波将沿相对于X轴和Y轴形成arctan(E_y/E_x)角度的线而振荡。

此外，在图1B中，图形106示出了一种圆偏振电磁波，该圆偏振电磁波呈现为水平偏振波和垂直偏振波的组合，这两个波之间具有90度的相位偏移。该圆偏振电磁波可以表示为：

更一般地说，如果施加一不同的相位偏移，则产生椭圆偏振电磁波。事实上，准确来说，“椭圆”偏振是用于描述表示为如下等式的电磁波的最通用的术语：

“线”偏振可以看作是椭圆偏振的特殊情况，

取值为0。“圆”偏振可以看作是椭圆偏振的特殊情况，

取值为90度。

图2示出了偏振器对从不同表面反射的光的作用的示例。在这些示例中，观看者看到一场景，该场景包括装满水的、石头淹没在水面下的大桶。在图202中，水平方向的线偏振器204被放置在该场景和观看者之间。来自该场景的光穿过偏振器到达观看者的眼睛。水平方向的线偏振器充当滤波器，以使水平偏振光通过但过滤了垂直偏振光。在晴天，观看者从该场景中看到的可能包括石头反射的光以及水面反射的光(即眩光)。一般来说，当光照射到表面时，反射的光波会发生偏振以匹配该表面的角度。因此，高度反射的水平表面(例如水面)主要产生水平偏振光。如图202所示，水平方向的偏振器几乎不会阻挡来自水面的眩光(水平偏振光)。该眩光如此强烈以至于观看者很难看到淹没在水面之下的石头所反射的光。

在图206中，偏振器204旋转了90度，使得该偏振器现在为垂直方向。垂直方向的线偏振器充当滤波器，以使垂直偏振光通过但过滤了水平偏振光。垂直方向的线偏振器阻挡了来自水面的眩光(水平偏振光)。去除眩光后，观看者现在可以看到淹没在水面之下的石头208所反射的光。换言之，石头208现在对于观看者是可见的。

因此，图2示出了偏振器根据偏振方向来阻挡光和/或使光通过的操作的示例。尽管图2中仅示出了线偏振器，但是其他类型的偏振器(例如，圆偏振器或椭圆偏振器)也可以操作为基于光的偏振来过滤光。如下面将描述的，可以在图像传感器中实施偏振器，以选择性地阻挡某些光或使某些光通过，这支持各种应用，这些应用例如为在室外环境或非受控环境下进行弱光成像，对隐藏在水、阴影、雾、烟尘或雾霾天气之下的对象进行成像，以及减少眩光。

斯托克斯矢量和穆勒(Mueller)矩阵

图3A和图3B呈现了可以量化光的偏振特性/状态的偏振量度。图3A显示了斯托克斯矢量S的定义，该斯托克斯矢量S表征光束的偏振态。斯托克斯矢量S由四个独立的斯托克斯参数组成，这四个参数包括强度斯托克斯参数S₀和三个偏振斯托克斯参数S₁、S₂和S₃。四个斯托克斯参数中的每个可以表示为六个不同偏振强度值中的一个或多个的特定组合，这六个不同偏振强度值表示六种不同的偏振态(state of polarization，SoP)。六个SoP强度值包括：(1)I_H，光沿水平偏振方向的强度，(2)I_V，光沿垂直偏振方向的强度，(3)I₊₄₅，光沿正45度线偏振的强度，(4)I_-45，光沿负45度线偏振的强度，(5)I_RHC，光沿右旋圆偏振的强度，以及(6)I_LHC，光沿左旋圆偏振的强度。这六个偏振强度值可以作为偏振量度而被测量，且可以被表示为光沿水平偏振轴和垂直偏振轴的电磁场的各种复振幅(及它们的复共轭)的乘法运算。在下面的等式1中再现了图3A：

在等式6中，被表示为I_H+I_V的第一斯托克斯参数S₀为整体强度参数，且表示光的总强度。被表示为I_H–I_V的第二斯托克斯参数S₁为光沿水平偏振的强度相对于垂直偏振的相对强度的量度。被表示为I₊₄₅–I_-45的第三斯托克斯参数S₂为光沿正45度线偏振的强度相对于负45度线偏振的相对强度的量度。被表示为I_RHC–I_LHC的第四斯托克斯参数S₃为光沿右旋圆偏振的强度相对于左旋圆偏振的相对强度的量度。斯托克斯矢量S以及对应的斯托克斯参数S₀、S₁、S₂和S₃还存在其他表示。无论使用何种形式，斯托克斯矢量S都用于表征光束的偏振态。

图3B显示了偏振度的不同量度，该偏振度的不同量度被表示为以上讨论的各种斯托克斯参数的函数。第一个量度为总偏振度(DoP)，其可以被表示为：

在等式7中，DoP可以表示所有三个偏振斯托克斯参数S₁，S₂和S₃的组合幅度与强度斯托克斯参数S₀的幅度相比的比值。

下一个量度为线偏振度(DoP_L)，其可以表示为：

在等式8中，DoP_L可以表示两个线偏振斯托克斯参数S₁和S₂的组合幅度与强度斯托克斯参数S₀的幅度相比的比值。

另一个量度为圆偏振度(DoP_C)，其可以表示为：

在等式9中，DoP_C表示圆偏振斯托克斯参数S₃的幅度与强度斯托克斯参数S₀的幅度相比的比值。

这些不同类型的“偏振度”是表示所讨论的光束发生偏振(DoP)、线偏振(DoP_L)、或圆偏振(DoP_C)的程度的有用的量度。

图4示出了基于非偏振光生成的图像402的示例、以及基于接收到的光的偏振特性生成的图像412和422的示例。图像402、412和422是针对同一对象采集到的对应图像——具有瞳孔以及因显示器的反射而产生的闪光斑的眼睛。如图4所示，图像402可以是红-绿-蓝(red-green-blue，RGB)图像。这样的RGB图像基于三个波长范围(即分别与颜色红、绿和蓝相关联的波长范围)中的每一个波长范围的光的强度。RGB图像402可以通过RGB滤光器阵列(其可以覆盖在图像传感器的光电二极管阵列上)对光进行过滤而被采集，使得可以将图像传感器的不同光电二极管分配为收集不同波长(与红光、绿光和蓝光相关联)的光，以生成红色像素值、绿色像素值和蓝色像素值。可以基于红色像素值、绿色像素值和蓝色像素值来重建RGB图像402。从RGB图像402中，可以基于红色波长、绿色波长和蓝色波长中的特征来识别瞳孔404和闪光406。

此外，图像412可以包括线偏振度(DOLP)图像。为了生成图像412的像素值，可以基于图像传感器的光电二极管的输出，生成斯托克斯参数S₀和S₁。可以基于以下等式计算每个像素的DOLP：

注意到，等式10与上面的等式8略有不同。然而，DOLP表达式提供了从场景接收到的光发生线偏振的程度的表示。

在图像412中，对于每个像素，该图像中呈现的值是与该像素相关联的光的DOLP值。偏振度的量度(例如DOLP)在提取关于光的反射的信息时特别有用。因此，如图像412所示，眼睛的瞳孔404(其是高度反射的)、以及在眼睛的表面上看到的引起闪光406的显示器的反射，在图像中可能具有高DOLP值。

此外，图像422包括线偏振角(angle of linear polarization，AOLP)图像。这里，可以基于斯托克斯参数S₀和S₁对线偏振角进行如下计算：

AOPL＝arctan(S₂/S₁) (等式11)

线偏振角的量度在提取形状信息时非常有用。如图像422所示，AOLP图像显示了眼睛的球形形状。

图4中示出的RGB图像402、DOLP图像412和AOLP图像422分别展示了光的各种偏振量度可以如何揭示关于场景的不同类型的信息的示例，这些信息例如为对象的不同的特征模式。例如，如图4所示，RGB图像402、DOLP图像412和AOLP图像422可以显示瞳孔的不同特征模式/类型，这允许对瞳孔进行检测和跟踪，以为眼睛跟踪应用程序提供输入。例如，当处于弱光条件下时，由光电二极管接收到的光的强度可能不足以从RGB图像402中检测特征模式，但在红色/蓝色/绿色波长中具有高保真度。但是接收到的光强度足以检测DOLP图像412中的高DOLP值区域，以及足以从AOLP图像422中检测眼睛。因此，在瞳孔404的位置跟踪中，眼睛跟踪操作可以使用DOLP图像412和AOLP图像422来增强RGB图像402，或者甚至替换掉RGB图像402。

图5A示出了表征对象与光的偏振相互作用的穆勒矩阵，穆勒矩阵可以用于重建诸如图4的DOLP图像412和AOLP图像422等偏振图像。输入光束与对象相互作用(例如，从对象反射或透射穿过对象)并产生输出光束。输入斯托克斯矢量S表征输入光束的偏振态。穆勒矩阵M表征对象对光束的偏振态的作用。输出斯托克斯S′矢量表征输出光束的偏振态。这种相互作用由图5A所示的等式表示，该等式采用矩阵乘法运算的形式：

S′＝M*S (等式12)

在图5A中，输入斯托克斯矢量S为具有4个元素S₀、S₁、S₂和S₃(输出斯托克斯参数)的4×1矢量。穆勒矩阵M为具有16个元素m₀₀、m₁₀、m₂₀、m₃₀、m₀₁、m₁₁、m₂₁、m₃₁、m₀₂、m₁₂、m₂₂、m₃₂、m₀₃、m₁₃、m₂₃和m₃₃(权重)的4×4矩阵。输出斯托克斯矢量S′为具有4个元素S₀′、S₁′、S₂′和S₃′(输出斯托克斯参数)的4×1矢量。

因此，输出斯托克斯矢量S′的每个元素为输入斯托克斯矢量S中的所有元素的线性组合。例如，如图5B所示，输出斯托克斯矢量S′的第一个元素S₀′为输入斯托克斯矢量S的4个元素S₀、S₁、S₂和S₃的线性组合。

S′₀＝m₀₀S₀+m₁₀S₁+m₂₀S₂+m₃₀S₃ (等式13)

穆勒矩阵M中的元素提供了在这种线性组合中使用的“权重”。在上面的示例中，对于该等式(等式13)中所示的线性组合，穆勒矩阵的第一行提供了权重m₀₀、m₁₀、m₂₀、m₃₀，以生成输出斯托克斯矢量S的第一个元素S₀′。输出斯托克斯矢量S的其他3个元素S₁′、S₂′和S₃′中的每一个都可以以类似的方式生成，为输入斯托克斯矢量S的4个元素S₀、S₁、S₂和S₃的、使用来自穆勒矩阵M的相应行的合适权重的线性组合。以这种方式，穆勒矩阵M充分表示出对象如何与光相互作用的线性模型，以将输入光束的偏振态转换为输出光束的偏振态。该转换可以包括使输入光束的具有特定偏振态的部分选择性地透过作为输出光束、和/或改变偏振输入光束的偏振态以产生输出光束。

偏振图像(例如DOLP图像412和AOLP图像422)可以基于如等式7和等式8所示的穆勒矩阵以及斯托克斯参数等式6而生成。具体地，可以由一个或多个偏振器(例如椭圆偏振器)对接收到的光进行过滤，以使光的具有不同偏振态(例如，垂直、水平、右旋圆、左旋圆等)的分量(如果这些分量存在)选择性地透过。假设偏振器的穆勒矩阵是已知的，并且通过光电二极管测量光的不同偏振态的强度以获得每个像素的值I_H+I_V、I_H-I_V、I₊₄₅-I_-45、和I_RHC-I_LHC，则可以基于这些值和斯托克斯参数等式6确定输出斯托克斯参数S₀′、S₁′、S₂′和S₃′。然后，可以基于等式13和每个像素的输出斯托克斯参数S₀′、S₁′、S₂′和S₃′确定该像素的输入斯托克斯参数S₀、S₁、S₂和S₃。然后，可以基于输入斯托克斯参数S₀、S₁以及等式10和11重建DOLP图像412和AOLP图像422。

超像素

图6示出了根据本公开实施例的用于使用“超像素”从场景中提取波长和/或强度信息以及偏振信息的布置。从诸如对象空间602等场景接收到的光可以在沿光轴604的方向上传输，穿过摄像头镜头606，并被超像素阵列608采集。在本实施例中，阵列608是超像素的二维阵列(图6示出了该二维阵列的侧视图)。这里，每个“超像素”是指可以包括邻近的(即，相邻的)多个子像素的传感器设备，每个子像素具有用于将光能转换为信号的光电二极管。在图6中，多个子像素沿第一轴(例如，x轴、y轴等)彼此相邻布置。图6示出了这种“超像素”610的示例。在本实施例中，超像素610包括四个子像素612、614、616和618。根据各实施例，各个超像素可以采用不同数量的子像素。

共享光学元件(例如微透镜620)可以沿垂直于第一轴的第二轴(例如，z轴)定位在场景和每个超像素610之间。在一些示例中，每个超像素可以具有其自己的微透镜。在一些示例中，多个超像素610可以共用一个微透镜620。微透镜620的尺寸可以明显小于摄像头镜头606，摄像头镜头用于将用于整个图像帧的光积聚并引导至超像素阵列608。在微透镜620在超像素610的子像素612、614、616和618之间共享的情况下，该微透镜为“共享”光学元件。微透镜620将来自场景中特定位置(即，图像帧内的“像素”)的光引导至超像素610的子像素612、614、616和618。以这种方式，超像素中的这些子像素可以同时对来自正被采集的图像中的同一像素位置的光进行采样。

对于图像中的特定像素位置，超像素的这些子像素中的一个或多个子像素可以从接收到的光中提取波长信息和/或强度信息。如所讨论的，每个子像素可以包括光电二极管。不同彩色滤光器可以定位在这些子像素中的一个或多个子像素的上方，每个彩色滤光器用作允许一特定波长范围的光透过、同时阻挡该波长范围之外的光的滤波器。例如，子像素612可以覆盖有红色滤光器，并由此被配置为检测“红色”波长范围内的光。子像素614可以覆盖有绿色滤光器，并由此被配置为检测“绿色”波长范围内的光。子像素616可以覆盖有黄色滤光器，并由此被配置为检测“黄色”波长范围内的光。子像素618可以覆盖有红外(IR)滤光器，并由此被配置为检测IR波长范围内的光。因此，对于正被采集的图像中的特定像素位置，超像素610中的子像素612、614、616和618可以检测光的不同颜色/波长的光强度。针对每个像素位置提取的这种波长/强度信息在针对多个像素位置而进行组合时，可以形成图像。因此，超像素阵列可用于形成诸如RGB图像、IR图像等图像。

此外，对于图像中的特定像素位置，超像素的这些子像素中的一个或多个子像素可以从接收到的光中提取偏振信息。不同偏振器可以定位在这些子像素中的一个或多个子像素的上方，每个偏振器用作允许一特定偏振态(例如，垂直、水平、右旋圆、左旋圆等)的光透过、同时阻挡其他偏振光的滤波器。例如，子像素612可以覆盖有垂直方向的线偏振器P1，并由此被配置为仅检测垂直偏振光以测量偏振强度I_V。子像素616可以覆盖有水平方向的线偏振器P2，并由此被配置为仅检测水平偏振光以测量偏振强度I_H。因此，对于正被采集的图像中的特定像素位置，超像素610中的子像素612、614、616和618有可能检测光的不同偏振态的光强度。对于每个像素位置，这些不同的偏振强度可以用于计算偏振信息，例如，接收到的光的完整或部分斯托克斯矢量、源自于该完整或部分斯托克斯矢量的一个或多个值(例如，DOLP、AOLP等)、或它们的组合。针对每个像素位置提取的这些偏振信息在针对多个像素位置而进行组合时，可以形成图像。因此，超像素阵列可用于形成诸如DOLP图像、AOLP图像等图像。

如上面所提及的，可以使用由超像素中的多个子像素所检测的偏振强度来计算诸如完整或部分斯托克斯矢量等偏振信息。从图5A回想到，矩阵乘法运算S′＝M*S对对象与光的相互作用进行建模，以影响光的偏振态。对于每个子像素(例如，612或616)，具有斯托克斯矢量S的输入光束与由穆勒矩阵M表征的对象(即定位于子像素上方的偏振器)相互作用，以产生具有斯托克斯矢量S′的输出光束，该输出光束的强度由该子像素中的光电二极管检测。参考图5B，输出斯托克斯矢量S′中的强度斯托克斯参数S₀'可以由以下等式描述：

S′₀＝m₀₀S₀+m₁₀S₁+m₂₀S₂+m₃₀S₃ (等式13)(再现)

可以使用由每个子像素的光电二极管生成的偏振强度量度(例如，I_H、I_V、I₊₄₅、I_-45、I_RHC、I_LHC)，来基于等式6生成超像素的输出斯托克斯参数，例如，S₀′、S₁′、S₂′和S₃′。对于四个子像素，各个子像素被不同的偏振器覆盖，这针对输出斯托克斯参数S₀′、S₁′、S₂′和S₃′中的每个而生成等式13的四个实例。穆勒矩阵M中的权重m₀₀，m₁₀，m₂₀，m₃₀也是已知的，因为所使用的每个偏振器在其穆勒矩阵M是已知的情况下会被很好地表征。未知的是斯托克斯参数S₀、S₁、S₂和S₃的值。等式13的四个实例表示四个联立方程，该4个联立方程可以用于求解四个变量S₀、S₁、S₂和S₃。因此，对于图像中的特定像素位置，根据超像素中的四个子像素生成的强度读数可以支持所有四个斯托克斯参数S₀、S₁、S₂和S₃(即，完整斯托克斯矢量S)的计算。

替代地，为了计算部分斯托克斯矢量，可能需要较少的这种强度读数。在图6所示的示例中，两个子像素612和616可以覆盖有线偏振器。这两个子像素产生偏振强度读数I_H、I_V、I₊₄₅和I_-45，这些偏振强度读数可以用于计算输出斯托克斯参数，这些输出斯托克斯参数例如包括S₀′、S₁′和S₂′。根据这两个子像素生成的强度读数提供了两个联立方程，可以求解这两个联立方程来计算斯托克斯参数S₁和S₂。如先前所讨论的，斯托克斯参数S₁为光沿水平偏振的强度相对于垂直偏振的相对强度的量度。斯托克斯参数S₂是光沿正45度线偏振的强度相对于负45度线偏振的相对强度的量度，如先前所描述的。例如，斯托克斯参数S₁和S₂可以用于计算DOLP值和AOLP值，以生成图4中的DOLP图像412和AOLP图像422。

图7A示出了根据本公开示例的被实现为多层半导体传感器设备700的超像素的截面图，该多层半导体传感器设备具有一个或多个滤光器，以使特定波长范围的光选择性的通过，并且该多层半导体传感器设备具有一个或多个线偏振器，该一个或多个线偏振器内置在子像素上方的层中。在该图所示的方向上，接收到的光701从设备700的顶部传输通过微透镜和各种层，到达位于设备700底部处的多个子像素。多层半导体传感器设备700包括多个层，例如微透镜顶层702、微透镜底层704、波长滤光层706、红外(IR)滤光层708、背面金属化(backSide metallization，BSM)层710以及子像素层712，该BSM层包括BSM 710a、710b和710c。子像素层712可以包括第一深槽隔离(DTI)层714和第二DTI层715，该第一DTI层包括DTI 714a、714b、714c、714d和714e，该第二DTI层包括DTI 715a、715b和715c。

传感器设备700中的多个层以及在该多个层中制作的器件，均使用一种或多种半导体处理技术(例如光刻、蚀刻、沉积、化学机械平面化、氧化、离子注入、扩散等)而被构建在共同的半导体晶圆上。这与将层构建为单独的部件、然后将这些部件对齐并以堆叠的方式组装在一起形成了对比。这种对齐和组装可能会导致显著的精度问题和制造缺陷问题，尤其是在将传感器设备的物理尺寸减小到个位数微米级时。将超像素设计为多层半导体传感器设备700允许部件(例如，子像素、波长滤光器、偏振滤波器和微透镜等)在半导体制造技术的控制下而被精确地对齐，并且避免可能与微组装相关联的未对齐和不精确的问题。

在一些示例中，多层半导体传感器设备700包括微透镜716。如图所示，微透镜716可以包括形成在微透镜顶层702中的顶部部分和形成在微透镜底层704中的底部部分。多层半导体传感器设备700还包括四个子像素，该四个子像素布置成2×2的布局(从上往下看)。图7A呈现了使四个子像素中仅两个外侧的子像素可见的截面图，这两个子像素包括子像素720和子像素722。每个子像素包括将光能转换为信号的光电二极管(例如，由图7A中的光电二极管符号表示)。微透镜716将接收到的来自场景中特定像素位置的光引导至设备700的包括子像素720和子像素722的多个子像素。BSM 710和DTI715可以提供绝缘并减少子像素720和722之间的串扰。

可以在各个子像素的上方形成不同的波长滤光器，以控制由子像素提取的波长信息的类型。这里，“阻止红外(stop infrared，SIR)”滤光器724定位在强度子像素720的上方。SIR滤光器724被制作在IR滤光层708内。SIR滤光器724阻挡红外(IR)波长范围内的光，并允许IR波长范围外的光通过以到达强度子像素720。“红外通过(infrared pass，IRP)”滤光器726定位在偏振子像素722的上方。IRP滤光器726也被制作在IR滤光层708内。IRP滤光器726允许IR波长范围内的光通过以到达偏振子像素722。尽管图7A中没有示出，但彩色滤光器(例如在“红色”波长范围内、“绿色”波长范围内、“黄色”(或“蓝色”)波长范围内的那些)也可以定位在各个子像素的上方。这些彩色滤光器可以被制作在波长滤光层706中。在当前设置中，各个层允许所有非IR波长(不管颜色)通过并到达子像素720。然后，子像素720的光电二极管可以生成指示单色光强度的电荷，并且该电荷可以被量化，以测量由光电二极管接收到的单色光的强度。在光701是非偏振的情况下，子像素720的光电二极管可以测量非偏振光的强度。在光701是偏振的情况下，子像素720的光电二极管可以测量具有与光701相同偏振态的光的强度。

此外，还可以在诸如子像素722等子像素的上方形成偏振滤波器，以将光701的具有特定偏振态的部分传递到子像素722，使得子像素722可以检测和测量该偏振态的光的强度。然后，偏振子像素722的光电二极管可以生成用于测量具有该特定偏振态的光的强度的电荷。在一些示例中，线偏振器可以以栅线的形式实现，栅线以使用深槽隔离(DTI)技术、在子像素的半导体材料中形成的平行三维“翅片”的形式实现。在图7A中，垂直方向的线偏振器728被示出为，被实现为这种DTI形成的线偏振器。在设备700的子像素层712的深槽隔离层714中形成DTI结构。DTI形成的垂直方向的线偏振器728的平行三维“翅片”可以具有准直效果，且可以与对偏振态的更精确控制相关联，该偏振态是光穿过使用背面金属化在子像素上方形成的偏振器时的角度的函数。在一些示例中，还可以形成背面金属化结构(每种均具有平坦二维形状)以实现线偏振器728。

可以在子像素的上方形成不同类型的偏振滤光器以控制偏振态，这继而可以选择由该子像素测量的偏振强度(例如，I_H、I_V、I₊₄₅、I_-45、I_RHC、I_LHC中的一种)。在图7A中，垂直方向的线偏振器728中，每条栅线(例如，由DTI 714表示)沿y轴延伸穿过子像素722。子像素722的光电二极管的输出可用于测量偏振强度I_V。除垂直线偏振器728之外，图7B示出了其他栅图案以提供其他类型的线偏振。图7B示出了延伸穿过x轴以形成水平方向的线偏振器730的栅图案以测量偏振强度I_H，以相对于x轴-45度延伸以形成负45度的线偏振器732的栅图案以测量偏振强度I₊₄₅，以及以相对于x轴+45度延伸以形成正45度的线偏振器734的栅图案以测量偏振强度I_-45。

再次参考图7A，在一些实例中，子像素可以被配置为从接收到的光中提取波长信息以及偏振信息这两者。偏振子像素722就是这种情况。IRP滤光器726和垂直方向的线偏振器728这两者定位在偏振子像素722的上方。如所讨论的，IRP滤光器726只允许IR波长范围内的光通过。垂直方向的线偏振器728只允许垂直方向的线偏振光通过。因此，偏振子像素722用于检测垂直偏振的IR光。多层半导体传感器设备700的分层结构允许对待被定位在各个子像素上方的多种不同波长的滤光器和/或偏振滤光器进行灵活布置。

除了线偏振器728之外，传感器设备700可以包括其他类型的偏振器，例如椭圆偏振器以产生圆偏振光。图7C呈现了在本公开一些示例中的被实现为多层半导体传感器设备750的超像素的截面图，该多层半导体传感器设备具有内置在子像素上方的多个层中的、一个或多个波长滤光器以及一个或多个椭圆偏振器。多层半导体传感器设备750可以具有与如图7A所示的多层半导体传感器设备700类似的部件。如此，许多部件和结构在设备700和750中是相同的，这里不再重复它们的描述。

如图7C所示，传感器设备750包括形成在偏振子像素754上方的椭圆偏振器752。椭圆偏振器可以由线偏振器和延迟器的组合来实现。在图7C中，椭圆偏振器752是通过将垂直方向的线偏振器756(其可以由DTI、BSM等形成)与延迟器758进行组合来实现的。在一些示例中，延迟器758被实现为四分之一波片，并且所得到的椭圆偏振器是圆偏振器。延迟器758可以形成在波长滤光层中的一层(例如，红外(IR)滤光层760)中。在一些示例中，延迟器758也可以包括液晶聚合物材料，在该液晶聚合物材料中可以使用光控取向和/或其他技术来实现对齐。所得到的椭圆偏振器752允许椭圆偏振光通过以到达偏振子像素754，以测量偏振强度I_RHC和I_LHC。

在一些示例中，基于超像素的传感器可以被实现为多个单独制作的部件的组件。在这样的示例中，传感器将不会被实现为使用半导体制造技术而构建在一个半导体晶圆上的多层半导体设备(例如，在设备700和750的情况下)。替代地，传感器设备可以通过对多个分离的部件进行组装而成，该多个分离的部件对齐然后彼此固定。仅作为一个示例，可以将具有多个子像素(例如，四个子像素)、且每个子像素具有光电二极管的超像素制作为第一器件。可以单独制作偏振滤光器(例如，四个不同的偏振滤光器)的像素化板。然后，可以将超像素与偏振滤光器的像素化板对齐，然后彼此固定。这种对齐过程可涉及对这两个部件的相对定位的调整，使得超像素中的多个独立的子像素与像素化板中的对应偏振滤光器对齐。可以将彩色滤光器制作在共用的半导体晶圆上作为超像素。替代地，彩色滤光器也可以与超像素分开制作、与超像素对齐和组装。此外，诸如微透镜等光学元件也可以与超像素分开制作、与超像素对齐和组装。

超像素阵列和单位单元

图8A至图8D示出了单位单元模式示例的俯视图。每个单位单元可以包括具有一种或多种类型的覆盖偏振器的一个或多个子像素。在一些示例中，每个单位单元还可以包括具有一个或多个覆盖滤光器、以检测某些波长范围(例如，红、绿、蓝、红外等)的非偏振光的一个或多个子像素。图像传感器可以具有单位单元阵列，各个单位单元具有相同模式的偏振器和/或滤光器。在一些示例中，一单位单元可以跨越单个超像素。在图8A至图8D中，每个小方块可以表示一个子像素，而具有包围多个子像素(例如，2×2个子像素)的加厚边界的正方形可以表示一个单位单元。

图8A示出了跨越单个超像素且包括两种类型的线偏振器的单位单元模式的示例。在图8A中，图例示出了呈现在特定单位单元模式中的三类子像素：(1)测量线偏振光的子像素，(2)测量未被偏振器过滤的光(R/G/B/IR/单色)的子像素，以及(3)设计自由的子像素。子像素802为被表示为“I_H/V”的线偏振光子像素，“I_H/V”表示子像素802要么可以覆盖有垂直方向的线偏振器、要么可覆盖有水平方向的线偏振器，以使具有垂直或水平偏振态的光透过，以测量偏振强度I_H或者I_V。子像素804为被表示为“I_45/135”的线偏振光子像素，“I_45/135”表示子像素804要么可覆盖有+45度线偏振器、要么可覆盖有135度(-45度)的线偏振器，以测量偏振强度I₄₅或者I_-45。基于子像素802的输出和子像素804的输出，可以确定包括子像素802和804的超像素的斯托克斯参数S₀、S₁和S₂。

此外，子像素806可以是接收未基于偏振态进行过滤的光、并被表示为“I_H+I_V”的子像素，“I_H+I_V”表示，子像素806可以测量接收到的光的总功率。此外，子像素808可以是设计自由的子像素。在一些示例中，设计自由的子像素可以被实现为任何类型的非偏振光子像素，例如，用于检测特定波长范围(例如红、绿、蓝、单色或红外)的光的子像素。

如上面所讨论的，超像素包括接收来自共享光学元件(例如，微透镜)的光的多个子像素。这里，超像素包括子像素802、804、806和808。圆斑束810表示通过超像素的共享光学元件引导的光束的照明足迹。因此，子像素802、804、806和808可以同时对来自正被采集的图像中的同一“像素”位置的光进行采样。图8A中示出的传感器阵列可以被实现为超像素阵列。

如上所述，单位单元可以包括一个或多个超像素的集合。单位单元可以被复制多次以形成传感器阵列。换言之，单位单元可以被概念化为多个子像素的最小单位/模式，最小单位/模式如果被复制，则形成整个传感器阵列。在图8A所示的示例中，单位单元812包括一个超像素(对应于圆斑束810)。可以看出，单位单元812被复制16次以形成图8A所示的传感器阵列的一部分，其中整个传感器阵列可以包括额外的单位单元。

图8A所示的特定单位单元模式的设计具有某些明显的属性：

·融合到像素同地协作成像中的线SoP

·本质上是一种空间复用感测方法

·灰色像素是设计自由的像素：R/G/B/单色/IR

·在这种情况下，I_H/V是水平或垂直偏振器子像素，I_45/135是45度或135度偏振器子像素

·I_H+I_V给出了总功率(或至少未基于偏振态进行过滤)

·足够的信息以求解S₀、S₁和S₂

·配置使2种模态成为可能：RGB+IR斯托克斯、单色斯托克斯+RGB、IR斯托克斯+单色等。

这些属性在下面更详细地描述。不同的线偏振态(SoP)被组合在一起，并暴露于超像素的一个斑束810。针对正被采集的图像中的同一“像素”位置生成多个SoP。这可以被概念化为一种空间复用感测技术，通过该空间复用感测技术，多个子像素对来自场景中同一位置的光进行采样。三种指定类型的子像素(即，I_H/V、I_45/135和I_H+I_V)可以提供足够的信息来求解S₀、S₁和S₂，以生成部分斯托克斯矢量。此外，该单位单元的设计使得能够收集两种模态的信息：(1)波长/强度信息+(2)偏振信息。收集到的这两种模态的信息的不同组合是可能的。一种可能的组合是(1)RGB+(2)IR斯托克斯。这里，“RGB”是指收集颜色强度信息的子像素。“IR斯托克斯”是指收集红外(IR)强度信息和偏振信息的子像素。IR斯托克斯子像素的示例是先前描述的、在图7A中示出的偏振子像素722。收集到的两种模态的信息的另一种可能组合是(1)单色斯托克斯+(2)RGB。“单色斯托克斯”是指收集单色强度信息和偏振信息的子像素。收集到的两种模态的信息的又一种组合是(1)IR斯托克斯+(2)单色。“单色”是指仅收集单色非偏振光强度信息而不收集偏振信息的子像素。以上仅为说明性示例，且其他组合是可能的。

图8B示出了根据本公开示例的跨越单个超像素且包括四种类型的线偏振器的单位单元模式。图例示出了呈现在特定单位单元模式中的三类子像素：(1)测量线偏振光的子像素，(2)测量未被偏振器过滤的光(R/G/B/IR/单色)的子像素，以及(3)设计自由的子像素。在图8B中，仅呈现了线偏振光子像素。这些线偏振光子像素包括四种不同的线偏振光子像素：I_H子像素814、I_v子像素816、I₄₅子像素818和I₁₃₅子像素820。超像素包括子像素814、816、818和820。圆斑束822表示通过超像素的共享光学元件引导的光束的照明足迹。因此，子像素814、816、818和820可以同时对来自正被采集图像中的同一“像素”位置的光进行采样。这里，单位单元824包括一个超像素(对应于圆斑束822)。单位单元824被复制16次以形成图8B所示的传感器阵列的一部分，其中整个传感器阵列可以包括额外的单位单元。

图8B所示的特定单位单元模式的设计具有某些明显的属性：

·融合到像素同地协作成像中的线SoP

·本质上是一种空间复用感测方法

·没有设计自由度的子像素

·4种量度以估算2个线性斯托克斯参数，且可采用Max(I_H+I_V,I₄₅+I₁₃₅)以得到S₀

·足够的信息以求解S₀、S₁和S₂

·但对于单个模态，优点为非常精确的斯托克斯量度

这些属性中的一些属性与图8A所示的设计在先前所呈现的那些属性类似，这里不再重复这些细节。然而，一个显著的区别是，图8B所示的单位单元模式没有为任何自由度的子像素留下空间。此外，尽管该设计也提供了足够的信息来求解相同的斯托克斯参数S₀、S₁和S₂，但使用了四种量度(与图8A中的两种量度相比)以估算两个线性斯托克斯参数S₁和S₂。强度斯托克斯参数S₀可以被估算为最大函数：

S₀＝Max(I_H+I_V,I₄₅+I₁₃₅) (等式14)

由于对计算施加了额外的约束，因此斯托克斯参数S₀、S₁和S₂的估计值可以变得更加准确。尽管此处未示出，但是可以将可选的彩色滤光器添加到子像素814、816、818和820中的一个或多个子像素，以实现基于波长的测量(例如，R/G/B)以及偏振测量。下面相对于图8D更详细描述彩色滤光器的这种添加的示例。

图8C示出了根据本公开示例的跨越单个超像素且包括四种类型的椭圆偏振器的单位单元模式。图例示出了三种可能类别的子像素：(1)具有椭圆偏振器的子像素(E₁、E₂、E₃和E₄)，(2)测量未被偏振器过滤的光(R/G/B/IR/单色)的子像素，以及(3)设计自由的子像素。然而，在图8C中可以看出，仅呈现了椭圆偏振子像素：E₁子像素826、E₂子像素828、E₃子像素830和E₄子像素832。超像素包括子像素826、828、830和832。圆斑束834表示通过超像素的共享光学元件引导的光束的照明足迹。因此，子像素826、828、830和832可以同时对来自正被采集的图像中的同一“像素”位置的光进行采样。这里，单位单元836包括一个超像素(对应于圆斑束934)。单位单元836被复制16次以形成图8C所示的传感器阵列的一部分，其中整个传感器阵列可以包括额外的单位单元)。

如先前所提及的，“椭圆”偏振可以指被表示为：

的电磁波。“线”偏振可以看作是椭圆偏振的、

取值为0的特殊情况。“圆”偏振可以看作是椭圆偏振的、

取值为90度的特殊情况。因此，在图8C中(以及后续在图8D中)，所示出的每个椭圆偏振器一般是指偏振器。椭圆偏振器的示例可以对应于线偏振器

圆偏振器

既不是线的也不是圆的椭圆偏振器(即，

)、或这些不同类型的偏振器的组合。

图8C所示的特定单位单元模式的设计具有某些明显的属性：

·融合到像素同地协作成像中的椭圆SoP

·本质上是一种空间复用感测方法

·椭圆偏振器被设计为允许重建完整斯托克斯矢量

·对于使用DTI制作椭圆偏振器，至少有两种选择。选择1是使用DTI工艺在生成椭圆偏振响应的像素处集成超表面

·另一种选择是使用DTI工艺来创建线偏振器，并在滤光器处放置不同方向的延迟器——这些延迟器可以使用光控取向液晶聚合物来制造，如图7C所示

·这种配置允许单个模态

下面更详细地描述这些属性。不同的椭圆偏振态(SoP)被组合在一起，并暴露于超像素中的一个斑束834。针对正被采集的图像中的同一“像素”位置生成多个SoP。在四个椭圆偏振光子像素(E₁、E₂、E₃和E₄)提供偏振强度量度I_H、I_V、I₊₄₅、I_-45、I_RHC、I_LHC的情况下，这些子像素提供了足够的信息以求解所有四个斯托克斯参数S₀、S₁、S₂和S₃，以生成完整斯托克斯矢量。可以使用深槽隔离(DTI)技术来构造椭圆偏振器。在一些示例中，DTI用于集成超表面——即具有亚波长厚度的表面——以生成椭圆偏振响应。这可以在子像素的半导体材料中完成。在一些示例中，椭圆偏振器通过两个独立的部件构造：(1)线偏振器，该线偏振器使用例如DTI和/或BSM而形成在子像素的半导体材料中，以及(2)延迟器，例如，该延迟器使用光控取向液晶聚合物形成。该延迟器可以形成在子像素上方的波长滤光层处。图7C中示出了一个示例，且该示例对应于使用DTI形成的线偏振器756和使用液晶聚合物形成的延迟器758。

图8D示出了根据本公开示例的跨越四个超像素且包括四种类型的椭圆偏振器的单位单元模式。图例示出了三种可能类别的子像素：(1)用于测量线偏振光的子像素，(2)用于测量未被偏振器过滤的可见光的分量(R/G/B)的子像素，以及(3)设计自由的子像素。然而，在图8D中可以看出，仅呈现了具有R/G/B彩色滤光器的椭圆偏振光子像素。再一次，没有强度子像素或设计自由的子像素。

图8D所示的设计在一些值得注意的方面不同于图8C所示的设计。一方面，每个单位单元包括多个超像素。例如，单位单元838包括四个超像素，该四个超像素对应于各自的圆斑束840、842、844和846。每个超像素仍然具有与先前讨论类似的结构。这里，每个超像素包括四个椭圆子像素E₁、E₂、E₃和E₄。每个圆斑束表示通过共享光学元件引导的光束的照明足迹。因此，每个超像素中的四个椭圆子像素E₁、E₂、E₃和E₄可以同时对来自正被采集的图像中同一“像素”位置的光进行采样。然而，与图8C中不同，图8D中的椭圆子像素额外包括彩色滤光器，以分离选定颜色(例如红、绿和蓝(R/G/B))的光。

图8D所示的特定单位单元模式的设计具有某些明显的属性：

·融合到像素同地协作成像中的椭圆SoP

·本质上是一种空间复用感测方法

·椭圆偏振器被设计为允许重建完整斯托克斯矢量

·这种配置允许多种模态

·但R/G/B测量是独立的且跨越四个超像素

在图8A至图8C的示例中，超像素(或单位单元)可以具有多个子像素，各个子像素覆盖有不同的偏振器。也可以对超像素内的每个子像素、以及图像传感器的超像素阵列内的每个超像素进行操作，以在同一曝光周期内采集光，以执行全局快门操作。这些设置允许由每个超像素在同一曝光周期内进行的、对来自场景中同一点的不同偏振强度的并行测量，使得可以对同一斑和在单个曝光周期内执行多个偏振测量。如上所述，这些设置可以提高空间分辨率，因为偏振图像中的每个像素可以基于在相应超像素内进行的测量而不是跨越多个超像素进行的测量来生成。这些设置还可以改善全局快门操作，其可以减少运动模糊，尤其是在对高速移动的对象进行成像时的运动模糊。

示例应用：基于偏振的分类

图9示出了根据本公开示例的分类任务的示例，该分类任务可以通过使用偏振数据、以提高的准确度而被处理。图900呈现了7对具有相似光学外观的材料样品的R/G/B图像，这7对材料样品包括样品902、904、906、908、910、912和914。每对材料样品由以下组成：(1)一块米色木材(样品902a、904a、906a、908a、910a、912a和914a)，以及(2)一块米色织物(样品902b、904b、906b、908b、910b、912b和914b)。因此，总共有14个材料样品，这14个材料样品由7个米色木材样品和7个米色织物样品组成。图920呈现了相同14个材料样品的R/G/B图像，但不具有诸如背景、每个样品的边缘、每个样品投射的阴影等情境性信息。这14个材料样品被排列成具有两行和七列的阵列。顶行由7个米色木材样品902a、904a、906a、908a、910a、912a和914a组成。底行由7个米色织物样品902b、904b、906b、908b、910b、912b和914b组成。在图9中可以看出，可能难以基于R/G/B图像区分木材样品与织物样品，因为这些样品均具有相同的基色(米色)。

图10呈现了RGB分类器和偏振分类器对木材样品和织物样品的不同分类结果的性能结果。可以使用机器学习(machine learning，ML)技术和训练数据集来训练RGB分类器，该训练数据集包括已知RGB图像——即，要么从米色木材样品获取的、要么从米色织物样品获取的已知的RGB图像。RGB分类器一旦被训练，则被用在测试RGB图像的集合上，以尝试将每个测试RGB图像准确地识别为，要么是米色木材样品的RGB图像要么是米色织物样品的RGB图像。

表1002显示了包含这种RGB分类器的准确度和精确度性能的表。该表的各行对应于不同的散射角γ(即20°、30°、40°、…、130°)。该表的各列对应于不同的波长λ(即451nm、524nm和662nm)。该表中的每个条目包括对应散射角和波长的性能值。每个性能值包括两个数字：(1)RGB分类器达到正确结果的概率(例如，0.59)，和(2)精确度/偏差量(例如，±0.05)。从该表中可以看出，RGB分类器只能达到中等到差的性能。对于某些波长和散射角，RGB分类器在正确结果的概率方面上的性能仅略高于0.5，这意味着它的表现并不比随机抛硬币好多少。

另一种分类技术是使用偏振分类器对木材样品和织物样品进行分类。可以使用机器学习(ML)技术和训练数据集来训练偏振分类器，该训练数据集包括已知偏振图像——即，要么从米色木材样品获取的、要么从米色织物样品获取的已知的偏振图像。该偏振分类器一旦被训练，则被用在测试偏振图像的集合上，以尝试将每个测试偏振图像准确地识别为，要么是米色木材样品的偏振图像要么是米色织物样品的偏振图像。表1004显示了包含这种偏振分类器的准确度和精确度性能的表。该表的各行对应于不同的散射角γ(即20°、30°、40°、…、130°)。该表的各列对应于与偏振图像相关联的偏振量度的不同数量(即1、2、3或4)。再次参考图5A和图5B，偏振量度的数量可以表明使用完整的穆勒矩阵关系可以对斯托克斯参数S₀、S₁、S₂和S₃中的多少进行求解。量度的数量例如可以基于图像传感器测量了偏振强度I_H、I_V、I₊₄₅、I_-45、I_RHC、I_LHC中的多少。

表1004中的每个条目包括对应散射角和偏振量度数量的性能值。每个性能值包括两个数字：(1)偏振分类器达到正确结果的概率(例如，0.78)，和(2)精确度/偏差量(例如，±0.14)。从该表中可以看出，偏振分类器达到了明显比RGB分类器更优的性能。对于许多散射角和量度数量，偏振分类器的性能接近1.00、或100％准确度。

本公开中描述的偏振传感器阵列的各种示例(例如，包括由多个超像素组成的单位单元的那些偏振传感器阵列和包括由多个子像素组成的单位单元的那些偏振传感器阵列)可以生成由上述偏振分类器使用的偏振图像。这里，偏振照明源可以与偏振传感器阵列组合使用。由该照明源提供的光、样品对象的材料(例如木材或织物)、以及偏振传感器阵列之间发生的相互作用可以由以下等式来表征：

响应＝M_像素*M_Obj*S_Ill (等式15)

在等式15中，S_Ill为表征来自照明源的光的偏振态的斯托克斯矢量。M_Obj为表征样品(例如，木材或织物)的穆勒矩阵。M_像素为表征放置于传感器阵列中的子像素上方的偏振器的穆勒矩阵。响应(Response)值表示该子像素的输出。偏振图像可以包括像素值(例如，DOLP、AOLP等)，这些像素值中的每个可以使用本文描述的技术根据该响应值得到。

可以对每个像素进行多个偏振测量。再次参考表1004，该表的各列对应于偏振量度的不同数量。为了生成N个偏振量度，需要生成等式13的N个实例。这可以通过以下方式来完成：(1)改变所使用的不同偏振器的数量(即M_像素穆勒矩阵的数量)，(2)改变所施加的不同照明条件的数量(即，S_Ill斯托克斯矢量的数量)，或(1)和(2)这两者。例如，再次参考图8A至图8C，超像素(或单位单元)可以具有多个子像素，各个子像素覆盖有不同的偏振器。这允许每个超像素在同一曝光周期内进行的、对来自场景中同一点的不同的偏振强度的并行测量，使得可以对同一点和在单个曝光周期内执行多个偏振测量。

示例应用：成像对象空间

图11示出了对根据本公开各示例的包含用于获取偏振图像的传感器阵列的偏振摄像头的示例应用的使用。偏振图像可以用于多种应用，例如对象/材料分类、表面特征检测、形状、阴影、粗糙度表征等。如图所示，可以采用可选的照明源1102。照明源1102可以产生脉冲或连续波(continuous wave，CW)光束，该光束可以穿过偏振元件1104，该偏振元件将该光束转换成偏振光束。因此，照明源1102可以表示被配置为发射已知偏振态的光的照明器的示例。例如，偏振光束的偏振态可以是线偏振的、圆偏振的或其他椭圆偏振的。偏振光束可以与可以由透射透镜1106控制的色散角相关联。然后，将偏振光束朝向诸如对象空间1108等场景传输。对象空间1108中的对象反射的光可以由摄像头镜头1110和摄像头组件1114来收集，摄像头组件可以包括图7A至图7C中的多层半导体传感器设备700。摄像头镜头1110可以对接收到的来自对象空间1108的光进行聚焦。具有嵌入其中的偏振光学元件的焦点阵列(focal point array，FPA)1112可以定位在焦平面处。可以采用本公开中描述的偏振传感器阵列的各种示例(例如，包括由多个超像素组成的单位单元的那些偏振传感器阵列和包括由多个子像素组成的单位单元的那些偏振传感器阵列)，以实现FPA 1112，该FPA为每个像素输出偏振值(例如，DOLP、AOLP等)。因此，图11所示的布置可以生成对象空间1108的偏振图像。

尽管图11所示的示例仅示出了一个偏振摄像头和一个照明源，但在一些示例中，可以实现多个偏振摄像头和/或多个照明源。每个偏振摄像头可以包括超像素阵列和共享光学元件阵列。共享光学元件阵列中的每个共享光学元件可以定位在场景与来自超像素阵列的对应超像素之间。每个共享光学元件可以在对应超像素中的多个相邻子像素之间共享，且可以被配置为将接收到的源自场景中一不同位置的光引导至该对应超像素中的该多个相邻子像素。多个摄像头可以促进从不同角度对图像的采集，这可以用于三维成像和深度敏感性应用。如前文所讨论的，为了生成N个偏振量度，可能需要生成等式13的N个实例。这可以通过以下方式完成：(1)改变所使用的不同偏振器的数量(即M_Pixel穆勒矩阵的数量)，(2)改变所施加的不同照明条件的数量(即，S_Ill斯托克斯矢量的数量)，或(1)和(2)这两者。单个偏振摄像头可以包括多个超像素，每个超像素具有不同的偏振器，如上面所讨论的。也可以在多个偏振摄像头上实现不同的偏振器。此外，通过采用多个照明器，各个照明器被配置为提供不同偏振态的光束(例如，不同的偏振元件1104)，可以实现不同的照明条件。

示例硬件系统和操作方法

图12A呈现了一种头戴式设备(head mounted device，HMD)1200，在该头戴式设备中，可以配置一个或多个本公开中所描述的偏振传感器阵列，例如包括由多个超像素组成的单位单元的那些偏振传感器阵列和包括由多个子像素组成的单位单元的那些偏振传感器阵列。HMD只是一个说明性用例。本公开的偏振传感器阵列可用于多种其他情境中。HMD1200提供的主要目的可以是向用户呈现媒体。HMD 1200呈现的媒体的示例包括一个或多个图像、视频和/或音频。在一些示例中，音频通过外部设备(例如，扬声器和/或耳机)来呈现，该外部设备接收来自HMD 1200、控制台或这两者的音频信息，并基于该音频信息呈现音频数据。HMD 1200一般被配置为作为虚拟现实(VR)显示器运行。在一些示例中，HMD 1200被更改为作为增强现实(AR)显示器和/或混合现实(MR)显示器运行。

HMD 1200包括框架1205和显示器1210。框架1205耦接到一个或多个光学元件。显示器1210被配置为供用户观看由HMD 1200呈现的内容。在一些示例中，显示器1210包括波导显示组件，该波导显示组件用于将来自一个或多个图像的光引导至用户的眼睛。

HMD 1200还包括图像传感器1220a、1220b、1220c和1220d。图像传感器1220a、1220b、1220c和1220d中的每个图像传感器可以包括像素单元阵列，该像素单元阵列被配置为生成表示沿不同方向的不同视场的图像数据。这种图像单元阵列可以包含本公开中所描述的偏振传感器阵列。例如，传感器1220a和1220b可以被配置为提供表示沿Z轴朝向方向A的两个视场的图像数据，而传感器1220c可以被配置为提供表示沿X轴朝向方向B的视场的图像数据，并且传感器1220d可以被配置为提供表示沿沿X轴朝向方向C的视场的图像数据。

在一些示例中，HMD 1200还可以包括一个或多个有源照明器1330，以将光投射到物理环境中。所投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，且可以用于各种用途。例如，照明器1230可以在黑暗环境中(或在具有低强度的红外光、紫外光等的环境中)投射光，以辅助传感器1220a至1220d采集黑暗环境中不同对象的图像，以例如实现对用户的位置跟踪。替代地或附加地，所投射的光可以包括已知偏振态的偏振光，例如由图11所示的光源1102和偏振元件1104产生的偏振光。照明器1230可以将某些标记投射到环境内的对象上，以辅助位置跟踪系统识别对象以用于地图构建/更新。

在某些示例中，HMD 1200可以包括多个偏振摄像头和/或多个照明器，如前文参考图11所讨论的。

图12B呈现了显示HMD 1200中的主要部件中的一些的内部视图的框图。如图所示，HMD 1200可以包括诸如一个或多个显示器1210、传感器1220a-1220d、照明器1230、一个或多个处理器1240和存储器1250等部件。这些部件可以使用一个或多个网络或总线系统1260互连。一个或多个处理器1240可以执行编程指令并代表诸如一个或多个显示器1210、传感器1220a-1220d等其它组件支持多种计算任务。尽管在图12B中显示为单个框，但一个或多个处理器可以分布在不同位置和不同部件内。例如，一个或多个处理器1240可以代表偏振传感器阵列执行计算，以估算斯托克斯矢量。作为一个示例，这种计算可能涉及基于结合图5B讨论的等式13的N个实例来求解N个联立方程，以估算表征由传感器阵列的像素接收到的光的偏振态的、完整或部分斯托克斯矢量的N个斯托克斯参数(例如，N＝4)。作为另一个示例，一个或多个处理器1240可以基于估算的斯托克斯矢量来计算诸如DOLP和AOLP等值。

在一些示例中，一个或多个处理器1240还可以基于非偏振光成像和/或偏振光成像来执行图像处理操作，例如对象检测操作。例如，再次参考图4，一个或多个处理器1240可以生成RGB图像402、DOLP图像412和/或AOLP图像422。一个或多个处理器1240可以执行对象检测操作，以检测例如每个图像中的瞳孔404，并使用每个图像中的检测结果来跟踪瞳孔的位置。例如，一个或多个处理器1240可以确定对RGB图像402中的瞳孔404的检测的置信度，并且如果置信度低于阈值，则基于将DOLP值与另一个阈值进行比较来检测DOLP图像412中的瞳孔404。在一些示例中，一个或多个处理器1240还可以确定RGB图像402和DOLP图像412和/或AOLP图像422中的每一个图像中的瞳孔的位置，计算这些位置的平均值，并且输出平均值作为跟踪的结果。在一些示例中，一个或多个处理器1240还可以执行图9和图10所示出的分类操作，以基于接收到的非偏振光和从对象反射的偏振光对对象进行分类。

存储器1250可以构成为不同类型的存储器(例如，RAM、ROM、内部存储器等)，以提供数据的易失性或非易失性存储以支持HMD 1200的一个或多个处理器1240和其他部件的运行。

图13示出了成像系统1300的示例，该成像系统可以是图12A和图12B的HMD 1200的一部分。如图13所示，成像系统1300可以包括像素单元阵列1302，该像素单元阵列包括像素单元1302a。像素单元阵列1302可以是图12A和图12B的传感器1220a-1220d的一部分。像素单元1302a可以包括多个光电二极管1312(例如，包括光电二极管1312a、1312b、1312c和1312d)、一个或多个电荷感测单元1314以及一个或多个模数转换器(analog-to-digitalconverter，ADC)1316。像素阵列1302可以包含偏振传感器阵列(包括图8A至图8D所示的示例)，并且光电二极管1312a-1312d可以对应于超像素中的不同子像素。例如，光电二极管1312a可以对应于图8A的子像素806，并检测和测量可见光波长范围(例如，单色)的光的强度，而无需进行偏振态转换。此外，光电二极管1312b和1312c可以对应于子像素802和804以检测线偏振光，以测量例如偏振强度I_H、I_V、I₊₄₅、I_-45来支持部分斯托克斯参数(例如S₁和S₂)的计算。此外，光电二极管1312d可以对应于子像素808以检测和测量红外波长范围的光的强度，而无需进行偏振态转换。在一些示例中，光电二极管1312a-1312d可以检测和测量在偏振态转换情况下的光的强度，如图8C和图8D所示。在这种情况下，光电二极管1312a-1312d可以检测偏振光，以测量例如I_H、I_V、I₊₄₅、I_-45、I_RHC、I_LHC以支持完整斯托克斯参数S₀、S₁、S₂和S₃的计算。在一些示例中，像素单元1302a可以对应于超像素。

该一个或多个电荷感测单元1314中的每一个可以包括电荷存储设备和缓冲器，以将由光电二极管1312a至1312d产生的电荷转换为电压，这些电压可以由一个或多个ADC1316量化为数字值。图13B示出了像素单元1302a的光电二极管1312a-1312d、电荷感测单元1314和ADC 1316的电路的示例。如图13B所示，像素单元1302a包括与光电二极管1312a耦接的抗模糊开关M0a、与光电二极管1312b耦接的抗模糊开关M0b、与光电二极管1312c耦接的抗模糊开关M0c以及与光电二极管1312d耦接的抗模糊开关M0d。像素单元1302a还包括耦接在光电二极管1312a-1312d与电荷感测单元1314之间的切换开关M1a-M1d。抗模糊开关M0a-M0d分别由信号AB0-AB3所控制，而切换开关M1a-M1d分别由信号TG0-TG3所控制。电荷感测单元1314可以包括电荷存储设备1314a和缓冲器1314b，该电荷存储设备可以是浮动扩散、电容器、或两者的组合的形式。

抗模糊开关M0a-M0d可被关断，以允许光电二极管1312a至1313d在曝光周期内积累电荷，并且抗模糊开关M0a-M0d可被导通，以耗尽光电二极管产生的电荷从而使曝光周期停止。此外，切换开关M1a-M1d可被导通，以将光电二极管积累的电荷转移到电荷存储设备1314a。控制器(图13B中未示出)可以在第一时间使AB0-AB3信号无效，并在第二时间使AB0-AB3信号有效，使得光电二极管在同一曝光周期内检测光。控制器还可以依次使信号TG0-TG3有效，以将在每个光电二极管处积累的电荷依次转移到电荷存储设备1314a。从光电二极管转移到电荷存储设备1314a的电荷可以产生电压，该电压可以被ADC 1316量化为数字值以表示光电二极管所检测的光的强度。光可以包括由偏振器选择性传递的偏振光分量、由滤光器传递的与波长范围相关联的光分量等。

具体地，数字值例如可以表示非偏振可见光和/或红外光的强度、偏振强度等。在一些示例中，从光电二极管1312a-1312c产生的多个数字值可以表示像素的不同可见光分量、或者可以表示用于计算像素的斯托克斯参数和DOLP/AOLP的不同偏振强度，并且每个数字值可以用于2D检测。此外，从光电二极管1312d产生的数字值可以表示同一像素的红外光分量，且可以用于3D检测。尽管图13显示了像素单元1302a包括四个光电二极管，但应当理解的是，该像素单元可以包括不同数量的光电二极管(例如，两个、三个等)。

在一些示例中，成像系统1300还可以包括照明器1322、光学堆叠1324、成像模块1328和传感控制器1340。照明器1322可以是红外照明器，例如激光器或发光二极管(lightemitting diode，LED)，该红外照明器可以投射红外光以用于3D检测。例如，所投射的光可以包括结构光或光脉冲。照明器1322还可以包括光学元件(例如，偏振器、延迟器等)以投射偏振光，以支持各种偏振光传感应用，例如图9至图11中描述的那些。照明器1322可以是图12A和图12B中照明器1230的一部分。光学堆叠1324可以包括摄像头镜头、以及光学元件阵列，该光学元件阵列覆盖在每个像素单元(包括像素单元1302a)的多个光电二极管1312a-1312d上。每个光学元件可以包括滤光器元件，以设置由像素单元1302a的每个光电二极管接收的入射光的波长范围。例如，在光电二极管1312a上方的滤光器元件可以透射可见单色光(包括红色、绿色和蓝色分量)，同时阻挡红外光，而光电二极管1312d上方的滤光器元件可以透射红外光分量。

成像系统1300还包括成像模块1328，该成像模块可以是图12A和图12B中的一个或多个处理器1240的一部分。成像模块1528还可以包括执行2D成像操作的2D成像模块1332、以及3D成像模块1334。这些操作可以基于ADC 1516提供的数字值。例如，基于来自光电二极管1312a-1312c的每个光电二极管的数字值，2D成像模块1532可以生成表示每个可见颜色通道(和/或偏振测量)的入射光分量的强度的像素值阵列，并生成每个可见颜色通道的图像帧。替代地或附加地，2D成像模块1332可以基于偏振信息生成图像帧。这些图像的示例包括图4的DOLP图像和/或AOLP图像。

此外，3D成像模块1334可以基于来自光电二极管1312d的数字值生成3D图像。在一些示例中，基于这些数字值，3D成像模块1334可以检测对象表面反射的结构化光的模式，并将检测到的模式与照明器1322投射的结构光的模式进行比较，以确定该表面的不同点相对于像素单元阵列的深度。为检测反射光的模式，3D成像模块1334可以基于在像素单元处接收到的红外光的强度，生成像素值。作为另一个示例，3D成像模块1334可以基于由照明器1322发射并被对象反射的红外光的光飞时间，生成像素值。

此外，传感控制器1340可以控制成像系统1300的不同部件来执行2D和3D成像和/或偏振光成像。例如，传感控制器1340可以对光电二极管1312a-1313d中的各个光电二极管的曝光周期同时进行开始和结束，以启动全局快门操作。此外，传感控制器1340可以控制照明器1322输出红外光以支持3D检测，和/或输出偏振光以支持偏振光检测。

图14A示出了由像素单元阵列1302生成的图像帧的示例，这些图像帧可以由成像模块1328进行进一步处理。例如，在曝光周期1400内，可以生成多个图像帧，每个图像帧基于每个像素单元中的一光电二极管/子像素的输出而生成。例如，在曝光周期1400内，像素单元阵列1302可以生成单色图像1402a、I_H/I_V图像1402b，I₊₄₅/I_-45图像1402c和红外图像1402d。图像1402a-d中的对应像素1418a、1418b、1418c和1418d可以基于同一像素单元(或超像素)中的光电二极管1312a-d的输出而生成。成像模块1328可以对图像1402执行进一步的处理。例如，对于每个像素，2D成像模块1332可以根据I_H/I_V图像1402b中的相应像素和I₊₄₅/I_-45图像1402c中的相应像素，计算部分斯托克斯矢量参数S₁和S₂，并基于部分斯托克斯矢量参数S₁和S₂以及上述针对该像素的等式10和11，计算该像素的DOLP或AOLP。

图14B示出了由像素单元阵列1302生成的图像帧的另一示例，这些图像帧可以由成像模块1328进行进一步处理。例如，在曝光周期1420内，可以生成多个图像帧，每个图像帧基于每个像素单元的一光电二极管/子像素的输出而生成。例如，在曝光周期1420内，像素单元阵列1302可以生成I_RHC图像1422a、I_H/I_V图像1422b、I₊₄₅/I_-45图像1422c和I_LHC图像1422d。图像1422a-d中的对应像素1438a、1438b、1438c和1438d可以基于同一像素单元(或超像素)中的光电二极管1312a-d的输出而生成。成像模块1328可以对图像1402执行进一步的处理。例如，对于每个像素，2D成像模块1332可以根据I_RHC图像1422a中的相应像素、I_H/I_V图像1422b中的相应像素、以及I₊₄₅/I_-45图像1442c中的相应像素和I_LHC图像1422d中的相应像素计算完整斯托克斯矢量参数S₀、S₁、S₂和S₃，并针对该像素，基于上述等式7至等式9计算DoP、DoP_L和DoP_C。

图15示出了用于执行场景成像的过程1500的流程图的示例。例如，过程1500可以由成像系统1300来执行，该成像系统具有在多层半导体传感器设备700中实现的像素阵列/超像素阵列。如上所述，传感器设备700包括共享光学元件，该共享光学元件例如为包括微透镜顶层702和微透镜底层704的微透镜。传感器设备700还可以包括滤光器，例如波长滤光层706和红外(IR)滤光层708。传感器设备700还可以包括偏振器728。该偏振器可以包括一组栅，以提供线偏振器，该组栅例如使用背面金属化(BSM)或深槽隔离(DTI)714a-714e形成。偏振器还可以包括圆偏振器752，该圆偏振器包括如图7C所示与线偏振器752组合以形成圆偏振器的延迟器758。传感器设备700还包括多个子像素(例如子像素720和722)，每个子像素包括光电二极管以将光能转换为电荷。子像素720和722可以沿第一轴(例如，图7A的x轴、y轴等)横向布置，而共享光学元件、偏振器和滤光器、以及子像素沿垂直于第一轴的第二轴(例如，图7B的z轴)布置。滤光器可以布置在共享光学元件和子像素之间，而偏振器可以布置在这些子像素中的一些子像素(例如，子像素722)和滤光器之间。

在步骤1502，成像系统通过定位在多个子像素上方的共享光学元件接收源自场景中同一位置的光。

在步骤1504，一个或多个偏振器(例如，线偏振器728、圆偏振器752等)将光的具有一个或多个预定偏振态的一个或多个分量选择到多个子像素中的一个或多个第一子像素。参考图7A、图7B和图8A-图8D，在一些示例中，传感器设备700可以包括垂直线偏振器，以将光的垂直/水平线偏振分量(如果有)选择性地传递到子像素802，以使子像素802能够测量偏振强度I_V/I_H。传感器设备700还可以包括45度线偏振器，以将光的45度线偏振分量(如果有)选择性地传递到子像素804，以测量偏振强度I₄₅/I₁₃₅。在一些示例中，传感器设备700还可以包括圆偏振器，以将光的圆偏振分量(如果有)选择性地传递到子像素(例如，826、830、828和/或832)，以使子像素能够测量偏振强度I_RHC和I_LHC。在一些示例中，装置中的其他子像素可以接收未基于偏振态进行过滤的光。

在步骤1506，该一个或多个第一子像素的光电二极管基于该一个或多个分量的强度，生成信号。再次参考图13B，每个光电二极管可以与抗模糊开关耦接。每个光电二极管还可以通过切换开关与电荷感测单元耦接。每个光电二极管可以在曝光周期内将光转换为电荷，并通过切换开关将电荷转移到电荷感测单元，该电荷感测单元可以包括浮动扩散、电容器或这两者。电荷感测单元处的电荷可以表示光电二极管接收到的光的强度。对于该一个或多个第一子像素，由光电二极管转移的电荷可以表示光的由偏振器传递的一个或多个偏振分量的强度。电荷可以由电荷感测单元转换为电压，该电压可以由ADC量化为数字值。通过该一个或多个第一像素生成的数字值例如可以表示偏振强度I_H、I_V、I₊₄₅、I_-45、I_RHC、I_LHC。

在步骤1508，一个或多个处理器(例如，成像模块1328、一个或多个处理器1240等)可以基于从该一个或多个第一子像素的光电二极管获取的信号、并基于该一个或多个偏振器的偏振特性，生成表示接收到的光的偏振量度的输出值。具体地，该一个或多个处理器可以接收表示偏振强度I_H、I_V、I₊₄₅、I_-45、I_RHC、I_LHC等的数字值，并计算表征接收到的光的、包括S₀、S₁、S₂和S₃的完整或部分斯托克斯矢量。在一些示例中，该一个或多个处理器还可以生成偏振图像(例如，DOLP图像、AOLP图像等)，并基于该偏振图像执行对象检测操作。在一些示例中，该一个或多个处理器还可以基于多个子像素的输出生成非偏振图像(例如，RGB图像、IR图像等)，这些子像素检测具有与偏振图像对应的像素的非偏振光，其中，两个图像的对应像素是由成像系统1300中的同一超像素的不同子像素的输出生成的。

本公开的示例还可以涉及一种用于执行所描述的操作的装置。该装置可以为所需的目的而专门构造，和/或该装置可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在可以耦接到计算机系统总线的、非暂态有形计算机可读存储介质、或者适合于存储电子指令的任何类型的介质中。此外，本说明书中提到的任何计算系统可以包括单个处理器，或者可以是使用多个处理器设计以增加计算能力的架构。

本公开的示例还可以涉及一种由本文所描述的计算过程产生的产品。这种产品可以包括从计算过程中产生的信息，其中该信息存储在非暂态有形计算机可读存储介质上，并且可以包括计算机程序产品或本文所描述的其它数据组合的任何实施例。

说明书中所使用的语言主要是为了可读性和指导目的而选择的，并且该语言可能不是为了划定或限制本发明主题而选择的。因此，旨在本公开的范围不受该详细描述的限制，而应受基于本文的申请公布的任何权利要求的限制。因此，实施例的公开旨在对本公开的范围进行说明而不是限制，本公开的范围在所附权利要求中得到阐述。

Claims (20)

1.一种装置，包括：

多个子像素，所述多个子像素沿第一轴横向布置，每个子像素包括光电二极管，所述光电二极管被配置为将光能转换为信号；

共享光学元件，所述共享光学元件沿垂直于所述第一轴的第二轴定位在所述多个子像素的上方，所述共享光学元件被配置为将源自场景中同一位置的光引导至所述多个子像素中的每个子像素；

一个或多个偏振器，所述一个或多个偏振器中的每个偏振器沿所述第二轴定位在一个或多个第一子像素中的对应一个第一子像素的上方，且被配置为选择性地传递所述光的具有一个或多个预定偏振态的一个或多个分量，以使所述一个或多个第一子像素中的各个第一子像素的光电二极管能够基于所述一个或多个分量的强度，生成信号；以及

一个或多个处理器，所述一个或多个处理器被配置为生成表示一个或多个斯托克斯参数的输出值，所述一个或多个斯托克斯参数对应于表征接收到的所述光的全部或部分斯托克斯矢量，所述输出值是基于从所述一个或多个第一子像素的所述光电二极管获取的信号、以及所述一个或多个偏振器的偏振特性而生成的。

2.根据权利要求1所述的装置，其中，所述共享光学元件包括微透镜。

3.根据权利要求1所述的装置，其中，所述一个或多个偏振器和所述多个子像素被构建为多层半导体设备的多个层。

4.根据权利要求3所述的装置，其中，所述一个或多个偏振器包括一个或多个线栅，所述一个或多个线栅使用背面金属化(BSM)层或深槽隔离(DTI)中的至少一种形成。

5.根据权利要求3所述的装置，其中，所述一个或多个偏振器包括至少一个椭圆偏振器，所述椭圆偏振器包括以下中的至少一种：线偏振器、或沿所述第二轴布置的线偏振器和延迟器。

6.根据权利要求5所述的装置，其中，所述延迟器包括液晶聚合物层。

7.根据权利要求1所述的装置，其中，

所述一个或多个偏振器被构建为偏振器的像素化板；

所述多个子像素被构建为半导体器件；以及

所述偏振器的像素化板和所述半导体器件是分开制作、且被组装到一起的。

8.根据权利要求1所述的装置，其中，所述信号为第一信号；以及

其中，所述装置还包括：

一个或多个滤光器，所述一个或多个滤光器沿所述第二轴定位在所述共享光学元件与所述多个子像素中的一个或多个第二子像素之间，所述一个或多个滤光器被配置为，将所述光的一个或多个波长范围的一个或多个分量选择性地传递到所述一个或多个第二子像素，以使所述一个或多个第二子像素的光电二极管能够基于所述光的所述一个或多个分量的强度生成第二信号。

9.根据权利要求8所述的装置，其中，所述一个或多个滤光器包括红色滤光器、绿色滤光器、蓝色滤光器或红外滤光器中的至少一种。

10.根据权利要求9所述的装置，其中，所述一个或多个处理器还被配置为：

基于所述一个或多个第一子像素的所述第一信号，生成所述场景的第一图像的第一像素；

基于所述一个或多个第二子像素的所述第二信号，生成所述场景的第二图像的第二像素，所述第二像素对应于所述第一像素；以及

基于所述第一图像和所述第二图像，执行对象检测操作。

11.根据权利要求9所述的装置，其中，所述一个或多个偏振器中的至少一个偏振器、以及所述一个或多个滤光器中的至少一个滤光器沿所述第二轴定位在至少一个第二子像素的上方。

12.根据权利要求9所述的装置，其中，所述一个或多个滤光器没有沿所述第二轴定位在至少一个第一子像素的上方。

13.根据权利要求1所述的装置，

其中，所述多个子像素形成超像素；

其中，所述装置包括超像素阵列和共享光学元件阵列，所述超像素阵列包括所述超像素和多个其他超像素，所述共享光学元件阵列包括所述共享光学元件和多个其他共享光学元件；以及

其中，所述共享光学元件阵列中的每个共享光学元件定位在所述超像素阵列中的对应超像素的上方，被所述对应超像素中的多个子像素共享，且被配置为将接收到的源自所述场景中一不同位置的光引导至所述对应超像素中的所述多个子像素。

14.根据权利要求13所述的装置，其中，所述超像素阵列包括多个单位单元，每个单位单元包括一个或多个超像素，所述单位单元被复制多次以形成所述超像素阵列；以及

其中，每个单位单元包括以下中的一种：

仅一种类型的超像素，所述一种类型的超像素包括以下的特定组合：覆盖有偏振器的所述第一子像素、覆盖有滤光器的第二子像素、或未覆盖有偏振器或滤光器的一个或多个子像素，或者

不同类型的超像素，所述不同类型的超像素中的每种类型的超像素包括以下的一不同组合：覆盖有偏振器的所述第一子像素、覆盖有滤光器的第二子像素、或未覆盖有偏振器或滤光器的一个或多个子像素。

15.根据权利要求1所述的装置，还包括照明器，所述照明器被配置为朝向所述场景投射光束，其中，接收到的所述光包括源自所述照明器且被所述场景中的一个或多个对象反射的光。

16.根据权利要求15所述的装置，其中，所述照明器被配置为发射已知偏振态的光。

17.根据权利要求1的装置，还包括控制器，所述控制器被配置为控制所述多个子像素的所述光电二极管在同一曝光周期内检测所述光，以生成所述信号。

18.一种方法，包括：

通过定位在多个子像素上方的共享光学元件，接收源自场景中同一位置的光，所述多个子像素中的每个子像素沿第一轴横向布置，所述多个子像素中的每个子像素包括光电二极管，以将光能转换为信号，所述共享光学元件沿第二轴定位在所述多个子像素的上方；

使用沿所述第二轴定位在所述共享光学元件与所述多个子像素中的一个或多个第一子像素之间的一个或多个偏振器，将所述光的具有一个或多个预定偏振态的一个或多个分量选择性地传递至多个子像素中的所述一个或多个第一子像素；

使用所述一个或多个第一子像素的光电二极管，基于所述一个或多个分量的强度生成信号；以及

由一个或多个处理器基于从所述一个或多个第一子像素的所述光电二极管获取的所述信号、以及基于所述一个或多个偏振器的偏振特性，生成表示接收到的所述光的偏振量度的输出值。

19.根据权利要求18的方法，其中，所述输出值包括与表征接收到的所述光的全部或部分斯托克斯矢量相对应的多个斯托克斯参数。

20.根据权利要求18的方法，其中，所述信号为第一信号；以及

其中，所述方法还包括：

使用定位在所述共享光学元件与所述多个子像素中的一个或多个第二子像素之间的一个或多个滤光器，将所述光的一个或多个波长范围的一个或多个分量选择性地传递到多个子像素中的所述一个或多个第二子像素，以使所述一个或多个第二子像素的光电二极管能够基于所述光的所述一个或多个分量的强度生成第二信号；

由所述一个或多个处理器基于所述一个或多个第一子像素的所述第一信号，生成所述场景的第一图像的第一像素；

由所述一个或多个处理器基于所述一个或多个第二子像素的所述第二信号，生成所述场景的第二图像的第二像素，所述第二像素对应于所述第一像素；以及

由所述一个或多个处理器基于所述第一图像和所述第二图像，执行对象检测操作。

Images