CN114026846A - 动态可编程图像传感器 - Google Patents

Abstract

在一个示例中，装置包括形成在半导体封装内的像素单元阵列和控制器。像素单元阵列被配置为：基于从控制器接收的第一编程信号，在第一时间生成第一图像帧；将第一图像帧传输到主机处理器；以及将第一图像帧或第二图像帧传输到控制器，第二图像帧在第一时间被生成并具有与第一图像帧不同的像素稀疏度。控制器被配置为从主机处理器接收第二编程信号，第二编程信号由主机处理器基于第一图像帧来确定；基于第二编程信号来更新第一编程信号；以及基于经更新的第一编程信号来控制像素单元阵列生成后续图像帧。

Description

动态可编程图像传感器

相关申请的交叉引用

本专利申请要求于2019年8月5日提交的名为“ON-SENSOR PREDICTIVE SPARSECAPTURE”的序列号为第62/883,014号的美国临时专利申请的优先权，其被转让给本申请的受让人，并且出于所有目的通过引用整体并入本文中。

背景技术

本公开大体上涉及图像传感器，并且更具体地，涉及动态可编程图像传感器。

典型的图像传感器包括像素单元阵列。每个像素单元可以包括光电二极管，以通过将光子转换成电荷(例如，电子或空穴)来感测光。在每个像素单元处转换的电荷可以被量化变为数字像素值，并且可以从数字像素值的阵列生成图像。可以基于预定的编程信号来配置图像传感器的光感测和图像生成操作。

发明内容

本公开涉及图像传感器。更具体地而非限制地，本公开涉及一种图像传感器，该图像传感器可由集成控制器和主机设备基于图像传感器所捕获的图像数据动态编程。

在一个示例中，提供了一种装置。该装置包括：像素单元阵列，像素单元阵列中的每个像素单元包括光电二极管和处理电路，光电二极管形成在第一半导体衬底中，处理电路形成在一个或多个第二半导体衬底中；以及控制器，形成在一个或多个第二半导体衬底中的至少一个第二半导体衬底中，第一半导体衬底和一个或多个第二半导体衬底形成堆叠并容纳在半导体封装内。像素单元阵列被配置为：基于从控制器接收的第一编程信号，在第一时间生成第一图像帧；将第一图像帧传输到主机处理器；以及将第一图像帧或第二图像帧传输到控制器，第二图像帧在第一时间生成并具有与第一图像帧不同的像素稀疏度。控制器被配置为：从像素单元阵列接收第一图像帧或第二图像帧；从主机处理器接收第二编程信号，第二编程信号由主机处理器基于第一图像帧来确定；基于第二编程信号更新第一编程信号；以及基于经更新的第一编程信号控制像素单元阵列在第二时间生成后续图像帧。

在一些方面，该装置还包括主机处理器。控制器还被配置为以像素单元阵列生成图像帧的帧速率更新第一编程信号。主机处理器被配置为以低于帧速率的速率更新第二编程信号。

在一些方面，第一编程信号包括标识像素单元阵列的第一像素单元子集的第一编程信号的第一子集和标识像素单元阵列的第二像素单元子集的第一编程信号的第二子集。控制器还被配置为更新由第一编程信号的第一子集标识的第一像素单元子集，并且更新由第一编程信号的第二子集标识的第二像素单元子集。

在一些方面，第一编程信号的第一子集控制第一像素单元子集向主机处理器输出第一分辨率的像素数据。第一编程信号的第二子集控制第二像素单元子集不向主机处理器输出像素数据，或者向主机处理器输出低于第一分辨率的第二分辨率的像素数据。

在一些方面，控制器还被配置为：基于第二编程信号，对第一图像帧或第二图像帧执行图像处理操作，以生成处理结果；以及基于处理结果更新第一编程信号。

在一些方面，图像处理操作包括：针对包括在第一图像帧或第二图像帧中的每个像素，确定相对于在第一时间之前由像素单元阵列生成的第三图像帧中的对应像素的像素值差；以及标识第一图像帧或第二图像帧中像素值差超过阈值的像素子集。控制器还被配置为基于标识像素单元阵列的像素单元子集来更新第一编程信号，像素单元子集基于像素子集来标识。第二编程信号定义阈值。

在一些方面，该装置还包括主机处理器。主机处理器被配置为基于从第一图像帧确定环境光强度来设置阈值。

在一些方面，图像处理操作包括标识第一图像帧或第二图像帧中包括感兴趣对象的目标特征的像素子集。控制器还被配置为基于标识像素单元阵列的像素单元子集来更新第一编程信号，像素单元子集基于像素子集来标识。第二编程信号包括关于目标特征的信息。

在一些方面，第二编程信号指示第一图像帧中包括目标特征的初始像素子集。图像处理操作包括基于确定第一图像帧或第二图像帧中的初始像素子集是否包括感兴趣对象的目标特征来标识像素子集。

在一些方面，控制器还被配置为：基于关于感兴趣对象的移动的信息以及第一时间与第二时间之间的时间差，确定后续图像帧中包括目标特征的像素子集；以及基于根据后续图像帧中的像素子集确定像素单元阵列的像素单元子集来更新第一编程信号。第二编程信号包括关于感兴趣对象的移动的信息。

在一些方面，第二编程信号指示基于第一编程信号定义的第一图像帧中的初始像素子集不包括所有目标特征。图像处理操作包括基于第二编程信号标识包括目标特征的附加像素。

在一些方面，控制器包括神经网络模型以执行图像处理操作。第二编程信号包括一下至少一项：神经网络模型的权重、用以更新权重的反向传播梯度、图像处理操作的预测精度、或者图像处理操作的中间输出。

在一些方面，像素单元阵列的每个像素单元或像素单元阵列的每个像素单元块是可单独寻址的。第一编程信号包括单独以每个像素单元为目标的像素级信号或者以每个像素单元块为目标的块级信号。

在一些方面，该装置还包括：像素互连，由第一半导体衬底与一个或多个第二半导体衬底之间的芯片到芯片铜键合实现，以将由第一半导体衬底中的光电二极管生成的信号传输到一个或多个第二半导体衬底中的像素单元阵列的处理电路；以及在第一半导体衬底与一个或多个第二半导体衬底之间的硅通孔(through silicon vias，TSV)，以将图像帧从像素单元阵列传输到控制器，并且将第一编程信号从控制器传输到像素单元阵列。

在一些方面，像素单元阵列经由点对点串行接口与主机处理器耦接，并且被配置为经由点对点串行接口将图像帧传输到主机处理器。

在一些方面，控制器经由共享总线接口与主机处理器耦接，共享总线接口进一步与其他控制器耦接。控制器被配置为经由共享总线接口从主机处理器接收第二编程信号。

在一些示例中，提供了一种方法。该方法包括：基于第一编程信号控制像素单元阵列在第一时间生成第一图像帧，并且将第一图像帧传输到主机处理器；从像素单元阵列接收来自像素单元阵列的第一图像帧或第二图像帧，第二图像帧是在第一时间生成的并且具有与第一图像帧不同的像素稀疏度；从主机处理器接收第二编程信号，第二编程信号由主机处理器基于第一图像帧确定；基于第二编程信号更新第一编程信号；以及基于经更新的第一编程信号控制像素单元阵列在第二时间生成后续图像帧。

在一些方面，该方法还包括：基于第二编程信号，对第一图像帧或第二图像帧执行图像处理操作，以生成处理结果；以及基于处理结果更新第一编程信号。

在一些方面，图像处理操作包括标识第一图像帧或第二图像帧中包括感兴趣对象的目标特征的像素子集。基于标识像素单元子集来更新第一编程信号。第二编程信号包括关于目标特征的信息。

在一些方面，像素单元阵列经由点对点串行接口将第一图像帧传输到主机处理器。第二编程信号是经由共享总线接口接收的。

附图说明

参考以下附图来描述说明性实施例。

图1A和图1B是近眼显示器的实施例的示意图。

图2是近眼显示器的横截面的实施例。

图3示出了具有单个源组装件的波导显示器的实施例的等轴视图。

图4示出了波导显示器的实施例的横截面。

图5是包括近眼显示器的系统的实施例的框图。

图6A和图6B示出了图像传感器及其操作的示例。

图7A、图7B、图7C和图7D示出了根据本公开示例的成像系统所支持的应用示例。

图8A和图8B示出了成像系统及其操作的示例。

图9A、图9B、图9C和图9D示出了图8A和图8B的成像系统的组件的示例。

图10A、图10B和图10C示出了图8A-图9D的成像系统的示例物理布置。

图11示出了用于生成图像数据的示例处理的流程图。

附图仅出于说明的目的描绘了本公开的实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本公开的原理或益处的情况下，可以采用所示结构和方法的备选实施例。

在附图中，相似的组件和/或特征可以具有相同的附图标记。此外，相同类型的各种组件可以通过在附图标记后面加上破折号以及在相似组件之间进行区分的第二标记来区分。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同第一附图标记的任何一个类似部件，而与第二附图标记无关。

具体实施方式

在以下描述中，出于解释的目的，阐述了具体细节，以便提供对某些发明实施例的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践各种实施例。附图和描述不是限制性的。

一种图像传感器包括像素单元阵列。像素单元阵列中的每个像素单元包括执行光感测操作的电路组件。例如，每个像素单元可以包括通过将光子转换成电荷(例如，电子或空穴)来感测入射光的光电二极管，以及将电荷转换成电压的电荷感测单元(例如，浮置漏极和缓冲器)。图像传感器还可以包括一个或多个模数转换器(ADC)，以将像素单元的电荷感测单元输出的电压量化为数字值。ADC可以通过例如使用比较器将表示电荷的电压与一个或多个量化电平进行比较来量化电荷，并且可以基于比较结果生成数字值。然后可以将数字值存储在存储器中以生成图像。图像传感器通常包括控制器，用于发出一个或多个芯片级编程信号，以配置图像传感器的像素单元的操作。例如，控制器可以打开或关闭图像传感器的所有像素单元，设置像素单元执行光感测操作的全局曝光时间等。

来自图像传感器的像素数据可以支持各种应用，诸如2D和3D感测的融合、感兴趣对象的标识和跟踪、位置跟踪等。这些应用可以从图像中提取一个或多个对象的特征，并且基于提取的特征执行计算。例如，为了执行3D感测，应用可以标识反射的结构光的像素(例如，点)，将从像素提取的图案与透射的结构光进行比较，并且基于该比较执行深度计算。该应用还可以标识来自相同像素单元的2D像素数据，这些像素单元提供提取的结构光的图案，以执行2D和3D感测的融合。为了执行对象标识和跟踪，应用还可以标识对象的图像特征的像素，从像素中提取图像特征，并且基于提取结果执行标识和跟踪。对象标识和跟踪结果可以支持更高级别的应用，诸如即时定位与地图构建(simultaneous localization andmapping，SLAM)应用、眼睛跟踪应用等。这些应用通常在主机处理器上执行，主机处理器可以与图像传感器电连接，并且经由片外互连(例如，移动工业处理器接口摄像机串行接口(Mobile Industry Processor Interface Camera Serial Interface，MIPI CSI)和I3C总线)接收像素数据。主机处理器、图像传感器和互连可以是移动设备的系统的一部分，以支持特定应用，诸如对象跟踪应用、位置跟踪应用(例如，即时定位与地图构建(SLAM))和/或虚拟/混合/增强现实应用。在一些示例中，主机处理器也可以在云系统中，在这种情况下，主机处理器可以经由有线通信网络、无线通信网络等从图像传感器接收图像数据。

虽然这些主机应用可以受益于像素单元阵列生成的图像数据，但是整个成像系统的性能(例如，功耗、速度、精度等)会受到各种因素的限制。首先，通常这些应用无法控制图像数据的生成以及这些像素单元的光感测操作。缺少来自主机应用的关于像素单元配置的输入会对图像传感器和这些应用的可实现性能造成限制。例如，主机应用可以受益于高分辨率图像和/或高帧速率。更高分辨率的图像允许应用提取更详细的特征/图案(例如，反射的结构光的更精细的图案、更详细的图像特征)，而提供以更高帧速率生成的图像使得应用能够跟踪对象的位置、移动设备的位置等，在较高的采样率下，这两种处理都可以提高应用的性能。然而，高分辨率图像和高帧速率会导致大量像素数据的生成、传输和处理，这可能会带来许多挑战。例如，以高数据速率传输和处理大量像素数据会导致图像传感器、互连和主机处理器的高功耗。此外，图像传感器和主机处理器可能对大量像素数据的生成和处理施加带宽限制并增加延迟。高功率和高带宽要求对于由于形状因素和安全考虑而倾向于以相对低的功率和相对低的速度操作的移动设备来说尤其成问题。

另外，通常图像传感器和主机处理器根据不同的规格单独设计和优化。当图像传感器和主机处理器被组合以形成成像系统时，这种布置会导致在图像传感器和主机处理器处的低效率和资源浪费(例如，功率、带宽)，这又会降低整体系统性能。例如，图像传感器可以被配置为从每个像素单元生成像素数据，并且在每个图像帧中将像素数据传输到主机处理器，但是主机处理器可能不需要来自每个图像帧中的每个像素单元的像素数据来跟踪对象，尤其是在感兴趣对象只是图像帧中捕获的场景的一小部分的情况下。另一方面，互连的带宽以及主机处理器的处理能力会对图像帧的帧速率和分辨率造成限制。受限的帧速率会降低主机处理器跟踪对象的速率，而受限的分辨率会降低将对象的像素与图像帧的其余部分区分开来的准确性。受限的帧速率和受限的分辨率都会降低跟踪对象的整体系统性能。

本公开涉及一种成像系统，其能够解决至少一些上述问题。成像系统包括图像传感器和主机处理器，图像传感器包括像素单元阵列和控制器。像素单元阵列和控制器可以形成在同一半导体衬底上，或者形成在形成堆叠(stack)并容纳在半导体封装内的两个半导体衬底上。在图像传感器和控制器形成堆叠的情况下，像素单元阵列和控制器可以使用诸如硅通孔(through-silicon vias，TSV)的片上互连彼此通信耦接。主机处理器可以是基于诸如MIPI CSI和I3C总线的芯片到芯片互连通信耦接到图像传感器和控制器的片外设备。在一些示例中，主机处理器可以是云系统的一部分，并且可以经由有线通信网络、无线通信网络等与图像传感器和控制器通信耦接。

像素单元阵列的每个像素单元或像素单元块可以单独编程，以例如启用/禁用像素值的输出、设置像素单元输出的像素值的分辨率等。像素单元阵列可以从控制器接收第一编程信号，该第一编程信号可以是编程图的形式，并且基于来自场景的感测光和基于第一编程信号，在第一时间生成第一图像帧。具体来说，像素单元阵列可由第一编程信号控制以在多个稀疏度模式下操作，例如在第一图像帧包括像素的完整图像帧的全帧模式下，和/或在第一图像帧仅包括由编程图指定的像素的子集的稀疏模式下。像素单元阵列可以将第一图像帧输出到主机处理器和控制器两者。在一些示例中，像素单元阵列还可以在与第一图像帧相同的第一时间生成第二图像帧，并且将第一图像帧传输到主机处理器，将第二图像帧传输到控制器。第一图像帧可以具有稀疏像素，而第二图像帧可以具有完整的像素帧。

控制器和主机处理器以及图像传感器可以基于第一图像帧形成两层反馈系统，以控制图像传感器生成后续图像帧。在两层反馈操作中，控制器可以对第一图像帧或第二图像帧执行图像处理操作以获得处理结果是，然后基于处理结果调整第一编程信号。可以基于从主机处理器接收的第二编程信号来引导/配置控制器处的图像处理操作，该主机处理器可以基于第一图像帧生成第二编程信号。像素单元阵列然后基于经更新的第一编程信号在第二时间生成后续图像帧。

在一些示例中，图像处理操作可以包括提取/检测具有特定目标空间和/或时间特征的像素。作为示例，图像处理操作的目的可以包括标识包括预定对象(例如，人脸、身体部位或场景中的某些物理对象)的空间特征、关键点等的像素。作为另一示例，图像处理操作的目的可以包括标识经历帧之间像素值的预定程度变化(例如，具有预定的时间对比度)的像素，以能够检测/测量对象的运动。可以基于确定第一帧中的哪些像素包含目标特征来生成编程图，以控制图像传感器，使得只有对应于那些像素的像素单元将像素数据输出到主机处理器和/或控制器。同时，作为第二编程信号的一部分，主机处理器可以定义要检测的目标图像特征、目标图像特征在第一图像帧中的近似位置等。控制器可以直接基于第二编程信号执行图像特征提取操作，或者进一步细化第二编程信号(例如，估计目标图像特征的更精确的位置)并基于细化的第二编程信号执行图像特征提取操作。

控制器可以采用各种技术从图像中提取/检测目标特征。例如，控制器可以实现神经网络，例如卷积神经网络(CNN)，以对具有权重的像素数据执行算术运算来执行提取。控制器可以包括存储器设备(例如，自旋隧道随机存取存储器(STRAM)、非易失性随机存取存储器(NVRAM))来存储权重。

在前述两层反馈系统中，主机处理器可以运行应用来执行对第一图像帧的分析，以生成第二编程信号。在一些示例中，第二编程信号可以是教导/指导信号、神经网络训练操作的结果(例如，反向传播结果)、图像处理操作的预测精度或图像处理操作的中间输出等形式，以影响控制器处的图像处理操作和/或编程图生成。例如，主机处理器和控制器可以参与训练操作，其中主机处理器基于更一般的图像在较低层上执行训练，而控制器基于由像素单元阵列捕获的图像在较高层上继续训练。作为另一示例，主机处理器可以提供由神经网络执行的图像处理操作的预测精度作为反馈，这允许神经网络更新权重以提高图像处理操作的预测精度。

主机处理器不仅可以基于第一图像帧，还可以基于其他传感器数据(例如，由其他图像传感器捕获的其他图像帧、音频信息、运动传感器输出、来自用户的输入)来执行分析，以确定光感测操作的上下文，然后确定教导/指导信号。该上下文可以包括例如图像传感器在其中工作的环境条件、图像传感器的位置或者消耗来自图像传感器的像素数据的应用的任何其他要求。考虑到上下文通常以比帧速率低得多的速率变化，教导/指导信号可以基于上下文以相对低的速率(例如，低于帧速率)更新，而图像处理操作和编程图的更新可以以相对高的速率(例如，以帧速率)发生，以适应由像素单元阵列捕获的图像。

利用所公开的技术，可以实现闭环反馈系统来动态配置图像传感器处的操作，这可以进一步提高系统的整体性能。具体地，控制器可以对像素单元阵列进行编程以执行稀疏捕获操作，其中基于对第一图像帧执行图像特征操作，仅输出像素子集，这允许图像传感器仅向主机处理器输出感兴趣的像素数据。感兴趣的像素数据包括支持主机处理器上的应用所需的像素数据。例如，在主机处理器跟踪对象的情况下，感兴趣的像素数据包括被跟踪的对象的像素数据，而不是对象的一部分的像素数据不被传输到主机处理器。由于感兴趣的像素数据的稀疏度，与全帧像素被传输到主机处理器的情况相比，这种像素数据可以以更高的速度传输或以更高的精度生成。通过以更高的速度和/或更高的精度仅向主机处理器提供感兴趣的像素数据，可以提高系统的性能和效率。此外，由于像素单元阵列和控制器紧密集成在单个半导体封装内，反馈系统可以高速运行。例如，控制器可以以与像素单元阵列生成图像帧相同的帧速率更新编程图。结果是，第一编程信号的更新可以更加响应于由像素单元阵列捕获的图像数据和图像传感器的操作条件的变化，这可以进一步提高系统的性能。

另外，通过使主机处理器发送第二编程信号以配置控制器处的图像处理操作，可以基于对图像传感器的操作条件的更好了解，提供额外的闭环反馈系统来进一步改善控制器处的图像处理操作(以及第一编程信号的生成)。具体而言，主机处理器可以运行使用来自图像传感器的图像数据来执行各种操作的应用，诸如对象跟踪操作、位置确定操作、虚拟/混合/增强现实操作等。主机处理器可以组合来自不同传感器的数据，或者跟踪图像传感器的上下文/环境，以确定最新的上下文/环境。然后，主机处理器可以基于最新的上下文/环境生成指导信息作为第二编程信号的一部分，并且将指导信息提供给控制器以影响其图像特征提取操作。例如，主机处理器可以确定要跟踪的目标对象、目标对象的初始/近似位置、要跟踪的目标特征(空间特征、时间特征等)，并且提供这些信息以使控制器处的图像处理操作适应上下文中的变化。这种布置可以提高控制器从图像数据中提取/检测目标特征的可能性。例如，由于场景和/或图像传感器位置的变化，主机处理器可以请求控制器跟踪不同的对象，设置不同的时间对比度阈值以选择在帧之间变化的像素等。这允许图像处理操作适应图像传感器的操作条件中的变化，这又可以提高控制器能够标识具有用于给定应用的目标特征的像素的可能性。

让主机处理器向控制器提供指导信息也有各种优点。具体地，让主机处理器提供指导信息可以减轻控制器跟踪图像感测操作的上下文的负担，因为控制器可能没有计算资源来运行前述应用来跟踪/确定上下文，而控制器可以从主机处理器接收上下文信息。此外，考虑到上下文中的变化通常以比图像生成慢得多的节奏发生，主机处理器可以以较低的速率生成和传输引导信息，并且使用低带宽的芯片到芯片互连，例如I3C，以进一步降低系统的功耗。这些都可以进一步提高系统的效率和整体性能，尤其是在捕获快速变化场景的图像以支持对象跟踪应用、SLAM应用等方面。

可以包括或结合人工现实系统来实现所公开的技术。人工现实是在呈现给用户之前已经以某种方式调整过的现实形式，例如，虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合现实或其某种组合和/或衍生物。人工现实内容可以包括完全的生成内容或与捕获的(例如，现实世界)内容相结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个可以在单个频道或多个频道中呈现(例如，向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合被用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)。可以在各种平台上实现提供人工现实内容的人工现实系统，包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或能够向一个或多个观众提供人工现实内容的任何其他硬件平台。

图1A是近眼显示器100的实施例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或耳机)呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并且基于该音频信息来呈现音频数据。近眼显示器100通常被配置为作为虚拟现实(VR)显示器来操作。在一些实施例中，近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器来操作。

近眼显示器100包括框架105和显示器110。框架105耦接到一个或多个光学元件。显示器110被配置为让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示器组装件，用于将来自一个或多个图像的光引导到用户的眼睛。

近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每个图像传感器可以包括像素阵列，该像素阵列被配置为生成表示沿不同方向的不同视野的图像数据。例如，传感器120a和120b可以被配置为提供表示沿Z轴方向A的两个视场的图像数据，而传感器120c可以被配置为提供表示沿X轴方向B的视场的图像数据，并且传感器120d可以被配置为提供表示沿X轴方向C的视场的图像数据。

在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式VR/AR/MR体验。例如，传感器120a-120d可以生成用户所处的物理环境的物理图像数据。物理图像数据可以被提供给位置跟踪系统，以跟踪用户在物理环境中的位置和/或移动路径。然后，系统可以基于例如用户的位置和朝向来更新提供给显示器110的图像数据，以提供交互体验。在一些实施例中，当用户在物理环境中移动时，位置跟踪系统可以操作SLAM算法来跟踪物理环境中和用户视野内的一组对象。位置跟踪系统可以基于该组对象构建和更新物理环境的地图，并且跟踪用户在地图内的位置。通过提供对应于多个视野的图像数据，传感器120a-120d可以向位置跟踪系统提供物理环境的更全面的视图，这可能导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高在物理环境中跟踪用户位置的准确性和鲁棒性。

在一些实施例中，近眼显示器100还可以包括一个或多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者，在具有低强度红外光、紫外光等的环境中)投射光来帮助传感器120a-120d捕获黑暗环境中不同对象的图像，以例如实现用户的位置跟踪。照明器130可以将某些标记投射到环境内的对象上，以帮助位置跟踪系统标识用于地图构建/经更新的对象。

在一些实施例中，照明器130还可以实现立体成像。例如，传感器120a或120b中的一个或多个传感器可以包括用于可见光感测的第一像素阵列和用于红外光(IR)感测的第二像素阵列。第一像素阵列可以覆盖有滤色器(例如，拜耳滤色器)，第一像素阵列的每个像素被配置为测量与特定颜色(例如，红色、绿色或蓝色之一)相关联的光强度。第二像素阵列(用于IR光感测)也可以覆盖有仅允许IR光通过的滤光器，第二像素阵列的每个像素被配置为测量IR光的强度。像素阵列可以生成对象的RGB图像和IR图像，IR图像的每个像素被映射到RGB图像的每个像素。照明器130可以在对象上投射一组IR标记，其图像可以由IR像素阵列捕获。基于图像中所示的对象的IR标记的分布，系统可以估计对象的不同部分距IR像素阵列的距离，并且基于该距离生成对象的立体图像。基于对象的立体图像，系统可以确定例如对象相对于用户的相对位置，并且可以基于相对位置信息更新提供给显示器100的图像数据，以提供交互体验。

如上所述，近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如，近眼显示器100可以在室内环境或室外环境中操作，和/或在一天的不同时间操作。近眼显示器100也可以在有源照明器130开启或不开启的情况下操作。结果是，图像传感器120a-120d可能需要具有宽的动态范围，以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围内正确操作(例如，生成与入射光强度相关的输出)。

图1B是近眼显示器100的另一实施例的示意图。图1B示出了近眼显示器100的面向佩戴近眼显示器100的用户的一个或两个眼球135的一侧。如图1B所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向D(与图1A的方向A相反)发射特定频率范围(例如，NIR)的光。发射的光可以与特定图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，以接收反射光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的NIR光。NIR光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b还可以包括像素阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的注视点，并且基于所确定的注视点更新提供给显示器100的图像数据，以向用户提供交互体验。

如上所述，为了避免损伤用户的眼球，照明器140a、140b、140c、140d、140e和140f通常被配置为输出非常低强度的光。在图像传感器150a和150b包括与图1A的图像传感器120a-120d相同的传感器设备的情况下，当入射光的强度非常低时，图像传感器120a-120d可能需要能够生成与入射光的强度相关的输出，这可能进一步增加图像传感器的动态范围要求。

此外，图像传感器120a-120d可能需要能够高速地生成输出以跟踪眼球的运动。例如，用户的眼球可以执行非常快速的运动(例如，迅速扫视运动)，其中可以从一个眼球位置快速跳到另一个眼球位置。为了跟踪用户眼球的快速运动，图像传感器120a–120d需要高速地生成眼球图像。例如，图像传感器生成图像帧的速率(帧速率)需要至少匹配眼球的运动速度。高帧速率要求生成图像帧所涉及的所有像素单元的总曝光时间短，并且要求将传感器输出转换成用于图像生成的数字值的速度高。此外，如上所述，图像传感器还需要能够在低光强度的环境下工作。

图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示器组装件210。出瞳(exit pupil)230是当用户佩戴近眼显示器100时，用户的单个眼球220位于眼动范围(eyebox)区域的位置。出于说明的目的，图2示出了与眼球220和单波导显示器组装件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。

波导显示器组装件210被配置为将图像光导向位于出瞳230处的眼动范围和眼球220。波导显示器组装件210可以由具有一个或多个折射率的一种或多种材料(例如，塑料、玻璃)组成。在一些实施例中，近眼显示器100包括波导显示器组装件210与眼球220之间的一个或多个光学元件。

在一些实施例中，波导显示器组装件210包括一个或多个波导显示器的堆叠，包括但不限于堆叠波导显示器、变焦距波导显示器等。堆叠波导显示器是通过将波导显示器进行堆叠创建的多色显示器(例如，红-绿-蓝(RGB)显示器)，波导显示器的相应单色源具有不同的颜色。堆叠波导显示器也是多色显示器，可以投射在多个平面上(例如，多平面彩色显示器)。在一些配置中，堆叠波导显示器是可以投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦距波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在备选实施例中，波导显示器组装件210可以包括堆叠波导显示器和变焦距波导显示器。

图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的组件(例如，波导显示器组装件210)。在一些实施例中，波导显示器300是将图像光导向特定位置的一些其他近眼显示器或其他系统的一部分。

波导显示器300包括源组装件310、输出波导320和控制器330。出于说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另一波导显示器向用户的另一只眼睛提供图像光。

源组装件310生成图像光355并将其输出到位于输出波导320的第一侧370-1上的耦接元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧370-1上的一个或多个耦接元件350处接收图像光355，并且将接收的输入图像光355引导至导向元件360。在一些实施例中，耦接元件350将来自源组装件310的图像光355耦接到输出波导320中。耦接元件350可以是例如衍射光栅、全息光栅、一个或多个级联反射器、一个或多个棱镜表面元件和/或全息反射器阵列。

导向元件360将接收的输入图像光355重新导向到去耦接元件365，使得接收的输入图像光355经由去耦接元件365从输出波导320去耦接。导向元件360是输出波导320的第一侧370-1的一部分或固定到第一侧370-1。去耦接元件365是输出波导320的第二侧370-2的一部分，或者固定到第二侧370-2，使得导向元件360与去耦接元件365相对。导向元件360和/或去耦接元件365可以是例如衍射光栅、全息光栅、一个或多个级联反射器、一个或多个棱镜表面元件和/或全息反射器阵列。

第二侧370-2表示沿x维度和y维度的平面。输出波导320可以由一种或多种有助于图像光355的全内反射的材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因素。例如，输出波导320沿x维度大约50mm宽，沿y维度大约30mm长，沿z维度大约0.5-1mm厚。

控制器330控制源组装件310的扫描操作。控制器330确定源组装件310的扫描指令。在一些实施例中，输出波导320以大视场(FOV)向用户的眼球220输出扩展的图像光340。例如，扩展的图像光340以60度和/或更大和/或150度和/或更小的对角线FOV(在x和y维度)提供给用户的眼球220。输出波导320被配置为提供长度为20mm或更大和/或等于或小于50mm的眼动范围；和/或10mm或更大和/或等于或小于50mm的宽度。

此外，控制器330还基于图像传感器370提供的图像数据控制由源组装件310生成的图像光355。图像传感器370可以位于第一侧370-1上，并且可以包括例如图1A的图像传感器120a-120d。图像传感器120a-120d可以被操作来执行例如用户前方(例如，面对第一侧370-1)的对象372的2D感测和3D感测。对于2D感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由光源376生成并被对象372反射的光374的强度的像素数据。对于3D感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由照明器325生成的光378的飞行时间测量的像素数据。例如，图像传感器120a-120d的每个像素单元可以确定照明器325能够投射光378的第一时间和像素单元检测到从对象372反射的光378的第二时间。第一时间与第二时间之间的差异可以指示图像传感器120a-120d与对象372之间的光378的飞行时间，并且飞行时间信息可以用于确定图像传感器120a-120d与对象372之间的距离。图像传感器120a-120d可以被操作来在不同的时间执行2D和3D感测，并且向远程控制台390提供2D和3D图像数据，该远程控制台390可以(或者，可以不)位于波导显示器300内。远程控制台可以组合2D和3D图像，以例如生成用户所处环境的3D模型，跟踪用户的位置和/或方向等。远程控制台可以基于从2D和3D图像导出的信息来确定要向用户显示的图像的内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于该指令，控制器330可以控制源组装件310生成和输出图像光355，以向用户提供交互体验。

图4示出了波导显示器300的横截面400的实施例。横截面400包括源组装件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧370-1上的像素单元集402，以生成用户面前的物理环境的图像。在一些实施例中，在像素单元集402和物理环境之间可以插入机械快门404和滤光器阵列406。机械快门404可以控制像素单元集402的曝光。在一些实施例中，机械快门404可以由电子快门门代替，如下所述。滤光器阵列406可以控制像素单元集402所暴露的光的光学波长范围，如下所述。像素单元402中的每个像素单元可以对应于图像的一个像素。尽管图4中未示出，但是应当理解的是，像素单元402中的每个像素单元也可以覆盖有滤光器，以控制要由像素单元感测的光的光学波长范围。

在接收到来自远程控制台的指令后，机械快门404可以在曝光时段中打开并曝光像素单元集402。在曝光时段，图像传感器370可以获得入射到像素单元集402上的光的样点，并且基于由像素单元集402检测到的入射光样点的强度分布来生成图像数据。图像传感器370然后可以将图像数据提供给远程控制台，远程控制台确定显示内容，并且将显示内容信息提供给控制器330。控制器330然后可以基于显示内容信息确定图像光355。

源组装件310根据来自控制器330的指令生成图像光355。源组装件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是例如激光二极管、垂直腔面发射激光器和/或光发射二极管。

光学系统415包括一个或多个调节来自源410的光的光学部件。根据来自控制器330的指令，调节来自源410的光可以包括例如扩展、准直和/或调整方向。一个或多个光学部件可以包括一个或多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许以扫描角度的阈值扫描光束，以将光束移动到液体透镜外部的区域。从光学系统415(以及源组装件310)发射的光被称为图像光355。

输出波导320接收图像光355。耦接元件350将来自源组装件310的图像光355耦接到输出波导320中。在耦接元件350是衍射光栅的实施例中，选择衍射光栅的间距，使得在输出波导320中发生全内反射，并且图像光355在输出波导320中内部地传播(例如，通过全内反射)，朝向去耦接元件365。

导向元件360将图像光355重新导向到去耦接元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，选择衍射光栅的间距以使入射的图像光355以相对于去耦接元件365的表面的(多个)倾斜角离开输出波导320。

在一些实施例中，导向元件360和/或去耦接元件365在结构上相似。离开输出波导320的扩展的图像光340沿一个或多个维度扩展(例如，可以沿x维度拉长)。在一些实施例中，波导显示器300包括多个源组装件310和多个输出波导320。每个光源组装件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以间隔一定距离堆叠在一起，以输出多色的扩展的图像光340。

图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，每个图像传感器都耦接到控制电路510。系统500可以被配置为头戴式设备、移动设备、可穿戴设备等。

近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体的示例包括一个或多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并且基于该音频信息向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当AR眼镜玻璃。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音)来增强物理现实环境的视图。

近眼显示器100包括波导显示器组装件210、一个或多个位置传感器525和/或惯性测量单元(IMU)530。波导显示器组装件210包括源组装件310、输出波导320和控制器330。

IMU 530是一种电子设备，其基于从一个或多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示近眼显示器100相对于近眼显示器100的初始位置的估计位置。

成像设备535可以为各种应用生成图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数生成图像数据以提供慢速校准数据。成像设备535可以包括例如图1A的图像传感器120a-120d，用于生成用户所处的物理环境的图像数据，以执行用户的位置跟踪。成像设备535还可以包括例如图1B的图像传感器150a-150b，用于生成图像数据以确定用户的注视点，从而标识用户感兴趣的对象。

输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是启动或结束应用或者在应用内执行特定动作。

控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或多个接收的信息，向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他组件通信耦接的独立控制台设备。在图5所示的示例中，控制电路510包括应用存储库545、跟踪模块550和引擎555。

应用存储库545存储由控制电路510执行的一个或多个应用。应用是一组指令，当由处理器执行时，生成内容以呈现给用户。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块550使用一个或多个校准参数校准系统500，并且可以调整一个或多个校准参数以减少确定近眼显示器100的位置的误差。

跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。

引擎555执行系统500内的应用，并且从跟踪模块550接收位置信息、加速度信息、速度信息和/或预测的近眼显示器100的未来位置。在一些实施例中，由引擎555接收的信息可以用于向波导显示器组装件210产生信号(例如，显示指令)，该信号确定呈现给用户的内容的类型。例如，为了提供交互体验，引擎555可以基于用户的位置(例如，由跟踪模块550提供)、或者用户的注视点(例如，基于成像设备535提供的图像数据)、对象与用户之间的距离(例如，基于成像设备535提供的图像数据)来确定要呈现给用户的内容。

图6A和图6B示出了图像传感器600及其操作的示例。如图6A所示，图像传感器600可以包括像素单元阵列，包括像素单元601，并且可以生成对应于图像像素的数字强度数据。像素单元601可以是图4的像素单元402的一部分。如图6A所示，像素单元601可以包括光电二极管602、电子快门开关603、转移开关604、电荷存储设备605、缓冲器606和量化器607。光电二极管602可以包括例如P-N二极管、P-I-N二极管、钉扎二极管等。而电荷存储设备605可以是转移开关604的浮置漏极节点。光电二极管602可以在曝光时段内接收光时生成并积累剩余电荷。在曝光时段内剩余电荷饱和时，光电二极管602可以经由转移开关604向电荷存储设备605输出溢出电荷。电荷存储设备605可以将溢出电荷转换成电压，该电压可以由缓冲器606缓冲。量化器607可以对缓冲的电压进行量化，以生成测量数据608，例如表示曝光时段内光电二极管602接收的光强度。

量化器607可以包括比较器，以将缓冲的电压与不同阈值进行比较，用于与不同强度范围相关联的不同量化操作。例如，对于其中光电二极管602生成的溢出电荷量超过电荷存储设备605的饱和极限的高强度范围，量化器607可以通过检测缓冲的电压是否超过表示饱和极限的静态阈值来执行饱和时间(time-to-saturation，TTS)测量操作，并且如果超过，则测量缓冲的电压超过静态阈值所花费的时间。测量的时间可以与光强成反比。此外，对于其中光电二极管被剩余电荷饱和但溢出电荷保持低于电荷存储设备605的饱和极限的中等强度范围，量化器607可以执行FD ADC操作来测量存储在电荷存储设备605中的溢出电荷的量。此外，对于其中光电二极管未被剩余电荷饱和并且没有溢出电荷累积在电荷存储设备605中的低强度范围，量化器607可以执行PD ADC操作来测量累积在光电二极管602中的剩余电荷的量。TTS、FD ADC或PD ADC操作之一的输出可以作为测量数据608输出，以表示光的强度。

图6B示出了像素单元601的示例操作序列。如图6B所示，曝光时段可以基于控制电子快门开关603的AB信号的定时以及基于控制转移开关604的TG信号的定时来定义，其中电子快门开关603可以在被使能时引导光电二极管602生成的电荷远离，以及转移开关604可以被控制以将溢出电荷、随后将剩余电荷转移到电荷存储设备605用于读出。例如，参考图6B，AB信号可以在时间T0被解除断言，以允许光电二极管602生成电荷。T0可以标记曝光时段的开始。在曝光时段内，TG信号可以将转移开关604设置在部分导通状态，以允许光电二极管602累积至少一些电荷作为剩余电荷，直到光电二极管602饱和，之后溢出电荷可以被转移到电荷存储设备605。在时间T0与T1之间，量化器607可以执行TTS操作以确定电荷存储设备605处的溢出电荷是否超过饱和极限，然后在时间T1和T2之间，量化器607可以执行FDADC操作以测量电荷存储设备605处的溢出电荷的量。在时间T2和T3之间，可以断言TG信号以将转移开关604偏置在完全导通状态，从而将剩余电荷转移到电荷存储设备605。在时间T3，TG信号可以被解除断言以将电荷存储设备605与光电二极管602隔离，而AB信号可以被断言以引导光电二极管602生成的电荷远离。时间T3可以标记曝光时段的结束。在时间T3和T4之间，量化器607可以执行PD操作来测量剩余电荷的量。

AB和TG信号可以由控制器(图6A中未示出)生成，该控制器可以是像素单元601的一部分，以控制曝光时段的持续时间和量化操作的顺序。控制器还可以检测电荷存储设备605是否饱和，以及光电二极管602是否饱和，以选择来自TTS、FD ADC或PD ADC操作之一的输出作为测量数据608。例如，如果电荷存储设备605饱和，控制器可以提供TTS输出作为测量数据608。如果电荷存储设备605未饱和，但是光电二极管602饱和，则控制器可以提供FDADC输出作为测量数据608。如果光电二极管602不饱和，控制器可以提供PD ADC输出作为测量数据608。在曝光时段内生成的来自图像传感器600的每个像素单元的测量数据608可以形成图像帧。控制器可以在后续曝光时段中重复图6B中的操作序列，以生成后续图像帧。

来自图像传感器600的图像帧数据可以被传输到主机处理器(图6A和图6B中未示出)以支持不同的应用，诸如跟踪一个或多个对象、检测运动(例如，作为动态视觉感测(DVS)操作的一部分)等。图7A-图7D示出了可以由来自图像传感器600的图像帧数据支持的应用的示例。图7A示出了基于来自图像传感器600的图像帧的对象跟踪操作的示例。如图7A所示，在主机处理器处操作的应用可以从在时间T0捕获的图像帧700中标识与对象704相对应的感兴趣区域(ROI)702中的像素群组。应用可以继续跟踪对象704在后续图像帧中的位置，包括在时间T1捕获的图像帧710，并且标识对应于对象704的ROI 712中的像素群组。可以执行对图像帧内的对象704的图像位置的跟踪，以支持SLAM算法，该算法可以基于对图像传感器600捕获的场景中的对象704的图像位置的跟踪，来构建/更新图像传感器600(以及包括图像传感器600的移动设备，诸如近眼显示器100)所处的环境的地图。

图7B示出了对来自图像传感器600的图像帧的对象检测操作的示例。如图7B的左侧所示，主机处理器可以标识在图像帧720中捕获的场景中的一个或多个对象，诸如车辆722和人724。如图7B右侧所示，基于该标识，主机处理器可以确定像素群组726对应于车辆722，而像素群组728对应于人724。车辆722和人724的标识可以被执行以支持各种应用，诸如其中车辆722和人724是监视目标的监视应用、其中车辆722和人724被虚拟对象代替的混合现实(MR)应用、为了隐私而降低某些图像(例如，车辆722的牌照、人724的脸)的分辨率的全景成像操作等。

图7C示出了对来自图像传感器600的图像帧的眼睛跟踪操作的示例。如图7C所示，主机处理器可以从眼球的图像730和732中标识对应于瞳孔738和闪光739的像素群组734和像素群组736。可以执行瞳孔738和闪烁739的标识以支持眼睛跟踪操作。例如，基于瞳孔738和闪烁739的图像位置，应用可以确定用户在不同时间的注视方向，这可以作为输入提供给系统以确定例如要向用户显示的内容。

图7D示出了对来自图像传感器600的图像帧的动态视觉感测(DVS)操作的示例。在DVS操作中，图像传感器600可以仅输出经历预定亮度变化程度(反映在像素值中)的像素，而没有经历变化程度的像素不被图像传感器600输出。可以执行DVS操作来检测对象的运动和/或减少输出的像素数据量。例如，参考图7D，在时间T0，捕获图像740，其包含光源的像素群组742和人的像素群组744。像素群组742和744都可以在时间T0作为图像740的一部分输出。在时间T1，捕获图像750。对应于光源的像素群组742的像素值在时间T0与T1之间保持相同，并且像素群组742不作为图像750的一部分输出。另一方面，人在时间T0与T1之间从站立变为行走，这导致像素群组744的像素值在时间T0与T1之间变化。结果是，人的像素群组744作为图像750的一部分被输出。

在图7A-图7D的操作中，可以控制图像传感器600执行稀疏捕获操作，其中仅选择像素单元子集来向主机处理器输出感兴趣的像素数据。感兴趣的像素数据可以包括支持主机处理器处的特定操作所需的像素数据。例如，在图7A的对象跟踪操作中，图像传感器600可以被控制为仅传输分别在图像帧700和710中的对象704的ROI 702和ROI 712中的像素群组。在图7B的对象检测操作中，图像传感器600可以被控制为仅分别传输车辆722和人724的像素群组726和像素群组728。另外，在图7C的眼睛跟踪操作中，可以控制图像传感器600仅传输包含瞳孔738和闪烁739的像素群组734和像素群组736。此外，在图7D的DVS操作中，图像传感器600可以被控制为在时间T1仅传输运动的人的像素群组744，而不传输静态光源的像素群组742。所有这些布置可以允许生成和传输更高分辨率的图像，而不会相应地增加功率和带宽。例如，包括更多像素单元的更大的像素单元阵列可以被包括在图像传感器600中以提高图像分辨率，同时当只有像素单元子集以高分辨率生成感兴趣的像素数据并将高分辨率像素数据传输到主机处理器，而其余像素单元或者不生成/传输像素数据，或者以非常低的分辨率生成/传输像素数据时，可以减少提供提高的图像分辨率所需的带宽和功率。此外，虽然图像传感器600可以被操作来以更高的帧速率生成图像，但是当每个图像仅包括高分辨率并且由大量的比特表示的一小组像素值，而其余的像素值或者不被传输、或者由更少量的比特表示时，带宽和功率的增加可以被减少。

在3D感测的情况下，也可以减少像素数据传输的量。例如，参考图6D，照明器640可以将结构光的图案642投射到对象650上。结构光可以在对象650的表面上反射，并且反射光的图案652可以被图像传感器600捕获以生成图像。主机处理器可以将图案652与图案642匹配，并且基于图像中图案652的图像位置来确定对象650相对于图像传感器600的深度。对于3D感测，只有像素单元群组660、662、664和666包含相关信息(例如，图案652的像素数据)。为了减少被传输的像素数据的量，图像传感器600可以被配置为仅发送来自像素单元群组660、662、664和666的像素数据，或者以高分辨率发送来自像素单元群组660、662、664和666的像素数据，而以低分辨率发送其余像素数据。

图8A和图8B示出了成像系统800的示例，该成像系统800可以执行稀疏捕获操作以支持图7A-图7D所示的操作。如图8A所示，成像系统800包括图像传感器802和主机处理器804。图像传感器802包括控制器806和像素单元阵列808。控制器806包括图像处理器810和编程图生成器812。在一些示例中，控制器806可以被实现为专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者执行指令以实现图像处理器810和编程图生成器812的功能的硬件处理器。另外，主机处理器804包括能够执行应用814的通用中央处理单元(CPU)。

像素单元阵列808的每个像素单元或像素单元块可以单独编程，以例如启用/禁用像素值的输出、设置像素单元输出的像素值的分辨率等。像素单元阵列808可以从控制器806的编程图生成器812接收第一编程信号820，第一编程信号820可以是包含每个像素单元的编程数据的编程图的形式。像素单元阵列808可以感测来自场景的光，并且基于第一编程信号820生成场景的第一图像帧822。具体来说，像素单元阵列808可由第一编程信号820控制以在不同稀疏度模式下操作，诸如在其中第一图像帧822包括像素的完整图像帧的全帧模式下，和/或在其中第一图像帧822仅包括由编程图指定的像素子集的稀疏模式下。像素单元阵列808可以向主机处理器804和控制器806两者输出第一图像帧822。在一些示例中，像素单元阵列808还可以向主机处理器804和控制器806输出具有不同像素稀疏度的第一图像帧822。例如，像素单元阵列808可以将具有像素的完整图像帧的第一图像帧822输出回控制器806，并且将具有由第一编程信号820定义的稀疏像素的第一图像帧822输出到主机处理器804。

控制器806和主机处理器804以及图像传感器802可以基于第一图像帧822形成两层反馈系统，以控制图像传感器生成后续图像帧824。在两层反馈操作中，控制器806的图像处理器810可以对第一图像帧822执行图像处理操作以获得处理结果是，然后编程图生成器812可以基于处理结果更新第一编程信号820。可以基于从应用814接收的第二编程信号832来引导/配置图像处理器810处的图像处理操作，应用814可以基于第一图像帧822生成第二编程信号832。像素单元阵列808然后可以基于经更新的第一编程信号820生成后续图像帧824。然后，主机处理器804和控制器806可以基于后续图像帧824分别更新第一编程信号820和第二编程信号832。

在前述两层反馈系统中，来自主机处理器804的第二编程信号832可以是教导/指导信号、神经网络训练操作的结果(例如，反向传播结果)等的形式，以影响控制器806处的图像处理操作和/或编程图生成。主机处理器804不仅可以基于第一图像帧，还可以基于其他传感器数据(例如，由其他图像传感器捕获的其他图像帧、音频信息、运动传感器输出、来自用户的输入)生成教导/指导信号，以确定图像传感器802的光感测操作的上下文，然后确定教导/指导信号。该上下文可以包括例如图像传感器802工作的环境条件、图像传感器802的位置或者应用814的任何其他要求。考虑到上下文通常以比帧速率低得多的速率变化，教导/指导信号可以基于上下文以相对低的速率(例如，低于帧速率)更新，而控制器806处的图像处理操作和编程图的更新可以以相对高的速率(例如，以帧速率)发生，以适应像素单元阵列808捕获的图像。

虽然图8A示出了像素单元阵列808将第一图像帧822和第二图像帧824传输到主机处理器804和控制器806两者，但是在一些情况下，像素单元阵列808可以将不同稀疏度的图像帧传输到主机处理器804和控制器806。例如，像素单元阵列808可以将具有全像素的第一图像帧822和第二图像帧824传输到图像处理器810，同时将两个图像帧的稀疏版本发送到主机处理器804，其中每个图像帧的稀疏版本包括基于第一编程信号820选择的像素子集。

图8B示出了支持图7A的对象跟踪操作的成像系统800的操作的示例。具体地，在时间T0，像素单元阵列808(图8B中未示出)基于指示将生成完整的像素帧的第一编程信号820，生成包括包含对象704的场景的完整像素的第一图像帧822，并且将第一图像帧822传输到主机处理器804和图像处理器810两者。基于执行应用814，主机处理器804可以确定要跟踪对象704。这种确定可以基于例如用户输入、应用814的要求等。主机处理器804还可以处理第一图像帧822，以提取对象704的空间特征，诸如特征840和特征842。基于处理结果是，主机处理器804可以确定感兴趣区域(ROI)850的近似位置、大小和形状，该ROI包括第一图像帧822中的对象704(或者，其他对象，诸如图7C的瞳孔738和闪烁739)的像素。另外，基于来自其他传感器(例如，IMU)的其他输出，主机处理器804还确定图像传感器802正在以特定速度相对于对象704移动，并且可以估计ROI 852在后续图像帧中的新位置。主机处理器804然后可以向图像处理器810和编程图生成器812传输对象704的目标特征(例如，特征840和特征842)、ROI的信息(例如，ROI 850的初始位置、形状、大小等)、速度等，作为第二编程信号832的一部分。

基于第二编程信号832，图像处理器810可以处理第一图像帧822以检测对象704的目标图像特征，并且基于检测结果确定ROI852的精确位置、大小和形状。图像处理器810然后可以将包括第一图像帧822中的ROI 850的精确位置、大小和形状的ROI信息854传输到编程图生成器812。基于ROI信息854以及第二编程信号832，编程图生成器812可以估计将在时间T1捕获的后续图像帧中的ROI852的预期位置、大小和形状。例如，基于包括在第二编程信号832中的速度信息，编程图生成器812可以确定ROI 850将在时间T0与T1之间移动距离d以成为ROI 852，并且基于距离d确定ROI 852在时间T1的位置。作为另一示例，在图7C的瞳孔738和闪烁739作为眼睛跟踪操作的一部分被跟踪的情况下，编程图生成器812可以获得关于用户的注视变化的信息，并且基于该注视变化确定在时间T1包括瞳孔738和闪烁739的ROI(例如，ROI 852)的预期位置。编程图生成器812然后可以更新第一编程信号820，以在时间T1选择ROI 852内的像素单元，从而为后续图像帧输出对象704(或者，瞳孔738和闪烁739，或其他对象)的像素数据。

图9A、图9B、图9C和图9D示出了图8A的成像系统800的内部组件的示例。图9A示出了像素单元阵列808的示例。如图9A所示，像素单元阵列808可以包括列控制器904、行控制器906和编程信号解析器920。列控制器904与列总线908(例如，908a、908b、908c、……、908n)连接，而行控制器906与行总线910(例如，910a、910b、……、908n)连接。列控制器904或行控制器906中的一个还与编程总线912连接，以传输针对特定像素单元或像素单元群组的像素级编程信号926。每个标有P₀₀、P₀₁、P_0j等的方框可以表示一个像素单元或像素单元群组(例如，2×2像素单元的群组)。每个像素单元或像素单元群组可以连接到列总线908之一、行总线910之一、编程总线912和输出数据总线，以输出像素数据(图9A中未示出)。每个像素单元(或者，每个像素单元群组)可由列控制器904提供的列总线908上的列地址信号930和行控制器906提供的行总线910上的行地址信号932单独寻址，以一次经由像素级编程总线912接收像素级编程信号926。列地址信号930、行地址信号932以及像素级编程信号926可以基于来自编程图生成器812的第一编程信号820来生成。

另外，图9A包括编程信号解析器920，其可以从第一编程信号820中提取像素级编程信号。在一些示例中，第一编程信号820可以包括编程图，该编程图可以包括对于像素单元阵列808的每个像素单元或每个像素单元群组的编程数据。图9B示出了像素阵列编程图940的示例。如图9B所示，像素阵列编程图940可以包括像素级编程数据的二维阵列，二维阵列的每个像素级编程数据以像素单元阵列808的像素单元或像素单元群组为目标。例如，在每个像素级编程数据以像素单元为目标的情况下，并且假设像素单元阵列808具有M个像素的宽度(例如，M列像素)和N个像素的高度(例如，N行像素)，像素阵列编程图940还可以具有M个条目的宽度(例如，M列条目)和N个条目的高度(例如，N行条目)，每个条目存储对应像素单元的像素级编程数据。例如，像素阵列编程图940的条目(0，0)处的像素级编程数据A₀₀以像素单元阵列808的像素位置(0，0)处的像素单元P₀₀为目标，而像素阵列编程图940的条目(0，1)处的像素级编程数据A₀₁以像素单元阵列808的像素位置(0，1)处的像素单元P₀₁为目标。在像素级编程数据以像素单元群组为目标的情况下，像素阵列编程图940沿高度和宽度的条目数量可以基于每个群组中的像素单元数量进行缩放。

像素阵列编程图940可以被配置为支持图9B中描述的反馈操作。例如，存储在每个条目处的像素级编程数据可以单独地将每个像素单元(或者，每个像素单元群组)编程为例如通电或断电、启用或禁用像素数据的输出、设置量化分辨率、设置输出像素数据的精度、选择量化操作(例如，TTS、FD ADC、PD ADC之一)、设置帧率等。如上所述，编程图生成器812可以基于例如一个或多个ROI的预测来生成像素阵列编程图940，其中ROI内的像素单元的像素级编程数据不同于ROI外的像素单元的像素级编程数据。例如，像素阵列编程图940可以使像素单元子集(或者，像素单元群组)能够输出像素数据，而其余像素单元不输出像素数据。作为另一示例，像素阵列编程图940可以控制像素单元子集以更高的分辨率输出像素数据(例如，使用更大数量的比特来表示每个像素)，而其余像素单元以更低的分辨率输出像素数据。

返回参考图9A，编程图解析器920可以解析可以在串行数据流中的像素阵列编程图940，以标识对于每个像素单元(或者，每个像素单元群组)的像素级编程数据。像素级编程数据的标识可以基于例如预定的扫描图案，通过该扫描模式二维像素阵列编程图被转换成串行格式，以及编程信号解析器920从串行数据流接收像素级编程数据的顺序。对于编程数据的每个条目，编程信号解析器920可以生成行地址信号930和列地址信号832，并且将行地址信号830和列地址信号832分别传输到行控制器806和列控制器904，以选择像素单元并将像素级编程信号826传输到所选择的像素单元(或者，像素单元群组)。

图9C示出了像素单元阵列808的像素单元950的示例内部组件，其可以包括图6A的像素单元601的至少一些组件。像素单元950可以包括一个或多个光电二极管，包括光电二极管952a、952b等，每个可以被配置为检测不同频率范围的光。例如，光电二极管952a可以检测可见光(例如，单色，或红色、绿色或蓝色之一)，而光电二极管952b可以检测红外光。像素单元950还包括开关954(例如，晶体管、控制器阻挡层)，以控制哪个光电二极管输出电荷用于像素数据生成。

另外，像素单元950还包括电子快门开关603、转移开关604、电荷存储设备605、缓冲器606、量化器607，如图6A所示，以及存储器955。电荷存储设备605可以具有可配置的电容，以设置电荷-电压转换增益。在一些示例中，可以增加电荷存储设备605的电容，以存储用于中等光强度的FD ADC操作的溢出电荷，从而降低电荷存储设备605被溢出电荷饱和的可能性。电荷存储设备605的电容也可以减小，以增加用于低光强度的PD ADC操作的电荷-电压转换增益。电荷-电压转换增益的增加可以减少量化误差并提高量化分辨率。在一些示例中，电荷存储设备605的电容也可以在FD ADC操作期间减小，以增加量化分辨率。缓冲器606包括电流源956和功率门958，电流源956的电流可以通过偏置信号BIAS1来设置，功率门958可以通过PWR_GATE信号来控制以打开/关闭缓冲器606。作为禁用像素单元950的一部分，可以关闭缓冲器606。

另外，量化器607包括比较器960和输出逻辑962。比较器960可以将缓冲器的输出与参考电压(VREF)进行比较，以生成输出。根据量化操作(例如，TTS、FD ADC和PD ADC操作)，比较器906可以将缓冲的电压与不同的VREF电压进行比较以生成输出，并且输出被输出逻辑962进一步处理以使存储器955存储来自自由运行计数器的值作为像素输出。比较器960的偏置电流可以由偏置信号BIAS2控制，偏置信号BIAS2可以设置比较器960的带宽，该带宽可以基于像素单元950支持的帧速率来设置。此外，比较器960的增益可以由增益控制信号GAIN控制。可以基于像素单元950支持的量化分辨率来设置比较器960的增益。比较器960还包括电源开关961，其也可以由PWR_GATE信号控制来打开/关闭比较器960。作为禁用像素单元950的一部分，可以关闭比较器960。

另外，输出逻辑962可以选择TTS、FD ADC或PD ADC操作之一的输出，并且基于该选择，确定是否将比较器960的输出转发到存储器955以存储来自计数器的值。输出逻辑962可以包括内部存储器，以基于比较器960的输出来存储光电二极管952(例如，光电二极管952a)是否被剩余电荷饱和以及电荷存储设备605是否被溢出电荷饱和的指示。如果电荷存储设备605被溢出电荷饱和，输出逻辑962可以选择要存储在存储器955中的TTS输出，并且防止存储器955通过FD ADC/PD ADC输出重写TTS输出。如果电荷存储设备605不饱和，但是光电二极管952饱和，输出逻辑962可以选择要被存储在存储器955中的FD ADC输出；否则，输出逻辑962可以选择要存储在存储器955中的PD ADC输出。在一些示例中，代替计数器值，光电二极管952是否被剩余电荷饱和以及电荷存储设备605是否被溢出电荷饱和的指示可以存储在存储器955中，以提供最低精度的像素数据。

另外，像素单元950可以包括像素单元控制器970，其可包括逻辑电路以生成控制信号，诸如AB、TG、BIAS1、BIAS2、GAIN、VREF、PWR_GATE等。也可以通过像素级编程信号926对像素单元控制器970进行编程。例如，为了禁用像素单元950，可以通过像素级编程信号926对像素单元控制器970进行编程，以解除断言PWR_GATE，从而关闭缓冲器606和比较器960。此外，为了增加量化分辨率，可以通过像素级编程信号926对像素单元控制器970进行编程，以减小电荷存储设备605的电容，经由GAIN信号增加比较器960的增益，等等。为了增加帧速率，可以通过像素级编程信号926对像素单元控制器970进行编程，以增加BIAS1信号和BIAS2信号，从而分别增加缓冲器606和比较器960的带宽。此外，为了控制像素单元950输出的像素数据的精度，可以通过像素级编程信号926对像素单元控制器970进行编程，以例如仅将计数器的比特子集(例如，最高有效比特)连接到存储器955，使得存储器955仅存储比特子集，或者将存储在输出逻辑962中的指示作为像素数据存储到存储器955。另外，可以通过像素级编程信号926对像素单元控制器970进行编程，以控制AB和TG信号的顺序和时序，从而例如调整曝光时段和/或选择特定的量化操作(例如，TTS、FD ADC或PD ADC之一)，同时基于操作条件跳过其他操作，如上所述。

图9D示出了图像处理器810的内部组件的示例。如图9D所示，图像处理器810可以包括特征提取电路972和存储器976。要由图像处理器810提取/检测的特征可以包括例如预定对象(例如，人脸、身体部位、场景中的某些物理对象)的空间特征和关键点、时间对比度等。在一些示例中，特征提取电路972可以实现机器学习模型973，诸如卷积神经网络(CNN)、递归神经网络(RNN)等，其可以被训练来对由像素单元阵列808生成的输入图像帧(例如，第一图像帧822)执行图像特征操作。在一些示例中，特征提取电路972还可以包括比较电路975，用于将像素数据与阈值进行比较，以标识具有预定时间对比度的像素。特征提取电路972可以包括其他电路，诸如数字信号处理器(DSP)、线性求解器单元、微控制器、算术电路等，以执行特征提取操作。图像处理器810可以从主机处理器804接收目标特征/阈值、机器学习参数(例如，权重、反向传播梯度)或其他配置参数，作为第二编程信号832的一部分，以支持机器学习模型973的特征提取操作和/或训练操作。作为特征提取操作的结果是，特征提取电路972可以输出例如输入图像帧中检测到的特征的像素位置，其然后可以被馈送到编程图生成器812以生成像素阵列编程图940。

另外，存储器976可以提供片上存储器来存储输入图像帧的像素数据、用于特征提取操作的各种配置数据以及特征提取电路972的输出(例如，像素位置)。在一些示例中，提供给特征提取电路972的当前输入图像帧可以仅包括稀疏像素数据，而不是完整的像素数据帧。在这种情况下，存储器976还可以存储先前输入图像帧的像素数据，该像素数据可以被馈送到特征提取电路972，并且与当前输入图像组合以生成重构的完整的像素数据帧。特征提取电路972然后可以基于重构的完整的像素数据帧来执行特征提取操作。存储器976可以包括例如自旋隧道随机存取存储器(STRAM)、非易失性随机存取存储器(NVRAM)等。在一些示例中，图像处理器810还可以包括到片外存储器(例如，动态随机存取存储器)的接口，以支持特征提取电路880处的特征提取操作。

特征提取电路972可以采用各种技术来执行特征提取操作。在一个示例中，特征提取电路972可以使用机器学习模型973，诸如CNN，来执行像素数据块与滤波器之间的卷积运算。滤波器可以包括表示要提取的目标特征的一组权重。作为卷积操作的一部分，滤波器在特定步幅位置与像素数据块的一部分叠加，并且可以确定滤波器的每个元素和该部分内的每个像素的乘积之和。当滤波器在像素块内移动时，乘积之和相对于不同步幅位置的分布可以被确定为卷积输出。卷积输出可以指示例如特定像素捕获目标特征的概率、像素属于目标对象的概率等。基于概率，特征提取电路972可以输出被确定为可能包括(多个)目标特征或者是目标对象的一部分的像素的像素位置。像素位置然后可以作为图8B的ROI信息852的一部分输出，以如上所述调整像素单元阵列808的稀疏捕获操作。

可以从训练过程中获得卷积运算的滤波器权重，训练过程可以离线、在线或两者结合进行。在离线训练过程中，权重可以在特征提取操作之前预先存储在存储器976中。权重可以从基于覆盖预期由图像处理器810处理的图像数据范围的训练数据集的训练过程中获得。训练数据集可以存储在云环境中，训练也可以作为离线训练过程在云环境中进行。从离线训练过程获得的权重对于不同成像系统800的所有图像处理器810来说可以是共同的。

在在线训练过程中，当图像处理器810接收要检测的实际对象的图像数据时，可以获得图像处理器810使用的权重。示例应用可以是眼睛跟踪(例如，基于由图像传感器捕获的眼睛图像)。作为在线训练过程的一部分，图像处理器810可以在训练模式下操作，在该模式下，当用户被要求观察空间中的特定目标或位置时，图像处理器810接收用户眼睛的像素数据。通过训练过程，图像处理器810可以调整权重以最大化正确标识用户眼睛的可能性。在这种情况下，特定成像系统800的图像处理器810使用的权重可以不同于另一成像系统800的图像处理器810使用的权重，因为权重针对特定用户和/或特定操作条件进行了优化。在一些示例中，图像处理器810使用的权重可以通过离线和在线训练过程的组合来获得。例如，第一神经网络层使用的权重可以是用于提取对象的一般特征的一般权重，而上层神经网络层的权重可以在在线训练过程中被训练，以变得特定于用户和/或特定操作条件。

另外，为了支持动态视觉感测(DVS)操作，特征提取电路972可以使用比较电路975来将输入图像帧中的像素与存储在存储器976中的先前图像帧中的相应像素进行比较，以获得像素的时间对比度。比较电路975还可以将时间对比度与目标阈值(作为第二编程信号832的一部分接收)进行比较，以输出具有(或者，超过)预定时间对比度阈值的像素的像素位置。

可以基于第二编程信号832来配置特征提取电路972处的特征提取操作。例如，主机处理器804可以将要提取的目标特征编码为滤波器权重，并且将滤波器权重提供给CNN模型以执行卷积运算。另外，主机处理器804可以为DVS操作设置时间对比度阈值，并且将时间对比度阈值作为第二编程信号832的一部分发送。像素位置然后可以作为图8B的ROI信息852的一部分输出，以如上所述调整像素单元阵列808的稀疏捕获操作。

除了目标特征和阈值之外，主机处理器804可以基于包括在第二编程信号832中的其他配置参数来影响特征提取电路972处的特征提取操作。例如，主机处理器804可以是在线训练操作的一部分，并且可以基于涉及从单个成像系统800或多个成像系统800接收的图像的训练操作来确定反向传播梯度。主机处理器804然后可以将反向传播梯度提供回每个成像系统800，作为第二编程信号832的一部分，以在每个成像系统本地调整权重。作为另一示例，主机处理器804可以将图像处理操作的中间结果是，诸如较低级神经网络层的输出，作为第二编程信号832的一部分提供给特征提取电路972，然后特征提取电路972可以使用输出在较高级神经网络层执行神经网络计算。作为另一个示例，主机处理器804可以提供由神经网络执行的图像处理操作的预测精度作为反馈，这允许特征提取电路972的神经网络更新权重以提高图像处理操作的预测精度。

作为另一个示例，主机处理器804可以提供初始ROI(例如，图8B的ROI 850)的位置。图像处理器810可以在两步过程中执行特征提取操作(例如，卷积操作、动态感测操作)。例如，图像处理器810可以首先对由初始ROI标识的像素执行特征提取操作。如果提取结果指示初始ROI是关闭的(例如，所标识的像素不类似于目标对象的形状)，则图像处理器810可以使用初始ROI作为基线来在第二步骤中搜索可能包括目标特征的附加像素。在第二步骤结束时，图像处理器810可以确定细化的像素位置，以提供更细化的ROI。

另外，主机处理器804还可以执行特征提取操作的评估，并且将评估结果提供回特征提取电路972。主机处理器804可以提供评估结果作为反馈，以影响特征提取电路972处的特征提取操作。评估结果可以包括例如由像素单元阵列808输出的稀疏像素是否包含应用814所需的数据的指示(和/或百分比)。在基于作为特征提取操作的结果而生成的第一编程信号820中定义的ROI来输出稀疏像素的情况下，特征提取电路972可以基于评估结果来调整ROI和/或特征提取操作。例如，在对象跟踪/检测操作的情况下，主机处理器804可以评估由像素单元阵列808输出的图像帧中的稀疏像素是否包含目标对象的所有像素，并且将评估结果提供回特征提取电路972。特征提取电路972然后可以基于评估结果调整例如像素的选择以执行特征提取操作。在评估结果指示稀疏像素不包含目标对象的所有像素的情况下，特征提取电路972可以扩展ROI以处理更多像素，或者甚至放弃ROI并处理输入图像帧的所有像素，以提取/检测目标特征。

图10A、图10B和图10C示出了成像系统800中图像传感器802和主机处理器804的物理布置的示例。图10A和图10B示出了控制器806和像素单元阵列808的物理布置的示例。如图10A所示，图像传感器802可以包括第一半导体衬底1000，其包括像素单元阵列808的一些组件，诸如像素单元的光电二极管，以及一个或多个第二半导体衬底1002，其包括像素单元阵列808的处理电路，诸如缓冲器606、量化器607和存储器955，以及控制器806。在一些示例中，一个或多个第二半导体衬底1002包括第二半导体衬底1002a和第二半导体衬底1002b。第二半导体衬底1002a可以包括像素单元阵列808的处理电路，而第二半导体衬底1002b可以包括控制器806。

在一些示例中，第一半导体衬底1000和一个或多个第二半导体衬底1002可以沿垂直方向(例如，由z轴表示)形成堆叠，其中垂直互连1004和1006提供衬底之间的电连接。这种布置可以减小像素单元阵列808与控制器806之间的电连接的布线距离，这可以提高数据(尤其是像素数据)从像素单元阵列808到控制器806的传输速度，并且降低传输所需的功率。

图10B示出了图像传感器802的堆叠结构的细节的示例。如图10B所示，第一半导体衬底1000可以包括被配置为光接收表面并包括每个像素单元的光电二极管的背侧表面1008，以及其上实现传输晶体管604和电荷存储设备605(例如，传输晶体管604的浮置漏极)的前侧表面1010，而包括缓冲器606、量化器607、存储器955等的像素单元的处理电路在第二半导体衬底1002a的前侧表面1012下方实现。第一半导体衬底1000的前侧表面1010可以由包括芯片到芯片的铜键合的垂直互连1004与第二半导体衬底1002a的前侧表面1012电连接。芯片到芯片的铜键合可以在例如每个像素单元的传输晶体管604和每个像素单元的缓冲器606之间提供像素互连。

另外，成像传感器800还包括硅通孔(TSV)，以在像素单元阵列808和控制器806之间提供垂直互连。TSV可以位于堆叠的肩部区域1020和1022上，并且穿透第二半导体衬底1002a和1002b。TSV可以被配置为传输例如第一编程信号820和图像帧(例如，第一图像帧822)。垂直互连可以支持例如以正常帧速率(例如，60帧/秒)从像素单元阵列808向图像处理器810传输完整的像素数据帧(例如，1920像素×1080像素)，以执行图像特征提取操作。

图10C示出了主机处理器804与图像传感器802之间的连接。在图10C所示的示例中，成像系统800可以包括主机处理器804和多个图像传感器802，包括图像传感器802a、802b、802n等。每个图像传感器802可以包括到主机处理器804的高速点对点连接1040，诸如MIPI CSI接口，以传输图像帧。例如，图像传感器802a经由点对点连接1040a连接到主机处理器804，图像传感器802b经由点对点连接1040b连接到主机处理器804，而图像传感器802n经由点对点连接1040n连接到主机处理器804。另外，图像传感器802和主机处理器804也经由共享系统总线连接，诸如I3C总线，其为主机处理器804提供低速率和低功率总线连接，以将第二编程信号832传输到图像传感器802a、802b和802n中的每个图像传感器。

图11示出了成像系统800的操作的流程图1100。在步骤1102中，像素单元阵列808在第一时间生成第一图像帧822。第一图像帧822的生成可以基于第一编程信号820，第一编程信号820可以包括编程图，诸如图9B的像素阵列编程图940。在一些示例中，第一编程信号820可以指示第一图像帧822包括完整的像素帧。在一些示例中，第一编程信号820可以指示第一图像帧具有稀疏像素。作为步骤1102的一部分，像素单元阵列808还可以在第一时间生成包括完整的像素帧的第二图像帧。

在步骤1104a中，像素单元阵列808基于第一编程信号820，经由例如点对点MIPICSI接口将第一图像帧传输到主机处理器。第一图像帧可以具有完整的像素帧或者可以具有稀疏像素。

在步骤1104b中，像素单元阵列808还将第一图像帧或第二图像帧传输到控制器806。

在步骤1106中，主机处理器804可以基于第一图像帧确定第二编程信号832，第二编程信号832可以包括图像传感器802的配置。该配置可以是特定于应用的。

在一些示例中，成像系统800可以支持DVS操作，诸如图7D的DVS操作。在这样的示例中，主机处理器804可以基于第一图像帧确定场景的环境光强度，并且基于环境光强度确定时间对比度的阈值。对于较高的环境光强度，阈值可以设置得较高，而对于较低的环境光强度，阈值可以设置得较低。

此外，在成像系统800支持对象跟踪/检测操作的情况下，诸如图7A-图7C所示的操作，主机处理器804可以基于第一图像帧确定包括感兴趣对象的一个或多个ROI，诸如图7A的ROI 702、图7B的像素群组726/728、图7D的像素群组734等。感兴趣对象可以是应用特定的。例如，感兴趣对象可以包括身体部位(例如，眼球、手)、场景中的人和车辆、场景中的某些文本/符号(例如，QR码)、由于隐私而不被显示或降低分辨率的对象(例如，作为全景采样操作的一部分)等。在这种情况下，该配置可以指示例如一个或多个ROI中的每个ROI的位置、大小和形状、对象的坐标以及它们的大小和形状等。

在一些示例中，图像传感器802的图像处理器810可以包括机器学习模型973，诸如卷积神经网络，以提取特征。图像传感器802的CNN的权重可以基于在线训练操作来更新。在主机处理器804是在线训练操作的一部分的情况下，主机处理器804可以基于涉及从单个成像系统800或多个成像系统800接收的图像的训练操作来确定反向传播梯度。主机处理器804可以确定反向传播梯度，作为图像传感器配置的一部分。

在步骤1106中确定的配置可以包括其他参数，诸如特征提取操作的评估结果。主机处理器804可以提供评估结果作为反馈，以影响特征提取电路972处的特征提取操作。评估结果可以包括例如由像素单元阵列808输出的稀疏像素是否包含应用所需的数据的指示(和/或百分比)。作为另一示例，参数可以包括例如感兴趣对象的运动速度的估计(例如，基于运动传感器数据)、注视方向的变化等。这些参数允许控制器806估计ROI在后续图像帧中的新位置。

在步骤1108中，主机处理器804可以将该配置作为第二编程信号832的一部分传输给控制器806。配置的传输可以经由例如共享总线接口，诸如I3C总线。

在步骤1110中，控制器806可以基于第一图像帧和基于配置来更新第一编程信号820。更新也可以是应用特定的。

例如，在执行DVS操作的情况下，图像处理器810可以确定第一图像帧与前一图像帧之间的像素值的差异，并且将该差异与包括在配置中的阈值进行比较，以标识时间对比度超过阈值的像素。编程图生成器812然后可以更新像素阵列编程图，以仅激活时间对比度超过阈值的像素，和/或选择那些像素以更高分辨率输出像素值。

此外，在成像系统800支持对象跟踪/检测操作的情况下，图像处理器810可以对第一图像数据帧执行特征提取操作，以标识对象的精确位置。特征提取操作可以基于在步骤1108中由主机处理器804传输的配置信息。例如，配置信息可以包括CNN的权重、作为在线训练的一部分用于更新CNN权重的反向传播梯度、ROI的坐标的初始估计、感兴趣对象的运动速度、注视方向的变化等。成像系统800然后可以基于配置信息来估计要捕获的后续图像帧中的ROI的位置，并且更新编程图以反映后续图像帧中的ROI的估计位置。

在步骤1112中，控制器806可以将经更新的第一编程信号820传输到像素单元阵列808。在步骤1114，像素单元阵列808然后可以基于经更新的编程图在第二时间生成包括稀疏像素的后续图像帧。

本说明书的一些部分根据算法和对信息的操作的符号表示来描述本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达其工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为由计算机程序或等效电路、微码等来实现。此外，在不失一般性的情况下，将这些操作安排称为模块有时也被证明是方便的。所描述的操作及其相关模块可以体现在软件、固件和/或硬件中。

所描述的步骤、操作或过程可以用一个或多个硬件或软件模块单独或与其他设备结合来执行或实现。在一些实施例中，软件模块用计算机程序产品来实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该计算机程序代码可以由计算机处理器来执行，以执行所描述的任何或所有步骤、操作或过程。

本公开的实施例还可以涉及用于执行所述操作的装置。该装置可以为所需目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，其可以耦接到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。

本公开的实施例还可以涉及通过这里描述的计算过程生产的产品。这种产品可以包括由计算过程生成的信息，其中该信息存储在非暂时性的有形计算机可读存储介质上，并且可以包括这里描述的计算机程序产品或其他数据组合的任何实施例。

说明书中所使用的语言主要是出于可读性和指导性的目的而选择的，并且可能没有被选择来描述或限制本发明的主题。因此，本公开的范围不是由该具体实施方式限定，而是由基于此的申请中发布的任何权利要求限定。因此，实施例的公开旨在说明而非限制本公开的范围，本公开的范围在所附权利要求中阐述。

Claims (20)

1.一种装置，包括：

像素单元阵列，所述像素单元阵列中的每个像素单元包括光电二极管和处理电路，所述光电二极管形成在第一半导体衬底中，并且所述处理电路形成在一个或多个第二半导体衬底中；以及

控制器，形成在所述一个或多个第二半导体衬底中的至少一个第二半导体衬底中，所述第一半导体衬底和所述一个或多个第二半导体衬底形成堆叠并被容纳在半导体封装内；

其中所述像素单元阵列被配置为：

在第一时间并基于从所述控制器接收的第一编程信号，生成第一图像帧；

将所述第一图像帧传输到主机处理器；以及

将所述第一图像帧或第二图像帧传输到所述控制器，所述第二图像帧是在所述第一时间生成的并具有与所述第一图像帧不同的像素稀疏度；以及

其中所述控制器被配置为：

从所述像素单元阵列接收所述第一图像帧或第二图像帧；

从主机处理器接收第二编程信号，所述第二编程信号由所述主机处理器基于所述第一图像帧来确定；

基于所述第二编程信号来更新所述第一编程信号；以及

基于经更新的所述第一编程信号来控制所述像素单元阵列在第二时间生成后续图像帧。

2.根据权利要求1所述的装置，还包括所述主机处理器；

其中所述控制器还被配置为：基于所述第一图像帧或所述第二图像帧并以所述像素单元阵列生成图像帧的帧速率，更新所述第一编程信号；以及

其中所述主机处理器被配置为以低于所述帧速率的速率更新所述第二编程信号。

3.根据权利要求1所述的装置，其中所述第一编程信号包括：所述第一编程信号的第一子集，标识所述像素单元阵列的第一像素单元子集；以及所述第一编程信号的第二子集，标识所述像素单元阵列的第二像素单元子集；以及

其中所述控制器还被配置为更新由所述第一编程信号的所述第一子集标识的所述第一像素单元子集，并且更新由所述第一编程信号的所述第二子集标识的所述第二像素单元子集。

4.根据权利要求3所述的装置，其中所述第一编程信号的第一子集控制所述第一像素单元子集向所述主机处理器输出第一分辨率的像素数据；以及

其中所述第一编程信号的第二子集控制所述第二像素单元子集不向所述主机处理器输出像素数据，或者向所述主机处理器输出低于所述第一分辨率的第二分辨率的像素数据。

5.根据权利要求1所述的装置，其中所述控制器还被配置为：

基于所述第二编程信号，对所述第一图像帧或所述第二图像帧执行图像处理操作以生成处理结果；以及

基于所述处理结果来更新所述第一编程信号。

6.根据权利要求5所述的装置，其中所述图像处理操作包括：

针对被包括在所述第一图像帧或所述第二图像帧中的每个像素，确定相对于第三图像帧中的对应像素的像素值差，所述第三图像帧在所述第一时间之前由所述像素单元阵列生成；以及

标识所述第一图像帧或所述第二图像帧中的所述像素值差超过阈值的像素子集；

其中所述控制器还被配置为基于标识所述像素单元阵列的像素单元子集来更新所述第一编程信号，所述像素单元子集是基于所述像素子集来标识的；以及

其中所述第二编程信号定义所述阈值。

7.根据权利要求6所述的装置，还包括所述主机处理器，

其中所述主机处理器被配置为基于从所述第一图像帧确定环境光强度来设置所述阈值。

8.根据权利要求5所述的装置，其中所述图像处理操作包括标识所述第一图像帧中或所述第二图像帧中的包括感兴趣对象的目标特征的像素子集；

其中所述控制器还被配置为基于标识所述像素单元阵列的像素单元子集来更新所述第一编程信号，所述像素单元子集是基于所述像素子集而标识的；以及

其中所述第二编程信号包括关于所述目标特征的信息。

9.根据权利要求8所述的装置，其中所述第二编程信号指示所述第一图像帧中的包括所述目标特征的初始像素子集；以及

其中所述图像处理操作包括基于确定所述第一图像帧或所述第二图像帧中的所述初始像素子集是否包括所述感兴趣对象的所述目标特征来标识所述像素子集。

10.根据权利要求8所述的装置，其中所述控制器还被配置为：

基于关于所述感兴趣对象的移动的信息以及所述第一时间与所述第二时间之间的时间差，确定所述后续图像帧中的包括所述目标特征的像素子集；以及

基于根据所述后续图像帧中的所述像素子集来确定所述像素单元阵列的像素单元子集，更新第一编程信号；以及

其中所述第二编程信号包括关于所述感兴趣对象的所述移动的所述信息。

11.根据权利要求8所述的装置，其中所述第二编程信号指示基于所述第一编程信号而定义的所述第一图像帧中的初始像素子集不包括所有所述目标特征；以及

其中所述图像处理操作包括：基于所述第二编程信号，标识包括所述目标特征的附加像素。

12.根据权利要求8所述的装置，其中所述控制器包括执行图像处理操作的神经网络模型；以及

其中所述第二编程信号包括以下至少一项：所述神经网络模型的权重、用以更新所述权重的反向传播梯度、图像处理操作的预测精度、或者来自所述图像处理操作的中间输出。

13.根据权利要求1所述的装置，其中所述像素单元阵列的每个像素单元或所述像素单元阵列的每个像素单元块是可单独寻址的；以及

其中所述第一编程信号包括单独以每个像素单元为目标的像素级信号或者以每个像素单元块为目标的块级信号。

14.根据权利要求1所述的装置，还包括：

像素互连，由所述第一半导体衬底与所述一个或多个第二半导体衬底之间的芯片到芯片铜键合实现，以将由所述第一半导体衬底中的光电二极管生成的信号传输到所述一个或多个第二半导体衬底中的像素单元阵列的所述处理电路；以及

硅通孔(TSV)，在所述第一半导体衬底与所述一个或多个第二半导体衬底之间，用以将所述图像帧从所述像素单元阵列传输到所述控制器，并且将所述第一编程信号从所述控制器传输到所述像素单元阵列。

15.根据权利要求1所述的装置，其中所述像素单元阵列经由点对点串行接口与所述主机处理器耦接，并且被配置为经由所述点对点串行接口将所述图像帧传输到所述主机处理器。

16.根据权利要求1所述的装置，其中所述控制器经由共享总线接口与所述主机处理器耦接，所述共享总线接口还与其他控制器耦接；以及

其中所述控制器被配置为经由所述共享总线接口从所述主机处理器接收所述第二编程信号。

17.一种方法，包括：

控制像素单元阵列基于第一编程信号在第一时间生成第一图像帧并将所述第一图像帧传输到主机处理器；

从所述像素单元阵列接收来自所述像素单元阵列的所述第一图像帧或第二图像帧，所述第二图像帧是在所述第一时间生成的并具有与所述第一图像帧不同的像素稀疏度；

从所述主机处理器接收第二编程信号，所述第二编程信号由所述主机处理器基于所述第一图像帧来确定；

基于所述第二编程信号和从所述像素单元阵列接收的所述第一图像帧或所述第二图像帧来更新所述第一编程信号；以及

基于经更新的第一编程信号来控制所述像素单元阵列在第二时间生成后续图像帧。

18.根据权利要求17所述的方法，还包括：

基于所述第二编程信号，对所述第一图像帧或所述第二图像帧执行图像处理操作以生成处理结果；以及

基于所述处理结果来更新所述第一编程信号。

19.根据权利要求18所述的方法，其中所述图像处理操作包括标识所述第一图像帧或所述第二图像帧中的包括感兴趣对象的目标特征的像素子集；

其中基于标识所述像素单元子集来更新所述第一编程信号；以及

其中所述第二编程信号包括关于所述目标特征的信息。

20.根据权利要求17所述的方法，其中所述像素单元阵列经由点对点串行接口将所述第一图像帧传输到所述主机处理器；以及

其中所述第二编程信号是经由共享总线接口而被接收的。

Images