CN112422858A

CN112422858A - 用于经由分布式像素互连来执行浮栅读出以用于模拟域区域特征提取的成像系统和方法

Info

Publication number: CN112422858A
Application number: CN202010831890.6A
Authority: CN
Inventors: R·潘尼卡西
Original assignee: Semiconductor Components Industries LLC
Current assignee: Semiconductor Components Industries LLC
Priority date: 2019-08-21
Filing date: 2020-08-18
Publication date: 2021-02-26
Also published as: US20210058580A1

Abstract

本公开涉及用于经由分布式像素互连来执行浮栅读出以用于模拟域区域特征提取的成像系统和方法。一种成像电路可包括用于实施特征提取的电路。该成像电路可包括被配置为生成像素值的像素。该像素值可任选地通过内核加权因子来依比例变化。该像素可经由源极跟随器漏极路径耦接在一起，并且该像素中的一个像素中的源极跟随器栅极可通过将该源极跟随器栅极耦接到积分器电路来选择读出以计算特征结果。可连续计算多个特征结果以检测数字域或模拟域中的事件变化。此类特征检测方案可应用于检测水平取向特征、竖直取向特征、对角取向特征或不规则形状特征。

Description

用于经由分布式像素互连来执行浮栅读出以用于模拟域区域特征提取的成像系统和方法

技术领域

本发明整体涉及成像设备，并且更具体地涉及在晶圆上具有图像传感器像素的成像设备，该晶片被堆叠在其他图像读出/信号处理晶圆上。

背景技术

图像传感器常常在电子设备诸如移动电话、相机和计算机中用来捕获图像。在典型布置方式中，图像传感器包括被布置成像素行和像素列的图像像素阵列。可将电路耦接到每个像素列以从图像像素读出图像信号。

成像系统可实施卷积神经网络(CNN)以执行特征提取(即，检测图像中的一个或多个对象、形状、边缘或其他场景信息)。可在分辨率低于整个像素阵列的较小感兴趣区域(ROI)中执行特征提取。通常，低分辨率ROI 中的模拟像素值被读出、数字化并被存储以用于特征提取和卷积步骤的后续处理。

附图说明

图1是根据一些实施方案的具有用于使用图像像素阵列来捕获图像的图像传感器和处理电路的例示性电子设备的示意图。

图2是根据实施方案的例示性堆叠成像系统的示意图。

图3是根据实施方案的耦接到数字处理电路和模拟处理电路的例示性图像传感器阵列的示意图。

图4是示出根据实施方案的图像像素可如何经由各种开关网络连接到特定的感兴趣区域(ROI)的示意图。

图5是示出根据实施方案的可如何将卷积内核应用于ROI以提取特征的示意图。

图6A是示出根据实施方案的可如何经由浮动源极跟随器栅极感测与一组像素相关联的电荷的电路图。

图6B是示出根据实施方案的用于检测事件变化的连续特征提取的时序图。

图6C是根据实施方案的示出用于操作图6A的像素电路的步骤的流程图。

图6D是根据实施方案的示出对模拟域中的特征变化的检测的时序图。

图6E是根据实施方案的用于执行图6D的模拟域特征变化检测的例示性步骤的流程图。

图7A是根据实施方案的示出可如何通过将积分器直接连接到源极跟随器漏极端子来感测电荷的示意图。

图7B是根据实施方案的示出正加权像素值和负加权像素值的例示性差分读出配置的示意图。

图8A是示出根据实施方案的像素图块可如何耦接到堆叠模拟特征提取管芯内的对应ROI控制逻辑的示意图。

图8B是示出根据实施方案的像素行控制线和像素列输出线可如何耦接到堆叠模拟特征提取管芯内的ROI控制逻辑的示意图。

图8C是根据实施方案的例示性8x8像素簇的示意图。

图8D是根据实施方案的包括四个像素簇的例示性ROI单位单元的示意图。

图8E是根据实施方案的在每个像素列的底部处形成的另一个ROI单元的示意图。

图9A是根据实施方案的示出可如何使用行移位寄存器和列移位寄存器来控制行ROI选择和列ROI选择的示意图。

图9B是示出根据实施方案的行ROI和列ROI选择可如何被配置为支持水平特征信号检测的示意图。

图9C是示出根据实施方案的可使用图9B的ROI选择方案检测的示例性形状的示意图。

图9D是示出根据实施方案的行ROI和列ROI选择可如何被配置为支持竖直特征信号检测的示意图。

图9E是示出根据实施方案的可使用图9D的ROI选择方案检测的示例性形状的示意图。

图9F是示出根据实施方案的行ROI和列ROI选择可如何被配置为支持 +45°对角特征信号检测的示意图。

图9G是示出根据实施方案的可使用图9F的ROI选择方案检测的示例性形状的示意图。

图9H是示出根据实施方案的行ROI选择和列ROI选择可如何被配置为支持-45°对角特征信号检测的示意图。

图9I是示出根据实施方案的可使用图9H的ROI选择方案检测的示例性形状的示意图。

图9J是示出根据实施方案的行ROI选择和列ROI选择可如何被配置为检测预先确定的形状的示意图。

图9K是示出根据实施方案的可使用图9J的ROI选择方案检测的示例性形状的示意图。

具体实施方式

电子设备诸如数字相机、计算机、移动电话和其他电子设备可包括图像传感器，该图像传感器收集入射光以捕获图像。图像传感器可包括图像像素阵列。图像传感器中的像素可包括光敏元件，诸如将入射光转换成图像信号的光电二极管。图像传感器可具有任何数量(例如，数百或数千或更多)的像素。典型图像传感器可例如具有数十万或数百万像素(例如，数兆像素)。图像传感器可包括控制电路(诸如，用于操作图像像素的电路)和用于读出图像信号的读出电路，该图像信号与光敏元件所生成的电荷相对应。

图1为例示性成像系统(诸如，电子设备)的示意图，该成像系统使用图像传感器捕获图像。图1的电子设备10可为便捷式电子设备，诸如相机、蜂窝电话、平板计算机、网络相机、摄像机、视频监控系统、机动车成像系统、具有成像能力的视频游戏系统或者捕获数字图像数据的任何其他所需的成像系统或设备。相机模块12可用于将入射光转换成数字图像数据。相机模块12可包括一个或多个透镜14以及一个或多个对应图像传感器16。透镜14可包括固定透镜和/或可调透镜，并且可包括形成于图像传感器16的成像表面上的微透镜。在图像捕获操作期间，可通过透镜14将来自场景的光聚焦到图像传感器16上。图像传感器16可包括用于将模拟像素数据转换成要提供给存储和处理电路18的对应的数字图像数据的电路。如果需要，相机模块12可设置有透镜14的阵列和对应图像传感器16的阵列。

存储和处理电路18可包括一个或多个集成电路(例如，图像处理电路、微处理器、诸如随机存取存储器和非易失性存储器的存储设备等)，并且可使用与相机模块12分开和/或形成相机模块12的一部分的部件(例如，形成包括图像传感器16的集成电路或者与图像传感器16相关的模块12内的集成电路的一部分的电路)来实施。可使用处理电路18处理和存储已被相机模块12捕获的图像数据(例如，使用处理电路18上的图像处理引擎、使用处理电路18上的成像模式选择引擎等)。可根据需要使用耦接到处理电路 18的有线通信路径和/或无线通信路径将处理后的图像数据提供给外部设备 (例如，计算机、外部显示器或其他设备)。

根据实施方案，可处理模拟域中的像素值组以提取与场景中的对象相关联的特征。不从低分辨率感兴趣区将像素信息数字化。可使用该模拟具体实施来在(例如)卷积神经网络的多个步骤中处理从像素阵列提取的特征信息以识别系统的场景信息，然后可使用该场景信息来决定是否在场景的该区域中以更高分辨率输出像素信息。

可利用管芯堆叠以允许像素阵列连接到对应的感兴趣区域(ROI)处理器以实现有效的模拟域特征提取(例如，检测感兴趣的对象特征和该阵列的未通过正常数字信号处理路径以全分辨率读出的区域的时间变化)。所提取的特征可暂时被存储在模拟域中，这可用于检查特征值随时间推移的变化并检测与场景中的对象相关的关键特征的变化。

图2是所示的堆叠成像系统200的示意图。如图2所示，系统200可包括作为顶部管芯的图像传感器管芯202、作为底部管芯的数字信号处理器管芯206和竖直地堆叠在顶部管芯202与底部管芯206之间的模拟特征提取管芯204。图像传感器像素阵列驻留在顶部图像传感器管芯202内；正常数字读出电路驻留在底部管芯206内；并且模拟域特征提取电路形成在中间管芯 204内。如果需要，也可使用堆叠各种成像器管芯的其他方式。

图3是耦接到数字处理电路和模拟处理电路的例示性图像传感器阵列 302的示意图。数字信号处理电路由虚线框320描绘，该数字信号处理电路包括：被配置为经由行控制线312来驱动阵列302内的所有像素行的全局行解码器310、被配置为经由每个像素列通过正常读出路径316接收像素值的模数转换器(ADC)块314，以及传感器控制器318。这些数字信号处理电路320可驻留在底部管芯206内(参见图2)。

图像像素阵列302可形成在顶部图像传感器管芯202上。像素阵列302 可被组织成有时称为“图块”304的组。每个图块304可例如包括256x256 个图像传感器像素。该图块大小仅仅是例示性的。一般来讲，每个图块304 可具有任何合适尺寸的正方形形状、矩形形状或不规则形状(即，图块304 可包括任何合适数量的像素)。

每个图块304可对应于用于执行特征提取的相应“感兴趣区域”(ROI)。单独的ROI处理器330可以形成于每个图块304下的模拟管芯204中。每个 ROI处理器330可包括行移位器寄存器332、列移位寄存器336和用于选择性地组合来自多个相邻像素的值的行控制开关矩阵电路，如会聚线336所示。从每个ROI处理器330读出的信号可以被馈送到模拟处理和复用电路340并被提供给电路342。电路342可包括模拟滤波器、比较器、高速ADC阵列等。传感器控件318可向ROI控制器344发送信号，该ROI控制器控制如何经由 ROI处理器330读出像素。例如，ROI控制器344可任选地控制像素重置、像素电荷转移、像素行选择、像素双转换增益模式、全局读出路径使能信号、局部读出路径使能信号、用于确定模拟读出方向的开关、ROI快门控制等。电路330、340、342和344可全部形成于模拟管芯204内。

以这种方式配置的成像系统可支持内容感知感测。模拟读出路径支持形状/特征检测、非破坏性强度阈值处理、时间事件的快速扫描，并且还可使用板载视觉智能部件来处理形状。高速ROI读出路径还可允许数字累加和突发读出，而不会影响正常帧读出。该内容感知传感器架构基于场景的该部分的重要性以不同分辨率(空间、时间、位深度)读出不同区域。智能传感器用于监测图像的未以全分辨率读出的区域中的活动/事件，以确定何时唤醒该区域以进行高分辨率处理。模拟特征提取支持在不进入数字域的情况下监测那些特定的感兴趣区域中的活动。由于模拟特征提取不需要通过ADC进行处理，因此可节省大量的功率。

图4是示出图像像素可如何经由各种开关网络连接到特定的感兴趣区域(ROI)的示意图。如图4所示，图像传感器像素(诸如像素400)可包括：光电二极管PD，该光电二极管PD经由电荷转移晶体管耦接到浮动扩散节点FD；重置晶体管，该重置晶体管耦接在FD节点与重置漏极节点RST_D (有时称为重置晶体管漏极端子)之间；双转换增益(DCG)晶体管，该双转换增益(DCG)晶体管具有连接到FD节点的第一端子和电浮动的第二端子；源极跟随器晶体管，该源极跟随器晶体管具有漏极节点SF_D；栅极端子，该栅极端子连接到FD节点；以及源极节点，该源极节点经由对应的行选择晶体管耦接到ROI像素输出线。如果需要，DCG开关可任选地耦接到电容电路(例如，固定电容器或可变电容器组)以用于电荷存储目的或提供附加的增益/加权能力。像素400的部分402可另选地包括共享单个浮动扩散节点的多个光电二极管，如配置404所示。

在一种合适的布置方式中，8×8像素簇内的每个重置漏极节点RST_D 可耦接到一组重置漏极开关420。这仅仅是例示性的。一般来讲，共享开关 420的像素簇可具有任何合适的大小和尺寸。开关420可包括：重置漏极电源使能开关，该重置漏极电源使能开关选择性地将RST_D连接到正电源电压Vaa；水平合并开关BinH，该水平合并开关BinH选择性地将RST_D连接到对应的水平路由线RouteH；竖直合并开关BinV，该竖直合并开关BinV 选择性地将RST_D连接到对应的竖直路由线RouteV；等等。以这种方式配置的开关网络420使得能够连接到电源，合并来自其他像素的电荷，实现焦平面电荷处理。

像素簇内的每个源极跟随器漏极节点SF_D也可耦接到一组SF漏极开关430。开关网络430可包括：SF漏极电源使能开关Pwr_En_SFD，该SF 漏极电源使能开关Pwr_En_SFD将SF_D选择性地连接到电源电压Vaa；开关Hx，该开关Hx将SF_D选择性地连接到水平线Voutp_H；开关Vx，该开关Vx将SF_D选择性地连接到竖直线Voutp_V；开关Dx，该开关Dx将SF_D选择性地连接到第一对角Voutp_D1；开关Ex，该开关Ex将SF_D选择性地连接到第二对角Voutp_D2；等等。以这种方式配置的开关430使得来自多个像素源跟随器的电流能够转向以允许求和/求差以检测形状和边缘和与可变电源的连接。

像素簇内的每个像素输出线ROI_PIX_OUT(y)也可耦接到一组像素输出开关410。开关网络410可包括：第一开关Global_ROIx_out_en，该第一开关Global_ROIx_out_en用于将像素输出线选择性地连接到全局列输出总线Pix_Out_Col(y)；和第二局部开关Local_ROIx_Col(y)，该第二局部开关Local_ROIx_Col(y)用于将像素输出线选择性地连接到不同列之间可共享的局部ROI串行输出总线Serial_Pix_Out_ROIx。在以这种方式配置后，开关 410将来自ROI的每个像素输出连接到标准全局输出总线中的一条标准全局输出总线以便于读出，连接到串行读出总线以形成用于检测形状/边缘的电路，连接到高速局部读出信号链，或连接到可变电源。机器视觉应用使用算法来通过使用对像素组进行加权并将它们求和的基本运算来寻找特征和对象。图5是示出卷积内核502可如何应用于图块304或ROI以提取特征506 的示意图。卷积内核502可包括权重的集合。卷积内核502可应用于在ROI 304上滑动的对应窗口500。在图5的示例中，内核502被示出为3×3矩阵。不过，这仅仅是例示性的。内核502可为权重的5×5阵列或任何合适大小或尺寸的矩阵。每个权重可为正的或负的。每个内核窗口500执行模拟乘法累加(MAC)运算(例如，使用2维矩阵乘法)以获得所得卷积特征506。可将多个卷积特征506组合成大小相同或任选地小于图块304的特征图504。也可实施生成CNN层的其他方式。

图5所示的卷积运算通常在数字域中使用数字值来执行。根据实施方案，可在模拟域中执行MAC运算以降低对过度模数转换的需要(这可节省功率)并降低对高带宽数字总线结构的需要。可配置总线开关连接网络可用于以各种方式连接大像素组以检查一个或多个感兴趣区域中的边缘、形状或特征。随后可使用从像素分布式网络中的浮动扩散节点采集的模拟像素值来检测这些特征随时间推移的变化以充当特征“事件”检测器。例如，每个像素中的源极跟随器可用作电容感测设备，而不是使用来自源极跟随器的电流来节省功率。

图6A是根据实施方案的示出当电荷被添加到不同的浮动扩散节点时可如何(经由强反型中的栅极到沟道电容和栅极到漏极/栅极到源极重叠电容) 感测多个浮动源极跟随器栅极两端的电荷(电压)的示意图。如图6A所示，像素400-1(例如，第1行和第1列中的第一像素)、像素400-2(例如，第 3行和第3列中的第二像素)和像素400-3(例如，第5行和第5列中的第三像素)的SF_D节点可通过配置中间模拟管芯上的适当ROI路由开关而全部一起连接到路径602(例如，和在其上生成电压VoutA_ROI的SF_D输出路径)。路径602有时可被称为电荷感测线。RST_D节点可以是电浮动的，或者可以(例如，通过选择性地禁用或启用图4中的一个或多个开关420)耦接到正电源电压VAA。其中来自三个不同行/列的像素400-1、400-2和400-3 被选择用于特征提取的该实例仅仅是例示性的，而不旨在限制本发明实施方案的范围。一般来讲，被布置在同一行或不同行或者同一列或不同列中的任何期望的像素组均可通过经由对应的ROI开关(参见例如图4中的开关430) 将该像素组的SF_D端子短接在一起来同时感测。

分别控制像素400-1、400-2和400-3的电荷转移控制信号TX1、TX2 和TX3可任选地在不同时间脉动，以转移具有不同像素积分时间的电荷，从而为每个像素设定内核权重。另选地，可凭借通过DCG晶体管动态地编程适当的转换增益(例如，通过将FD扩散节点耦接到可调电容值)来设定每个像素权重。可断开用于这些像素的局部总线连接和/或全局总线连接。

一旦电荷已被转移到像素400-1中的浮动扩散节点FD1、像素400-2中的FD2和像素400-3中的FD3，就可电容式地感测像素400-3中的源极跟随器晶体管的浮栅端子两端的电压变化。将电荷转移到FD1可导致VoutA_ROI 产生第一电压变化量。将电荷转移到FD2可导致VoutA_ROI产生第二电压变化量。将电荷转移到FD3可导致VoutA_ROI产生第三电压变化量。所转移的电荷的总累积量可由像素400-1、400-2、400-3的源极跟随器栅极感测，这些源极跟随器栅极充当并联连接到VoutA_ROI节点的电容器以感测从特征提取像素组生成的总体电荷。用于特征提取的像素组中的仅一个像素可被选择用于读出。为了执行读出，对应的像素输出线ROI_PIX_OUT(5)可经由开关660和开关662耦接到积分器块620。开关660可对应于图4的410内的Local_ROIx_Col开关。开关662可充当用于将串行输出总线耦接到积分器块620的附加输出选择开关(图4中未示出)。框650和/或积分器620内的这些开关可形成为中间模拟特征提取管芯204的一部分(参见图2)。

可使用开关电容器积分块620对不同权重的像素值求和。积分器620可包括放大器622，该放大器具有被配置为接收共模输入电压Vcm的第一(+) 输入端(参见输入路径652)和耦接到所选择的输出像素的第二(-)端子。可使用开关p1或p2来将共享的积分电容器Cint选择性地交叉耦接在放大器 622的输入端/输出端两端。积分电容器Cint可使用自动调零开关来重置。可在放大器622的输出端处生成最终Vneuron值。在这样配置后，积分器620 可被称为开关电容器积分电路。Cint上的极性可颠倒以用于事件检测(假设先前的结果被存储为下一个结果的负偏移)。另选地，可在较早时间以相同配置将具有类似值的附近像素耦接在一起以检查场景变化。如果需要，也可使用其他求和机制，诸如使用电荷域动态电容器的配置。电容器Cint也可被实施为电容器组以允许存储多种特征信息并比较可随时间推移而发生的任何变化。

图6B是示出用于检测事件变化的连续特征提取操作的时序图。在时间 t1处，可接通自动调零开关以将积分器放大器自动调零，可接通p1开关，可并行重置当前用于特征提取的所有像素(其可包括来自一行或多行的像素)，并且可接通特征提取像素组中的像素中的仅一个像素中的行选择开关。在时间t2处，像素重置栅极可被断开，从而开始各种像素的积分时间。

在图6B的示例中，可通过对电荷转移栅极在不同时间进行脉冲以将不同内核加权因子应用于每个像素来实施可变像素积分时间。例如，TX2可在时间t3处脉冲以允许电荷流动到FD2，这导致VoutA_ROI处产生第一电压变化量。该第一电压变化量将导致Vneuron从共模电压Vcm增大第一对应量。信号TX1可在时间t4处脉冲以允许电荷流动到FD1，这导致VoutA_ROI 处产生第二电压变化量。该第二电压变化量将导致Vneuron进一步增大第二对应量。然后信号TX3可在时间t5处脉冲以允许电荷流动到FD3，这导致 VoutA_ROI处产生第三电压变化量。该第三电压变化量将导致Vneuron进一步增大第三对应量。Vneuron的该最终值可在时间t6处采样，并且可作为模数转换之后的第一特征结果来存储。

在时间t7处，可再次执行自动调零和重置操作以将Vneuron驱动回到共模电压电平Vcm。从时间t1到时间t6所述的过程可从时间t7到时间t8再次重复。在时间t8处，Vneuron的最终值可被采样并且可作为模数转换之后的第二特征结果来存储。(在数字域中)可将在时间t8处采样的第二存储特征结果与在时间t6处采样的第一存储特征结果进行比较以确定场景中是否发生了特征或事件变化。

图6C是用于操作图6A的像素电路的例示性步骤的流程图。在步骤670 (对应于图6B中的时间t1)处，接通放大器的自动调零开关，接通p1开关，可重置用于特征提取的组中的所有像素，并且可激活组中的像素中的仅一个像素(有时称为“所选择的输出像素”)的行选择开关以用于读出。

在步骤672(对应于图6B中的时间t2)处，可断开像素中的重置开关。在步骤674处，随后可断开自动调零开关。

在步骤676处，可同时或任选地在不同时间(参见例如图6B中的时间 t3至t5)将电荷转移到浮动扩散节点以应用期望的内核加权方案。如果需要，可在每个像素内或在(例如，使用可调电容电路、可调电阻电路、可调电流镜像方案、可调输出选择方案等)读出时使用其他内核加权或增益调谐方法。

在步骤678处，所选择的输出像素中的源极跟随器(SF)晶体管可用于同时耦接来自其栅极上的注入电荷的电压变化，并且用作开关以传递由于在步骤676期间从接收电荷的多个浮动扩散节点注入电荷引起的电压变化。在步骤680处，积分放大器可用于对由源极跟随器栅极耦接的对应电荷进行积分并生成输出电压Vneuron。最终Vneuron输出电平可以是由相关联的浮动扩散节点中的每个浮动扩散节点注入的累积电荷的函数。该过程可在相同像素组上重复以用于事件检测，如回送路径681所指示的。

图6B至图6C的示例(其中在数字域中执行特征变化的事件检测)仅仅是例示性的。图6D是根据另一个实施方案的示出对模拟域中的特征变化的检测的时序图。在时间t0处，可设定用于选择用于特征提取ROI的期望像素的SF_D开关矩阵(例如，用于特征提取的图像像素组的SF_D节点可经由图4所示的ROI开关430短接在一起)。

在时间t1处，可接通自动调零开关以将积分器放大器自动调零，可接通p1开关，可并行重置当前用于特征提取的所有像素(其可包括来自一行或多行的像素)，并且可接通特征提取像素组中的像素中的仅一个像素中的行选择开关。

在图6B的示例中，可通过对电荷转移栅极在不同时间(开始于时间t2) 进行脉冲以将不同内核加权因子应用于每个像素来实施可变像素积分时间。 Vneuron的最终对应值可在时间t3处采样并作为下一次特征读出的负偏移存储在积分电容器Cint上。

在时间t4处，p1开关断开，而p2开关接通，以颠倒积分放大器的极性。需注意，此处不应执行自动调零和重置操作，因为Cint正存储先前的积分值。在时间t5之后，可将电荷转移到多个浮动扩散节点。在时间t6处，可对 Vneuron的最终值(在模拟域中)进行采样和检查，以查看是否已发生特征变化。

例如，如果最终Vneuron值在Vcm附近的阈值范围内(例如，如果最终Vneuron值小于高于Vcm的预先确定的阈值增量或大于低于Vcm的预先确定的阈值增量)，则尚未检测到场景变化。然而，如果最终Vneuron值超出或超过Vcm的阈值范围(例如，如果最终Vneuron值大于高于Vcm的预先确定的阈值增量或小于低于Vcm的预先确定的阈值增量)，则已检测到场景中的机会。以这种方式在模拟域中执行事件检测消除了在数字域中执行转换、存储和比较的需要。

图6E是用于执行结合图6D所述的模拟域特征变化检测的例示性步骤的流程图。在步骤630(对应于图6D中的时间t1)处，接通放大器的自动调零开关，接通p1开关，可重置用于特征提取的组中的所有像素，并且可激活所选择的输出像素的行选择开关以用于读出。

在步骤632处，可断开像素中的重置开关。在步骤634处，随后可断开自动调零开关。

在步骤636处，像素可对电荷积分，并且所积分电荷可同时或任选地在不同时间被传递到浮动扩散节点以应用期望的内核加权方案。如果需要，可在每个像素内或在(例如，使用可调电容电路、可调电阻电路、可调电流镜像方案、可调输出选择方案等)读出时使用其他内核加权或增益调谐方法。在电荷转移之后，所选择的输出像素中的源极跟随器晶体管可用于传递在源极跟随器栅极两端感测到的由于来自多个浮动扩散节点的电荷所引起的电压变化。积分器放大器可用于生成并存储要用作下一次特征读出的负偏移的对应结果。

在步骤638(对应于图6D中的时间t4)，可以断开p1开关并且可以接通p2开关以颠倒积分器块的极性，而不激活自动调零开关和重置开关。保持自动调零晶体管和重置晶体管断开防止先前存储的特征结构结果被擦除。

在步骤640处，像素可对电荷积分，并且可将所积分电荷传递到浮动扩散节点。在电荷转移之后，所选择的输出像素中的源极跟随器晶体管可用于传递在源极跟随器栅极两端感测到的由于来自多个浮动扩散节点的电荷所引起的电压变化。积分器放大器随后可用于沿相反方向(相对于在切换p1 和p2开关之前的步骤636的操作)对电荷积分。

在步骤642处，比较器电路可用于确定最终Vneuron(在图6D中的时间t6处)是否在共模电压Vcm附近的预先确定的阈值电压范围内。响应于使用比较器电路来确定Vneuron在Vcm附近的预先确定的阈值电压范围内，则尚未检测到场景变化(结果644)。另选地，响应于使用比较器电路来确定Vneuron在Vcm附近的预先确定的阈值电压范围之外，则已检测到场景变化(结果646)。

图6A的实施方案(其中电荷积分器块耦接到所选择的输出像素的像素列线)仅仅是例示性的。图7A示出了示出当电荷被添加到不同浮动扩散节点时可如何通过将积分器块直接连接到共享的源极跟随器漏极端子来感测电压的另一种合适的布置方式。如图7A所示，像素400-1、400-2和400-3 的SF_D节点经由开关663直接连接到积分器块620。框650和/或开关电容器积分器620内的开关663可形成为中间模拟特征提取管芯204的一部分(参见图2)。在以这种方式配置后，模拟开关网络可直接从源极跟随器漏极端子感测加权像素信号。ROI开关网络可用于将大面积或区域的像素组连接在一起以检测如边缘和/或其他特征之类的结构。

图7A的电路可任选地如下操作。首先，共享的SF_D节点上的电压 VoutA_ROI可经由路径602耦接到开关电容器积分器。放大器622随后可在 SF_D节点以所选择的配置连接而无功率的情况下自动调零(即，FD节点最初可处于重置电平)。在自动调零操作之后，可在像素处收集光，然后可将所得生成的电荷采样到浮动扩散节点FD1、FD2和FD3上。随后可在积分电容器Cint响应于FD节点下拉放大器负输入时测量输出Vneuron的量值，这继而增大Vneuron。任选地，可使用差分积分器来与负权重特征进行比较。在不再次应用自动调零的情况下，可在颠倒Cint时重复相同的Vneron测量结果以检测模拟域中的特征变化(有时称为智能事件)。如果需要，可针对水平SF_D连接、竖直SF_D连接和对角SF_D连接的组合选择其他配置(参见例如图9A至图9K)。

图7B是示出用于组合正加权像素值和负加权像素值(或以其他方式计算两个不同像素组之间的差值)的例示性差分读出配置的示意图。如图7B 所示，第一组像素702可用于在共享的SF_D路径602A上生成第一ROI电压outA_ROI，而第二组像素704可用于在共享的SF_D路径602b上生成第二ROI电压VoutB_ROI。第一SF_D路径602A可经由局部ROI开关660A 和输出选择开关662A选择性地耦接到积分器块620'中的差分放大器622的负(-)输入端子。第二SF_D路径602B可经由局部ROI开关660B和输出选择开关662B选择性地耦接到差分放大器622的正(+)输入端子。

VoutA_ROI的电压变化可使用耦接到放大器622的负输入的积分电容器Cintp来积分，而VoutB_ROI的电压变化可使用耦接到放大器622的正输入的积分电容器Cintn来积分。在以这种方式配置后，放大器622可在其差分输出处产生等于Vneuron(p)与Vneuron(n)之间的差值的结果。例如，V(p) 可表示与正加权像素相关联的总信号值，而V(n)可表示与负加权像素相关联的总信号值。又如，Vneuron(p)和Vneuron(n)可表示与不同像素组相关联的总信号值，并且这两个值之间的差值可用于边缘/特征检测。尽管图7B的示例示出了图7A的差分实施方式，但是该差分积分方案可类似地扩展并应用于结合图6A至图6C所述的技术。

图8A是示出像素图块304可如何耦接到形成在堆叠模拟特征提取管芯 204内的对应ROI控制逻辑的示意图。如上文结合图3所述，ROI控制逻辑、路由连接和开关可紧邻堆叠模拟特征提取管芯中的每个图块304下方形成，以控制ROI开销中的相关联像素并将信号路由到中间管芯(有时称为ROI 控制器管芯)上的外围电路。线802可表示顶部图像传感器管芯中的每列的像素输出路由，并且连接804可表示与被堆叠在顶部图像传感器管芯下方的 ROI控制器/处理器的管芯间接合连接。每列的像素输出路由可在每个图块 304的边缘处结束，并且不应继续或延伸到另一个ROI/图块(即，列路由线 802不会横穿图块间隙810)。类似地，水平线806可表示顶部图像传感器管芯中的每行的像素控制路由，并且连接808可表示与被堆叠在顶部图像传感器管芯下方的ROI控制器/处理器的管芯间接合连接。像素控制路由行可在每个ROI的边缘处结束，并且不应继续或延伸到另一个图块(即，行路由线806不会横穿图块间隙812)。

图8B是示出像素行控制线806和像素列输出线802可如何耦接到堆叠模拟特征提取管芯内的ROI控制逻辑的示意图。如图8B所示，各种行控制线806(例如，控制重置晶体管、DCG晶体管、行选择晶体管等的行线)可耦接到输入-输出引脚808，该输入-输出引脚表示将顶部图像传感器管芯连接到堆叠在下方的中间模拟特征提取管芯的混合接合连接点。各种像素列线 802可耦接到引脚804，该引脚表示将顶部图像传感器管芯连接到堆叠在下方的中间模拟特征提取管芯的混合接合连接点。换句话讲，框804和808可表示管芯间连接的物理位置。

图8C是例示性8x8像素簇852的示意图。如图8C所示，该簇中的每个图像像素的RST_D节点经由重置漏极耦接路径830互连，而该簇中的每个图像像素的SF_D节点经由源极跟随器漏极耦接路径832互连。RST_D端子可选择性地短接在一起以执行电荷合并(例如，沿同一行的像素的RST_D 节点可耦接在一起以执行水平合并，和/或沿同一列的像素的RST_D节点可耦接在一起以执行竖直合并)。另一方面，SF_D端子可选择性地短接在一起以执行如结合图6至图7所述的特征提取。

图8D是例示性ROI单位单元850的示意图。在图8D的示例中，每个 ROI单位单元850可包括四个8×8像素簇852，该像素簇共享结合图4描述的各种开关网络。在图8D的示例中，每个簇852可具有不同数量的SF_D 开关。例如，左上簇可耦接到五个SF_D开关，而右上簇可仅耦接至三个SF_D 开关。这仅仅是例示性的。如果需要，每个簇852可耦接到任何合适数量的 SF_D开关。

ROI单位单元850内的四个像素簇852可具有经由路径857耦接在一起的RST_D端子。在以这种方式配置后，单元850中的四个像素簇可通过选择性地接通水平合并开关HBIN而耦接到相邻ROI单元列中的像素簇，和/ 或可通过选择性地接通竖直合并开关VBIN而耦接到相邻ROI单元行中的像素簇。竖直合并开关/水平合并开关可形成于中间管芯204中(图2)。

图8E是可在每个ROI单元列的底部形成的另一个ROI单元850'的示意图。如图8E所示，ROI单元850'可被配置为将来自ROI单元的像素输出路由到全局像素输出总线Global_ROI_Oout或公共局部/串行输出线 Local_ROI_Oout(参见局部串行输出线856)。

图9A是根据实施方案的示出可如何使用行移位寄存器902和列移位寄存器904以及附加逻辑门来控制行ROI选择和列ROI选择的示意图。例如，行移位寄存器902可被配置为将控制信号输出到每个像素簇内的行选择晶体管。列移位寄存器904可被配置为将控制信号输出到局部ROI列开关(参见例如图6A中的开关660和/或开关662、图7A中的开关663和图7B中的开关660A/B和662A/B)以控制局部ROI连接。用于控制每个ROI单位单元内的各种开关网络的行选择移位寄存器和列选择移位寄存器可全部形成于中间模拟管芯204中。

上文相对于图5所述的例示性内核运算关注较小的3×3或5×5区域，而不旨在限制本发明实施方案的范围。一般来讲，本文所述的电路、方法和技术可应用于任何(更大)形状的权重像素。对非正方形ROI的扩展将允许检测更大或更复杂外观的特征。图9A至图9K示出了用于支持可变形状检测的架构。

图9A是示出可如何使用行移位寄存器和列移位寄存器(例如，图9A 中的寄存器902和904)以及附加逻辑门来控制行ROI选择和列ROI选择的示意图。用于控制每个ROI单位单元内的各种开关网络的行选择移位寄存器和列选择移位寄存器可全部形成于中间模拟管芯204中。

图9B是示出行ROI选择和列ROI选择可如何被配置为支持水平特征信号检测的示意图。控制信号H0a、H0b、H1a、H1b、H2a和H2b使得开关能够连接到输出VoutA_ROI和VoutB_ROI。如图9B所示，每个ROI单位单元中的上部簇经由水平线耦接在一起并在路径910上被路由输出为 VoutA_ROI，而每个ROI单位单元中的下部簇经由水平线耦接在一起并在路径912上被路由输出为VoutB_ROI。图9C是示出可使用图9B的ROI选择方案检测的示例性形状的示意图。如图9C所示，行的分组和行的分段任选地是可编程的，以使得能够检测各种类型的水平取向的边缘或形状。

图9D是示出行ROI选择和列ROI选择可如何被配置为支持竖直特征信号检测的示意图。如图9D所示，每个ROI单位单元中的左侧簇经由竖直线耦接在一起并在路径920上被路由输出为VoutA_ROI，而每个ROI单位单元中的右侧簇经由竖直线耦接在一起并在路径922上被路由输出为 VoutB_ROI。图9E是示出可使用图9D的ROI选择方案检测的示例性形状的示意图。如图9E所示，列的分组和列的分段任选地是可编程的，以使得能够检测各种竖直取向的边缘/形状类型。

图9F是示出行ROI选择和列ROI选择可如何被配置为支持+45°对角特征信号检测的示意图。如图9F所示，第一对角像素组耦接在一起并在路径 930上被路由输出为VoutA_ROI，而第二对角像素组耦接在一起并在路径932 上被路由输出为VoutB_ROI。这两组像素可为对角方向的交织或交替条带。图9G是示出可使用图9F的ROI选择方案检测的示例性形状的示意图。如图9G所示，对角像素的分组和对角条带的分段任选地是可编程的，以使得能够检测各种类型的对角取向的边缘或形状。

图9H是示出行ROI选择和列ROI选择可如何被配置为支持-45°对角线特征信号检测的示意图。如图9H所示，第一对角线像素组耦接在一起并在路径940上被路由输出为VoutA_ROI，而第二对角线像素组耦接在一起并在路径942上被路由输出为VoutB_ROI。这两组像素可为对角方向的交织或交替条带。图9I是示出可使用图9H的ROI选择方案检测的示例性形状的示意图。如图9I所示，对角像素的分组和对角条带的分段任选地是可编程的，以使得能够检测各种类型的对角取向的边缘或形状。

图9J是示出行ROI选择和列ROI选择可如何被配置为检测预先确定的形状的示意图。如图9J所示，第一像素子集耦接在一起并在路径950上被路由输出为VoutA_ROI，而第二像素子集耦接在一起并在路径952上被路由输出为VoutB_ROI。这两个像素子集可界定或勾勒出不规则或一些其他预先确定的边缘或形状的轮廓。图9K是示出可使用图9J的ROI选择方案检测的示例性形状的示意图。如图9K所示，可以这种方式支持对具有以各种取向成角度的多个边缘的不同的不规则形状的检测。

根据一个实施方案，提供了一种成像电路，该成像电路包括：第一像素，该第一像素具有第一源极跟随器晶体管，该第一源极跟随器晶体管具有第一源极跟随器漏极端子；第二像素，该第二像素具有第二源极跟随器晶体管，该第二源极跟随器晶体管具有第二跟随器漏极端子；感兴趣区域(ROI)切换电路，该ROI切换电路被配置为在执行特征提取操作时将该第一源极跟随器漏极端子耦接到电荷感测线以及将该第二源极跟随器漏极端子耦接到该电荷感测线；以及积分电路，该积分电路耦接到该第一像素和该第二像素中的仅一者以计算该特征提取操作的特征结果。

根据另一个实施方案，该第一像素和该第二像素任选地是形成于图像传感器管芯中的像素阵列的一部分。

根据另一个实施方案，该第一像素和该第二像素任选地是该阵列中的不同行的一部分。

根据另一个实施方案，该第一像素和该第二像素任选地是该阵列中的不同列的一部分。

根据另一个实施方案，该ROI切换电路和该积分电路形成在特征提取管芯中，并且其中该图像传感器管芯直接堆叠在该特征提取管芯的顶部上。

根据另一个实施方案，该第一像素还具有第一重置晶体管；该第二像素还具有第二重置晶体管；并且当将该第一源极跟随器漏极端子和该第二源极跟随器漏极端子耦接到该电荷感测线时，该ROI切换电路任选地使该第一重置晶体管和该第二重置晶体管电浮动。

根据另一个实施方案，该第一像素还具有第一重置晶体管；该第二像素还具有第二重置晶体管；并且当将该第一源极跟随器漏极端子和该第二源极跟随器漏极端子耦接到该电荷感测线时，该ROI切换电路任选地将该第一重置晶体管和该第二重置晶体管耦接到正电源端子。

根据另一个实施方案，该第一像素还具有第一行选择晶体管；该第一像素还具有第二行选择晶体管；并且任选地接通该第一行选择晶体管和该第二行选择晶体管中的仅一个像素以计算该特征结果。

根据另一个实施方案，该积分电路任选地包括：放大器，该放大器具有第一输入端和第二输入端；积分电容器；第一组开关，该第一组开关被配置为将该积分电容器以第一配置耦接到该放大器的第二输入端；和第二组开关，该第二组开关被配置为将该积分电容器以具有与该第一配置相反极性的第二配置耦接到该放大器的第二输入端。

根据另一个实施方案，当计算连续特征结果时，该第一组开关任选地保持接通。

根据另一个实施方案，该积分电路任选地耦接到该第一像素和该第二像素中的仅一者以计算该特征提取操作的附加特征结果，并且在该数字域中将该特征结果和该附加特征结果进行比较以检测特征变化。

根据另一个实施方案，当计算连续特征结果时，任选地切换该第一组开关和该第二组开关。

根据另一个实施方案，该积分电路任选地耦接到该第一像素和该第二像素中的仅一者以计算该特征提取操作的附加特征结果，并且任选地在该模拟域中将该附加特征结果与共模电压进行比较以检测特征变化。

根据另一个实施方案，该ROI切换电路在该特征提取操作期间任选地被配置为检测选自由以下项组成的组的形状：水平取向形状、竖直取向形状、对角取向形状和不规则形状。

根据一个实施方案，提供了一种成像电路，该成像电路包括：第一像素，该第一像素具有第一源极跟随器晶体管，该第一源极跟随器晶体管具有第一源极跟随器漏极端子；第二像素，该第二像素具有第二源极跟随器晶体管，该第二源极跟随器晶体管具有第二跟随器漏极端子；切换电路，该切换电路被配置为在执行特征提取操作时将该第一源极跟随器漏极端子耦接到感测线以及将该第二源极跟随器漏极端子耦接到该感测线；和积分电路，该积分电路耦接到该感测线以计算该特征提取操作的特征结果。

根据另一个实施方案，该第一像素和该第二像素任选地是形成于图像传感器管芯中的像素阵列的一部分；该切换电路和该积分电路形成在特征提取管芯中；并且该图像传感器管芯任选地直接堆叠在该特征提取管芯的顶部上。

根据一个实施方案，第一组像素，该第一组像素具有耦接到第一电荷感测线的源极跟随器漏极端子；第二组像素，该第二组像素具有耦接到第二电荷感测线的源极跟随器漏极端子；和积分电路，该积分电路具有在执行特征提取操作时耦接到该第一电荷感测线的第一输入端子和耦接到该第二电荷感测线的第二输入端子。

根据另一个实施方案，该成像电路任选地还包括：第一组开关，该第一组开关被配置为将该第一电荷感测线耦接到该积分电路的第一输入端子；和第二组开关，该第二组开关被配置为将该第二电荷感测线耦接到该积分电路的第二输入端子。

根据另一个实施方案，该第一组像素和该第二组像素任选地是形成于图像传感器管芯中的像素阵列的一部分，其中该积分电路和该第一组开关以及该第二组开关形成于特征提取管芯中，并且其中该图像传感器管芯直接堆叠在该特征提取管芯的顶部上。

根据另一个实施方案，该积分电路任选地还包括：放大器，该放大器具有用作该积分电路的第一输入端子的第一放大器输入端和用作该积分电路的第二输入端子的第二放大器输入端；第一积分电容器，该第一积分电容器耦接到该第一放大器输入端并且被配置为对来自该第一电荷感测线的电荷积分；和第二积分电容器，该第二积分电容器耦接到该第二放大器输入端并且被配置为对来自该第二电荷感测线的电荷积分(其中该放大器具有差分输出端，在该差分输出端上生成该第一组像素与该第二组像素之间的特征差值结果)。

前述内容仅仅是对本发明原理的例示性说明，并且本领域技术人员可以进行多种修改。上述实施方案可单个实施或以任意组合方式实施。

Claims

1.一种成像电路，所述成像电路包括：

第一像素，所述第一像素具有第一源极跟随器晶体管，所述第一源极跟随器晶体管具有第一源极跟随器漏极端子；

第二像素，所述第二像素具有第二源极跟随器晶体管，所述第二源极跟随器晶体管具有第二跟随器漏极端子；

感兴趣区域ROI切换电路，所述ROI切换电路被配置为在执行特征提取操作时将所述第一源极跟随器漏极端子耦接到电荷感测线以及将所述第二源极跟随器漏极端子耦接到所述电荷感测线；和

积分电路，所述积分电路耦接到所述第一像素和所述第二像素中的仅一者以计算所述特征提取操作的特征结果。

2.根据权利要求1所述的成像电路，其中所述第一像素和所述第二像素是形成于图像传感器管芯中的像素阵列的一部分，其中所述第一像素和所述第二像素是所述阵列中的不同行的一部分，其中所述ROI切换电路和所述积分电路形成在特征提取管芯中，并且其中所述图像传感器管芯直接堆叠在所述特征提取管芯的顶部上。

3.根据权利要求1所述的成像电路，其中所述第一像素还具有第一重置晶体管，其中所述第二像素还具有第二重置晶体管，并且其中当将所述第一源极跟随器漏极端子和所述第二源极跟随器漏极端子耦接到所述电荷感测线时，所述ROI切换电路使所述第一重置晶体管和所述第二重置晶体管电浮动。

4.根据权利要求1所述的成像电路，其中所述第一像素还具有第一行选择晶体管，其中所述第二像素还具有第二行选择晶体管，并且其中所述第一行选择晶体管和所述第二行选择晶体管中的仅一个行选择晶体管被接通以用于计算所述特征结果。

5.根据权利要求1所述的成像电路，其中所述积分电路包括：

放大器，所述放大器具有第一输入端和第二输入端；

积分电容器；

第一组开关，所述第一组开关被配置为将所述积分电容器以第一配置耦接到所述放大器的所述第二输入端；和

第二组开关，所述第二组开关被配置为将所述积分电容器以具有与所述第一配置相反极性的第二配置耦接到所述放大器的所述第二输入端，其中所述积分电路耦接到所述第一像素和所述第二像素中的仅一者以计算所述特征提取操作的附加特征结果，并且其中在数字域中将所述特征结果和所述附加特征结果进行比较以检测特征变化。

6.根据权利要求1所述的成像电路，其中所述ROI切换电路在所述特征提取操作期间被配置为检测选自由以下项组成的组的形状：水平取向形状、竖直取向形状、对角取向形状和不规则形状。

7.一种成像电路，所述成像电路包括：

切换电路，所述切换电路被配置为在执行特征提取操作时将所述第一源极跟随器漏极端子耦接到感测线以及将所述第二源极跟随器漏极端子耦接到所述感测线；和

积分电路，所述积分电路耦接到所述感测线以计算所述特征提取操作的特征结果。

8.根据权利要求7所述的成像电路，其中所述第一像素和所述第二像素是形成于图像传感器管芯中的像素阵列的一部分，其中所述切换电路和所述积分电路形成在特征提取管芯中，并且其中所述图像传感器管芯直接堆叠在所述特征提取管芯的顶部上。

9.一种成像电路，所述成像电路包括：

第一组像素，所述第一组像素具有耦接到第一电荷感测线的源极跟随器漏极端子；

第二组像素，所述第二组像素具有耦接到第二电荷感测线的源极跟随器漏极端子；和

积分电路，所述积分电路具有在执行特征提取操作时耦接到所述第一电荷感测线的第一输入端子和耦接到所述第二电荷感测线的第二输入端子。

10.根据权利要求9所述的成像电路，所述成像电路还包括：

第一组开关，所述第一组开关被配置为将所述第一电荷感测线耦接到所述积分电路的所述第一输入端子；和

第二组开关，所述第二组开关被配置为将所述第二电荷感测线耦接到所述积分电路的所述第二输入端子，其中所述第一组像素和所述第二组像素是形成于图像传感器管芯中的像素阵列的一部分，其中所述积分电路以及所述第一组开关和所述第二组开关形成于特征提取管芯中，并且其中所述图像传感器管芯直接堆叠在所述特征提取管芯的顶部上。