CN106561046B

CN106561046B - 具有改良读出的高动态范围成像系统以及系统操作方法

Info

Publication number: CN106561046B
Application number: CN201610854201.7A
Authority: CN
Inventors: B·克雷默斯; M·H·因诺森特
Original assignee: Semiconductor Components Industries LLC
Current assignee: Semiconductor Components Industries LLC
Priority date: 2015-10-01
Filing date: 2016-09-27
Publication date: 2020-09-04
Anticipated expiration: 2036-09-27
Also published as: US20170099423A1; US9843738B2; CN106561046A; DE102016218838A1

Abstract

本公开涉及具有改良读出的高动态范围成像像素。本发明提供了一种成像系统，所述成像系统可包括具有双增益像素阵列的图像传感器。每个像素可以使用双读出方法进行操作，使得所有信号以高增益配置读出，以便提高图像操作速度或降低图像操作功耗。每个像素可以使用双读出且双重模数转换方法进行操作，在所述方法中，存储两组校准数据。高动态范围(HDR)图像信号可以基于从所述像素读出的信号并且基于光照条件，针对每个像素产生。所述HDR图像可以基于高增益信号和低增益信号的组合，以及所述两组校准数据中的一组或两组产生。可使用方程组来生成所述HDR图像。所述方程组可包括光强度的函数。

Description

具有改良读出的高动态范围成像系统以及系统操作方法

本申请要求提交于2015年10月1日的临时专利申请No.62/235,817 的权益和优先权，该申请据此全文以引用方式并入本文。

技术领域

本发明整体涉及图像传感器，并且更具体地讲，涉及用于利用双增益读出来操作图像传感器像素以产生高动态范围(HDR)图像的方法和电路。

背景技术

在常规成像系统中，图像伪影可能由移动物体、移动或抖动相机、闪烁光照以及图像帧中具有变化照明的物体引起。此类伪影可包括例如物体的缺失部分、边缘颜色伪影和物体失真。具有变化照明的物体的例子包括发光二极管(LED)交通标志(其可每秒闪烁几百次)以及现代汽车的LED刹车灯或车头灯。

虽然电子卷帘快门和全局快门模式产生具有不同伪影的图像，但此类伪影的根本原因对于这两种操作模式是共同的。通常，图像传感器以相对于正被拍摄的场景异步的方式采集光。这意味着图像帧的各部分可能不会在帧持续时间的一部分内曝光。在积聚时间比所使用的帧时间短得多时，对于亮场景尤其是这种情况。当场景包括移动或快速变化的物体时，图像帧中不完全暴露于动态场景的区可导致物体失真、幻影效应和颜色伪影。当相机在图像拍摄操作期间移动或抖动时，可观察到类似效应。

常规成像系统还可能具有带有与低动态范围相关的伪影的图像。具有较亮部分和较暗部分的场景可在常规图像传感器中产生伪影，因为图像的各部分可能曝光过度或曝光不足。

双增益像素常常用于改进图像传感器的动态范围。它们既可在固定高增益或固定低增益读出模式中使用，也可在两种增益模式都读出的双读出模式中使用。在双读出模式下，电荷要么完全地存储在光电二极管上，要么允许在积聚过程中溢出到浮动扩散节点。在积聚过程中双增益读出与溢出相结合，会允许最大的动态范围增大。

双增益像素通常以相应的高增益和低增益配置来读出捕捉到的高增益和低增益图像数据。在高增益配置与低增益配置之间切换会造成电气串扰。这种串扰导致高增益配置下读出的信号与低增益配置下读出的信号之间存在不良的大电气偏移。这种电气偏移可能导致像素输出信号的幅度超出成像系统中模拟读出电路的工作范围。

双增益像素通常使用在不具有帧缓冲器的情况下需要四次像素读出和模数转换(ADC)来操作、或在具有帧缓冲器的情况下需要三次像素读出和三次ADC来操作的方法，来读出捕捉到的图像数据。在后一种情况下，需要使用帧缓冲器提供用于信号之间的偏移校正的参考图像。执行额外的读出和ADC转换需要额外的功率。一般并不期望这样增加功耗。

因此，期望能够得到如下高动态范围(HDR)图像传感器，其在像素输出信号之间不具有大的电气偏移，并且比起传统图像传感器，其需要的读出和ADC转换更少。

附图说明

图1是根据实施方案的具有图像传感器的示例性电子设备的图示。

图2是根据实施方案的用于读出图像传感器中的图像信号的示例性像素阵列以及关联的读出电路的示意图。

图3是双增益图像像素的电路图和对应的电位图。

图4是一系列电位图，示出在高照度和低照度条件下的三读出操作方法中的电位电平，以及流经图3的电路的电荷流动。

图5是时序图，示出在图4的三读出操作方法中，图3的电路中的像素状态、控制信号时序、以及模数转换和传感器读出操作时序。

图6是时序图，示出在四读出操作方法中，图3的电路中的像素状态、控制信号时序、以及模数转换和传感器读出操作时序。

图7的图表示出了光强度与对应于图5和图6的三读出/四读出操作方法的像素输出信号的信号电平的关系。

图8的图表示出了光强度与像素输出信号的信号电平的关系，以及用于混合两个像素输出信号以产生单个线性高动态范围输出信号的方法。

图9是根据实施方案的一系列电位图，示出在低照度、中照度和高照度条件下的双读出操作方法中的电位电平，以及流经图3的电路的电荷流动。

图10是根据实施方案的时序图，示出在双读出操作方法中，图3 的电路中的像素状态、控制信号时序、以及模数转换和传感器读出操作时序。

图11是根据实施方案的图表，示出了光强度与像素输出信号的信号电平的关系，以及使用两个不同混合算法来获得线性高动态范围输出信号的像素输出信号混合方法。

具体实施方式

本发明的实施方案涉及图像传感器，并且更具体地讲，涉及具有高动态范围(HDR)输出信号的双增益像素的图像传感器。本领域技术人员应该认识到，本发明的示例性实施例可在缺少一些或所有这些具体细节的情况下实施。在其他情况下，并未详细描述众所周知的操作，以免不必要地使本实施方案不明朗。

具有数字相机模块的成像系统广泛用于电子设备，诸如数字相机、计算机、移动电话和其他电子设备中。数字相机模块可包括一个或多个图像传感器，这些图像传感器收集入射光以捕捉图像。

在一些情况下，成像系统可形成更大的系统的一部分，这些更大的系统包括诸如车辆(如，汽车、公共汽车或任何其他车辆)的监控系统或安全系统。在车辆安全系统中，成像系统捕捉到的图像可供车辆安全系统使用以确定车辆周围的环境状况。例如，车辆安全系统可包括诸如停车辅助系统、自动或半自动巡航控制系统、自动制动系统、防撞系统、车道保持系统(有时称为车道漂移预防系统)等。

在至少一些情况下，成像系统可形成半自主或自主无人驾驶车辆的一部分。此类成像系统可捕捉图像并使用这些图像检测附近车辆。如果在图像中检测到附近车辆，则车辆安全系统有时可打开警示灯、发出警告，或者可激活制动、主动转向或其他主动防撞措施。车辆安全系统可使用具有数字相机模块的成像系统连续捕捉的图像，来帮助避免与物体 (如，其他汽车或其他环境物体)碰撞，帮助避免不期望的偏离(如，越过车道标记)，或者帮助车辆在其任何正常运行模式期间安全运行。

图像传感器可包括图像像素阵列。图像传感器中的像素可包括光敏元件，诸如将入射光转换成电荷的光电二极管。图像传感器可具有任何数量(如，数百或数千或更多)的像素。典型的图像传感器可(例如) 具有数百、数千或数百万的像素(如，百万像素)。

图像传感器像素可为双增益像素，它们使用另外的晶体管和存储区连同双增益读出方法改进该像素的动态范围。可调整所使用的双增益读出方法以减少在像素输出信号之间的电气偏移，减少读出所需要的模数转换(ADC)数量，并且消除对帧缓冲器的需要。

图1为示例性成像和响应系统的示意图，该系统包括使用图像传感器捕捉图像的成像系统。图1的系统100可以是车辆安全系统(如，主动制动系统或其他车辆安全系统)，可以是监控系统，或可以是电子设备(诸如相机、移动电话、摄像机或其他捕捉数字图像数据的电子设备)。

如图1所示，系统100可包括成像系统(诸如成像系统10)和主机子系统(诸如主机子系统20)。成像系统10可包括相机模块12。相机模块12可包括一个或多个图像传感器14以及一个或多个镜头。相机模块12中的镜头可例如包括被布置成M×N阵列的M*N个单独的镜头。可将单独的图像传感器14例如布置成对应的M×N图像传感器阵列。M 和N的值可各自大于或等于1，可各自大于或等于2，可超过10，也可为任何其他恰当的值。

相机模块12中的每个图像传感器可相同，或者，在给定图像传感器阵列集成电路中可以有不同类型的图像传感器。每个图像传感器可以是(例如)具有480×640图像传感器像素分辨率的视频图形阵列(VGA) 传感器。如果需要，也可为图像传感器使用其他图像传感器像素排列。例如，可使用分辨率高于VGA分辨率的图像传感器(如，高清图像传感器)、分辨率低于VGA分辨率的图像传感器、以及/或者其中图像传感器不完全相同的图像传感器阵列。

在图像捕捉操作的过程中，每个镜头可将光聚集到相关的图像传感器14上。图像传感器14可包括将光转换成数字数据的光敏元件(即，像素)。图像传感器可具有任何数量(如，数百、数千、数百万或更多) 的像素。典型的图像传感器可(例如)具有数百万的像素(如，百万像素)。例如，图像传感器14可包括偏置电路(如，源极跟随器负载电路)、采样保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字转换器电路、数据输出电路、存储器(如，缓冲电路)、寻址电路等。

可将来自相机传感器14的静态图像数据和视频图像数据经由路径 28提供给图像处理和数据格式化电路16。图像处理和数据格式化电路 16可用于执行图像处理功能，诸如数据格式化、调节白平衡和曝光、实现视频图像稳定、脸部检测等。图像处理和数据格式化电路16也可用于根据需要压缩原始相机图像文件(例如，压缩成联合图象专家组格式或简称JPEG格式)。在典型结构(有时称为片上系统(SOC)布置) 中，相机传感器14以及图像处理和数据格式化电路16在共用半导体衬底上实现(例如，共用硅图像传感器集成电路管芯)。如果需要，相机传感器14和图像处理电路16可以形成在单独半导体衬底上。例如，相机传感器14与图像处理电路16可形成在已堆叠的单独的半导体衬底上。

成像系统10(如，图像处理和数据格式化电路16)可通过路径18 将采集的图像数据传送到主机子系统20。主机子系统20可包括主动控制系统，该主动控制系统将用于控制车辆功能(诸如制动或转向)的控制信号传递到外部设备。主机子系统20可包括处理软件，用于检测图像中的物体、检测物体在图像帧之间的运动、确定图像中物体的距离、过滤或以其他方式处理成像系统10提供的图像。主机子系统20可包括报警系统，该报警系统被配置成在与图像传感器相关的验证图像数据指示图像传感器未正常运行的情况下禁用成像系统10和/或生成警告(例如，汽车仪表盘上的警告灯、声音警告或其他警告)。

如果需要，系统100可向用户提供许多高级功能。例如，在计算机或高级移动电话中，可为用户提供运行用户应用程序的能力。为实现这些功能，系统100的主机子系统20可具有输入-输出设备22(诸如小键盘、输入-输出端口、操纵杆和显示器)及存储和处理电路24。存储和处理电路24可包括易失性和非易失性的存储器(例如，随机存取存储器、闪存、硬盘驱动器、固态驱动器，等等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路等。

在成像系统10操作过程中，相机模块12可连续地捕捉图像帧并且将图像帧提供给主机子系统20。在图像捕捉操作过程中，与图像传感器14相关联的验证电路可能会偶尔运行(例如，每个图像帧捕捉之后、每隔一个图像帧捕捉之后、每五个图像帧捕捉之后、图像帧的一部分捕捉期间等)。验证电路运行时捕捉的图像可包括验证图像数据，该验证图像数据包含验证信息。可将验证图像数据提供给图像处理电路16和/ 或存储和处理电路24。图像处理电路16可被配置用于将验证图像数据与存储在图像处理电路16上的预定数据进行对比。在比较后，图像处理电路16可向主机子系统20发送状态信息或其他验证信息。

图2中示出了图1的相机模块12结构的例子。如图2所示，相机模块12包括图像传感器14与控制和处理电路44。控制和处理电路44 可对应于图1中的图像处理和数据格式化电路16。图像传感器14可包括像素阵列，诸如像素34(在本文中有时称为图像传感器像素或图像像素34)阵列32。控制和处理电路44可耦接到行控制电路40，并且可经由数据路径26耦接到列控制和读出电路42。行控制电路40可从控制和处理电路44接收行地址，并可通过控制路径36向图像像素34 提供对应的行控制信号(如，双重转换增益控制信号、像素重置控制信号、电荷转移控制信号、光晕控制信号、行选择控制信号或任何其他所需的像素控制信号)。列控制和读出电路42可经由一条或多条导线(诸如列线38)耦接到像素阵列32的列。列线38可耦接到图像像素阵列 32中的图像像素34的每一列(例如，像素的每一列可耦接到对应的列线38)。列线38可用于从图像像素34读出图像信号，并用于向图像像素34提供偏置信号(例如，偏置电流或偏置电压)。在图像像素读出操作期间，可使用行控制电路40来选择图像像素阵列32中的像素行，并且与该像素行的图像像素34相关的图像数据可由列控制和读出电路 42在列线38上读出。

列控制和读出电路42可包括列电路，诸如用于放大从阵列32读出的信号的列放大器、用于对从阵列32读出的信号进行采样和存储的采样保持电路、用于将读出的模拟信号转换成对应数字信号的模拟-数字转换器电路、以及用于存储读出信号和任何其他所需数据的列存储器。列控制和读出电路42可通过线26将数字像素值输出到控制和处理电路 44。

阵列32可以具有任何数量的行和列。一般来讲，阵列32的大小以及阵列32中的行和列的数量将取决于图像传感器14的具体实施。虽然行和列在本文中一般分别被描述为水平和垂直的，但是行和列可以指任何网格状的结构(如，本文中描述为行的特征可垂直地布置，并且本文中描述为列的特征可水平地布置)。

如果需要，阵列32可为堆叠管芯结构的一部分，其中阵列32的像素34会被划分在两个或更多个堆叠衬底中。在这种结构中，阵列32中的每个像素34可在像素内的任何所需节点处被划分在两个管芯中。举例来说，诸如浮动扩散节点的节点可跨两个管芯形成。包括光电二极管和耦接在光电二极管与所需节点(在本例中，诸如浮动扩散节点)之间的电路的像素电路可以形成在第一管芯上，并且其余像素电路可以形成在第二管芯上。所需节点可形成在连接两个管芯的耦接结构(诸如导电衬垫、微型衬垫、导电互连结构或导电通孔)上(即，作为其一部分)。在两个管芯结合前，耦接结构可以在第一管芯上具有第一部分，并且可以在第二管芯上具有第二部分。第一管芯和第二管芯可彼此接合，使得该耦接结构的第一部分和该耦接结构的第二部分被结合在一起并且电耦接。如果需要，耦接结构的第一部分和第二部分可彼此压缩接合。然而，这仅仅是示例性的。如果需要，可以使用任何已知的金属对金属接合技术诸如软焊或焊接，来将形成在相应第一管芯和第二管芯上的耦接结构的第一部分和第二部分接合在一起。

如上所述，像素电路中被划分到两个管芯中的所需节点可为浮动扩散节点。或者，所需节点可为浮动扩散区与源极跟随器晶体管栅极之间的节点(即，浮动扩散节点可以形成在形成有光电二极管的第一管芯上，同时耦接结构可以将浮动扩散节点连接至第二管芯上的源极跟随器晶体管)、浮动扩散区与转移晶体管源极-漏极节点之间的节点(即，浮动扩散节点可以形成在未设有光电二极管的第二管芯上)、源极跟随器晶体管源极-漏极节点与行选择晶体管之间的节点、或像素电路的任何其他所需节点。

图3是双增益图像像素的电路图和对应的电位图。如图3所示，双增益图像像素200包括光敏元件202(例如，光电二极管)，该光敏元件具有连接到接地端222的第一端子，和通过转移晶体管204耦接到浮动扩散节点(FD)212的第二端子。浮动扩散节点212通过增益选择晶体管206和重置晶体管208来耦接到电压源220。增益选择电容器210具有电容C_GS，并且具有连接到接地端222的第一端子，和耦接到插入在增益选择晶体管206与重置晶体管208之间的节点的第二端子。如果需要，可替代地将增益选择电容器210的第一端子耦接到固定电位(未示出)。源极跟随器晶体管214具有耦接到浮动扩散节点212的栅极端子、耦接到电压源220的第一源极-漏极端子、以及通过行选择晶体管216 耦接到列输出线218的第二源极-漏极端子。

转移晶体管204的栅极端子接收控制信号TX。增益选择晶体管206 的栅极端子接收控制信号GS。重置晶体管208的栅极端子接收控制信号RESET。行选择晶体管216的栅极端子接收控制信号RS。电压源220 提供电压Vdd。控制信号TX、GS、RESET和RS由行控制电路提供(诸如图2中的行控制电路40)。

图3中示出的电位图230对应于双增益像素200内的不同位置处的电压电平(V)，并且用于示出在图4和图9的像素操作过程中，在这些位置处的电压电平和电量。光电二极管区232对应于光电二极管202处的电压电平。转移区234对应于转移晶体管204处的电压电平。浮动扩散区236对应于浮动扩散节点212处的电压电平。增益选择晶体管区 238对应于增益选择晶体管206处的电压电平。增益选择存储区240对应于增益选择电容器210处的电压电平。重置区242对应于重置晶体管 208处的电压电平。电压源区244对应于电压源220处的电压电平。电荷(其由图4和图9中的变暗区域表示)在光电二极管积聚过程中聚积在光电二极管区232中，并且在电荷转移和信号读出操作过程中转移至区236和240。

图4示出一系列电位图，这些电位图对应于图3中的电位图230，并且示出在低照度条件和高照度条件下，在双增益像素200的三读出操作方法期间，各时段的双增益像素200中的电位电平。图5示出双增益像素200的三读出操作方法的时序图。图5的时序图示出像素200的状态、控制信号TX、GS、RESET和RS时序、包括双增益像素200的图像传感器的ADC和传感器读出操作时序。图5的时序图对应于图4的电位图。在时段t₁时，信号TX、GS和RESET生效，使得区234,238 和242被设定为高电压电平，以便重置像素200。在时段t₂时，TX和RESET生效，使得区234和242被设定为低电压电平。

像素曝光以及溢出在时段t₂-t₃时发生。时段t₂表示光电二极管电荷积聚开始。时段t₃表示光电二极管电荷积聚结束。在低照度条件下，在时段t₃时，所有电荷均包含在光电二极管区232内，而不发生溢出。在高照度条件下，在时段t₃时，聚积的电荷超过光电二极管区232的容量，从光电二极管区232溢出到浮动扩散区236和增益选择存储区240中。

像素读出在时段t₄-t₈时发生。在时段t₄时，信号RESET、TX和 GS被解除生效时(即，像素200呈高增益配置时)，控制信号RS呈脉冲状，以便读出高增益重置电压HGR。在无电荷溢出的低照度条件下，聚积的电荷将保留在光电二极管区232中，而且将不促成HGR。在高照度条件下，浮动扩散区236中的溢出电荷将促成HGR。在时段t₅时，信号GS和RESET解除生效时，信号TX生效，以便将电荷从光电二极管区232转移到浮动扩散区236。在低照度条件下，光电二极管上的电荷完全转移，而高照度条件下，一些电荷保留在光电二极管区232中。在时段t₆时，信号RESET、TX和GS解除生效时，信号RS呈脉冲状，以便读出高增益信号电压HGS。在时段t₇时，在信号RESET解除生效时，信号TX和GS生效，使得光电二极管区232中保留的任何电荷分布在浮动扩散区236与增益选择区240之间。在时段t₈时，在解除生效信号RESET和TX时(即，在像素200呈低增益配置时)，信号RS呈脉冲状，以便读出低增益信号电压LGS。像素重置再次在时段t₉时发生。在时段t₉时，保持信号RESET、TX和GS生效，直到新像素曝光和溢出时段开始为止。

如图5所示，由包含每个所捕捉图像的双增益像素200的图像传感器执行三次ADC和两次传感器读出操作。在分别读出HGR、HGS和 LGS后，这些信号立即从模拟信号转换成数字信号。在HGR和HGS 信号经历ADC处理后，从HGS中减去HGR来生成高增益信号 HG(S-R)，并且该信号随后从图像传感器中被读出。在读出HG(S-R)后，从图像传感器中读出LGS。

应注意到，在图5的像素操作过程中，并未读出低增益重置电压。相反，使用帧缓冲器来存储校准电压CAL，该校准电压CAL对应于在像素重置过程中浮动扩散节点上的电压。在下游处理过程中，从LGS 中减去CAL，以便产生低增益信号。要添加该帧缓冲器需要在图像传感器中包括另外硬件，但会减少为每个所捕捉图像执行的所需读出数量。

图6示出双增益像素200的四读出操作方法的时序图。图6的时序图示出像素200的状态、控制信号TX、GS、RESET和RS时序、包括双增益像素200的图像传感器的ADC和传感器读出操作时序。在时段 t₁-t₈时，发生的四读出方法的操作与上文结合图5描述的操作基本相同，并且为了简洁起见，在此将不再重复这些操作的描述。在图6的四读出方法中，像素读出不以LGS的读出而结束。相反，在时段t₉时，在信号TX和RS解除生效时，信号RESET和GS可以生效，以便将像素200 重置为电压Vdd。在时段t₁₀时，在信号GS生效并且信号TX和RESET 解除生效时，信号RS呈脉冲状，以便读出低增益重置电压LGR。像素重置在时段t₁₁时发生。在时段t₁₁时，保持信号RESET、TX和GS生效，直到新像素曝光和溢出时段开始为止。

如图6所示，由包含每个所捕捉图像的双增益像素200的图像传感器执行四次ADC和两次传感器读出操作。在分别读出HGR、HGS、LGS 和LGR后，这些信号立即从模拟信号转换成数字信号。在HGR和HGS 信号经历ADC处理后，从HGS中减去HGR来生成高增益信号 HG(S-R)，并且该信号随后从图像传感器中被读出。在读出HG(S-R)后，从LGS中减去LGR来生成低增益信号LG(S-R)，并且该信号随后从图像传感器中被读出。

应注意到，在图6的四读出方法中，低增益信号LG(S-R)是部分地基于在时间t₁₀时读出的低增益重置信号LGR来生成的，而非基于所存储的校准信号(例如，以上结合图5来描述的信号CAL)来生成。这使得不再需要帧缓冲器来存储校准信号。这种方法增加了每个所捕捉图像所需的读出数量，但无需为帧缓冲器增添任何额外的硬件。

图7的图表示出了光强度与使用图4至图6的三读出/四读出操作方法来读出的信号的信号电平(-V)的关系。在光强度水平702下，发生电荷溢出。在图4和图5的三读出操作方法中，可替代读出信号LGR 而将对应于电压740的校准信号CAL存储在帧缓冲器中。信号HGR和 LGS以及信号HGS的一部分在光强度水平702下具有相同光强度倾斜度704，然而，一旦光强度的大小大到足以形成超出图像传感器中模拟读出链的操作范围的HGS信号，信号HGS就会被削波。信号HGS和 HGR在高增益配置下被读出，而信号LGS和LGR在低增益配置下被读出。

图8的图表示出了光强度与像素输出信号的信号电平(-V)的关系，以及用于混合两个像素输出信号以产生单个线性高动态范围输出信号 HDR的方法。高增益信号HG对应于图5-图7的高增益信号HG(S-R)。低增益信号LG对应于图5-图7的低增益信号LG(S-R)或LG(S)。高动态范围信号HDR表示在处理后由像素输出的实际信号。对于范围824 中的光强度，高增益信号HG被输出为HDR。对于范围826中的光强度，低增益信号LG沿路径822放大，并随后输出为HDR。在范围826 中，由于信号HG的信号电平超出图像传感器的模拟读出链的操作范围，因而信号HG会经历削波820，所以在该范围中使用信号LG。

在混合区828中，HDR被定义为高增益信号HG的一部分与经放大的低增益信号LG的一部分的总和。例如，HDR可使用以下公式(1) 来计算，

HDR＝(1-α)(HG)+(α)(G)(LG) (1)

其中G是HG与LG之间用于放大LG的增益比，并且其中α是当光强度范围为从混合区828的起点至混合区828的终点时，范围从0至1的任何期望函数(例如，线性函数、sigmoid函数)。采用混合的方式将 HDR的值从HG过渡到LG避免了噪声突增，并且防止HG与LG之间的假设增益差出现误差。与进行从HG至LG的硬切换时形成的间断相比，这样混合仅带来了非线性的较小信号。

图9示出一系列电位图，这系列电位图对应图3中的电位图230，并且示出在高照度、中照度和低照度条件下，在双增益像素200的双读出操作方法期间，各时段的双增益像素200中的电位电平。图10示出图8的双增益像素200的双读出操作方法的时序图。图10的时序图示出像素200的状态、控制信号TX、GS、RESET和RS时序、包括双增益像素200的图像传感器的ADC和传感器读出操作时序。在时段t₁-t₃时，发生的图8和图9的双读出方法的操作可与以上结合图5描述的操作基本相同，并且为了简洁起见，在此将不再重复这些操作的描述。在图9和图10的双读出方法中，可以在高增益配置下从像素200中读出所有信号。时段t₄-t₆可对应于像素读出。在时段t₄时，在信号GS、TX 和RESET解除生效时(即，高增益配置)，信号RS呈脉冲状，以便读出高增益重置电压HGR。在低照度条件下，当读出HGR时，浮动扩散区236将几乎不包含电荷甚至不包含电荷。在中照度和高照度条件下，浮动扩散区236将包含在电荷聚积过程中从光电二极管区232溢出的电荷。在时段t₅时，在信号GS、RS和RESET解除生效时，可使信号TX生效，以便将非溢出电荷从光电二极管区232转移到浮动扩散区 236。在低照度和中照度条件下，非溢出电荷可完全地从光电二极管区 232转移到浮动扩散区236。在高照度条件下，在由于浮动扩散区236 容量有限而导致在时段t₅发生电荷转移后，一些非溢出电荷可保留在光电二极管区232上。在时段t₆时，在信号GS、TX和RESET解除生效时，可使信号RS生效，以便读出高增益信号电压HGS。像素重置再次在时段t₇时发生。在时段t₇时，保持信号RESET、TX和GS生效，直到新像素曝光和溢出时段开始为止。

如图10所示，由包含每个所捕捉图像的双增益像素200的图像传感器执行两次ADC和两次传感器读出操作。在分别读出HGR和HGS 后，这些信号立即从模拟信号转换成数字信号。在信号HGR和HGS 经历ADC处理后，就会生成高动态范围图像信号HDR(有时称为高动态范围信号HDR)。HDR可例如使用图像处理电路诸如图1中的图像处理和数据格式化电路16来生成。当光强度低于第一阈值时，基于以下公式(2)计算HDR。当光强度在第一阈值与第二阈值之间时，基于以下公式(3)计算HDR。当光强度在第二阈值与第三阈值之间时，基于以下公式(4)计算HDR。当光强度在第三阈值与第四阈值之间时，基于以下公式(5)计算HDR。当光强度高于第四阈值时，基于以下公式(6)计算 HDR。

HDR＝HGS–HGR (2)

HDR＝HGS–HGR+(α)(G)(HGR–CAL1)α＝[0..1] (3)

HDR＝HGS–HGR+(G)(HGR–CAL1) (4)

HDR＝(1-β)((HGS–HGR)+(G)(HGR-CAL1))+(β)(CAL2+((G)(HGR-

CAL1)))β＝[0..1] (5)

HDR＝CAL2+(G)(HGR-CAL1) (6)

其中G是在溢出开始后的HGR与溢出开始前的HGS之间的增益比，其中溢出被限定为在特定光强度水平处开始，其中CAL1是存储的校准值，其对应于黑暗中的HGR的值(即，CAL1是暗偏移校准电压)，其中CAL2是存储的校准值，其对应于光强度在第二阈值与第三阈值之间时的(HGS-HGR)的值(例如，在电荷从光电二极管的溢出开始时)，其中α是当光强度范围为第一阈值至第二阈值时，范围从0至1的任何期望函数(例如，线性函数、sigmoid函数)，并且其中β是在光强度范围为第三阈值至第四阈值时，范围从0至1的任何期望函数(例如，线性函数、sigmoid函数)。函数α和β可为预定义的光强度的函数。校准值CAL1和CAL2可以例如存储在图像传感器上的相应帧缓冲器中。

图9-图10的双读出方法可比图4-图6的方法更为有利。因为与三读出和四读出方法相比，双读出方法需要更少读出和更少ADC，所以可在相同功率电平下实现更快操作，并且在相同操作速度下降低功耗。双读出方法还略微地增大使用该方法的像素的最大光-电荷存储容量。应注意到，这些优点是伴随着对如下情况的权衡取舍而产生的：必须在图像传感器中存储两个校准信号(即，外部参考图像)以用于HDR信号校准。另外，双读出方法仅以高增益配置执行信号读出，这比使用高增益配读出和低增益配置读出的组合以致造成在高增益信号与低增益信号之间出现电学偏移的传统方法更为有利。

图11的图表示出了光强度与像素输出信号的信号电平的关系(-V)，以及使用改进混合方法为产生线性高动态范围输出信号HDR做出的模拟决策。图11中示出的信号HGS和HGR可对应于结合图9-图10所描述的那些信号。HGS的饱和点1102可以受到信号溢出限制，而不受到模拟读出链削波限制。模拟读出链削波将最终会在区1120处引起另外的饱和现象。溢出在与饱和点1102关联的光强度水平下开始发生。应注意到，开始发生溢出的光强度低于发生信号HGS饱和时的光强度。在溢出起点与信号HGS饱和起点之间，信号HGS和HGR可以具有相同斜率1104。饱和起点和溢出起点可由相应光强度阈值标记。

在图9和图10的双读出方法中，对于1150中的光强度，使用公式 (2)计算HDR。对于区1156中的光强度，使用公式(3)计算HDR，其中增益比G可对应于路径1122。对于区1152中的光强度，使用公式(4) 计算HDR。对于区1158中的光强度，使用公式(5)计算HDR。对于区1154中的光强度，使用公式(6)计算HDR。区1150,1152,1154,1156和 1158在本文中有时可以称为光照条件范围和光强度值范围。

点1142表示对应于图9和图10的双读出方法中采用的校准信号 CAL1的光强度和信号电平。点1140表示对应于计算图9和图10的双读出方法中所用的校准信号CAL2而采用的HGR和HGS值的光强度和信号电平。

图11的改进混合方法可比图8的混合方法更为有利。因为信号HGS 在高于某个光强度水平情况下经历了削波，所以在接近削波光强度时 HDR的计算变得不太准确。因此，有利的是，在光强度落入区1158内时，且区1154中即将发生削波前，并入使用第二混合方法。以此方式使用第二混合方法会防止从在区1152中使用公式(4)过渡到在区1154 中使用公式(6)时发生间断。相反，由公式(5)表示的第二混合方法允许在区1152和1154之间发生平滑过渡。

已描述了示出包括成像系统和主机子系统的成像系统(例如，图1 的系统100)的各种实施例。根据一个实例，成像系统可包括被布置成行和列的像素阵列。像素阵列中的每个像素可包括：光电二极管，该光电二极管响应于入射光来积聚电荷；浮动扩散节点，该浮动扩散节点经由转移晶体管来耦接到光电二极管；增益选择存储节点，该增益选择存储节点被耦接到浮动扩散节点；以及读出电路，所述读出电路被耦接到浮动扩散节点。读出电路在像素呈高增益配置时，可以读出第一信号。第一信号可以基于聚积的电荷中从光电二极管溢出到浮动扩散节点和增益选择存储节点中的第一部分。读出电路在像素呈高增益配置时，可以读出第二信号。第二信号可以基于聚积的电荷中的第一部分，以及基于聚积电荷的通过转移晶体管而转移到浮动扩散节点的第二部分。

成像系统还可包括图像处理电路，该图像处理电路从读出电路接收第一信号和第二信号，并且基于第一信号和第二信号生成高动态范围信号。高动态范围信号可以基于第一信号和第二信号并且基于第一校准信号和第二校准信号生成。第一校准信号可为暗偏移校准电压。第二校准信号可对应于在某个光强度水平下取样的高增益信号电压与高增益重置电压之间的预定差值。这个光强度水平对应于电荷从光电二极管溢出的开始。

增益选择晶体管可以插入在浮动扩散节点与增益选择存储节点之间。高增益配置可以在增益选择晶体管停用时出现，使得浮动扩散节点通过增益选择晶体管而与增益选择存储节点隔离。

根据另一实例，一种成像系统操作方法可包括：利用双增益像素中的光电二极管，响应于入射光来聚积电荷；利用读出电路，在像素呈高增益配置时，读出第一信号，其中第一信号基于聚积的电荷中从光电二极管溢出到浮动扩散节点和增益选择存储节点中的第一部分；利用转移晶体管，在高增益配置下，将聚积的电荷的第二部分从光电二极管转移到浮动扩散节点；以及利用读出电路，在像素呈高增益配置时，读出第二信号，其中第二信号基于在浮动扩散节点处聚积的电荷的第一部分和第二部分。高增益配置可包括将用于增益选择晶体管的栅极信号解除生效，以便将浮动扩散节点与增益选择存储区隔离。

这种方法还可包括利用图像处理电路，从读出电路处接收第一信号和第二信号，并且基于第一信号和第二信号生成高动态范围信号。高动态范围信号可以基于第一信号和第二信号并且基于第一校准信号和第二校准信号生成。第一校准信号可为暗偏移校准信号。第二校准信号可基于分别在某个光强度阈值下取样的高增益信号电压与高增益重置电压之间的预定差值。光强度阈值对应于在光电二极管处开始发生电荷溢出时的光强度水平。

这种方法还可包括在读出第二信号后，将双增益像素重置为像素重置电压。

根据另一实例，一种成像系统操作方法可包括：在曝光期间，利用像素中的光电二极管，响应于入射光来聚积电荷。在高亮度条件下，在曝光期间，聚积的电荷中的第一部分可以从光电二极管溢出到存储节点之中，并且在曝光期间，聚积的电荷中的第二部分可以保留在光电二极管上。该方法还可包括：利用读出电路，在像素呈高增益配置时，读出第一信号，其中第一信号基于聚积的电荷中的所述第一部分；利用读出电路，在像素呈高增益配置时，读出第二信号，其中第二信号基于聚积的电荷的第一部分和第二部分；以及利用图像处理电路，生成高动态范围图像信号。高动态范围图像信号可以基于第一信号和第二信号、以及在第一范围光照条件下的第一校准信号生成。高动态范围图像信号可以基于第一信号和第二信号、第一校准信号和在第二范围光照条件下的第二校准信号生成。

第一范围光照条件可包括低光条件，在这个低光条件下，聚积的电荷中的任何部分都不从光电二极管中溢出。第二信号可以在高于光强度阈值时变为经削波的信号。第二范围光照条件可包括近似或大于光强度阈值的光强度值的范围。第一校准信号可为暗偏移校准信号。第二校准信号可基于分别在某个光强度水平下取样的高增益信号电压与高增益重置电压之间的预定差值。高动态范围图像信号可另外地基于预定义的函数。这些预定义的函数可为光强度的函数。

前述内容仅是对本发明原理的示例性说明，因此本领域技术人员可以在不脱离本发明的精神和范围的前提下进行多种修改。上述实施例可单独地或以任意组合方式实施。

Claims

1.一种成像系统，所述成像系统包括：

像素阵列，所述像素阵列按行和列排列，所述像素阵列中的每个像素包括：

光电二极管，所述光电二极管响应于入射光来聚积电荷；

浮动扩散节点，所述浮动扩散节点经由转移晶体管耦接到所述光电二极管；

增益选择存储节点，所述增益选择存储节点耦接到所述浮动扩散节点；以及

读出电路，所述读出电路耦接到所述浮动扩散节点，其中所述读出电路在所述像素呈高增益配置时，读出第一信号，其中所述第一信号基于所聚积的电荷中从所述光电二极管溢出到所述浮动扩散节点和所述增益选择存储节点中的第一部分，其中所述读出电路在所述像素呈所述高增益配置时，读出第二信号，其中所述第二信号基于所述聚积的电荷中的所述第一部分，以及基于所述聚积的电荷中的通过所述转移晶体管而转移到所述浮动扩散节点的第二部分，并且所述像素响应于所述读出电路读出所述第二信号而重置。

2.根据权利要求1所述的成像系统，还包括：

图像处理电路，所述图像处理电路从所述读出电路接收所述第一信号和所述第二信号，并且基于所述第一信号和所述第二信号生成高动态范围信号。

3.根据权利要求2所述的成像系统，其中所述高动态范围信号基于所述第一信号和所述第二信号并且基于第一校准信号和第二校准信号生成。

4.根据权利要求3所述的成像系统，其中所述第一校准信号是暗偏移校准电压。

5.根据权利要求4所述的成像系统，其中所述第二校准信号对应于在某个光强度水平下取样的高增益信号电压与高增益重置电压之间的预定差值，并且其中所述光强度水平对应于电荷从所述光电二极管溢出的开始。

6.根据权利要求1所述的成像系统，其中增益选择晶体管插入在所述浮动扩散节点与所述增益选择存储节点之间。

7.根据权利要求6所述的成像系统，其中所述高增益配置在所述增益选择晶体管停用时出现，使得所述浮动扩散节点通过所述增益选择晶体管而与所述增益选择存储节点隔离。

8.一种成像系统操作方法，所述方法包括：

利用双增益像素中的光电二极管，响应于入射光来聚积电荷；

利用读出电路，在所述像素呈高增益配置时，读出第一信号，其中所述第一信号基于所述聚积的电荷中从所述光电二极管溢出到浮动扩散节点和增益选择存储节点中的第一部分；

利用转移晶体管，在所述高增益配置下，将所述聚积的电荷的第二部分从所述光电二极管转移到所述浮动扩散节点；以及

利用所述读出电路，在所述像素呈所述高增益配置时，读出第二信号，并且其中所述第二信号基于在所述浮动扩散节点处的所述聚积的电荷的所述第一部分和所述第二部分，以及

响应于读出所述第二信号，将所述双增益像素重置为像素重置电压。

9.根据权利要求8所述的方法，其中所述高增益配置包括将用于增益选择晶体管的栅极信号解除生效，以便将所述浮动扩散节点与增益选择存储区隔离。

10.根据权利要求8所述的方法，还包括：

利用图像处理电路，从所述读出电路接收第一信号和第二信号，并且基于所述第一信号和所述第二信号生成高动态范围信号。

11.根据权利要求10所述的方法，其中所述高动态范围信号基于所述第一信号和所述第二信号并且基于第一校准信号和第二校准信号生成。

12.根据权利要求11所述的方法，其中所述第一校准信号是暗偏移校准信号。

13.根据权利要求12所述的方法，其中所述第二校准信号基于在某个光强度阈值下分别取样的高增益信号电压与高增益重置电压之间的预定差值，其中所述光强度阈值对应于在所述光电二极管处开始发生电荷溢出时的光强度水平。

14.一种成像系统操作方法，所述方法包括：

在曝光期间，利用像素中的光电二极管，响应于入射光来聚积电荷，其中在高光照条件下，在所述曝光期间，所述聚积的电荷中的第一部分从所述光电二极管溢出到存储节点之中，并且其中在所述曝光期间，所述聚积的电荷中的第二部分保留在所述光电二极管处；

利用读出电路，在所述像素呈高增益配置时，读出第一信号，其中所述第一信号基于所述聚积的电荷中的所述第一部分；

利用所述读出电路，在所述像素呈所述高增益配置时，读出第二信号，并且其中所述第二信号基于所述聚积的电荷的所述第一部分和所述第二部分；以及

利用图像处理电路，生成高动态范围图像信号，其中在第一范围光照条件下所述高动态范围图像信号基于所述第一信号和所述第二信号、以及第一校准信号生成，并且其中在第二范围光照条件下所述高动态范围图像信号基于所述第一信号和所述第二信号、所述第一校准信号以及第二校准值生成。

15.根据权利要求14所述的方法，其中所述第一范围光照条件包括低光照条件，在这个低光照条件下，所述聚积的电荷中没有任何部分从所述光电二极管中溢出。

16.根据权利要求15所述的方法，其中所述第二信号在高于光强度阈值时被削波，并且其中所述第二范围光照条件包括临近且大于所述光强度阈值的光强度值的范围。

17.根据权利要求16所述的方法，其中所述第一校准信号是暗偏移校准信号。

18.根据权利要求17所述的方法，其中第二校准信号基于分别在所述光强度阈值下取样的高增益信号电压与高增益重置电压之间的预定差值。

19.根据权利要求14所述的方法，其中所述高动态范围图像信号另外基于预定义的函数，其中所述预定义的函数是光强度的函数。