本申请要求名为“Wide Dynamic Range CMOS Image Sensor Circuitand Method of Use”的未决临时专利申请的优先权,该临时申请提交于2006年5月12日,序列号是60/800,129。该临时申请的内容作为参考完全引入本申请。
背景技术
影像传感器已经被广泛地应用于很多领域。影像传感器将接收影像转换为表示接收影像的代表信息。影像传感器的例子包含固态影像传感器,例如电荷耦合装置(CCD)及CMOS成像装置(也称为CMOS影像传感器)等等。
影像传感器是由半导体材料制造并包含光检测的成像阵列,即感光单元(也称为光检测器),其互连以产生对应于照亮该装置的影像的代表信息(例如模拟信号)。典型成像阵列包含若干光检测器,安置成一图案,例如,包含有列与行的图案。在成像阵列中的每一光检测器接收一部份的自一物体反射并为影像传感器所接收的光。每一部份称为图像单元并典型称为像素。每一像素提供代表为光检测器所检测的亮度及/或色度的输出信息。当考虑光检测器的图案时,自像素输出的信息构成了对应于入射于成像阵列上的影像的代表信息。
例如,成像阵列的每一像素可以提供输出信息,即输出信号,其可以依据光电效应,例如依据电荷的累积,即光电荷的累积,光电效应对应于落在为对应光检测器的实体尺寸所定义的检测面积上的辐射强度。来自每一像素的光电荷被转换为电荷信号,其为代表自该物体个别部份反射并为该影像传感器所接收的亮度及/或色度的电位代表值。所得的电荷信号或电位为视讯/影像处理电路所读取及处理,以建立该影像的信号代表值。
在影像传感器阵列中,很难同时完成宽广动态范围与低噪声。现今倾向于在CMOS四晶体管(4T)技术中进行小像素间距,这造成当像素收缩时的电荷容量的损失。这造成成像器只有56dB或更少的动态范围。此低动态范围劣化了户外影像的质量,因为在感应光二极管中,没有足够的范围,以描述现场的亮与暗区。
传统CMOS影像传感器典型被建构成光检测器的成像阵列,在前一影像被读出后,每一光检测器被重置至似近已知电位。然而,传统CMOS影像传感器的效能有若干问题。例如,在每一曝光后及准备下一影像后,传统CMOS影像传感器会承受在每一像素中的光二极管重置至已知电位的程序有关的噪声。此噪声也称为重置噪声或KTC噪声,经常为使用传统CMOS影像传感器的摄影系统中的噪声的重要来源。重置噪声成比例于KTC的平方根,其中C为在典型主动像素传感器中的感应节点或光二极管/源极跟随器栅极组合的电容值。重置噪声典型为30至40电子一个σ。降低感应节点的电容值可以降低重置噪声,但也造成可以收集的总电荷的对应降低,因此,也不期望地降低摄影系统的整体动态范围。
再者,在影像传感器中的倾向于小像素间距造成了额外的电荷容量损失,进一步降低动态范围。由于有限范围的传感器的光检测器及其描述在单一帧曝光的现场的亮与暗区的能力不足,低动态范围显著地劣化影像质量,特别是户外的影像质量。
在影像传感器中增加动态范围的方法涉及分开取得短曝光及长曝光,每一储存于个别帧缓冲器中的曝光中,短曝光适当以捕捉现场的亮区,及长曝光则适用以捕捉现场的暗区。随后,储存在短曝光帧缓冲器中的影像及储存在长曝光帧缓冲器中的影像可以被整合成单一影像具有改良的动态范围。然而,有关额外帧缓冲器造成的显著增加的成本使得此方法对应于很多应用而言并不实用。
三晶体管(3T)像素可以被建构为大容量(例如15,000至35,000光子或更多),但25至35电子(转换光子)的更高背景噪声造成了最佳60dB的动态范围。然而,相较于4T像素,在低光状态时,背景噪声愈高及3T像素的暗电流愈大造成显著的效能降低。
在更高成本系统中,例如保全应用所应用者,可以藉由收集多个全帧影像及不同曝光,而组合很高动态范围的影像。这些输出被储存在全帧内存缓冲器中,并可以藉由软件建立很高动态范围影像。然而,所取得的缓冲器内存成本可与影像传感器的成本相比拟,此成本并不容易为例如手机相机的低阶消费者应用所承受。然而,在高阶相机手机中,在整个效能上的显著改良可以藉由相机中的帧缓冲器的使用加以完成。
具有约2.25微米至2.8微米间距的四晶体管(4T)像素努力保有6,000电子容量,同时,维持约10电子的背景噪声。相较于3T技术,此低噪声背景噪声及缺乏显著暗信号噪声造就低光效能时的三至四倍改良。然而,完整动态范围保持在56dB,及对于较大像素相机而言,户外影像是较差的。
因此,有需要低成本解决方案,其保有低光效能及小像素间距的小形状因素,但对户外影像的动态范围有实质(例如2x)改良。因此,在本技术中,有需要符合成本效益的宽动态范围影像传感器。
具体实施方式
本发明旨在提供宽动态范围影像传感器及其使用方法。以下说明包含属于本发明实施法的特定信息。本领域技术人员将得知本发明可以用与本申请所特别说明的不同方式实施。再者,本发明的部份特定细节将不讨论,以免不当地限制本发明。在本申请中未描述的的特定细节是本领域技术人员所公知的。
本申请的图式与其详细说明只例示本发明的实施例。为了简明起见,使用本发明原理的其它实施例并未在本申请中详细说明及在附图中详细显示。为了容易了解,附图中的各种组件与尺寸并未依实际比例绘出。
依据本发明,摄影系统(例如CMOS摄影系统)对于单一帧,可以在两积分时间内捕捉影像。支持或积分像素处理链组合两嵌入影像成为具有完整动态范围的单一影像,该完整动态范围可以大约等于具有实际像素光子容量两倍的像素的动态范围。例如,典型具有6,000电子容量的4T像素将呈现相当于最大动态范围62dB的12,000电子容量的影像,提供了6dB的改良。
这种在动态范围的增加可以经由共享像素的新颖像素及读出方法加以完成。影像信息是被使用共同感应节点的四像素所收集。在户外曝光时,对于比将被支持的像素容量长的帧,选择整体积分时间。没有了额外动作,将只会造成在阴影内的影像特性被正确地曝光,而在亮光(例如日光)中的影像特性将被曝光过度。
在比最亮像素需要的曝光更少的曝光的部份时间到达容量后,执行快速读取操作以检查像素的曝光量。此快速读取操作可以通过读取额外像素单元来执行。额外像素单元可以是特别被制造为光度计的第四像素单元,或者为展现感光特性的现有电路特性。优选方法为读取第五像素单元。
第五像素单元可以例如为传统3T光检测器,其与共享四像素簇相关,其中每一像素可以例如是4T像素。第五像素单元可以被读取及重置。第五像素单元可以是很小的3T像素,因为它们没有限制或者有关于像素的固定图案噪声的考虑。第五像素单元的光响应量级可以通过使用光屏蔽加以调整,以确保其不会过于敏感。3T第五像素单元在帧积分开始时被重置至高电压。在总积分时间的一部份(例如一半)完成后,第五像素单元被读取。此快速读出可以藉由列模数转换器(ADC)比较器完成,及在每一行中的每一像素与预定值比较。已经被减少到低于预定值的感应节点电压的像素已经曝光至亮光并将变成过填充,并且如果积分被持续至完全扩展的曝光时间(例如两倍于正常曝光时间)时,则对最终影像无用。当对于四个4T光二极管的共享像素簇,列ADC认出在第五像素单元中的感应节点的衰竭状态(depleted condition,即曝露至亮光),则逻辑闭锁被设入列读出电路。此衰竭状态信号因此逐行被记录。使用该列储存的信息以在重置感应节点读取操作后紧接着的该行中的每一衰竭像素。此重置事件的记录可以通过写入或重置第五像素单元至一可识别值,例如很低电压而储存在该像素中。
另一方法为轮询或读取该感应节点。此共享的感应节点被曝光,其电压降至成比例于局部区域的光收集。当局部像素变得过饱和时,感应节点电压将快速下降。在此读取操作时,用于所有四个规则光检测器的传送栅极保持闭合,并且只有保持在共同感应节点的电荷被轮询。此快速读出为列ADC比较器所完成,以及在每一行中的每一像素与预定值相比。感应节点电压已经降低到低于预定值的像素已经被曝露至亮光并将变成过填充,如果积分持续全曝光持续时间(例如两倍于正常曝光持续时间),则对最终影像无用。当列ADC认出在亮光中的这些共享像素簇的感应节点的衰竭状态时,逻辑闭锁被设定于列读出电路。此衰竭状态信号因此被逐行记录。使用该列储存的信息,以在紧随感应节点读取操作后的该行中,重置每一衰竭像素。此重置事件的记录可以储存在能储存状态信息的单元中,例如,通过写入或重置第五像素单元至可认出值,例如很低电压或在存储单元中,储存在该像素中。
像素将包含状态信息储存单元,例如第五像素单元或存储单元,其可以与影像传感器一起整合或在一分开的存储器装置中。储存状态信息的单元优选地只有恰好在帧的全扩展曝光时间流逝前的曝光点被重置或改变状态。当最终影像被读出,状态信息储存单元的状态也被读取。第五像素单元为小的第三行像素,其物理地与逻辑地相关于传统像素(例如一传统像素或两传统像素)的每一拜尔图案组。第五像素单元的状态告诉像素处理链,相关共享成像像素在中间曝光点被重置,表示这些值在最终影像表示中被相应地依比例(例如2x)定标)。(此状态可以附加至“用于像素的位”,作为在读出时的列电路中的加入位。)第五像素单元为一简单二极管储存节点,当相关四成像像素被选择用于中间时间的积分重新开始时,其被重置为高(或低,简单的差分状态)。
在整个帧的积分时间结束时,一种决定是否中间重置被应用的第二方法再次轮询共享感应节点。例如,通过决定共享感应节点对亮度的反应,可以设定适当阈值,用以比较共享感应节点的轮询,以决定是否应用中间重置。
第五像素单元的快速读取在帧曝光完成前被使用以比较固定值。这是通过列ADC法最佳且容易地完成。另外,使用列电路或列映射存储器以记住结果,并且使用根据光度计像素取样的决定以指示哪些像素应被重置,以确保最大动态范围。同时,垂直扫描模块也被采用以收纳可变重置电压至每一组三行的供应。附加的哑行(dummy row)优选地被加至系统,以维持模拟负载的平衡。此哑行被重置用于所有像素列地址,所述像素列地址在同一重置操作中,并非在在用行中重置,以此保持模拟电路上的负载恒定。
为光度计光检测器所占用的面积量与为成像光检测器所占用的面积量的比例可以选择,以使效能最佳化。当愈多区域被贡献于光度计光检测器时,光检测器的数量增加,这也增加了粒度,来自光度计光检测器的信息可以用所述粒度被应用至附近的成像光检测器。当愈少区域贡献于光度计光检测器时,该区域的愈大比例为成像光检测器所占用,这可以最小化图形失真。
参考图1,显示依据本发明实施例的示例性CMOS影像传感器电路100,该电路包含像素场区102及光度计104。CMOS影像传感器电路100可以布署在成像装置中,以用于各种应用。如下所述,CMOS影像传感器电路100被配置为获取具有显著改良动态范围的影像,并形显著改良的影像质量。
在图1中,CMOS影像传感器电路100被配置为控制及读取光检测器,例如像素场区102的光二极管122、124、126及128,但也可以使用其它类型的光检测器。每一光二极管122、124、126及128与成像装置的成像阵列中的对应像素相关联。例如,图3显示划分及排列成拜尔图案的像素场区302,其包含有绿像素单元区322及328、蓝单元区324及红单元区326。图3同时也显示接近绿像素单元区322及328、蓝单元区324及红单元区326的光度计区362。
在实施例中,图1的像素场区102被如图3的像素场区302般地配置,光二极管122、124、126及128用以分别捕捉落在拜尔图案302的像素单元区322及328的影像场景。同样地,光二极管126可以用以捕捉落在像素单元区328的影像场景。如领域所公知的,各种解马赛克算法可以用以内插一组用于每一像素单元区322、324、326及328的完全红、绿及蓝值。
此外,光二极管162也可以用作为第五光检测器,以测量入射在光度计区362上的光。因为光度计区362的位置接近绿单元区322及328、蓝单元区324及红单元区326,入射在光度计区362上的光也可表示入射在绿单元区322及328、蓝单元区324及红单元区326的光。因此,光二极管162可以用以控制绿单元区322及328、蓝单元区324、及红单元区326的曝光。
光二极管122、124、126及128如图1所示并且在此只对像素区102作例示性说明,典型成像阵列包含大量的光二极管与像素。如图1所示,每一光二极管122、124、126及128连接到地140,并且通过各传送晶体管112、114、116及118连接到共享感应节点120。
如以下所详述,重置晶体管106、源极跟随晶体管108及选择晶体管110提供对CMOS影像传感器电路100的控制与读出。每一传送晶体管112、114、116及118、重置晶体管106、源极跟随晶体管108及选择晶体管110可以例如包含N通道FET(NFET)。重置晶体管106的漏极在节点134处连接至选择晶体管110的漏极,并且重置晶体管106的源极在共享感应节点120处连接至源极跟随晶体管108的栅极。源极跟随晶体管108的漏极连接至选择晶体管110的源极,且源极跟随晶体管108的源极在节点136处耦合至电流源130与并经由列总线138连接至取样与保持电路180。
光度计104包含三晶体管(3T)像素配置,该配置包含补充光二极管162,其它类型光二极管也可以用在本发明中。光度计1045包含光度计重置晶体管166、光度计源极跟随晶体管168及光度计选择晶体管170,以提供对光度计104的控制与读出,下面将进行详细描述。每一光度计重置晶体管166、光度计源极跟随晶体管168与光度计选择晶体管170可以例如包含NFET。
光二极管162连接至地140且在感应节点160处耦合至光度计源极跟随晶体管168的栅极。光度计重置晶体管166的源极也连接至感应节点160,及光度计重置晶体管166的漏极也在节点134耦合至光度计源极跟随晶体管168的漏极。光度计选择晶体管170的漏极连接至光度计源极跟随晶体管168的源极,并且光度计选择晶体管170的源极在节点136上耦合至电流源130。
控制器190提供对传送晶体管112、114、116及118、重置晶体管106、源极跟随晶体管108、选择晶体管110、光度计重置晶体管166、光度计源极跟随晶体管168及光度计选择晶体管170的控制及计时信号。更明确地说,单元高信号152供给至节点134,行重置信号150供给至重置晶体管106的栅极、列重置使能信号151供给至列重置使能晶体管153的栅极、行选择信号154供给至选择晶体管110的栅极、传送信号1(Txfr1)142供给至传送晶体管112的栅极、传送信号2(Txfr2)144供给至传送晶体管114的栅极、传送信号3(Txfr3)146供给至传送晶体管116的栅极、传送信号4(Txfr4)148供给至传送晶体管118的栅极、计选择信号172供给至光度计选择晶体管170的栅极,及计重置信号供给至光度计重置晶体管166的栅极。
依据至少一个实施例,控制器耦合至光检测器与光度计。该控制器被配置为使得在帧曝光周期的第一积分周期中,导致光检测的初始曝光的估计。该控制器进一步配置以依据该评估,在该帧曝光周期的第二积分周期前,导致光检测器的初始曝光的选择性修改。该控制器也被配置以取决该选择性修改,调整光检测器的最终曝光。
在至少一个实施例中,该选择性修改包含重置该光检测器。在至少一个实施例中,选择性修改的表示被储存在存储单元中。在至少一个实施例中,该光度计包含三晶体管光检测电路。在至少一个实施例中,光度计包含四晶体管光检测电路。在至少一个实施例中,光度计包含经由传送晶体管耦合至光检测器的感应节点。
在至少一个实施例中,控制器被配置为在帧曝光周期的第二积分周期中,导致光检测器的第二曝光的第二估计。该控制器进一步配置为依据该第二评估,在帧曝光周期的第二积分周期前,导致该光检测器的第二曝光的第二选择性修改。该控制器也被配置为依据该第二选择性修改,调整光检测器的最终曝光。
现参考图2,将参考流程图200,说明例如图1的CMOS影像传感器电路100的影像传感器的操作方法。流程图200显示在帧曝光周期中获取图1的CMOS影像传感器电路100的像素场区102的影像的技术。本领域技术人员公知的某些细节并未在图2的流程图200中说明。例如,一步骤可以由一或多个子步骤构成。虽然示于流程图200的步骤202至218足够描述本发明的实施例,但本发明的其它实施例也可以利用与流程图200所示不同的步骤。如上所述,典型成像阵列包含大量光二极管与像素,在流程图200所述的技术可以在典型的像素行中应用以处理多个像素区。
在步骤202,例如接收来自用户的开始影像捕捉的命令,并启动曝光程序。在流程图200的方法中,帧曝光周期被分成第一积分周期与第二积分周期。在另一个实施例中,也可以实施附加的积分周期,以提供更细粒度与更宽的动态范围。在本例子中,第一积分周期大约为曝光周期的一半。典型地,每一光二极管122、124、126及128及162在初始积分周期前,被重置至已知电位(参考充电电位)。例如,光二极管122、124、126及128通过使能重置晶体管106与每一传送晶体管112、114、116及118加以重置。同样地,光二极管162通过激活光度计重置晶体管166加以重置。
在步骤204,在像素场区102为光二极管122、124、126及128所获取的初始电荷在第一积分周期的结束进行约计。因为3T像素光度计104位于接近像素场区102处,所以,此初始电荷约计可以通过检测在第一积分周期结束时,光度计104的光二极管162所获得的电荷进行确定。在光度计104中,光二极管162的电位可以通过供给计选择172至光度计选择晶体管170的栅极及激活光度计选择晶体管170,而被传送至列总线138以及取样与保持电路180。
或者,因为在感应节点120与晶体管112、114、116及118间的界面形成N-P结,有效地作为光二极管,并可用作光度计,所以初始电荷约计也可以通过取样在共享感应节点120的电位而加以决定。在此特定实施例中,感应节点120用作光度计,且3T像素光度计104可以从CMOS影像传感器电路100省略。通过供给行选择154至行选择晶体管110的栅极并且激活它以提供电压/电流给源极跟随晶体管108的漏极,共享感应节点120处的电位可以被传送至列总线138与取样与保持电路180,从而使得晶体管108可以用作源极跟随器并可以传送与晶体管108的栅极电压成比例的电压,即在共享感应节点120的电压,给列总线138。
从光度计传送至列总线138的电荷被耦合至列总线138的取样及保持电路180进行取样及处理,以确定像素场区102的光二极管122、124、126及128所获取的近似初始电荷。因为用以约计光二极管122、124、126及128所获取的初始电荷的光度计可以具有与光二极管122、124、126及128的容量不同的光检测器,所以,可能需要适当调整、映射或定标,以便于正确地关联从光度计读取的光度计读值与光二极管122、124、126及128所取得的实际初始电荷。
在步骤206,确定在步骤204所确定的初始电荷是否超出阈值。此阈值典型地在亮场景区域被超出。相反地,阈值典型地在场景的暗区不被超出。例如,可以选择阈值,除了对于重置光检测器,在帧曝光周期中,使得如果像素的光检测器的容量超出,则在第一积分周期中,阈值被超出。在第一积分周期约为曝光周期一半的特定实施例中,阈值可以被设定至这样的值,该值对应于在第一积分周期中确定影像取得时光二极管122、124、126及128被衰竭的电荷容量的至少一半。例如,如果每一光二极管122、124、126及128具有10,000电子电荷容量,则阈值可以被设定至对应约5,000电子电荷值。在另一个实施例中,阈值可以被不同地设定为,例如对应于决定光二极管122、124、126及128已经被消耗的电荷容量的至少三分的一的值。在步骤206,如果初始电荷容量超出阈值,则每一光二极管122、124、126及128在步骤208被重置。如果初始电荷容量未超出阈值,则流程图200跳过重置步骤208,由此正确地描述场景的暗区,并继续到步骤212。
在步骤208,光二极管122、124、126及128被重置。步骤208的重置事件例如当获取场景的亮区时,提供对光二极管122、124、126及128的过饱和程度的保护电平。因为在典型影像传感器中,像素在完整的行中共同地重置,所以作为开关工作的列重置使能晶体管153可以设在行重置信号150与重置晶体管106的栅极间,以在步骤208的重置事件中,选择地重置行的特定列。在某些实施例中,行重置事件被以成对的行执行,即一次两行地执行。在这些特定实施例中,对抗模拟装置不平衡的保护可以在步骤208的重置事件中,通过占位符或“哑”行加以设置。不平衡可能由于在两行间的要重置的像素数量的差异所造成。提供哑行作为占位符(要重置)允许对称的与平衡的两行重置处理,而不管在两行间的要重置的像素量的差异。
在步骤210,记录步骤208的重置事件。在使用3T像素光度计104的图1所示的实施例中,重置事件可以由光二极管162,例如通过将光二极管162充电至清楚地表示重置事件的已知电压进行储存。在感应节点120作为光度计的实施例中,重置事件可以记录在储存锁存器中。
在步骤212,像素场区102的光二极管122、124、126及128所获取的最终电荷在第二积分周期结束时被确定。在曝光周期被分为两积分周期(第一与第二)的例子中,第二积分周期的结束与帧曝光周期的结束重合。在图1所示的实施例中,此检测可以通过激活行选择晶体管110以及分别通过串行地选择传送晶体管112、114、116及118而串行地传送光二极管122、124、126及128所取得的电荷而执行。光二极管122、124、126及128所获取的电荷以此被串行地传送至共享感应节点120及随后沿着列总线138处理。
在步骤214,确定是否光二极管122、124、126及128在步骤208重置。如上所述,此重置事件被记录在步骤210并典型地对于在场景的亮区中的像素执行。如果光二极管122、124、126及128被重置,则执行步骤216;否则,流程图200持续至步骤218。
在步骤216,在步骤212所去定的最终电荷增加预定因子。例如,对应于最终容量的值可以加倍。在步骤218,曝光程序完成。
此在步骤216的最终电荷的增加考虑了步骤208的重置事件。有利地,对于流程图200所描述的技术避免了在场景的亮区中的光检测器的过饱和,同时,也维持了暗区的准确的影像取得。有益地完成了光二极管122、124、126及128所获取的光的更准确测量,影像传感器的动态范围被有效地加倍,而不需要高成本的额外的影像缓冲器。
图4为一框图,显示依据至少一个实施例的装置400。装置400包含光检测器阵列415、列ADC电路及控制逻辑441、储存锁存器431、垂直扫描仪电路411、“哑”行420、及用于“哑”行的垂直扫描仪421。光检测器阵列415包含像素场,例如优选地排列为图3所示的拜尔图案的像素场402。依据至少一个实施例,像素场包含光度计。例如,像素场402被所示包含光度计462。用于其它像素场的其它光度计例包含光度计463及464。在光检测器阵列415的每行中的单元在“哑”行420中被复制。例如,如果像素场402包含光度计462,则“哑”行420也将包含哑”光度计,允许所有关于光检测器阵列415所采用的动作能够对于哑”行420执行。依据至少一个实施例,储存锁存器431可以用以储存信息,所述信息表示光检测器是否受到如图1及2所述方式进行的中间重置。装置400为可以实施图1及2所述的本发明一个实施例。
由以上的本发明例示实施例的说明,各种技术可以使用以实施本发明的概念,而不会脱离本发明的范围。再者,虽然本发明已经针对某些实施例加以描述,但本领域技术人员应当了解,在形式及细节上的改变,将不会脱离本发明的精神与范围。所示实施例只是例示性非限制性。应了解的是,本发明并不限定于该特定例示实施例,也可以是很多重新安排、修改及替换,这些均不会脱离本发明的范围。
因此,本申请已描述宽动态范围影像传感器及其使用方法。