CN105453542A - 用于通过多个图像感测元件俘获图像的系统及方法 - Google Patents

Abstract

本文中揭示用于CMOS可见图像传感器的方法、装置及计算机程序产品，所述CMOS可见图像传感器并入有用于扩展动态范围的具有不同整合时间的多个图像感测元件。在一个方面中，揭示一种使用CMOS可见图像传感器获取图像的方法，所述CMOS可见图像传感器包含具有第一阱容量的至少一个第一光感测元件及具有第二阱容量的至少一个第二光感测元件，其中所述第二阱容量大于所述第一阱容量。所述方法包含确定用于所述至少一个第一光感测元件中的每一者的第一整合时间。所述方法进一步包含确定用于所述至少一个第二光感测元件中的每一者的第二整合时间，其中所述第二整合时间不同于所述第一整合时间。

Description

用于通过多个图像感测元件俘获图像的系统及方法

技术领域

本申请案大体上涉及数字成像，且更确切地说，涉及用于可见图像传感器的系统、方法及装置，所述可见图像传感器包含用于扩展动态范围的多个图像感测元件。

背景技术

在数字成像中，互补金属氧化物半导体(CMOS)传感器的动态范围有时可能不足以准确地表示户外场景。这一点在可用于例如移动电话上的相机等的移动装置中的更紧凑的传感器中可能尤其正确。举例来说，用于移动装置相机中的典型传感器可具有大致60dB至70dB的动态范围。然而，典型的自然户外场景可容易覆盖光照区与阴影之间的100dB的对比度范围。因为此动态范围大于用于移动装置中的典型传感器的动态范围，所以可能在通过移动装置俘获的图像中丢失细节。

对扩展图像传感器的动态范围的先前尝试各自具有其自身的优点及缺点。举例来说，一些先前方法涉及组合两个帧，一个具有更短曝光时间且一个具有更长曝光时间。在此方法中，具有更长曝光时间的帧可用于展示暗区域中的细节，而具有更短曝光时间的帧可用于展示亮区域中的细节。此方法对于静止的物体可产生良好结果，并且可产生极佳的宽动态范围(WDR)图片。不利的是，当为移动物体拍照时，用于产生此图像的两个不同帧之间的时间差可产生运动叠影效果。此方法还可能需要此装置中的全帧存储器。

为了减少此运动伪影，另一方法是在读出长曝光帧之后即刻起始短曝光帧的整合。为了说明此方案如何起作用，假设短曝光时间是S线-时间且长曝光时间是L线-时间。通过典型的滚动快门操作，成像器将在时间0处起始第一行的整合且随后稍后在一个线-时间处起始第二行的整合等等。在时间L线-时间处，将读出长曝光帧的第一行且立即起始第二短曝光帧的整合，接着稍后在一个线时间处读出及复位第二行等等。因此，举例来说，在时间L+S线-时间处将发生行1的短曝光帧的读出，而在时间L+S+1处将发生短曝光帧行2的读出。这将持续直到完全读出两个帧为止。尽管与前述方法相比运动伪影可减少，但是此方法仍将需要存储缓冲器的S线以重构完整的WDR帧。

为了使来自双帧方法的运动伪影减到最少且为了减少所需线缓冲器的量，可使用其中在同一读出帧内实施不同整合次数的不同方案。举例来说，一个可能方案是具有具备更长整合时间T_long的两个行及具备更短整合时间T_short的另外两个行。此方案可用于颜色感测成像器，其中滤色片子图案通常成对出现，例如，众所周知的拜耳图案，其具有含有一个对角线中的两个绿色像素及另一对角线上的红色及蓝色像素的2×2子图案，如图1中所说明。

类似于其它方法，具有T_long的行用于展示暗区域中的细节，而具有T_short的行用于展示亮区域中的细节。通过此方法，运动伪影被减到最少且不需要线缓冲器。然而，此方法将导致垂直方向上的分辨率损失。在美国专利8,059,174中提出另一改进的方法，其中长整合时间及短整合时间紧密交错，即，某一行中的一些像素将具有更长整合时间而同一行中的其它像素将具有更短整合时间，从而导致垂直方向上的分辨率高得多。然而，这仍将导致垂直及水平两个方向上的一些分辨率损失。在类似方案中，可使用具有长整合时间的一行像素且下一行像素可具有短整合时间，其中两个像素具有相同滤色片。然而，此方法导致不同高宽比及垂直分辨率损耗。

此问题的又另一个方法可为使用非线性响应像素，例如，对数像素。尽管此类像素提供非常高的自然动态范围，但使用这些像素产生的图像具有例如较高固定图案噪声(FPN)等的其它问题。

除了不同整合时间之外，还可以实施例如像素内操纵等的其它技术来实现WDR。举例来说，在所谓的横向溢流集成电容器(LOFIC)方案中，在每一像素中添加小电容器以在特定像素接近饱和时积累电荷。在此方案中，可以更复杂布局为代价实现较高动态范围。

在这些方案中的每一者中，每一像素具有一个光感测元件且像素通常在水平和垂直两个方向上以相同增量布置成正方形图案。

另一可能的方案通过第7,019,274号美国专利说明，其展示其中小光感测元件及大光感测元件并入每一像素中的方案。通过调整像素顶部上的遮光罩以允许更多地暴露于较大单元且更少地暴露于小单元，组合的图片可具有较高动态范围。然而，对于此种方法，在制造成像器后动态范围延伸部分是固定的，因为动态范围延伸部分仅取决于小元件及大元件的比率及其孔径比。然而，实际上，针对不同场景需要不同动态范围。举例来说，在低光情况下，可能优选的是不使用任何高动态范围的图像信息，替代地可能需要将每一像素暴露于尽可能多的光以实现较高信噪比(SNR)。然而，用于第7,019,274号美国专利中的方案可不被优化用于此类不同方案。

发明内容

本文中论述的系统、方法、装置及计算机程序产品各自具有若干方面，所述若干方面中的单个方面不仅仅负责其所需属性。在不限制如通过以下权利要求书表达的本发明的范围的情况下，下文将简要地论述一些特征。在考虑此论述之后，且确切地说，在读取标题为“具体实施方式”的部分之后，将理解本发明的有利特征如何包含通过多个光感测元件俘获图像。

在一些方面中，揭示一种通过图像传感器俘获图像的方法，所述图像传感器包含具有第一阱容量的至少一个第一光感测元件及具有第二阱容量的至少一个第二光感测元件，其中所述第二阱容量大于所述第一阱容量。所述方法包括：确定用于至少一个第一光感测元件中的每一者的第一整合时间；及确定用于至少一个第二光感测元件中的每一者的第二整合时间，其中所述第二整合时间不同于所述第一整合时间。

在一个方面中，揭示一种电子装置。所述装置包括：CMOS可见图像传感器，其包含具有第一阱容量的至少一个第一光感测元件及具有第二阱容量的至少一个第二光感测元件，其中所述第二阱容量大于所述第一阱容量；及处理器，其经配置以确定将用于所述至少一个第一光感测元件中的每一者的第一整合时间；及确定将用于所述至少一个第二光感测元件中的每一者的第二整合时间，其中所述第二整合时间不同于所述第一整合时间。

在一个方面中，揭示一种电子装置。所述装置包括用于确定用于CMOS可见图像传感器中包含的具有第一阱容量的至少一个第一光感测元件中的每一者的第一整合时间的装置；及用于确定用于所述CMOS可见图像传感器中包含的具有第二阱容量的至少一个第二光感测元件中的每一者的第二整合时间的装置，其中所述第二整合时间不同于所述第一整合时间并且其中所述第二阱容量大于所述第一阱容量。

在一个方面中，揭示一种非暂时性计算机可读媒体，其包括当执行时致使装置中的处理器执行使用CMOS可见图像传感器获取图像的方法的指令，所述CMOS可见图像传感器包含具有第一阱容量的至少一个第一光感测元件及具有第二阱容量的至少一个第二光感测元件，所述第二阱容量大于所述第一阱容量。所述方法包括：确定用于所述至少一个第一光感测元件中的每一者的第一整合时间；及确定用于所述至少一个第二光感测元件中的每一者的第二整合时间，其中所述第二整合时间不同于所述第一整合时间。

附图说明

图1是拜耳滤色片图案的图解说明。

图2是双二极管像素的示范性示意图。

图3是用于启用动态范围延伸部分的双二极管像素的示范性时序图。

图4A及4B是动态范围延伸部分的原理的图解说明。

图5是说明用于组合来自两个光电二极管的读出值的函数的α(x,y)的曲线。

图6是可用于低光情况中的双二极管像素的示范性时序图。

图7是在同一行或同一列中的总共具有共享一组通用晶体管的4个光电二极管的两个相邻像素的示意图。

图8描绘具有用于组合来自光电二极管的读出值的一组组件的装置的高级框图。

图9是使用双二极管装置的方法的图解说明。

具体实施方式

实施例涉及用于延伸可见图像传感器的动态范围的方法及系统。一个实施例包含基于CMOS的可见图像传感器，所述传感器并入有具有不同整合时间的双二极管像素以扩展图像传感器的动态范围。延伸可见图像传感器的动态范围是非常重要的，因为用于典型移动装置上的传感器可能具有不足以俘获室外图像的全动态范围的动态范围。在一些实施例中，CMOS传感器可通过并入有双二极管设计来增加动态范围。举例来说，此设计可包含具有较大阱容量以吸收更多光且提供图像的暗区域中的更多细节的较大光电二极管及具有较小阱容量以提供图像的亮区域中的更多细节的较小光电二极管。

例如光电二极管等的光感测元件可保存的电荷总量被称为阱容量且以电子进行测量。光感测元件的阱容量涉及通常以分贝测量的元件的动态范围。动态范围，即，阱容量与本底噪声之间的比率是传感器可一直在低光强度下测量准确信号直到其达到全阱容量的程度的测量。假定类似的本底噪声，感测元件的动态范围与其阱容量成比例，所述阱容量通常与此类光感测元件的大小成比例。

词语“示范性”在本文中用于意指“充当实例、例子或说明”。不必将本文中描述为“示范性”的任何实施例解释为比其它实施例优选或有利。下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除了本文中所阐述的本发明的各种方面之外的其它结构、功能性或结构及功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化及排列落在本发明的范围内。尽管提及了优选方面的一些益处及优点，但本发明的范围并不希望限于特定益处、用途或目标。相反地，本发明的方面希望广泛地适用于不同无线技术、系统配置、网络及传输协议，其中的一些是作为实例而在图中及在优选方面的以下描述中加以说明。详细描述及图式仅说明本发明，而不是限制由所附权利要求书及其等效物界定的本发明的范围。

如上文所论述，可能需要扩展图像传感器或成像器的动态范围以获取包含亮区域及暗区域两者的场景的图片。这可能对于小像素大小来说尤其正确，因为较小像素可具有用于每一像素的减少的满阱容量(FWC)。举例来说，用于移动电话相机中的典型图像传感器具有60dB至70dB之间的动态范围，而典型的自然场景可容易地覆盖100dB的对比度范围。因此，需要用于扩展所俘获图像的动态范围的方法来保持此类图片的对比度保真性。

因此，实施例涉及图像传感器，其中一或多个像素由具有不同阱容量的光感测元件组成。这些图像传感器因此可通过使用如下文所论述的不同感测元件的组合来俘获具有高动态范围的图像以准确地俘获相同所捕获图像帧内的低光图像部分及高光图像部分。可用于提供增加的动态范围同时避免上述方法的一些缺点的一个方法可提供一种每像素具有两个光感测元件(一个小光感测元件及一个大光感测元件)的可见图像传感器。图2是双二极管像素的示范性示意图200。如下文所论述，掩埋型光电二极管可用作此类光感测元件的实例，但所属领域的技术人员应明白还可使用其它光感测元件。因此，每一像素可包含大光电二极管及小光电二极管。在像素200的此图式中，大光电二极管210可被称为Dlarge，而小光电二极管220可被称为Dsmall。像素200可进一步包含其它读出元件，其可单独地工作用于每个光电二极管或两个二极管可共享一些通用读出元件。这可导致光电二极管的填充因数增加。这些像素可以固定像素间距在水平方向上重复实例化，以形成一行像素。每一成像器可包含在垂直方向上具有与在水平方向上基本相同的像素间距的多个行或此类像素，以形成二维像素阵列。

包含具有不同感测元件的像素(例如，像素200)的可见图像传感器可不同于多个方法中的前述传感器。举例来说，可见图像传感器的大光电二极管210及小光电二极管220可具有不同整合时间。举例来说，针对大光电二极管210的整合时间，这些整合时间可表示为TL，并且针对较小光电二极管220的整合时间，这些整合时间可表示为TS。较大光电二极管210可具有比小光电二极管220更长的整合时间。这可允许较大光电二极管210展示图像的较暗区域中的细节，而小光电二极管220可较好地展示图像的较亮区域中的细节。

此电路可基于低噪声4-晶体管(4T)像素，并且可包含分别用于大二极管Dlarge210及小二极管Dsmall220的单独的传送门Mxl204及Mxs208。如通过大光电二极管Dlarge210及小光电二极管Dsmall220的阴影区所说明，二极管可具有不同大小，其中Dlarge210的大小较大。尽管此处针对Dlarge210说明不规则形状，但在一些方面，可优选地具有用于每个二极管的更受阱控制的形状(例如，弧形矩形形状)，以促进电荷传送。支持像素的其它电路可包含复位晶体管Mrst225及由源极跟随器晶体管Msf230及行选择晶体管Msel235组成的读出分支。

图3是双二极管像素(例如图2中展示的像素)的示范性时序图300。在此类型的像素中，进入的光子转换成硅基板中的电子空穴对。随后通过两个光电二极管Dlarge210及Dsmall220收集光电子。对大光电二极管Dlarge210的整合在时间T0处开始。此时，RST及XRFL两者在一定时间量内可为高，从而接通两个晶体管Mrst225及Mxl204。这可排空Dlarge210中的所有电子并且可将Dlarge210设定成预定电压。在XRFL被设定成低电压后，Mxl204断开且Dlarge210开始收集光电子并且其电压降低。一般来说，此光电子的积累速率与照射在Dlarge210上的入射光的量成比例，并且因此是光强度及光电二极管面积两者的函数。

如上文所提及，Dlarge210可经配置以在时间TL内收集光。在Dlarge210收集电子的同时，Dsmall220也可以收集电子，但可不使用这些电子。在时间T0+TL-TS+1/2线时间310处，小光电二极管Dsmall220可通过将RST及XFLS设定成高值而进行复位。此复位可舍弃Dsmall220收集到的任何光电子，并且使Dsmall220能够再次开始收集光电子。Dsmall220可经配置以在时间TS内收集光。

在整合时间结束时，相关双采样(CDS)操作可用于读出二极管上的积累电荷。为此，通过将RST设定为高来接通第一Mrst225，这将浮动节点(FN)设定为复位电压(Mrst225的CELLHI偏置阈值)。在此之后，SEL信号可被设定为高，这可接通Msel235以启用像素读出。如果BUS连接到电流源，那么Msf230充当源极跟随器，从而引起BUS电压追踪FN的电压。在已读出FN的复位电压后，通过将XRFL设定为高来接通Mxl204，从而将Dlarge210中所有收集到的光电子转储到FN，由此减小FN的电压。在此之后，BUS电压可遵循FN的减小的电压，并且如果SEL被设定为高，可通过源极跟随器执行第二读出。归因于通过Dlarge210收集到的光电子，两个读数之间的差可用于确定节点FN上的准确电压变化。额外的列线电路还可以按顺序用于存储此信息并且启用进一步处理，例如，放大、数字化及其它处理。一般来说，CDS操作可减小晶体管变化及可呈现的某些实时噪声的影响。在一些方面中，两个XRFL脉冲(一个用于复位及一个用于读出)之间的时间差可表示大光电二极管的整合时间TL。在读出大光电二极管Dlarge210后，约1/2线时间后可执行另一CDS操作以读出小光电二极管Dsmall220。此操作可类似于上文关于大光电二极管Dlarge210描述的操作。在用于读出Dsmall220的CDS操作中，可通过针对小光电二极管Dsmall220将XFRS设定为高来接通Mxs208。在整合Dsmall220时，两个XFRS脉冲之间的时间是Dsmall220的整合时间TS。

当使用图3中所说明的读出方案时，在大光电二极管210的读出与小光电二极管220的读出之间可存在约1/2线时间的时间差。因此，需要一个线缓冲器来存储来自大光电二极管210的信息。在从给定像素读出小光电二极管220后，其可与来自相关联的大光电二极管210的结果组合以形成最终的像素输出值。因此，来自此双二极管配置的额外存储需求最小。

图4A及4B说明动态范围延伸部分的原理。图4A说明来自图2中展示的光电二极管的原始读出值的曲线图410。x轴是照射在像素上的光强度。针对大光电二极管Dlarge210，积累信号与整合时间TL及光收集面积AREAL的乘积成比例。针对小光电二极管220，其信号与TS×AREAS成比例，其中AREAS是Dsmall220的光收集面积。由于每个光电二极管分别具有饱和电平FWCL及FWCS，因此在光强度大于某一等级后，分别如曲线图420中的L1及L2所展示，光电二极管将不能够收集任何更多电荷且随后其输出缩减。通过使用Dsmall220及Dlarge210两者的组合，此动态范围可扩展。通过使用以上参数的已知值，小光电二极管220的信号值可乘以TL×AREAL/(TS×AREAS)的因数，这样产生图4B中展示的曲线图420。因此，通过使用双二极管传感器，小光电二极管的饱和电平可增加至FWCS×TL×AREAL/(TS×AREAS)，这样可以通过选择TL与TS的适当比率来产生像素动态范围的延伸部分。

可使用多种方法组合来自两个光电二极管的读出值。举例来说，当大光电二极管210(图2)的输出低于饱和电平时，此值可用作最终像素输出。然而，由于此值接近其饱和电平，因此可控制像素的值替代地作为小光电二极管的输出。还可以使用更复杂算法来利用两个二极管的输出。举例来说，将两个读出图像组合成线性HDR图像的一个更复杂算法如下描述：

假设T1及T2分别表示大光电二极管及小光电二极管的对应于TL及TS的读出图像。假设R＝(TL/TS)×(AREAL/AREAS)。假设MAD表示T1与RxT2之间的局部平均绝对差值，其被定义为如下：

$MAD(x,y)=\left(\underset{i,j\∈W(x,y)}{\Σ}\right|T1\left(i,j\right)-R\×T2\left(i,j\right)\left|\right)/N,$

其中W(x,y)是居中于像素(x,y)处的mxn窗口；N是窗口W(x,y)内的像素的总数目。假设α(x,y)被定义为：

$\mathrm{\α}(x,y)=\frac{1}{1+e^{-a\left(MAD\right(x,y)-b)}},$

其中a及b是控制光电二极管之间的过渡宽度的调谐参数。

图5是根据MAD(T1与RxT2之间的局部平均绝对差值)的函数α的曲线图。通过函数α(x,y)，组合的T1及T2图像Thdr可表示为：

T_hdr(x,y)＝(1-α(x,y))·T1(x,y)+α(x,y)·T2(x,y)。

当T1饱和时或当呈现运动时，以上函数将平稳地将T1切换到T2。这可以从图5中的α的曲线图观察到：当T1饱和时，MAD值变大，随后α将接近1，因此Thdr将接近T2。类似地，当存在所呈现的运动时，MAD将变大且α将接近1，因此Thdr也将接近T2。

假定通过以上重组合方案本底噪声为N0，则像素的动态范围可表示为：

${\mathrm{DR}}_{new}=20\×log(\frac{FWCS}{N0}\×\frac{TL}{TS}\×\frac{AREAL}{AREAS})$

为了比较，如果通过单个二极管的更常规方法实施相同像素，那么可以假定甚至更大的光电二极管可通过约FWCS+FWCL的组合的饱和电平实施用于相同的像素间距。因此，其动态范围可为：

${\mathrm{DR}}_{old}=20\×log\left(\frac{FWCS+FWCL}{N0}\right)$

为了根据这两个方法比较不同的动态范围，可假定此光电二极管的满阱容量可与像素的光电二极管面积略成比例。因此，如果假定此光电二极管的光收集面积与二极管面积大致相同，具有双二极管的像素的动态范围可为：

${\mathrm{DR}}_{new}\≈20\×log(\frac{FWCL}{N0}\×\frac{TL}{TS})$

因为TL/TS可大于1+FWCS/FWCL，所以DRnew可高于DRold。因此，此方法可改进光感测像素的动态范围。

因为TL及TS可动态地进行编程，所以本发明的一个优点可变得清楚：可通过编程较大TL/TS比率容易地增加系统的最大动态范围。然而，针对L1与L2之间的光强度等级，假定TL及TS固定，那么此像素的SNR可能较低，因为可不再使用来自饱和的大光电二极管的信息。当使用仅来自较小光电二极管的信号时，可呈现较高噪声电平。因此，为了保持SNR等级同时将动态范围仅延伸至必要范围，实施曝光控制以单独调整TL及TS是有益的。

用于调整TL及TS的一个方法可为如下。首先，TL及TS可被设定为相同值。由此，可使用用于自动曝光控制的TL的统计数据，正如自动曝光控制可用于普通传感器中一样。当亮度等级达到目标亮度等级时，可检查TL图像用于剪裁像素。可使用裁剪像素的预定义阈值，并且图像中的剪裁像素的数目可与此阈值相比较。如果TL图像中的裁剪像素的计数小于预定义阈值，那么TL曝光长度可足够并且TS可保持等于TL。在这种情况下，可不使用来自TS像素的值，因为可替代地使用来自TL的值。然而，如果TL图像中的裁剪像素的计数大于预定义阈值，那么TS曝光时间可减小且TS图像中的裁剪像素的计数还可开始。在一些方面中，TS可仅减小至使得TS图像中的裁剪像素的计数小于第二预定义阈值的电平。换句话说，可使用TS像素，其方式为使得扩展的动态范围仅覆盖场景动态范围。以此方式，SNR将保持相对较高等级。

针对有时具有数百万像素的2-D像素阵列，不可能连接到个别像素的上述这些不同控制信号。在典型的设计中，SEL、RST、XRFL及XFRS可为由一行像素共享的水平总线，而BUS是由一列像素共享的垂直总线。在此处的实例中，CELLHI本身针对2-D阵列中的所有像素都是相同的并且因此可为水平或垂直总线。由于此实施方案，一行像素分别针对大光电二极管及小光电二极管将具有相同的TL及TS整合时间。

RST、SEL及不同XFR信号的产生通常由垂直定时发生器控制。基于移位寄存器的设计或基于解码器的设计可用于此目标。如果使用基于移位寄存器的方法，那么将需要额外的指针信号及一组移位寄存器来产生延时的XFRS信号以控制小光电二极管。针对基于解码器的方法，可需要额外计数器或类似逻辑来产生此类信号。然而，此任务所需的额外硅面积对于每行而言非常小。

尽管需要高动态范围来获取良好照明场景中的图片，但在低光情况下，可不需要此扩展的动态范围。替代地，较高SNR可通过在不同模式下操作上述双二极管像素来实现，其中相同整合时间用于TS及TL两者。可使用像素内分格(binning)，即，将电荷从光电二极管Dlarge及Dsmall两者转储到相同浮动节点(FN)中，接着可使用一个CDS读出。在图6中展示用于此配置的时序图。

在图6中所说明的操作模式下，可通过将RST、XFRL及XFRS都设定为高而在时间T0处同时复位两个二极管。此后，两个二极管开始积累光电子。在TL整合时间之后并且通过将TS设定成等于TL，CDS操作可开始：首先通过将RST设定为高而复位FN。然后，SEL可以接通以读出FN的复位电平。此后，XFRL及XRFS可设定为高且来自两个光电二极管的积累电荷可被传送到FN，接着再一次读出减小的FN电平。此操作允许使用仅一次读出，这样最小化从读出过程产生的噪声贡献，同时增加来自两个光电二极管的电荷以升高信号电平。因此，此过程可以产生高信噪比。

一般来说，针对本文中描述的双二极管像素，在低光等级下，通过将TL及TS两者设定为相同并且使用全帧整合时间来增加信号电平在分格模式下操作双二极管像素通常是有益的。还可以应用其它模拟及/或数字增益。随着光等级升高，来自光电二极管中的一者的信号电平可饱和并且本文描述的像素可经配置以将操作模式切换到具有不同TL及TS时间的WDR模式。一般来说，TS可短于TL以增加像素动态范围，如上文所描述。

尽管先前所述的像素包含在共享相同复位及读出晶体管的小光电二极管及大光电二极管中，但是这些像素中的一些还可共享此类通用元件以进一步改进布局的填充因数。举例来说，总共具有4个光电二极管Dsmall1709、Dlarge1710、Dsmall2714及Dlarge2715的在相同行或相同列中的两个相邻像素704及705可共享一组通用晶体管720，如图7中所展示。取决于共享架构，可相应地调整操作时序。举例来说，如果实施水平共享，那么在每个线时间中可存在四个读出CDS操作：每个各自读出Dlarge1710、Dsmall1709、Dlarge2715及最后Dsmall2714。

因此，此双二极管像素可在需要时启用WDR操作，例如，在具有高级动态范围的场景中时，例如在室外。双二极管像素可包含小光电二极管及大光电二极管并且含有某些支持电路。两个光电二极管可经设计以支持不同整合时间。在低光情况下，双二极管像素可在分格模式下操作以升高SNR，其中相同整合时间用于两个光电二极管。在WDR模式下，用于大光电二极管及小光电二极管的整合时间可不同，其中通常TS小于TL。当TL及TS的比率变得非常大时，动态范围可扩展。通过单独改变TL及TS，此像素的动态范围可得到扩展同时最小化SNR损耗。此方法可保持图像分辨率并且可不引入额外的运动伪影，同时扩展传感器的动态范围。

图8描绘具有一组组件的装置800的高级框图，所述组件包含可操作地耦合到均处于相同像素800内的第一光电二极管815及第二光电二极管825的处理器820。工作存储器805、存储装置810及存储器830还与处理器通信且可操作附接到处理器。装置800可为经配置以获取数字照片的装置，例如，数码相机、蜂窝电话或另一装置。第一光电二极管815及第二光电二极管825可为双二极管像素的一部分。多个此类像素可包含于装置800上。

处理器820可为通用处理单元或专门设计用于所揭示方法的处理器。如所展示，处理器820连接到存储器830及工作存储器805。在所说明的实施例中，存储器830存储定时模块835、图像组合模块840及操作系统875。这些模块包含配置处理器以执行各种任务的指令。处理器820可使用工作存储器805来存储包含于存储器830的模块中的处理器指令的工作集。或者，处理器820还可使用工作存储器805来存储在装置800的操作期间产生的动态数据。

如上文所提及，处理器820由存储在存储器中的若干模块来配置。举例来说，定时模块835可包含配置处理器820以确定第一光电二极管815及第二光电二极管825的时序的指令。在一些方面中，基于外部条件这些时序针对每个光电二极管可相同或可不同。

存储器830还可含有图像组合模块840。图像组合模块840可含有配置处理器820以从第一光电二极管815及第二光电二极管825接收信号并且以某种方式组合来自光电二极管的信号以产生图像的指令。在一些方面中，此图像可包含从一或两个光电二极管接收到的信息。在一些方面中，图像组合模块840可经配置以将此图像存储在存储器805或存储装置810中。

操作系统模块875配置处理器以管理装置800的存储器及处理资源。举例来说，操作系统模块875可包含用于管理例如第一光电二极管815、存储装置810或第二光电二极管825等的硬件资源的装置驱动器。因此，在一些实施例中，上文所讨论的模块中含有的指令可不直接与这些硬件资源交互，而是通过标准子例程或位于操作系统组件875中的API进行交互。操作系统875内的指令随后可直接与这些硬件组件交互。

处理器820可向存储模块810写入数据。尽管存储模块810是以图形方式表示为传统的磁盘装置，但是所属领域的技术人员将理解，多个实施例可包含基于磁盘的存储装置或其它几种类型的存储媒体中的一者，包含存储器磁盘、USB驱动器、快闪驱动器、远程连接的存储媒体、虚拟磁盘驱动器或类似装置。

图8描绘具有单独组件的装置，包含处理器、第一光电二极管及第二光电二极管及存储器，所属领域的技术人员将认识到这些单独组件可通过多种方式组合以实现特定设计目标。举例来说，在替代实施例中，存储器组件可与处理器组件组合以节省成本且改进性能。

另外，虽然图8图解说明两个存储器组件，以包含具有若干模块的存储器组件830及具有工作存储器的单独存储器805，但是所属领域的技术人员将认识到利用不同存储器架构的若干实施例。举例来说，一种设计可利用ROM或静态RAM存储器来存储实施在存储器830中包含的模块的处理器指令。或者，可在系统启动时从磁盘存储装置读取处理器指令，所述磁盘存储装置集成到装置800中或经由外部装置端口连接。接着可将处理器指令加载到RAM中以便于由处理器执行。举例来说，工作存储器805可为RAM存储器，其中指令在通过处理器820执行之前被加载到工作存储器805中。

图9是使用双二极管装置的方法的图解说明。此方法可通过例如装置800等的装置完成。

在框905处，所述方法包含确定用于CMOS可见图像传感器中包含的至少一个较大光感测元件中的每一者的第一整合时间。举例来说，第一整合时间可至少部分地基于通过至少一个较大光感测元件观察到的光照条件来确定。在一些方面中，用于确定此第一整合时间的装置可包含处理器。

在框910处，所述方法包含确定用于至少一个较小光感测元件中的每一者的第二整合时间，其中第二整合时间不同于第一整合时间。在一些方面中，用于确定此第二整合时间的装置可包含处理器。

在框915处，所述方法可至少部分地基于来自至少一个较小光感测元件的至少一个信号及来自至少一个较大光感测元件的至少一个信号形成图像。在一些方面中，图像可基于来自一或多个较大及较小元件的信号的组合而形成。在一些方面中，用于形成图像的装置可包含处理器。

应理解，本文中使用例如“第一”、“第二”等名称对元件进行任何参考通常不限制那些元件的数量或次序。相反地，这些名称可在本文中用作区别两个或两个以上元件或元件的实例的方便方法。因此，对第一及第二元件的参考不意味着此处可使用仅两个元件或第一元件必须以某一方式在第二元件之前。并且，除非另外说明，否则一组元件可包含一或多个元件。

所属领域的技术人员将理解，可使用各种不同技法及技术中的任一者来表示信息及信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示可能贯穿上述描述提及的数据、指令、命令、信息、信号、位、符号及芯片。

所属领域的技术人员将进一步了解，结合本文中所揭示的方面描述的各种说明性逻辑块、模块、处理器、装置、电路以及算法步骤中的任一者可实施为电子硬件(例如，可使用信源编码或某一其它技术设计的数字实施方案、模拟实施方案或这两者的组合)、并入有指令的各种形式的程序或设计代码(为方便起见，其在本文中可称为“软件”或“软件模块”)或两者的组合。为了清楚地说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此种功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为引起对本发明的范围的偏离。

结合本文所揭示的方面及结合图1至9描述的各个说明性逻辑块、模块及电路可在集成电路(IC)、存取终端机或接入点内实施或由集成电路(IC)、存取终端机或接入点执行。IC可包含通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、电气组件、光学组件、机械组件，或经设计以执行本文中所描述的功能的其任何组合，且可以执行驻留在IC内、在IC外或两种情况下的代码或指令。逻辑块、模块及电路可包含天线及/或收发器以与网络内或装置内的各个组件通信。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此种配置。模块的功能性可通过某种其它方式如本文中的教示实施。本文中描述的功能性(例如，相对于附图中的一或多者)在一些方面中可对应于所附权利要求书中类似地称为“用于……的装置”的功能性。

如果用软件实施，则可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。本文揭示的方法或算法的步骤可在可驻留于计算机可读媒体上的处理器可执行软件模块中实施。计算机可读媒体包含计算机存储媒体及通信媒体两者，通信媒体包含可使得能够将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可通过计算机存取的任何可用媒体。举例来说而非限制，此类计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构形式存储所要程序代码且可由计算机存取的任何其它媒体。并且，可将任何连接适当地称为计算机可读媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各项的组合也应包含在计算机可读媒体的范围内。另外，方法或算法的操作可作为代码及指令中的任一者或任何组合或集合驻留在可并入到计算机程序产品中的机器可读媒体及计算机可读媒体上。

应理解，在任何揭示的过程中的步骤的任何具体次序或层次都是样本方法的实例。基于设计偏好,应理解，过程中的步骤的具体次序或层次可重新布置，同时保持在本发明的范围内。随附的方法主张各种步骤的当前要素呈样本次序，且其并不意味着限于所呈现的特定次序或层次。

对于所属领域的技术人员而言本发明中所描述的实施方案的各种修改可为显而易见的，并且在不脱离本发明的精神或范围的情况下，本文中所定义的一般原理可适用于其它实施方案。因此，本发明并不既定限于本文中所展示的实施方案，而应被赋予与本文中所揭示的原理及新颖特征相一致的最广泛范围。词语“示范性”在本文中排他性地用于意指“充当实例、例子或说明”。本文中描述为“示范性”的任何实施方案未必应解释为比其它实施方案优选或有利。

在本说明书中在单独实施方案的上下文中描述的某些特征也可在单一实施方案中组合地实施。相反地，在单个实施方案的上下文中描述的各种特征还可单独地在多个实施方案中实施或以任何合适的子组合来实施。此外，尽管上文可能将特征描述为以某些组合起作用且甚至最初因此而主张，但在一些情况下，可将来自所主张的组合的一或多个特征从组合中删除，且所主张的组合可涉及子组合或子组合的变化。

类似地，虽然在图式中按特定次序描绘操作，但此情形不应被理解为要求按所展示的特定次序或按顺序次序执行此类操作，或执行所有所说明的操作，以实现所要结果。在某些情况下，多重任务处理及并行处理可为有利的。此外，上文所描述的实施方案中的各种系统组件的分开不应被理解为在所有实施方案中要求此分开，且应理解，所描述的程序组件及系统一般可一起集成在单个软件产品中或包装到多个软件产品中。另外，其它实施方案是在所附权利要求书的范围内。在一些情况下，权利要求书中所叙述的动作可以不同次序来执行且仍达成合乎需要的结果。

Claims (30)

1.一种通过图像传感器俘获图像的方法，所述图像传感器包含具有第一阱容量的至少一个第一光感测元件及具有第二阱容量的至少一个第二光感测元件，其中所述第二阱容量大于所述第一阱容量，所述方法包括：

确定用于所述至少一个第一光感测元件中的每一者的第一整合时间；及

确定用于所述至少一个第二光感测元件中的每一者的第二整合时间，其中所述第二整合时间不同于所述第一整合时间。

2.根据权利要求1所述的方法，其进一步包括：

至少部分地基于来自所述至少一个第一光感测元件的至少一个信号及来自所述至少一个第二光感测元件的至少一个信号形成图像。

3.根据权利要求2所述的方法，其中形成图像包括至少部分地基于以下公式形成图像：

T_hdr(x,y)＝(1-α(x,y))·T1(x,y)+α(x,y)·T2(x,y)

其中N是窗口W(x,y)内的像素的总数目，所述窗口是居中于像素(x,y)处的mxn窗口，其中T1是所述至少一个第一光感测元件的读出值，T2是所述至少一个第二光感测元件的读出值，T_hdr是组合的图像，并且其中

$\mathrm{\α}(x,y)=\frac{1}{1+e^{-a\left(MAD\right(x,y)-b)}}$

其中a及b是控制过渡宽度的调谐参数并且其中MAD是局部平均绝对差值，其被定义为

$MAD(x,y)=\left(\underset{i,j\∈W(x,y)}{\Σ}\right|T1(i,j)-R\×T2(i,j)\left|\right)/N.$

4.根据权利要求1所述的方法，其中所述图像是高动态范围图像。

5.根据权利要求1所述的方法，其中所述至少一个第一光感测元件及所述至少一个第二光感测元件中的至少一者是光电二极管。

6.根据权利要求1所述的方法，其中所述第二整合时间短于所述第一整合时间。

7.根据权利要求1所述的方法，其中所述第一整合时间及所述第二整合时间中的至少一者至少部分地基于光照条件来确定。

8.一种电子装置，其包括：

CMOS可见图像传感器，其包含具有第一阱容量的至少一个第一光感测元件及具有第二阱容量的至少一个第二光感测元件，其中所述第二阱容量大于所述第一阱容量；及

处理器，其经配置以：

确定将用于所述至少一个第一光感测元件中的每一者的第一整合时间；及

确定将用于所述至少一个第二光感测元件中的每一者的第二整合时间，其中所述第二整合时间不同于所述第一整合时间。

9.根据权利要求8所述的装置，其中所述至少一个第一光感测元件及所述至少一个第二光感测元件中的至少一者包括光电二极管。

10.根据权利要求8所述的装置，其中所述第二整合时间短于所述第一整合时间。

11.根据权利要求8所述的装置，其中所述处理器经配置以至少部分地基于光照条件确定第一整合时间。

12.根据权利要求8所述的装置，其中所述处理器经配置以至少部分地基于光照条件确定第二整合时间。

13.根据权利要求8所述的装置，其中所述至少一个第一光感测元件及所述至少一个第二光感测元件共享一或多个晶体管。

14.根据权利要求8所述的装置，其中所述处理器进一步经配置以形成图像，所述图像是至少部分地基于来自所述至少一个第一光电二极管及所述至少一个第二光电二极管中的一或多者的信号的。

15.根据权利要求14所述的装置，其中形成图像包括至少部分地基于以下公式形成图像：

T_hdr(x,y)＝(1-α(x,y))·T1(x,y)+α(x,y)·T2(x,y)

其中N是窗口W(x,y)内的像素的总数目，所述窗口是居中于像素(x,y)处的mxn窗口，其中T1是所述至少一个第一光感测元件的读出值，T2是所述至少一个第二光感测元件的读出值，T_hdr是组合的图像，并且其中

$\mathrm{\α}(x,y)=\frac{1}{1+e^{-a\left(MAD\right(x,y)-b)}}$

其中a及b是控制过渡宽度的调谐参数并且其中MAD是局部平均绝对差值，其被定义为

$MAD(x,y)=\left(\underset{i,j\∈W(x,y)}{\Σ}\right|T1(i,j)-R\×T2(i,j)\left|\right)/N.$

16.根据权利要求14所述的装置，其中所述图像是高动态范围图像。

17.一种电子装置，其包括：

用于确定用于CMOS可见图像传感器中包含的具有第一阱容量的至少一个第一光感测元件中的每一者的第一整合时间的装置；及

用于确定用于所述CMOS可见图像传感器中包含的具有第二阱容量的至少一个第二光感测元件中的每一者的第二整合时间的装置，其中所述第二整合时间不同于所述第一整合时间并且其中所述第二阱容量大于所述第一阱容量。

18.根据权利要求17所述的装置，其进一步包括：

用于至少部分地基于来自所述至少一个第一光感测元件的至少一个信号及来自所述至少一个第二光感测元件的至少一个信号形成图像的装置。

19.根据权利要求18所述的装置，其中用于形成图像的装置包括用于至少部分地基于以下公式形成图像的装置：

T_hdr(x,y)＝(1-α(x,y))·T1(x,y)+α(x,y)·T2(x,y)

其中N是窗口W(x,y)内的像素的总数目，所述窗口是居中于像素(x,y)处的mxn窗口，其中T1是所述至少一个第一光感测元件的读出值，T2是所述至少一个第二光感测元件的读出值，T_hdr是组合的图像，并且其中

$\mathrm{\α}(x,y)=\frac{1}{1+e^{-a\left(MAD\right(x,y)-b)}}$

其中a及b是控制过渡宽度的调谐参数并且其中MAD是局部平均绝对差值，其被定义为

$MAD(x,y)=\left(\underset{i,j\∈W(x,y)}{\Σ}\right|T1(i,j)-R\×T2(i,j)\left|\right)/N.$

20.根据权利要求17所述的装置，其中所述图像是高动态范围图像。

21.根据权利要求17所述的装置，其中所述至少一个第一光感测元件及所述至少一个第二光感测元件中的至少一者是光电二极管。

22.根据权利要求17所述的装置，其中所述第二整合时间短于所述第一整合时间。

23.根据权利要求17所述的装置，其中所述第一整合时间及所述第二整合时间中的至少一者至少部分地基于光照条件来确定。

24.一种非暂时性计算机可读媒体，其包括当执行时致使装置中的处理器执行使用CMOS可见图像传感器获取图像的方法的指令，所述CMOS可见图像传感器包含具有第一阱容量的至少一个第一光感测元件及具有第二阱容量的至少一个第二光感测元件，所述第二阱容量大于所述第一阱容量，所述方法包括：

确定用于所述至少一个第一光感测元件中的每一者的第一整合时间；及

确定用于所述至少一个第二光感测元件中的每一者的第二整合时间，其中所述第二整合时间不同于所述第一整合时间。

25.根据权利要求24所述的非暂时性计算机可读媒体，所述方法进一步包括：

至少部分地基于来自所述至少一个第一光感测元件的至少一个信号及来自所述至少一个第二光感测元件的至少一个信号形成图像。

26.根据权利要求25所述的非暂时性计算机可读媒体，其中形成图像包括至少部分地基于以下公式形成图像：

T_hdr(x,y)＝(1-α(x,y))·T1(x,y)+α(x,y)·T2(x,y)

其中N是窗口W(x,y)内的像素的总数目，所述窗口是居中于像素(x,y)处的mxn窗口，其中T1是所述至少一个第一光感测元件的读出值，T2是所述至少一个第二光感测元件的读出值，T_hdr是组合的图像，并且其中

$\mathrm{\α}(x,y)=\frac{1}{1+e^{-a\left(MAD\right(x,y)-b)}}$

其中a及b是控制过渡宽度的调谐参数并且其中MAD是局部平均绝对差值，其被定义为

$MAD(x,y)=\left(\underset{i,j\∈W(x,y)}{\Σ}\right|T1(i,j)-R\×T2(i,j)\left|\right)/N.$

27.根据权利要求24所述的非暂时性计算机可读媒体，其中所述图像是高动态范围图像。

28.根据权利要求24所述的非暂时性计算机可读媒体，其中所述至少一个第一光感测元件及所述至少一个第二光感测元件中的至少一者是光电二极管。

29.根据权利要求24所述的非暂时性计算机可读媒体，其中所述第二整合时间短于所述第一整合时间。

30.根据权利要求24所述的非暂时性计算机可读媒体，其中所述第一整合时间及所述第二整合时间中的至少一者至少部分地基于光照条件来确定。