CN101010938A - 用于静态或视频摄影的图像传感器 - Google Patents

Abstract

一种从具有多个感光区域和多个垂直移位寄存器的隔行CCD中读出电荷的方法，而且每个感光区域分别与垂直移位寄存器的CCD和滤色器配对，该滤色器有两行一重复的重复图案，其中每一行包括至少两种颜色，其形成在该空间域内顺序编号的多个3行子阵列；而该滤色器跨越整个感光区域，该方法包括将行(1和3)读出到使颜色保持分离的垂直移位寄存器中；将行(1和3)中电荷的求和；将一行加和的电荷转移到第一水平电荷耦合器件中；将该第一水平电荷耦合器件中交替的电荷转移到第二水平电荷耦合器件中；将该第一水平电荷耦合器件中成组的两个电荷求和；将该第二水平电荷耦合器件中成组的两个电荷求和；并以半分辨率时钟序列读出第一和第二水平移位寄存器中的电荷。

Description

用于静态或视频摄影的图像传感器

技术领域

本发明总的来说涉及图像传感器领域，并且尤其涉及通过取样图像传感器的整个阵列并以预定的方式将像素值求和以使图像大小缩小到原来的三分之一来产生每秒至少30帧(视频)。

背景技术

参考图1，隔行电荷耦合器件(CCD)图像传感器10由光电二极管20的阵列组成。这些光电二极管被滤色器覆盖，以仅允许一段窄波段的光波长在光电二极管中生成电荷。如图2中所示，图像传感器一般有在2×2子阵列的光电二极管上排列的三种或更多种不同滤色器的图案。出于概括论述的目的，伪设该2×2阵列有四种颜色，A、B、C和D。数字摄像机中使用的最普通的滤色器图案，通常称为Bayer图案，颜色A是红色，颜色B和C是绿色，而颜色D是蓝色。

回去参考图1，光产生的电荷的图像读出以将一些或全部光电二极管电荷转移到垂直CCD(VCCD)30开始。在逐行扫描CCD的情况下，每个光电二极管同时将电荷转移到VCCD30。在两场隔行CCD的情况下，首先是偶数编号的光电二极管行将电荷转移到VCCD30用于第一场图像读出，然后是奇数编号的光电二极管行将电荷转移到VCCD30用于第二场图像读出。

VCCD30中的电荷是通过一次一行将所有列并行地转移到水平CCD(HCCD)40中来读出的。该HCCD40随后串行地将电荷转移到输出放大器50。

图1示出了一个仅有24个像素的阵列。许多用于静态摄影的数字摄像机使用几百万像素的图像传感器。一个800万像素的图像传感器至少需要1/3秒来以40MHz的数据率读出。这个摄像机用于记录视频时是不合适的。视频录像机一般需要在1/30秒内读出图像。本发明要解决的缺陷是如何将超过1百万像素的图像传感器既作为高品质数字静态摄像机又作为30帧/秒的视频摄像机使用。特别是本发明描述了如何通过将相同颜色的像素加和在一起，来使图像传感器的分辨率降低到原来的三分之一。

现有技术通过以降低了的分辨率(一般为640×480像素)提供一个视频图像来解决这个问题。例如，如美国专利6,342,921中所述，3200×2400像素的图像传感器只每隔四个像素读出一个像素。这经常称为子取样，或者有时称为稀释模式或者省略模式。以5为因数对图像子取样的缺点是仅使用了4％的光电二极管。子取样的图像受到了降低感光灵敏度和伪信号瑕疵的影响。如果一条聚焦在图像传感器上的清楚的线只在未取样的像素上，在视频图像中将不再现该线。美国专利5,668,597和5,828,406中描述了其它的子取样方案。

包括美国专利6,661,451或者美国专利申请公开号2002/0135689A1的现有技术试图通过将像素加在一起来解决子取样的问题。这些现有技术垂直地而不是水平地将像素加在一起。

美国专利申请公开号2001/0010554A1通过将像素加在一起而不子取样来增加帧速率。然而，这需要两场的隔行读出。更理想的是获得逐行扫描读出的视频图像。隔行视频在不同的时间获取两场。当获取了每个隔行场时，图像中的移动物体将出现在不同的位置。

现有技术的另一个缺陷是，它只在垂直方向上降低了图像分辨率。在水平方向上，HCCD还是必须读出每个像素。对非常大(大于8百万像素)的图像传感器来说，仅在垂直方向上通过子取样或者其它方法降低图像分辨率没有将帧速率增加到30帧/秒。

美国专利申请公开号2003/0067550A1垂直和水平地降低图像分辨率用于更快的图像读出。然而，这种现有技术需要有条纹状的滤色器图案(3×1滤色器阵列)，通常认为它比Bayer或者2×2滤色器阵列图案差。

考虑到现有技术的不足，期望一种在取样多于一半的像素阵列并且读出视频图像逐行(非隔行)扫描时，能够从具有2×2滤色器图案的百万像素图像传感器中产生30帧/秒的视频的发明。

发明内容

一种从具有多个感光区域和多个垂直移位寄存器的隔行CCD中读出电荷的方法，而且每个感光区域分别与垂直移位寄存器和滤色器的CCD配对，该滤色器有两行一重复的重复图案，其中每一行包括至少两种颜色，其形成在该空间域内顺序编号的多个3行子阵列；而该滤色器跨越整个感光区域，该方法包括：(a)将行1和行3读出到使颜色保持分离的垂直移位寄存器中；(b)将行1和行3中的电荷求和；(c)将一行加和的电荷转移到第一水平电荷耦合器件中；(d)将该第一水平电荷耦合器件中交替的电荷转移到第二水平电荷耦合器件中；(e)将该第一水平电荷耦合器件中成组的两个电荷求和；(f)将该第二水平电荷耦合器件中成组的两个电荷求和；(g)并以半分辨率时钟序列读出第一和第二水平移位寄存器中的电荷。

本发明的有利效果

本发明包括以下优点，当以1/3分辨率以逐行扫描读出取样像素阵列时，产生30帧每秒的视频。

附图说明

图1是现有技术的图像传感器阵列；

图2是图像传感器典型的滤色器；

图3是举例说明读出本发明两场隔行图像传感器第一场的电荷流动的图表；

图4是举例说明读出本发明两场隔行图像传感器第二场的电荷流动的图表；

图5是包括VCCD的本发明的像素的详细视图；

图6是说明将本发明图像传感器的每三行中的两行加在一起的电荷流动的图表；

图7是举例说明以逐行扫描方式加和的电荷向着HCCD的流动的图表；

图8是在图6中说明的电荷加和操作的时钟序列不同时间步长包括VCCD沟道电位图表的图6的VCCD的侧视图；

图9是图8每个时间步长的VCCD栅极电压；

图10是在图7中说明的向HCCD的加和的电荷转移的时钟序列各种不同时间步长的包括VCCD沟道电位图表的图7的VCCD的侧视图；

图11是图10每个时间步长的VCCD的栅极电压；

图12是在伪2相HCCD中电荷转移的时钟序列各种不同时间步长包括沟道电位图表的现有技术HCCD的侧视图；

图13是图12的时序图；

图14是在伪2相倍速HCCD中电荷转移的时钟序列各种不同时间步长包括沟道电位图表的现有技术HCCD的侧视图；

图15是图14的时序图；

图16是包括含有加和的电荷包和双输出HCCD的VCCD的本发明的图像传感器；

图17是说明加和的电荷包向第一HCCD中转移的本发明的图像传感器；

图18是说明加和的电荷包的一半从第一HCCD转移到第二HCCD中的本发明的图像传感器；

图19是说明第二HCCD中的加和的电荷包的转移以使第二HCCD与第一HCCD中的电荷对准的本发明的图像传感器；

图20是说明第一和第二HCCD中的电荷向输出放大器的转移，而没有水平电荷包加和的本发明的图像传感器；

图21是说明图20的电荷包的水平求和处理的本发明的图像传感器；

图22是举例说明图20的电荷包的水平求和结果的本发明的图像传感器；

图23是HCCD的详细视图；

图24是图23的HCCD的全分辨率读出的时序图；

图25是图23和20的HCCD的水平加和读出的时序图；

图26是包括说明全水平分辨率读出的电荷转移时间步长序列的沟道电位图表的图23剖面部分K-M的侧视图；

图27是包括说明全水平分辨率读出的电荷转移时间步长序列的沟道电位图表的图23剖面部分R-S的侧视图；

图28是包括说明半水平分辨率倍速读出的电荷转移时间步长序列的沟道电位图表的图23的剖面部分K-M的侧视图；

图29是包括说明半水平分辨率倍速读出的电荷转移时间步长序列的沟道电位图表的图23的剖面部分R-S的侧视图；

图30是说明本发明图像传感器的典型商业实施方式的摄像机。

具体实施方式

参考图3，示出了本发明的图像传感器100。为了清晰，仅示出了图像传感器100的像素阵列的一小部分。它由光电二极管120的阵列和位于光电二极管120的列中间的VCCD130组成。跨过整个光电二极管阵列有以2×2阵列重复的滤色器。这四种滤色器A、B、C和D是3或4种独特的颜色。这些颜色典型的是A＝红色，B和C＝绿色，而D＝蓝色，但不限于此。其它通用的颜色方案利用青色，洋红色和黄色或者甚至白色滤光器。

暂时参考图5，示出了一个像素。VCCD130是每个光电二极管120有两个控制栅极132和134的隔行扫描4相位型的。

再次参考图3，光电二极管120中所存储图像的全分辨率读出以下述方式对隔行扫描图像传感器100进行。首先将由标注为行1的所有行组成的场1中的电荷从光电二极管120转移到邻近的VCCD130。该VCCD130将只接收来自包含颜色A和C的行的电荷。如本领域中众所周知的，一旦电荷处于VCCD130中，它被并行地向串行水平CCD，HCCD(未示出)转移，并随后向一个输出放大器(未示出)转移。下面在图4中，在来自颜色A和C的所有信号都转移出VCCD130之后，将行2中的光电二极管120中的剩余电荷转移到该VCCD130中。这是只包含颜色B和D的场2。由于该图像以两场读出，在读出第一场的同时，利用一个外部快门来挡住光并且防止第二场中信号进一步积聚。

当该传感器安装在数字摄像机中并且要用于视频模式时，该外部快门保持开放而图像传感器100连续操作。大多数应用将视频定义为帧速率至少为10帧/秒，最好是30帧/秒。目前，图像传感器一般是具有这种高分辨率使得以30帧/秒全分辨率图像的读出不可能处于低于50MHz的数据率和一个或两个输出放大器。本发明的解决方案是要在图像传感器内部将像素加在一起以将像素数量降低到允许视频速率成像的分辨率。

现在论述通过将垂直分辨率降低1/3来增加帧速率的情况。现在参考图6，这是与图3中所示相同的图像传感器100，但是读出顺序不同。行标注为行1、行2和行3。这种标注在整个图像传感器上每三行重复一次。从光电二极管120中读出电荷的过程在电荷转移到VCCD130中的行1和行3中开始，并对VCCD130计时以便来自行1和行3的两个电荷包在VCCD130中加和在一起。注意，行2光电二极管没有转移到VCCD130。在视频模式中永远不读出它们。行2光电二极管中聚集的电荷溢出垂直溢漏。

现在，图像传感器100将进入图7中示出的状态。包含颜色的两行已经加在一起。VCCD130中的每个电荷包包含用标签2A、2B、2C和2D表示的两个光电二极管120的加和的电荷。所有光电二极管同时读出，以致电子快门曝光控制在这种视频模式中是可能的。当图像传感器100在图7所示的状态中时，加和的电荷包可以按照普通的逐行扫描序列从VCCD130中读出。只需要读出一个场，而VCCD130包含图3和4中所示全分辨率情况的1/3行数量。这将帧速率提高了3倍。

图8示出了电荷包时钟细节。图8是在包含颜色A和B的像素的列的VCCD130中心下面的剖面图。标签A或B标识电荷包的颜色，而下标的数字标识该电荷包起源于哪一行。标签T0到T11是电荷转移时钟序列时间步长的标志。用图9中示出的电压为栅极V1到V6计时。电压VL典型地为-7V到-9V，而VM典型地在-2V到+2V的范围内。VH是接通光电二极管和VCCD之间的转移栅极的电压电平，并且典型地大于+7V。在时间步长T2，控制栅极V2和V6脉冲到其最高电压以接通光电二极管和VCCD之间的转移栅极。这导致电荷仅从行1和行3光电二极管转移到该VCCD中。时间步长T3和T4将该VCCD中相同颜色的电荷包加和在一起。

图10示出了与图8相同的在包含颜色A和B的像素的列的VCCD130中心下面的剖面图。图10时间步长T0是图8中示出的电荷加和过程的结果。图10时间步长T1到T6示出了转移一行电荷到水平CCD的6相位时钟序列。图11中示出了在图10每个时间步长的栅极控制电压V1到V6。

到此为止，本发明揭露了如何将电荷包的两行加在一起以使帧速率增加3倍。即使通过加和两行对，使具有2304行的图像传感器的分辨率降低到768行(XVGA分辨率)，读出一个3027×768像素的图像也仍然将超过1/30秒的时间。更快图像读出的解决方案是要同样将HCCD中的电荷包加在一起以将水平分辨率降低1/2。

参考图12，示出了众所周知的现有技术HCCD。这是一个使用每列4个控制栅极的伪二相CCD。每一对两个栅极H1、H2和H3用这两个栅极之一下面的沟道电位注入调节380接线在一起。该沟道电位注入调节380控制着HCCD中电荷转移的方向。电荷在该HCCD的H2栅极之下一次一行地从该VCCD转移。图12示出了来自包含图1的颜色A和C的行的电荷包的存在。通过施加图13的时钟信号，在时间步长T0、T1和T2，该电荷包通过HCCD串行前进一行。

美国专利6,462,779提供了一种加和HCCD中两个像素以将HCCD时钟周期的总数降低一半的方法。这在图14中示出了。这种方法是为对单色图像传感器来说所有像素都是一种颜色的线或面图像传感器设计的。在使用图2的2×2颜色图案的二维阵列中，每一行都有超过一种颜色。因此，在图14中，当包含颜色A和C的一行转移到HCCD中并且用图15的时序定时的时候，颜色A和C被加在一起。这破坏了图像中的颜色信息。

图16中示出的本发明提供了一种在加和HCCD中的像素时，防止颜色混淆的方法。本发明由被一个四种颜色A、B、C和D的2×2滤色器图案覆盖的光电二极管阵列430组成。来自该光电二极管430的电荷包被转移，并利用前面描述的两行加和3x垂直分辨率降低在VCCD420中垂直地加和。图16中描述了两行加和的结果。在像素阵列的底部有第一HCCD400和第二HCCD410。为了将一半电荷包从第一HCCD400转移到第二HCCD410，每隔一列有一个转移沟道460。为了将该电荷包转换为电压以进一步处理，在每个HCCD的末端有输出放大器440和450。

图17到20示出了用于通过该HCCD读出一个行的电荷转移序列。首先在图17中，包含颜色B和D的一个行被转移到图18中所示的第一HCCD400中。该HCCD中的电荷包用对应于该颜色的字母和对应于该电荷包所起源的列的下标来标注。图19中，来自偶数编号列的电荷包仅通过转移栅极460并进入第二HCCD410。图20中，第二HCCD410中的电荷包前进一列，以使其与第一HCCD400中的电荷包对准。读出每个HCCD需要的时钟周期数等于该HCCD中列数量的一半。第二HCCD410的加法将读出时间减少了一半。与3x垂直速度增加相结合，整个阵列的总读出时间现在降低了6x。6x速的增长仍然不满足30帧/秒的视频操作。然而，现在每个HCCD只包含一种颜色类型，所以水平加和操作可以不混淆颜色。

如图21和22中所示，在每个HCCD400和410中，两个电荷包可以水平的加在一起。进行这种加和不会混淆不同颜色的电荷包。两个像素加和使每个HCCD400和410要读出的电荷包数量降低另外2倍。这种两个像素加和在这里定义为半分辨率时钟序列。这种HCCD设计使总体速度提高了4倍。结合前述3x垂直分辨率降低行加和，这对视频模式提供12倍帧速率的增长。这足以允许以30帧/秒的帧速率读出一个1024×768XVGA视频图像。

图23更详细地示出了HCCD的结构。在一个P型阱或者基底540中的一个n型掩埋沟道CCD520之上制造有第一HCCD400和第二HCCD410。存在P型沟道电位调节势垒注入530来控制第一和第二HCCD中的电荷转移方向。图23的顶部示出了通过第一HCCD400的侧视图剖面K-M。这里有四条线，给HCCD栅极H1到H4提供控制电压。附加的线TG控制两个沟道间的转移栅极。栅电极典型地是至少两个等级的多晶硅材料，但不限于此。如果所使用的生产工艺不允许使用第一或第二等级的多晶硅，则可以将第三等级的多晶硅材料用于转移栅极。小心的利用转移栅极区域的掩埋沟道中的注入和轻微修改的栅极电压，可以整体省略转移栅极。转移栅极的精确结构对本发明的功能来说并不重要。

图24中示出了用于全分辨率读出的施加于图23的HCCD的时钟电压。HCCD典型的电压设置是VHH＝+3V、VHM＝0V而VHL＝-3V。在时间T3，在第一HCCD400中的所有栅极关断(VHL状态)的时转移栅极接通。与转移栅极TG对准的列中的电荷包跨过转移栅极TG流入第一HCCD400，然后进入第二HCCD410。在没有与该转移栅极TG对准的其它列中的电荷包留在第一HCCD400中。

下面论述静态摄影全分辨率模式中的HCCD读出。图26示出了第一HCCD400的电荷转移序列，而图27示出了第二HCCD410的电荷转移序列。对应于电荷包颜色的字母A、B、C或D标识电荷包。电荷包标签上的下标对应于该电荷包的列数。图24中示出了每个时间步长T0、T1和T2的时钟电压。HCCD在两个电压VHM和VHL之间定时为伪2相位CCD。转移栅极TG保持在关断状态(VHL)，以防止该两个HCCD之间的电荷混合。

在视频模式中，如第一HCCD400的图28和第二HCCD410的图29中所示，两个电荷包加在一起。注意到，第一HCCD400只包含来自颜色B像素的电荷包，而第二HCCD410只包含来自颜色D像素的电荷包。图25示出了栅极电压时钟序列。图25的时间步长T0、T1和T2对应于图28和29中说明的时间步长。栅极H1和H4在时钟序列T0、T1和T2期间保持在一个恒定值。在H1和H4任一侧的栅极以优惠的方式计时。与图26和27的全分辨率读出模式相比，在这个半分辨率时钟序列中，对于每个时钟周期，电荷包移动两个该距离。

由于要将大量的光电二极管电荷加和在一起，VCCD或HCCD中的电荷可能太多而导致模糊。VCCD和HCCD可以容易地过荷。大家都知道，施加于图像传感器基底的电压调节垂直溢漏型光电二极管中电荷的数量。仅仅调整这个电压以将光电二极管电荷容量降低到防止VCCD或HCCD过荷的等级。这是与平常使用的甚至没有将电荷加在一起的完全相同的程序。

图30示出了一个包含前述有视频和高分辨率静态摄影能力的图像传感器100的电子摄像机610。在视频模式中取样了全部像素的67％。

VCCD电荷容量是由VCCD栅极时钟电压的幅度控制的。由于本发明在HCCD中加和电荷，为了在输出放大器处产生一个全信号，VCCD不必须包含全部电荷包。如果HCCD将两个电荷包加在一起，那么VCCD电荷容量可以通过降低VCCD时钟电压的幅度而降低二分之一。降低VCCD时钟电压的优点是降低视频模式中的功耗。功耗是随着电压的平方变化的。因此，如果一个摄像机在静态摄影模式运行，则摄像机将增加VCCD时钟电压，而如果它在视频模式运行，则摄像机降低VCCD时钟电压。

部件表

10电荷耦合器件(CCD)图像传感器

20光电二极管

30垂直CCD(VCCD)

40水平CCD(HCCD)

50输出放大器

100图像传感器

120光电二极管

130垂直CCD(VCCD)

132控制栅电极

134控制栅电极

380沟道电位注入调节器

400第一水平CCD(HCCD)

410第二水平CCD(HCCD)

420垂直CCD(VCCD)

430光电二极管

440输出放大器

450输出放大器

460转移沟道/栅极

520n型掩埋沟道CCD

530p型沟道电位调节势垒注入

540p型阱或基底

610电子摄像机

Claims (4)

1、一种用于从具有多个感光区域和多个垂直移位寄存器的隔行CCD中读出电荷的方法，而且每个感光区域分别与垂直移位寄存器的CCD和滤色器配对，该滤色器具有两行一重复的重复图案，其中每一行包括至少两种颜色，其形成在该空间域内顺序编号的多个3行子阵列；而该滤色器横跨感光区域，该方法包括：

(a)将行1和行3读出到使颜色保持分离的垂直移位寄存器中；

(b)将行1和行3中电荷的求和；

(c)将一行加和的电荷转移到第一水平电荷耦合器件中；

(d)将该第一水平电荷耦合器件中交替的电荷转移到第二水平电荷耦合器件中；

(e)将该第一水平电荷耦合器件中成组的两个电荷求和；

(f)将该第二水平电荷耦合器件中成组的两个电荷求和；

(g)并以半分辨率时钟序列读出第一和第二水平移位寄存器中的电荷。

2、权利要求1中的方法，还包括重复步骤(c)到(g)用于读出所有加和电荷的步骤。

3、一种摄像机，包括：

(a)具有多个感光区域和多个垂直移位寄存器的隔行CCD，而且每个感光区域分别与垂直移位寄存器的CCD和滤色器配对，其中该滤色器有两行一重复的重复图案，其中每一行包括至少两种颜色，其形成在该空间域内顺序编号的多个3行子阵列；而该滤色器横跨感光区域；

(b)用于将行1和行3读出到使颜色保持分离的垂直移位寄存器中的转移器件；其中该垂直移位寄存器加和行1和行3中的电荷；

(c)接收一行加和的电荷的第一水平电荷耦合器件；和

(d)接收来自第一水平电荷耦合器件的交替电荷的第二水平电荷耦合器件；

其中第一水平电荷耦合器件加和其加和的电荷以半分辨率时钟序列读出的第一水平电荷耦合器件中的成组的两个电荷；并且其中第二水平电荷耦合器件加和其加和的电荷以半分辨率时钟序列读出的第二水平电荷耦合器件中的成组的两个电荷。

4.权利要求3中的摄像机，其中所有加和的电荷都被读出。

Images