CN100468754C

CN100468754C - 具有双重自动曝光控制的图像传感器

Info

Publication number: CN100468754C
Application number: CN200410002994.7A
Authority: CN
Inventors: X·徐; X·罗
Original assignee: Omnivision Technologies Inc
Current assignee: Omnivision Technologies Inc
Priority date: 2003-01-22
Filing date: 2004-01-21
Publication date: 2009-03-11
Anticipated expiration: 2024-01-21
Also published as: CN1518120A; TWI237500B; US20040141075A1; US7430011B2; TW200414759A; EP1453304A2; EP1453304A3; EP1453304B1

Abstract

公开了在集成电路上形成的图像传感器。该图像传感器包括像素阵列，该像素阵列包括多个亮像素和多个暗像素。图像传感器还包括用于控制所述多个暗像素的曝光时间的暗曝光控制电路和用于控制所述多个亮像素的曝光时间的亮曝光控制电路。

Description

具有双重自动曝光控制的图像传感器

技术领域

本发明一般涉及CMOS图像传感器，特别是一种具有两组分别独立的曝光时间控制的图像传感器。

背景技术

集成电路技术已经使包括计算机、控制系统、电信、以及成像的很多领域发生变化。例如在成像领域，已经证明CMOS图像传感器比CCD成像装置制造起来更为便宜。另外，对于特定的应用，CMOS器件在性能上也更为优越。MOS器件中的像素元素(pixel element)可以做得更小，从而可以提供更高的分辨率。另外，还可以在成像电路中集成信号处理逻辑电路，从而利用一个单独的集成芯片来形成完整独立的成像装置。CMOS图像传感器现在可以从各种制造商处得到，包括本发明的受让人：全视觉(OmniVision)技术公司。

由CMOS图像传感器形成的图像的主要构成单元是像素。像素的数目、大小和间距决定了该成像装置产生的图像的分辨率。CMOS图像传感器的像素都是半导体器件，它们可以将入射光子转换为电流信号。各像素产生的信号通常都非常小。

CMOS图像传感器必须能够控制的一个重要参数是各像素对入射光的曝光时间。与照相软片的曝光时间相似，必须调节各像素的曝光时间以补偿照明条件的变化，例如室内或室外照明。太长的曝光时间将导致图像过于明亮和褪色。相反，太短的曝光时间将导致图像太暗而难以观看。

通常，利用可以执行自动曝光控制(AEC)算法的一个电路来控制曝光时间。美国专利No.5734426中公开了一种现有技术的控制曝光时间的方法。它对于很多应用是适合的，但还是有图像中同时存在暗和亮部分的成像应用。在这种情况下，AEC电路经常会混淆这种亮和暗部分的组合，从而导致成像困难。

发明内容

根据本发明的第一方面，提供了一种在集成电路上形成的图像传感器，包括像素阵列，该像素阵列包括多个亮像素和多个暗像素；暗曝光控制电路，用于控制所述多个暗像素的曝光时间；以及亮曝光控制电路，用于控制所述多个亮像素的曝光时间。

根据本发明的第二方面，提供了一种用于控制图像传感器曝光时间的方法，该图像传感器具有像素阵列，该像素阵列包括多个亮像素和多个暗像素，所述方法包括：分析所述暗像素的输出，并根据所述分析来控制所述多个暗像素的曝光时间；以及分析所述亮像素的输出，并根据所述分析来控制所述多个亮像素的曝光时间。

附图说明

在附图中，相同的附图标记将指示本发明的多个非限制和非穷举实施例的不同视图的相同部分，其中

图1示出具有亮像素和暗像素的CMOS图像传感器的示意图；

图2-3示出本发明方法的流程图。

具体实施方式

在下面的说明中，将提供很多特别的细节，例如多个系统部件的识别，以便于对本发明实施例的完全理解。但是，本领域技术人员应当知道，本发明在没有这些特别细节中的一个或多个的情况下，通过其它方法、部件、材料等也可以实现。在其它例子中，公知的结构、材料或操作将不再示出或详细说明，以避免使得本发明的多个实施例的各方面变得模糊。

本说明书中对于“一个实施例”或“实施例”的参考是指连同该实施例进行说明的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，说明书中不同地方出现的“在一实施例中”或“在实施例中”并不总是指参照同一个实施例。另外，在一个或多个实施例中，特定特征、结构、或特性可以按照任何适当的方式来组合。

参照图1，CMOS图像传感器101包括像素103的矩形矩阵。水平方向或x方向上的像素数目和垂直方向或y方向上的像素数目构成图像传感器101的分辨率。垂直列中的各像素103向电荷放大器105发送信号。

另外，像素103可以分为两类：“亮”像素103b和“暗”像素103d。从下面可以看出，亮像素103b与暗像素的曝光时间是分开确定和控制的。应当注意，在一个实施例中，亮像素103b和暗像素103d之间没有结构性差别。这种分类通常是由于AEC的缘故而进行的。但是，在其它实施例中，亮像素103b和暗像素103d之间也可能具有结构性差别。

通常，各亮像素103b都与一暗像素103d相关联。这可以通过将像素103的行配对为一个行对109，并将上行指定为亮像素103b以及将下行指定为暗像素103d。应当理解，相反的指定也是可以接受的。按照这种方式，行对109中上行中的各亮像素103b与下行中的暗像素103d相关联。

这只是亮和暗像素之间的联系的一个例子，其它的联系也可以，例如通过形成一列对，并指定一个列为亮像素列，第二列为暗像素列。还可以使用多种其它逻辑分组技术。另外，即使在一个实施例中，任何一个亮像素103b和与它相关联的暗像素103d都是物理靠近的，但这并不是本发明的要求。

从像素103中查找信息将遵循公知的光栅扫描技术。特别是，从左到右依次顺序扫描一行像素103。然后按照同样的方式扫描下一行，直到从上到下将所有的行都顺序扫描为止。在整个阵列101的各次完整扫描结束时，出现预定时间的垂直消隐期，直到光栅扫描模式被重复为止。这种类型的扫描遵循NTSC扫描方案。但是，对于其它应用，可以遵循不同的读出协议。传统设计的控制电路也以这种方式来顺序读出像素103。

在各像素被扫描时，该像素的信号被提供到所述列的电荷放大器105。这样，电荷放大器105顺序接收到信号。然后来自电荷放大器105的顺序信号又发送到第二级放大器107，该放大器放大这些信号以便于对它们进行进一步处理。在很多实施例中，可以将列放大器或第二级放大器去掉。该列放大器或第二级放大器的增益可根据需要选择性增大或减小。处理器111将执行像素103、放大器105和107的读出以及下面将要描述的计算和处理。

如上所述，图像传感器的一个重要功能就是可以自动控制图像传感器的增益和曝光时间，从而补偿变化的照明条件。补偿变化的照明条件的预先准备包括简单的监视像素输出的平均信号。

根据本发明，亮像素103b与暗像素103d采用不同的方法来调节曝光时间。大多数图像传感器都是称为“逐行”曝光装置。在这些类型的图像传感器中，每行图像传感器在不同的时间开始曝光周期(也称为积分周期)。例如，参照图1，图像传感器101的第一行开始对入射光曝光(通常在复位操作后)。经过一个短的周期之后，仍然是在复位操作后，图像传感器101的第二行开始对入射光曝光。这种过程连续进行，直到所有的行都已经对入射光曝光为止。应当注意第一行的曝光时间应当持续一个时间长度，且该曝光通常在很多后续行已经开始曝光操作后才会结束。

事实上，一行的曝光时间通常被度量为开始曝光操作的行的数目。例如，一行的曝光时间可度量为16行或20行。换句话说，任何行的总的曝光时间都是开始16或20个后续行所花费的时间。

在一特定数值的例子中，假设成像阵列具有640列和480行(VGA格式)。在每秒30帧的情况下，每0.033秒就必须捕捉一帧。另外，成像阵列101的各行必须大约每68微秒就开始曝光操作(0.033秒/480行)。但是，68微秒的曝光时间很少能够足以捕捉到足够的入射光。事实上，为了产生可用的输出信号，必须花费毫秒级的曝光时间。因此，从开始曝光到曝光完成，成像阵列101的16或更多行都已经开始了曝光过程。

如上所述，曝光时间量的度量不是只此由计时器来完成的，而是由统计已经开始曝光过程的行的数目的计数器来完成。术语“曝光行计数”是用于描述由行的数目来度量的曝光时间的。因此如果曝光时间被修改，则曝光行计数也必须被修改。

如果对于通常的光强度，曝光行计数名义上被设定为16行，且如果图像传感器101后来被移动到相对较亮的环境中，则应当减少曝光行计数以减少曝光时间。但是，曝光行计数的减少只能以“整行”进行，例如曝光行计数不能从16行减小为15.34行，只能减少到15行。

另外，用于判断是否应当调节曝光时间或增益的方法和算法有很多且多种多样。例如，Dong的转让给本发明受让人的美国专利No.5734426公开了一种判断曝光或增益调节的方法。作为另一个例子，我们的共同未决的美国专利申请No.10/005776公开了另一种技术，该美国专利申请No.10/005776的申请日为2001年11月7日，名称为“METHOD OF FAST AUTOMATIC EXPOSURE OR GAIN CONTROL IN AMOS IMAGE SENSOR(在MOS图像传感器中实现快速自动曝光或增益控制的方法)”的发明已经通过引用结合入本发明，且该申请已被转让给与本发明相同的受让人。无论如何，当需要调节曝光时间或增益时，可以采用多种方法来进行判断。通常，这些方法都努力将像素输出信号的平均幅度保持在相对较窄的范围内，例如在V_H1和V_L0之间。该窄范围还可称为“稳定范围”，其中不需要进一步调节曝光时间或增益。

参照图2，其中示出与亮像素103b相关的AEC方法。首先，在框201中，图像传感器101捕捉图像。这里所用的术语图像是指图像序列中的至少一帧。然后，在框203中，处理器111分析各亮像素103b输出的信号。

关于有多少亮像素103b被认为“太亮”而进行计数。这可以通过将各单独亮像素103b的信号电平与预定的阈值相比较来实现。在下面的描述中将会看到，在本发明的方法中将使用多个阈值。为了避免混淆，在框203中使用的预定的阈值称为BPTB阈值。这个首字母缩写代表“亮像素太亮”阈值。在一个实施例中，该BPTB阈值被设定为接近像素的饱和电平。通过判断有多少亮像素103b超过了BPTB阈值，得到一个百分比度量。该百分比是超过BPTB阈值的亮像素103b相对于亮像素103b总数的比值。

如框205中所示，如果超过阈值的亮像素的百分比高于百分比阈值B1，则在框207中减小亮像素103b的曝光时间。曝光时间减少的量可以根据希望的图像传感器101的响应时间来变化。因此，对亮像素103b的曝光时间进行调节的精确的量对本发明不是关键的。例如，减少的曝光时间可以是一个曝光行计数或多个曝光行计数。

但是，如果超过BPTB阈值的亮像素103b的百分比不大于该百分比阈值B1，则接下来判断有多少亮像素103b被认为“太暗”。该判断可以在框209中进行。可以通过将各像素输出的信号与一阈值进行比较来判断有多少亮像素103b“太暗”。与上述相似，该阈值将被称为BPTD阈值(对应于“亮像素太暗”)。

在一个实施例中，通常将BPTD阈值设定为相对比较接近于零信号电平。然后在框211，如果低于BPTD阈值的亮像素103b的数目与亮像素103b的总数相比的百分比超过了预定的百分比阈值D1，则在框213，亮像素103b的曝光时间增加。曝光时间的增加量可以根据所需的图像传感器101的响应时间而变化。因此，对本发明来说，亮像素103b的曝光时间调节的精确量不是关键的。例如，增加的曝光时间可以是一个曝光行计数或很多曝光行计数。

如果在判断框211中，“太暗”的亮像素103b的百分比没有超过阈值百分比D1，则在框215，亮像素103b的曝光时间基本不变。

图3示出关于暗像素103d的相似的方法。首先，在框301中，图像传感器101捕捉图像。这里所用的术语图像是指图像序列中的至少一帧。接下来，在框303中，处理器111分析各暗像素103d输出的信号。

关于有多少暗像素103d被认为“太暗”进行计数。这可以通过将各单独暗像素103d的信号电平与预定的阈值相比较来实现。为了避免混淆，在框303中使用的预定的阈值称为DPTD阈值。这个缩写代表“暗像素太暗”阈值。在一个实施例中，该DPTD阈值被设定为接近像素的零信号电平。通过判断有多少暗像素103d低于DPTD阈值，得到一个百分比度量。该百分比是超过DPTD阈值的暗像素103d相对于暗像素103d总数的比值。

如框305中所示，如果低于DPTD阈值的暗像素的百分比高于百分比阈值D2，则在框307中增加暗像素103d的曝光时间。曝光时间的增加量可以根据希望的图像传感器101响应时间来变化。因此，对暗像素103d的曝光时间进行调节的精确的量对本发明不是关键的。例如，增加的曝光时间可以是一个曝光行计数或许多曝光行计数。

但是，如果低于DPTD阈值的暗像素103d的百分比不大于该百分比阈值D2，则接下来判断有多少暗像素103d被认为“太亮”。该判断可以在框309中进行。可以通过将各暗像素103d输出的信号与一阈值进行比较来判断有多少暗像素103d“太亮”。与上述相似，该阈值将被称为DPTB阈值(对应于“暗像素太亮”)。

在一个实施例中，通常将DPTB阈值设定为相对比较接近于饱和信号电平。接下来在框311，如果高于DPTB阈值的暗像素103d的数目与暗像素103d的总数相比的百分比超过了预定的百分比阈值B2，则在框313，减少暗像素103d的曝光时间。曝光时间的增加量可以根据所需的图像传感器101的响应时间而变化。因此，对本发明来说，暗像素103d的曝光时间调节的精确量不是关键的。例如，增加的曝光时间可以是一个曝光行计数或很多曝光行计数。

如果在判断框311处，“太亮”的暗像素103d的百分比没有超过阈值百分比B2，则在框315，暗像素103d的曝光时间基本不变。

如同大多数AEC方法的情况一样，AEC控制电路以及处理的效果只在图像传感器101捕捉的后续帧中才是明显的。这是因为图像传感器101的像素103的曝光时间的变化只会影响后续帧。

本发明的另一方面是根据像素103输出的信号形成图像。如上所述，像素103被分为亮像素103b和暗像素103d。每个单独的亮像素103b都与一个单独的暗像素103d相关联。这两个像素一起形成一个独立的成像元件，用于图像再现目的。

因此，图像传感器101的有效分辨率会降低一半。换句话说，对于给定的分辨率，需要两倍数目的独立像素103。然而，对于很多低分辨率应用来说，如果不需要光灵敏度中的大的动态变化范围，则包括额外的像素就不很重要。另外，人眼也对垂直分辨率不敏感。

另外，总的来说，在一个实施例中，为了实现大的动态范围，百分比D2要小于百分比D1，百分比B1要小于百分比B2。但是应当理解，对于很多应用，多个阈值百分比之间的关系也可改变。不过，在前面设定的参数情况下，这允许亮像素103b感知亮的目标而暗像素103d感知暗的目标。

另外，本发明的AEC方法还可与自动增益控制(AGC)结合使用。相似的，对于亮像素103b和暗像素103d，也有两个独立的自动增益控制电路或算法。通常，如果AEC电路不能提供足够大的动态范围，则AGC可以增大该动态范围。

在一个实施例中，可以通过将亮像素和暗像素的信号相加，实现亮像素103b和与其相关联的暗像素103d合并形成一个独立像素元素。这种亮像素和暗像素的合并可以称为合成像素元素。亮像素和暗像素信号的合并可以采用很多和多种多样的形式。例如，它可以是信号的简单累加，每个像素都均等地对该像素元素的最终信号输出作出贡献。或者，可以采用暗像素与亮像素信号的不同比来产生该像素元素的最终信号。

根据上面所述，图像传感器101的光的动态范围和灵敏度并不固定。当图像的亮度均匀时，亮像素103b和暗像素103d的AEC算法将提供相似的曝光时间。这意味着，所捕捉到的图像不会损失对比度。但是，如果图像的亮的部分和暗的部分之间的差别很大时，用于暗像素的AEC算法提供的曝光时间将大于用于亮像素的AEC算法为亮像素提供的曝光时间。这样，图像传感器101的动态范围就可以变得很大。另外，应当理解，实际计算和判断都可以在处理器111中执行并且由处理器111控制。

上面参照有限的实施例对本发明进行了说明和描述，在不脱离本发明的实质特征精神的情况下，本发明还可采用很多形式。因此所说明和描述的实施例在所有方面都是示例性的和非限制性的。因此，本发明的范围由附加权利要求来限定而不是由上述说明书来限定，所有落入权利要求等同物的内涵和范围的变化都被包括在其中。

Claims

1.一种在集成电路上形成的图像传感器，包括

像素阵列，该像素阵列包括多个亮像素和多个暗像素，其中所述亮像素和所述暗像素的大小基本相等；

暗曝光控制电路，用于控制所述多个暗像素的曝光时间，如果信号电平低于暗像素太暗阈值的所述暗像素的数目百分比超过预定阈值D2，则所述暗曝光控制电路增加所述暗像素的曝光时间；以及

亮曝光控制电路，用于控制所述多个亮像素的曝光时间，如果信号电平大于亮像素太亮阈值的所述亮像素的数目百分比超过预定阈值B1，则所述亮曝光控制电路减少所述亮像素的曝光时间，

其中所述暗曝光控制电路和所述亮曝光控制电路相互彼此独立。

2.如权利要求1所述的图像传感器，其中所述像素阵列形成二维阵列。

3.如权利要求1所述的图像传感器，其中所述多个亮像素中的每个都具有一个相关联的暗像素。

4.如权利要求3所述的图像传感器，其中所述相关联的暗像素与亮像素临近。

5.如权利要求4所述的图像传感器，其中来自所述相关联的暗像素和所述相邻的亮像素的信号合并形成合成像素元素信号。

6.如权利要求1所述的图像传感器，其中所述预定阈值D2是暗像素总数目的百分比阈值。

7.如权利要求1所述的图像传感器，其中如果信号电平大于暗像素太亮阈值的所述暗像素的数目百分比超过预定阈值B2，则所述暗曝光控制电路还能够减少所述暗像素的曝光时间。

8.如权利要求7所述的图像传感器，其中所述预定阈值B2是暗像素总数目的百分比阈值。

9.如权利要求1所述的图像传感器，其中所述预定阈值B1是亮像素总数目的百分比阈值。

10.如权利要求1所述的图像传感器，其中如果信号电平低于亮像素太暗阈值的所述亮像素的数目百分比超过预定阈值D1，则所述亮曝光控制电路还能够增加所述亮像素的曝光时间。

11.如权利要求10所述的图像传感器，其中所述预定阈值D1是亮像素总数目的百分比阈值。

12.如权利要求7所述的图像传感器，其中所述预定阈值B1小于所述预定阈值B2。

13.如权利要求10所述的图像传感器，其中所述预定阈值D2小于所述预定阈值D1。

14.如权利要求1所述的图像传感器，其中所述亮像素和所述暗像素在结构上基本相似。

15.如权利要求1所述的图像传感器，还包括:

连接用来控制所述亮像素的第一增益的第一增益控制电路；和

独立于所述第一增益控制电路，并且连接用来控制所述暗像素的第二增益的第二增益控制电路。

16.如权利要求7所述的图像传感器，其中所述预定阈值B1是亮像素总数目的百分比阈值。

17.如权利要求7所述的图像传感器，其中如果信号电平低于亮像素太暗阈值的所述亮像素的数目百分比超过预定阈值D1，则所述亮曝光控制电路还能够增加所述亮像素的曝光时间。

18.如权利要求17所述的图像传感器，其中所述预定阈值D1是亮像素总数目的百分比阈值。

19.一种用于控制图像传感器曝光时间的方法，该图像传感器具有像素阵列，该像素阵列包括多个亮像素和多个暗像素，所述方法包括:

如果信号电平低于暗像素太暗阈值的所述暗像素的数目百分比超过预定阈值D2，增加所述暗像素的曝光时间；

如果信号电平大于暗像素太亮阈值的所述暗像素的数目百分比超过预定阈值B2，减少所述暗像素的曝光时间；以及

如果信号电平大于亮像素太亮阈值的所述亮像素的数目百分比超过预定阈值B1，减少所述亮像素的曝光时间，其中所述多个亮像素的曝光时间的控制独立于所述多个暗像素的曝光时间，其中所述预定阈值B1小于所述预定阈值B2。

20.如权利要求19所述的方法，还包括将所述多个亮像素中的每个与所述多个暗像素中的一个相关联的像素进行相关联。

21.如权利要求20所述的方法，其中所述相关联的暗像素与一个亮像素临近。

22.如权利要求21所述的方法，其中来自所述相关联的暗像素和所述相邻的亮像素的信号合并形成合成像素元素信号。

23.如权利要求19所述的方法，其中所述预定阈值D2是暗像素总数目的百分比阈值。

24.如权利要求19所述的方法，其中所述预定阈值B1是亮像素总数目的百分比阈值。

25.如权利要求19所述的方法，还包括其中如果信号电平低于亮像素太暗阈值的所述亮像素的数目百分比超过预定阈值D1，则增加所述亮像素的曝光时间。

26.如权利要求25所述的方法，其中所述预定阈值D2小于所述预定阈值D1。