CN1477862A - 固态图像传感器 - Google Patents

Abstract

本发明提供了一种固态图像传感器，即使照明源为荧光灯时，也能够在较宽范围内调整灵敏度而不会产生闪烁或条纹。该固态图像传感器包括：多个像素；和可变增益放大器，对以固定周期时间从多个像素依次读取的信号进行放大并可以改变其放大系数，并可将像素的存储时间设定为任意值，其中该传感器包括：亮度/照明闪烁检测部分；和控制部分，根据检测的亮度和照明闪烁来将存储时间逐步改变为多个无闪烁时间之一，以及根据检测的亮度和存储时间来改变放大器的放大系数。

Description

固态图像传感器

技术领域

本发明涉及一种固态图像传感器。更具体地，本发明涉及一种减少在室内拍摄期间因荧光灯造成的闪烁噪声(flicker noise)的固态图像传感器。

背景技术

图像传感器包括摄像管和固态图像拾取装置(固态图像传感器)，这些图像传感器中除了专门用于观察高速现象的以外，多数是存储型的。存储型图像传感器存储与多个像素中的入射光图像相对应的信号电荷，这些信号电荷以扫描的方式依次被读取并成为输出信号电流。每个像素对扫描周期期间的信号电荷进行存储。

近来，固态图像传感器已被用作许多产品(例如数字相机和便携终端)中的内置装置。固态图像传感器包括由电荷传送型图像传感器构成的CCD型固态图像拾取装置(CCD型图像传感器)和其图像传感器由CMOS晶体管构成的CMOS型固态图像拾取装置(CMOS型图像传感器)。可以利用与MOSFET制造工艺相同的技术来制造CMOS型图像传感器，并预期CMOS型图像传感器会代替CCD图像传感器，这是因为前者能够被单个电源驱动，功耗小，并且可以在单个芯片上安装各种信号处理电路。本发明可应用于任何固态图像传感器，即，CCD型图像传感器和CMOS型图像传感器两者皆可。在此将CMOS型图像传感器作为示例进行特别说明，但本发明并不限定于此。

CMOS图像传感器具有以矩阵排列的多个像素区，这些像素区连接到多个垂直选择线和水平选择线。在每个像素区中，形成诸如光电二极管的光电转换装置。入射到每个光电转换装置的光接收表面上的光被进行光电转换并且在该装置中存储电荷。存储的电荷由设置在各像素内的源极跟随器放大器等进行放大并在固定定时被读取作为各像素的图像数据。把连接到固定的水平选择线的多个图像数据一次输出，以响应来自垂直扫描移位寄存器的行选择信号，随后将这些图像数据从水平移位寄存器依次输出到外部系统侧，以响应列选择信号。

由于在数字相机和便携终端中使用的固态图像传感器不能利用光学孔径等来调节入射光的量，所以必须具备自动增益控制功能，利用该功能根据在使用固态图像传感器进行拍摄时的亮度(照度)来自动调节输出。在一个最通用的自动增益控制方法中，使用一可变增益放大器来替换固态图像传感器的输出部分的放大器，并且通过根据图像的最高电平或平均电平来改变放大器的放大系数(增益)，总能够获得恒定的输出电平。

在另一个自动增益控制方法中，改变存储时间。如上所述，固态图像传感器的每个像素对从其读取一个信号到其读取下一个信号这段时间内的电荷进行存储。这段存储时间涉及到灵敏度，也就是说，存储时间越短，存储的电荷就越少，导致灵敏度下降。近来，固态图像传感器已经具备以行为单位重置各像素内存储的电荷的功能，因此，可以任意缩短存储时间。在自动增益控制中利用了这种改变存储时间的功能。

图1和图2示出了常规CMOS图像传感器中的自动增益控制。图1示出了对应于存储时间的积分线(integral line)数量的调整，图2示出了增益的调整。在图1和图2中，下图示出了亮度值在0到2000范围内时上图的放大部分。在此假设CMOS图像传感器具有512行并以30Hz的读取周期读取每个像素数据。因此，在此情况中存储时间最多为1/30秒，积分线的数量为512。如果缩短存储时间，则积分线的数量相应变得少于512。

亮度值是表示入射到CMOS图像传感器上的光的检测量的数据，并被表示在，例如，14位数据内，即，该值在0到1616384范围内。0值意味着最大亮度并且随着该值增大，亮度变低。如图1和图2所示，当亮度值从0变到1000时，增加积分线的数量来增强灵敏度。当亮度值改变并超过1000时，增益增加而积分线数量被固定为最大值。

在室内拍摄的情况中，经常使用荧光灯进行照明，但是已经知道：由于荧光灯的闪烁，在荧光灯照明下进行的拍摄会造成图像中的闪烁噪声。荧光灯射出的光量的改变频率是电源频率的两倍。因此，在电源频率为50Hz的区域中，荧光灯射出的光量以100Hz频率变化，而在电源频率为60Hz的区域中，荧光灯射出的光量以120Hz频率变化。荧光灯的发光频率和固态图像传感器的存储时间之间的这种关系带来了问题。

图3示出了闪烁噪声的发生，(a)示出了发光频率为100Hz的情况和(b)示出了发光频率为120Hz的情况。下面参照图3对连接到从第一帧的顶部的第x个水平选择线(下面称为第x线)的像素的光电二极管的信号存储进行说明。假设第x线的信号存储的开始时间是lxb，信号存储的结束时间是lxe，并且信号存储时间(积分时间)是ts。例如，如果假设从第一水平选择线到最后一个水平选择线的垂直扫描周期和垂直消隐周期的总和为一个帧周期T，则一个帧周期T＝1/30秒，因此帧频率f＝30Hz。

如图3(b)所示，当荧光灯的发光周期为1/120秒时，荧光灯的发光周期的整数倍(四倍)与CMOS图像传感器的一个帧周期一致。因此，针对荧光灯的发光周期，第x线的信号存储开始时间lxb和信号存储结束时间lxe的定时在第n帧和第n+1帧内是相同的。因此，在发光频率为120Hz的荧光灯照明下进行的拍摄会导致每个帧中的图像的恒定亮度。

另一方面，如图3(a)所示，当荧光灯的发光周期为1/100秒时，荧光灯的发光周期的整数倍与CMOS图像传感器的一个帧周期不一致，在该例中大约是该周期的3.3倍。因此，除非将信号存储时间ts调整为荧光灯的发光周期，否则针对荧光灯的发光周期，信号存储开始时间lxb和信号存储结束时间lxe的定时在第n帧和第n+1帧内并不相同。因此，在发光频率为100Hz的荧光灯照明下进行的拍摄使得帧与帧之间的图像亮度不同，导致出现闪烁。

图3示出了帧之间的关系问题，但在连接到同一帧的不同水平线的多个像素的信号存储情况中，针对发光频率为100Hz和120Hz的荧光灯的发光周期，定时都是不同的。因此，对于发光频率100Hz和120Hz，同一帧中各行产生不同亮度，导致图像中出现亮暗条纹。必须将存储时间设定为荧光灯的发光周期的整数倍，以防止因在荧光灯照明下进行拍摄而出现闪烁和条纹。

常规地，当亮度值为1000或更大时，通过将存储时间分别设定为频率为50Hz和60Hz的发光周期的整数倍来解决这个问题，但是在0到1000的亮度值范围内，由于存储时间被改变，所以仍然存在产生闪烁和条纹的问题。然而，在实际使用中，当在荧光灯照明下进行室内拍摄时，由于照明强度小，也就是说，在大多数情况下亮度值为1000或更大，所以图1和图2所示的灵敏度调整的方法不会带来严重问题。

但是，在日本，一些地区的电源频率为50Hz，一些地区的电源频率为60Hz，并且在发货时根据产品的假设目的地来设定存储时间。然而，如果电源频率不合适，仍然存在出现闪烁和条纹的问题。

为了解决这样的问题，本发明的申请人已经在日本未审查专利公报2002-330350中披露了一种结构，其中不管照明是由发光频率为50Hz还是60Hz的荧光灯提供，都根据固态图像传感器的输出信号来检测照明光内的闪烁，然后根据荧光灯的发光周期来将存储时间设定为一个值。

此外，日本未审查专利公报10-304249披露了另一种减少闪烁噪声的方法。

近来，固态图像传感器，尤其是CMOS图像传感器已经提高了灵敏度，因此，即使对于荧光灯照明(也就是光强度相对小的照明)下进行的室内拍摄，除非改变积分时间，否则不能充分地执行灵敏度调整。

发明内容

本发明的一个目的是解决这些问题并实现一种固态图像传感器，在该固态图像传感器中，可以在较宽的范围内调整灵敏度而不会因荧光灯的照明而产生闪烁或条纹。

为了实现上述目的，在本发明的固态图像传感器中，同时利用存储时间和放大器的放大系数来调整灵敏度。为此，本发明的固态图像传感器的特征在于使用一个可变增益放大器作为放大器，该可变增益放大器对从像素中读取的信号进行放大，设置有亮度/照明闪烁检测部分，用于检测入射光图像的亮度和照明闪烁，并当根据检测的亮度和照明闪烁将存储时间逐步改变到多个无闪烁(flicker-less)时间之一而没有发生照明闪烁的同时，根据检测的亮度和存储时间的设定值来改变可变增益放大器的放大系数。

由于同时利用存储时间和放大器的放大系数来调整灵敏度，所以本发明的固态图像传感器具有较宽的可调范围。通过检测照明闪烁来将存储时间逐步改变到无闪烁时间而不发生120Hz或100Hz频率的闪烁，以便防止即使改变存储时间也不出现闪烁或条纹，并且通过在逐步改变存储时间的同时利用放大器的放大系数来平稳地改变总灵敏度。

当照明闪烁具有100Hz发光周期(荧光灯工作在50Hz时的周期)时，将存储时间设定为n/100秒(n为1、2或3)，而当照明闪烁具有120Hz发光周期(荧光灯工作在60Hz时的周期)时，将存储时间设定为n/120秒(n为1、2、3或4)。

通过日本未审查专利公报2002-330350中披露的结构可以实现亮度/照明闪烁检测部分，在该结构中在一个帧中指定的固定的平均照度检测区域内检测各帧中像素信号的平均照度，计算各帧之间的平均照度差，并根据计算的平均照度差来判断照明闪烁是因荧光灯工作在50Hz还是60Hz产生的。但是，本发明并不限定于此，可以使用任何检测方法，只要该方法可以检测入射光图像的亮度和照明闪烁。

附图说明

结合附图，从下面的说明中能够更清楚地理解本发明的特征和优点，在附图中：

图1示出了在固态图像传感器的自动增益控制的常规示例中积分线数量的变化；

图2示出了在固态图像传感器的自动增益控制的常规示例中放大器增益的变化；

图3示出了因荧光灯的照明而产生闪烁的问题；

图4示出了本发明的实施例中CMOS图像传感器的结构；

图5示出了在实施例中固态图像传感器的自动增益控制中积分线数量的变化；

图6示出了在实施例中固态图像传感器的自动增益控制中放大器增益的变化；

图7示出了实施例中当电源频率为100Hz时用于固态图像传感器的自动增益控制的控制值；

图8示出了实施例中当电源频率为120Hz时用于固态图像传感器的自动增益控制的控制值；

图9是用于检测照明闪烁的处理的流程图；

图10示出了用于检测照明闪烁的处理的平均照度检测区域。

具体实施方式

图4示出了本发明的实施例中CMOS图像传感器的结构。

图4是具有m行n列像素阵列的CMOS图像传感器1的4×4像素的电路示例图。连接到多个垂直选择线CL1至CL4和水平选择线RW1至RW4的像素区P11至P44以矩阵排列。在各像素区P11至P44内，光电二极管10被构成作为光电转变装置。例如，可以使用光电栅极(photo gate)代替光电二极管10来实现光电转变装置。

CMOS图像传感器具有APS(有源像素传感器)结构，其中由，例如，MOSFET(在本实施例中，举例示出了N沟道MOSFET)组成的源极跟随器放大器14、水平选择晶体管16等排列在各像素区域P11至P44中。

下面对像素区Pmn的电路结构进行说明，其中m表示行数而n表示列数。例如，将像素区Pmn中光电二极管10的阴极侧连接到由N沟道MOSFET构成的重置晶体管12的源极和源极跟随器放大器14的栅极。

将各重置晶体管12的漏极连接到施加了重置电压VR的重置电压供给线VRm，并将栅极连接到重置信号线RSTm。将源极跟随器放大器14的漏极连接到重置电压供给线VRm，并且将源极连接到，例如，由N沟道MOSFET构成的水平选择晶体管16的漏极。将各水平选择晶体管16的栅极连接到施加了选择信号的水平选择线RWm。将各水平选择晶体管16的源极连接到垂直选择线CLn。

将重置电压供给线VRm和水平选择线RWm连接到垂直扫描移位寄存器/重置控制电路4。通过在此未显示但设置在垂直扫描移位寄存器/重置控制电路4中的移位寄存器，以固定定时将选择信号依次输出到水平选择线RWm。

通过放大器/噪声消除电路6和例如，由N沟道MOSFET构成的列选择晶体管20，将各垂直选择线CLn连接到信号共用输出线30。依次将列选择信号从水平扫描移位寄存器8输入到列选择晶体管20的栅极，并将通过放大器/噪声消除电路6已去除了固定模式噪声的图像数据依次输出到信号共用输出线30，然后通过放大器32将该图像数据发送到外部系统。放大器32是一个可变增益放大器，其放大系数(增益)可以改变。

下面，简要说明CMOS图像传感器1的操作。首先，当以固定定时由重置信号RST接通重置晶体管12时，使光电二极管10充电到重置电位VR。然后光电二极管10根据入射光开始放电并且电位变得低于重置电位VR。经过一固定时间之后，当将水平选择信号RW输出到水平选择线RWm时，水平选择信号RW被输入到连接水平选择线RWm的水平选择晶体管16的栅极，并接通水平选择晶体管16。以此方式，将来自源极跟随器放大器14的输出电压输出到垂直选择线CLn作为像素区Pmn中的图像数据。

除上述结构外，本发明的CMOS图像传感器具有微处理器41、D/A转换器44和A/D转换器45。在微处理器41中，作为软件设置有控制部分42和亮度/照明闪烁检测部分43，控制部分42控制CMOS图像传感器1，亮度/照明闪烁检测部分43根据输出信号对入射在像素上的光图像的亮度和照明闪烁进行检测，该输出信号是在A/D转换器45中转换成数字信号的放大器32的输出。微处理器41根据检测的亮度和照明闪烁，将用以设定用于输出重置信号的定时(即，积分线的数量)的数据输出到垂直扫描移位寄存器/重置控制电路4，并且同时将用以设定放大器32的增益的数据输出到D/A转换器44。根据上述，设定存储时间(积分线的数量)并设定放大器32的增益。

图5和图6分别示出了对应于图1和图2的本发明的自动增益控制，其中帧频率f为30Hz。图5示出了在本实施例的自动增益控制过程中积分线数量的变化，图6示出了在本实施例的自动增益控制过程中放大器增益的变化。图7示出了当用频率为50Hz(发光周期为100Hz)的电源点亮荧光灯时的放大器增益和存储时间的控制值，图8示出了当用频率为60Hz(发光周期为120Hz)的电源点亮荧光灯时的放大器增益和存储时间的控制值。

在本实施例中，如图5和图6明显示出的那样，即使在341至2000的亮度值范围内，逐步改变积分线的数量(存储时间)，并且也改变放大器增益，使得总灵敏度根据亮度值发生平稳变化。当发光周期为120Hz时，存储时间逐步改变为1/120秒、2/120秒、3/120秒、4/120秒，而当发光周期为100Hz时，存储时间逐步改变为1/100秒、2/100秒、3/100秒。当逐步改变存储时间时，积分时间最多改变6dB，因此，同时调整了放大器增益。

处理器41的亮度/照明闪烁检测部分43以下面描述的方式对入射在像素上的光图像的亮度和照明闪烁进行检测。控制部分42根据检测的亮度和照明闪烁，从图7和图8的表格中确定积分线的数量(存储时间)和放大器增益，将指示积分线数量(存储时间)的数据输出到垂直扫描移位寄存器/重置控制电路4，并将指示放大器增益的数据输出到D/A转换器44。例如，当照明闪烁为50Hz而亮度值为500时，根据图7的表格，将存储时间设定为10ms(160个线)而将放大器增益设定为4db。

在本实施例的亮度/照明闪烁检测部分43中对照明闪烁的检测遵循上述日本未审查专利公报2002-330350中披露的方法。下面简要说明该方法。

图9是检测照明闪烁的流程图。首先，将CMOS图像传感器的信号存储时间设定为信号存储时间ts，在时间ts由发光频率为120Hz的荧光灯照明不产生闪烁噪声(步骤S1)。当荧光灯的发光周期为1/120秒时，因闪烁噪声引起的帧中的照度变化量为1/120秒并具有周期性。因此，作为该周期的整数倍并小于CMOS图像传感器的1/30秒帧周期的1/120、2/120、3/120、4/120秒，是信号存储时间可以采用的值，并且在这些值时由发光频率为120Hz的荧光灯照明不会产生闪烁噪声。

下面，在图10所示的图像表面上由标号50表示的固定平均照度检测区域内对各帧检测图像数据的平均照度(步骤S2)。在图10中，用斜线表示的平均照度检测区域50显示在三个位置，这三个位置的间隔几乎相等并对应于d2个水平选择线。平均照度检测区域50由连接到固定数量的相邻水平选择线的多个像素组成。此外，必须将各平均照度检测区域50中的水平选择线的数量d1调整为由闪烁噪声产生的照度变化量的周期的非整数倍。

但是，希望以对应于所有水平选择线的宽度V乘以3/10为间隔，在一个帧中的一至三个位置设置平均照度检测区域50。

下面，计算各帧之间(例如，讨论中的帧和前一个相邻的帧)的平均照度差(步骤S3)。然后判断该平均照度差是否超过了固定阈值(步骤S4)。如果平均照度差超过该阈值，则判断到荧光灯的发光频率为100Hz，这是因为帧与帧之间的照度不同(步骤S5)。如果没有超过，则判断为120Hz。

以上述方式可以判断照明闪烁。

除了上述照明闪烁的检测方法以外，例如，可以通过设置一光接收装置和检测所接收的光量变化来检测照明闪烁，该光接收装置用于接收与固态图像传感器的部分入射光成比例的光。

根据本发明，如上所述，可以实现固态图像传感器，该固态图像传感器可以在较宽范围内执行灵敏度调整同时不会因荧光灯的照明而产生闪烁或条纹。

Claims (4)

1.一种固态图像传感器，包括：多个像素，以矩阵排列并存储与入射光的量成正比的电荷；和可变增益放大器，对以固定周期时间从多个像素中依次读取的像素信号进行放大，其放大系数可以改变，并能够将多个像素进行电荷存储的存储时间设定为比固定周期时间窄的时间范围内的任意值，其中该传感器包括：亮度/照明闪烁检测部分，检测入射光图像的亮度和照明闪烁；和控制部分，根据检测的亮度和存储时间的设定值来改变可变增益放大器的放大系数，以及根据检测的亮度和照明闪烁，逐步将存储时间改变为多个无闪烁时间之一，其中在无闪烁时间上不产生照明闪烁。

2.根据权利要求1所述的固态图像传感器，其中当由亮度/照明闪烁检测部分检测的照明闪烁具有的发光周期对应于荧光灯发光频率为50Hz的情况时，所述控制部分将存储时间设定为n/100秒，n为正整数。

3.根据权利要求1所述的固态图像传感器，其中当由亮度/照明闪烁检测部分检测的照明闪烁具有的发光周期对应于荧光灯发光频率为60Hz的情况时，所述控制部分将存储时间设定为n/120秒，n为正整数。

4.根据权利要求1所述的固态图像传感器，其中亮度/照明闪烁检测部分在由一帧中指定的固定平均照度检测区域内对各帧的像素信号的平均照度进行检测，计算各帧之间的平均照度差，并根据计算的平均照度差来判断照明闪烁是由荧光灯发光频率在50Hz还是60Hz产生的。

Images