CN100512389C - 成像设备 - Google Patents

Abstract

对于由多个像素形成的图像拾取器件，其中每个像素可以在与其它像素的定时不同的定时处执行它的曝光操作和读取操作中的任何一个操作，提供了一种成像设备，其可以基于闪光灯的预闪光高度精确地确定主闪光的光量。在由闪光灯(21)进行预闪光操作之前以及预闪光操作期间，为图像拾取器件(13)的所有像素同时开始曝光操作，以形成在预闪光之前以及预闪光期间的图像，以便分别获得在预闪光之前以及预闪光期间由检测器电路(17)检测的检测值。计算电路(18)计算通过从预闪光期间的检测值中减去预闪光之前的检测值而获得的差分检测值。差分检测值是仅仅包含预闪光而除去了环境光的检测值。基于该差分检测值计算主闪光的光量。

Description

成像设备

技术领域

本发明涉及通过使用闪光灯形成图像的成像设备。

背景技术

已知这样一种成像设备，其为了闪光成像而进行预闪光，然后检测从对象反射的光以确定主闪光光量。成像设备主要使用CCD(电荷耦合器件)图像传感器作为它们的图像拾取器件。近来，在趋向于图像拾取器件上的更高像素密度的日益增加的趋势中，CMOS图像传感器作为新型的图像拾取器件正日益引起注意。CMOS图像传感器具有诸如对像素信号进行随机存取和高速读取、高灵敏度、低功耗等优点。

然而，在传统的使用CMOS图像传感器的成像设备中，对于每个像素不同地执行曝光操作和读取操作，而且当使用预闪光时，仅仅向图像拾取器件的一部分给出预闪光效果，这会导致难以足够精确地确定主闪光量的问题。为了克服这个问题，已经提供了一种应用充分长的预闪光曝光时间的设备(参见，例如，专利文献1(日本专利申请公开2000-196951))。

发明内容

然而，当应用足够长的预闪光曝光时间的成像设备在环境光下进行预闪光时，进入CMOS图像传感器某一区域的光量有时可能超过CMOS图像传感器的动态范围，使得从那个区域中产生呈现不适当电平的图像信号，而且因此使难以足够精确地确定主闪光光量的问题没有得到解决。

已经鉴于这样的情况而做出了本发明，而且本发明的一个目的是提供一种能够基于闪光灯的预闪光高度精确地确定主闪光光量的成像设备，该成像设备甚至使用由多个像素形成的图像拾取器件，其中的每个像素可以在不同于其它像素的定时处执行它的曝光操作和读出操作中的任何一个操作，其中所述图像拾取器件诸如为XY可寻址图像传感器，尤其可以是CMOS图像传感器。

为了实现上述目的，本发明的成像设备包括：闪光灯，用于将光照射到对象上；图像拾取器件，由多个像素形成，其中每个像素可以在不同于其它像素的定时处执行曝光操作和读出操作中的任何一个操作；检测器电路，用于检测由图像拾取器件所形成的图像信息的亮度；以及控制电路，用于控制图像拾取器件和检测器电路的操作。在该成像设备中，控制电路使闪光灯在闪光灯进行主闪光操作之前进行预闪光，使图像拾取器件在预闪光的时候形成图像，并且使检测器电路检测在预闪光的时候形成的图像信息的亮度，以基于所检测到的在预闪光时形成的图像信息的亮度，计算要由闪光灯进行主闪光的光量。控制电路的特征在于：在闪光灯进行预闪光的时候同时开始该图像拾取器件中的所有像素的曝光操作，由此在预闪光的时候形成图像。

附图说明

图1为示出依据实施例1的成像设备的一般配置的图示。

图2为CCD图像传感器的一般配置的图示。

图3为CMOS图像传感器的一般配置的图示。

图4为示出CCD图像传感器的操作的时序图。

图5为示出CMOS图像传感器的操作的时序图。

图6为示出闪光成像的控制流程的图示。

图7为示出对象的示例图像的图示；

图8为示出在没有环境光的情况下、差分检测值的示例计算的图示。

图9为示出在有环境光的情况下、差分检测值的示例计算的图示。

图10为示出由传统CCD传感器所进行的静止图像的闪光成像序列的图示。

图11为示出由传统CMOS传感器所进行的静止图像的闪光成像序列的图示。

图12为示出由传统的CCD传感器在预闪光的时候形成的图像的图示。

图13为示出由传统的CMOS传感器在预闪光的时候形成的图像的图示。

图14为示出由依据实施例1的CMOS传感器进行的、静止图像的闪光成像序列的图示。

图15为示出在实施例1中、差分检测值的示例计算的图示。

具体实施方式

为了实现基于闪光灯的预闪光而高度精确地确定主闪光光量的目的，这样配置成像设备，以便在进行预闪光操作时，为它的图像拾取器件中的所有像素同时开始曝光操作，以便在预闪光的时候形成图像。

(实施例1)

下面将参考附图对依据本发明实施例1的成像设备进行描述。

图1为示出依据实施例1的成像设备的一般配置的图示。

如图1所示，依据实施例1的成像设备包括透镜11、光圈12、图像拾取器件13、AGC(自动增益控制器)14、A/D转换器15、摄像机信号处理电路16、检测器电路17、计算单元18、存储器单元19、闪光电路20、闪光灯21、透镜驱动器22、和存储器单元23。

在成像期间，透镜11通过来自对象的光，以便聚焦在图像拾取器件13上。光圈12改变它的孔径以便为了图像拾取器件13的灵敏度而优化进入通过透镜11的光量。此外，光圈12起到快门的作用。图像拾取器件13包括多个具有为之布置的R、G、B滤色器的像素，并且将已经通过透镜11进入每个像素的光光电转换为模拟信号(电荷)。此外，图像拾取器件13由XY可寻址图像传感器、诸如例如CMOS图像传感器形成，并且对其进行配置，以便多个像素中的每个像素在不同的定时处执行它的曝光操作和读出操作中的任何一个操作。就CMOS图像传感器的低功耗和高速读取而言，CMOS图像传感器是有利的。

AGC 14对由图像拾取器件13生成的视频信号进行放大。A/D转换器15将由AGC 14放大的模拟视频信号转换为数字视频信号。摄像机信号处理电路16对由A/D转换器15转换的数字视频信号执行迄今为止众所周知的各种信号处理，并且包括例如白平衡电路、Y/C分离电路、滤波电路、孔径控制器、伽马校正电路等，所有这些电路都未示出。检测器电路17检测包含在由摄像机信号处理电路16处理的视频信号中的亮度和颜色在屏幕内的分布。表示亮度的检测值是，例如在屏幕内的像素亮度信号电平的积分。

计算单元18由例如微计算机形成，并且基于由检测器电路17检测到的亮度和颜色分布以及由摄像机信号处理电路16处理的视频信号，控制当前设备的各个部分。计算单元18计算和输出例如用于控制图像拾取器件13的每个像素所执行的曝光操作和读出操作的曝光定时控制信号、用于控制AGC 14的增益的增益控制信号、用于经由透镜驱动器22控制透镜11的聚焦和光圈12的孔径的透镜控制信号、以及用于经由闪光电路20控制闪光灯21的启用操作的闪光灯控制信号。存储器单元19存储由计算单元18计算的控制数据。

闪光电路20依据由计算单元18计算的闪光灯控制信号驱动闪光灯21，以便进行闪光成像。闪光灯21依据来自闪光电路20的驱动信号发光。透镜驱动器22依据由计算单元18计算的透镜控制信号驱动透镜11和光圈12。存储单元23暂时存储由摄像机信号处理电路16处理的视频信号(例如，活动图像信息)。

图2为CCD图像传感器的一般配置的图示，而图3是CMOS图像传感器的一般配置的图示。

如图2所示，CCD图像传感器包括多个以二维矩阵形状配置布置的像素31，以及数目与多个像素31的列数目一样多的V传送寄存器32，以及H传送寄存器33。每个像素31将入射光光电转换为模拟视频信号(电荷)。多个V传送寄存器32分别、即垂直地为每个像素(每一行)传送经光电转换的像素视频信号。V传送寄存器32为每个像素水平地传送与从多个V传送寄存器32传送的一行一样多的像素31的视频信号。

当CCD图像传感器暴露在光下时，已经进入像素的光线被分别光电转换为电荷(视频信号)。每个像素31开始以与其入射光成比例的量存储电荷。当向CCD图像传感器给予用于传送电荷的信号时，将分别存储在所有像素31中的电荷同时传送到它们的各自V传送寄存器32中。为每个像素(每行)将传送到相应的V传送寄存器32的像素31(行)中的电荷垂直地传送到H传送寄存器33。然后为每个像素水平地传送用于与传送到H传送寄存器33的一行一样多的像素的视频信号，以及从中输出这些视频信号。光屏蔽多个V传送寄存器32和H传送寄存器33。因此，曾经向那里传送的像素31的电荷保持不变，且像素不暴露在来自外部的光下。

如图3所示，CMOS图像传感器包括以二维矩阵形状配置布置的多个像素41以及列42，其中每列中的像素41电连接在一起，列42为每个像素水平地传送从属于每一列的任意像素41中传送的电荷(视频信号)。CMOS图像传感器不具有与CCD图像传感器中的V传送寄存器32相对应的部件。因此，CMOS图像传感器中的每个像素41可以具有比CCD图像传感器中每个像素31更大的表面面积。因此，可以增加它的动态范围以提高它的灵敏度。CMOS图像传感器可以被配置为有选择地读取在期望的地址处的像素41。另一方面，它不能同时读取属于同一列的像素41，这使它们的曝光和读出操作复杂化了。

图4是示出CCD图像传感器的操作的时序图，而图5是示出CMOS图像传感器的操作的时序图。

如图4所示，为所有像素31同时执行CCD图像传感器的曝光操作。在CMOS图像传感器中，由于缺少与CCD图像传感器中的V传送寄存器32相对应的部件，所以当读取某一像素41时，其它的像素受环境光的影响，这导致电荷的不正确存储。如图5所示，在CMOS图像传感器中，对于每个像素41，曝光操作和读出操作必须彼此具有一定关系。在这个示例中，采用为每个像素(每行)41将曝光开始时间错开一行的技术，以便向所有像素给出相等的曝光时间。

图6为示出用于闪光成像的控制流程的图示。

如图6所示，当选择静止图像检取模式时，由检测器电路17检测包含在由图像拾取器件13生成的图像信号中的亮度信号电平的积分，并且由计算电路18基于该亮度信号电平的积分确定环境光是高还是低(步骤S1)。当确定环境光高时，处理进入步骤S2以执行常规的成像而没有使用闪光灯21。另一方面，如果在步骤S1确定环境光低的话，则处理进入步骤S3以执行闪光成像。要注意到，当在任何环境光条件下强制执行闪光成像的操作模式生效时，处理进入步骤S3以执行闪光成像而不考虑步骤S1的结果。

对于闪光成像，首先设置光圈12的孔径、图像拾取器件13的曝光时间(快门时间)、以及AGC 14的增益(步骤S3)。优选为这样设置光圈12的孔径，以便在闪光灯21的预闪光期间，来自近距离对象的光不超过图像拾取器件13的动态范围。预闪光是用于计算主闪光光量的处理。并且，如果超过动态范围的光进入图像拾取器件13，则产生失真的(饱和的)视频信号，使得不能准确地计算用于主闪光的光量。此外，优选为将图像拾取器件13的曝光时间设置为尽可能地短。较长的曝光时间导致更大的环境光影响，这将使用于检测预闪光光量的动态范围变窄，因此降低了主闪光光量的计算精确度。优选为将AGC 14的增益设置为这样一个较小的值，以便减少视频信号中的噪声影响。

接下来，在保持孔径、曝光时间和增益设置的同时，由图像拾取器件13执行预闪光之前的曝光和读出操作而没有使用闪光灯21，而且由检测器电路17检测预闪光之前的检测值(a)，即包含在视频信号中的亮度信号电平的积分，并且将其存储在存储器单元23中。预闪光之前的检测值(a)是指仅仅环境光而没有预闪光的光的检测值(步骤S4)。

接下来，在仍然保持孔径、曝光时间和增益设置的同时，由闪光灯21以预定的光量进行预闪光(步骤S5)。然后，由图像拾取器件13执行预闪光期间的曝光和读出操作，并且由检测器电路17检测预闪光期间的检测值(b)，即包含在视频信号中的亮度信号电平的积分，并且将其存储在存储器单元23中。预闪光期间的检测值(b)是指预闪光的光和环境光的检测值(步骤S6)。

接下来，由计算电路18从存储器单元23中读取存储在其中的预闪光期间的检测值(b)和预闪光之前的检测值(a)，以便通过从预闪光期间的检测值(b)中减去预闪光之前的检测值(a)来计算差分检测值。该差分检测值是指除去了环境光而仅仅包含预闪光的光的检测值(步骤S7)。接下来，由计算电路18基于该差分检测值计算闪光灯21的主闪光的光量(步骤S8)。然后，依据所计算的光量使用闪光灯21，以便执行闪光成像(步骤S9)。

优选为尽可能快地执行由图像拾取器件13所进行的、在步骤S4中的预闪光之前的曝光操作和在步骤S6中的预闪光期间的曝光操作。通常在低采光的情况下执行闪光成像，但是几乎不会没有环境光。此外，例如，执行闪光成像以便突出显示由于背光被看起来昏暗的人。这样的环境光影响获得正确的检测值，尤其是影响获得预闪光期间的检测值(b)，而且这可能导致获得不正确的差分检测值。

图7为示出对象的示例图像的图示。此外，图8为示出在没有环境光的情况下、差分检测值的示例计算的图示，而图9为示出在有环境光的情况下、差分检测值的示例计算的图示。

将给出对有关来自图像拾取器件的输出而进行的计算结果、即基于检测值的差分检测值的描述。当通过闪光成像形成图7所示、在屏幕的中心包括圆形图像A的图像时，在由图7所示的垂直虚线所限定的位置处获取输出。

如图8所示，在没有环境光的情况下，在进行预闪光之前来自图像拾取器件的输出为零，因此它的预闪光之前的检测值(a)也是零。在预闪光的时候，获得预闪光期间的检测值(b)，其为与图像A相对应的部分呈现出大的输出电平。因此，差分检测值与预闪光期间的检测值(b)一致。

如图9所示，在环境光的情况下，获得与环境光相对应的预闪光之前的检测值(a)。在预闪光的时候，环境光和预闪光的光进入图像拾取器件中。在这时候，对任何超过图像拾取器件的100％输出电平的亮度信号、即任何超过图像拾取器件的动态范围的亮度信号进行剪去一部分的处理。因此，由于从中除去了被剪去的部分，所以差分检测值变得更小并且失真了。因此，不能计算出正确的主闪光光量。如先前所述，很少在几乎没有环境光的情况下执行闪光成像。因此，必须尽可能快地执行在预闪光之前以及预闪光期间的曝光操作，以便减少环境光影响，并且因此在预闪光的时候向图像拾取器件的动态范围给与充分的余量。

图10为示出由传统的CCD传感器进行的、静止图像的闪光成像序列的图示，而图11为示出由传统的CMOS传感器进行的、静止图像的闪光成像序列的图示。此外，图12为示出由传统的CCD传感器在预闪光的时候形成的图像的图示，而图13为示出由传统的CMOS传感器在预闪光的时候形成的图像的图示。

如图10所示，在活动图像检取模式中，当传统的CCD传感器用作图像拾取器件时，在时间T1开始预闪光之前的曝光，并且在时间T2开始预闪光期间的曝光。所以分别获得检测值，并且然后计算它们的差分检测值。随后，继续到静止图像检取模式，借助于主闪光执行闪光成像。如图12所示，预闪光期间的曝光过程中的预闪光均匀地影响整个屏幕区域。

如图11所示，在活动图像检取模式中，即使当传统的CMOS传感器用作图像拾取器件时，类似地，在时间T1开始预闪光之前的曝光，并且在时间T2开始预闪光期间的曝光。所以分别获得检测值，并且然后计算它们的差分检测值。然而，如图13所示，预闪光持续时间短达10微秒，以致预闪光曝光中的预闪光仅仅影响屏幕的有限区域(上部区域)。因此，从该屏幕的剩余区域(中间和下部区域)中获得仅仅表示环境光而没有预闪光效应的检测值。因此，不能高度精确地获得预闪光期间的检测值，由此也不能高度精确地计算主闪光的光量。

图14为示出由依据实施例1的CMOS传感器进行的、静止图像的闪光灯成像序列的图示。

如图14所示，为了开始预闪光之前的曝光以及预闪光期间的曝光，依据本发明实施例1的成像设备从它的图像拾取器件13的所有像素中清除电荷，借此为屏幕内的所有像素同时开始曝光操作。预闪光期间的曝光操作中的预闪光从上到下均匀地影响整个屏幕。因此，可以高度精确地获得预闪光期间的检测值。另一方面，本发明的成像设备不能同时读取屏幕内的所有像素，并且因此，在错开的定时处单行顺序地读取像素。预闪光之前和预闪光期间的曝光时间被设计成对于越低行中的像素曝光时间持续越长，因此第一行中的像素曝光最短的时间(例如，1/4000秒)，而且在最后一行的像素曝光最长的时间(例如，几百分之一秒)。

预闪光之前和预闪光期间的曝光时间从屏幕的上部到下部区域是不同的。然而，通过设置较短的曝光时间，可以减少环境光对于预闪光期间的检测值的影响。因为预闪光是最初用于计算主闪光光量的操作，所以只要预闪光允许准确检测在预闪光期间从对象反射的光量，该操作就是可接受的。此外，依据实施例1的成像设备除了检测预闪光期间的检测值之外还检测预闪光之前的检测值，并且从预闪光期间的检测值中减去预闪光之前的检测值，以获得它们的仅仅包含预闪光的光而除去了环境光的差分检测值。因此，消除了在预闪光之前和预闪光期间的曝光过程中、在应用于屏幕的上部区域和下部区域的曝光时间之间的差别，借此可以获得仅仅包含预闪光而除去了环境光的差分检测值。因此，可以获得更准确的差分检测值，并且可以获得更准确的主闪光光量。

图15为示出在实施例1中、差分检测值的示例计算的图示。

将给出对关于来自图像拾取器件的输出而进行的计算结果、即类似于图8和9所示的差分检测值的基于检测值的差分检测值的描述。当通过闪光成像形成图7所示、在屏幕的中心包括圆形图像A的图像时，在由图7所示的垂直虚线所限定的位置处获取输出。

如图15所示，在预闪光之前，在屏幕上部区域中的像素曝光短达例如1/4000秒的时段，并且因此图像输出电平几乎为零。而且，位于屏幕较低行中的像素具有较长的曝光时间，因此环境光影响在图像输出电平中逐步增大。在预闪光期间，与图像A相对应的部分产生大输出电平，并且也受到环境光的影响。然而，因为预闪光之前和预闪光期间包含在入射光中的环境光量小于预闪光光量，因此可以获得这样的图像输出电平，其不超过图像拾取器件的100％输出电平，即图像拾取器件的动态范围。

如上所述，依据实施例1的成像设备，在预闪光操作期间，为图像拾取器件13的所有像素同时开始曝光操作，以便在预闪光的时候形成图像。因此，预闪光影响可以扩展到图像拾取器件的整个区域上，同时减少了图像拾取器件的曝光时间。因此，这在高准确度地获得主闪光光量方面是有利的。此外，将闪光灯21的预闪光时间设置为这样小的值，以便进入图像拾取器件13中的光量不超过图像拾取器件13的动态范围。因此，可以由图像拾取器件13形成如实地再现入射光量的不失真图像。因此，这在用甚至更高的准确度获得主闪光光量方面也是有利的。

此外，通过除了检测预闪光期间的检测值之外还检测预闪光之前的检测值，从预闪光期间的检测值中减去预闪光之前的检测值，以获得它们的仅仅包含预闪光而除去了环境光的差分检测值。因此，可以获得仅仅包含预闪光而除去了环境光的差分检测值。因此，这在高准确度地获得主闪光光量方面也是有利的。

要注意到，在图14中，在由图像拾取器件13执行预闪光之前和预闪光期间的操作的时段期间，以2Vs(每两个垂直同步信号)的相隔出现来自图像拾取器件13的输出，从而仅仅提供了不完全的视频信号(活动图像)。另外，受屏幕内一个区域到另一个区域的曝光时间的差别的影响，在这个时段期间从图像拾取器件中输出失真的视频。为了克服这个缺点，可以实现以下的配置。也就是说，事先在存储器单元23中存储在这个时段之前一些Vs的定时处生成的视频信号，并且当开始预闪光之前的曝光操作时，图像拾取器件13读取已经存储在存储器单元23中的、在之前一些Vs的定时处生成的视频信号，而不是由图像拾取器件13形成的图像，并且输出所读取的视频信号到下游的图像记录系统或者图像输出系统。这使得用户不会注意到视频中的失真。

工业实用性

依据本发明的成像设备，在由闪光灯进行预闪光操作期间，为图像拾取器件中的所有像素同时开始曝光操作，借此可以将预闪光影响扩展到图像拾取器件的整个区域上，同时减少了曝光时间，以致进入图像拾取器件的整个区域中的光量尽可能地不超过图像拾取器件的动态范围。因此，这在高准确度地获得主闪光光量方面是有利的。

Claims (6)

1、一种成像设备，包含：闪光灯，用于将光照射到对象上；图像拾取器件，由多个以二维矩阵形状配置布置的像素形成，其中每个像素可以在与其它像素的定时不同的定时处执行它的曝光操作和读取操作中的任何一个操作；检测器电路，用于检测由图像拾取器件形成的图像信息的亮度；以及控制电路，用于控制图像拾取器件和检测器电路的操作，所述成像设备的特征在于：

所述控制电路使闪光灯在闪光灯进行主闪光操作之前进行预闪光，使图像拾取器件在预闪光的时候形成图像，以及使检测器电路检测在预闪光的时候形成的图像信息的亮度，以基于所检测到的在预闪光时形成的图像信息的亮度，计算要由所述闪光灯进行主闪光的光量；以及

所述控制电路使得在由所述闪光灯进行预闪光的时候同时开始所述图像拾取器件中的所有像素的曝光操作，由此在预闪光的时候形成图像，

其中所述多个像素中，越低行中的像素曝光时间持续越长。

2、如权利要求1所述的成像设备，其特征在于：

所述设备还包含存储器单元，用于存储在由闪光灯进行预闪光操作之前由所述图像拾取器件形成的图像信息，其中所述图像信息是视频信号；以及

当所述拾取器件开始预闪光期间的曝光操作时，所述控制电路使所述拾取器件读取已经存储在所述存储器单元中的视频信号，而不是读取在预闪光的时候由所述图象拾取器件形成的图像，并且输出所读取的视频信号到下游的图像记录设备或者图像输出设备。

3、一种成像设备，包含：闪光灯，用于将光照射到对象上；图像拾取器件，由多个以二维矩阵形状配置布置的像素形成，其中每个像素可以在与其它像素的定时不同的定时处执行它的曝光操作和读取操作中的任何一个操作；检测器电路，用于检测由图像拾取器件形成的图像信息的亮度；以及控制电路，用于控制图像拾取器件和检测器电路的操作，所述成像设备的特征在于：

所述控制电路使闪光灯在闪光灯进行主闪光操作之前进行预闪光，使图像拾取器件在预闪光的时候形成图像，使检测器电路检测在预闪光的时候形成的图像信息的亮度，使图像拾取器件在由所述闪光灯进行预闪光操作之前、在不使用闪光灯的情况下形成预闪光之前的图像，以及使检测器电路检测在预闪光之前形成的图像信息的亮度，以便计算从分别由所述检测器电路检测到的、在预闪光之前形成的图像信息的亮度和在预闪光期间形成的图像信息的亮度中获得的差分值，并在所计算的差分值的基础上计算要由闪光灯进行主闪光的光量，以及

所述控制电路使得在由所述闪光灯进行预闪光操作之前以及在预闪光操作期间，为所述图像拾取器件的所有像素同时开始曝光操作，借此形成在预闪光操作之前以及在预闪光操作期间的图像，

其中所述多个像素中，越低行中的像素曝光时间持续越长。

4、如权利要求3所述的成像设备，其特征在于：

所述设备还包含存储器单元，用于存储在所述图像拾取器件在预闪光前形成图像之前由所述图像拾取器件形成的图像信息，其中所述图像信息是视频信号；以及

当所述拾取器件开始预闪光之前的曝光操作时，所述控制电路使所述拾取器件读取已经存储在所述存储器单元中的视频信号，而不是读取在预闪光之前和预闪光期间由所述图像拾取器件形成的图像，并且输出所读取的视频信号到下游的图像记录设备或者图像输出设备。

5、如权利要求3所述的成像设备，其特征在于：所述图像拾取器件包含XY可寻址的图像传感器。

6、如权利要求5所述的成像设备，其特征在于：所述XY可寻址的图像传感器包含CMOS图像传感器。

Images