CN101682699A - 成像装置、成像控制方法以及成像控制程序 - Google Patents

Abstract

本发明提供一种成像装置、成像控制方法以及成像控制程序。将通过在分割曝光时间内所获得的成像信号A/D转换为数字成像信号。从数字成像信号中减去暗电流分量。累加减法处理的结果，并且将其存储在第一存储器中。接下来，在成像元件被光屏蔽的状态下，在分割的曝光时间内执行曝光。将获得的成像信号A/D转换为数字成像信号。从数字成像信号减去暗电流分量。累加减法处理的结果，并且将其顺序存储在第二存储器中。从存储在第一存储器中的数字成像信号中减去存储在第二存储器中的数字成像信号。然后，输出减去后的结果。分配给第一存储器和第二存储器中的一个像素的字长长于一个A/D转换的像素的字长。

Description

成像装置、成像控制方法以及成像控制程序

技术领域

本发明涉及适将成像元件用于长时间曝光成像的成像装置、成像控制方法以及成像控制程序。

背景技术

当在单位时间以少量的光照射成像装置的膜或者成像元件来执行成像时，需要通过设置诸如几十秒、几分钟或者更长的长曝光时间以使更多的光照射成像装置或者膜。执行这种成像的实例可以包括：在黑暗中执行成像、对诸如星星等黑暗对象执行成像以及通过区域中的狭窄孔径和深的纵深执行精确成像。

在诸如CCD(电荷耦合装置)或者CMOS(互补金属氧化物半导体)成像器等通过光电转换将照射的光转换成电信号然后输出的成像装置中，对于每个像素把预定周期(诸如帧率等)中输出的成像信号加起来，以增大动态范围。在JP-A-5-236422中记载了这样的结构：对于每帧累加从成像装置获得的图像信号，以增大动态范围。

在诸如长曝光等成像条件下，可以发生由成像元件的固定图案造成的黑暗时的白斑的数量增加和信号电平的升高，这往往会导致通过成像所获得的图像数据噪声非常多和视觉上不舒服。其原因如下。在成像装置的像素部中出现的泄露电流所引起的白斑(下文中，称作白斑)是由于成像元件的特有的固定图案引起的。白斑的信号电平与曝光时间成比例地增加。因此，长时间曝光可以将在短曝光的黑信号电平附近的白斑的信号电平变成可见信号电平，然后，导致在黑暗中的可见白斑的数量呈指数地增长。

当利用加法将泄漏电流造成的白斑的信号电平增加至超过存储字长(memory word length)的电平时，在动态范围的上限处带有白斑的像素的信息被限幅(clip)而成为缺陷。当屏幕上的白斑数量充分小时，可以通过使用相邻像素信号执行插值(interpolation)来解决该问题。

然而，如上所述，长曝光可以导致多个白斑，其中，一白斑可能与另一白斑相邻，所以使用相邻像素的插值不可能改善图像质量。这需要通过加合成像信号以增大动态范围，同时消除白斑。

作为解决该问题的一个传统方法，使用在对成像元件进行了光屏蔽的状态下执行成像所获得的图像信号来消除白斑。例如，首先，通过在由来自对象的光照射成像元件的状态下执行成像，然后，在相同的曝光时间内通过在对成像元件进行光屏蔽的状态下执行成像，并且，对于每个像素从在由光照射成像元件的状态下获得的图像信号(下文中，称作“非光屏蔽图像信号”)中减去在对成像元件进行光屏蔽的状态下获得的图像信号(下文中，称作“光屏蔽图像信号”)。该方法可以消除白斑，因为在光屏蔽图像信号中，白斑像素的白斑信号电平与曝光时间相应地增加，同时非白斑像素的信号电平理想地为黑信号电平。

如上所述，JP-A-2003-219282和JP-A-8-51571描述了通过对每个像素从非光屏蔽图像信号中减去光屏蔽图像信号以去除成像元件的固定图案噪声的技术。此外，根据JP-A-8-51571，将光屏蔽图像信号的电平减少至1/N，并且将从非光屏蔽图像信号减去减少至1/N的光屏蔽图像信号重复N次，从而更适当地去除白斑。

发明内容

然而，存在这样的问题：在从非光屏蔽图像信号中减去光屏蔽图像信号来消除白斑过程中，当执行很长的曝光时，基于长曝光所累加的电荷的非光屏蔽图像信号和光屏蔽图像信号可以达到饱和电平，因此，在非光屏蔽图像信号和光屏蔽图像信号中的白斑信号电平的信号的动态范围显著降低。

另一个问题是：当执行极长曝光时，暗电流的累积变得不可忽略。具体地，当在极长时间段内执行曝光时，仅由累积的暗电流的电荷也可以使成像元件的输出信号达到饱和电平。

鉴于以上所述，本发明的目的是提供在维持对象信号的足够的动态范围的同时可以有效去除白斑的成像装置、成像控制方法、以及成像控制程序。

为了解决上述问题，本发明提供了一种成像装置，包括：

成像元件，具有多个像素，并将光电转换产生的电荷存储在各个像素中，并且基于存储在各个像素中的电荷输出包括像素数据的成像信号；

第一存储器和第二存储器，用于存储所述成像信号；

加法器，用于加合各个像素数据的所述成像信号；

控制器，在非光屏蔽条件下，用于使所述成像元件输出通过多个分割次数将曝光时间分割成的每段分割曝光时间的所述成像信号，并且对于各个像素数据，累加每段分割曝光时间的所述成像信号，然后将累加的成像信号存储在所述第一存储器中；以及，在光屏蔽条件下，用于使所述成像元件输出通过多个分割次数将曝光时间分割成的每段分割曝光时间的所述成像信号，并且对于各个像素数据，累加每段分割曝光时间的所述成像信号，然后将累加的成像信号存储在所述第二存储器中；以及

减法器，用于从存储在所述第一存储器中的累加了所述多个分割次数的各像素数据中减去存储在第二存储器中的累加了所述多个分割次数的各像素数据。

本发明提供了一种成像控制方法，用于使用成像元件执行成像，所述成像元件具有多个像素，并将光电转换产生的电荷存储在每个像素中，并且基于存储在每个像素中的电荷输出包括像素数据的成像信号，所述方法包括以下步骤：

通过使所述成像元件输出所述成像信号来执行成像；

在非光屏蔽条件下，使所述成像元件将通过多个分割次数使曝光时间分割成的每个分割曝光时间的所述成像信号作为非光屏蔽图像信号输出；

对于各个像素数据，累加每段分割曝光时间的所述非光屏蔽图像信号；

在光屏蔽条件下，使所述成像元件将通过多个分割次数使曝光时间分割成的每个分割曝光时间的所述成像信号作为光屏蔽图像信号输出；

对于各个像素数据，累加每段分割曝光时间的所述光屏蔽图像信号；

从在光屏蔽状态下的被累加了所述多个分割次数的各像素数据中减去在非光屏蔽状态下的被累加了所述多个分割次数的各像素数据。

本发明提供了一种成像控制程序，用于使计算机执行成像方法，所述成像方法用于使用成像元件执行成像，所述成像元件具有多个像素，并将光电转换产生的电荷存储在各个像素中，并且基于存储在各个像素中的电荷输出包括像素数据的成像信号，所述成像方法包括以下步骤：

通过使所述成像元件输出所述成像信号来执行成像；

在非光屏蔽条件下，使所述成像元件将通过多个分割次数使曝光时间分割成的每个分割曝光时间的所述成像信号作为非光屏蔽图像信号输出；

对于各个像素数据，累加每段分割曝光时间的所述非光屏蔽图像信号；

在光屏蔽条件下，使所述成像元件将通过多个分割次数使曝光时间分割成的每个分割曝光时间的所述成像信号作为光屏蔽图像信号输出；

对于各个像素数据，累加每段分割曝光时间的所述光屏蔽图像信号；

从在光屏蔽状态下的被累加了所述多个分割次数的各像素数据中减去在非光屏蔽状态下的被累加了所述多个分割次数的各像素数据。

如上所述，根据本发明，在分割了曝光时间的每个定时处，从在非光屏蔽条件下的成像元件读取电荷，然后，基于该读取的电荷从成像信号中去除与暗电流分量相对应的分量，然后，对于每次读取顺序地累加去除了暗电流分量的数字成像信号，并且存储在第一存储器中，然后，当曝光时间结束时，从存储在第一存储器中的数字成像信号中减去与在对应于曝光时间的时间周期期间内存储在光屏蔽条件下的成像元件中的电荷相对应的数据，然后，输出结果。因此，具有防止在第一存储器的数字成像信号的累加中的数据限幅并且能够确保动态范围的优点。

附图说明

图1为用于概念地说明本发明的实施方式的示意图；

图2为示出根据本发明的实施方式的成像装置的结构实例的框图；

图3为示出存储器的结构实例的示意图；

图4为示出加法/减法器的结构实例的框图；

图5为示出成像装置的成像操作的实例的时序图；

图6为示出根据本发明的实施方式的处理的流程图；

图7示出了确定分割曝光时间的数量的处理和确定根据本发明的实施方式的每幅图像的曝光时间的处理的流程图；

图8示出了根据本发明的实施方式确定分割的曝光时间的次数的处理和确定每幅图像的曝光时间的处理的流程图；

图9示出了根据本发明的实施方式的处理的另一实例的流程图；

图10示出了用于说明根据本发明的实施方式的控制优点的实例的示意图；

图11示出了用于说明根据本发明的实施方式的控制优点的实例的示意图；以及

图12示出了用于说明根据本发明的实施方式的控制优点的实例的示意图。

符号说明

1成像装置           12成像元件

13A/D转换器         14数字钳位器

15加法/减法器       16存储器

19控制器

具体实施方式

以下将参照附图描述本发明的实施方式。图1概念地示出了根据本发明的曝光处理。在本发明的实施方式中，首先，在来自对象的光照射成像元件的状态下，在分割的曝光时间对成像元件进行曝光(分时曝光)，然后，累加通过分时曝光所获得的非光屏蔽图像信号(参见图1A)。接下来，在对成像元件进行光屏蔽的状态下，以相同的方法在分割的曝光时间对成像元件曝光进行分割曝光(分时曝光)，然后，累加在对成像元件进行光屏蔽的状态下通过分时曝光所获得的光屏蔽图像信号(参见图1B)。最后，从累加的非光屏蔽图像信号中减去累加的光屏蔽图像信号以获得成像信号(参见图1C)。

此外，在本发明的实施方式中，分别如图1A和1B所示，对于分时曝光的每次曝光，通过数字钳位从曝光所获得的非光屏蔽图像信号和光屏蔽图像信号中减去由成像元件的暗电流引起的信号分量“暗(dark)”(下文中，称作暗电流分量“暗”)，然后，分别累加减去了由暗电流引起的信号分量“暗”(下文中，称作暗电流分量“暗”)的非光屏蔽图像信号和减去了暗电流分量“暗”的光屏蔽图像信号。

具体地，在来自对象的光照射成像元件的非光屏蔽情况下，如图1A所示，从第一次曝光所获得的非光屏蔽图像信号IMG₁、第二次曝光所获得的非光屏蔽图像信号IMG₂、...、作为在非光屏蔽条件下最后曝光的第n次曝光所获得的非光屏蔽图像信号IMG_n的每一个中减去暗电流分量“暗”，然后，对每个像素将这些减去了暗电流分量“暗”的非光屏蔽图像信号累加起来，以获得相加后的非光屏蔽图像信号IMG_add。这可以由下式(1)表示：注意，式(1)中的IMG_i为通过在曝光时间t内对成像元件进行曝光所获得的非光屏蔽图像信号。此外，注意，通过钳位来消除暗电流分量“暗”并且该暗电流分量“暗”的分量随温度而变化。

$\mathrm{IMGadd}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{IMG}}_i-\mathrm{dark})...\left(1\right)$

类似地，在对成像元件进行光屏蔽的光屏蔽条件下，如图1B所示，通过数字钳位从第一次曝光所获得的光屏蔽图像信号IMGdk₁、第二次曝光所获得的光屏蔽图像信号IMGdk₂、...、作为在光屏蔽条件下最后曝光的第n次曝光所获得的光屏蔽图像信号IMGdk_n的每个中减去暗电流分量“暗”，然后，对每个像素把这些减去了暗电流分量“暗”的光屏蔽图像信号累加起来，以获得相加后的光屏蔽图像信号IMGdk_add。这可以通过下式(2)表示：注意，式(2)中的IMGdk_i为通过在曝光时间t内对成像元件进行曝光所获得的光屏蔽图像信号。

$\mathrm{IMGdkadd}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{IMGdk}}_i-\mathrm{dark})...\left(2\right)$

当结束光屏蔽条件的周期时，如下式(3)所示，对于每个像素，从相加了的非光屏蔽图像信号IMG_add减去相加了的光屏蔽图像信号IMGdk_add。于是，得到了最后成像信号IMGnr_add(参见图1C)。由于从非光屏蔽图像信号中除去了固定图案引起的白斑和暗电流的影响，所以成像信号IMGnr_add也得到宽的动态范围。

IMGnr＝IMGadd-IMGdkadd    ...(3)

如果这些非光屏蔽图像信号和光屏蔽图像信号为数字信号，则将存储器用于累加这些信号。例如，对于非光屏蔽图像信号，当将第一次曝光所获得的第一非光屏蔽图像信号写入存储器并且通过第二次曝光获得第二非光屏蔽图像信号时，从存储器读取第一非光屏蔽图像信号，然后，将第二非光屏蔽图像信号与第一非光屏蔽图像信号相加，然后，将相加的结果重写入存储器。

在实施方式中，将分配给在存储器中的一个像素的位数(thenumber of bits)和与用于进行非光屏蔽图像信号或者光屏蔽图像信号的相加的加法器中的一个像素的运算相对应的位数设置为大于在A/D转换成像元件的输出的A/D转换器中的一个像素数据时的A/D(模拟至数字)转换的量化位数(quantization bit rate)。当把非光屏蔽图像信号或者光屏蔽图像信号相加时，这可以减少限幅和舍入误差，因此，改善了成像质量。

图2示出了根据本发明的实施方式的成像装置1的结构实例。在成像装置1中，通过成像元件12接收经由光学系统10和机械快门11入射的光，并且通过光电转换被转换为电信号(成像信号)。对成像信号进行信号处理，并且通过A/D转换器13转换为数字信号(数字成像信号)。除了机械快门，诸如液晶快门也可以被用作快门。数字成像信号在数字钳位器(digital clamper)14、加法/减法器15、以及存储器16中进行后述的处理，然后，由信号处理器17进行预定图像处理，然后，将在存储处理器18中将所处理的信号记录至记录媒体中。记录媒体可以是非易失可重写存储器21。为了确认捕捉的图像等，图像信号处理器17还提供用于显示在取景器20上的图像数据。

控制器19控制整个成像装置1。例如，控制器19包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存储器)、以及用于生成用于成像元件的驱动控制和定时控制(逐帧、逐像素等)的同步信号的同步信号生成器。CPU使用RAM作为工作存储器根据存储在ROM中的程序控制成像装置1的各种分量。UI部25包括：用于开始成像的释放按钮；以及用于设置成像装置1的各种功能的多个控制，诸如快门速度、光圈、缩放、以及焦距，并且输出基于这些控制所执行的操作的控制信号至控制器19。

光学系统10包括：透镜系统、光圈机构、焦距机构、缩放机构等，其中，光圈、聚焦、缩放等基于控制器19或者手动操作来控制。机械快门11可以阻断透镜系统10和成像元件12之间的光路，并且物理地阻断入射到成像元件12的光。例如，当用户按下释放按钮(未示出)时，通过控制器19的控制机械快门11打开，并且光通过光学系统10入射到成像装置12上。例如，根据预先设定的快门速度，从变成开启时经过预定时间后，机械快门11自动关闭。

成像元件12可以为使用了CMOS(互补金属氧化物半导体)(下文中，缩写为CMOS)的图像传感器。成像元件12也可以为CCD(电荷耦合装置)。在以下描述中，假设成像元件12为CMOS。众所周知，CMOS可以控制读取每个像素，例如，可以控制对每行读取像素信号。在CMOS中，读取所提取的电荷，并且重置该电荷。滚动快门和全域快门都可以用于成像元件12。

在使用滚动快门中，在重置各行之后，开始曝光，并且当曝光时间结束时，输出一行像素信号。因此，每行的曝光时间是逐行改变的。在使用全域快门中，同时在所有行中执行重置，并且同时在所有行中开始曝光。然后，在整个成像区域内同时读取从光敏二极管向电荷检测器的信号电荷。

成像元件12输出用于各像素的成像信号。从成像元件12输出的成像信号通过信号处理器(未示出)进行诸如噪声抑制和增益控制的信号处理，并且输入至A/D转换器13。A/D转换器13按每个像素将作为模拟信号输入的成像信号转换为量化位数X的数字信号。

将从A/D转换器13输出的数字成像信号提供给数字钳位器14。数字钳位器14数字钳位该被提供的数字成像信号，并且将其黑信号电平固定为预定值。作为实例，数字钳位器14从A/D转换成像元件12的输出所获得的数字成像信号的每个像素所对应的信号中减去与用作光学黑体的多个像素相对应的信号的平均值。

将通过数字钳位器14固定的黑信号电平的数字成像信号提供给加法/减法器15。加法/减法器15包括加法部15A和减法部15B，并且使用存储器16执行被提供的数字成像信号的累加和两个累加数据之间的减法。

例如，如图3所示，存储器16包括存储区域16A和存储区域16B(在图3中，分别作为区域#1和区域#2示出)，其中，每个均可以包括至少一帧的数字成像数据。可以逐像素访问存储区域16A和存储区域16B的每个，其中，分配给一个像素的位数大于A/D转换器13的每个像素的量化位数。例如，如果A/D转换器13在量化位数为14的情况下A/D转换一个像素的数据并输出，则在存储区域16A和存储区域16B中一个像素至少分配15位。更优选地，对于一个像素分配更多位数。

图4示出了加法/减法器15的结构的实例。在加法/减法器15中，加法部15A包括加法器30和开关31和32。减法部15B包括减法器33。例如，加法器30的字长(位数)至少长于A/D转换器13的每个像素的量化位数。开关31和32用于选择存储区域16A或者16B。

作为实例，当使用存储区域16A执行数据累加时，开关31和32分别选择输出端31A和32A。将提供给加法/减法器15的数字成像信号提供给加法器30的一个输入端。另一方面，从存储器16A读取数据并且通过开关32提供给加法器30的另一输入端。加法器30把输入至一个输入端的数字成像信号和输入至另一输入端的数据相加。通过开关31将利用加法器30相加的结果重写至存储区域16A。注意，加法器30在对应于每个像素的两个数据之间进行加合。

如上所述，在存储器16中，分配给一个像素的位数大于A/D转换器13的每个像素的量化位数。这可以减少数字成像数据的累加时可能产生的由进位引起的数据限幅和执行数据舍入所引起的误差。

在减法部15B的减法中，将从每个像素的存储区域16A读取的数据提供给减法器33的一个输入端。另一方面，将从每个像素的存储区域16B读取的数据提供给减法器33的另一输入端。减法器33从输入至一个输入端的数据减去输入至另一输入端的数据。例如，减法器33在与每个像素相对应的两个数据之间执行减法。

将从加法/减法器15所输出的数字成像信号提供给图像信号处理器17。例如，图像信号处理器17将所提供的数字成像信号转换成预定格式的图像数据，并且对图像数据执行诸如图像质量校正等图像处理。将从图像信号处理器17输出的图像数据提供给存储处理器18。存储处理器18使用诸如JPEG(联合图像专家组)等方法的给定压缩编码方法对提供的图像数据进行压缩编码，并且将编码数据记录到诸如存储器21的记录媒体中。

将参照图5所示的时序图描述在如上结构的成像装置1中的成像操作的实例。在该描述中，快门速度设定为1分钟，并且按下释放按钮和打开机械快门期间的1分钟被分割成三个曝光时间(每个20秒)来执行曝光。

在时间t₁处，按下释放按钮成为按下状态(参见图5A)。例如，当从变成按下状态后在过去与快门速度相对应的时间周期时，释放按钮自动变成抬起(OFF)状态。在时间t₁处，机械快门11变成打开(参见图5B)，经由光学系统10来自对象的光照射成像元件12，并且在非光屏蔽条件下对成像元件12曝光。

例如，在时间t₁处，当按下释放按钮时，控制器19生成垂直同步信号VD(参见图5C)并且将该信号提供给成像元件12。响应于垂直同步信号VD，成像元件12使用全域快门功能(GSH)使存储在所有像素中的电荷同时输出并且重置在所有像素中的电荷。

在时间t₁之后，当使用全域快门功能重置在所有像素中的电荷时，立即开始在每个像素中存储电荷。在时间t₂处，当从时间t₁过去预定时间周期(在本实例中，20秒)时，控制器19生成另一垂直同步信号VD并且将该信号提供给成像元件12。

因为这是在按下释放按钮之后像素第一次被读取，所以在时间t₂处的垂直同步信号VD使在存储区域16A和16B中的存储器16的存储内容被清除。用于清除存储器的定时至少应该在存储器16中的数据累加开始之前。例如，可以在按下释放按钮时清除存储器，并不仅限于像素的第一次读取。

响应于垂直同步信号VD，利用用滚动快门功能(RSH)成像元件12逐行顺序读取存储在像素中的电荷(参见图5D)并且将其作为成像信号输出。在已经读出存储电荷的每个像素中，在读出之后立即开始存储电荷。

将从成像元件12顺序逐行输出的成像信号通过A/D转换器13A/D转换为每个像素的量化位数为X的数字成像信号。然后，通过数字钳位器14对数字成像信号钳位，并且固定其黑信号电平。如参照图1所述的，通过数字钳位器14的钳位处理，实现了从成像信号中减去成像元件的暗电流分量“暗”的处理。

将利用数字钳位器14进行了钳位的数字成像信号提供给加法/减法器15并且累加地写入存储器16(参见图5E)。现在，在时间t₂处，机械快门11打开，并且成像元件12利用来自对象的光进行曝光。即，这时，数字成像信号对应于上述非光屏蔽图像信号。

例如，参照图4，在加法/减法器15中，分别通过开关31和32选择端子31A和32A。将数字成像信号提供给加法器30的一个输入端。另一方面，将从存储器16的存储区域16A读取的数据提供给加法器30的另一输入端。这时，从时间t₁开始存储在存储器16中的内容已经被清除，并且对于每个像素，将值“0”提供给加法器30的另一输入端。加法器30对每个像素执行在提供给两个输入端的两个数据之间的加法。将相加的结果通过开关31重写至存储区域16A。

此外，在从时间t₂开始分别经过了第二预定时间周期和第三预定时间周期的时间t₃和t₄处，与时间t₂一样，在成像元件12中使用滚动快门功能执行对于每个像素的逐行读取电荷的处理，响应于读取处理，对从成像元件12输出的数字成像信号进行钳位处理，以及进行将钳位的数字成像信号写入至存储区域16A的处理。如上所述，对每个像素利用加法器30将从存储区域16A读取的数据和被钳位且提供给加法/减法器15的数字成像数据进行加合，然后将加合的结果重写入存储区域16A，从而执行向存储区域16A的数组成像信号的写入。

注意，在图5所示的实例中，在时间t₄处，读取在机械快门11打开的状态下的在最后分割曝光时间期间内存储在像素中的电荷。例如，时间t₄为机械快门11从打开过渡至关闭的点。

以这种方法，通过在机械快门11打开且来自对象的光照射成像元件12时的分时曝光，如参照图1A和式(1)所述，对从非光屏蔽图像信号中减去暗电流分量“暗”的结果执行加合的处理。

当机械快门11从打开过渡至关闭时，然后，成像元件12在自动关闭情况下进行曝光，即，在光屏蔽状态下，成像元件12进行曝光。在图5的实例中，成像元件12被光屏蔽并且在机械快门11打开的几乎相同时间周期内对成像元件12进行曝光(在该实例中，1分钟)，并且成像元件12被来自对象的光曝光。通过在该光屏蔽状态下的曝光，如参照图1B和式(2)所述，对从光屏蔽图像信号中减去暗电流分量“暗”的结果进行加合的处理。

如上所述，在机械快门11关闭情况下的曝光几乎与如上所述的成像元件12被来自对象的光照射情况类似地进行。在从时间t₄经过了预定时间周期的时间t₅处，控制器19生成垂直同步信号VD(参见图5C)并且将该信号提供给成像元件12，该时间t₄为读取在成像元件12被曝光状态下的最后分割曝光时间期间内存储在像素中的电荷的时间点。响应于垂直同步信号VD，成像元件12使用全域快门功能使存储在所有像素中的电荷同时输出并且立即开始将电荷存储在每个像素中(参见图5D)。

在从时间t₅经过了与非光屏蔽图像信号的曝光中的分割曝光时间相对应的预定时间周期(在该实例中，20秒)的时间t₆处，控制器19生成另一垂直同步信号VD，并且将该信号提供给成像元件12。响应于垂直同步信号VD，成像元件12使用滚动快门功能顺序逐行读取存储在像素中的电荷(参见图5D)，并且将该电荷作为成像信号输出。在已经读出存储的电荷的每个像素中，在读出之后立即开始存储电荷。

通过A/D转换器13将从成像元件12输出的成像信号转换为每个像素量化位数为X的数字成像信号。然后，通过数字钳位器14对数字成像信号进行钳位，并且固定其黑信号电平。将黑信号电平固定的数字成像信号提供给加法/减法器15，并且如上所述，将每个像素的值累加地写入存储器16。将在光屏蔽状态下曝光成像元件12所获得的数字成像信号写至存储器16的存储区域16B。

例如，在加法/减法器15中，分别通过开关31和32选择端子31B和32B。将数字成像信号提供给加法器30的一个输入端。另一方面，将从存储器16的存储区域16B中读取的数据提供给加法器30的另一输入端。这时，清除从时间t₁开始存储在存储器16中的内容，并且将值“0”提供给用于每个加法器30的另一输入端。加法器30对每个像素进行提供给两个输入端的两个数据间的加法。通过开关31将相加的结果重写至存储区域16B。

此外，在从时间t₆分别经过了第二预定时间周期和第三预定时间周期的时间t₇和t₈处，和时间t₆一样，执行从成像元件12读取像素的处理、由A/D转换器13每个像素量化位数为X的A/D转换的处理、通过数字钳位器14钳位处理、以及将数字成像信号累加地写至存储区域16B的处理。

当在时间t₈处读取在光屏蔽状态下曝光成像元件12的最后分割曝光时间期间内存储在像素中的电荷时，基于上式(3)执行在累加的非光屏蔽图像信号和累加的光屏蔽图像信号之间减法。

例如，从存储区域16A和16B读取与每个像素相对应的数据，并且将数据分别提供给减法器33的一端和另一端。减法器33从提供给一个输入端的数据中减去提供给另一输入端的数据。对写入至存储区域16A和存储区域16B的一帧像素数据的全部执行该处理。这有效地去除由于成像元件12的固定图案引起的白斑，并且能够获得抑制了由暗电流分量的累加引起的动态范围劣化的捕捉图像数据。

图6为示出根据本发明的实施方式的曝光处理的实例的流程图。例如，根据给定程序控制器19执行流程中的各判定。

在流程处理之前，设置快门速度，并且确定由快门速度确定的曝光时间在进行曝光时被分割为多少个分割曝光时间。在图7A的步骤S21中，在工厂中将每幅图像的曝光时间设置为3分钟、5分钟等。当执行成像时，用户将快门速度(机械快门速度)设置为例如60分钟(步骤S22)。如在步骤S23中所示的，分割曝光时间的数量由快门速度除以每幅图像的曝光时间来确定(＝60分钟/3分钟＝20)。作为其他方法，如图7B所示，在步骤S31中，在工厂中将分割曝光时间的数量设置为例如20。在步骤S32中，当执行成像时，用户将快门速度设置为例如60分钟。在步骤S33中，每幅图像的曝光时间由快门速度除以分割曝光时间的数量来确定(＝60分钟/20＝3分钟)。当通过长曝光时间执行成像时，不需要预置快门速度。取而代之，如在图8的步骤S41中，预置一段分割曝光时间，并且当抬起释放按钮时，完成曝光。

返回图6的流程图，在步骤S10中，等待从成像元件12读取电荷的定时。如果确定是读取定时，则例如控制器19生成垂直同步信号VD并且将该信号提供给成像元件12。在接下来的步骤S11中，确定通过该定时从成像元件12读取的电荷是否为在按下释放按钮之后通过第一曝光存储的电荷。例如，在图5的时间t₂处从成像元件12读取的电荷被确定为在按下释放按钮之后通过第一曝光存储的电荷。

在步骤S11中，如果确定不是通过第一曝光存储的电荷，则处理跳转到步骤S13。相反，如果确定是通过第一曝光存储的电荷，则处理前进至步骤S12，然后，清除存储器16的存储内容，然后，处理前进至步骤S13。在步骤S13中，确定是在成像元件12被来自对象的光照射的情况下执行曝光，还是在成像元件12被光屏蔽的情况下执行曝光。如果确定是在成像元件12被来自对象的光照射的情况下执行曝光，则处理前进至步骤S14。相反，如果是在成像元件12被光屏蔽的情况下执行曝光的，则处理前进至步骤S15。

在步骤S14中，将通过在成像元件12被来自对象的光照射的情况下执行的曝光获得的作为数字成像信号的非光屏蔽图像信号提供给加法/减法器15，并且如上所述地将其累加地写入至存储器16的存储区域16A。相反，在步骤S15中，将通过在成像元件12被光屏蔽的情况下执行的曝光获得的作为数字成像信号的光屏蔽图像信号提供给加法/减法器15，并且如上所述地将其累加地写入至存储器16的存储区域16B。

当数字成像信号已经被累加地写入至存储区域16A或者16B时，处理前进至步骤S16，在该步骤中，确定是否已经完成了对应于设定的曝光时间的分割数量的预定数量的曝光。如果确定还没有完成预定数量的曝光，则处理返回至步骤S10，并且等待从成像元件12读取电荷的另一定时。

另一方面，如果在步骤S16中确定已经完成了预定数量的曝光，则处理前进至步骤S17。在步骤S17中，在加法/减法器15中，根据上式(3)，对于每个像素执行从累加地写入至存储区域16A的非光屏蔽图像信号中减去累加地写入至存储区域16B的光屏蔽图像信号的处理。对写至存储区域16A和存储区域16B的一帧像素数据的全部执行每个像素的该减法处理。

参照在图9A和图9B所示的流程描述如参照图8所述的在工厂中设置分割曝光时间并在抬起释放按钮时完成曝光的处理。

首先，如图9A中的流程图所示，在非光屏蔽条件下执行处理。在图9A中，将与在图6中的步骤S10、S11、S12、以及S14相对应的处理步骤分别表示为步骤S110、S111、S112、以及S114。

在第一步骤S101中，将表示在一分割曝光时间内执行曝光的数量的计数值CNT1初始化为0。然后，与图6的流程所示的处理类似地，执行在非光屏蔽条件下的曝光。在步骤S102中，每当在一分割曝光时间内执行曝光时增加计数值CNT1并存储该计数值。然后，如果在步骤S103中确定抬起按钮被释放，则在步骤S104中，在存储区域#1中执行非光屏蔽图像信号的加合。

接下来，如在图9B的流程中所示，在光屏蔽条件下执行处理。在图9B中，将与图6的步骤S10、S11、S12、以及S15相对应的处理步骤分别表示为步骤S210、S211、S212、以及S215。在第一步骤S201中，将表示在一分割曝光时间内执行曝光的数量的计数值CNT2初始化为0。在步骤S202中，每当在一分割曝光时间内执行曝光时增加计数值CNT1并存储该计数值。然后，在步骤S203中如果确定CNT1等于CNT2，则在步骤S217中，从存储在存储区域#1中的非光屏蔽图像信号的加合结果中减去存储在存储区域#2中的光屏蔽图像信号的加合结果。

参照图10至图12描述了根据本发明的实施方式的上述控制的优点的实例。参照图10描述了在一分割曝光时间内执行每次曝光时减去暗电流分量“暗”之后累加数字成像信号的优点的实例。注意，在以下描述中，假定对象信号分量为基于成像元件12的输出捕捉图像信号的信号分量，其中，成像元件12的固定图案所引起的噪声分量和暗电流分量“暗”被从捕捉的图像信号中去除。

当执行长曝光时，随曝光时间增加，对象信号分量增加，同时暗电流分量也被累加。结果，如图10A所示，在曝光时间et处作为对象信号分量和暗电流分量的总和的非光屏蔽图像信号分量达到了作为A/D转换器的最大输出信号电平的X位，并且在曝光时间et或者稍后的时间处，非光屏蔽图像信号分量电平饱和并被限幅。因此，在曝光时间et或者稍后的时间处，对象信号的动态范围明显降低。

在该实施例中，在长曝光情况下，分割曝光时间并且执行分时曝光，并且此外，每当执行在一分割曝光时间内的曝光时，从对象信号分量中减去暗电流分量。因此，在非光屏蔽图像信号分量到达A/D转换器的最大输出信号电平之前，暗电流分量“暗”被去除，可以仅累加对象信号分量作为非光屏蔽图像信号，并且如图10B所示，可以确保动态范围。

参照图11描述了从通过在成像元件12被来自对象的光照射的情况下执行的曝光获得的非光屏蔽图像信号中减去在成像元件12被光屏蔽的情况下执行的曝光获得的光屏蔽图像信号的优点的实例。非光屏蔽图像信号为基于来自对象的光的对象信号分量和基于成像元件12的固定图案的噪声分量的合成信号。当执行长曝光时，随曝光时间的增加，累加对象信号分量及其基于固定图案的噪声分量。结果，如图11A所示，累加的噪声分量压缩了对象信号分量的动态范围。

在该实施例中，首先，通过在机械快门11打开的状态下通过曝光来获得非光屏蔽图像信号，然后，在机械快门11关闭的状态下，在与非光屏蔽图像信号几乎相同的曝光时间内通过曝光来获得光屏蔽图像信号。光屏蔽图像信号仅为基于成像元件12的固定图案的累加噪声分量。因此，如图11B所示，在曝光获得光屏蔽图像信号之后，从非光屏蔽图像信号分量中减去光屏蔽图像信号分量，从而获得仅含对象信号分量的非光屏蔽图像信号，并且能够确保对象信号分量的动态范围。

参照图12描述了在用于累加数字成像信号的存储器16中对一个像素分配位数大于A/D转换器13中的一个像素的量化位数的优点的实例。注意，在图12A和图12B中，表示非光屏蔽图像信号分量的线表示在存储区域16A中的值，并且表示缺陷分量的线表示在存储区域16B中的值。在存储区域16A中的非光屏蔽图像信号分量和在存储区域16B中的缺陷分量之间的差为基于来自对象的光的对象信号分量。

首先，考虑在存储器16中的分配给一个像素的位数与A/D转换器13的一个像素的量化位数(X位)相同。在这种情况下，如图12A所示，随曝光时间的增加，累加非光屏蔽图像信号分量，然后在存储区域16A中，例如在曝光时间et处、数据长度为X位的情况下，累加的非光屏蔽图像信号分量饱和，并且在曝光时间et或者稍后的时间处，对X位或者更高位的累加分量限幅。然后，在曝光时间et或者稍后的时间处，大幅度地减小了作为从累加的非光屏蔽图像信号分量中减去累加的缺陷分量的结果的对象信号分量的动态范围。

因此，在本发明的实施方式中，分配给在存储器16中的一个像素的位数(Y位)大于A/D转换器13的一个像素的量化位数。如图12B所示，即使当执行长曝光时，这也能够抑制累加的非光屏蔽图像信号分量在存储区域16A中饱和，并且能够确保对象信号分量的动态范围(参见图12C)。

Claims (5)

1.一种成像装置，包括：

成像元件，具有多个像素，并将光电转换产生的电荷存储在各个像素中，并且基于存储在各个像素中的电荷输出包括像素数据的成像信号；

第一存储器和第二存储器，用于存储所述成像信号；

加法器，用于加合各个像素数据的所述成像信号；

控制器，在非光屏蔽条件下，用于使所述成像元件输出通过多个分割次数将曝光时间分割成的每段分割曝光时间的所述成像信号，并且对于各个像素数据，累加每段分割曝光时间的所述成像信号，然后将累加的成像信号存储在所述第一存储器中；以及，在光屏蔽条件下，用于使所述成像元件输出通过多个分割次数将曝光时间分割成的每段分割曝光时间的所述成像信号，并且对于各个像素数据，累加每段分割曝光时间的所述成像信号，然后将累加的成像信号存储在所述第二存储器中；以及

减法器，用于从存储在所述第一存储器中的累加了所述多个分割次数的各像素数据中减去存储在第二存储器中的累加了所述多个分割次数的各像素数据。

2.根据权利要求1所述的成像装置，进一步包括：

A/D转换器，用于A/D转换所述成像信号以输出数字成像信号；以及

数字钳位器，用于从所述数字成像信号中去除与所述成像元件的暗电流分量相对应的分量。

3.根据权利要求2所述的成像装置，其中，

分配给存储在所述第二存储器中的一个像素的字长长于分配给所述数字成像信号的一个像素的第一字长。

4.一种成像控制方法，用于使用成像元件执行成像，所述成像元件具有多个像素，并将光电转换产生的电荷存储在每个像素中，并且基于存储在每个像素中的电荷输出包括像素数据的成像信号，所述方法包括以下步骤：

通过使所述成像元件输出所述成像信号来执行成像；

在非光屏蔽条件下，使所述成像元件将通过多个分割次数使曝光时间分割成的每个分割曝光时间的所述成像信号作为非光屏蔽图像信号输出；

对于各个像素数据，累加每段分割曝光时间的所述非光屏蔽图像信号；

在光屏蔽条件下，使所述成像元件将通过多个分割次数使曝光时间分割成的每个分割曝光时间的所述成像信号作为光屏蔽图像信号输出；

对于各个像素数据，累加每段分割曝光时间的所述光屏蔽图像信号；

从在光屏蔽状态下的被累加了所述多个分割次数的各像素数据中减去在非光屏蔽状态下的被累加了所述多个分割次数的各像素数据。

5.一种成像控制程序，用于使计算机执行成像方法，所述成像方法用于使用成像元件执行成像，所述成像元件具有多个像素，并将光电转换产生的电荷存储在各个像素中，并且基于存储在各个像素中的电荷输出包括像素数据的成像信号，所述成像方法包括以下步骤：

通过使所述成像元件输出所述成像信号来执行成像；

在非光屏蔽条件下，使所述成像元件将通过多个分割次数使曝光时间分割成的每个分割曝光时间的所述成像信号作为非光屏蔽图像信号输出；

对于各个像素数据，累加每段分割曝光时间的所述非光屏蔽图像信号；

在光屏蔽条件下，使所述成像元件将通过多个分割次数使曝光时间分割成的每个分割曝光时间的所述成像信号作为光屏蔽图像信号输出；

对于各个像素数据，累加每段分割曝光时间的所述光屏蔽图像信号；

从在光屏蔽状态下的被累加了所述多个分割次数的各像素数据中减去在非光屏蔽状态下的被累加了所述多个分割次数的各像素数据。

Images