CN101594464A - 成像设备和成像方法 - Google Patents

Abstract

本发明提供了一种成像设备和成像方法。电子照相机(1)包括：图像质量设置单元(37c)，用于设置确定图像质量的参数；照相机抖动极限曝光时间计算单元(35)，用于基于成像镜头(3)的焦距和图像质量设置单元(37c)设置的用于确定图像质量的参数来计算成像装置(7)的照相机抖动极限曝光时间；成像单元(35)，用于基于照相机抖动极限曝光时间连续完成对物体的拍摄；照相机抖动检测单元(39、19、43、45、47、49)，用于检测相对于物体曝光开始时的照相机抖动量；以及图像合成单元(35、15、25)，用于对多帧图像数据进行关联和求和以使得分别由这多帧图像数据显示的多帧图像的相同部分重叠。

Description

成像设备和成像方法

技术领域

本发明涉及用于通过成像装置的光电转换对由成像镜头形成的物体进行成像的成像设备和成像方法，更具体地涉及一种用于对图像的由于手抖动等因素造成的照相机抖动(camera-shake)进行校正的成像设备和成像方法。

背景技术

对于拍摄静止照片的电子照相机等的成像设备而言，要求其能够精确和可靠地拍摄所有种类的场景。然而，对于静像(still-image)摄影而言公知的是，由于在较长时间内拍摄照片时物体的移动或照相机抖动，在图像中引入了照相机抖动。图像的这种“照相机抖动”是一维(包括弯曲的)图像朦胧状态(haziness)，因此有时也称为“模糊”，但是在本文档中，将它称为“照相机抖动”。该“照相机抖动”表示了一矢量，并且包括照相机抖动的方向和由照相机抖动的幅度所表示的照相机抖动量。有时，图像的照相机抖动可有效地应用到摄影技术上，例如摇拍(panning)，但是通常这被认为损坏了图像质量，并且必须对其进行避免。避免照相机抖动的一种代表性方法是使用三脚架等稳定地固定住照相机，而另一种方法是使用短时间曝光(高速快门)，但是当条件不允许时这两种方法都不能应用并且无法应用到手持低光(hand-held low-lighting)摄影。另外，防止照相机抖动的设备正变得普及，其通过驱动成像镜头或成像装置来减轻在成像装置的成像表面上形成的图像的照相机抖动。然而，这些防止照相机抖动的设备非常复杂并且需要先进的控制，因而产生了成本增加的问题并且难于使照相机小型化。

作为解决上述问题的技术，已知技术是这样的，例如当设置了长于预定值的曝光时间时，用被设置得小于预定值，例如1/f(秒)(其中f是用于35mm胶卷的摄影镜头的以mm为单位的焦距)的曝光时间来完成时分摄影(time-division photography)，基于获得的多个图像数据来检测与图像之间的相对移动有关的信息，并且基于该检测的移动信息来校正图像之间的相互照相机抖动，因而组合这多个图像数据来获得单个静止图像(例如JP2001086398A)。

发明内容

尽管这样，但是确定的是前述JP2001086398A中公开的成像设备存在应当改进之处，如下所述。也就是说，可容忍的图像的照相机抖动量取决于照相机抖动的频率、查看分辨率、图像观察距离和打印图像时的放大倍率。出于该原因，当这些条件改变时，即使按1/f(秒)完成摄影，也可能没有充分地校正照相机抖动。另外，对于过去已提出的许多电子照相机，能够通过选择图像尺寸来设置图像质量，其中根据光电转换的像素数以及记录和存储所拍摄图像数据时用于图像数据的压缩率，来表示成像装置所拍摄的物体图像。然而，对于前述JP2001086398中公开的成像设备，因为用1/f(秒)曝光时间来拍摄多个图像，而不管图像质量模式，所以未充分实现图像质量选择功能。

作为提高校正图像的照相机抖动的精度的方法，可以考虑进一步在时分摄影中缩短曝光时间。然而，在此情况下图像数据的S/N下降，所以需要先进的技术来提高S/N。作为提高S/N的一种方法，可以考虑增加时分摄影的数量和组合更多的图像数据。然而，这样做时，用于完成诸如照相机抖动校正和图像数据组合这样的事情的图像处理电路变得很复杂，图像处理的负荷变得繁重，并且这对于其它处理有负面影响，导致功耗增加。

因此，考虑到前述方面，本发明的目的是提供一种可拍摄物体图像同时用对应于图像质量的精度有效地校正照相机抖动的成像设备和成像方法。

实现上述目的的本发明的第一方面是一种成像设备，该成像设备对多帧图像数据进行合成(compose)以便减少由通过时分摄影获得的多帧图像数据中的每一个显示的多帧图像的相互照相机抖动，该成像设备包括：成像装置，用于对成像镜头形成的物体图像进行光电转换；图像质量设置单元，用于设置与多帧图像的质量有关的参数；曝光时间计算单元，用于基于所述参数和成像镜头的焦距来计算曝光时间以便使得多帧图像的照相机抖动量小于允许值；曝光控制单元，用于基于曝光时间来控制前述成像装置的曝光以使得能够连续地拍摄多帧图像；照相机抖动量检测单元，用于计算多帧图像中的每一个的照相机抖动量；以及图像合成单元，用于基于照相机抖动量以相应方式对多帧图像数据进行相加以便实现由多帧图像数据中的每一个显示的多帧图像的相同部分的重叠。

本发明的第二方面由根据本发明第一方面的成像设备来表征，其中图像质量设置单元所设置的用于确定图像质量的参数包含图像尺寸或压缩率中的至少一个。

实现上述目的的本发明第三方面是一种成像方法，该成像方法对多帧图像数据进行合成以便减少由通过时分摄影获得的多帧图像数据中的每一个显示的多帧图像的相互照相机抖动，该成像方法包括以下步骤：设置与多帧图像的质量有关的参数；基于所述参数和成像镜头的焦距来计算曝光时间以便使得多帧图像的照相机抖动量小于允许值；基于曝光时间控制成像装置的曝光以使得能够连续地拍摄多帧图像；计算多帧图像中的每一个的照相机抖动量；以及基于照相机抖动量以相应方式对多帧图像数据进行相加以便实现由多帧图像数据中的每一个显示的多帧图像的相同部分的重叠。

利用本发明，能够拍摄物体同时用符合认为必要的图像质量的精度来有效地校正照相机抖动。

附图说明

图1是示出根据本发明第一实施方式的电子照相机的构成元件的组成的功能框图。

图2示出了图1中例示的电子照相机的示意性外部图。

图3是示出当图2中示出的电子照相机抖动时成像平面上的物体图像的移动状态的图。

图4是示出当图2中示出的电子照相机抖动时，以像素为单位计算成像平面中的移动量ΔX和ΔY的处理的流程图。

图5是示出图1中例示的电子照相机的完整操作的流程图。

图6是示出图1中例示的电子照相机的图像数据存储器操作和图像合成处理的流程图。

图7是用于说明图1中例示的电子照相机的图像质量模式的图。

图8是用于说明通过图1中例示的图像合成单元进行的照相机抖动校正处理的图。

具体实施方式

下面，参照附图1到8来说明本发明的优选实施方式。

图1是示出根据本发明第一实施方式的电子照相机的主要元件的组成的功能框图。该数字照相机1具有成像镜头3、光圈5、成像装置7、相关双采样(CDS)电路9、放大电路11、模/数(A/D)转换器13、图像处理单元15和自动曝光(AE)处理单元17、自动聚焦(AF)处理单元19、显示单元21、非易失性存储器23、内部存储器25、压缩/解压缩单元27、可移除存储器29、成像装置驱动器31、定时信号发生器(TG)电路33、第一中央处理单元(CPU)35、输入单元37、镜头驱动系统39、光圈驱动系统41、角速度传感器43和45、模/数(A/D)转换器47、第二中央处理单元(CPU)49和电源51。

成像镜头3经由镜头驱动系统39被CPU 35控制，并且经由光圈5在成像装置7上形成未示出的(unrepresented)物体。光圈5经由光圈驱动系统41被CPU 35控制。

成像装置7由例如具有超过一百万像素的隔行CCD图像传感器构成，并且使用具有适于通过线性连续扫描来读出所有像素的Bayer内插滤色器的装置。该成像装置7由成像装置驱动器31根据来自CPU 35所控制的TG电路33的传送脉冲来驱动，并且将输出信号供应给CDS电路9。

CDS电路9从成像装置7的输出信号中移除重置噪声(reset noise)等并且根据从TG电路33供应的采样保持脉冲将结果供应给放大电路11。放大电路11将来自CDS电路9的输出信号放大到对于后级的A/D转换器13而言最佳的输入范围，并且根据ISO灵敏度和下述时分摄影中的图像数据水平(具体来讲，时分摄影中的成像频率)，经由总线53由CPU 35来控制该放大率。A/D转换器13根据从TG电路33供应的定时脉冲将来自放大电路11的输出信号转换为数字信号，并将其输出给总线53。时分摄影是指在预定的曝光时间内连续地拍摄多个照片。另外，术语“图像”是指由在成像装置的成像表面上接收的光形成的物体图像，或者已由被转换的图像数据通过视觉变得可观察的物体图像。

图像处理单元15、AE处理单元17、AF处理单元19、显示单元21、非易失性存储器23、内部存储器25、压缩/解压缩单元27、可移除存储器29和CPU 49经由总线53连接到CPU 35。图像处理单元15对来自A/D转换器13的图像数据进行处理，并且具有包含帧存储器15a以便临时地存储通过时分摄影而获得的图像数据的图像合成单元15b。显示单元21由液晶监视器和EVF(电子取景器)构成。

角速度传感器43和45检测角速度，角速度是相对于旋转的彼此正交轴的旋转角在每单位时间内的改变量，并且角速度传感器43和45的输出在被A/D转换器47转换为数字信号之后被供应给CPU 49。CPU 49使用角速度传感器43和45的输出来计算从时分摄影中物体曝光开始起的照相机抖动量。

在本实施方式中，如图2中的电子照相机的外部视图中所示，当我们把沿着成像镜头3的光轴O的方向称为Z轴时，将角速度传感器43这样放置，即，能够检测作为相对于X旋转轴的旋转角θX在每单位时间内的改变量的角速度，X旋转轴在与Z轴正交的成像平面中的电子照相机1的左右方向上延伸。另外，将角速度传感器45这样放置，即能够检测作为相对于Y旋转轴的旋转角θY在每单位时间内的改变量的角速度，Y旋转轴通过Z轴和X轴之间的交点在与Z轴和X轴正交的电子照相机1的上下方向上延伸。

在图1中，CPU 35具有对曝光时间进行计数的时间计数器，并且控制电子照相机1的整体操作。输入单元37具有：第一释放开关37a，其随着图2中示出的释放按钮55的第一级按下操作而闭合；和第二释放开关37b，其随着第一级按下操作之后的第二级按下操作而闭合。另外，输入单元37对图像尺寸进行设置，所述图像尺寸由借以对成像装置7上形成的物体图像进行光电转换的像素数来表示，并且输入单元37具有构成图像质量设置单元的图像质量输入单元37c，所述图像质量设置单元用于设置在可移除存储器29中记录和存储摄影获得的图像数据时图像数据的压缩率。从该输入单元37获得的输入信息被供应给CPU 35。

图1中示出的电子照相机1由电源51供应的电力来驱动，并且一般来说按如下操作。即，在将物体的图像数据记录在可移除地载入电子照相机1中的可移除存储器29上时，经由CDS 9、放大电路11和A/D转换器13将从成像装置7输出的图像数据供应给图像处理单元15和AE处理单元17，并且另外以图像处理单元15自动调节的白平衡等显示在显示单元21上，由AE处理单元17来计算标准曝光量，并且通过由CPU 35基于该曝光量控制对光圈5或成像装置7的驱动来实现AE控制。因此，AE处理单元17和CPU 35构成了标准曝光时间计算单元。在此状态下，摄影者可以在显示单元21处查看的同时来设置物体的合成等。

接下来，当由于按下图2中示出的释放按钮55而接通第一释放开关37a时，AF处理单元19基于在此状态下获得的图像数据来计算散焦量，并且CPU 35通过基于该散焦量经由镜头驱动系统39驱动成像镜头3来实现AF控制。

在此之后，当由于进一步按下释放按钮55而接通第二释放开关37b时，基于AE处理单元19计算出的标准曝光量来完成曝光时间Texp的曝光，并且以图像质量输入单元37c设置的成像尺寸来合成图像数据。因此，当曝光时间Texp长于预定值(照相机抖动极限曝光时间Tlimit)时，根据时分摄影用多个帧来合成图像数据，且曝光时间ΔTexp取决于质量输入单元37设置的压缩率和图像尺寸以及成像镜头3的焦距，并且图像合成单元15b对图像数据的这多个帧进行组合以创建合成图像数据。另外，在此情况下，如果在CPU 49中检测到了从物体图像曝光开始起的超过允许值的照相机抖动量，则在对通过时分摄影而获得的图像数据的多个帧进行合成之前，图像处理单元15基于CPU 49检测到的照相机抖动量来校正图像间的相互照相机抖动。图像合成单元15b合成的图像数据被写入内部存储器25，根据图像质量输入单元37c设置的压缩率由压缩/解压缩单元27进行压缩处理，并且被记录在可移除存储器29上。

另外，在获取记录在可移除存储器29上的图像数据时，从可移除存储器29读出的压缩图像数据由压缩/解压缩单元27进行解压缩处理并且被写入内部存储器25，并且通过图像数理单元15的图像处理在显示单元21中获取该写出的图像数据。记录在可移除存储器29上的图像数据还可由未给出的打印机来打印或者显示在大屏幕监视器上。

接下来，将参照图2到图4来说明CPU 49计算出的照相机抖动量。

在图2中，在给定时刻，可以将沿着成像镜头3的光轴O的物体侧称为Z轴的正向，可以将从物体侧看去电子照相机1的右侧称为X轴的正向，并且可以将电子照相机1的向上方向称为Y轴的正向。另外，相对于Z轴的旋转角将被称为θZ。在上述给定时间，成像镜头3的光轴O和Z轴重合，但是在不同时刻，当发生照相机抖动时，成像镜头3的光轴O与Z轴不重合。

CPU 49从成像镜头3获得与焦距f有关的信息。例如，当成像镜头3处于电动变焦(power zoom)时，经由镜头驱动系统39来实现与焦距f有关的信息的获取，或者当成像镜头是可互换镜头镜筒时，经由通信触点来实现与焦距f有关的信息的获取。另外，CPU 49从AF处理单元19获取物距信息。与焦距f有关的信息和物距信息被用于计算X方向上的照相机抖动量和Y方向上的照相机抖动量，如下所述。

图3是示出当电子照相机1经受照相机抖动时，成像平面中物体图像的移动情况的图。假设电子照相机1由于照相机抖动等原因旋转了旋转角θX，成像镜头3由于旋转而从实线表示的位置偏移到用虚线表示为符号3’的位置，并且成像装置7的成像平面61也旋转到倾斜了角度θX的平面C-D的位置。另外，当发生旋转角θX的照相机抖动时，未发生照相机抖动时处于符号63表示的中央位置的物体65的图像偏移到了成像平面C-D上符号63’表示的位置。

令成像镜头3的焦距为“f”，未发生照相机抖动时从成像镜头3的物体空间焦点到物体65的距离为“L”，未发生照相机抖动时从成像镜头3的图像空间焦点到物体65的距离为“L’”，由照相机抖动造成的图像位置移动量为“ΔY”，我们可以使用等式(1)中示出的牛顿成像公式根据等式(2)来计算移动量ΔY。

L·L′＝f²                   (1)

ΔY＝(1+β)²·θX·f         (2)

在上述等式(2)中，β表示成像放大率并且为f/L。另外，在等式(2)中，假设θX是非常小的量并且近似值为θX的一阶。

上述等式(2)中的值f作为镜头信息被输入给CPU 49，如上所述。另外，基于来自图1中示出的AF处理单元19的信息来计算用于计算β所必需的距离L。此外，基于来自角速度传感器43的输出来计算角度θX。自然地，当L相比f较大时，能够通过省略β来简化设计。

即使假设在电子照相机1中发生了照相机抖动，通过基于按上述等式(2)计算出的移动量ΔY来实现对移动后图像数据的有效校正，从成像装置7输出的图像数据所形成的图像也可能不受照相机抖动的影响。如上所述，因为角度θX非常小，所以即使成像平面C-D相对于Y轴围绕X轴倾斜了角度θX，成像平面61的倾斜所造成的对图像的影响也不会呈现出除了上述移动量ΔY之外的其它问题。

另外，甚至可以根据下面与上面的等式(2)相同的等式(3)来得到按围绕y轴的旋转角θY出现照相机抖动时成像位置的移动量ΔX。

ΔX＝(1+β)²·θY·f               (3)

当上面的等式(2)的两边对于时间求导时，获得了下面的等式(4)。

d(ΔY)/dt＝(1+β)²·f·dθX/dt     (4)

在上面的等式(4)中，右边的d(θX)/dt是围绕X轴的角速度，所以可不加改动地使用角度传感器43的输出。另外，等式(4)左侧的d(ΔY)/dt是当出现角速度d(θX)/dt时Y方向上的图像移动速度Vy。

类似地，可通过将上面的等式(3)两边对时间求导，从下面的等式(5)获得出现围绕Y轴的旋转角θY的照相机抖动时图像位置在X方向上的移动量ΔX。

d(ΔX)/dt＝(1+β)²·f·dθY/dt           (5)

在上面的等式(5)中，右边的d(θY)/dt是围绕Y轴的角速度，所以可以不加改动地使用角度传感器45的输出。另外，等式(5)左边的d(ΔX)/dt是出现角速度d(θY)/dt时X方向上的图像移动速度Vx。

假设以预定时间ΔT为周期检测到的角速度传感器43的输出d(θX)/dt为ωx1、ωx2、ωx3、...、ωx(n-1)、ωxn，则可根据下面的等式(6)得到在时间n×ΔT之后成像位置在Y方向上的移动量ΔY。预定时间ΔT是A/D转换器47将来自角速度传感器43和45的输出转换为数字信号的采样间隔，并且优选地是该预定时间等于或短于照相机抖动极限曝光时间Tlimit。

$\mathrm{\ΔY}={(1+\mathrm{\β})}^2\·f\·\mathrm{\ΔT}\·\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{xk}}\mathrm{\Λ}---\left(6\right)$

类似地，假设每隔预定时间ΔT(以预定时间ΔT为周期)检测到的角速度传感器45的输出d(θY)/dt为ωy1、ωy2、ωy3、...、ωy(n-1)、ωyn，则可根据下面的等式(7)得到在时间n×ΔT之后成像位置在X方向上的移动量ΔX。

$\mathrm{\ΔX}={(1+\mathrm{\β})}^2\·f\·\mathrm{\ΔT}\·\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{yk}}\mathrm{\Λ}---\left(7\right)$

根据上面的等式(6)和(7)，能够计算出两帧图像之间的照相机抖动量，成像装置7以n×ΔT为时间间隔对这两个帧进行曝光控制。因此，在基于根据这些等式计算出的移动量(照相机抖动量)ΔX和ΔY校正了两帧图像数据的照相机抖动之后，能够通过对图像进行相加而合成照相机抖动得到减轻的图像数据。

图4是示出CPU 49以像素为单位计算移动量ΔX和ΔY的处理的流程图。该处理作为独立于在从第二释放开关37b闭合直到完成曝光的间隔内的其它处理的处理来执行。

为此，CPU 49经由从输入单元37接收输入信息的CPU 35来观察第二释放开关37b的开关状态(步骤S401)。此外，当检测到第二释放开关37b已闭合时，获得成像镜头3的焦距f和物距L(步骤S402)。这些焦距f和物距L可以在物体的图像处理中通过计算获得，但是为了以更快的周期计算照相机抖动量，优选地使用单独的处理器等来计算焦距f和物距L，并且由CPU 49在步骤S402中获得该计算数据。借此能够加速处理并且能够实现实时高追随(sycophancy)。

接下来，CPU 49通过经由A/D转换器47读取角速度传感器43和45的输出来输入角速度ωx和ωy(步骤S403)。此外，将输入的角速度ωx和ωy添加到直到上次检测的值的累计总和上，并且计算直到这次检测的值的累计总和∑ωx和∑ωy(步骤S404)。此后，将步骤S404中计算出的累计总和∑ωx和∑ωy代入上面的等式(6)和(7)，分别计算相对于时分摄影中的初始照片的最后时刻的图像位置移动量ΔY和ΔX(步骤S405)。

接下来，CPU 49计算“ΔX/Lx”和“ΔY/Ly”，并且将二者分别存储到内置于CPU 49中的相应存储器[Px]和[Py]中(步骤S406)。Lx和Ly分别表示成像装置7的单个像素在X方向和Y方向上的尺寸，而“ΔX/Lx”和“ΔY/Ly”表示通过对小数部分四舍五入而获得的整数值。因此，Px和Py以像素为单位表示了相对于时分摄影中初始照片的最后时间点的图像位置移动量ΔX和ΔY。符号[]表示存储方括号内的数据的存储器。

此后，确定曝光时间Texp的曝光是否已完成(步骤S407)，如果曝光未完成，则从步骤S403开始重复地完成与上述相同的处理，而如果曝光完成，则该处理结束。根据上述处理，CPU 49以像素为单位计算移动量ΔX和ΔY。因此，在本实施方式中，照相机抖动量检测单元由镜头驱动系统39、AF处理单元19、角速度传感器43和45、A/D转换器47以及CPU 49组成。

下面参照图5中示出的流程图来说明根据第一实施方式的电子照相机1的完整操作。

当打开未示出的电源开关时，CPU 35首先确定第一释放开关37a是否已接通(步骤S501)。如果该确定的结果是第一释放开关37a断开，则照相机保持在等待状态，而如果第一释放开关37a接通，则CPU前进到步骤S502并且计算照相机抖动极限曝光时间Tlimit。因此，在本实施方式中，CPU 35构成了照相机抖动极限曝光时间计算单元。该照相机抖动极限曝光时间Tlimit是假设的照相机抖动量从曝光开始到达到允许照相机抖动量的时间。下面详细说明这种允许照相机抖动量。

通常，当用1/f(秒)的曝光时间完成摄影时，照相机抖动不会变得显而易见。这里，f是当成像装置7的尺寸被转换到35mm胶卷时的成像镜头焦距，单位是mm。让我们在理论上测试该原理。

从上面的等式(6)和(7)显见，角速度ωxk和ωyk是固定值ωxk＝ωx和ωyk＝ωy，而与摄影者无关，并且当物距L相比成像镜头3的焦距f足够大时，换言之当摄影放大率(β)足够小时，ΔX和ΔY可分别由下面的等式(8)和(9)来表示。在等式(8)和(9)中，ΔTexp是时分摄影中的曝光时间(以下称为“时分曝光时间”)。

ΔY≈f·ωx·ΔTexp            (8)

ΔX≈f·ωy·ΔTexp            (9)

从上面的等式(8)和(9)显见，如果ΔTexp是1/f(秒)，则在Y方向和X方向上由照相机抖动造成的(像平面的)移动量ΔY和ΔX可视为固定值，而与焦距f无关，与成像镜头3的焦距无关。这意味着当以1/f(秒)的曝光时间进行摄影时，照相机抖动(ΔX，ΔY)可在预定观测条件下保持在允许的模糊圈内。

然而，允许的照相机抖动量取决于打印图像时的放大率、图像的观察距离、查看的分辨率、照相机抖动频率等，如上所述，所以如果这些条件不同，那么即使以1/f(秒)的曝光时间进行摄影，照相机抖动防止效果也可能是不充分的。另外，因为许多电子照相机都允许选择图像尺寸和压缩率，所以如果以1/f(秒)的曝光时间进行时分摄影而不管这些设置，则可能无法充分利用图像尺寸和压缩率的选择功能。

在本实施方式中，可以在图像质量输入单元37c中通过根据如图7中所示的应用(例如打印尺寸)组合图像尺寸和压缩率来设置所拍摄图像的图像质量模式。即，作为图像尺寸，可根据应用从640×480、1024×768、1280×960、1600×1200、2560×1920、3200×2400和3648×2736这七个尺寸中选择一个图像尺寸。这里，图像尺寸用像素数来表示。另外，作为压缩率，可在每个图像尺寸下从1/12或B(基本)、1/8或N(正常)、1/4或F(精细)或1/2.7或SF(超精细)四个比例中选择任意的压缩率。

在图7中示出的图像质量模式中，对于将以1280×960的图像尺寸和N的压缩率拍摄的图像放大为六时相片尺寸(120mm×165mm)并且从40cm的距离查看的本实施方式而言，使照相机抖动不是显而易见的曝光时间为1/fo(秒)(其中fo是成像镜头3的焦距(mm))。

另外，以大图像尺寸进行摄影时，通常认为目的在于放大照片(print)尺寸并欣赏精美的图像。因此，举个例子，假设将以另一图像尺寸拍摄的图像放大为与图像尺寸成比例的尺寸并且被打印和从相同距离40cm进行观察。在此情况下，因为照片上的照相机抖动与照片的放大率成比例地被放大或减小，所以为了将照片上的照相机抖动控制在给定允许照相机抖动量以下而与图像尺寸无关，必须与图像尺寸成反比例地减小摄影期间的允许照相机抖动量。

在本实施方式中，实质上与图像尺寸成反比例地缩短照相机抖动极限曝光时间Tlimit。即，对于图像质量输入单元37c作为1/fo(秒)的标准而设置的图像尺寸1280×960而言，当放大率为K1(这里，K1是表示图像尺寸的长边或短边的比例)时，照相机抖动极限曝光时间Tlimit为1/(K1·fo)(秒)。例如，对于图像尺寸(640×480、1024×768、1280×960、1600×1200、2560×1920、3200×2400和3648×2736)而言，K1的值为(0.5、0.8、1.1、1.25、2、2.5、2.85)。

另外，因为图像质量随着压缩率而降低，所以压缩率越高，照相机抖动容差就越大。例如，定义K2为对应于压缩率的系数，照相机抖动极限曝光时间Tlimit变为1/(K1·K2·fo)(秒)。这里，K2的值在压缩率为N时为1，在压缩率为B时小于1，在压缩率为F时大于1，在压缩率为SF时比压缩率为F时更大。在本实施方式中，对应于压缩率(SF、F、N、B)，K2的值为(1.7、1.4、1、0.8)。

将上面的值K1和K2作为独立值或者作为值(K1·K2)存储在非易失性存储器23中。在本实施方式中，以图像尺寸和压缩率二者作为确定图像质量的参数来计算照相机抖动极限曝光时间Tlimit，但是也可以仅以图像尺寸和压缩率中的一个作为参数来计算照相机抖动极限曝光时间Tlimit。

图5中，在步骤S502，CPU 35计算照相机抖动极限曝光时间Tlimit＝1/(K1·K2·fo)。这里，K1和K2是如上所述预先存储在非易失性存储器23中的值，fo是成像镜头3的焦距。成像镜头3的该焦距fo可根据当成像镜头3由镜头驱动系统39驱动时的驱动量来反向求得，或者可由检测成像镜头3的位置的编码器来检测。

接下来，由AE处理单元19实现光测量，并且利用顶点来计算获得成像装置7的成像平面所接收的光量以便获得标准信号电平所必需的快门速度Texp(此后称为标准曝光时间)(步骤S503)。接下来，CPU 35计算<Texp/Tlimit>(步骤S504)。这里，<Texp/Tlimit>是通过上舍入小数部分而获得的整数值m，Texp是正常摄影中的曝光时间。<Texp/Tlimit>的计算结果m被存储在内部存储器25中。顶点计算是计算曝光值的公知计算方法，并且当快门速度、光圈、物体亮度和ISO灵敏度的顶点值分别被称为Tv、Av、Bv和Sv时，可根据下面等式(10)中的关系来计算各个曝光参数。另外，将m存储在存储器[F]中(步骤S504)。这表示将m作为新的变量F存储在与存储器[m]分离的存储器中。该变量F在下述图6使用。

Tv+Av＝Bv+Sv               (10)

在本实施方式中，<Texp/Tlimit>是通过上舍入小数部分而获得的整数值，但是只要<Texp/Tlimit>是整数值，就可代替地截去小数部分，另外，可以是从预定整数中选择的接近(close)整数值。在任何情况下，它都可以是接近于<Texp/Tlimit>的计算结果的整数值。另外，对于标准曝光时间Texp而言，基于光测量来获得标准曝光的值，但是这旨在进行例示而非进行限制，因为它还可以是由摄影者人工设置的快门速度。

接下来，CPU 35将标准曝光时间Texp除以整数值m，以获得时分曝光时间ΔTexp，并且将该结果存储在预定存储器中(步骤S505)。以这种方式获得的时分曝光时间ΔTexp是接近于照相机抖动极限曝光时间Tlimit的曝光时间，并且是其中允许照相机抖动的有效曝光时间。接下来，基于顶点计算法来计算光圈值(步骤S506)。这里，上面等式(10)右边的物体亮度值Bv是通过步骤S503中的光测量得到的值，另外，ISO灵敏度值Sv是默认值或摄影者通过输入单元37输入的值。因此，上面等式(10)左边的Tv和Av适于遵循预定程序行来计算。当ISO灵敏度为S倍高时，曝光量变为1/S，所以根据ISO灵敏度来控制放大电路11的放大率。

接下来，CPU 35确定第二释放开关37b是否接通(步骤S507)。结果，当第二释放开关37b断开时，重复从上述步骤S502到S506的处理，并且CPU等待第二释放开关37b接通。当第一释放开关37a在该时间内也断开时，CPU返回到步骤S501。

如果在步骤S507第二释放开关37b接通，则摄影操作开始。在该摄影操作中，首先进行光圈设置(步骤S508)。这里，光圈驱动系统41将处于打开状态的光圈5缩小为在步骤S506中获得的光圈值。接下来，将放大电路的放大率设置为m(步骤S509)。即，在步骤S504中计算出的m为m＞2的时分摄影中，各个图像的曝光量变为当m＝1时通过标准曝光时间Texp获得的曝光量的1/m。这样，来自CDS电路9的图像数据被放大电路11放大了m倍并且输出到A/D转换器13。这里，如上所述，放大电路的放大率根据ISO灵敏度而改变，但是在本实施方式中，将使用1作为贯穿所有ISO灵敏度的放大率。

接下来，CPU 35开始成像装置7的曝光(步骤S510)，并通过计时器35a来确定从曝光开始起是否经过了时分曝光时间ΔTexp(步骤S511)。结果，当曝光完成时，将从成像装置7读出的图像数据和与该图像数据相对应的照相机抖动量关联起来并存储在帧存储器15a或内部存储器25中，并且在基于该照相机抖动量对图像之间的照相机抖动进行校正之后进行合成。下面参照图6来详细说明对该照相机抖动量和图像数据的存储以及图像合成的处理(步骤S512)。

接下来，CPU 35从时分摄影的摄影计数m中减去1(步骤S513)。接下来，CPU 35确定m是否为0(步骤S514)。结果，如果m为0，则在压缩/解压缩单元27对存储在内部存储器25中的图像数据进行压缩之后，将其记录在可移除存储器29中作为贯穿所述时分摄影始终的静像数据，并且完成摄影动作。因此，如果步骤S504中计算出的m为1，即如果与步骤S502中计算出的图像质量模式相对应的照相机抖动极限曝光时间Tlimit和步骤S503中计算出的曝光时间Texp实际上相等，则通过单次曝光来完成摄影。相反，如果步骤S504中计算出的m为2或更大，则重复步骤S510到S514，并且通过时分摄影时间ΔTexp来完成后续的时分摄影。

接下来，将参照图6详细说明步骤S512中的存储图像数据和图像合成处理的流程。首先，确定F是否为m(步骤S601)。该F为在图5的步骤S504中存储在存储器[F]中的值，并且等于时分摄影中的摄影计数m。如果在步骤S601中F＝m，则将从成像装置7读出的图像数据存储在内部存储器25中(步骤S602)。这里，F＝m在时分摄影中初次成像之后马上成立。接下来，将0存储在存储器[F]中(步骤S603)。如果在步骤S601中确定为F不等于m，即m为2或更大，则接下来将存储在内置于CPU 49中的存储器中的以像素为单位的X方向和Y方向上的照相机抖动量Px和Py(参见图4中的步骤S406)与从成像装置7读出的图像数据关联起来并存储在内部存储器25中(步骤S604)。这些照相机抖动量，如已陈述的，以像素为单位表示了相对于时分摄影中初次摄影的结束时间点的图像位置移动量ΔX和ΔY。

接下来，将从成像装置7读出的图像数据存储在帧存储器15a中(步骤S605)。接下来，基于存储在内部存储器25中的照相机抖动量来完成位置调节，使得存储在帧存储器15a中的图像数据(称为图像数据B)所显示的图像(称为图像B)与已经存储在内部存储器25中的图像数据(称为图像数据A)所显示的图像(称为图像A)相匹配，并且CPU 35对与图像数据A和图像数据B相对应的图像数据进行求和(步骤S606)。接下来，将该求和后的图像数据重写入内部存储器25中存储图像数据A的原始地址(步骤S607)。重复上面的处理，直到完成时分摄影为止。当这种情况发生时，存储在内部存储器25中的是与多帧图像数据相对应的求和后的合成图像，从而由这多个帧的各个图像数据显示的图像基于与照相机抖动有关的数据而匹配。因此，CPU 35、图像处理单元15和内部存储器25构成了图像合成单元。

接下来，将对步骤S606中的图像定位和图像求和处理进行详细说明。我们分别将图像数据B显示的图像在X和Y方向上的照相机抖动量称为Px(B)和Py(B)。如已经陈述的，Px(B)和Py(B)以像素为单位表示了相对于时分摄影中初次摄影的结束时间点的图像位置移动量ΔX和ΔY。因此，Px(B)和Py(B)是基于记录在内部存储器25中的图像数据A所显示的图像A的照相机抖动量，并且图像B相对于图像A在X方向和Y方向上的照相机抖动量分别是Px(B)和Py(B)。

图8是当图像A和图像B的相同部分重叠时的相互位置关系的图示。CPU 35从帧存储器15a中读出与图像B相对应的图像数据B，还从帧存储器15a中读出与图像A相对应的图像数据A，对图8中图像A和图像B的相同部分发生重叠的位置的图像数据进行求和，再次将其存储在内部存储器25中并且称其为新图像数据B。执行这种图像之间的位置调节和图像数据的求和，直到时分摄影结束为止。

相比于图像合成处理，从成像装置7读出图像数据是高速完成的，所以帧存储器15a用作对该时间差进行补偿的缓冲存储器。在本实施方式中，为了便于说明，帧存储器15a和内部存储器25是分离的，但是帧存储器15a也可以是内部存储器25的一部分。

如上所述，通过用曝光时间ΔTexp来控制曝光而获得的m次摄影的总曝光时间(m·ΔTexp)与标准曝光时间Texp相等。因此，其中对通过时分摄影中m次摄影而获得的图像的相互照相机抖动进行了校正的图像合成的图像中所包含的成像装置的散粒噪声水平在统计上与通过用标准曝光时间Texp来摄影而获得的图像中所包含的散粒噪声水平相等，所以尽管是时分摄影，仍可以维持高的图像质量。

上述的成像设备和成像方法包括下面说明的实施方式。下面来说明本发明中包括的实施方式。这些各种实施方式中详述的内容在没有矛盾的程度上可任意组合。

(变型实施方式1)

在上面说明的实施方式中，基于从成像装置7读出的图像数据来完成照相机抖动校正和图像合成。然而，成像装置7可以被构成为具有照相机抖动校正或图像合成功能中的至少一种。

(变型实施方式2)

在上面说明的实施方式中，将使用角速度传感器43和45等获得的图像的照相机抖动量与在时分摄影中获得的各个图像数据关联起来并且存储在内部存储器25中，并且基于记录在该内部存储器25中的照相机抖动量来校正图像间的照相机抖动。然而，时分摄影中图像间的照相机抖动也可使用图像处理(例如公知的移动矢量检测)来获得，而不必使用角速度传感器43和45。

(变型实施方式3)

在上面说明的实施方式中，每次从成像装置7读出图像信号时，都通过用已读出并且已经过照相机抖动校正的图像数据实时地处理照相机抖动校正和图像合成来合成图像，从而能够高速地进行图像合成处理。然而，也可以在时分摄影中的所有图像数据都被存储在内部存储器25中之后并且在完成校正处理之后来完成图像合成，从而能够对多帧图像数据所显示的图像间的相互照相机抖动进行校正。

(变型实施方式4)

在上面说明的实施方式中，对摄影计数(m)进行控制以使得时分摄影中的多个照片的总曝光时间(m·ΔTexp)等于标准曝光时间Texp。然而，还可以使用照相机抖动极限曝光时间Tlimit来校正和合成通过与前述m次不同的次数的摄影而获得的多帧图像的相互照相机抖动。原因在于，在本实施方式中尽管对通过m次摄影而获得的图像数据进行合成减轻了图像数据中的随机噪声，但是通过计算而获得的摄影计数m不必是绝对的。另外，本发明旨在减轻照相机抖动，所以减轻图像数据中包含的随机噪声的构成与本发明并不直接相关。

(变型实施方式5)

在本实施方式中，时分摄影中的曝光时间ΔTexp被设置为使得照相机抖动量为允许的极限值(照相机抖动极限曝光时间Tlimit)。然而，该标准曝光时间ΔTexp也可以是短于前述照相机抖动极限曝光时间Tlimit的时间。

(变型实施方式6)

在上面说明的实施方式中，操作者通过图像质量输入单元37c来输入图像质量参数。然而，这些参数例如可根据可移除存储器29的剩余存储容量而自动设置。

在上面说明的实施方式中，当图像尺寸为1280×960像素且以压缩率N拍摄的图像被放大为六时相片尺寸(120mm×165mm)并从40cm的距离观察时，使得照相机抖动不显而易见的曝光时间被设置为1/fo(秒)(这里，fo是成像镜头3的焦距(mm))，并且基于图像质量输入单元37c根据该曝光时间1/fo(秒)而设置的压缩率和图像尺寸来计算成像装置7的照相机抖动极限曝光时间Tlimit。此外，除了基于AE控制所计算出的成像装置7的标准曝光时间Texp和所计算出的照相机抖动极限曝光时间Tlimit、根据标准曝光时间Texp连续完成对物体的m次摄影以外，还检测相对于物体曝光开始时的照相机抖动量，并且当照相机抖动量大于允许值时，获得其中通过对前述多帧图像数据进行求和从而使得由通过m次摄影而获得的相应m帧图像数据显示的多帧图像的相同部分重叠而减轻了照相机抖动的合成图像数据。因此，可以在有效地以符合所需图像质量的精度来校正照相机抖动的同时拍摄物体。

本申请要求2008年5月26日提交的日本专利第2008-136452号的优先权，此处通过引用将其内容并入。

Claims (3)

1.一种成像设备，该成像设备对多帧图像数据进行合成以便减少由通过时分摄影获得的多帧图像数据中的每一个显示的多帧图像的相互照相机抖动，该成像设备包括：

成像装置，用于对成像镜头形成的物体图像进行光电转换；

图像质量设置单元，用于设置与图像的所述多个帧的质量有关的参数；

曝光时间计算单元，用于基于所述参数和所述成像镜头的焦距来计算曝光时间以便使得所述多帧图像的照相机抖动量小于允许值；

曝光控制单元，用于基于所述曝光时间控制前述成像装置的曝光以使得能够连续地拍摄多帧图像；

照相机抖动量检测单元，用于计算所述多帧图像中的每一个的照相机抖动量；以及

图像合成单元，用于基于所述照相机抖动量以相应方式对所述多帧图像数据进行相加以便实现由所述多帧图像数据中的每一个显示的多帧图像的相同部分的重叠。

2.根据权利要求1所述的成像设备，其中由所述图像质量设置单元设置的用于确定图像质量的参数包含图像尺寸或压缩率中的至少一个。

3.一种成像方法，该成像方法对多帧图像数据进行合成以便减少由通过时分摄影获得的多帧图像数据中的每一个显示的多帧图像的相互照相机抖动，该成像方法包括以下步骤：

设置与图像的所述多个帧的质量有关的参数；

基于所述参数和成像镜头的焦距来计算曝光时间以便使得所述多帧图像的照相机抖动量小于允许值；

基于所述曝光时间控制成像装置的曝光以使得能够连续地拍摄多帧图像；

计算所述多帧图像中的每一个的照相机抖动量；以及

基于所述照相机抖动量以相应方式对所述多帧图像数据进行相加以便实现由所述多帧图像数据中的每一个显示的多帧图像的相同部分的重叠。

Images