CN101572777A - 摄像装置及摄像方法 - Google Patents

Abstract

摄像装置及摄像方法。通过摄像镜头(1)在摄像元件(5)的摄像面上形成被摄体像，每当从开始曝光时起的所述被摄体像的抖动量达到规定量时，从摄像元件(5)的像素读出图像数据，所述规定量取决于摄像镜头(1)的焦距和决定画质的参数。将从摄像元件(5)的像素多次读出的多帧图像数据对应起来而进行合成，使该多帧图像数据分别表示的图像的相同部分重合，生成减小了抖动的图像。由此，能够高效地进行精度与所要达到的画质对应的抖动校正。

Description

摄像装置及摄像方法

技术领域

本发明涉及可得到抖动校正后的图像的摄像装置及这样的摄像方法。

背景技术

众所周知，在数字照相机等摄像装置中，尤其在进行长时间摄像的情况下，摄像过程中摄影者的手抖或被摄体的运动会导致成像在摄像元件上的被摄体像发生抖动。

作为校正抖动的方法之一，在日本特许公开2003-32540号公报和日本特许公开2005-328326号公报等中提出了如下方法，即：在能够将抖动量抑制在容许量以下的曝光时间内，以时间分割(時分割)方式进行多次摄像，作为各次的摄像结果而得到多个图像数据，之后对所述多个图像数据进行合成，减小由该多个图像数据表示的各图像彼此之间的抖动，由此生成1个进行了抖动校正后的图像。在日本特许公开2003-32540号公报中，从曝光开始时起，直到抖动量达到可容许的规定抖动量时为止进行曝光，从摄像元件读出图像数据并进行合成，通过重复进行以上动作而生成减小了抖动的图像。此外，在日本特许公开2005-328326号公报中，以时间分割方式从配置有滤色镜的单板型摄像元件读出图像数据，按照滤色镜的颜色编码中单位图案的重复像素数的整倍数，对所述图像数据进行地址校正，同时与上次拍摄的图像数据进行合成，由此来生成减小了抖动的图像数据。

对于拍摄静态图像的摄像装置而言，希望能够可靠地拍摄到所有场景。因此，进行高速摄像是必要条件。此外，由于希望能够在所有场面下进行摄像，因此，胜任长时间摄像也是必要的条件。为了能进行长时间摄像而希望降低摄像时的功耗。

上述情况对于手抖防止处理也不例外，在手抖防止处理中也要求实现高速和低电耗。

这里，在像日本特许公开2003-32540号公报和日本特许公开2005-328326号公报那样，通过校正利用时间分割摄像得到的多个图像数据彼此之间的抖动来校正抖动的方式中，为了高精度地校正合成后得到的图像中的抖动，必须缩短时间分割摄像中各次摄像的曝光时间，减小各次摄像中图像的抖动量。为了使合成后的图像数据的S/N(信噪比)与时间分割摄像中各次摄像的曝光时间无关，而基本保持恒定，必须使合成后的图像数据整体的曝光时间基本保持恒定。因此，时间分割摄像的曝光时间越短，越要增加时间分割摄像的次数。但是，在增加时间分割摄像次数的情况下，必须要实施图像处理的图像数量变多，结果，整个图像处理的工作量变大，从而对其他处理产生不良影响。无论处理时间变长、或为了缩短处理时间而进行高速处理，功耗都会增大，无法满足上述摄像装置的基本要求。

另一方面，根据画质模式不同，有时即使利用通常不会引起显著抖动的曝光时间1/f秒(其中，f是35毫米胶卷照相机用摄像镜头的焦距，单位是“毫米”)进行时间分割摄像，也无法得到充分的抖动校正效果。

这样，虽然时间分割摄像的次数是决定摄像装置的功能和性能的非常重要的因素，但在现有技术中却与画质模式无关地设定了时间分割摄像的次数，因此有时进行了高于精度要求的抖动校正，而有时却精度不够。

发明内容

本发明正是鉴于上述状况而完成的，其目的在于，提供能够高效地进行精度与所要达到的画质对应的抖动校正的摄像装置和这样的摄像方法。

为实现上述目的，本发明的第1方式的摄像装置对通过时间分割摄像得到的多帧图像数据进行合成，以降低由所述多帧图像数据分别表示的图像彼此之间的抖动，其特征在于，该摄像装置具有：摄像元件，其具有呈二维状配置有多个像素的摄像面；摄像镜头，其在所述摄像元件的摄像面上形成被摄体像；抖动量检测部，其检测所述形成的被摄体像相对于所述摄像面上的基准位置的抖动量；画质参数设定部，其设定与所述多帧图像的画质相关联的参数；像素读出控制部，其进行多次读出动作，所述读出动作是：每当从曝光开始时起的所述抖动量达到规定量时，从所述摄像元件的像素读出图像数据，所述规定量取决于所述与画质相关联的参数和所述摄像镜头的焦距；以及图像合成部，其将从所述摄像元件的像素多次读出的多帧图像数据对应起来而进行合成，使该多帧图像数据分别表示的图像的相同部分重合。

此外，为实现上述目的，本发明的第2方式的摄像方法对通过时间分割摄像得到的多帧图像数据进行合成，以降低由所述多帧图像数据分别表示的图像彼此之间的抖动，其特征在于，该摄像方法包括以下步骤：检测形成在摄像元件的摄像面上的被摄体像相对于所述摄像面上的基准位置的抖动量；设定与所述多帧图像的画质相关联的参数；进行多次读出动作，所述读出动作是：每当从曝光开始时起的相对于所述摄像面上的基准位置的抖动量达到规定量时，从所述摄像元件的像素读出图像数据，所述规定量取决于所述与画质相关联的参数和摄像镜头的焦距；以及将从所述摄像元件的像素多次读出的多帧图像数据对应起来而进行合成，使该多帧图像数据分别表示的图像的相同部分重合。

此外，为实现上述目的，本发明的第3方式的摄像方法对通过时间分割摄像得到的多帧图像数据进行合成，以降低由所述多帧图像数据分别表示的图像彼此之间的抖动，其特征在于，该摄像方法包括以下步骤：每当从曝光开始时起的抖动量达到规定量时，重复进行从摄像元件的像素读出图像数据的动作，所述规定量取决于与画质相关联的参数和摄像镜头的焦距；以及将多次读出的多帧图像数据对应起来而进行合成，使该多帧图像数据表示的多帧图像的相同部分重合。

附图说明

图1是表示作为本发明的一个实施方式的摄像装置的一例的数字照相机的结构的框图。

图2是表示针对数字照相机而设定的坐标轴与2个角速度传感器25、26的配置之间的关系的图。

图3A是表示包含本发明的一个实施方式的摄像方法的数字照相机摄像动作流程的流程图的第1图。

图3B是表示包含本发明的一个实施方式的摄像方法的数字照相机摄像动作流程的流程图的第2图。

图4是表示在数字照相机抖动了与旋转角θx相应的量的情况下、摄像面上被摄体像的移动状态的图。

图5是表示子CPU计算移动量ΔX、ΔY等的处理流程的流程图。

图6是表示数字照相机的画质模式的图。

图7是表示放大率设定子程序的流程图。

图8是表示图像合成子程序的流程图。

具体实施方式

以下，参照附图，对本发明的实施方式进行说明。

图1是表示作为本发明的一个实施方式的摄像装置的一例的数字照相机的结构的框图。图1所示的数字照相机具有：摄像镜头1；镜头驱动系统2；光圈3；光圈驱动系统4；摄像元件5；摄像元件驱动器6；定时发生器(TG)电路7；相关双采样(CDS)电路8；放大电路9；模拟/数字(A/D)变换部10；数据总线11；内置存储器12；图像处理部13；AE处理部14；AF处理部15；压缩/解压缩部16；可装卸存储器17；显示部18；非易失性存储器19；主CPU 20；输入部21；电源部22；子CPU23；A/D变换部24；以及角速度传感器25、26。

摄像镜头1是用于使被摄体的光学像(被摄体像)在摄像元件5的摄像面上形成的光学系统。镜头驱动系统2是用于驱动摄像镜头1中包含的焦点调节用透镜等的驱动系统。可以通过镜头驱动系统2驱动焦点调节用透镜，来调节摄像镜头1的焦点。此外，在摄像镜头1为变焦镜头的情况下，可以通过镜头驱动系统2驱动摄像镜头1，来进行变焦。

光圈3是为了调节经由摄像镜头1入射到摄像元件5的光量而设置的。光圈驱动系统4是用于驱动光圈3的驱动系统。通过光圈驱动系统4开闭光圈3，可调节向摄像元件5入射的光的入射量。由此，能够控制摄像元件5的曝光量。

摄像元件5构成为：在通过呈二维状排列多个像素而构成摄像面的前面，按照规定的周期排列(例如，拜耳排列)，配置有不同的多种颜色的滤色镜子镜。该摄像元件5将形成在摄像面上的被摄体像变换为电信号(图像数据)。摄像元件驱动器6使摄像元件5执行摄像动作，以及读出来自摄像元件5的像素的信号的动作。TG电路7向摄像元件驱动器6、CDS电路8以及A/D变换部10提供用于决定摄像元件5、CDS电路8、A/D变换部10的动作定时的定时信号。

CDS电路8按照来自TG电路7的定时信号，对从摄像元件5输出的图像数据进行CDS处理，去除图像数据中的噪声。放大电路9按照由主CPU 20指定的规定放大率，放大从CDS电路8输出的图像数据。A/D变换部10将从放大电路9作为模拟信号输出的图像数据变换为数字信号。

数据总线11是用于将数字照相机内部产生的各种数据传输到数字照相机内各部分的输送路径。内置存储器12是临时存储以下等各种数据的存储部，即：在A/D变换部10中得到的图像数据，以及在图像处理部13、压缩/解压缩部16中进行处理后的图像数据。

图像处理部13执行同步处理、白平衡校正处理、YC分离处理、颜色变换处理、色调变换处理等图像处理。此外，图像处理部13具有图像合成部13a。图像合成部13a将多帧的图像数据对应起来而进行合成，使由通过后述的时间分割摄像多次读出的摄像元件5的像素信号(图像数据)表示的多帧图像的相同部分重合，从而生成1个降低了抖动的图像数据。

AE处理部14进行用于测定被摄体亮度的测光处理。另外，被摄体的亮度也可以使用专用传感器来检测，还可以根据图像数据来检测。AF处理部15测定从数字照相机到被摄体的距离。被摄体距离也可以根据专用传感器的输出来检测，还可以根据焦点调节时摄像镜头1的伸缩量来计算。

压缩/解压缩部16在图像数据的记录时，按照JPEG压缩方式等规定的压缩方式对图像处理部13处理后的图像数据进行压缩。此外，在图像数据的再现时，压缩/解压缩部16读出记录在可装卸存储器17中的压缩图像数据而进行解压缩。

可装卸存储器17是可在数字照相机主体上进行装卸的由存储器构成的记录介质，记录由压缩/解压缩部16压缩后的图像数据等。虽然在图1中将可装卸存储器17作为图像数据记录用的记录介质，不过，不一定要将可装卸存储器作为记录介质。

显示部18例如是液晶显示器(LCD)，根据由图像处理部13处理后的图像数据等来显示各种图像。

非易失性存储器19存储有图1的数字照相机进行动作所需要的各种参数，以及供主CPU 20和子CPU 23执行的各种程序。主CPU 20统一控制数字照相机主体的各种进程(sequence)。该主CPU 20按照非易失性存储器19中存储的程序，并从非易失性存储器19读入各种进程所需的参数，来执行各处理。而且，主CPU 20还具有用于对曝光时间等进行计时的计时计数器20a。

输入部21是包含快门释放按钮21a和画质输入部21b等的操作部件，其中所述画质输入部21b用于输入与画质相关联的参数(画质参数)。通过该画质输入部21b输入的画质参数被读入到主CPU 20中。当用户操作了输入部21中的任意一个操作部件时，主CPU 20执行与用户的操作对应的各种进程。快门释放按钮21a构成为具有第1快门释放开关和第2快门释放开关这两级开关。在半按下快门释放按钮21a使第1快门释放开关闭合时，主CPU 20执行AE处理和AF处理等摄像准备进程。此外，在全按下快门释放按钮21a使第2快门释放开关闭合时，主CPU 20执行摄像进程，进行摄像。画质输入部21b例如是十字键等操作部件。可以通过该画质输入部21b来设定记录在可装卸存储器17中的压缩图像数据的画质(图像尺寸、压缩率)。因此，画质输入部21b构成画质参数设定部。

电源部22是图1所示的数字照相机的电源。主CPU 20将电源部22供给的电源提供给图1所示的各模块。

子CPU 23统一控制与抖动校正有关的进程。A/D变换部24将从角速度传感器25、26作为模拟信号输出的抖动信号(角速度信号)变换为数字信号，输出到子CPU 23中。角速度传感器25是用于检测角速度的角速度传感器，该角速度是指图1所示的数字照相机绕X轴的旋转角θx在单位时间内的变化量。角速度传感器26是用于检测角速度的角速度传感器，该角速度是指图1所示的数字照相机绕Y轴的旋转角θy在单位时间内的变化量。

这里，参考图2对角速度传感器25、26进行进一步的说明。图2是表示针对数字照相机而设定的坐标轴与2个角速度传感器25、26的配置之间的关系的图。

在图2中，将沿着某时刻下摄像镜头1的光轴O的方向设定为Z轴。此外，将垂直于Z轴的平面上、从被摄体侧观察数字照相机100时的左右方向设定为X轴。并且，将通过Z轴和X轴的交点、且从被摄体侧观察数字照相机100时的上下方向设定为Y轴。另外，设Z轴的正向为被摄体侧。此外，将X轴的正向设为从被摄体侧观察数字照相机100时的右侧。而且，将Y轴的正向设为向上的方向。另外，如图2所示，在某时刻下，摄像镜头1的光轴O与Z轴一致，但是在其他时刻发生了抖动时，摄像镜头1的光轴O一般与Z轴不一致。

将绕如上设定的X轴、Y轴、Z轴的旋转角分别设为θx、θy、θz。如图2所示，与X轴、Y轴、Z轴相关联地设置了2个角速度传感器25、26。

以下，说明图1所示的数字照相机的动作。图3A和图3B是表示包含本实施方式的摄像方法的数字照相机摄像动作流程的流程图。

首先，主CPU 20判定是否半按下快门释放按钮21a而使第1快门释放开关闭合(步骤S101)。在步骤S101的判定中，在第1快门释放开关闭合之前，主CPU 20持续进行步骤S101的判定。另一方面，在步骤S101的判定中，当第1快门释放开关闭合时，主CPU 20使AE处理部14进行测光处理(被摄体亮度的测定)(步骤S102)。然后，主CPU 20根据AE处理部14的测光结果，通过APEX(Additive system of PhotographicExposure：照相曝光量加算系统)运算，计算曝光时间(Texp)(步骤S 103)。这里，曝光时间Texp是指普通摄像中的标准曝光时间。该曝光时间Texp大致等于后述的时间分割摄像中多帧摄像的合成曝光时间。接着，主CPU20根据AF处理部15的输出，调节摄像镜头1的焦点(步骤S104)。另外，此时主CPU 20将保持着由AF处理部15计算出的被摄体距离。

接着，主CPU 20判定是否全按下快门释放按钮21a而使第2快门释放开关闭合(步骤S105)。如果在步骤S105的判定中，第2快门释放开关未闭合，则处理返回步骤S102。在此情况下，主CPU 20再次使AE处理部14执行测光。另一方面，当在步骤S105的判定中第2快门释放开关闭合时，主CPU 20经由TG电路7使摄像元件5开始曝光(步骤S106)。由此，在摄像元件5的各像素中，开始蓄积与被摄体像相应的电荷。

此外，在第2快门释放开关闭合后，与图3A和图3B的处理独立地进行抖动量的运算。由于从步骤S106起的处理与抖动量运算处理的关系密切，因此，这里对抖动量的运算进行说明。

在第2快门释放开关闭合后，子CPU 23经由A/D变换部24作为数字数据分别取入从角速度传感器25、26输出的检测信号。此外，子CPU23通过主CPU 20获取与摄像镜头1的焦距f有关的信息(例如，在摄像镜头1为变焦镜头的情况下，主CPU 20通过镜头驱动系统2获取信息，或者，在摄像镜头1为交换式镜头筒的情况下通过通信接点等获取信息)。然后，子CPU 23从主CPU 20获取被摄体距离信息。这些焦距f的信息和被摄体距离信息将用于后述的X方向抖动量的运算以及Y方向抖动量的运算中。

接着参考图4，对抖动量与抖动校正量之间的关系进行说明。

图4是表示在数字照相机100抖动了与旋转角θx相应的量的情况下、摄像面上被摄体63的像的移动状态的图。

当数字照相机100因抖动等而旋转了旋转角θx时，摄像镜头1随之转动到参照标号1′所示的位置，同时，摄像元件5的摄像面61也移动到倾斜了角度θx的C-D面的位置。此外，未发生抖动时处于参照标号62所示位置的被摄体63的像，在发生了旋转角θx的抖动后，移动到摄像面C-D上由参照标号62′所示的位置。

这里，将摄像镜头1的焦距设为f、将未发生抖动时从摄像镜头1的物空间焦点到被摄体63的距离设为L、将未发生抖动时从摄像镜头1的像空间焦点到像位置的距离设为L′、将抖动引起的像位置的移动量设为ΔY，此时，根据图4所示几何学的位置关系，并使用下面的(式1)所示的牛顿成像公式，

L·L′＝f²                                (式1)

能够按照下面的(式2)所示来计算移动量ΔY。

ΔY＝(1+β)²·θx·f                      (式2)

这里，(式2)中的β表示摄像倍率，即β＝f/L。此外，在计算(式2)时，将θx视为微小量而进行了θx的一阶近似。此外，关于(式2)中的焦距f，如上所述，其是通过主CPU 20得到、并作为摄像镜头1的镜头信息而输入到子CPU 23中的。此外，用于计算β的被摄体距离L可以从AF处理部15中得到。另外，旋转角θx可以根据来自角速度传感器25的输出来计算。

通过对根据(式2)得到的移动量ΔY进行实质性的校正，即使数字照相机发生了抖动，也能够使由摄像元件5输出的图像数据所表示的图像不受到抖动的影响。

另外，如上所述，由于角度θx是微小量，因此虽然如图4所示摄像面C-D绕x轴旋转而相对于Y轴倾斜了角度θx，但除了上述移动量ΔY以外，摄像面的倾斜对像产生的影响不会带来问题。

此外，关于数字照相机100绕Y轴旋转了旋转角θy时像位置的移动量ΔX，也可以与(式2)同样地，按照下面的(式3)所示求出。

ΔX＝(1+β)²·θy·f                     (式3)

这里，用时间对(式2)的两边进行微分可得到下面的(式4)。

$\frac{d\left(\mathrm{\ΔY}\right)}{\mathrm{dt}}={(1+\mathrm{\β})}^2\·f\·\frac{\mathrm{d\θx}}{\mathrm{dt}}$ (式4)

(式4)右边的d(θx)/dt是绕X轴的角速度本身，因此，可以直接使用角速度传感器25的输出。此外，(式4)左边的d(ΔY)/dt是产生d(θx)/dt的角速度时Y轴方向上的像移动速度Vy。

同样，关于发生绕Y轴旋转了旋转角θy的抖动时X轴方向上像位置的移动量ΔX，也可以用时间对(式3)的两边进行微分而得到下面的(式5)。

$\frac{d\left(\mathrm{\ΔX}\right)}{\mathrm{dt}}={(1+\mathrm{\β})}^2\·f\·\frac{\mathrm{d\θy}}{\mathrm{dt}}$ (式5)

(式5)右边的d(θy)/dt是绕Y轴的角速度本身，因此，可以直接使用角速度传感器26的输出。此外，(式5)左边的d(ΔX)/dt是产生d(θy)/dt的角速度时X轴方向上的像移动速度Vx。

现在，若假设以规定时间ΔT为周期检测出的角速度传感器25的输出d(θx)/dt为ωx1、ωx2、ωx3、...、ωx(n-1)、ωxn，则经过n×ΔT的时间后Y轴方向上像位置的移动量ΔY可按下面的(式6)所示求出。

$\mathrm{\ΔY}={(1+\mathrm{\β})}^2\·f\·\mathrm{\ΔT}\·\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{xk}}$ (式6)

其中，ΔT是将A/D变换部24的输出变换为数字信号的采样间隔。在将换算成35毫米胶卷照相机摄影镜头的摄像镜头1的焦距设为f[毫米]时，优选该ΔT是与1/f[秒]相同或比其更短的时间。

同样，若假设按照各规定时间ΔT(以规定时间ΔT为周期)检测出的角速度传感器26的输出d(θy)/dt为ωy1、ωy2、ωy3、...、ωy(n-1)、ωyn，则经过n×ΔT的时间后X轴方向上像位置的移动量ΔX可按下面的(式7)所示求出。

$\mathrm{\ΔX}={(1+\mathrm{\β})}^2\·f\·\mathrm{\ΔT}\·\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{yk}}$ (式7)

如上所述，由摄像元件5以n×ΔT的时间间隔进行曝光的多帧摄像中像的移动量(即抖动量)，可以通过(式6)和(式7)来计算。因此，为了根据利用这些式子计算出的抖动量ΔX、ΔY来校正各图像中的抖动，将与各图像对应的图像数据中的各像素数据彼此对应起来，进行图像数据的合成处理。由此，可以生成进行了抖动校正后的一个图像数据。

图5是表示子CPU 23计算移动量ΔX、ΔY等的处理流程的流程图。如上所述，图5的处理是在从全按下快门释放按钮21a而使第2快门释放开关闭合时起到曝光结束为止的期间，与图3A和图3B所示的处理独立执行的处理。

在图5的处理中，子CPU 23判定第2快门释放开关是否闭合(步骤S401)。然后，子CPU 23反复进行步骤S401的判定，直到第2快门释放开关闭合为止。

在步骤S401的判定中，当第2快门释放开关闭合时，子CPU 23获取摄像镜头1的焦距f和被摄体距离L(步骤S402)。例如可以在图5所示的处理中运算这些焦距f和被摄体距离L。此外，为了以更高速的周期运算抖动量，也可以使用另外的处理器等预先运算出焦距f和被摄体距离L，然后子CPU 23在步骤S402中获取该运算出的数据。由此，能够实现高速处理，并能够实时跟踪实际的抖动。

接着，子CPU 23经由A/D变换部24读入角速度传感器25、26的输出，获得角速度ωx、ωy(步骤S403)。之后，子CPU 23将所获得的ωx、ωy加到已一直累加至上次获得的值的角速度累加值上，运算到本次检测的值为止的角速度累加值(步骤S404)。

然后，子CPU 23将步骤S404中运算出的累加值分别代入(式6)、(式7)，分别计算从时间分割摄像的多帧摄像中最初的摄像结束时刻起像位置的移动量ΔX、ΔY(步骤S405)。

接着，子CPU 23运算Px＝「ΔX/Lx」和Py＝「ΔY/Ly」(步骤S406)。这里，Lx、Ly分别表示像素的X方向和Y方向的尺寸，「」表示将小数点以下四舍五入而得到的整数值。因此，Px、Py是按照像素单位表示从最初的时间分割图像的摄像结束时刻起像位置的移动量ΔX、ΔY的值。

接着，子CPU 23将Px、Py分别存储到各对应的内存[Px]、[Py]中(步骤S407)。然后，子CPU 23判定曝光时间Texp的曝光是否结束(步骤S408)。在步骤S408的判定中，当曝光尚未结束时，处理返回步骤S403。在此情况下，子CPU 23重复进行从获取角速度ωx、ωy起的处理。另一方面，在步骤S408中，当曝光结束时，子CPU 23结束图5所示的处理。这样的角速度传感器25、角速度传感器26、A/D变换部24、子CPU 23构成抖动量检测部。

这里，返回图3A的说明。在步骤S106中开始摄像元件5的曝光后，主CPU 20使定时计数器20a开始进行用于计时曝光时间的计数(步骤S107)。接着，主CPU 20进行变量的初始设定。这里，分别将0存储到内存[Px0]、[Py0]中，内存[Px0]、[Py0]用于存储后述运算所需的变量Px0、Py0。在本实施方式中，求出从最初的时间分割摄像的曝光开始时起的累计抖动量，并将该累计抖动量减去直到读出上次时间分割摄像的图像数据为止的累计抖动量，由此求出各次时间分割摄像的曝光时间内的抖动量。变量Px0、Py0是直到读出上次时间分割摄像的图像数据为止X方向、Y方向上的累计抖动量。此外，在时间分割摄像中，将0存储到内存[Tm0]中，内存[Tm0]用于存储从摄像元件5读出上次拍摄的图像数据为止的曝光时间Tm0。此外，将0存储到用于存储时间分割摄像的次数n的内存[n]中。另外，将1存储到用于存储放大电路9的放大率A的内存[A]中。

接着，主CPU 20运算Px-Px0、Py-Py0，并将该运算结果分别存储到内存[Sx]、[Sy]中(步骤S109)。

然后，主CPU 20判定通过如下方式计算出的值(Tm-Tm0)/Texp是否小于预先存储在非易失性存储器19中的常数k1，所述值(Tm-Tm0)/Texp的计算方式为：将计时计数器20a的计数值Tm减去在放大率设定处理(详情后述)中设定的上次图像数据读出为止的计时计数器20a的值Tm0而得到时间Tm-Tm0，然后将该时间Tm-Tm0除以在步骤S103中运算出的普通摄像的标准曝光时间Texp(步骤S110)。其中，Tm等于从最初的时间分割摄像开始时刻(与步骤S107的时刻大致相同)到生成最新的时间分割图像数据为止的累计曝光时间。此外，Tm0等于从最初的时间分割摄像开始时刻到上次读出时间分割图像数据的时刻为止的累计曝光时间。另外，Tm-Tm0等于最新的时间分割摄像的曝光时间。

这里，(Tm-Tm0)/Texp表示最新的时间分割摄像的图像数据的水平(曝光量)的标准。当(Tm-Tm0)/Texp小于k1时，表示图像数据的S/N处于不容许的水平。在此情况下，不读出图像数据，而分支到步骤S111。然后，主CPU 20判定Tm是否大于或等于Texp(步骤S111)。在步骤S111的判定中，当Tm大于或等于Texp时，进行步骤S116之后的图像数据读出(后面叙述)。根据后面的叙述可知，在从步骤S113起的处理中，当抖动量没有达到规定量以上时，不读出图像数据。但是，在没有发生抖动的情况下有时也需要读出图像数据。因此，设置了步骤S111的判定，当虽然未发生抖动但曝光时间Tm大于或等于Texp时，也读出图像数据。因此，在本实施方式中，在完全未发生抖动的情况下，以与普通摄像相同的方式进行摄像。此外，在步骤S111的判定中，当Tm≥Texp不成立时，由于曝光量不足，因此返回到步骤S109，重复进行处理。

此外，在步骤S110的判定中，当(Tm-Tm0)/Texp大于或等于k1时，图像数据的S/N处于容许的水平。在此情况下，主CPU 20判定Sx是否大于容许抖动量Sx0，或者Sy是否大于容许抖动量Sy0(步骤S112)。

这里，对步骤S112的容许抖动量进行说明。首先，将摄像面中用长度表示的X方向和Y方向上的容许抖动量分别设为Lx0、Ly0。然后，例如在18×24[厘米]的打印纸上，以6倍的倍率放大由24×36[毫米]尺寸的摄像元件得到的图像，并与其相距40[cm]进行观察。由于视力为1.0的人的视觉的二点识别分辨率大约为1[分]，因此在打印纸上放大后的图像的容许模糊圆为40[cm]×1[分]×2π/(360×60[分])＝116[μm]。因此，摄像元件的摄像面的容许模糊圆为116[μm]/6＝19[μm]。在本实施方式中，根据这样的容许模糊圆的尺寸来设定容许抖动量Sx0、Sy0。

另外，关于本实施方式中的数字照相机的画质模式，如图6中作为一例所示，可以通过选择图像尺寸和压缩率来进行选择。容许抖动量取决于图像尺寸、压缩率、图像的放大倍率以及观察距离等。在本实施方式中，例如，将图像尺寸为1600像素×1200像素、且压缩率为标准时的容许抖动量设定为19[μm]，即与上述容许模糊圆尺寸相等。对于1600像素×1200像素水平的图像尺寸而言，即使发生了容许抖动量为19[μm]的抖动时，也不会损害摄像元件原来的分辨率。针对其他图像尺寸应设定怎样的容许抖动量还取决于图像的放大倍率和观察距离，不过在本实施方式中，设定了与图像尺寸成反比例的容许抖动量。此外，在图像尺寸相同的情况下，压缩率越高画质越低。因此，压缩率越高，所设定的容许抖动量越大。

将以上说明的容许抖动量除以单位像素水平方向的长度(Lx)和垂直方向的长度(Ly)，计算按像素单位表示的X方向和Y方向的容许抖动量Sx0、Sy0。然后，将该容许抖动量Sx0、Sy0按照各种图像尺寸或压缩率，预先存储到非易失性存储器19中。

在步骤S112的判定中，在Sx大于容许抖动量Sx0、或Sy大于容许抖动量Sy0的情况下，主CPU 20判定Sx/Sx0是否大于非易失性存储器19中存储的常数k2、或Sy/Sy0是否大于k2(步骤S113)。在步骤S113的判定中，在Sx/Sx0大于k2、或Sy/Sy0大于k2的情况下，视为抖动大于容许水平，主CPU 20使显示器18进行警告显示(步骤S114)。另外，也可以不进行警告显示而是采用警告音。设置步骤S113的判定处理的原因如下。可校正抖动的极限取决于时间分割摄像中从摄像元件读出多帧图像数据的周期。当读出周期较长时，时间分割摄像中的抖动量容易大于容许量。抖动量比容许量大多少时进行警告显示是设计上的课题。例如可以设k2＝2。这是因为，当k2＝1时，会频繁地进行告警显示而使人感到厌烦，而当k2过大时，产品的可靠性会受到质疑。

此外，在步骤S113的判定中，当Sx/Sx0和Sy/Sy0都小于或等于k2时，主CPU 20执行放大电路9的放大率设定子程序(步骤S115)。由于时间分割摄像中的曝光量比普通摄像中的曝光量少，因此，通过放大电路9来放大时间分割摄像中的图像数据。由此，时间分割摄像时向A/D变换部10输入的输入信号电平基本等于普通摄像时的输入信号电平，能够减小A/D变换部10的A/D变换所伴随的量化误差。

这里，对放大率设定子程序进行进一步的说明。图7是表示放大率设定子程序的流程图。主CPU 20将从最初的时间分割摄像的曝光开始时起的累计曝光时间Tm减去直到读出上次的时间分割摄像的图像数据为止的曝光时间Tm0，将该值(如上所述，该值表示最新的时间分割摄像的曝光时间)存储到用于存储变量ΔTexp的内存[ΔTexp]中(步骤S501)。接着，主CPU 20将Tm作为新的变量Tm0的值，存储到内存[Tm0]中(步骤S502)。然后，主CPU 20将Texp/ΔTexp存储到用于存储放大率A的内存[A]中(步骤S502)。然后，主CPU 20将放大电路9的放大率设定为A(步骤S504)。通过这样设定放大率，当读出图像数据时，来自摄像元件5的图像数据被放大了Texp/ATexp倍。由此，输入到A/D变换部10中的图像数据的电平基本等于普通摄像时的电平。

再次返回图3B，继续进行说明。在步骤S115的放大率设定之后，主CPU 20使存储着读出上次图像数据为止的累计抖动量Px0、Py0的内存[Px0]、[Py0]，存储从曝光开始时起的抖动量Px、Py，以更新Px0、Py0(步骤S116)。接着，主CPU 20控制TG电路7，开始读出来自摄像元件5的图像数据(步骤S117)。之后，主CPU 20进行本次读出的图像数据与已经进行了抖动校正并合成的图像数据的图像合成(步骤S118)。因此，主CPU 20、摄像元件驱动器6以及TG电路7构成像素读出控制部。

参照图8对图像合成子程序进行进一步的说明。图8是表示图像合成子程序的流程图。首先，主CPU 20判定表示时间分割摄像的次数的变量n是否为0(步骤S601)。在步骤S601的判定中，当n＝0时，表示读出初次的时间分割摄像的图像数据。此时，主CPU 20将通过摄像元件5读出、并由A/D变换部10得到的图像数据A存储到内置存储器12中(步骤S602)。将存储在该内置存储器12中的图像数据所表示的图像设为图像A。另一方面，在步骤S601的判定中，当n＝0不成立时，表示读出从第2次起的时间分割摄像的图像数据。在此情况下，主CPU 20将图像数据A与从摄像元件5新读出的图像数据B对应起来而进行合成，使图像数据B所表示的图像B与图像A的相同部分重合。具体而言，在图3B的步骤S109中将存储在内存[Sx]、[Sy]中的X方向、Y方向上的抖动量分别设为Sx、Sy时，控制图像数据B的各像素数据的读出地址，使图像B沿X方向移动-Sx、沿Y方向移动-Sy而与图像A重合，在与图像数据A的各像素数据对应起来之后，将对应像素的各个数据进行合成。然后，将该合成后的图像数据再次存储到内置存储器12中(步骤S603)。接着，主CPU 20将n+1存储到用于存储变量n的内存[n]中，从图8的处理返回。因此，主CPU 20、内置存储器12以及图像处理部13构成图像合成部。

再次返回图3B继续进行说明。在步骤S118中，当图像合成结束时，主CPU 20判定计时计数器20a的值Tm是否大于或等于曝光时间Texp(步骤S119)。在步骤S119的判定中，当Tm＜Texp时，处理返回步骤S109。然后，主CPU 20重复从步骤S109起的处理。另一方面，在步骤S119的判定中，当Tm≥Texp时，主CPU 20结束图3A和图3B的处理，结束摄像。

如上所述，根据本实施方式，与记录图像的画质模式(图像尺寸和压缩率)对应地设定抖动量的容许量Sx0、Sy0，在抖动量Sx、Sy分别超过抖动量的容许量Sx0、Sy0之前，不读出图像数据。由此，不会增加不必要的时间分割摄像的次数，因此能够高速、低功耗地进行抖动校正，并能够进行精度与所要达到的画质模式对应的良好的抖动校正。

本发明不限于上述实施方式，还包含以下示例的变形例。以下示例了包含于本发明的变形例。另外，各变形例中记载的内容只要不矛盾，即可进行任意组合。

[变形例1]

在本实施方式中，根据从摄像元件5读出到外部的图像数据来进行图像合成。不过也可以采用摄像元件5具有图像合成功能的结构。此外，在摄像元件5内部具有图像合成功能时，关于图像数据，可以合成模拟信号，也可以在将模拟信号变换为数字信号后进行合成。

[变形例2]

在本实施方式中，每当从摄像元件5读出图像数据时，都会重复进行该读出的图像数据与已经读出并进行了抖动校正及图像合成处理后的图像数据的抖动校正和图像合成，从而能够进行高速的图像合成处理。与此相对，也可以采用如下方式：在将时间分割摄像的所有图像数据存储到内置存储器12中之后，将多帧图像数据对应起来而进行合成，使由上述多帧图像数据表示的各图像的相同部分重合。

[变形例3]

在本实施方式中，控制摄像次数(m)，以使从时间分割摄像开始到时间分割摄像结束为止的总曝光时间与标准曝光时间Texp大致相等，但是不限于此。可以根据需要，使从时间分割摄像开始到时间分割摄像结束为止的总曝光时间比标准曝光时间Texp长或短。例如，为了降低合成后的图像数据的随机噪声，可以使上述总曝光时间比标准曝光时间长，并增加时间分割摄像的摄像次数；而为了缩短时间分割摄像的时间，可以使上述总曝光时间比标准曝光时间短，并减少时间分割摄像的摄像次数。

[变形例4]

虽然画质参数是由操作者通过画质输入部21b输入的，不过，例如也可以根据可装卸存储器17的剩余存储容量，由CPU 20自动设定画质参数。在此情况下，主CPU 20构成画质参数设定部。

Claims (4)

1.一种摄像装置，其对通过时间分割摄像得到的多帧图像数据进行合成，以降低由所述多帧图像数据分别表示的图像彼此之间的抖动，其特征在于，该摄像装置具有：

摄像元件，其具有呈二维状配置有多个像素的摄像面；

摄像镜头，其在所述摄像元件的摄像面上形成被摄体像；

抖动量检测部，其检测所述形成的被摄体像相对于所述摄像面上的基准位置的抖动量；

画质参数设定部，其设定与所述多帧图像的画质相关联的参数；

像素读出控制部，其进行多次读出动作，所述读出动作是：每当从曝光开始时起的所述抖动量达到规定量时，从所述摄像元件的像素读出图像数据，所述规定量取决于所述与画质相关联的参数和所述摄像镜头的焦距；以及

图像合成部，其将从所述摄像元件的像素多次读出的多帧图像数据对应起来而进行合成，使该多帧图像数据分别表示的图像的相同部分重合。

2.根据权利要求1所述的摄像装置，其特征在于，

所述与画质相关联的参数包含图像尺寸和压缩率中的至少一个。

3.一种摄像方法，其对通过时间分割摄像得到的多帧图像数据进行合成，以降低由所述多帧图像数据分别表示的图像彼此之间的抖动，其特征在于，该摄像方法包括以下步骤：

检测形成在摄像元件的摄像面上的被摄体像相对于所述摄像面上的基准位置的抖动量；

设定与所述多帧图像的画质相关联的参数；

进行多次读出动作，所述读出动作是：每当从曝光开始时起的相对于所述摄像面上的基准位置的抖动量达到规定量时，从所述摄像元件的像素读出图像数据，所述规定量取决于所述与画质相关联的参数和摄像镜头的焦距；以及

将从所述摄像元件的像素多次读出的多帧图像数据对应起来而进行合成，使该多帧图像数据分别表示的图像的相同部分重合。

4.一种摄像方法，其对通过时间分割摄像得到的多帧图像数据进行合成，以降低由所述多帧图像数据分别表示的图像彼此之间的抖动，其特征在于，该摄像方法包括以下步骤：

每当从曝光开始时起的抖动量达到规定量时，重复进行从摄像元件的像素读出图像数据的动作，所述规定量取决于与画质相关联的参数和摄像镜头的焦距；以及

将多次读出的多帧图像数据对应起来而进行合成，使该多帧图像数据表示的多帧图像的相同部分重合。

Images