CN106469433A - 摄像装置、摄像方法 - Google Patents

Abstract

提供摄像装置、摄像方法。目的是提供能够得到减轻了曝光的不连续性或被摄体变形的自然的合成图像的摄像装置等。该摄像装置具有：图像传感器(23)，其利用时间Te读出图像；机械快门(22)，其利用满足Te＞Tm的行进时间Tm进行开闭动作；系统控制部(10)，其将机械快门(22)控制成使得从打开到关闭的时间为T1并且使图像传感器(23)利用满足T1＞T2的时间T2连续性地读出多帧图像；以及图像合成部，其由多帧图像生成合成图像，系统控制部(10)进行控制，使得利用时间T1不泄漏地读出在任意的像素中曝光的电荷。

Description

摄像装置、摄像方法

技术领域

本发明涉及取得多帧图像数据进行合成的摄像装置、摄像方法。

背景技术

近年来，在数码相机等摄像装置中，提供并销售如下的摄像装置：通过对从图像传感器连续地读出的多帧图像进行合成，而实现在1帧的摄影图像中无法表现的新的图像处理效果的图像，或者取得在1帧的摄影中无法简单地得到的图像。

例如，在日本特开2010-136058号公报中提出如下的摄像装置：通过对多帧图像进行合成而容易地得到移摄摄影的图像。

在利用以往的照相机进行移摄摄影时，摄影者要拍摄期望的移摄图像并不简单。具体而言，有时摄影者并不知道使背景成为适度的移动量这样的适合移摄的快门速度。此外，如果为了使适合移摄的快门速度为背景移动这样的稍长的快门速度，而不适当地设定光圈值或ISO感光度，仅设定适合移摄的快门速度来进行摄影，则有时曝光量变得过多而成为曝光过剩。

与此相对，在该公报中记载的摄像装置对利用适当的曝光连续拍摄的多帧图像进行合成而得到移摄图像，因此不仅得到适当的曝光的合成图像，也可以得到出现摄影者所喜欢的移摄效果的快门速度的合成图像。此外，在本公报所记载的技术中，从图像数据内的多个被摄体中检测出想要移动的被摄体(背景)和不想移动的被摄体(主要被摄体)，通过以主要被摄体不移动而背景移动的方式来合成图像，能够更简单地进行移摄摄影。

上述日本特开2010-136058号公报中记载的这样的在合成连拍得到的图像而生成1帧的图像时，作为连拍方法考虑如下的方法：重复地进行机械快门的开闭动作的机械快门连拍的方法、以及通常的CMOS图像传感器的动态图像摄影这样的在保持打开机械快门的状态下重复地进行从图像传感器的读出的基于所谓的电子快门的连拍(以下适当记载为电子读出连拍)的方法。

对利用这样的机械快门连拍或者电子读出连拍所拍摄的多帧图像进行合成而得到的移摄图像成为与习惯移摄的专业摄影师利用机械快门拍摄1帧而得到的移摄图像不同的图像。

具体而言，在利用机械快门进行连拍的情况下，由于在对1帧的图像进行摄影之后暂时关闭快门，然后为了对下一帧的图像进行摄影而进行打开快门的动作，由于从关闭到打开的时间(例如1/10(sec)左右)而产生在连续的帧之间未进行摄影的曝光缺失。例如，通常在对摩托车运动或野鸟的飞行等进行移摄时以左右的快门速度进行摄影，因此在机械快门连拍中在各图像间会产生接近快门速度的数量级的1/10(sec)左右的曝光缺失。如果对连拍而得到的多帧图像进行合成而生成移摄摄影图像，则由于主要被摄体静止因此无违和感，但背景部分的移动情况因曝光缺失而呈断续状。因此，在使用机械快门连拍的移摄摄影图像的合成中，无法得到像专业摄影师利用1帧的图像进行摄影得到的移摄图像那样的自然的移动情况的图像。

另一方面，电子读出连拍以如下的方式进行。在近年的数码相机中使用的CMOS图像传感器中，通常按照各行依次读出在行和列方向上配置的多个像素的各信号。在每一行结束所蓄积的像素信号的读出的时刻，再次开始该行的像素的信号蓄积，进行下一行的读出。由于这样在电子读出连拍中不中断各行的曝光而能够进行连拍，因此不会发生像机械快门连拍的情况那样的曝光缺失。但是，从开始图像的最上面第1行的读出到最下面1行的读出结束为止的时间(所谓的电子快门的行进时间)比机械快门的行进时间长。如果列举具体例，机械快门从图像传感器的上端行进到下端需要左右，但一般的CMOS图像传感器中的1画面的电子读出所需要的时间为左右。因此，如果使用电子快门，则在图像的上侧部分和下侧部分之间曝光时机发生偏差，因此在对动态的被摄体进行摄影的情况下或者像移摄那样使照相机自身移动而进行摄影的情况下，在摄影图像中发生被摄体不自然地变形的现象。

参照附图进一步具体地进行说明。例如，考虑如图4所示的相对于静止的背景BO，使照相机朝着主要被摄体MO从右向左摆动而对从右侧向左侧行驶的车辆等主要被摄体MO进行移摄摄影的情况。

此时，在对利用机械快门连拍得到的多帧图像进行合成的情况下，由于像上述那样在各帧的图像间产生曝光缺失，因此如图11所示，成为背景BO的移动断续地终端的不自然的移动情况的图像。这里，图11是示出由利用机械快门连拍得到的多帧图像所合成的移摄摄影图像SP1的例子的图。

并且，在针对所有的多帧图像不使用机械快门、仅使用电子快门(在图12的例中假定从下向上行进的电子快门)的情况下，关于包含最初的1帧和最后的1帧的所有帧，图像的上侧和下侧的曝光时机的偏差较大。因此，在合成图像中，如图12所示，越向图像的上侧，背景BO越向右侧变形，会成为不自然的图像。这里，图12是示出由利用电子快门连拍得到的多帧图像合成的移摄摄影图像SP2的例子的图。

在这样对连拍得到的图像进行合成而生成1帧图像的摄像装置中，如果连拍的方法是机械快门连拍，则由于帧间的曝光缺失的原因，如果是电子读出连拍则由于各行的曝光时机的偏差引起的被摄体变形的原因，与利用1帧的图像进行移摄摄影得到的图像相比较，会成为不自然的图像。

这样合成图像成为不自然的图像不仅在将上述的移摄简单化的合成处理的情况下成立，在当前提出且市售的数码照相机中搭载的各种图像合成处理，例如对曝光不同的多帧图像进行连拍而合成动态范围比1帧图像大的图像的图像合成处理、对多帧图像进行平均合成而降低随机噪声的图像合成处理等合成多帧图像的各种图像合成处理也同样成立。

发明内容

本发明是鉴于上述情况而完成的，其目的在于，提供减轻了由多帧图像数据得到的合成图像数据因曝光的不连续性和电子读出而引起的被摄体变形、成为更自然的图像的摄像装置、摄像方法。

本发明的某方式的摄像装置具有：摄像元件，其利用排列成二维状的多个像素对被摄体光像进行受光而生成图像数据，利用读出时间Te进行读出；机械快门，其配置在上述摄像元件的前面，通过满足Te＞Tm的行进时间Tm的开闭动作来控制上述摄像元件的曝光时间；控制部，其将该机械快门控制成使得上述机械快门从打开到关闭的总曝光时间为T1，并且按照利用满足T1＞T2的1帧曝光时间T2连续性地读出多帧图像数据的方式对上述摄像元件进行电子快门控制；以及图像合成部，其将上述多帧图像数据合成而生成至少1帧的合成图像数据，上述控制部控制成利用上述总曝光时间T1不泄漏地读出在任意的像素中曝光的电荷。

本发明的某方式的摄像方法具有如下的步骤：摄像步骤，利用摄像元件的排列成二维状的多个像素对被摄体光像进行受光而生成图像数据，利用读出时间Te进行读出；曝光步骤，利用配置在上述摄像元件的前面的机械快门，通过满足Te＞Tm的行进时间Tm的开闭动作来控制上述摄像元件的曝光时间；控制步骤，将上述机械快门控制成使得该机械快门从打开到关闭的总曝光时间为T1，并且按照利用满足Tl＞T2的1帧曝光时间T2来连续性地读出多帧图像数据的方式对上述摄像元件进行电子快门控制；以及图像合成步骤，对上述多帧图像数据进行合成而生成至少1帧的合成图像数据，上述控制步骤是控制成利用上述总曝光时间T1不泄漏地读出在任意的像素中曝光的电荷的步骤。

附图说明

图1是示出本发明的实施方式1的摄像装置的结构的框图。

图2是示出上述实施方式1的摄像装置的移摄摄影处理的动作的流程图。

图3是示出上述实施方式1的移摄摄影模式中的曝光的情形的时序图。

图4示出在上述实施方式1中包含移动的被摄体和静止的背景的摄影场景的一例的图。

图5是示出在上述实施方式1中作为移摄摄影的第1帧而得到的图像的例子的图。

图6是示出在上述实施方式1中作为移摄摄影的第2帧而得到的图像的例子的图。

图7是示出在上述实施方式1中作为移摄摄影的第3帧而得到的图像的例子的图。

图8是示出在上述实施方式1中作为移摄摄影的最终帧的第4帧而得到的图像的例子的图。

图9是示出在上述实施方式1中对利用移摄摄影得到的所有帧的图像进行合成而得到的图像的例子的图。

图10是用于说明在上述实施方式1中从图像传感器连续地读出用于生成合成图像数据的多帧图像数据的控制方法的时序图。

图11是示出以往由利用机械快门连拍得到的多帧图像合成的移摄摄影图像的例子的图。

图12是示出以往由利用电子快门连拍得到的多帧图像合成的移摄摄影图像的例子的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

[实施方式1]

图1至图10示出本发明的实施方式1，图1是示出摄像装置1的结构的框图。

本发明的优选的实施方式的摄像装置1构成为例如数码照相机。

该摄像装置1具有：摄像部2、图像处理部3、总线4、自动曝光控制部5、抖动检测部6、显示部7、输入IF(接口：Interface)8、内部存储器9、系统控制部10。另外，图1中还记载了外部存储器11，但该外部存储器11能够由例如相对于摄像装置1装卸自如的存储器卡等构成，也可以不是在摄像装置1中固有的结构。

摄像部2具有镜头21、机械快门22以及图像传感器23。

镜头21是将被摄体光像(被摄体的光学像)成像在图像传感器23上的光学系统。该镜头21在内部具有光学光圈，该光学光圈根据作为用于调节曝光量的控制参数的光圈值而使开口的大小发生变化。

另外，在本实施方式中，假定镜头21与照相机主体构成为一体而进行说明，但也可以使镜头21构成为作为更换镜头相对于照相机主体装卸自如。

并且，机械快门22例如构成为焦面快门，配置在图像传感器23的前面，通过对用于进行遮光的前帘和后帘进行开闭而使来自镜头21的摄影光束到达图像传感器23，或者以使摄影光束不到达图像传感器23的方式进行遮光。此时，从前帘开始行进起到后帘开始行进为止的时间为快门速度，根据基于自动曝光控制部5的检测结果而确定的快门速度，由系统控制部10来控制机械快门22。

如果设该机械快门22(前帘和后帘)通过图像传感器23的摄像面所需要的行进时间为Tm，设图像传感器23进行所有行的读出所需要的读出时间(所谓的电子快门的行进时间)为Te，则机械快门22通过满足Te＞Tm的行进时间Tm的开闭动作来控制图像传感器23的曝光时间。

图像传感器23包含CMOS图像传感器或CCD图像传感器等摄像元件，利用排列成二维状的多个像素对由镜头21成像的被摄体光像进行受光，按照每个像素转换成电信号而生成图像数据，读出所生成的图像数据而向图像处理部3和总线4输出。

总线4是用于在摄像装置1内的各部分之间进行信号的发送接收的信号线。在图1所示的例子中，总线4与摄像部2、图像处理部3、自动曝光控制部5、抖动检测部6、显示部7、输入IF8、内部存储器9、系统控制部10以及外部存储器11连接。

图像处理部3对从图像传感器23输出的图像数据实施图像处理，具有图像合成部31和显像处理部32。

图像合成部31对多帧图像数据进行合成而生成至少1帧的合成图像数据，具有比较亮合成部33、比较暗合成部34、相加合成部35、平均合成部36、加权相加合成部37。即，图像合成部31对从图像传感器23连续地读出、根据需要保存在内部存储器9中的多帧图像数据，按照对应的每个像素进行比较亮合成处理、比较暗合成处理、相加合成处理、平均合成处理、或者加权相加合成处理，而生成合成图像。这里合成处理不限于选择任意1个来进行，也可以进行多个合成处理而生成多个种类的合成图像。

比较亮合成部33进行如下这样的比较亮合成处理。比较亮合成部33对于存储在内部存储器9中的多帧图像数据，对分别对应的像素位置的像素数据之间进行比较。

这里“对应的像素位置”在多帧图像数据中不存在位置偏差的情况下成为相同的像素位置(地址)，在存在位置偏差的情况下在进行了位置偏差校正之后可以成为存在对应关系的像素位置。特别是在移摄摄影的情况下，位置偏差校正成为对关于主要被摄体的位置偏差进行校正(关于背景，即使位置发生偏差也可以)这样的处理。

并且，比较亮合成部33使用对像素数据进行比较后的结果中的任意的大的一方、即明亮的一方的像素数据而构成比较亮合成图像数据。通过对于所有的多帧图像数据针对所有的像素位置进行这样的处理，而生成由最明亮的像素数据构成的比较亮图像。

能够通过这样的处理而能够以越明亮的被摄体越显眼的方式合成。这样，如果在例如主要被摄体比背景明亮的情况下进行该比较亮合成处理，则能够生成使主要被摄体更显眼的合成图像。

比较暗合成部34与比较亮合成部33大致同样地对对应的像素位置的像素数据之间进行比较，但使用比较的结果中的任意的小的一方、即暗的一方的像素数据来构成比较暗合成图像数据。

能够通过这样的处理而以越暗的被摄体越显眼的方式合成。这样，如果在例如主要被摄体比背景更暗的情况下进行该比较暗合成处理，则能够生成使主要被摄体更显眼的合成图像。

因此，在例如移摄摄影中，在主要被摄体(当在摩托车运动的移摄中对车辆、飞行的鸟进行摄影的情况下鸟等)比背景明亮的情况下使用比较亮合成部33，另一方面在主要被摄体比背景暗的情况下使用比较暗合成部34来进行合成，由此能够相对于背景明确地拍出主要被摄体，能够得到更令人印象深刻的移摄合成图像。

相加合成部35进行如下这样的合成处理。相加合成部35对于存储在内部存储器9中的多帧图像数据，对分别对应的像素位置的像素数据之间进行相加。并且，使用相加结果的像素数据而构成相加合成图像数据。

另外，在例如移摄中，通过对连拍得到的多帧图像进行相加合成而生成如下的图像：该图像的曝光与进行将多帧的各自的曝光时间合计的时间的曝光相同。当连拍的多帧图像数据所拍到的主要被摄体的位置在每个图像中都发生偏差的情况下，通过像上述那样一边对主要被摄体的位置进行对准一边进行相加合成，而能够得到主要被摄体更明显地呈现的合成图像。

平均合成部36进行如下这样的合成处理。平均合成部36对于存储在内部存储器9中的多帧图像数据，对分别对应的像素位置的像素数据之间进行平均。并且，使用平均结果的像素数据而构成平均合成图像数据。

另外，在例如移摄中，通过像上述的相加合成部35那样一边对主要被摄体的位置进行对准一边进行平均合成，而能够得到主要被摄体更明显地呈现的合成图像。

此外，在白天的屋外等明亮的场所，如果利用适合移摄的慢快门进行摄影，则有时即使降低例如ISO感光度而收缩光圈，也会以比适合的亮度更亮的方式呈现。除此之外，如果收缩光圈则景深变宽，摄影者希望相对于所对焦的主要被摄体使背景更模糊(使景深变窄)来进行摄影，而设想通过光圈优先摄影模式(或者光圈机构能够手动变更的镜头)打开光圈进行摄影的情况。在该情况下，容易以比适合的亮度进一步更亮来拍摄(因此，要想在这样的情况下得到适合的亮度的图像，需要使用例如ND滤波器等而抑制入射光量)。与此相对，如果将各1帧的快门速度设定为曝光适合的快门速度来进行连拍，对由连拍得到的图像数据进行平均合成处理，则能够得到曝光适合且适度的移动情况的移摄合成图像。

加权相加合成部37与上述的相加合成部35大致同样地对对应的像素位置的像素数据之间进行相加，但在该相加时按照帧进行轻重的加权。通过对该加权进行调整而能够进行对多帧图像内的期望的图像进行强调的相加合成。

由此，在进行例如移摄时，当在电子读出连拍而取得的多帧中的一部分的帧中包含主要被摄体抖动地呈现的帧的情况下，越是抖动小的帧越增大权重系数来进行合成，由此能够减小合成图像中的主要被摄体的抖动，而得到主要被摄体明显地呈现的合成图像。

并且，例如如果加重多帧图像内的第1帧的图像的权重而进行相加合成，则能够得到移动被摄体的最初的位置明显地在图像中显示的、利用距最初的位置的移动情况来掌握之后的移动向哪个方向怎样进行的图像。相反，如果加重多帧图像内的最后的帧的图像的权重而进行相加合成，则能够得到移动被摄体的最后的位置在图像中明显地显示的、能够利用向最后的位置的移动情况(从最后的位置起拉尾这样的移动情况)掌握直到最后的位置为止的移动是从哪个方向怎样进行的图像。

显像处理部32针对作为由图像合成部31生成的RAW图像数据的合成图像数据进行去马赛克处理、白平衡调整处理、噪声降低处理、YC信号生成处理、伽马校正处理、调整尺寸处理、图像压缩处理等各处理作为显像处理。这里，调整尺寸处理是将从图像传感器23读出的图像数据的像素数转换成其他的像素数的处理，例如是用于与显示部7的显示像素数匹配的处理。

自动曝光控制部5进行摄像装置1的AE(自动曝光：Auto Exposure)控制，根据从图像传感器23读出的图像数据，自动地检测包含适当曝光时间在内的曝光条件、即能够利用设为目标的曝光进行摄影这样的ISO感光度、光圈值、快门速度(曝光时间)等。这里，ISO感光度是用于控制图像数据的信号放大量的控制参数，光圈值是用于控制镜头21的光圈的开口的大小的控制参数。并且，快门速度被检测为作为适合曝光的曝光时间(适当曝光时间)，在通常的1帧的图像摄影中被用作用于控制机械快门22的前帘和后帘的各自行进开始的时间间隔的控制参数，但也可以在使用电子快门的情况下用作用于控制图像传感器23的读出的时间间隔的控制参数。

抖动检测部6具有例如陀螺传感器等检测角速度的设备，检测摄像装置1的抖动量。该抖动检测部6兼用作检测加速度的加速度检测部。在移摄摄影中，抖动检测部6检测摄影者与被摄体的运动对应而使摄像装置1移动时的移动量。

显示部7构成为具有TFT(Thin Film Transistor)液晶或有机EL(ElectroLuminescence)等背面显示部或者EVF(电子取景器：Electronic view finder)等，显示由显像处理部32显像出的图像。

输入IF8是用于接受摄影者的操作而进行针对摄像装置1的各种设定或指示的操作部，例如具有用于打开/关闭摄像装置1的电源的电源按钮、或者用于操作摄影开始和结束的释放按钮等操作部件，还具有用于进行显示部7的背面显示部等的触摸操作输入的触摸面板等。该输入IF8成为用于对包含后述的曝光时间T1在内的摄影条件进行设定输入的用户接口部。

内部存储器9是对从图像传感器23读出的图像数据或者图像处理部3进行图像处理的中途的图像数据进行存储并且还对摄像装置1的动作所需要的各种处理程序或设定值等进行存储的存储部。该内部存储器9例如由闪存、SDRAM等非易失性存储器或者易失性存储器(或者通过将它们组合)构成。

外部存储器11是相对于照相机主体装填自如的存储器卡等或者固定于照相机主体的内部的非易失性的存储介质。该外部存储器11记录由显像处理部32显像处理后的图像数据，在再现时，读出所记录的图像数据。从该外部存储器11读出的图像数据能够向摄像装置1的外部输出。

系统控制部10具有CPU(Central Processing Unit：中央处理单元)等，是根据存储于内部存储器9的处理程序控制摄像装置1内的各部分的控制部。

例如，系统控制部10是如下的控制部：根据自动曝光控制部5的检测结果，以使机械快门22从打开到关闭的总曝光时间为T1的方式控制机械快门22，并且以满足T1＞T2的1帧曝光时间T2使多帧图像数据连续地读出的方式对图像传感器23进行电子快门控制。

接着，图2是示出摄像装置1的移摄摄影处理的动作的流程图。该图2所示的处理像上述那样是通过由系统控制部10根据存储在内部存储器9中的处理程序对摄像装置1内的各部分进行控制执行的。

在执行未图示的主处理中，如果摄影者经由输入IF8选择移摄摄影模式，则开始该图2所示的处理。

于是，首先将机械快门22设为打开状态，从图像传感器23以规定的帧速读出图像数据，在显示部7上进行实时取景显示(步骤S1)。观察该实时取景显示(或者，光学取景器显示的被摄体像等)，摄影者进行镜头21的焦点调整以便能够对希望摄影的被摄体进行摄影，并且通过调节摄像装置1的朝向和镜头21的焦点距离(变焦)而确定构图。并且，摄影者通过根据需要对输入IF8的操作按钮或触摸面板等进行操作而进行摄影的其他设定。

接着，根据利用实时取景取得的图像数据，系统控制部10将最适合移摄的曝光时间(移摄曝光时间)设定为总曝光时间T1(步骤S2)。在移摄中，以追随移动的主要被摄体的方式摄影者使摄像装置1的朝向移动。此时，为了根据镜头21的焦点距离而使成像在图像传感器23上的主要被摄体的像面速度发生变化，系统控制部10根据镜头21的焦点距离自动地计算能够有效地对背景的移动进行摄影的移摄曝光时间，将计算出的移摄曝光时间设定为总曝光时间T1。

并且，系统控制部10也可以根据兼作为加速度检测部的抖动检测部6的检测结果，对摄影者与主要被摄体的移动对应地使摄像装置1的朝向移动的速度进行计算，根据计算出的移动速度自动设定作为移摄曝光时间的总曝光时间T1。

除此之外，也可以根据镜头21的焦点距离和抖动检测部6的检测结果这双方计算移摄曝光时间而自动设定为总曝光时间T1。即，系统控制部10也可以根据镜头21的焦点距离和抖动检测部6的检测结果中的至少一方计算适合移摄摄影的曝光时间，设定为总曝光时间T1。

或者，也可以使摄影者能够修正由摄像装置1自动设定的总曝光时间T1，也可以不使用摄像装置1的自动设定，由摄影者手动地将总曝光时间T1设定为期望值。

然后，系统控制部10在检测出半按下释放按钮而打开第一释放开关之后，作为第一释放打开时的处理，例如进行AF(自动焦点：Autofocus)控制处理和AE控制处理(步骤S3)。

这里，AF控制处理是从在实时取景中从图像传感器23反复读出的图像数据中提取对比度信号，以使所提取出的对比度信号取最大值的方式，对镜头21中的对焦镜头进行驱动控制而对准焦点的处理。

并且，AE控制处理是从在实时取景中从图像传感器23反复读出的图像数据中提取亮度相当信号，自动地检测使由提取出的亮度相当信号求出的图像的亮度成为适当的(图像成为适当曝光的)光圈值、ISO感光度、快门速度(曝光时间)而进行控制的处理。

但是，也可以根据摄像装置1的设定，使AF与AE的功能的至少一方(单方或者双方)为关闭，摄影者经由输入IF8等手动地设定对焦镜头的位置(焦点调节)、光圈值、ISO感光度、快门速度等。

在该AE控制处理中，以尽量成为T2＝T1的方式调节ISO感光度和光圈值。这是因为如果T1＝T2，则能够通过仅使用机械快门22的1帧摄影而以适当曝光进行有效的移摄摄影。但是，即使像上述那样在屋外等明亮的环境中将ISO感光度设定得低，并且收缩光圈，如果为T2＝T1，则有时也会成为曝光过度。在一般的数码照相机中，由于能够设定的最低的ISO感光度为ISO100，能够设定的最小光圈值为F22左右，因此如果以移摄的快门速度(通常情况下为左右)进行摄影，则有时因被摄体的亮度而成为曝光过度。在该情况下，不得不设为T2≠T1。

因此，当系统控制部10确定了作为移摄曝光时间的总曝光时间T1以及成为适合曝光的1帧曝光时间T2后，进一步判定1帧曝光时间T2是否比总曝光时间T1小(步骤S4)。

这里，在判定为T2＜T1的情况下，利用作为适当曝光的1帧曝光时间T2，在机械快门22打开的期间进行电子读出连拍。因此，系统控制部10根据来自输入IF8的输入来判定第二释放开关是否打开(步骤S5)。当摄影者进行了构图或焦点对准时，为了开始摄影而对释放按钮进行全按下，第二释放开关与该释放按钮的全按下连动地成为打开。

这里，在判定为第二释放开关关闭的情况下，返回步骤S1，反复地进行上述这样的处理。

这样，在步骤S5中，在判定为第二释放开关打开的情况下，在暂时关闭在实时取景时打开的机械快门22之后，再次打开，由此开始曝光(步骤S6)。

图3是示出移摄摄影模式的曝光的情形的时序图。在该图3中，上侧是图像传感器23的上侧SU(由于通过镜头21将光学像反转地成像，因此是图像的下侧PD)，下侧是图像传感器23的下侧SD(由于相同的理由，为图像的上侧PU)。并且，图3的右侧为时刻t的行进方向。

在该图3所示的例子中，系统控制部10在为了能够曝光第1帧的图像而对图像传感器23的各行依次复位RST1之后，使机械快门22的前帘FS开始行进，与例如前帘FS的行进开始同时地开始进行第1帧的图像P1的每行的依次的读出RD1(步骤S7)。

此时，系统控制部10对用于测量1帧曝光时间T2的定时器以及用于测量总曝光时间T1的定时器进行复位，开始进行计时动作。

将这里读出的第1帧的图像P1保存在内部存储器9中(步骤S8)。

也存在第1帧的图像P1的读出RD1即第2帧的图像P2的曝光开始。

在该第2帧(或者其之后)的曝光开始时，如果为了保持使机械快门22打开的状态，而使用某图像的读出为下一图像的曝光开始的电子快门，则在曝光不中断的情况下进行连拍。这样，能够在不产生帧间的曝光缺失的情况下进行连拍，能够防止最终的合成图像的移动被摄体的轨迹中断。

在使第2帧的图像P2曝光开始之后，系统控制部10根据定时器的测量结果判定是否经过了1帧曝光时间T2(步骤S9)。这里在未经过1帧曝光时间T2的情况下，继续进行曝光，并且等待直到经过1帧曝光时间T2。

在步骤S9中，在判定为经过了1帧曝光时间T2的情况下，对用于测量1帧曝光时间T2的定时器进行复位而新开始进行1帧曝光时间T2的测量，并且从图像传感器23读出图像数据(步骤S10)，将读出的图像数据保存在内部存储器9中(步骤S11)。

并且，系统控制部10根据定时器的测量结果判定总曝光时间T1是否经过(步骤S12)。

在该步骤S12中，在判定为未经过总曝光时间T1的情况下，返回步骤S9而像上述那样进行利用电子快门的下一图像的曝光。

这样每次经过1帧曝光时间T2，进行来自图像传感器23的电子读出RD2、RD3等而取得图像P2、P3等，并且对定时器进行复位而对新的1帧曝光时间T2进行计时，并且进行新的曝光。

这样，在步骤S12中，在判定为经过了总曝光时间T1的情况下，为了结束摄影而使机械快门22的后帘RS行进从而关闭(步骤S13)。

这样，总曝光时间T1是机械快门22从打开到关闭的时间，是在任意的像素中光到达的期间。该总曝光时间T1成为在移摄摄影模式中连续地从图像传感器23电子读出的多帧图像的全体的有效曝光时间(光到达的全体时间)。与此相对，1帧曝光时间T2是从图像传感器23读出1帧的图像的时间间隔(图像读出周期)。

例如如图3所示，在进行了第3帧的读出RD3之后、进行第4帧的读出RD4之前使后帘RS行进而关闭的情况下，将通过作为电子读出连拍的最后1帧的第4帧的读出RD4而取得的图像P4保存在内部存储器9(步骤S14)。

接着，根据保存在内部存储器9中的多帧图像数据，通过图像合成部31的例如平均合成部36进行平均合成处理，而生成合成图像(步骤S15)。

具体而言，如果设第n(n为正的整数)帧的图像的像素位置(x，y)的像素数据为Pn(x，y)，设连拍而得到的所有图像的帧数为N(N为正整数)，设合成图像的像素位置(x，y)的像素数据为Pcomp(x，y)，则该平均合成处理是通过下面的数式1计算Pcomp(x，y)的处理。

[数式1]

这样，在按照对应的每个像素位置进行了所有N帧的像素数据Pn(x，y)的相加之后，通过乘以系数T2/T1，合成图像中的像素数据Pcomp(x，y)成为与由仅曝光了1帧曝光时间T2的像素得到的像素值相当的像素值。

这里假如考虑不利用作为适当曝光的1帧曝光时间T2进行分割曝光，而对利用总曝光时间T1曝光的1帧的像素数据乘以系数T2/T1的情况，则在T1＞T2的情况下得到的1帧的图像成为曝光过度。因此，根据光电二极管的饱和输出级别、图像传感器23内部的饱和级别值、后段的数字电路(图像处理部3等)的饱和级别值等，根据被摄体或摄影条件而产生因像素数据饱和而进行钳制的像素。这样的饱和钳制的像素数据失去适当的颜色信息或亮度信息，当乘以系数T2/T1(＜1)时成为饱和级别值以下的输出，会成为与实际的被摄体不同的不自然的输出。但是，在这样的像素中，如果利用1帧曝光时间T2进行摄影则应该也存在不饱和的像素。因此，通过利用成为适合曝光的1帧曝光时间T2进行分割曝光，而能够防止像素值的饱和，得到更自然的颜色的图像。

并且，在步骤S4中，在判定为不是T2＜T1的情况下，通过调整ISO感光度或光圈值而能够设定为T2＝T1。在该情况下，与上述的步骤S5同样，系统控制部10判定第二释放开关是否打开(步骤S16)，在第二释放开关打开之前返回步骤S1，而反复地进行上述这样的处理。

这样，在步骤S16中，在判定为第二释放开关打开的情况下，在暂时关闭在实时取景时打开的机械快门22之后，再次打开，由此开始曝光(步骤S17)。

并且，系统控制部10根据定时器的测量结果而等待总曝光时间T1(＝T2)经过(步骤S18)。

这样，当在步骤S18中判定为经过了总曝光时间T1的情况下，为了结束摄影而使机械快门22的后帘RS行进从而关闭(步骤S19)。

然后，将在步骤S15中生成的N帧的平均合成图像数据、或者在步骤S19的曝光结束后从图像传感器23读出的1帧的图像数据保存在内部存储器9中(步骤S20)。

这样，系统控制部10仅在步骤S4中判定为满足T1＞T2时，进行基于机械快门22的对总曝光时间T1进行时分割的电子快门控制。

接着，显像处理部32针对保存在内部存储器9中的图像数据进行上述这样的显像处理(步骤S21)。

在这样进行了显像处理之后，将处理后的图像数据保存在外部存储器11中(步骤S22)，并且将调整尺寸处理后的图像数据作为最终的记录图像显示在显示部7中(步骤S23)，而从该移摄摄影处理返回未图示的主处理。

接着，参照说明对利用本实施方式的移摄摄影处理连拍得到的多帧图像进行合成而得到的合成图像。

图4是示出包含移动的被摄体和静止的背景的摄影场景的一例的图，图5是示出作为移摄摄影的第1帧而得到的图像P1的例子的图，图6是示出作为移摄摄影的第2帧而得到的图像P2的例子的图，图7是示出作为移摄摄影的第3帧而得到的图像P3的例子的图，图8是示出作为移摄摄影的最后一帧的第4帧而得到的图像P4的例子的图，图9是示出对利用移摄摄影得到的所有帧的图像进行合成而得到的图像SP的例子的图。

例如，考虑图4所示的、以使摄像装置1朝向主要被摄体MO从右向左摇动的方式对相对于静止的背景BO从右侧向左侧行进的车辆等主要被摄体MO进行移摄摄影的情况。

假设摄影的移动像图3所示的例子那样在总曝光时间T1中利用作为适当曝光的1帧曝光时间T2对图像的4帧图像数据进行电子读出连拍(其中，对于第1帧和最后一帧，如果以包含利用虚线表示的阴影线部分的方式进行曝光(即，如果能够在不具有照射被摄体光像的像素数据的情况下读出)，则也可以不是1帧曝光时间T2)。

在第1帧的图像P1中，为了当机械快门22打开时马上进行读出RD1，因此图像传感器23的上侧SU(图像的下侧PD)的曝光时间短，图像传感器23的下侧SD(图像的上侧PU)的曝光时间长。因此，如图5所示，图像P1成为主要被摄体MO以外的背景BO为了移摄而越是图像的上侧越使摄像装置1与摇动的方向相反地从左向右移动的图像。

在图6所示的第2帧的图像P2和图7所示的第3帧的图像P3中，由于使各行的曝光时机从图像中的下侧朝向上侧依次偏移来进行，因此成为使背景BO越向图像的下侧越朝向左侧、越向上越向右侧偏移的失真的图像。

在图8所示的作为最后1帧的图像P4中，由于在曝光中机械快门22关闭而被遮光，因此与图像P1相反，图像传感器23的上侧SU(图像的下侧PD)的曝光时间长，图像传感器23的下侧SD(图像的上侧PU)的曝光时间短。因此，在图像P4中，背景BO的移动越是上侧越小，越是下侧越大。

如果像上述那样合成这4帧的图像，则得到如图9所示的利用总曝光时间T1进行摄影得到的适合曝光的合成图像SP。该图9所示的合成图像SP不会产生像由利用图11所示的机械快门22连拍得到的多帧图像合成的移摄摄影图像SP1那样的、由于图像间的曝光缺失导致的背景BO的移动的中断。此外，图9所示的合成图像也不会产生图12所示的由利用电子快门连拍得到的多帧图像合成的移摄摄影图像SP2那样的背景BO的不自然的变形。

但是，在按照从第1行朝向最后一行的顺序进行图像的读出时，关于图3所示的例子，在读出某帧的图像的最后一行之后，读出下一帧的图像的第1行。但是，在被摄体明亮、需要更加缩短作为适当曝光的1帧曝光时间T2的情况下，有时也在读出某帧的图像的最后一行之前，读出下一帧的图像的第1行(在存在多个读出通道的图像传感器23中，能够实现这样的多行的同时读出)。关于这样的更一般的例子，参照图10进行说明。

图10是用于说明从图像传感器23连续地读出用于生成合成图像数据的多帧图像数据的控制方法的时序图。在该图10中，也与图3同样，上侧为图像传感器23的上侧SU(图像的下侧PD)，下侧为图像传感器23的下侧SD(图像的上侧PU)，右侧为时刻t的行进方向。

并且，图10所示的各标记还包含已经说明的标记，如下所述。

T1：总曝光时间

T2：1帧曝光时间(T2＜T1)

Tm：机械快门(前帘和后帘)的行进时间

Te：所有行的读出时间(所谓的电子快门的行进时间)

tms：机械快门前帘行进开始时刻

tles：第1帧电子前帘行进开始时刻

tfes：最后一帧电子前帘行进开始时刻

此时，系统控制部10进行如下这样的控制，使得利用总曝光时间T1不泄漏地读出在任意的像素中曝光的电荷(关于在图3的虚线阴影线部分中曝光的电荷，与其他的曝光电荷同样地被不泄漏地读出)。

即，系统控制部10以满足下面的数式2

[数式2]

(tms－Te+Tm－T2)＜tles≤(tms－Te+Tm)

和数式3

[数式3]

(tms+T1－T2)≤tfes＜(tms+Tl)

的方式，控制机械快门22和图像传感器23。

这里，数式2是用于在从机械快门前帘行进开始时刻tms起回溯(Te－Tm+T2)的时刻(tms－Te+Tm－T2)之后，直到从机械快门前帘行进开始时刻tms起回溯(Te－Tm)的时刻(tms－Te+Tm)为止的期间，间隔第1帧电子前帘的行进开始时刻tles的条件式。

并且，数式3是对用于将最后一帧电子前帘行进开始时刻tfes在机械快门后帘行进开始时刻(tms+T1)之前、且(tfes+T2)与机械快门后帘行进开始时刻(tms+Tl)同时或者在其之后的帧作为最终帧的下面的条件式tfes＜(tms+Tl)且(tms+Tl)≤(tfes+T2)进行整理而得到的。

另外，在上述说明中，通过机械快门22的前帘的行进来进行各像素的总曝光时间T1的开始，但不限于此。例如，也可以通过使图像传感器23的像素复位动作(对蓄积在像素中的电荷进行复位的动作)(前帘电子快门)的行进特性与机械快门22的行进特性相匹配来进行，来使用通过前帘电子快门开始曝光、通过机械快门22的后帘结束曝光的前帘电子快门摄影功能。

这里，电子快门的行进速度比机械快门22的行进速度慢的原因之一是要对读出的像素值进行A/D转换需要时间。但是，由于在像素复位中不需要A/D转换，因此能够使行进特性与机械快门22的行进特性相匹配。

在该情况下，系统控制部10取代机械快门22的前帘，而使图像传感器23进行以与机械快门22的前帘的行进速度同等的速度结束信号电荷的复位而开始曝光的前帘电子快门的动作(由于复位结束时机成为曝光开始时机)。

通过在总曝光时间T1的开始时使用这样的前帘电子快门而实现与使用机械快门22的前帘的情况时大致相同的效果，并且由于不需要在曝光开始时进行驱动机械快门22的前帘的情况这样的机械性的动作，因此能够抑制摄像装置1所产生的振动或抖动，能够以更低的振动来拍摄抖动少的高画质的图像。此外，如果在总曝光时间T1的开始时使用前帘电子快门，则由于在摄影开始时不需要使机械快门22从临时关闭到打开的动作(图2的步骤S6的动作)，因此缩短了释放时滞(从第二释放开关打开到第1帧的曝光开始为止所需要的时间)，能够在更符合摄影者期望的时机开始摄影。

并且，在本实施方式中将1帧曝光时间T2设为能够得到适当曝光的曝光时间，但具有一般的手抖校正功能的数码照相机具有将快门速度自动地设定为能够无视手抖(假设还包含被摄体抖动等)的影响的时间(手抖的影响在图像中基本不会出现的时间)以下而进行摄影的功能。

具体而言，调整ISO感光度和光圈值以设定为某确定的快门速度(例如，1/250(sec)以下)，或者考虑手抖检测而得到的抖动的大小或镜头的焦点距离从而设定为能够无视手抖的影响的快门速度等。

因此，系统控制部10能够将能够无视手抖的影响的时间T3设定为例如规定的时间，或者根据镜头21的焦点距离与作为加速度检测部的抖动检测部6的检测结果中的至少一方来计算。

因此，系统控制部10也可以对这样计算的时间T3和作为适当曝光的1帧曝光时间T2进行比较，在T3＜T2的情况下，将能够无视手抖的影响的时间T3以下的时间重新设定为1帧曝光时间T2，在该状态下利用上述的处理而进行电子读出连拍。

通过进行这样的处理，为了使连拍得到的各帧中的主要被摄体不抖动，在按照使主要被摄体的位置一致的方式进行位置偏差校正之后进行图像合成，从而能够得到与摄影者的意图相符的主要被摄体不抖动的移摄图像。

根据这样的实施方式1，由于控制成利用1帧曝光时间T2连续地读出多帧图像数据，并且利用总曝光时间T1不泄漏地读出在任意的像素中曝光的电荷，因此能够利用机械快门22的前帘和后帘的行进来规定相对于摄像装置1移动的被摄体的曝光时间，得到减轻了曝光的不连续性或被摄体变形的更自然的合成图像。

这样，即使与精通摄像装置1的操作的摄影者利用机械快门22以1帧的摄影进行摄影的情况相比，也能够通过图像合成得到不存在不自然的点的移摄图像。

此时，由于系统控制部10以满足数式2和数式3的方式控制机械快门22和图像传感器23，因此能够可靠地不泄漏地读出通过机械快门前帘行进而曝光开始、通过机械快门后帘行进而曝光结束的任意的像素的电荷。

并且，经由作为用户接口部的输入IF8，摄影者能够将包含总曝光时间T1在内的摄影条件设定输入为期望值。

另一方面，系统控制部10在根据镜头21的焦点距离和兼作为加速度检测部的抖动检测部6的检测结果中的至少一方而设定总曝光时间T1作为适合移摄摄影的时间的情况下，即使是不具有针对适合移摄摄影的时间的知识的摄影者，也能够进行背景的移动量适当的移摄。

并且，系统控制部10由于仅在满足T1＞T2时进行电子快门控制，因此能够减轻不需要分割曝光的情况的处理。

并且，图像合成部31为了使用相加合成、平均合成、比较亮合成、比较暗合成、加权相加合成内的至少1个合成方法生成合成图像数据，而进行各种效果的图像合成，能够按照摄影者的喜好拍摄质感不同的图像。

此外，通过取代机械快门22的前帘而使用前帘电子快门，在利用近年来的数码照相机中采用的前帘电子快门的摄影中也能够生成不存在不自然的合成图像。

除此之外，系统控制部10能够通过将1帧曝光时间T2设定为能够无视手抖的影响的时间T3以下，从而抑制合成图像的手抖。

并且，在设定为移摄摄影模式时，通过将机械快门22为打开的总曝光时间T1设定为适合移摄的曝光时间，将电子读出连拍的1帧曝光时间T2设定为作为适当曝光的曝光时间，从而能够将移摄摄影的曝光控制自动化而使摄影变得简单。由此，即使在总曝光时间T1比适当曝光时间长的情况下，也能够在不使用ND滤波器等的情况下得到适当曝光的合成图像。

[实施方式2]

接着，关于本发明的实施方式2，一边适当参照上述的各图一边进行说明。在该实施方式2中，对与上述的实施方式1相同的部分标注相同的符号等而适当省略说明，仅对主要不同的点进行说明。

在由连拍得到的多帧图像生成合成图像时，在存在相对于摄像装置1移动的被摄体(可以是移动被摄体，即使是静止被摄体，在在摄像装置1移动的情况下也相当于相对地移动的被摄体)的情况下，如果使用机械快门连拍则产生曝光的不连续性，如果仅使用电子读出连拍则产生被摄体变形，这不仅在上述的实施方式1的移摄摄影模式的情况下是这样，在其他的摄影模式中也同样。

因此，本实施方式成为关于手持夜景模式的实施方式。

以往，在手持夜景模式中，以图像不产生手抖的方式设定高速快门，并且以相对于低亮度的夜景也能够实现高速快门的方式将ISO感光度设定为高感光度。但是，将ISO感光度设定为高感光度由于增大电气增益并进行放大，因此噪声也被放大，所生成的图像的噪声量变多。因此，通过取得多帧图像，对所取得的多帧图像进行平均合成，而将随机噪声平滑化从而降低噪声量。

但是，在这样的情况下，在仅使用机械快门的连拍、或者仅使用电子快门的连拍中，如上所述，当存在相对于摄像装置1移动的被摄体时，在合成图像中产生不自然。

因此，在本实施方式中，在手持夜景模式中，与上述的实施方式1同样，在机械快门22打开的期间进行多帧的电子读出连拍，并且通过机械快门22的前帘行进来进行第1帧的曝光开始，通过机械快门22的后帘行进来进行最后一帧的曝光结束。

在具体的摄影顺序中，摄影者事先设定为手持夜景模式(或者也可以命名为平均合成低噪声模式等)，从而进行本实施方式的处理。

并且，当进入到手持夜景模式的处理时，系统控制部10确定低噪声化所需要的帧数L(由于当帧数L增加时随机噪声进一步降低)。但是，该帧数L也可以由摄影者手动地设定为期望值。

然后，与上述的实施方式1同样，将作为适当曝光的曝光时间、或者能够无视手抖的影响的时间T3设定为1帧曝光时间T2，在第二释放开关成为打开时，以T2周期进行L帧的电子读出连拍，在连拍结束时关闭机械快门22而结束摄影。

因此，作为机械快门22为打开的时间的总曝光时间T1只要在为了进行噪声降低所需要的帧数L的连拍所需要的时间(L×T2)以上即可。

然后，图像合成部31对于所取得的所有L帧的图像，在进行多帧图像数据的位置偏差校正之后(在按照使主要被摄体重叠的方式进行对位之后)，通过平均合成部36进行平均合成处理，而生成至少1帧的合成图像数据。

根据这样的实施方式2，与上述的实施方式1大致同样地能够得到曝光的不连续性或被摄体变形减轻的更自然的合成图像，并且此外即使利用手持对夜景进行摄影，也成为手抖的影响小且低噪声的图像。

[实施方式3]

关于本发明的实施方式3，一边适当参照上述的各图一边进行说明。在该实施方式3中，对于与上述的实施方式1、2相同的部分标注同一符号等而适当省略说明，仅对主要不同的点进行说明。

本实施方式是关于包围曝光摄影模式以及HDR(高动态范围)合成模式的实施方式。

首先，包围曝光摄影模式例如是连续地拍摄适当曝光图像、曝光不足图像以及曝光过度图像的模式。由此，通过连续地拍摄曝光不同的多个图像，从而摄影者能够在摄影后将喜好的曝光的图像选择为期望图像。

并且，HDR合成模式是指通过包围曝光摄影取得曝光不同的多帧图像数据，对所取得的曝光不同的2帧以上的图像数据进行合成，而得到与1帧的图像数据相比动态范围更宽的高动态范围图像的模式。在具体的HDR合成处理中，例如，针对曝光不足图像、适当曝光图像、曝光过度的各图像数据，对于对应的像素位置的像素数据附加权重而进行合成。此时，对于被摄体的暗的部分增大曝光过度图像的像素数据的权重，对于明亮的部分增大曝光不足图像的像素数据的权重来进行合成，由此能够得到被摄体暗部不会死黑并且被摄体明部也不会死白的动态范围宽的图像。

并且，在本实施方式中，输入IF8作为用于设定包围曝光摄影模式以及HDR合成模式的用户接口部发挥功能。

关于适合包围曝光摄影以及HDR合成的摄影，具体地进行说明。

这里，例如举例说明在将适当曝光图像的曝光校正量设为0EV时，例如连续地拍摄曝光校正量为1段不足(－1EV)的曝光不足图像以及曝光校正量为1段过度(+1EV)的曝光过度图像的情况。

首先，与上述的实施方式1同样，在第一释放开关成为打开之后的自动曝光控制中，根据利用实时取景取得的图像而检测作为适当曝光的曝光时间T。

接着，根据包围摄影的设定，以如下的方式求出电子读出的1帧曝光时间T2以及作为机械快门22为打开的时间的总曝光时间T1。

具体而言，将用于对－1EV的曝光不足图像进行摄影的曝光时间设定为1帧曝光时间T2(但是，并不妨碍1帧曝光时间T2比曝光不足图像的曝光时间短，例如1帧曝光时间T2也可以是将曝光不足图像的曝光时间进一步分割成若干个而得到的时间)。如果将适当曝光时间设为T，则1帧曝光时间T2具体而言被设定为T2＝T/2。

并且，将用于对+1EV的曝光过度图像进行摄影的曝光时间设定为总曝光时间T1(但是，并不妨碍总曝光时间T1比曝光过度图像的曝光时间长)。由此，具体而言，设定为T1＝2×T(＝4×T2)。

因此，系统控制部10只要在设定了包围曝光摄影时，按照将总曝光时间T1设定为包围曝光摄影中的最长曝光时间以上，并且使1帧曝光时间T2成为包围曝光摄影的最短曝光时间以下的方式来进行设定即可。

之后的摄影与上述的实施方式1同样，在使机械快门22仅打开总曝光时间T1的期间，利用T2周期进行电子读出连拍，读出多帧图像而保存在内部存储器9中。

接着，通过图像合成部31对保存在内部存储器9中的多帧图像数据进行合成而生成包围曝光图像。

这里，设第n(n为正整数)帧的图像中的、像素位置(x，y)的像素数据为Pn(x，y)，设连拍得到的所有图像的帧数为N(N为正整数)，设1段曝光不足的合成图像数据的像素位置(x，y)的像素数据为Pcomp(x，y：－1EV)，设适当曝光的合成图像数据的像素位置(x，y)的像素数据为Pcomp(x，y：0EV)，设1段曝光过度的合成图像数据的像素位置(x，y)的像素数据为Pcomp(x，y：+1EV)。

此时，图像合成部31如下面的数式4所示，在通过相加合成部35对所有N帧的像素数据Pn(x，y)进行相加之后，乘以曝光时间之比(T2/T1)，而计算像素数据Pcomp(x，y：－1EV)。

[数式4]

同样，图像合成部31如下面的数式5所示，在通过相加合成部35对所有N帧的像素数据Pn(x，y)进行相加之后，乘以曝光时间之比(T/T1)，由此计算像素数据Pcomp(x，y：0EV)。

[数式5]

此外，图像合成部31如下面的数式6所示，通过相加合成部35对所有N帧的像素数据Pn(x，y)进行相加，由此计算像素数据Pcomp(x，y：+1EV)。

[数式6]

因此，图像合成部31对所有的多帧进行合成而生成曝光不同的2帧以上的合成图像数据。

以往的数码照相机为了通过使用机械快门22分别进行曝光时间T1、T、T2的这3次摄影而进行包围摄影，从而即使是全体的曝光时间也需要T1+T+T2的时间。而且，实际上，还要加上每次摄影对机械快门22进行上势(charge)的时间等。

与此相对，根据本实施方式，由于能够通过使机械快门22利用曝光时间T1开闭1次而生成包围曝光摄影所需要的多帧图像数据，因此能够缩短累积的摄影时间。

如果摄影时间长，则在摄影中被摄体移动，曝光发生变化或者被摄体的拍入方法(例如构图)也发生变化等，但根据本实施方式的结构，由于能够实现短时间的摄影，因此能够降低这样的变化的产生，而取得更优选的包围曝光摄影图像。

并且，通过将这样作为合成图像而取得的2帧以上的包围曝光图像在图像处理部3中进行HDR合成处理，而能够生成动态范围比通常的1张图像(此外，也比合成前的1帧的合成图像数据)宽的高动态范围合成图像数据。此时，在摄影时间长的以往的摄影方法中，如果在摄影中被摄体移动则合成图像成为二重像(或者三重像等)的不自然的图像，但由于本实施方式的摄影方法的摄影时间短，因此能够降低成为这样的不自然的图像的情况。

根据这样的实施方式3，能够得到与上述的实施方式1大致同样地减轻了曝光的不连续性或被摄体变形的更自然的合成图像，并且能够在短时间进行包围曝光摄影，能够取得构图的变化少的优选的包围曝光摄影图像。

此外，也可以得到不会成为不自然的多重图像的自然的高动态范围合成图像。

[实施方式4]

关于本发明的实施方式4，一边适当参照上述的各图一边进行说明。在该实施方式4中，对于与上述的实施方式相同的部分标注相同的符号等而适当省略说明，仅对主要不同的点进行说明。

本实施方式是利用图像合成处理而实现数码ND滤波器功能的实施方式。

在将摄像装置1的曝光模式设定为快门速度优先模式(S模式)或者手动设定模式(M模式)的情况下，摄影者事先指定快门速度(将该快门速度设为T0)。

此时当被摄体明亮时，即使降低例如ISO感光度并且缩小光圈，也会存在曝光过度的情况。在该情况下在以往的数码照相机中，由于无法进行适当曝光的摄影，因此摄影者将光学的ND滤波器装配于摄像装置1来减少入射光量，以能够得到适度曝光的方式进行处置。

与此相对，在本实施方式中，由于通过数字信号处理实现与ND滤波器同等的功能，因此称为数字ND滤波器模式。

具体而言进行如下这样的处理。

在设定数字ND滤波器模式且设定快门速度T0之后，当第一释放开关打开时，自动曝光控制部5自动地检测包含作为适当曝光的曝光时间T在内的曝光条件。

接着，判定是否是T＜T0，而在判定为不是T＜T0的情况下，不需要电子读出连拍，进行仅使用机械快门22的1帧的摄影。

这里，在T＝T0的情况下，在该状态下成为适当曝光，但在T＞T0的情况下，可以在该状态下通过机械快门22拍摄曝光不足的图像，例如如果是装配了闪关灯的摄像装置1，则也可以使闪关灯发光而补充曝光不足。

另一方面，在判定为T＜T0的情况下，如果以快门速度T0进行摄影则成为曝光过度，因此将能够得到适当曝光的曝光时间T设定为电子读出的1帧曝光时间T2，将摄影者所设定的快门速度T0设定为机械快门22打开的总曝光时间T1。

但是，并不妨碍将1帧曝光时间T2设定得比能够得到适当曝光的曝光时间T短(例如，也可以设定为T2＝T/2)。因此，系统控制部10在总曝光时间T1比适当曝光时间T大的情况下，将1帧曝光时间T2设定为适当曝光时间T以下的时间，来控制机械快门22和图像传感器23。

之后的摄影顺序与上述的实施方式1同样，只要在机械快门22为打开的期间进行电子读出连拍，根据上述的数式1来合成摄影得到的多帧图像数据即可。

根据这样的实施方式4，与上述的实施方式1大致同样能够得到减轻了曝光的不连续性或被摄体变形的更自然的合成图像，并且即使在被摄体明亮的情况下，也能够在不使用ND滤波器的情况下进行利用摄影者所设定的快门速度T0的适当曝光的摄影。

因此，摄影者能够在不用注意图像的曝光的情况下，简单地进行期望的慢快门摄影。

另外，在本发明的一实施方式中，作为用于摄影的设备举例说明数码照相机，但作为摄像装置1可以是数码单反照相机，也可以是袖珍数码相机，也可以是摄像机、录像机这样的动态用的摄像装置1，还可以是内设于移动电话、智能手机或移动信息终端(PDA：Personal Digital Assist)、游戏设备等的摄像装置1。即使这样，只要是能够进行机械快门22的摄影、以及电子快门读出摄影的用于摄影的设备，就可以广泛地应用本发明。

并且，在上述的实施方式中，对将本发明应用于用于摄影的设备的例子进行了说明。但是，不限于此，当然也可以在摄像装置中在从摄影开始到结束的期间取得多帧图像数据，对于所取得的多帧图像数据，在稍后的图像处理装置等中实施实施方式所示的图像处理。

此外，关于权利要求的范围、说明书以及附图中的流程，即使为了方便使用表达“首先”、“接着”、“然后”等顺序的表达的语言进行说明，在未特别说明的部位，并不意味着必须按照该顺序来实施。

并且，上述主要对摄像装置进行了说明，但可以是进行与摄像装置相同的处理的摄像方法，也可以是用于使计算器进行与摄像装置相同的处理的处理程序、能够通过记录该处理程序的计算器读取的并不是临时的记录介质等。

例如，在本说明书中说明的技术内，多数情况下关于主要由流程图说明的控制能够通过处理程序执行，也存在将该处理程序收纳在记录介质或记录部中的情况。该记录介质、在记录部中的处理程序的记录可以在产品出厂时进行，也可以利用分发的记录介质，经由网络等通信回线进行下载。

并且，本发明不限于上述的实施方式，能够在实施阶段在不脱离该主旨的范围中使结构要素变形而具体化。并且，能够通过上述实施方式公开的多个结构要素的适当的组合形成各种发明的方式。例如，也可以从实施方式所示的全结构要素删除几个结构要素。此外，也可以将不同的实施方式的结构要素适当组合。这样，当然在不脱离发明的主旨的范围内可以进行各种变形或应用。

Claims (12)

1.一种摄像装置，其取得多帧图像数据并进行合成，其特征在于，具有：

摄像元件，其利用排列成二维状的多个像素对被摄体光像进行受光而生成图像数据，利用读出时间Te进行读出；

机械快门，其配置在上述摄像元件的前面，通过满足Te＞Tm的行进时间Tm的开闭动作来控制上述摄像元件的曝光时间；

控制部，其将该机械快门控制成使得上述机械快门从打开到关闭的总曝光时间为T1，并且按照利用满足T1＞T2的1帧曝光时间T2连续性地读出多帧图像数据的方式对上述摄像元件进行电子快门控制；以及

图像合成部，其将上述多帧图像数据合成而生成至少1帧的合成图像数据，

上述控制部控制成利用上述总曝光时间T1不泄漏地读出在任意的像素中曝光的电荷。

2.根据权利要求1所述的摄像装置，其特征在于，

当设上述机械快门的前帘开始行进的时刻为tms、设拍摄上述多帧内的第1帧时的电子快门的前帘开始行进的时刻为tles，设拍摄最后一帧时的电子快门的前帘开始行进的时刻为tfes时，上述控制部以满足(tms－Te+Tm－T2)＜tles≤(tms－Te+Tm)和(tms+Tl－T2)≤tfes＜(tms+Tl)的方式，对上述机械快门和上述摄像元件进行控制。

3.根据权利要求2所述的摄像装置，其特征在于，该摄像装置还具有：

自动曝光控制部，其自动检测包含适当曝光时间在内的曝光条件；以及

用户接口部，其用于设定输入包含上述总曝光时间T1在内的摄影条件，

上述控制部将上述适当曝光时间设定为上述1帧曝光时间T2，仅在满足上述T1＞T2时进行上述电子快门控制。

4.根据权利要求2所述的摄像装置，其特征在于，该摄像装置还具有：

自动曝光控制部，其自动检测包含适当曝光时间在内的曝光条件；

镜头，其将被摄体光像成像于上述摄像元件；以及

加速度检测部，其检测加速度，

上述控制部将上述适当曝光时间设定为上述1帧曝光时间T2，并且根据上述镜头的焦点距离和上述加速度检测部的检测结果中的至少一方，设定上述总曝光时间T1作为适合移摄摄影的时间，仅在满足上述T1＞T2时进行上述电子快门控制。

5.根据权利要求2所述的摄像装置，其特征在于，

该摄像装置还具有自动曝光控制部，该自动曝光控制部自动检测包含适当曝光时间在内的曝光条件，

上述控制部将上述适当曝光时间和能够无视手抖的影响的时间中的任意方设定为上述1帧曝光时间T2，并且确定低噪声化所需要的帧数L，将上述总曝光时间T1设定为L×T2以上，来控制上述机械快门，并且对上述摄像元件进行电子快门控制。

6.根据权利要求2所述的摄像装置，其特征在于，

该摄像装置还具有用户接口部，该用户接口部用于设定包围曝光摄影，

在设定了上述包围曝光摄影时，上述控制部将上述总曝光时间Tl设定为该包围曝光摄影的最长曝光时间以上，并且将上述1帧曝光时间T2设定为该包围曝光摄影中的最短曝光时间以下，

上述图像合成部对上述多帧的全部进行合成而生成曝光不同的2帧以上的合成图像数据。

7.根据权利要求6所述的摄像装置，其特征在于，

上述图像合成部还对上述2帧以上的合成图像数据进行合成，而生成与合成前的1帧的合成图像数据相比动态范围更宽的高动态范围合成图像数据。

8.根据权利要求2所述的摄像装置，其特征在于，该摄像装置还具有：

自动曝光控制部，其自动检测包含适当曝光时间在内的曝光条件；以及

用户接口部，其用于设定输入包含上述总曝光时间T1在内的摄影条件，

上述控制部在上述总曝光时间T1比上述适当曝光时间大的情况下，将上述1帧曝光时间T2设定为该适当曝光时间以下的时间，来控制上述机械快门和上述摄像元件。

9.根据权利要求2所述的摄像装置，其特征在于，

上述图像合成部使用相加合成、平均合成、比较亮合成、比较暗合成、加权相加合成中的至少1个合成方法来生成合成图像数据。

10.根据权利要求2所述的摄像装置，其特征在于，

上述控制部取代上述机械快门的前帘而使上述摄像元件进行前帘电子快门的动作，该前帘电子快门的动作是以与该机械快门的前帘的行进速度同等的速度来结束信号电荷的复位而开始曝光的动作。

11.根据权利要求2所述的摄像装置，其特征在于，

上述控制部将上述1帧曝光时间T2设定为能够无视手抖的影响的时间以下。

12.一种摄像方法，取得多帧图像数据并进行合成，其特征在于，该摄像方法具有如下的步骤：

摄像步骤，利用摄像元件的排列成二维状的多个像素对被摄体光像进行受光而生成图像数据，利用读出时间Te进行读出；

曝光步骤，利用配置在上述摄像元件的前面的机械快门，通过满足Te＞Tm的行进时间Tm的开闭动作来控制上述摄像元件的曝光时间；

控制步骤，将上述机械快门控制成使得该机械快门从打开到关闭的总曝光时间为T1，并且按照利用满足Tl＞T2的1帧曝光时间T2来连续性地读出多帧图像数据的方式对上述摄像元件进行电子快门控制；以及

图像合成步骤，对上述多帧图像数据进行合成而生成至少1帧的合成图像数据，

上述控制步骤是控制成利用上述总曝光时间T1不泄漏地读出在任意的像素中曝光的电荷的步骤。