CN102833471B - 摄像装置和摄像方法 - Google Patents

Abstract

一种摄像装置以及摄像方法。在拍摄并记录动态图像和静态图像的摄像装置中，具有：摄像部（11），其对入射的光学像进行光电转换，并对其输出信号进行处理来取得图像数据；以及微型计算机（25），其对摄像部（11）中的曝光进行控制，并且控制光学像的摄影，在该摄像装置中，微型计算机（25）在动态图像摄影中进行静态图像的摄影的情况下，将与动态图像的1帧相当的时间（t4～t5）分割为多个进行曝光，利用摄像部（11）进行处理来取得多个图像数据，进行多个图像数据的被摄体像的位置对准并合成多个图像数据，记录为静态图像数据，并且不进行多个图像数据的被摄体像的位置对准而合成多个图像数据，记录为动态图像数据的1帧。

Description

摄像装置和摄像方法

技术领域

本发明涉及具有在动态图像摄影中进行静态图像摄影的功能的摄像装置。

背景技术

近年来，提出了具有在动态图像摄影中拍摄静态图像的功能的摄像装置。此外，还提出了减少动态图像摄影中的帧频内的抖动的摄像装置。例如，在日本公开特许2009-77272号公报（2009年4月9日公开（以下称作专利文献））中，公开了如下的摄像装置：在动态图像帧内，进行通常曝光、和以比该通常曝光短的曝光时间进行曝光两方并拍摄，根据帧频内的抖动量采用任意一个曝光并形成动态图像。

作为将触摸面板用于数字照相机的例子，例如有前述的专利文献。在该专利文献中，提出了如下的数字照相机：在没有握持照相机机身的握持部的再现状态下，在背面的带触摸面板的显示部的整个面上显示图像，在握持着握持部的摄影状态下，在画面的底部对键图标进行显示。

在动态图像摄影中拍摄静态图像的情况下，能够利用专利文献1所公开的技术，即以比通常曝光时间短的曝光时间进行拍摄，取得减少了帧频内的抖动的静态图像。但是，由于将静态图像用作动态图像的一部分，因此在仅该帧频的抖动变小时，作为动态图像的流畅性劣化。并且，缩短了曝光时间的帧频增感并设为适当曝光，但此时噪声增加。因此，还存在静态图像的画质劣化的不良情况。

发明内容

本发明是鉴于这种情况而完成的，其目的在于，提供能够提高记录动态图像的流畅性，并且减少静态图像的抖动的摄像装置。

本发明的拍摄并记录动态图像和静态图像的摄像装置具有以下部件：摄像元件，其对入射的光学像进行光电转换；摄像处理部，其对上述摄像元件的输出信号进行处理来取得图像数据；以及控制部，其对上述摄像元件的曝光进行控制，并且控制上述光学像的摄影，上述控制部在动态图像摄影中进行静态图像的摄影的情况下，将与动态图像的1帧相当的时间分割为多个进行曝光，利用上述摄像处理部进行处理来取得多个图像数据，进行上述多个图像数据的被摄体像的位置对准并合成多个图像数据，记录为静态图像数据，并且在不进行上述多个图像数据的被摄体像的位置对准的情况下合成多个图像数据，记录为动态图像数据的1帧。

本发明的拍摄并记录动态图像和静态图像的摄像装置具有以下部件：摄像元件，其对入射的光学像进行光电转换；摄像处理部，其对上述摄像元件的输出信号进行处理来取得图像数据；以及控制部，其对上述摄像元件的曝光进行控制，并且控制上述光学像的摄影，上述控制部在动态图像摄影中进行静态图像的摄影的情况下，关于动态图像的多个帧，将与动态图像的1帧相当的时间分割为较长时间和较短时间进行曝光，利用上述摄像处理部进行处理来取得多个图像数据，关于上述多个帧，对与上述较短时间的曝光对应的图像数据进行被摄体像的位置对准并进行合成，记录为静态图像数据，并且关于上述多个帧，将与上述较长时间的曝光对应的图像数据分别记录为上述动态图像的多个帧中的1帧。

本发明的摄像方法处理对入射的光学像进行光电转换的摄像元件的输出信号来取得图像数据，拍摄并记录动态图像和静态图像，该摄像方法具有以下步骤：在动态图像摄影中进行静态图像的摄影的情况下，将与动态图像的1帧相当的时间分割为多个进行曝光，进行摄像处理来取得多个图像数据，进行上述多个图像数据的被摄体像的位置对准并合成多个图像数据，记录为静态图像数据，并且在不进行上述多个图像数据的被摄体像的位置对准的情况下合成多个图像数据，记录为动态图像数据的1帧。

本发明的摄像方法具有对入射的光学像进行光电转换的摄像元件并对上述摄像元件的输出信号进行处理来取得图像数据，拍摄并记录动态图像和静态图像，该摄像方法具有以下步骤：在动态图像摄影中进行静态图像的摄影的情况下，关于动态图像的多个帧，将与动态图像的1帧相当的时间分割为较长时间和较短时间进行曝光，进行摄像处理来取得多个图像数据，关于上述多个帧，对与上述较短时间的曝光对应的图像数据进行被摄体像的位置对准并进行合成，记录为静态图像数据，并且关于上述多个帧，将与上述较长时间的曝光对应的图像数据分别记录为上述动态图像的多个帧中的1帧。

根据本发明，能够提供可提高记录动态图像的流畅性，并且减少静态图像的抖动的摄像装置。

附图说明

图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。

图2是示出本发明的一个实施方式的照相机的图像处理电路的详细情况的框图。

图3是示出本发明的一个实施方式的照相机的移动量检测电路的输入输出数据之间的关系的框图。

图4是示出本发明的一个实施方式的照相机的合成处理电路的输入输出数据之间的关系的框图。

图5是示出本发明的一个实施方式的照相机中的动态图像与静态图像的摄影时的基本记录方法的时序图。

图6是示出本发明的一个实施方式的照相机中的动态图像与静态图像的摄影时的第1变形的记录方法的时序图。

图7是示出本发明的一个实施方式的照相机中的动态图像与静态图像的摄影时的第2变形的记录方法的时序图。

图8是示出本发明的一个实施方式的照相机中的动态图像帧间移动量与合成类型、残余抖动量之间的关系的曲线图。

图9是本发明的一个实施方式的照相机中的残余抖动量为类型3时的时序图。

图10是本发明的一个实施方式的照相机中的残余抖动量为类型4时的时序图。

图11是本发明的一个实施方式的照相机中的残余抖动量为类型5时的时序图。

图12是本发明的一个实施方式的照相机中的第2变形的记录方法的时序图。

图13是示出本发明的一个实施方式的照相机的摄影时的动作的流程图。

图14是示出本发明的一个实施方式的照相机的摄像合成处理（类型1：多记录）的动作的流程图。

图15是示出本发明的一个实施方式的照相机的摄像合成处理（类型3：多记录）的动作的流程图。

图16是示出本发明的一个实施方式的照相机的摄像合成处理（类型4：多记录）的动作的流程图。

图17是示出本发明的一个实施方式的照相机的摄像合成处理（类型5：多记录）的动作的流程图。

图18是示出本发明的一个实施方式的照相机的摄像合成处理（类型1/2/3：动态图像记录）的动作的流程图。

图19是示出本发明的一个实施方式的照相机的摄像合成处理（类型4：动态图像记录）的动作的流程图。

具体实施方式

以下，依照附图使用应用了本发明的照相机对优选实施方式进行说明。本发明的一个优选实施方式的照相机是数字照相机，具有摄像部，通过该摄像部将被摄体像转换为图像数据，根据该转换后的图像数据，在配置于主体背面的显示部（背面液晶监视器或EVF）上对被摄体像进行实时取景显示。摄影者通过观察实时取景显示，决定构图和快门时机。在释放操作时，将静态图像的图像数据记录到记录介质中，并且在操作动态图像按钮时，将动态图像的图像数据记录到记录介质中。在动态图像的记录中进行释放操作时，将静态图像的图像数据也与动态图像的图像数据一起记录到记录介质中。在选择再现模式时，能够在显示部上对记录在记录介质中的图像数据进行再现显示。

图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。在总线23上，可输入输出地连接有摄像部11、A/D（Analog-to-digital converter：模数转换器）13、移动量检测电路15、合成处理电路17、图像处理电路19、操作部21、微型计算机25、RAM（Random Access Memory：随机存取存储器）27、背面液晶监视器29、EVF（Electronic View Finder：电子取景器）31和I/F（Interface：接口）33。

总线23是用于将在照相机主体内部读出或生成的各种数据和控制信号传送到照相机主体内部的各电路的传送路径。

摄像部11包含摄影镜头、光圈/快门等曝光控制元件、摄像元件和摄像控制电路等，将通过摄影镜头形成的被摄体像转换为图像信号，并将图像信号输出到A/D 13。摄像元件是用于对经由摄影镜头入射的光学像进行光电转换的元件，且将构成各像素的光电二极管二维配置成矩阵状，各光电二极管产生与受光量对应的光电转换电流，该光电转换电流通过与各光电二极管连接的电容器蓄积电荷。在各像素的前面，配置有拜尔排列的RGB滤色器。

摄像部11作为对摄像元件的输出信号进行处理来取得图像数据的摄像处理部发挥功能，并且根据来自微型计算机25的控制信号，将与动态图像的1帧相当的时间分割为多个进行曝光，生成多个图像数据。另外，摄像元件不限于拜尔排列，当然也可以是例如Foveon那样的形式。

A/D 13是将模拟信号转换为数字信号的模数转换器，将从摄像部11输入的图像信号转换为图像数据，并输出到总线23。输出到总线23的图像数据被暂时存储到后述的RAM 27中。另外，在本说明书中，有时包含在摄像部11中生成的图像信号也称作图像数据。此外，将从拜尔排列的摄像元件输出的图像信号直接转换为图像数据而得到的数据称作RAW数据，并且也称作拜尔数据。

如图3所示，移动量检测电路15经由总线23（在图3中省略总线23）输入拜尔数据1和拜尔数据2，并对两个拜尔数据进行比较，由此计算移动量，并将计算出的移动量数据输出到总线23。如上所述，每当将1帧的图像数据输出到总线23时，该数据被暂时存储到RAM 27中。移动量检测电路15通过读出暂时存储在RAM 27中的两帧之间的图像数据，并对它们进行比较来计算被摄体像的移动量。该移动量检测电路15作为检测抖动量的抖动量检测部发挥功能。另外，作为移动量检测电路15，除了图3所示的两帧之间的图像数据的比较以外，例如当然也可以设置陀螺仪或6轴传感器等检测照相机主体的运动的传感器，并检测移动量。

如图4所示，合成处理电路17经由总线23（在图4中省略总线23）输入拜尔数据1和拜尔数据2，根据两个拜尔数据生成合成图像，并将该合成图像的拜尔数据3输出到总线23。在合成图像的生成时，有单纯地重叠并合成拜尔数据1和拜尔数据2的图像的情况和位置对准合成，在位置对准合成中，经由总线23输入移动量数据，在将图像偏离与该移动量相当的量后对拜尔数据1和拜尔数据2的图像进行合成。

图像处理电路19从总线23输入拜尔数据，实施图像处理，并将实施了该图像处理的图像数据输出到总线23。作为图像处理，进行噪声减少处理（NR）、白平衡校正（WB）、同时化处理（去马赛克）、颜色转换、灰度转换（伽马转换）、边缘强调、YC转换。此外，还进行YC转换后的图像数据的压缩处理、和压缩后的图像数据的解压缩处理。之后将使用图5对图像处理电路的详细情况进行叙述。

操作部21包含设置于照相机的各种操作部件，检测各种操作部件的操作状态，并经由总线23将检测信号发送到微型计算机25。作为各种操作部件，有电源按钮、释放按钮、动态图像按钮、照相机模式选择用转盘、菜单按钮、十字按钮、确定按钮和再现按钮等。

当操作这些操作部件中的电源按钮时，照相机电源接通，再次操作时电源断开。在操作释放按钮时，进行静态图像的摄影。在操作动态图像按钮时开始动态图像摄影，再次操作时结束动态图像摄影。能够通过操作照相机模式选择用转盘选择各种照相机模式。能够通过操作菜单按钮，在背面液晶监视器29上显示菜单画面，并在该菜单画面上进行各种照相机设定。十字按钮能够在菜单画面等上移动光标，能够通过操作确定按钮，确定用光标选择的项目。

微型计算机25构成控制照相机整体的控制部，依照存储在闪速ROM（未图示）等存储器中的程序，基于来自操作部21的检测信号和来自其他电路的信号，进行各部件的控制。此外，微型计算机25还进行图像文件的生成。

此外，微型计算机25还作为控制部发挥功能，相对于摄像部11，将与动态图像的1帧相当的时间分割为多个进行曝光，取得多个图像数据。此外，作为控制部的功能，进行多分割并曝光得到的多个图像数据的被摄体像的位置对准来合成多个图像数据，记录为静态图像数据。此外，作为控制部的功能，不进行多分割并曝光得到的多个图像数据的被摄体像的位置对准来合成多个图像数据，记录为动态图像数据的1帧。之后将使用图5～图7对该分割曝光以及静态图像和动态图像的合成图像的生成进行叙述。

并且，作为控制部的功能，根据由作为抖动量检测部发挥功能的移动量检测电路15检测出的抖动量设定上述分割的数量。并且，作为控制部的功能，在抖动量大于预定量的情况下，进行被摄体像的位置对准来合成多个图像数据并记录为动态图像数据的1帧。关于此时的位置对准，根据由作为抖动量检测部发挥功能的移动量检测电路15检测出的被摄体像的移动量进行被摄体像的位置对准。此外，作为控制部的功能，在进行多个被摄体像的位置对准时，将多个图像数据中的其他图像数据的被摄体像的位置与多个图像数据中的最初取得的图像数据的被摄体像的位置对准。

并且，作为控制部的功能，在从多个图像数据合成动态图像数据时，在由移动量检测电路15检测出的抖动量大于第1预定量的情况下，在不进行被摄体像的位置对准的情况下对从多个图像数据中连续取得的多个图像数据进行合成来生成多个合成图像数据，进行该多个合成图像数据的被摄体像的位置对准并进行合成来记录为动态图像数据的1帧。该控制方法是后述的类型4，具体将使用图6、图10进行详细叙述。并且，作为控制部的功能，在执行类型4的情况下，根据在不进行位置对准的情况下合成的多个图像数据之间的被摄体像的移动量进行多个合成图像的被摄体像的位置对准。

此外，作为控制部的功能，在从多个图像数据合成动态图像数据时，在抖动量比大于第1预定量的第2预定量大的情况下，进行被摄体像的位置对准来合成多个图像数据并记录为动态图像数据的1帧。该控制方法是后述的类型5，具体将使用图8、图11、图17和图19进行详细叙述。

并且，作为控制部的功能，使作为摄像处理部发挥功能的摄像部11，关于动态图像的多个帧，将与动态图像的1帧相当的时间分割为较长的时间和较短的时间进行曝光，取得多个图像数据。此外，作为控制部的功能，关于多个帧，进行被摄体像的位置对准来合成与较短时间的曝光对应的图像数据，记录为静态图像数据，并且关于多个帧，将与较长时间的曝光对应的图像数据分别记录为动态图像的多个帧中的1帧。

此外，作为控制部的功能，关于多个帧，在1帧内进行了与所分割的较短时间对应的曝光后，进行与所分割的较长时间对应的曝光。将使用图7对该控制方法的详细情况进行叙述。此外，作为控制部的功能，关于多个帧，对与较长时间的曝光对应的图像数据乘以补充将与动态图像的1帧相当的时间分割为较长的时间和较短的时间并进行曝光的曝光时间的不足部分的增益，分别记录为动态图像的多个帧中的1帧。此外，作为控制部的功能，根据检测出的抖动量，设定对长时间和短时间进行分割的比率。

RAM 27是可改写的存储器，在微型计算机25的处理时用于数据的暂时存储，并且用于图像数据的暂时存储。

背面液晶监视器29包含配置在照相机主体的背面等的液晶面板，进行图像显示。作为图像显示，包含在摄影之后立即短时间显示所记录的图像数据的记录浏览显示、记录在记录介质35中的静态图像或动态图像的图像文件的再现显示、实时取景显示等动态图像显示以及菜单画面显示等。另外，作为显示部，不限于液晶监视器，当然也可以采用有机EL等其他显示面板。EVF 31是根据来自摄像部11的图像数据显示被摄体像的电子取景器，摄影者经由目镜部对EVF 31进行观察。

I/F 33是用于将图像数据记录到记录介质35、或者读出所记录的图像数据的接口，与记录介质35连接。记录介质35是例如在照相机主体上拆装自如的存储卡等记录介质，但是不限于此，也可以是内置在照相机主体100中的硬盘等。

接着，使用图2对图像处理电路19的详细情况进行说明。图像处理电路19具有RAW剪切部19a、NR部19b、WB部19c、去马赛克部19d、颜色转换部19e、灰度转换部19f、RGB/YC转换部19g、边缘提取部19h、边缘强调部19i、混合部19j、YC尺寸调整部19k、数据压缩部19m和数据解压缩部19n。

RAW剪切部19a输入动态图像的拜尔数据，进行剪切位置的变更和图像数据的尺寸调整。为了减少抖动的影响，根据来自移动量检测电路15的移动量数据，进行动态图像的图像数据的剪切位置的变更。此外，还进行减小图像数据的尺寸调整。将进行了剪切位置变更和图像数据的尺寸调整的图像数据输出到NR部19b。

NR部19b对从RAW剪切部19a输入的动态图像的图像数据、或经由总线23直接输入的静态图像的图像数据进行频率分析，根据频率进行减少噪声的处理。另外，静态图像的图像数据不进行剪切位置的变更，因此在本实施方式中，将拜尔数据直接输入到NR部19b。

WB部19c从NR部19b被输入进行了噪声减少处理的图像数据，并进行白平衡校正。具体而言，通过从照相机主体的闪速ROM等非易失性存储器读出与用户设定的白平衡模式对应的R增益和B增益，并乘以该值，对拜尔排列的图像数据进行校正。或者在自动白平衡的情况下，根据拜尔数据（RAW数据）计算R增益和B增益，使用这些增益进行校正。

去马赛克部19d从WB部19c输入进行了白平衡校正后的图像数据，并进行同时化处理。具体而言，从周边通过插值求出不处于该像素位置的数据，并转换为RGB数据。

颜色转换部19e输入由去马赛克部19d进行了同时化处理后的图像数据，并对图像数据的颜色进行转换。此处，进行对图像数据乘以与设定的白平衡模式对应的颜色矩阵系数的线性转换来转换图像数据的颜色。

灰度转换部19f输入由颜色转换部19e进行了颜色转换后的图像数据，并进行灰度转换。此处，读出存储在非易失性存储器中的伽马表，对图像数据进行灰度转换。

RGB/YC转换部19g输入由灰度转换部19f进行了灰度转换后的RGB数据，并转换为YC数据。YC数据是由亮度信号和颜色信号构成的图像数据。

边缘提取部19h从NR部19b输入进行了噪声减少处理后的图像数据，进行边缘提取，并将边缘提取后的图像数据输出到边缘强调部19i。通过边缘提取部19h和边缘强调部19i生成仅由被摄体像的轮廓线构成的图像数据。

混合部19j进行将从边缘强调部19i输出的仅由轮廓线构成的图像数据重叠到从RGB/YC转换部19g输出的由亮度信号构成的图像数据的处理，并将该重叠处理后的图像数据输出到YC尺寸调整部19k。

YC尺寸调整部19k输入从混合部19j输出的亮度信号和从RGB/YC转换部19g输出的颜色信号，进行生成减小了图像数据的YC数据的处理。图像数据的尺寸根据是否进行实时取景显示进行设定，并且设为在进行图像记录的情况下设定的大小。尺寸调整后的YC数据被输出到总线23和数据压缩部19m。

数据压缩部19m从YC尺寸调整部19k输入YC数据，在静态图像数据的情况下进行JPEG等的压缩处理，此外在动态图像数据的情况下进行MPEG等的压缩处理，并输出到总线23。该压缩后的图像数据被记录到记录介质35。

数据解压缩部19n经由总线23输入记录在记录介质35中的压缩数据，对用JPEG或MPEG进行压缩后的图像数据进行解压缩处理，并经由总线23输出解压缩后的YC数据。

接着，在本实施方式中，使用图5所示的概念图对在动态图像的摄影中操作释放按钮来进行静态图像的摄影的情况进行说明。另外，如后所述，将该处理称作类型3。在图5中，横轴表示时间的流。在时刻t1～t4，仅进行动态图像的摄影，不进行静态图像的摄影。其间，在时刻t1～t2对1帧的图像进行曝光，在时刻t2～t3对1帧的图像进行曝光，在时刻t3～t4对1帧的图像进行曝光，在曝光结束后分别读出图像，作为动态图像的图像数据记录到记录介质35中。

在时刻t3～t4期间操作释放按钮时，在时刻t4～t5期间进行静态图像和动态图像的摄影。在拍摄静态图像和动态图像的情况下，将时刻t4～t5的曝光时间等分为4份，在时刻t4～t4a拍摄（曝光）图像A1、在时刻t4a～t4b拍摄（曝光）图像A2、在时刻t4b～t4c拍摄（曝光）图像A3、在时刻t4c～t5拍摄（曝光）图像A4。对于记录用的动态图像的图像数据，合成处理电路17不进行图像的位置对准，而单纯地重叠图像数据（相加处理），由此生成合成图像，并进行动态图像记录。

另一方面，对于记录用的静态图像的图像数据，合成处理电路17根据由移动量检测电路15检测出的移动量数据，进行图像A1～A4的位置对准，并进行图像的合成。图像A1～A4各个的曝光时间是通常的1帧的曝光时间的1/4，并且由于进行了各个图像的位置对准，因此能够将抖动的影响减少到1/4（相当于增大2级光圈）。

此外，在进行各图像的位置对准时，对准到在时刻t4～t4a拍摄的图像A1、即刚刚操作释放按钮之后的图像。因此，实质上等同于缩短了静态图像摄影时的时滞。

在时刻t5静态图像的摄影结束后，在时刻t5～t9，与时刻t1～t4同样，仅进行动态图像的摄影，不进行静态图像的摄影。

由此，在动态图像的摄影中操作释放按钮来进行静态图像的摄影的情况下，将与动态图像的1帧相当的时间分割为多个进行曝光，取得多个图像数据。接着，进行多个图像数据的被摄体像的位置对准来合成多个图像数据，记录为静态图像数据，并且不进行多个图像数据的被摄体像的位置对准来合成多个图像数据，记录为动态图像数据的1帧。

因此，与时刻t1～t4、时刻t4～t9中的曝光条件实质相同地进行了动态图像的图像数据的摄影，因此能够防止动态图像的画质仅在静态图像摄影中发生变化的情况，在再现时不会产生不舒适感。另一方面，在静态图像摄影时，由于曝光时间实质上为短时间，因此能够得到减少了抖动的影响的高画质的图像。

接着，使用图6所示的概念图对在动态图像的摄影中操作释放按钮来进行静态图像的摄影的情况下的处理的第1变形例进行说明。在图5所示的例中，在动态图像的摄影时，没有进行位置对准来减少抖动的影响。但是，在抖动的影响变大时，动态图像的画质也降低，因此在本变形例中，还针对动态图像进行位置对准。如后所述，将该处理称作类型4。

在图6中，横轴也表示时间的流。在时刻t11～t13，与图5的时刻t1～t4同样，仅进行动态图像的摄影，不进行静态图像的摄影。在时刻t13～时刻t16，是在动态图像摄影中抖动量也较大的情况。其间，与图5的时刻t4～t5的情况同样，按照将1帧进行了4分割的时间分别取得图像A1～图像A4。

对于时刻t13～t16中的记录用的动态图像的图像数据，合成处理电路17在各帧中，不进行图像A1和A2的位置对准，而单纯地重叠图像数据（相加处理），由此生成合成图像（A1+A2），同样，不进行图像A3和A4的位置对准，而单纯地重叠图像数据（相加处理），由此生成合成图像（A3+A4）。接着，合成处理电路17根据来自移动量检测电路15的移动量数据进行被合成的两个合成图像的位置对准，合成图像数据。将合成后的图像数据记录为动态图像数据的1帧。

在变为时刻t14时，在时刻t14～t15期间，除了动态图像，还进行静态图像的摄影。该期间的静态图像的摄影与图5所示的例子同样，针对时刻t14～t15期间的分割图像A1～A4，通过合成处理电路17在根据移动量数据进行各图像的位置对准后，进行图像的重叠处理。

由此，在第1变形例中，除了图5所示的基本处理以外，在抖动量较大的情况下，还针对动态图像进行分割图像的位置对准。因此，即使在抖动量较大的情况下，也能够针对动态图像减轻抖动的影响。

另外，在本变形例中，单纯相加图像A1和图像A2，同样单纯相加图像A3和图像A4，并对这些相加图像进行了位置对准。但是，在不能利用该处理充分减轻抖动的情况下，与静态图像的情况同样，可以分别针对图像A1、A2、A3、A4，根据抖动量进行位置对准。关于该方式，之后在图8、图11、图17、和图19中叙述为类型5。

接着，使用图7所示的概念图对在动态图像的摄影中操作释放按钮来进行静态图像的摄影的情况下的处理的第2变形例进行说明。在图5和图6所示的例中，在抖动量变大时，对1帧期间等分地进行了分割。但是，在本变形例中，在对1帧期间进行了不等分割的时间内取得图像数据，为了静态图像用，通过对在短时间内拍摄的多个图像进行位置对准来生成图像数据，另一方面，为了动态图像用，通过对在长时间内拍摄的各动态图像用图像进行增益上升来生成图像数据。

在图7中，时刻t21～t24和时刻t27～t29与图5中的时刻t1～t4和时刻t5～t9同样，仅进行动态图像的摄影，不进行静态图像的摄影。

在变为时刻t24时，进行静态图像和动态图像的摄影。在拍摄静态图像和动态图像时，在时刻t24～t27中，将各帧的时间按1：3进行2分割，在各帧中的开始的时间取得图像A1、A2、A3。合成处理电路17根据移动量数据对该所取得的图像A1～A3进行位置对准，并对进行了位置对准后的图像A1～A3进行重叠处理，由此生成静态图像用的图像数据。所生成的图像数据被记录到记录介质35。

另一方面，对于动态图像用的图像数据，在摄像部11中对在时刻t24～t27中得到的动态图像用图像数据进行增益上升，并将该图像数据记录到记录介质35。在图7所示的例子中，各动态图像用的图像数据是通常的1帧的曝光时间的3/4，因此增益上升为4/3倍即可。

由此，在第2变形例中，在动态图像摄影中进行静态图像的摄影的情况下，关于动态图像的多个帧，将与动态图像的1帧相当的时间分割为较长的时间和较短的时间进行曝光，取得多个图像数据。并且，对于静态图像用的图像数据，关于多个帧进行被摄体像的位置对准来合成与较短时间的曝光对应的图像数据，另一方面，对于动态图像用的图像数据，关于多个帧将与较长时间的曝光对应的图像数据分别记录为多个帧中的1帧。此外，先进行与短时间对应的曝光，接着进行与长时间对应的曝光。因此，实质上能够缩短静态图像的时滞。

动态图像用的图像数据通过增益上升生成，因此能够利用简单的结构进行处理，并且能够以减轻了抖动的高画质取得静态图像用的图像数据。另外，在本变形例中，将1帧的时间按1：3进行分割来取得了图像，但分割的比可以适当进行变更。此外，该分割的比可以根据由移动量检测电路15检测出的抖动量进行设定。

接着，说明本发明的一个实施方式的动态图像摄影的动作。在本实施方式中，如图8所示，根据动态图像帧间的移动量ΔL，在类型1～类型5之间适当切换图5和图6所示的处理。图8的纵轴是残余抖动量，在纵轴上示出静态图像抖动界限和动态图像抖动界限。残余抖动量是指抖动量自身，或实施了用于减轻抖动的处理后的抖动量。动态图像拍摄具有运动的被摄体，并且一般静态图像要求较高的分辨率，因此动态图像抖动界限是比静态图像抖动界限大的值。

在动态图像帧间移动量ΔL处于0～L1之间的情况下，如图8所示，进行类型1的控制。类型1针对动态图像和静态图像均不进行合成处理。即，针对由摄像部11取得的图像数据，不进行在图5和图6中说明的合成处理，在进行了图像处理后，将图像数据记录到记录介质35。

在动态图像帧间移动量ΔL处于L1～L2之间的情况下，进行类型2的控制。该类型2的控制针对动态图像进行没有2帧位置对准的合成，针对静态图像进行2帧位置对准的合成。关于类型2的控制没有具体说明，但是为上述图5中的处理的变形例。

即，在类型2中，动态图像帧间移动量ΔL超过了静态图像抖动界限，但是没有超过动态图像抖动界限，因此对静态图像实施减少抖动的处理。在图5的处理中，将1帧的曝光时间等分为4份，但是在类型2中，将该分割设为2分割。并且，关于静态图像用的图像数据，合成处理部17在根据移动量数据对在2分割的曝光时间内分别取得的图像数据进行位置对准后，通过重叠处理生成合成图像并进行记录。关于动态图像用的图像数据，合成处理部17不单纯地对分别取得的图像数据进行位置对准，而通过重叠处理生成合成图像并进行记录。

在动态图像帧间移动量ΔL处于L2～L3之间的情况下，进行类型3的控制。该类型3的控制针对动态图像，不进行4分割后的各图像的位置对准地合成动态图像（没有4帧位置对准的合成）、针对静态图像，在进行4分割后的各图像的位置对准后进行合成（4帧位置对准的合成）。类型3的控制与上述图5中的处理相同，因此省略详细说明。

在动态图像帧间移动量ΔL处于L3～L4之间的情况下，进行类型4的控制。该类型4的控制针对动态图像进行2+2帧位置对准的合成，针对静态图像，在进行4分割后的各图像的位置对准后进行合成。针对静态图像，是与类型3相同的控制，但是由于超过了动态图像抖动界限，因此针对动态图像也进行减轻抖动的处理。类型4的控制与上述图6中的处理相同，因此省略详细说明。

在动态图像帧间移动量ΔL超过L4时，进行类型5的控制。此处，动态图像帧间移动量ΔL比类型4的情况更大，因此针对动态图像，也与静态图像的情况同样，针对4分割后的各分割图像进行位置对准（4帧位置对准的合成）、从而减轻了抖动的影响。类型5的控制在上述图6中，不生成A1+A2和A3+A4的图像，而针对A1～A4的各图像根据移动量进行位置对准，由此生成动态图像的图像数据。

由此，在本实施方式中，根据动态图像帧间移动量，考虑动态图像抖动界限和静态图像抖动界限，进行了类型1～类型5的控制。因此，能够对动态图像和静态图像的画质以及动态图像的流畅性进行最佳的控制。

接着，使用图9所示的时序图说明类型3的情况下的动作。如使用图5说明那样，类型3在仅动态图像的摄影时，将进行了图像处理的图像数据直接记录到记录介质35，在动态图像摄影中也进行静态图像的摄影的情况下，对1帧的曝光时间等分为4份，不针对各图像进行位置对准，而通过直接合成来生成动态图像的图像数据，另一方面，通过在进行各图像的位置对准后合成来生成静态图像的图像数据。

在图9所示的时序图中，在时刻T1～T3和时刻T4～T6，仅进行动态图像的摄影，不进行静态图像的摄影。在定时51读出在时刻T1～T2期间被曝光的图像数据。此外，通过在定时52将在定时51读出的图像数据与在前一个定时读出的图像数据进行比较，进行移动量的计算。并且，在定时53不对在定时51读出的图像数据与在前一个定时读出的图像数据进行位置对准，而直接进行重叠，由此生成动态图像，在进行了图像处理后，在定时54作为动态图像的图像数据记录到记录介质35。在时刻T2～T6也同样地生成动态图像的图像数据并进行记录。

在变为时刻T3时，在时刻T3～T4期间，进行静态图像和动态图像的摄影。在该摄影时，如使用图5说明那样，将时刻T3～T4的曝光时间等分为4份，分别拍摄图像A1～A4。在定时61读出图像A1，在定时62读出图像A2，在定时63读出图像A3，在定时64读出图像A4。

在定时65，使用在定时61、62读出的图像数据，以图像A1为基准计算图像A2的移动量。同样，在定时66，使用在定时63读出的图像数据，以图像A1为基准计算图像A3的移动量。同样，在定时67，使用在定时64读出的图像数据，以图像A1为基准计算图像A4的移动量。

此外，在定时68，使用在定时65计算出的移动量，将图像A2位置对准到图像A1，生成合成图像（A1+A2）。在定时69，使用在定时66计算出的移动量，将图像A3位置对准到图像A1+A2，生成合成图像（A1+A2+A3）。在定时70，使用在定时67计算出的移动量，将图像A4位置对准到合成图像（A1+A2+A3），生成合成图像（A1+A2+A3+A4）。

在定时74，针对在定时70生成的静态图像的合成图像（A1+A2+A3+A4）的图像数据，通过图像处理电路19进行图像处理。在这里进行了图像处理的静态图像的图像数据在定时75被记录到记录介质35。

此外，在时刻T3～T4中拍摄的图像A1～A4每当在定时61～64读出图像数据时，在定时71～73不进行位置对准而直接进行重叠处理，由此生成动态图像用的合成图像。该所生成的合成图像在定时76，与在前一个定时生成的动态图像用的图像数据进行比较，计算移动量。此外，在定时78实施了动态图像用的图像处理后，在定时79作为动态图像用的图像数据记录到记录介质35。

由此，在类型3的控制中，在与动态图像同时拍摄静态图像的情况下，通过对1帧的曝光时间进行4分割，并在对分割图像进行了位置对准后重叠来生成静态图像的图像数据，并且通过不对分割图像进行位置对准地重叠来生成动态图像的图像数据。

接着，使用图10所示的时序图说明类型4的情况下的动作。类型4如使用图6说明那样，关于静态图像与类型3的情况同样，在进行了4分割的图像数据的位置对准后，利用重叠处理生成合成图像。此外，关于动态图像与类型3的情况不同，从4分割后的图像数据不进行位置对准地生成两个合成图像，接着，通过进行所生成的两个合成图像的位置对准并进行重叠处理来生成合成图像。但是，在图6中，在时刻t13～t16的3帧中，针对动态图像也进行了利用位置对准的合成图像的生成，但是在图10所示的例中，仅在时刻T3～T4的1帧中进行了类型4的控制。

关于类型4中的静态图像的图像生成，与图9相同，因此对于进行相同处理的定时，赋予相同的标号并省略详细说明。

在类型4中的动态图像的图像生成时，在定时81不对在定时61读出的图像A1和在定时62读出的图像A2进行位置对准，而直接进行重叠处理，生成合成图像（A1+A2）。此外，在定时82不对在定时63读出的图像A3和在定时64读出的图像A4进行位置对准，而直接进行重叠处理，生成合成图像（A3+A4）。

在生成合成图像（A1+A2）、和合成图像（A3+A4）后，在定时83进行合成图像（A1+A2）与合成图像（A3+A4）的位置对准。使用在定时65～67计算出的移动量，使用合成图像（A1+A2）与合成图像（A3+A4）的移动量，实质上使用图像A1与图像A3的移动量进行该位置对准。在定时83进行位置对准后，接着在定时76，使用在前一个定时读出的图像、和进行了位置对准的图像计算移动量。此外，在定时77对在定时83进行了位置对准的图像进行动态图像用的图像处理，在定时79作为动态图像的图像数据记录到记录介质35。

由此，在类型4的控制中，在动态图像用图像数据的生成时，在生成了合成图像（A1+A2）和合成图像（A3+A4）后，进行该两个合成图像的位置对准。因此，即使在抖动量较大的情况下，也能够取得减轻了抖动的动态图像的图像数据。

接着，使用图11所示的时序图说明类型5的情况下的动作。在使用图6（第1变形例）和图10说明的类型4中，在4分割后的图像内，不进行位置对准地对每两个图像进行了合成后，对该所合成的两个图像进行位置对准来生成了动态图像的合成图像。与此相对，在类型5中，分别针对4分割后的图像中的各个图像，进行位置对准来生成动态图像的合成图像。另外，静态图像的生成与类型3相同。

在图11中，在时刻T1～T6进行动态图像的摄影，并且在时刻T3～T4期间进行静态图像的摄影。关于类型5中的静态图像的图像生成，与图9相同，因此对于进行相同处理的定时，赋予相同的标号并省略详细说明。

在类型5中的动态图像的图像生成时，在定时89，移动量检测电路15使用在定时85读出的图像A1和在定时86读出的图像A2，以图像A1为基准计算移动量。此处计算出的移动量在静态图像和动态图像的位置对准时使用。在定时92，使用在定时89计算出的移动量，进行图像A1和图像A2的位置对准并生成动态图像用的合成图像（A1+A2）。

在定时90，使用在定时87读出的图像A3，以图像A1为基准计算图像A3的移动量。在定时93，使用该计算出的移动量，进行合成图像（A1+A2）与图像A3的位置对准并生成动态图像用的合成图像（A1+A2+A3）。

在定时91，使用在定时88读出的图像A4，以图像A1为基准计算图像A4的移动量。在定时94，使用该计算出的移动量，进行合成图像（A1+A2+A3）与图像A4的位置对准并生成动态图像用的合成图像（A1+A2+A3+A4）。

在生成动态图像用的合成图像（A1+A2+A3+A4）后，在定时52，使用之前的动态图像的图像数据计算移动量。并且，在定时53对在定时94进行了合成的动态图像的图像数据进行了图像处理后，在定时54作为动态图像的图像数据记录到记录介质35。在时刻T2～T6也同样地生成动态图像的图像数据并进行记录。

接着，使用图12所示的时序图对使用图7说明的在动态图像的摄影中操作释放按钮来进行静态图像的摄影的情况下的处理的第2变形例进行说明。在该第2变形例中，将1帧不等分地分割为两个曝光时间来进行摄像。并且，通过进行在较短的曝光时间内拍摄的多个图像的位置对准生成静态图像，关于在较长的曝光时间内拍摄的多个图像，分别通过进行增益上升来生成动态图像。另外，在图7所示的例中，对图像A1～A3这3个图像进行合成来生成了静态图像，但是在图12所示的例中，对图像A1～A4这4个图像进行合成来生成了静态图像。

在图12所示的时序图中，在时刻T22之前仅进行动态图像的摄像，在时刻T22～T26，进行用于静态图像的摄像，其间，还一并进行用于动态图像的摄像。即，在时刻T22～T22a拍摄静态图像用的图像A1，在时刻T23～T23a拍摄静态图像用的图像A2，在时刻T24～T24a拍摄静态图像用的图像A3，在时刻T25～T25a拍摄静态图像用的图像A4。

在定时102读出图像A1，在定时104读出图像A2，在定时110根据图像A1和图像A2计算运动矢量。在定时113，使用该运动矢量，进行图像A1与图像A2的位置对准，然后进行重叠处理，由此生成合成静态图像（A1+A2）。另外，合成处理电路17进行合成静态图像的生成。

此外，在定时106读出图像A3，在定时111根据合成静态图像（A1+A2）和图像A3计算运动矢量。在定时114，使用该运动矢量，进行合成静态图像（A1+A2）与图像A3的位置对准，然后进行重叠处理，由此生成合成静态图像（A1+A2+A3）。

此外，在定时108读出图像A4，在定时112根据合成静态图像（A1+A2+A3）和图像A4计算运动矢量。在定时115，使用该运动矢量，进行合成静态图像（A1+A2+A3）与图像A4的位置对准，然后进行重叠处理，由此生成合成静态图像（A1+A2+A3+A4）。

在定时116，利用图像处理部19对在定时115生成的合成静态图像（A1+A2+A3+A4）进行静态图像用的图像处理。在进行该图像处理后，接着在定时117作为静态图像用的图像数据记录到记录介质35。

由此，关于静态图像，通过在时刻T22～T22a、时刻T23～T23a、时刻T24～T24a、时刻T25～T25a中对在短时间内曝光的多个图像A1～A4进行位置对准，生成合成静态图像（A1+A2+A3+A4）并进行记录。多个图像A1～A4的曝光时间是1帧的一部分，因此在减轻抖动的影响并且进行了位置对准后，利用重叠处理得到了合成静态图像，因此还能够取得噪声的影响较少的静态图像。

在图12所示的时序图中，如下进行动态图像的生成。在时刻T22之前是仅动态图像的摄影，在定时101读出在时刻T21到T22期间的曝光时间内拍摄的图像。并且，图像处理电路19在定时121进行动态图像用的图像处理，在定时126作为动态图像的图像数据记录到记录介质35。

从时刻T22开始在动态图像的摄影同时一并进行静态图像的摄影。在时刻T22a～T23对动态图像用的图像进行曝光，在定时103读出。图像处理电路19在定时122对该所读出的图像数据进行动态图像用的图像处理。此外，在一并进行静态图像的摄影时，是比通常的1帧的曝光时间短的时间，因此为了补偿曝光时间变短的情况，在图像处理时还进行图像数据的增益上升。作为增益上升量，如果动态图像用的曝光时间是1帧的m/n，则设为n/m倍即可。例如，如果动态图像用的曝光时间是1帧的3/4，则增益上升量变为4/3倍。在进行图像处理后，在定时127记录到记录介质35。

之后，在定时105、107、109读出动态图像用的图像数据，在定时123、124、125进行用于补偿曝光时间变短的增益上升，在定时128、129、130记录到记录介质35。

由此，在动态图像记录时，对1帧的曝光时间不等分地进行分割，记录对在较长的曝光时间内曝光后的图像进行增益调整后的图像。因此，能够在不进行复杂处理的情况下，与静态图像一起取得动态图像的图像数据。

接着，使用图13至图19所示的流程图说明本发明的一个实施方式的动作。微型计算机25依照存储在非易失性的存储器中的程序执行这些流程图。图13所示的流程图示出了动态图像记录开始的流程，在操作操作部21内的动态图像按钮时，开始该流程的动作。

在进入到动态图像记录开始的流程后，首先进行合成类型判断（S1）。此处，基于由移动量检测电路15检测出的移动量（相当于抖动量），判断是否属于在图8中说明的类型1～5中的任意一个。

在进行合成类型的判断后，接着进行是否为释放启动的判定（S3）。摄影者在动态图像的摄影中期望静态图像的记录的情况下，对操作部21内的释放按钮进行操作。在该步骤中，根据释放按钮的操作状态进行判定。

在步骤S3中的判定结果为释放启动的情况下，进行合成类型的判定（S5）。此处，依照步骤S1中的合成类型的判断结果进入到步骤S11～S19。

在步骤S5中的判定结果为类型1的情况下，执行类型1的摄像合成处理（多记录）（S11）。如使用图8说明那样，类型1是残余抖动量比静态图像抖动界限小的情况，在该情况下，在得到静态图像的图像数据时，不需要特别进行位置对准。之后将使用图14对该类型1的处理的详细情况进行叙述。

在步骤S5中的判定结果为类型2的情况下，执行类型2的摄像合成处理（多记录）（S13）。如使用图8说明那样，类型2是残余抖动量比静态图像抖动界限大、但比动态图像抖动界限小的情况。在该情况下，在对1帧的曝光时间等分地进行2分割，并对两个图像进行了位置对准后，利用重叠处理得到合成静态图像。并且，对两个图像不进行位置对准，而通过重叠处理得到动态图像。该类型2仅将后述的类型3的流程图（图15参照）中的4分割图像设为2分割图像，因此省略详细的流程图。

在步骤S5中的判定结果为类型3的情况下，执行类型3的摄像合成处理（多记录）（S15）。如使用图8说明那样，类型3是残余抖动量比静态图像抖动界限大、但比动态图像抖动界限小，且比类型2中的抖动量大的情况。在该情况下，如使用图9所示的时序图说明那样，在将1帧的曝光时间等分为4份，并对4个图像进行了位置对准后，利用重叠处理得到合成静态图像。并且，对4个图像不进行位置对准，而通过重叠处理得到动态图像。之后将使用图15对该类型3的处理的详细情况进行叙述。

在步骤S5中的判定结果为类型4的情况下，执行类型4的摄像合成处理（多记录）（S17）。如使用图8说明那样，类型4是残余抖动量比静态图像抖动界限和动态图像抖动界限都大的情况。在该情况下，如使用图10所示的时序图说明那样，不仅对静态图像，对动态图像也进行位置对准来减轻抖动的影响。在类型4中，与类型3同样，在将1帧的曝光时间等分为4份，并对4个图像进行了位置对准后，利用重叠处理得到合成静态图像。此外，针对最初的两个图像和之后的两个图像，不分别进行位置对准而利用重叠处理生成合成图像，对该所生成的两个合成图像进行位置对准后，利用重叠处理得到动态图像。之后将使用图16对该类型4的处理的详细情况进行叙述。

在步骤S5中的判定结果为类型5的情况下，执行类型5的摄像合成处理（多记录）（S19）。如使用图8说明那样，类型5是残余抖动量比静态图像抖动界限和动态图像抖动界限都大的情况。在该情况下，与类型4同样，不仅对静态图像，还对动态图像进行位置对准，但如使用图11所示的时序图说明那样，实施比类型4更强有力的抖动校正处理。在类型5中，与类型3、4同样，在将1帧的曝光时间等分为4份，并对4个图像进行了位置对准后，利用重叠处理得到合成静态图像。并且，在对4个图像进行位置对准后，利用重叠处理得到合成动态图像。之后将使用图17对该类型5的处理的详细情况进行叙述。

在步骤S3中的判定结果不是释放启动的情况下，由于是不进行静态图像摄影的情况，因此仅继续进行动态图像摄影。因此，首先与步骤S5同样判定合成类型（S7）。

在步骤S7中的判定结果为类型1、2或3的情况下，进行类型1/2/3的摄像合成处理（动态图像记录）（S21）。在拍摄静态图像的情况下，处理根据是类型1、类型2还是类型3而不同。但是，在不进行静态图像摄影而仅进行动态图像摄影时，在类型1、2、3的情况下，残余抖动量比动态图像抖动界限小，因此成为相同的处理。在该步骤中，在经过1帧的曝光时间后，在读出图像数据并进行动态图像用的图像处理后记录到记录介质35。之后将使用图18对该类型1/2/3的处理的详细情况进行叙述。

在步骤S7中的判定结果为类型4的情况下，进行类型4的摄像合成处理（动态图像记录）（S23）。类型4是残余抖动量比动态图像抖动界限大的情况，进行位置对准来减轻抖动的影响。在类型4中，将1帧的曝光时间等分为4份，针对最初的两个图像和之后的两个图像，不分别进行位置对准而利用重叠处理生成合成图像，对该所生成的两个合成图像进行位置对准后，利用重叠处理得到动态图像。该类型4仅将后述的类型5的流程图（图19参照）中的4分割图像设为2分割图像，因此省略详细的流程图。

在步骤S7中的判定结果为类型5的情况下，进行类型5的摄像合成处理（动态图像记录）（S25）。类型5是残余抖动量比动态图像抖动界限大、而且比类型4中的残余抖动量大的情况。在该情况下，实施比类型4更强有力的抖动校正处理。在将1帧的曝光时间等分为4份，并对4个图像进行了位置对准后，利用重叠处理得到合成动态图像。之后将使用图19对该类型5的处理的详细情况进行叙述。

在步骤S11～S19中进行摄像合成处理（多记录）后、或在步骤S21～S25中进行摄像合成处理（动态图像记录）后，接着进行动态图像记录是否结束的判定（S27）。此处，根据动态图像按钮的操作状态判定是否再次操作了操作部21内的动态图像按钮。在该判定的结果是动态图像记录未结束的情况下，返回步骤S1，根据移动量检测电路15的检测结果判断合成类型，并根据该判断结果执行上述处理。另一方面，在步骤S27中的判定的结果是动态图像记录已结束的情况下，结束动态图像记录的处理。

接着，使用图14说明步骤S11中的类型1的摄像合成处理（多记录）。进入到该流程后，首先进行摄像（S31）。此处，摄像部11在预定时间的期间对被摄体像进行光电转换。在摄像结束后，接着进行读出（S33）。此处，从摄像部11进行图像数据的读出。

在进行图像信号的读出后，接着进行帧间移动量的检测（S35）。此处，移动量检测电路15通过对上次在步骤S33中读出的图像数据、与此次在步骤S33中读出的图像数据进行比较，计算帧间的移动量。

在图14所示的类型1的摄像合成处理中，并行进行动态图像记录和静态图像记录，动态图像记录通过执行步骤S37～S45来进行，并且静态图像记录与动态图像记录并行通过执行步骤S51～S55来进行。

首先针对动态图像的记录进行说明。进行检测帧间移动量的拜尔数据的尺寸调整（S37）。此处，图像处理电路19内的RAW剪切部19a进行在步骤S33中读出的图像数据的尺寸调整，减小图像数据以用于动态图像处理。

在进行尺寸调整后进行YC处理（S39）。此处，通过图像处理电路19进行噪声减少处理、白平衡校正、同时化处理、颜色转换处理、灰度转换处理、从RGB向YC的转换处理、边缘提取处理、边缘强调处理、YC尺寸调整处理等图像处理，从而生成YC数据。

在进行YC处理后，接着进行显示的更新（S41）。此处，使用利用在步骤S33中读出的1帧的图像数据进行处理后的图像数据，进行在背面液晶监视器29和EVF31上显示的实时取景显示的更新。持续该更新后的实时取景显示，直到进行下次的读出/图像处理，并进行显示的更新为止。

在进行显示更新的同时，进行MPEG压缩（S43）。此处，图像处理电路19内的数据压缩部19m使用在步骤S39中进行YC处理后的YC数据进行MPEG压缩。接着，记录到记录介质（S45）。此处，将在步骤S43中进行了MPEG压缩的图像数据记录到记录介质35。

接着针对静态图像的记录进行说明。在步骤S35中进行帧间移动量检测后，进行YC处理（S51）。此处，与步骤S39同样，通过图像处理电路19进行噪声减少处理、白平衡校正、同时化处理、颜色转换处理、灰度转换处理、从RGB向YC的转换处理、边缘提取处理、边缘强调处理、YC尺寸调整处理等图像处理，从而生成YC数据。

在进行YC处理后，进行JPEG压缩（S53）。此处，图像处理电路19内的数据压缩部19m使用在步骤S51中进行YC处理后的YC数据进行JPEG压缩。接着，记录到记录介质（S55）。此处，将在步骤S53中进行了JPEG压缩的图像数据记录到记录介质35。

在步骤S41中进行显示更新，并在步骤S45、S55中将图像数据记录到记录介质后，返回到原来的流程。

接着，使用图15所示的流程图说明步骤S15中的类型3的摄像合成处理（多记录）。该流程图执行与上述类型3相关的图9所示的时序图。

进入到图15所示的流程后，首先进行A1的摄像（S61）。该摄像由摄像部11进行，在图9所示的时序图中，与时刻T3～T3a的摄像对应。接着，进行A1的读出（S63）。该读出是步骤S61的A1摄像中的图像数据的读出，在图9中的时序图中，与定时61的读出相当。

接着，进行A2的摄像（S65）。该摄像在图9所示的时序图中，与时刻T3a～T3b的摄像对应。接着，进行A2的读出（S67）。该读出与定时62（参照图9）的读出相当。

在进行A2的读出后，接着进行A1－A2帧间移动量的计算（S91）。此处，移动量检测电路15对步骤S63中读出的A1的图像、和在步骤S67中读出的A2的图像进行比较，计算帧间移动量。该移动量的计算与定时65（参照图9）的移动量计算相当。

在进行A1－A2帧间移动量计算后，接着进行A1、A2位置对准合成（S93）。此处，合成处理电路17根据在步骤S91中计算出的移动量，进行在步骤S63中读出的A1的图像、和在步骤S67中读出的A2的图像的位置对准，然后进行静态图像的重叠处理。该位置对准合成与定时68（参照图9）的合成处理（静态图像）相当。

在步骤S67中进行A2图像的读出后，与上述S91中的移动量计算并行进行A3的摄像（S69）。该摄像在图9所示的时序图中，与时刻T3b～T3c的摄像对应。接着，进行A3的读出（S71）。该读出与定时63（参照图9）的读出相当。

在进行A3的读出后，接着进行A1－A3帧间移动量的计算（S95）。此处，移动量检测电路15对步骤S71中读出的A3的图像、和在步骤S63中读出的A1的图像进行比较，计算帧间移动量。该移动量的计算与定时66（参照图9）的移动量计算相当。

在进行A1－A3帧间移动量计算后，接着进行A1、A2、A3位置对准合成（S97）。此处，合成处理电路17在根据在步骤S95中计算出的移动量，进行在步骤S71中读出的A3的图像、和在步骤S93中合成的A1、A2的位置对准图像的位置对准后进行静态图像的重叠处理。该位置对准合成与定时69（参照图9）的合成处理（静态图像）相当。

在步骤S71中进行A3图像的读出后，与上述S95中的移动量计算并行进行A4摄像（S73）。该摄像在图9所示的时序图中，与时刻T3c～T4的摄像对应。接着，进行A4的读出（S75）。该读出与定时64（参照图9）的读出相当。

在进行A4的读出后，接着进行A1－A4帧间移动量的计算（S99）。此处，移动量检测电路15对步骤S75中读出的A4的图像、和在步骤S63中读出的A1的图像进行比较，计算帧间移动量。该移动量的计算与定时67（参照图9）的移动量计算相当。

在进行A1－A4帧间移动量计算后，接着进行A1、A2、A3、A4位置对准合成（S101）。此处，合成处理电路17根据在步骤S99中计算出的移动量，进行在步骤S75中读出的A4的图像、和在步骤S97中合成的A1、A2、A3位置对准图像的位置对准，然后进行静态图像的重叠处理。该位置对准合成与定时70（参照图9）的合成处理（静态图像）相当。

在步骤S101中进行A1、A2、A3、A4位置对准合成后，接着与步骤S51（图14）同样，进行用于静态图像生成的YC处理（S103），并与步骤S53同样进行JPEG压缩（S105），进而与步骤S55同样记录到记录介质（S107）。

在步骤S75中进行A4图像的读出后，与上述S99中的移动量计算并行进行A1、A2、A3、A4的拜尔尺寸调整（S77）。每当在步骤S63、S67、S71、S75中进行图像数据的读出时，不进行位置对准而进行图像的重叠处理（参照图9的定时71～73）。图像处理电路19内的RAW剪切部19a进行A1、A2、A3、A4的各图像的拜尔尺寸调整。在进行拜尔尺寸调整后，合成处理电路17进行A1、A2、A3、A4的合成处理（S79）。

在进行A1、A2、A3、A4的合成处理后，接着与步骤S39（图14参照）同样地进行YC处理（S83）。此处，图像处理电路19对为了用于动态图像而不进行位置对准地进行了合成处理的图像进行YC处理。

在进行动态图像的YC处理后，接着进行显示的更新（S85）。此外，进行在步骤S83中经YC处理的图像数据的MPEG处理（S87），并记录到记录介质（S89）。这些步骤S85～S89中的处理与图14中的步骤S41～S45相同，因此省略详细说明。在步骤S89或S107中进行向记录介质的记录后，返回到原来的流程。

接着，使用图16所示的流程图说明步骤S17中的类型4的摄像合成处理（多记录）。该流程图执行与上述类型4相关的图10所示的时序图。如上所述，类型4针对动态图像进行2+2帧位置对准的合成，针对静态图像进行4帧位置对准的合成。与类型3相比，静态图像的处理相同，而动态图像的处理仅在进行2+2帧位置对准的方面不同。因此仅将图15所示的流程图中的步骤79置换为步骤S78、S80、S81。以该不同点为中心进行说明，对于进行相同处理的步骤，赋予相同的步骤编号并省略详细说明。

在步骤S75中读出A4，并在步骤S77中进行A1、A2、A3、A4的拜尔尺寸调整后，接着进行A1、A2的合成（S78）。此处，合成处理电路17不对在步骤S63和S67中读出的A1、A2的图像进行位置对准，而利用重叠处理进行合成。与图10的定时81的处理相当。另外，在图16的流程中，在读出了A1～A4的所有图像后进行了该合成，但是当然可以如图10的时序图所示，在A1、A2的图像的读出后立即进行合成。

接着，进行A3、A4的合成（S80）。此处，合成处理电路17不对在步骤S71和S75中读出的A3、A4的图像进行位置对准，而利用重叠处理进行合成。与图10的定时82的处理相当。

在进行A3、A4的合成后，接着进行A1、A2+A3、A4的位置对准合成（S81）。此处，在步骤S91、S95、S99中，使用计算出的移动量，进行在步骤S78中合成的A1、A2合成图像、和在步骤S80中合成的A3、A4合成图像的位置对准，然后利用重叠处理生成动态图像的合成图像。

在步骤S81中进行A1、A2+A3、A4的位置对准合成后，在步骤S83以下，进行动态图像用的图像处理和记录，并返回到原来的流程。

接着，使用图17所示的流程图说明步骤S19中的类型5的摄像合成处理（多记录）。该流程图执行与上述类型5相关的图11所示的时序图。如上所述，类型5针对动态图像和静态图像同时进行4帧位置对准合成。与类型3相比，静态图像的处理相同，仅在动态图像的处理进行4帧位置对准的方面不同。因此仅将图15所示的流程图中的步骤79置换为步骤S82。以该不同点为中心进行说明，对于进行相同处理的步骤，赋予相同的步骤编号并省略详细说明。

在步骤S75中读出A4，并在步骤S77中进行A1、A2、A3、A4的拜尔尺寸调整后，接着进行A1、A2、A3、A4的位置对准合成（S82）。此处，在步骤S91、S95、S99中，使用计算出的移动量，进行在步骤S63、S67、S71、S75中读出的A1～A4的各图像的位置对准，然后利用重叠处理生成动态图像用的合成图像。

在步骤S82中进行A1、A2、A3、A4的位置对准合成后，在步骤S83以后，进行动态图像用的图像处理和记录，并返回到原来的流程。

另外，在图11中示出的时序图中，在读出A2～A4的各图像后（定时86～88），立即计算移动量（定时89～91），并进行了动态图像的合成处理（定时92～94）。在图17所示的流程图中，动态图像用的图像当然可以与静态图像的图像同样，在每次读出各图像时计算移动量，并进行位置对准合成。

接着，图18示出步骤S21中的类型1/2/3的摄像合成处理（动态图像记录）。上述图14～图17中的摄像合成处理的流程均为在动态图像记录的同时进行静态图像记录的多记录，但是图18所示的摄像合成处理的流程不进行静态图像的记录，仅进行动态图像的记录。因此，图18所示的流程在与类型1相关的图14的流程中省略用于对静态图像进行处理的步骤S51～S55的方面不同，没有新追加的步骤。因此，在图18中，对进行与图14相同处理的步骤，赋予相同的步骤编号并省略详细说明。

接着，图19示出步骤S25中的类型5的摄像合成处理（动态图像记录）。图19所示的摄像合成处理的流程与图18所示的摄像合成处理的流程同样，不进行静态图像的记录，仅进行动态图像的记录。因此，图19所示的流程在与类型5相关的图17的流程中省略用于对静态图像进行处理的步骤S93、S97、S101～107的方面不同，没有新追加的步骤。因此，在图19中，对进行与图17相同处理的步骤，赋予相同的步骤编号并省略详细说明。

如以上所说明那样，在本发明的一个实施方式中，将与动态图像的1帧相当的时间分割为多个进行曝光（例如对图5的t4～t5进行4分割并曝光、对图9的T3～T4进行4分割并曝光），对该分割为多个而取得的图像进行位置对准来生成合成图像（例如图5的A1～A4的位置对准合成、图9的定时68～70），将该合成图像记录为静态图像数据（例如图9的定时75），并且不对分割为多个而取得的图像进行位置对准而生成合成图像（例如图5的A1～A4的没有位置对准的合成、图9的定时71～73），并将该合成图像记录为动态图像数据（例如图9的定时79）。因此，能够提高记录动态图像的流畅性，并且减少静态图像的抖动。即，静态图像进行分割为多个的图像的位置对准后生成合成图像，因此实质上能够通过用高速快门进行拍摄来减少抖动的影响。此外，动态图像不对分割为多个的图像进行位置对准地生成合成图像，因此实质上以与前后的帧相同的快门速度进行了拍摄，因此在静态图像摄影的前后画质不会不同。

此外，在本发明的一个实施方式中，根据抖动量对1帧的曝光时间进行了分割。因此，能够设为与抖动对应的最佳的分割数。此外，在本发明的一个实施方式中，在抖动量的检测时，根据动态图像数据间的被摄体像的移动量进行了检测。因此，不需要设置陀螺仪或6軸传感器等抖动检测用的传感器。此外，在本发明的一个实施方式中，检测抖动量，并根据抖动量对曝光的分割数和动态图像用合成时的合成方法进行判断。因此，能够根据抖动量执行最佳的合成方法。

此外，在本发明的一个实施方式中，如类型4所示，关于动态图像，不进行位置对准地生成多个合成图像，进行该多个合成图像的位置对准。因此，在抖动较大、且作为动态图像也不美观的情况下，能够通过采用该合成方法，同时确保动态图像的抖动减轻和流畅性。

此外，在本发明的一个实施方式的变形例中，如使用图7说明那样，在动态图像的1帧内用短秒和长秒进行分割曝光，并且在多个帧的范围内反复拍摄该组，将多个长秒图像分别记录为动态图像，并且将多个短秒图像在进行位置对准的同时进行相加来设为静态图像。因此，即使在抖动较大的情况下，也能够提高记录动态图像的流畅性，并且减少静态图像的抖动。

另外，在本发明的一个实施方式中，类型1～类型5的判断根据由移动量检测电路15检测出的动态图像帧间的移动量进行。但是，合成类型的判断不仅可以根据动态图像帧间的移动量进行，还可以进行在被摄体亮度较低的情况下视作抖动较大的判断。此外，在考虑分割摄影和合成造成的噪声放大且摄影灵敏度较高的情况下可以减少待分割的帧数。

此外，在本发明的一个实施方式中，对1帧的摄像期间进行了4分割，但分割数可以比4分割大，并且还可以是3分割。在改变了分割数的情况下，可以根据分割数变更类型数。此外，在图13～图19所示的流程图中，没有对在图7和图12所示的在动态图像摄影中操作释放按钮来进行静态图像摄影的情况下的处理的第2变形例进行组合，但当然可以组合该类型。

此外，在本发明的一个实施方式和变形例中，作为用于摄影的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，可以是摄像机、电影摄影机这样的主要拍摄动态图像的照相机，并且当然可以是内置在移动电话、便携信息终端PDA（Personal DigitalAssists：个人数字助理）或者游戏设备等中的照相机。无论是哪种相机，只要是能够在动态图像摄影中拍摄静态图像的设备，则能够应用本发明。

此外，关于权利要求书、说明书和附图中的动作流程，即使为了方便，使用“首先”、“接着”等表现顺序的词语进行了说明，但在没有特别进行说明的地方，不是指必须按该顺序进行实施。

本发明不直接限定为上述各实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可适当组合不同实施方式的结构要素。

Claims (22)

1.一种拍摄并记录动态图像和静态图像的摄像装置，该摄像装置包括：

摄像元件，其对入射的光学像进行光电转换；

摄像处理部，其对上述摄像元件的输出信号进行处理来取得图像数据；以及

控制部，其对上述摄像元件的曝光进行控制，并且控制上述光学像的摄影，

上述控制部在动态图像摄影中进行静态图像的摄影的情况下，将与动态图像的1帧相当的时间分割为多个进行曝光，利用上述摄像处理部进行处理来取得多个图像数据，进行上述多个图像数据的被摄体像的位置对准并合成多个图像数据，记录为静态图像数据，并且在不进行上述多个图像数据的被摄体像的位置对准的情况下合成多个图像数据，记录为动态图像数据的1帧；

该摄像装置还具有检测抖动量的抖动量检测部，

上述控制部在由多个图像数据合成动态图像数据时，在上述抖动量比第1预定量大的情况下，在不进行被摄体像的位置对准的情况下对从多个图像数据中连续取得的多个图像数据进行合成来生成多个合成图像数据，对该多个合成图像数据进行被摄体像的位置对准并进行合成，记录为动态图像数据的1帧。

2.根据权利要求1所述的摄像装置，其中，

上述控制部根据由上述抖动量检测部检测出的抖动量设定上述分割的数量。

3.根据权利要求2所述的摄像装置，其中，

上述抖动量检测部根据上述图像数据之间的被摄体像的移动量检测抖动量。

4.根据权利要求1所述的摄像装置，其中，

上述控制部在由多个图像数据合成动态图像数据时，在上述抖动量比大于上述第1预定量的第2预定量大的情况下，对多个图像数据全部进行被摄体像的位置对准并进行合成，记录为动态图像数据的1帧。

5.根据权利要求1所述的摄像装置，其中，

上述控制部根据上述多个图像数据之间的被摄体像的移动量进行上述多个合成图像的被摄体像的位置对准。

6.根据权利要求5所述的摄像装置，其中，

上述控制部在上述多个图像数据中的最初取得的图像数据的被摄体像的位置处对准上述多个图像数据中的其他图像数据的被摄体像的位置。

7.一种拍摄并记录动态图像和静态图像的摄像装置，该摄像装置包括：

摄像元件，其对入射的光学像进行光电转换；

摄像处理部，其对上述摄像元件的输出信号进行处理来取得图像数据；以及

控制部，其对上述摄像元件的曝光进行控制，并且控制上述光学像的摄影，

上述控制部在动态图像摄影中进行静态图像的摄影的情况下，关于动态图像的多个帧，将与动态图像的1帧相当的时间分割为较长时间和较短时间而进行曝光，利用上述摄像处理部进行处理来取得多个图像数据，关于上述多个帧，对与上述较短时间的曝光对应的图像数据进行被摄体像的位置对准并进行合成，记录为静态图像数据，并且关于上述多个帧，将与上述较长时间的曝光对应的图像数据分别记录为上述动态图像的多个帧中的1帧。

8.根据权利要求7所述的摄像装置，其中，

上述控制部关于上述多个帧，在进行了与1帧内所分割的较短时间对应的曝光后，进行与所分割的较长时间对应的曝光。

9.根据权利要求7所述的摄像装置，其中，

上述控制部关于上述多个帧，对与上述较长时间的曝光对应的图像数据乘以如下增益，分别记录为上述动态图像的多个帧中的1帧，所述增益用于补充将与动态图像的1帧相当的时间分割为较长时间和较短时间来进行曝光的曝光时间的不足部分。

10.根据权利要求7所述的摄像装置，其中，

该摄像装置具有检测抖动量的抖动量检测部，

上述控制部根据由上述抖动量检测部检测出的抖动量，设定上述长时间和短时间的分割比率。

11.根据权利要求10所述的摄像装置，其中，

上述抖动量检测部根据上述图像数据之间的被摄体像的移动量检测抖动量。

12.一种摄像方法，处理对入射的光学像进行光电转换的摄像元件的输出信号来取得图像数据，拍摄并记录动态图像和静态图像，该摄像方法包括以下步骤：

在动态图像摄影中进行静态图像的摄影的情况下，将与动态图像的1帧相当的时间分割为多个进行曝光，进行摄像处理来取得多个图像数据，

进行上述多个图像数据的被摄体像的位置对准并合成多个图像数据，记录为静态图像数据，并且在不进行上述多个图像数据的被摄体像的位置对准的情况下合成多个图像数据，记录为动态图像数据的1帧；

所述摄像方法进一步包括以下步骤：

检测抖动量，

在由上述多个图像数据合成动态图像数据时，在上述抖动量比第1预定量大的情况下，在不进行被摄体像的位置对准的情况下对从多个图像数据中连续取得的多个图像数据进行合成来生成多个合成图像数据，对该多个合成图像数据进行被摄体像的位置对准并进行合成，记录为动态图像数据的1帧。

13.根据权利要求12所述的摄像方法，其中，所述摄像方法进一步包括以下步骤：

根据检测出的抖动量设定上述分割的数量。

14.根据权利要求13所述的摄像方法，其中，

根据上述图像数据之间的被摄体像的移动量来检测上述抖动量。

15.根据权利要求12所述的摄像方法，其中，

在由多个图像数据合成动态图像数据时，在上述抖动量比大于上述第1预定量的第2预定量大的情况下，对多个图像数据全部进行被摄体像的位置对准并进行合成，记录为动态图像数据的1帧。

16.根据权利要求12所述的摄像方法，其中，

根据上述多个图像数据之间的被摄体像的移动量进行上述多个图像数据的被摄体像的位置对准。

17.根据权利要求16所述的摄像方法，其中，

上述多个图像数据的被摄体像的位置对准是在上述多个图像数据中的最初取得的图像数据的被摄体像的位置处对准上述多个图像数据中的其他图像数据的被摄体像的位置。

18.一种摄像方法，具有对入射的光学像进行光电转换的摄像元件并对上述摄像元件的输出信号进行处理来取得图像数据，拍摄并记录动态图像和静态图像，该摄像方法包括以下步骤：

在动态图像摄影中进行静态图像的摄影的情况下，关于动态图像的多个帧，将与动态图像的1帧相当的时间分割为较长时间和较短时间进行曝光，进行摄像处理来取得多个图像数据，

关于上述多个帧，对与上述较短时间的曝光对应的图像数据进行被摄体像的位置对准并进行合成，记录为静态图像数据，并且关于上述多个帧，将与上述较长时间的曝光对应的图像数据分别记录为上述动态图像的多个帧中的1帧。

19.根据权利要求18所述的摄像方法，其中，

关于上述多个帧，在进行了与1帧内所分割的较短时间对应的曝光后，进行与所分割的较长时间对应的曝光。

20.根据权利要求18所述的摄像方法，其中，

关于上述多个帧，对与上述较长时间的曝光对应的图像数据乘以如下增益，分别记录为上述动态图像的多个帧中的1帧，所述增益用于补充将与动态图像的1帧相当的时间分割为较长时间和较短时间来进行曝光的曝光时间的不足部分。

21.根据权利要求18所述的摄像方法，其中，所述摄像方法还包括以下步骤：

检测抖动量，并根据检测出的抖动量，设定上述长时间和短时间的分割比率。

22.根据权利要求21所述的摄像方法，其中，

根据上述图像数据之间的被摄体像的移动量来检测上述抖动量。