CN108012089A - 摄像装置和摄像方法 - Google Patents

Abstract

提供摄像装置和摄像方法。根据本发明的一个方式，摄像装置(1)具有：摄像部(200)，其按照每个规定定时生成图像；帧分割部(111)，其根据是否是特定的拍摄状况，将摄像部(200)中按照每个规定定时使用的曝光时间分割成多个曝光时间，该多个曝光时间包含静态图像取得用的第1曝光时间和动态图像取得用的第2曝光时间；以及图像处理部(180)，其根据以第1曝光时间进行摄像而生成的图像来生成静态图像，使用以第2曝光时间进行摄像而生成的图像来生成构成动态图像的动态图像帧(Fm)。

Description

摄像装置和摄像方法

技术领域

本发明涉及摄像装置和摄像方法。

背景技术

近年来，动态图像的品质从高清画质提高至4K画质、8K画质。今后，期待构成动态图像的各个图像、即动态图像帧具有与以往静态图像同样的画质。此外，存在从拍摄到的动态图像提取静态图像等如下的需要：在希望拍摄的被摄体突然出现等时瞬间拍摄动态图像，然后从该动态图像提取包含希望拍摄的被摄体的场面作为静态图像。例如在日本特开2016-32214号公报中公开了与如下的动态图像拍摄模式的摄像装置有关的技术，该动态图像拍摄模式用于取得由适合静态图像的图像构成的动态图像的。

一般而言，对于动态图像中的各个动态图像帧和静态图像中的图像，其画质所要求的特征不同。例如，在动态图像中，以规定的帧率逐次显示图像。因此，在构成动态图像的各个图像中，相比于抖动不明显等具有完成度的高度而言，更加重视并要求与前后的图像之间具有自然的连接。因此，在动态图像用的图像中，最好存在某种程度的抖动。另一方面，例如，在静态图像中，持续显示构成该静态图像的图像。因此，在构成静态图像的各个图像中，重视并要求抖动不明显等具有作为1张图像的完成度的高度。进而，例如，在由以特定间隔得到的静态图像构成的延时动态图像的情况下，在构成该延时动态图像的各个图像中，也要求与构成静态图像的各个图像同样的特征。这样，例如在由具有适合静态图像的特征的图像构成的动态图像中，各个动态图像帧间的连接可能不顺畅，从而无法成为适合鉴赏的动态图像。同样，如果从适合动态图像的图像中提取静态图像，则该图像作为静态图像的画质可能劣化。

发明内容

本发明的目的在于，提供能够同时取得高品质的静态图像和高品质的动态图像的摄像装置和摄像方法。

根据本发明的一个方式，摄像装置具有：摄像部，其按照每个规定定时生成图像；帧分割部，其根据是否是特定的拍摄状况，将所述摄像部中按照每个规定定时使用的曝光时间分割成多个曝光时间，该多个曝光时间包含静态图像取得用的第1曝光时间和动态图像取得用的第2曝光时间；以及图像处理部，其根据以所述第1曝光时间进行摄像而生成的图像来生成静态图像，使用以所述第2曝光时间进行摄像而生成的图像来生成构成动态图像的动态图像帧。

根据本发明的一个方式，摄像方法包括以下步骤：按照每个规定定时进行摄像而生成图像；根据是否是特定的拍摄状况，将每个所述规定定时的摄像中使用的曝光时间分割成多个曝光时间，该多个曝光时间包含静态图像取得用的第1曝光时间和动态图像取得用的第2曝光时间；根据以所述第1曝光时间进行摄像而生成的图像来生成静态图像；以及使用以所述第2曝光时间进行摄像而生成的图像来生成构成动态图像的动态图像帧。

根据本发明，能够提供能够同时取得高品质的静态图像和高品质的动态图像的摄像装置和摄像方法。

附图说明

图1是示出第1实施方式的摄像装置的结构例的概略的框图。

图2A是示出使用第1实施方式的摄像装置的拍摄时的状况的一例的图。

图2B是示出第1实施方式的拍摄时的构图与被摄体之间的关系的一例的图。

图2C是示出从第1实施方式的动态图像切出静态图像的情况的一例的图。

图3是示出第1实施方式的连续动态图像拍摄中的各个图像和曝光时间之间的关系的一例的时序图。

图4是示出第1实施方式的摄像装置控制处理的一例的流程图。

图5是示出第1实施方式的连续动态图像拍摄处理的一例的流程图。

图6是示出第2实施方式的连续动态图像拍摄处理中的各个图像和曝光时间之间的关系的一例的时序图。

图7是示出第4实施方式的伴有延时动态图像生成处理的连续动态图像拍摄处理的一例的流程图。

图8是示出第4实施方式的延时动态图像生成处理的一例的流程图。

图9是示出第4实施方式的基于图像特征的判定处理的一例的流程图。

图10是示出第4实施方式的当前图像是否适合的判定处理的一例的流程图。

图11是示出第4实施方式的已记录的图像是否适合的判定处理的一例的流程图。

具体实施方式

[第1实施方式]

＜摄像装置的结构＞

图1示出本发明的第1实施方式的摄像装置1的结构例的概略，参照图1对本实施方式的摄像装置1的结构进行说明。

摄像装置1具有运算部100、摄像部200。运算部100主要进行摄像装置1的各部的控制、图像处理。运算部100具有拍摄控制部110和图像处理部180。拍摄控制部110例如进行动态图像的帧率、拍摄模式、参数等的设定和与拍摄有关的控制。拍摄控制部110具有帧分割部111。帧分割部111例如设定与摄像的目的对应的多个快门速度，此外，以该快门速度使摄像部200进行摄像。即，帧分割部111设定与摄像的目的对应的多个曝光时间，此外，以该曝光时间使摄像部200进行摄像。这样，本实施方式的各个快门速度可以分别替换为各个曝光时间。图像处理部180例如根据摄像部200取得的图像来生成静态图像和动态图像。此外，图像处理部180对各个图像实施适合其用途的图像处理。摄像部200例如具有摄像光学系统和摄像元件。摄像部200根据经由摄像光学系统在摄像元件的摄像面上形成的像，生成图像数据。摄像光学系统例如包含能够改变焦距的变焦光学系统。摄像部200按照每个规定的定时生成图像。该规定的定时例如可以是预先设定的拍摄间隔，也可以是根据用户的操作而决定的拍摄间隔。例如，在预先设定的拍摄间隔中包含动态图像拍摄的帧率、连拍的拍摄间隔等。

运算部100还具有判定部120、压缩控制部130、取舍选择部140、记录控制部150、尺寸调整部160、显示控制部170。

判定部120例如进行与摄像装置1的动作有关的判定。该判定中包含后述的是否进行连续动态图像拍摄处理的判定等。压缩控制部130例如进行动态图像数据的压缩。压缩控制部130可以判定根据哪种形式进行动态图像数据的压缩。进而，压缩控制部130例如可以针对通过静态图像拍摄得到的静态图像和声音进行压缩，也可以负责针对动态图像数据的跳帧、分割、删除和结合等处理。取舍选择部140例如判定在根据用户的操作而取得的静态图像或动态图像中，对哪个进行记录或删除。记录控制部150涉及摄像装置1的记录或存储的动作。尺寸调整部160主要进行图像的尺寸调整处理。另外，尺寸调整部160可以包含压缩控制部130而进行动态图像的压缩，也可以包含在压缩控制部130中。显示控制部170生成用于后述的显示部420的显示的显示信息。该显示信息例如包含与用于用户操作的显示有关的信息。

运算部100或运算部100具有的各要素包含Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、Field Programmable Gate Array(FPGA)、Digital Signal Processor(DSP)或Graphics Processing Unit(GPU)等集成电路等。运算部100或运算部100具有的各要素可以分别由1个集成电路等构成，也可以由多个集成电路等组合而构成。此外，运算部100具有的各要素中的2个以上可以由1个集成电路等构成。例如根据记录部320或集成电路等在其内部具有的记录区域中记录的程序来进行这些集成电路等的动作。

摄像装置1还具有暂时记录部310、记录部320、操作部410、显示部420、传感器部510、时钟部520。

暂时记录部310临时存储包含所取得的图像的信息。暂时记录部310具有Fs存储部311、Fc存储部312、Fm存储部313。暂时记录部310存储的图像中，Fs存储部311存储用于静态图像的生成的图像和与该图像有关的信息，Fc存储部312存储与动态图像的生成有关的图像和与该图像有关的信息，Fm存储部313存储构成所生成的动态图像的图像和与该图像有关的信息。暂时记录部310例如是Static Random Access Memory(SRAM)或Dynamic RandomAccess Memory(DRAM)这样的易失性存储器，但是也可以是闪存这样的非易失性存储器。此外，暂时记录部310和暂时记录部310具有的各要素可以分别由2个存储器等构成，也可以由多个存储器等组合而构成。此外，暂时记录部310具有的各要素中的2个以上可以由2个存储器构成。

记录部320例如是闪存这样的非易失性存储器。通过记录控制部150在记录部320中记录摄像装置1取得或生成的图像和与各个图像有关的信息。记录部320中记录的内容可以包含有上述的暂时记录部310存储的内容。记录部320具有条件部330。条件部330中例如记录有判定部120进行的判定处理所涉及的各种条件、摄像装置1的动作所涉及的各种设定。

操作部410取得用户的操作结果作为输入，将取得结果作为操作信号而输出到运算部100。操作部410例如包含按压按钮、旋钮、拨盘、滑块、触摸面板。显示部420例如包含液晶显示器，根据显示控制部170生成的显示信息进行显示。传感器部510包含对方位和位置、振动等进行计测或检测的传感器。传感器部510将这些多个传感器检测到的值输出到运算部100。传感器部510只要能够检测图像取得时的摄像装置1的状况即可，可以还具有对倾斜、加速度、音量、温度、亮度、气压等进行计测的传感器，也可以包含在摄像装置1的外部设置的外部传感器。时钟部520生成时刻信息并输出到运算部100。传感器部510和时钟部520的输出例如在运算部100从摄像部200取得图像时一起被取得，并与图像一起暂时记录或记录。这样取得的传感器部510的输出例如在运算部100判定当前的摄像装置1的状况是否是特定的拍摄状况时使用。此外，运算部100在判定为是特定的拍摄状况的情况下，使摄像部200开始连续动态图像拍摄。另外，后面叙述特定的拍摄状况和连续动态图像拍摄。

＜摄像装置的动作的概要＞

这里，图2A示出使用第1实施方式的摄像装置1进行拍摄时的状况的一例，图2B示出该拍摄时的构图和被摄体之间的关系的一例，图2C示出从拍摄的动态图像切出静态图像的情况下的一例。例如，如图2A所示，有时在用户U1手持摄像装置1时，突然出现希望拍摄的被摄体。这里，以出现了鸟O1作为用户U1希望拍摄的被摄体的情况为例进行说明。用户U1为了拍摄图2B所示鸟O1，即使未得到最佳的构图，当鸟O1进入视场角I1内时，也瞬间反应而例如开始动态图像拍摄(特定的拍摄状况)。在这样的动态图像拍摄中，由于被摄体的运动较快等理由，用户U1难以在全部过程中以适合被摄体的构图进行拍摄。该情况下，作为动态图像作品是失败的，但是，例如如图2C所示，如果从构成动态图像的图像中仅提取出图像I2、图像I3、图像I4所示的适合于希望拍摄的被摄体即鸟O1的构图的图像，则能够得到可进行鉴赏的静态图像。另外，图像处理部180可以对并非适合于希望拍摄的被摄体即鸟O1的构图的图像实施裁剪加工等，而生成适合于鸟O1的构图的图像。

一般而言，对于适合于再现或鉴赏的动态图像的各个图像、即动态图像帧和适合于再现或鉴赏的静态图像，其画质所要求的特征不同。例如，在动态图像的再现时，以规定的帧率逐次显示图像(在规定的定时得到的图像帧)。因此，在构成动态图像的各个动态图像帧中，相比于抖动不明显等具有作为1张图像的完成度的高度而言，更加重视并要求与其前后的动态图像帧之间具有自然的连接。因此，一般而言，动态图像用的摄像的曝光时间变长。另一方面，例如，在静态图像的再现时，持续显示该静态图像。因此，在静态图像中，重视并要求抖动不明显等具有作为1张图像的完成度的高度。因此，一般而言，静态图像用的摄像的曝光时间比动态图像用的摄像的曝光时间短。

因此，如上所述，在切出适合被摄体的构图的动态图像帧作为静态图像的情况下，该静态图像是具有适合动态图像的特征的图像，可能不具有符合静态图像的特征。另一方面，如果取得由具有符合静态图像的特征的图像构成的动态图像，则虽然适合静态图像的切出，但是，可能无法成为适合再现或鉴赏的动态图像。因此，例如需要如下的拍摄方法，即，在得到用于生成在各个动态图像帧之间具有连接的动态图像的图像的同时，能够得到适合作为静态图像的图像。

针对这样的需要，本实施方式的摄像装置1进行如下的连续动态图像拍摄，即，在动态图像拍摄中，按照每个规定定时重复交替地进行用于取得静态图像的摄像和用于取得动态图像的摄像。图3的时序图示出第1实施方式的连续动态图像拍摄中的各个图像和曝光时间之间的关系的一例，参照图3对静态图像和动态图像帧的生成进行说明。另外，将通过连续动态图像拍摄而取得的图像称作连拍帧，将由该连拍帧构成的图像的集合称作连拍图像群。

如图3所示，设与动态图像拍摄的1帧相当的时间为Tf。在连续动态图像拍摄中，本实施方式的拍摄控制部110按照每个Tf进行包含静态图像取得用的摄像和动态图像取得用的摄像在内的多次摄像，取得包含用于生成静态图像的静态图像帧Fs和用于生成动态图像的补充帧Fc在内的连拍帧。因此，本实施方式的摄像部200能够表现为，按照每个规定定时(例如Tf)生成图像(例如连拍帧，动态图像帧Fm)。

在取得连拍帧时，帧分割部111根据取得动态图像帧Fm所需要的曝光量，决定动态图像帧Fm取得用的曝光时间。帧分割部111将以1次摄像达到该曝光时间的快门速度决定为动态图像帧Fm取得用的快门速度。此外，帧分割部111同样地根据静态图像帧Fs取得用的曝光时间(第1曝光时间)，决定并设定静态图像帧Fs取得用的快门速度。以下，将动态图像帧Fm取得用的快门速度记载为Tsm，将静态图像帧Fs取得用的快门速度记载为Tss。此时，帧分割部111例如以使得成为适合视场角的整体的曝光时间的方式设定Tsm，例如以使得成为适合关注被摄体的曝光时间的方式决定Tss。这还能够表现为，帧分割部111例如以使得成为适合视场角整体的曝光时间的方式决定动态图像帧Fm取得用的曝光时间，例如以使得成为适合关注被摄体的曝光时间的方式决定第1曝光时间。进而，帧分割部111将动态图像帧Fm取得用的曝光时间和静态图像帧Fs取得用的曝光时间的差分设为补充帧Fc取得用的曝光时间(第2曝光时间)。即，帧分割部111计算Tsm和Tss的差分作为补充帧Fc取得用的快门速度而进行设定。以下，将补充帧Fc取得用的快门速度记载为Tsc。

这样，本实施方式的帧分割部111将摄像部200中按照每个规定定时使用的曝光时间分别为多个曝光时间，该多个曝光时间包含静态图像取得用的第1曝光时间和动态图像取得用的第2曝光时间。另外，按照每个该规定定时使用的曝光时间例如与动态图像帧Fm取得用的曝光时间。进而，第2曝光时间能够表现为动态图像帧Fm取得用的曝光时间与第1曝光时间的差分。

如图3的连拍帧的行所示，拍摄控制部110以Tss使摄像部200对静态图像帧Fs进行摄像，以Tsc使摄像部200对补充帧Fc进行摄像。这样，如图3的静态图像帧的行所示，按照每个Tf取得静态图像帧Fs。然后，图像处理部180根据静态图像帧Fs生成静态图像，对静态图像帧Fs和补充帧Fc进行合成而生成动态图像帧Fm。这样，如图3的动态图像帧的行所示，按照每个Tf，取得与以Tsm进行摄像的情况同样的动态图像帧Fm。即，静态图像取得用的摄像的曝光时间和动态图像取得用的摄像的曝光时间的合计是动态图像帧Fm取得用的曝光时间，与以Tsm进行摄像的情况下的曝光时间相等。

这能够表现为，图像处理部180根据以第1曝光时间进行摄像而生成的图像(例如，静态图像帧Fs)来生成静态图像，使用以第2曝光时间进行摄像而生成的图像(例如，补充帧Fc)来生成构成动态图像的动态图像帧Fm。此外还能够表现为，图像处理部180对以第1曝光时间进行摄像而生成的图像(例如，静态图像帧Fs)和以第2曝光时间进行摄像而生成的图像(例如，补充帧Fc)进行合成，生成动态图像帧Fm。

＜第1实施方式的摄像装置的动作＞

图4的流程图示出第1实施方式的摄像装置控制处理的一例，参照图4对摄像装置1的动作进行说明。

在步骤S101中，运算部100判定执行拍摄模式和再现模式中的哪个模式。该判定是基于与用户的操作对应地由操作部410或传感器部510输出的操作信号进行的。例如，详细后述，在通过传感器部510检测到用户在突然发现希望拍摄的被摄体等时进行的剧烈操作的情况下，运算部100判定为为了进行连续动态图像拍摄处理而向拍摄模式转移(特定的拍摄状况)。即，本步骤中的模式选择不限定于必须由用户手动进行选择的情况。在运算部100判定为向拍摄模式转移的情况下，摄像装置控制处理进行如步骤S102，在判定为向再现模式转移的情况下，摄像装置控制处理进入步骤S121。关于该特定的拍摄状况，可以根据通过摄像而得到的图像数据本身(构图、被摄体的表情)或其变化(被摄体的运动、照相机本身的运动)结果而进行判定，也可以通过用户的吃惊的声音、来自被摄体的声音、各种开关和操作部的操作被操作了等来进行判定。

在步骤S102中，运算部100取得摄像部200输出的图像数据。运算部100对该图像数据实施适当的图像处理，根据图像处理后的图像数据使显示部420开始实时取景显示。运算部100例如在拍摄模式的执行中继续实时取景显示。

在步骤S103中，运算部100根据操作部410、传感器部510等的输出，判定是否对摄像装置1进行了剧烈操作。即，可以判定是否是特定的拍摄状况。这里，进行了剧烈操作时是指，例如，用户突然发现了希望拍摄的被摄体时。参照图2A至图2C如上所述，这无关于用户是静态图像拍摄还是动态图像拍摄，总之是希望拍摄该被摄体时。这时，例如摄像装置1的框体的朝向或位置急剧变化。此外，例如用户在刚刚接通电源后马上进行释放操作，或在焦点未对准被摄体的状态下也进行释放操作。运算部100将这样的状态也判定为进行了剧烈操作。在判定为进行了剧烈操作(是特定的拍摄状况)的情况下，摄像装置控制处理进入步骤S104，在未判定为进行了剧烈操作的情况下，摄像装置控制处理进入步骤S105。

也可以利用加速度来判定这样的特定的拍摄状况。此外，在特定的拍摄状况下，不限于瞬间(とっさ)的拍摄，也可以包含与运动较快的被摄体对应的情况和不稳定的保持等的拍摄时。并且，也可以根据用户重新设定的瞬间的拍摄模式这样的模式设定来判定为是特定的拍摄状况。如果是始终应对这样的状况的照相机，则可以将其作为常用模式而始终判定为特定的拍摄状况。

在步骤S104中，运算部100进行连续动态图像拍摄处理。这里，图5的流程图示出第1实施方式的连续动态图像拍摄处理的一例，参照图5对连续动态图像拍摄处理中的摄像装置1的动作进行说明。另外，连续动态图像拍摄处理中的各个图像和曝光时间之间的关系，如参照图3上述的那样。

在步骤S201中，显示控制部170进行向用户示出开始连续动态图像拍摄的显示。运算部100具有的显示控制部170生成表示开始连续动态图像拍摄的显示信息，输出该显示信息而使显示部420进行显示。该显示可以是向用户传达是连续动态图像拍摄开始或执行中的形式，也可以是文字信息或基于图形、颜色的信息。显示控制部170可以仅在拍摄开始时进行该显示，也可以在正在进行连续动态图像拍摄的期间内持续显示。然后，连续动态图像拍摄处理进入步骤S202。

在步骤S202中，帧分割部111根据被摄体亮度决定动态图像帧Fm取得用的快门速度Tsm。在步骤S203中，帧分割部111根据被摄体亮度决定静态图像帧Fs取得用的快门速度Tss。此外，在步骤S204中，帧分割部111取得Tsm和Tss之间的差分，计算补充帧Fc取得用的快门速度Tsc。另外，例如由暂时记录部310存储这些设定的多个快门速度。

在步骤S205中，运算部100取得静态图像帧Fs而进行暂时记录。在本步骤中，拍摄控制部110以步骤S203中决定的Tss使摄像部200进行摄像。运算部100取得摄像部200进行摄像而得到的图像数据作为静态图像帧Fs。记录控制部150将静态图像帧Fs存储到暂时记录部310具有的Fs存储部311。

在步骤S206中，运算部100取得补充帧Fc并暂时记录。在本步骤中，拍摄控制部110以步骤S204中计算出的Tsc使摄像部200进行摄像。运算部100取得摄像部200进行摄像而得到的图像数据作为补充帧Fc。记录控制部150将补充帧Fc存储到暂时记录部310具有的Fc存储部312。

在步骤S207中，运算部100生成并记录动态图像数据。在本步骤中，图像处理部180对暂时记录部310存储的静态图像帧Fs和补充帧Fc进行合成而生成动态图像帧Fm。通过这样对静态图像帧Fs和补充帧Fc进行合成，摄像装置1能够得到与以Tsm进行摄像的情况同样的图像。记录控制部150将生成的动态图像帧Fm存储到暂时记录部310具有的Fm存储部313。运算部100根据动态图像帧Fm生成动态图像数据，将该动态图像数据记录到暂时记录部310或记录部320。

在步骤S208中，运算部100生成并记录静态图像。在本步骤中，图像处理部180根据暂时记录部310存储的静态图像帧Fs生成静态图像。记录控制部150根据需要对静态图像实施压缩并记录到记录部320。

在步骤S207和步骤S208中，图像处理部180针对例如动态图像所包含的各个动态图像帧Fm，进行不损失各动态图像帧Fm之间的顺畅度的对比度校正处理和灰度校正处理。此时，图像处理部180为了容易进行之后的编辑，也可以实施保留灰度的图像处理。另一方面，图像处理部180针对静态图像帧Fs或静态图像，进行各图像示出其自身的特征的静态图像的图像处理。此外，图像处理部180例如也可以进行适合其状况的特殊效果处理，以使生成的动态图像张弛有度。关于这样进行处理的结果，即使是相同的动态图像帧Fm，也不与图像处理前的动态图像帧Fm置换，而是可以另外记录在记录部320等。与这样的用途对应的图像处理可以在再现时被实施。此外，图像处理部180例如对静态图像帧Fs进行校正以使得看不出抖动，针对动态图像帧Fm，由于在再现时该动态图像帧Fm马上变化为下一个动态图像帧Fm，因此也可以不进行那么严格的校正。

在步骤S209中，运算部100进行是否结束连续动态图像拍摄的判定。关于结束连续动态图像拍摄的判定，例如，可以根据与用户的操作对应地由操作部410输出的操作信号来进行判定，也可以根据从连续动态图像拍摄的开始经过了规定时间来进行判定。在判定为不结束的情况下，连续动态图像拍摄处理返回步骤S203，在步骤S209中判定为结束之前，重复进行步骤S203至步骤S209的处理。在步骤S209中判定为结束的情况下，连续动态图像拍摄处理进入步骤S210。

在步骤S210中，运算部100对动态图像数据进行压缩并进行记录。在本步骤中，记录控制部150将压缩控制部130压缩后的动态图像数据记录到记录部320。然后，连续动态图像拍摄处理结束，进入摄像装置控制处理中的步骤S105。

这样，本实施方式的摄像装置1能够在按照每1帧生成适合再现或鉴赏的静态图像的同时，生成与以Tsm进行摄像的情况同样的动态图像帧Fm。另外，关于该重复处理中的步骤S203的处理，在存在较大的被摄体的曝光变化等需要变更Tss时适当进行即可，在没有变化的情况下也可以不进行。另外，当存在这样的曝光变化时，也可以不变更Tss，而是变更摄像的感光度来进行摄像。此外，希望将静态图像帧Fs取得用的曝光时间限制为不会引起手抖的范围的时间。例如在由于关注被摄体较暗，该曝光时间变长而超过手抖极限的时间等情况下，可以通过放大来弥补曝光的不足部分。关于连续动态图像拍摄时的Tss，可以在如下的时间的范围内进行设定，即，能够在步骤S208中对静态图像帧Fs进行放大而生成静态图像、并且不超过从同时取得的动态图像的1帧的时间Tf除去摄像相关的处理所要的时间后的时间。另外，叙述了运算部100在静态图像和动态图像的生成时分别实施合适的图像处理，但是，也可以在静态图像帧Fs、补充帧Fc的取得时或动态图像的记录时分别实施图像处理。

再次参照图4，继续对步骤S104中的连续动态图像拍摄处理结束后的摄像装置1的动作进行说明。在步骤S105中，运算部100例如根据与用户的操作对应地由操作部410输出的操作信号，判定是否进行模式和参数设定。摄像装置控制处理在判定为进行设定的情况下进入步骤S106。在步骤S106中，运算部100例如进行艺术滤镜的设定、与曝光校正等静态图像拍摄或动态图像拍摄处理相关的模式和参数设定。所设定的条件等例如存储在暂时记录部310在。在步骤S105中判定为不进行设定的情况下和步骤S106中的设定后，摄像装置控制处理进入步骤S107。

在步骤S107中，运算部100例如根据与用户的操作对应地由操作部410输出的操作信号，进行是否进行静态图像拍摄的判定。用户的操作例如是释放按钮的按下。在判定为进行静态图像拍摄的情况下，摄像装置控制处理进入步骤S108。在步骤S108中，运算部100进行静态图像的拍摄动作，进行静态图像的取得、图像处理、记录等。在步骤S107中判定为不进行静态图像拍摄的情况下和步骤S108中的静态图像拍摄后，摄像装置控制处理进入步骤S109。

在步骤S109中，运算部100进行例如根据与用户的操作对应地由操作部410输出的操作信号，判定是否进行动态图像拍摄的判定。在判定为开始动态图像拍摄的情况下，摄像装置控制处理进入步骤S110。在步骤S110中，运算部100进行动态图像的拍摄动作，进行动态图像帧的取得、图像处理、压缩、记录等。在S109中判定为不开始动态图像拍摄的情况下和步骤S110中的动态图像拍摄后，摄像装置控制处理返回步骤S101。

在步骤S121中，运算部100例如根据与用户的操作对应地由操作部410输出的操作信号，决定对哪个静态图像或动态图像进行再现。此时，运算部100例如使显示部420显示记录部320中记录的静态图像或动态图像的列表。在步骤S122中，运算部100根据用户的操作来决定例如将静态图像作为幻灯片而进行再现等通过哪个再现方法进行再现。在步骤S123中，运算部100通过所选择的再现方法开始所选择的动态图像或静态图像的再现。

在步骤S124中，运算部100进行是否结束再现的判定。在该判定中，运算部100例如在操作部410没有检测到用户的操作的情况下、或虽然操作部410检测到用户的操作但是并非与再现结束有关的操作的情况下，判定为不结束再现，在操作部410检测到用户的与再现结束有关的操作等的情况下，判定为结束。在判定为结束的情况下，摄像装置控制处理结束再现而返回步骤S101，在判定为不结束的情况下，摄像装置控制处理进入步骤S125。

在步骤S125中，运算部100进行是否切换再现方法的判定。在该判定中，运算部100例如在操作部410没有检测到用户的操作的情况下、或虽然操作部410检测到用户的操作但是并非与再现方法的切换有关的操作的情况下，判定为不进行再现方法的切换，在操作部410检测到用户的与再现方法的切换有关的操作等情况下，判定为进行再现方法的切换。在判定为进行切换的情况下，摄像装置控制处理进入步骤S126。

在步骤S126中，运算部100取得操作部410的输出来判定用户的选择的再现方法，通过该再现方法开始再现。在步骤S125中判定为不进行再现方法的切换的情况下和步骤S126中开始了再现后，摄像装置控制处理返回步骤S124，在步骤S124中判定为结束再现之前，重复步骤S124至步骤S126的处理。

另外，摄像装置1为了与上述的摄像装置控制处理有关的各个处理的用户的操作，例如可以分别设置与拍摄模式和再现模式的选择或切换、连续动态图像拍摄开始、静态图像拍摄、动态图像拍摄、再现方法的选择、再现开始、再现中断、再现结束、再现方法的切换等各个操作对应的操作部位。

另外，根据基于被摄体亮度而决定的Tsm和Tss的值的不同，动态图像帧Fm可以不通过由动态图像取得用的摄像得到的图像和静态图像帧Fs的合成来生成。该情况下，例如与静态图像取得用的摄像(以第1曝光时间进行的摄像)一起进行的动态图像取得用的摄像(以第2曝光时间进行的摄像)的曝光时间例如相当于动态图像帧Fm取得用的曝光时间。此外，仅根据通过动态图像取得用的摄像得到的图像来生成动态图像帧Fm，从而生成动态图像。此时，按照每个规定定时使用的曝光时间等于第1曝光时间和第2曝光时间之和。

此外，以用户的剧烈操作是开始连续动态图像拍摄的触发而进行了说明，但是，连续动态图像拍摄例如也可以通过录像按钮的按下而开始。本实施方式的摄像装置1不限于瞬间的情况，在希望拍摄运动快的被摄体的情况下，希望拍摄运动会、婚礼等动态图像和静态图像双方等情况下也是有效的。

说明了本实施方式的摄像装置1在连续动态图像拍摄中不变更动态图像帧Fm取得用快门速度Tsm而进行摄像的情况，但不限于此。连续动态图像拍摄处理的步骤S203至步骤S209的重复处理也可以包含步骤S202而进行。此时帧分割部111可以与被摄体或视场角整体的曝光对应地更新Tsm，与所更新的Tsm对应地更新Tss和Tsc。

说明了本实施方式的摄像装置1按照每个Tf进行2次摄像来取得连拍帧的情况，但是不限于此。只要在能够得到足够生成静态图像或动态图像的曝光的范围内，摄像装置1也可以缩短与各个摄像有关的曝光时间，在Tf期间内进行任何次数的摄像。

＜第1实施方式的摄像装置的优点＞

本实施方式的摄像装置1具有的帧分割部111能够按照连续动态图像拍摄中的每1帧取得适合再现或鉴赏的静态图像。此外，帧分割部111还按照连续动态图像拍摄中的每1帧，取得通过动态图像取得用的摄像而生成的补充帧Fc。即，摄像装置1连续地取得适合生成静态图像的静态图像帧Fs、和与该静态图像帧Fs合成而适合生成动态图像的作为动态图像帧Fm的补充帧Fc，由此，能够同时取得适合再现或鉴赏的静态图像和动态图像。

这样，通过使用本实施方式的摄像装置1，例如当用户突然发现希望拍摄的被摄体等时，不会错过拍摄的机会，不仅能够取得动态图像，还能够取得适合再现或鉴赏的画质的静态图像。此外，本实施方式的摄像装置1根据是否检测到用户的剧烈操作(是否是特定的拍摄状况)的结果而开始连续动态图像拍摄，因此，即使是希望瞬间地拍摄的状况下，用户也仅使摄像装置1朝向关注被摄体即可，不需要其他的操作。进而，本实施方式的摄像装置1不限于瞬间希望拍摄的情况，还能够在用户希望取得静态图像和动态图像双方时(特定的拍摄状况)使用。

另一方面，在判定为不是特定的拍摄状况等情况下，不进行该连续动态图像拍摄。此时，摄像装置1不需要执行参照图3说明的基于分割曝光的连续动态图像拍摄，因此，不需要进行与增益提高等有关的复杂控制、存储器的确保等的设定变更。即，摄像装置1在不进行伴有分割曝光的连续动态图像拍摄的情况下，不需要进行不需要的处理，能够更高速地进行与摄像装置1的动作有关的处理。这样，本实施方式的摄像装置1能够选择是否进行分割曝光。因此，用户如果使用本实施方式的摄像装置1，则当不需要连续动态图像拍摄时，能够高速进行与摄像装置1的动作有关的处理。

[第2实施方式]

对本发明的第2实施方式进行说明。这里，对与第1实施方式的不同点进行说明，对相同的部分标注相同的标号并省略其说明。在第1实施方式中，帧分割部111根据被摄体亮度在摄像前确定了1个Tss。与此相对，在本实施方式中，使用AE包围，按照每个规定定时即Tf，使用多个Tss进行摄像。判定部120对在连续动态图像拍摄的特定的帧中以不同的Tss拍摄而取得的多个静态图像帧Fs进行评价，可以根据该评价决定在其以后的帧中的适当的Tss。

图6中作为时序图而示出第2实施方式的连续动态图像拍摄处理中的各个图像与曝光时间之间的关系的一例，参照图6进行说明。帧分割部111在Tsm的决定后，例如设定第1静态图像帧Fs1取得用的快门速度、第2静态图像帧Fs2取得用的快门速度、第3静态图像帧Fs3取得用的快门速度。以下，将第1静态图像帧Fs1取得用的快门速度记载为Tss1、第2静态图像帧Fs2取得用的快门速度记载为Tss2、第3静态图像帧Fs3取得用的快门速度记载为Tss3。

帧分割部111计算Tsm与Tss1的差分而设定第1补充帧Fc1取得用的快门速度。同样，帧分割部111计算Tsm与Tss2的差分而设定第2补充帧Fc2取得用的快门速度，计算Tsm与Tss3的差分而设定第3补充帧Fc3取得用的快门速度。以下，将第1补充帧Fc1取得用的快门速度记载为Tsc1、第2补充帧Fc2取得用的快门速度记载为Tsc2、第3补充帧Fc3取得用的快门速度记载为Tsc3。

拍摄控制部110例如在第1帧中，使用Tss1和Tsc1使摄像部200对第1静态图像帧Fs1和第1补充帧Fc1进行摄像。图像处理部180对第1静态图像帧Fs1和第1补充帧Fc1进行合成而生成第1动态图像帧Fm1，此外，根据第1静态图像帧Fs1生成第1静态图像。然后，运算部100与第1实施方式中上述的情况同样地，进行图像处理、记录等。此时，Fs存储部311至少存储第1静态图像帧Fs1或生成静态图像。

同样地，运算部100在第2帧中，使用Tss2和Tsc2取得第2静态图像帧Fs2和第2补充帧Fc2，生成第2动态图像帧Fm2和第2静态图像，进行图像处理和记录等。此外，运算部100在第3帧中，使用Tss3和Tsc3取得第3静态图像帧Fs3和第3补充帧Fc3，生成第3动态图像帧Fm3和第3静态图像，进行图像处理和记录等。

这样，本实施方式的帧分割部111设定多个第1曝光时间(Tss)，使用按照每个规定定时(Tf)而不同的第1曝光时间使摄像部200进行摄像。

判定部120可以对这样得到的多个静态图像帧或多个静态图像进行评价，判定Tss1、Tss2和Tss3中的哪个快门速度合适。帧分割部111可以根据该判定的结果决定以后的帧中的Tss。另外，在连续动态图像拍摄的中途被摄体的曝光发生了大幅变化等情况下，运算部100可以如上所述重新设定Tss，对使摄像部200摄像而得到的静态图像帧或静态图像进行评价，根据评价的结果更新Tss。此外，判定部120可以按照每帧进行上述的判定，从判定为合适的曝光的图像的时点起以取得该图像的曝光时间进行摄像，也可以是，在第4帧以后，也通过AE包围而重复使用例如3个曝光时间来进行摄像。在重复使用3个曝光时间而重复进行摄像的情况下，判定部120可以例如在拍摄结束后进行上述的判定，根据该判定的结果来提取适合于被摄体的曝光的静态图像帧。此外，也可以对第1静态图像帧Fs1、第2静态图像帧Fs2、第3静态图像帧Fs3中的至少2个进行High Dynamic Range(HDR)合成而生成静态图像。

本实施方式的摄像装置1例如可以根据被摄体亮度的不同，在Tf的期间内取得第1静态图像帧Fs1、第2静态图像帧Fs2、第3静态图像帧Fs3，并对它们进行评价。

说明了本实施方式的摄像装置1与3种曝光状态对应地以3个相互不同的曝光时间进行摄像的情况，但是不限于此。摄像所使用的曝光时间的数量可以是2个，也可以是3个以上的多个。此外，即使不使用快门速度，而使用多个光圈值或ISO感光度来使曝光变化，也能够得到与本实施方式的技术同样的效果。

此外，第1实施方式和本实施方式的技术例如还能够仅在静态图像用的拍摄中，使用对焦包围而按照每帧以不同的对焦状态进行拍摄。该情况下，不需要在拍摄前严格地对焦于被摄体，即使是瞬间的拍摄也能够适当地捕捉被摄体。另外，还可以组合使用AE包围和对焦包围，来实施连续动态图像拍摄。

＜第2实施方式的摄像装置的优点＞

本实施方式的摄像装置1进行多个曝光下的摄像，能够同时取得静态图像帧Fs和动态图像帧Fm，除了第1实施方式能够得到的优点以外，还具有以下优点。本实施方式的摄像装置1能够以多个曝光条件取得静态图像帧Fs。摄像装置1能够对通过多个曝光取得的多个静态图像帧Fs进行评价，决定或更新静态图像帧Fs取得用的快门速度Tss。因此，本实施方式的摄像装置1能够与拍摄环境和被摄体的状况无关，不使动态图像的曝光变化，在仅静态图像不同的条件下取得图像。即，如果使用本实施方式的摄像装置1，则用户能够同时取得更适当的画质的静态图像和动态图像。

[第3实施方式]

对本发明的第3实施方式进行说明。这里，对与第1实施方式或第2实施方式的不同点进行说明，对相同的部分标注相同的标号并省略其说明。第1实施方式或第2实施方式的摄像装置1即使在瞬间的拍摄时也能够同时取得适当画质的静态图像和动态图像。另一方面，这些静态图像和动态图像中，出现拍摄者无法追随被摄体的运动的场面等的在鉴赏时不需要的图像大量存在。

该情况下，如参照图2C上述的那样，仅提取出具有适合被摄体的构图或被包含摄体的图像，或者对具有适合被摄体的构图的图像进行裁剪加工等而进行生成即可。但是，上述的实施方式的摄像装置1按照动态图像的每个帧而生成静态图像，因此，特别是在拍摄时间长的情况下，用户难以确认全部所生成的大量静态图像。因此，在本实施方式的技术中，在通过连续动态图像拍摄而生成的静态图像中判定并选出上述静态图像，并进行生成。由此，摄像装置1能够向用户同时提供适合再现或鉴赏的多个静态图像和动态图像。

这里，对本实施方式的摄像装置1的各部和各部的动作进行说明。判定部120判定静态图像是否具有适合再现或鉴赏的画质或构图。该判定例如判定该图像是否是适当的曝光，是否包含被摄体，在包含被摄体的情况下是否是适合被摄体的构图等。

取舍选择部140根据判定部120的判定或与用户的操作对应的操作部410的输出，对要记录的静态图像进行取舍选择。图像处理部180可以对例如判定部120判定为是适当画质的图像并且包含被摄体的静态图像实施裁剪加工等，生成适合被摄体的构图的静态图像。

暂时记录部310逐次存储由判定部120判定为具有适合再现或鉴赏的画质或构图的图像、由取舍选择部140进行取舍选择的图像、由图像处理部180生成的图像等。即，运算部100的各部对暂时记录部310存储的图像进行处理，并存储其结果。

另外，在经过这样的判定而进行取舍选择后，例如在时间上连续等不存在被摄体的变化或变化较少的情况下，取舍选择部140可以根据这些图像间的被取得的时间间隔而进一步对静态图像进行取舍选择。这些判定和取舍选择的条件等记录在记录部320中。

此外，叙述了对静态图像进行上述的判定，但不限于此。关于上述的判定、取舍选择等处理，可以对静态图像帧Fs进行，也可以对动态图像帧Fm进行。例如当对静态图像帧Fs进行上述的判定时，图像处理部180可以仅根据被判定为具有适合再现或鉴赏的画质或构图的静态图像帧Fs来生成静态图像。

本实施方式的摄像装置1处理具有第1实施方式和第2实施方式中能够得到的优点以外，还具如下优点：用户不需要在拍摄后进行取舍选择，就能够取得仅由具有适合再现或鉴赏的画质和被摄体的构图的图像构成的静态图像群。

[第4实施方式]

对本发明的第4实施方式进行说明。这里，对与第1实施方式、第2实施方式或第3实施方式的不同点进行说明，对相同的部分标注相同的标号并省略其说明。

例如，上述的实施方式的摄像装置1生成的静态图像可以作为1张静态图像而进行鉴赏，但是，也可以作为由多个静态图像构成的示出拍摄的动态图像的概要的动态图像、即延时动态图像而进行鉴赏。因此，本实施方式的摄像装置1判定所生成的静态图像是否适合延时动态图像，生成由被判定为适合的图像构成的、具有连续性和故事性的延时动态图像。

本实施方式的摄像装置控制处理在步骤S110中，代替动态图像拍摄处理而进行连续动态图像拍摄处理和延时动态图像生成处理，或者在动态图像拍摄处理基础上追加进行连续动态图像拍摄处理和延时动态图像生成处理。图7的流程图示出第4实施方式的伴有延时动态图像生成处理的连续动态图像拍摄处理的一例，参照图7对延时动态图像生成处理进行说明。另外，本实施方式的各个判定处理中的判定条件和阈值分别预先记录在条件部330中。此外，阈值也可以由用户设定。

在步骤S301中，运算部100与参照图5上述的第1实施方式的连续动态图像拍摄处理中的步骤S201同样地，显示开始伴有延时动态图像生成处理的连续动态图像拍摄处理的意思。

在步骤S302至步骤S308中，运算部100进行与第1实施方式的连续动态图像拍摄处理中的步骤S203至步骤S208同样的处理。即，运算部100取得静态图像帧Fs和补充帧Fc，生成动态图像帧Fm并暂时记录，生成静态图像和动态图像，实施图像处理而进行记录。

另外，在本实施方式的连续动态图像拍摄处理中，在步骤S305中，运算部100还进行如下处理：取得静态图像帧Fs取得时的传感器部510和时钟部520的输出，存储在暂时记录部310中。这里，后面详细叙述，所存储的传感器部510和时钟部520的输出用于判定所生成的静态图像是否适合作为构成延时动态图像的图像。此外，在步骤S308中，运算部100还进行将所生成的静态图像存储在暂时记录部310中的处理。以下，将这里暂时记录的静态图像的集合称作第1图像群。

在步骤S309中，运算部100进行后述的延时动态图像生成处理，选择并记录构成延时动态图像的图像的候选、即延时候选帧。在步骤S310中，运算部100例如根据与用户的操作对应的操作部410的输出，判定是否结束。在判定为不结束的情况下，连续动态图像拍摄处理返回步骤S303，在步骤S310中判定为结束之前，重复步骤S303至步骤S310的处理。在步骤S310中判定为结束的情况下，连续动态图像拍摄处理进入步骤S311。

在步骤S311中，运算部100根据暂时记录部310存储的延时候选帧，生成延时动态图像。此外，运算部100根据需要对所生成的动态图像和延时动态图像实施压缩处理，将它们记录在记录部320中。在记录后，连续动态图像拍摄处理结束，进入摄像装置控制处理的步骤S101。

这里，图8的流程图示出第4实施方式的延时动态图像生成处理的一例，参照图8对步骤S309中的延时动态图像生成处理进行说明。

在步骤S401中，运算部100进行与延时动态图像生成处理有关的预处理。运算部100从暂时记录部310存储的第1图像群中取得静态图像，检测具有该图像的图像特征并存储在暂时记录部310中，使显示部420显示该图像。这里检测的图像特征例如包含人物的面部、宠物、鸟、特征性的风景的一部分、亮度等。

在步骤S402中，运算部100例如根据与用户的操作对应的操作部410的输出，判定用户是否选择了该图像作为构成延时动态图像的图像的候选、即延时候选帧。在判定为进行了手动选择的情况下，延时动态图像生成处理进入步骤S410，在判定为未进行手动选择的情况下，延时动态图像生成处理进入步骤S403。此外，在本步骤中，用户还能够进行手动选择以使得不选择该图像作为延时候选帧。

在步骤S403中，运算部100进行基于图像的特征的判定处理。以下，将基于动态图像帧的特征的判定处理称作第1判定处理，将第1判定处理包含的各个判定条件称作第1判定条件。第1判定处理和第1判定条件的详细后述。在步骤S404中，判定部120对第1判定处理的结果进行评价。在判定为该图像满足第1判定条件的情况下，延时动态图像生成处理进入步骤S409，在判定为不满足的情况下，延时动态图像生成处理进入步骤S405。

在步骤S405中，运算部100根据对暂时记录部310存储的图像进行分析的结果，进行根据与已记录的图像之间的关系判定该图像是否适合作为构成延时动态图像的图像的判定处理。以下，将本判定处理称作第2判定处理，将第2判定处理包含的各个判定条件称作第2判定条件。第2判定处理和第2判定条件的详细后述。在步骤S406中，判定部120对第2判定处理的结果进行评价。在判定为该图像适合的情况下，延时动态图像生成处理进入步骤S409，在判定为不适合的情况下，延时动态图像生成处理进入步骤S407。

在步骤S407中，运算部100根据对暂时记录部310存储的图像进行分析的结果，根据与该图像之间的关系，仅判定已记录的图像是否适合作为构成延时动态图像的图像的判定处理。以下，将本判定处理称作第3判定处理，将第3判定处理包含的各个判定条件称作第3判定条件。第3判定处理和第3判定条件的详细后述。在步骤S408中，判定部120对第3判定处理的结果进行评价。在判定为已记录的图像适合的情况下，延时动态图像生成处理进入步骤S409，在判定为不适合的情况下，延时动态图像生成处理结束，进入连续动态图像拍摄处理的步骤S310。

在步骤S409中，取舍选择部140在与所选择的延时候选帧在时间上连续而类似的图像已经存在于延时候选帧中的情况下，按照第4判定条件根据延时动态图像选择适合的图像。另外，本步骤可以在步骤S402中判定为进行了手动选择后进行。关于基于第4判定条件的判定处理，可以根据延时候选帧之间的时间间隔而进行选择，分别对与第1至第3判定处理中的各条件之间的一致度进行采分，根据各个延时候选帧具有的得分来进行选择。此外，这样的取舍选择也可以通过用户的手动选择来进行。

在步骤S410中，运算部100将所选择的延时候选帧存储在暂时记录部310中，并使显示部420显示。这里，图像处理部180针对各个延时候选帧，进行适合于延时动态图像的图像处理。然后，延时动态图像生成处理结束，进入连续动态图像拍摄处理的步骤S310。

在连续动态图像拍摄处理的步骤S307和步骤S308中，对动态图像实施重视了动态图像帧Fm间的顺畅的迁移的处理，对静态图像实施适合于静态图像的处理。在本实施方式的延时动态图像生成处理中，根据连续动态图像拍摄处理中生成的静态图像生成延时动态图像，因此，各个延时候选帧具有适合于静态图像的特征。因此，也可以对构成延时动态图像的图像、即延时动态图像帧进行强调动态图像帧间的状况推移和变化的图像处理。这里进行的图像处理例如是提高对比度，并使静态图像的平衡的处理。运算部100也可以根据需要，在图像处理中进行使延时动态图像帧间的连接平滑的处理。另外，也可以在连续动态图像拍摄处理的步骤S311中的延时动态图像的记录时进行这样的图像处理。

这里，图9的流程图示出第4实施方式的基于图像特征的判定处理的一例，参照图9对第1判定处理进行说明。判定部120针对该图像，在步骤S501中判定是否具有特定特征图像部，在步骤S502中判定倾斜是否小于规定值，在步骤S503中判定是否合焦且适当曝光，在步骤S504中判定被摄体的姿势是否良好。在判定为该图像满足步骤S501至步骤S504的全部步骤的情况下，第1判定处理进入步骤S505。在步骤S505中，运算部100选择该图像作为延时候选帧，存储在暂时记录部310中。然后，第1判定处理结束。

在判定为该图像不满足步骤S501至步骤S504中的某个步骤的情况下，第1判定处理结束，进入延时动态图像生成处理中的步骤S404。即，此时，不选择该图像作为延时候选帧。

特定特征图像部除了包含步骤S401中暂时记录的图像特征以外，还可以包含风景的特征，例如山和河等自然物以及门、壁和建造物等人造物。关于图像的倾斜，可以以该动态图像帧具有的特征部为基准而通过图像处理来检测，还可以通过传感器部510的输出来检测。关于是否合焦且适当曝光的判定，可以表现为模糊是否较少、是否没有曝光的泛白和发黑等的判定。被判定姿势的被摄体例如是人物、宠物、鸟等。关于姿势是否良好的判定，例如作为基准的姿势、面部和手等的间隔等所涉及的阈值等被事先登记，与这些阈值进行比较从而进行判定。

这里，图10的流程图示出第4实施方式的当前图像是否适合的判定处理的一例，参照图10对第2判定处理进行说明。判定部120在步骤S601中对暂时记录部310存储的已记录的图像进行分析后，在步骤S602至步骤S605中根据分析结果对已记录的图像和当前图像之间的关系进行评价，判定当前图像是否适合延时候选帧。

判定部120针对已记录的图像和当前图像之间，在步骤S602中判定风景等特征图像部是否正在移动，在步骤S603中判定风景等特征图像部是否大幅变化，在步骤S604中判定是否由于特定操作而使传感器部510的输出值变化，在步骤S605中判定是否存在人物的姿势或表情的变化。在判定为当前图像满足步骤S602至步骤S605中的某一个条件的情况下，第2判定处理进入步骤S606。在步骤S606中，运算部100选择该图像作为延时候选帧，并存储到暂时记录部310。然后，第2判定处理结束。

在判定为当前图像不满足步骤S602至步骤S605中的任意一个条件的情况下，第2判定处理结束，进入延时动态图像生成处理中的步骤S406。此时，不选择该图像作为延时候选帧。

在步骤S601中被分析的已记录的图像即使是已经被选择的延时候选帧，也可以是第1图像群中包含的图像。此外，判定部120可以对全部已记录的图像进行分析，也可以仅对一部分图像进行分析。作为进行分析的对象的已记录的图像例如可以通过取得时刻的范围来决定，也可以根据与当前图像之间的相关性来决定。另外，运算部100可以将这里的分析结果存储到暂时记录部310，在下次第2判定处理时使用。

风景等特征图像部的移动例如是基于被摄体的移动、摄像装置1的移动等。风景等特征图像部的较大的变化无关于有无摄像装置1或特征的移动，例如是其大小、色彩等特征的经时变化，例如是燃放烟花时，鸟突然飞起时。特定操作包括摄像装置1的拍摄方向发生了变化、摄像装置1进行了加减速、摄像装置1从室内移动到室外或进行了相反的移动等。例如，在摄像装置1旋转、使进行拍摄的方向变化的情况下，陀螺仪传感器的输出值变化。此外，在摄像装置1进行了加减速的情况下，加速度传感器的输出值变化。判定部120在存在室内外的移动的情况下，例如也能够使用亮度传感器检测周围的光是否是自然光或使用位置传感器和地图信息检测移动。人物的姿势或表情的变化例如是人物回头时、举手时、人物哭泣时、欢笑时、发怒时等的变化。

这样，在图像或传感器输出值发生变化的情况下，应该出现了成为起因的情况，因此，判定部120检测其变化，判定为当前图像、即变化后的图像适合于延时候选帧。

这里，图11的流程图示出第4实施方式的已记录的图像是否适合的判定处理的一例，参照图11对第3判定处理进行说明。判定部120在步骤S701中对暂时记录部310存储的已记录的图像进行分析后，在步骤S702至步骤S705中根据分析结果对已记录的图像和当前图像之间的关系进行评价，判定已记录的图像是否适合于延时候选帧。

判定部120针对已记录的图像与当前图像之间，在步骤S702中判定图像是否在以特定的规则变化后稳定，在步骤S703中判定门是否在左右或上下、前后进行了开闭，在步骤S704中判定是否是在传感器部510的输出值变化后，在步骤S705中判定是否是人物的姿势或表情变化后。在判定为已记录的图像满足步骤S702至步骤S705中的某一个条件的情况下，第3判定处理进入步骤S706。在步骤S706中，运算部100选择该图像作为延时候选帧，将其存储到暂时记录部310。然后，第3判定处理结束。

在判定为已记录的图像不满足步骤S702至步骤S705中的任意一个条件的情况下，第3判定处理结束，进入延时动态图像生成处理中的步骤S408。此时，不选择该图像作为延时候选帧。

步骤S701中的已记录的图像的分析与步骤S601同样。另外，这里也可以引用暂时记录部310存储的步骤S601中的分析结果。步骤S702中的判定例如是飞翔的鸟落到树上的情况、走路后停止的情况、日落时等慢慢变暗后亮度的变化停止等情况。步骤S703中的判定例如判定是否存在针对建筑物的进出或针对电梯的进出等，防止由于门的存在而无法保持延时动态图像的连续性、故事性。另外，步骤S703中的判定例如判定是否是满足第2判定处理的步骤S603的判定这样的变化后。

这样，在图像或传感器输出值发生变化的情况下，应该出现成为起因的情况，因此，判定部120检测其变化，判定为已记录的图像、即变化前的图像适合于延时候选帧。由此，摄像装置1与第2判定处理对应地，取得变化前后的图像作为延时候选帧，例如能够生成当是人物哭泣的场面时成为哭泣理由的原因明确的具有故事性的延时动态图像。

另外，在第1判定处理中，说明了运算部100在该图像满足全部条件的情况下选择该图像作为延时候选帧，但是，也可以是，例如针对该图像给出针对各个条件相对于延时动态图像的适合度的指数这样的得分，基于其获得分数进行判定。同样，说明了运算部100在第2判定处理中在当前图像满足步骤S602至步骤S605中的任意2个条件的情况下选择其作为延时候选帧，在第3判定处理中在已记录的图像满足步骤S702至步骤S705中的任意2个条件的情况下选择其作为延时候选帧，但是，也可以根据各个图像相对于各个判定条件的适合度来进行判定。

在上述的第1判定处理或第2判定处理中，如果没有满足条件的图像、不能取得延时候选帧的时间持续，则可能在所生成的延时动态图像中无法追随状况变化。也可以是，判定部120例如在所取得的图像不存在特征性的变化的情况下，也根据任意的间隔设定来选择图像作为延时候选帧。此外，在第3实施方式中，如上所述，图像处理部180可以施加裁剪加工等而生成适合于被摄体的构图的图像，针对该图像判定是否适合延时动态图像。进而，例如考虑如下方法：针对各个图像，将适合于延时候选帧的适合程度数值化，在特定的时间间隔中，将得分最高的图像选择为延时候选帧。关于这样选择出的延时候选帧，如果之后出现在时间上连续的类似帧，也通过第4判定条件进行取舍选择。

此外，在摄像装置控制处理的步骤S122的再现方法的选择中，除了静态图像和动态图像以外，还能够选择延时动态图像。并且，也可以是，延时动态图像在延时动态图像生成处理中途也能够再现。该情况下，用户例如在连续动态图像拍摄的拍摄过程中，也能够随时确认到该时点为止生成的延时动态图像，此外，能够编辑。

另外，在摄像装置控制处理的步骤S104中的连续动态图像拍摄处理后或第1图像群已经被暂时记录等的情况下，运算部100也可以不进行步骤S301至步骤S309的处理。该情况下，对该第1图像群中包含的静态图像依次进行延时动态图像生成处理。此外，延时动态图像生成处理可以根据静态图像帧Fs来进行，也可以根据动态图像帧Fm来进行。即，第1图像群可以包含静态图像、静态图像帧Fs以及动态图像帧Fm中的任意一方，延时动态图像生成处理可以针对第1图像群中包含的某个图像进行判定和取舍选择等。

运算部100也可以还具有判定作为构成延时动态图像的图像、即延时动态图像帧而选择的各个图像是否适合延时动态图像的要素，此外，可以具有根据判定结果来变更所选择的延时候选帧的帧变更部。

＜第4实施方式的摄像装置的优点＞

本实施方式的摄像装置1除了具有第1实施方式或第2实施方式中得到的优点以外，还具有以下优点。如果使用本实施方式的摄像装置1，则用户能够在出现希望拍摄的被摄体时开始拍摄，一边拍摄一边同时生成由适合动态图像的图像构成的动态图像、具有适合静态图像的特征的静态图像、以及适当捕捉被摄体或其变化而示出拍摄到的动态图像的概要的延时动态图像。

[变形例]

(与摄像装置1的结构有关的变形例)

摄像装置1也可以还具有外部操作机器部和通信部。外部操作机器部例如具有具备与操作部410同样的功能的外部操作部、具备与显示部420同样的功能的外部显示部、以及外部通信部。外部操作机器部例如是平板型个人计算机、智能手机和各种可穿戴终端等具有通信功能的终端，可以准备多台，也可以经由互联网回线等从远程与通信部进行通信。

(与摄像装置1的使用例有关的变形例)

上述的多个实施方式的技术例如还能够应用于在汽车和自行车等车辆、用户的衣服和安全帽等、罐头卫星和气球等观测设备上安装而使用的照相机、监视照相机等定点观测用照相机等。例如如果伴随被摄体的检测或变化而开始连续动态图像拍摄处理来使用摄像装置1，则能够简单且同时取得在长时间范围内记录的动态图像、以及在动态图像出现变化时记录的适当画质的静态图像。

此外，本技术能够在特定的拍摄状况下使动态图像的描写和静态图像的描写混合存在。因此，在本技术下能够同时兼顾外观良好、容易观察且响应性好的连续图像和运动彻底停止的能够成为证据的证据图像。因此，例如可以在内窥镜、胶囊型内窥镜中使用本技术，以动态图像上的响应来提高视觉确认性、观察特性，并且在停止了图像时能够接受细节检查的图像，也可以用于学术用、工业用或临床用等各种观察装置和分析装置等。例如，在细胞的分裂、病毒抗体的生成等细胞级别的活体活动或者蝴蝶的孵化和羽化等个体级别的生物的成长、生态的经过确认时，经过较长时间而得到特定的结果，大多数情况下不明确现象或变化会何时发生。此外，例如存在发生频度低的现象等希望同时取得动态图像和静态图像。因此，通过本实施方式的技术而实现的、将产生现象或变化的场面记录在适当画质的静态图像和动态图像双方中，无论是为了兴趣，还是为了研究、教育，都存在这样的需求。可以通过图像或场景来判定拍摄状况，但是，也可以根据特定的操作或活体信息，考虑用户的喜好而进行判定。作为特定的拍摄状况，除了与运动较快的被摄体对应的情况、瞬间的拍摄的情况以外，还可以包括以不稳定的设置等进行拍摄的情况。此外，本技术不仅是简单地使短时间曝光和长时间曝光混合存在，而还可以与照明光联动进行使曝光量适当的辅助控制。

并且，存在通过本技术取得由具有适当画质、构图等的静态图像构成的延时动态图像的需要。本技术例如在上述状况中，能够容易地生成能够对被摄体的状况进行概览的延时动态图像。这样的延时动态图像例如能够作为研究成果的表现的一例而在介绍等中使用。

另外，流程图中示出的各个处理和各个处理内的各步骤的顺序可以改变，此外，还可以追加和删除。通过记录部320所记录的各个程序来执行这些各个处理。各个程序可以预先记录在摄像装置1的内部，也可以记录在另外的记录介质中。这些向摄像装置1或其他记录介质进行记录的方法各种各样，可以在商品出厂时记录，也可以利用所发布的记录介质进行记录，还可以利用互联网等通信回线进行记录。

另外，本申请发明不限于上述实施方式，在实施阶段能够在不脱离其主旨的范围内进行各种变形。此外，可以尽可能适当组合各实施方式来进行实施，该情况下能够得到组合的效果。进而，在上述实施方式中包含各种阶段的发明，可以通过所公开的多个结构要件中的适当的组合提取各种发明。

Claims (11)

1.一种摄像装置，该摄像装置具有：

摄像部，其按照每个规定定时生成图像；

帧分割部，其根据是否是特定的拍摄状况，将所述摄像部中按照每个规定定时使用的曝光时间分割成多个曝光时间，该多个曝光时间包含静态图像取得用的第1曝光时间和动态图像取得用的第2曝光时间；以及

图像处理部，其根据以所述第1曝光时间进行摄像而生成的图像来生成静态图像，使用以所述第2曝光时间进行摄像而生成的图像来生成构成动态图像的动态图像帧。

2.根据权利要求1所述的摄像装置，其中，

所述图像处理部对以所述第1曝光时间进行摄像而生成的图像和以所述第2曝光时间进行摄像而生成的图像进行合成，生成所述动态图像帧。

3.根据权利要求2所述的摄像装置，其中，

所述第2曝光时间是动态图像帧取得用的曝光时间与所述第1曝光时间之间的差分。

4.根据权利要求1至3中的任意一项所述的摄像装置，其中，

所述图像处理部对所述静态图像和所述动态图像帧分别实施不同的图像处理。

5.根据权利要求1至3中的任意一项所述的摄像装置，其中，

所述摄像装置还具有：

传感器部，其检测所述摄像装置的框体的运动；以及

运算部，其根据所述传感器部的输出，使使用所述多个曝光时间的摄像开始。

6.根据权利要求1至3中的任意一项所述的摄像装置，其中，

所述帧分割部设定多个所述第1曝光时间，使用按照每个所述规定定时而不同的所述第1曝光时间使所述摄像部进行摄像。

7.根据权利要求1至3中的任意一项所述的摄像装置，其中，

所述帧分割部将所述第1曝光时间设为适合于关注被摄体的曝光时间，将动态图像帧取得用的曝光时间设为适合于视场角整体的曝光时间。

8.根据权利要求1至3中的任意一项所述的摄像装置，其中，

所述摄像装置还具有：

判定部，其判定在所述静态图像内是否存在关注被摄体，当检测到所述关注被摄体时，进一步判定所述静态图像是否具有适合于所述关注被摄体的构图；以及

取舍选择部，其根据所述判定部的判定结果对所记录的所述静态图像进行取舍选择。

9.根据权利要求1至3中的任意一项所述的摄像装置，其中，

所述摄像装置还具有判定部，该判定部判定在所述静态图像内是否存在关注被摄体，当检测到所述关注被摄体时，进一步判定所述静态图像是否具有适合于所述关注被摄体的构图，

所述图像处理部对被判定为不具有适合于所述关注被摄体的构图的所述静态图像的一部分进行切出，生成具有适合于所述关注被摄体的构图的静态图像。

10.根据权利要求1至3中的任意一项所述的摄像装置，其中，

所述摄像装置还具有：

判定部，其针对以所述多个曝光时间进行摄像而生成的图像判定是否适合于延时动态图像；以及

运算部，其生成由被判定为适合的所述图像构成的延时动态图像。

11.一种摄像方法，该摄像方法包括以下步骤：

按照每个规定定时进行摄像而生成图像；

根据是否是特定的拍摄状况，将每个所述规定定时的摄像中使用的曝光时间分割成多个曝光时间，该多个曝光时间包含静态图像取得用的第1曝光时间和动态图像取得用的第2曝光时间；

根据以所述第1曝光时间进行摄像而生成的图像来生成静态图像；以及

使用以所述第2曝光时间进行摄像而生成的图像来生成构成动态图像的动态图像帧。