CN101808211A - 记录动态图像的记录装置、记录方法 - Google Patents

Abstract

本发明提供一种记录动态图像的记录装置、记录方法。记录装置对输入的高帧率动画数据进行帧间除而生成低帧率的动画数据，并且，在双画面中对该低帧率的动画数据和延迟了所输入动画数据的高帧率动画数据进行图像合成并记录在记录介质中。

Description

记录动态图像的记录装置、记录方法

技术领域

本发明涉及例如生成双画面显示再生速度不同的两幅动画的动画数据并且进行记录的记录装置、记录方法。

背景技术

近几年来，提供有一种利用数码相机(camera)等高速拍摄拍摄对象而生成高帧率(frame rate)动画数据的技术手段。关于通过这种数码相机在高帧率下生成的动画数据，当以通常帧率来进行处理时，再生为动作迟滞少的慢动作(slow motion)动画。例如，若用通常帧率即30[fps]来处理在300[fps：frame per second]的高帧率下拍摄的动画数据，则再生为1/10倍速度的慢动作动画数据。

另外，在日本国特开2006-324850号公报中，提出了如下的所谓画中画(picture in picture)图像再生方法，即，当快进再生动画数据时，分成与快进的速度对应的第一系列时间轴和从第一系列提前固定时间的第二系列时间轴而读出动画数据，并且在通常大小画面的主画面和在主画面中以小画面的形式显示的子画面中分别再生上述2个系列动画数据。

若用通常的帧率来再生由上述数码相机高速拍摄的高帧率动画数据，则虽然动作迟滞少，但是再生成慢动作的动态图像。因此，当要把握整体动作或者从特定场面进行再生时，需要快进再生，寻找起头(頭出し)等操作也变成繁琐。如此，高帧率动画数据在方便性方面仍然存在问题。

发明内容

本发明就是考虑上述以往的问题点而提出的，其目的在于提供一种记录提高高帧率动画数据方便性的动画数据的记录装置、记录方法。

为了解决上述问题，本发明的第一类型的记录装置，其特征在于，具备：输入动画数据的动画输入部、对所述动画数据进行帧间除而降低帧率，生成低帧率动画数据的图像间除部；使数据延迟的数据延迟部；生成在双画面中合成通过所述图像间除部生成的所述低帧率动画数据和通过所述数据延迟部延迟的所述动画数据的合成动画数据的动画合成部；在记录介质中记录通过所述动画合成部所合成的合成动画数据的记录部。

为了解决上述问题，本发明的第二类型的记录方法，其特征在于，在记录动画数据的记录装置的记录方法中，含有：输入动画数据的动态图像输入步骤；对所述动画数据进行帧间除而降低帧率，生成低帧率动画数据的图像间除步骤；使数据延迟的数据延迟步骤；生成在双画面中合成了通过所述图像间除步骤生成的所述低帧率动画数据与通过所述数据延迟步骤延迟的所述动画数据的合成动画数据的动画合成步骤；在记录介质中记录通过所述动画合成步骤合成的合成动画数据的记录步骤。

附图说明

图1是本发明的第一实施方式的数码相机的方框图。

图2是用于说明图1的数码相机工作的图。

图3是图1的数码相机主要部分的功能结构图。

图4是表示再生了通过图1的数码相机所记录的合成动画数据一例图。

图5是表示图1的数码相机的帧缓存器(frame buffer)结构图。

图6是对图1的数码相机的“初始设定处理”进行说明的流程图。

图7是对图1的数码相机的“录像处理”进行说明的流程图。

图8是说明在图7的“录像处理”中执行的“子画面合成处理”的流程图。

图9是对图1的数码相机的帧缓存器地址控制进行说明的流程图。

图10是对图1的数码相机的帧缓存器工作进行说明的图。

图11是接在图10之后继续对帧缓存器工作进行说明的图。

图12是本发明的第二实施方式的数码相机主要部分的功能结构图。

图13是本发明的第三实施方式的数码相机主要部分的功能结构图。

具体实施方式

以下，参照合适的附图对本发明的实施方式进行详细说明。

(1)第一实施方式

(1-1)第一实施方式的结构

(1-1-1)整体结构

图1是本发明的第一实施方式的数码相机方框图。该数码相机1具有拍摄系统2、存储卡3、总线(bus)4、CPU(Central Processing Unit)5、帧缓存器6、图像显示部7、存储器8、键输入部9，并且在存储卡3中记录通过拍摄系统2所取得的动画数据D1。

拍摄系统2，在本实施方式的数码相机1中作为动画输入部而发挥作用，其具有：镜头驱动模块10、镜头11、光圈12、固体拍摄元件13、驱动器(driver)14、定时发生器(TG：Timing Generator)15、信号处理部16等。

镜头驱动模块10通过CPU5经由总线4进行控制，改变镜头11的焦距(focus)、倍率、光圈12。镜头11通过光圈12使入射光会聚在固体拍摄元件13的拍摄面上而在固体拍摄元件13的拍摄面上形成拍摄对象的光学像。

固体拍摄元件13，例如也可以是CCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)等拍摄元件。固体拍摄元件13根据从驱动器14输出的各种驱动信号而进行工作，并且将形成于拍摄面的光学像的拍摄像作为拍摄信号输出。CPU5对固体拍摄元件13拍摄的帧率、电荷积蓄时间等进行控制。在拍摄系统2中，驱动器14根据从定时发生器15输出的各种定时信号，生成固体拍摄元件13的驱动信号。CPU5通过总线4对定时发生器15进行控制。因此，向驱动器14输出的定时信号也通过CPU5进行控制。

信号处理部16对从固体拍摄元件13输出的拍摄信号进行关联双重采样处理(CDS：Correlated Double Sampling)之后进行自动增益调整(AGC：Automatic Gain Control)、模拟数字转换处理(AD：Analog to DigitalConvertion)，并对总线4输出由拍摄后的动态图像产生的动画数据D1。

帧缓存器6是暂时存储从信号处理部16，即拍摄系统2输出的动画数据D1的作业用存储器。拍摄时，帧缓存器6暂时存储从拍摄系统2通过总线4输入的动画数据D1。CPU5在与该帧缓存器6之间输入输出动画数据D1进行处理之后，输出到图像显示部7进行显示。另外，当从用户接受记录开始的指示时，CPU5对动画数据D1进行压缩等处理。CPU5在再生时从存储卡3读出动画数据D3而进行扩展，并在帧缓存器6中临时保持扩展的数据D3之后输出到图像显示部7进行显示。对于压缩以及扩展处理，可以使用各种方法，但是，在本实施方式中作为一例遵照MPEG2进行。

图像显示部7是由液晶显示屏等构成的显示部，拍摄时通过CPU5的控制从帧缓存器6经由总线4取得动画数据D1进行显示。图像显示部7，在再生时也同样，通过CPU5的控制从帧缓存器6经由总线4取得动画数据进行显示。

CPU5为控制本实施方式的数码相机1工作的控制器。例如，CPU5执行存储在存储器8中的程序，对应键输入部9所检测的用户操作而进行工作，从而控制本实施方式的数码相机1的各部分的工作。另外，CPU5进行存储在帧缓存器6的动画数据的处理等。另外，在本实施方式中，所说明的是提供的程序是事先存储在存储器8中的，不过，本发明并不局限于此。例如，也可以将该程序记录在存储卡等记录介质而进行提供，也可以通过网络下载而提供。键输入部9在本实施方式的数码相机1中的功能是当作从用户接受各种指示的指示输入部。以后，来自用户的指示，只要无特别的说明，就认为都通过键输入部9进行输入。

当从用户接受在存储卡3中所记录的动态图像的再生指示时，CPU5从存储卡3依次取得所对应的动画数据，并且扩展该动画数据存储在帧缓存器6中。而且，CPU5将动画数据从该帧缓存器6依次转送到图像显示部7，在图像显示部7中进行显示。这样，CPU5再生存储卡3中所记录的动画数据，并且在图像显示部7中进行显示。

另外，若从用户接受拍摄指示，则CPU5控制拍摄系统2将所取得的动画数据D1依次存储在帧缓存器6中。另外，CPU5对该动画数据D1执行伽马(γ)补偿处理、逆马赛克(de-mosaic)处理、白平衡处理等，在帧缓存器6中重新进行存储，将该重新存储后的动画数据转送到图像显示部7进行显示。由此，CPU5在图像显示部7中显示拍摄的监视器图像。

在监视器中显示拍摄的动态图像的状态下，当从用户接受拍摄后的动态图像的记录指示时，CPU5将在帧缓存器6中存储的动画数据D1依次读出进行压缩处理，并在存储卡3中进行记录。由此，CPU5在存储卡3中记录拍摄的动态图像。

该拍摄时，若从用户接受标准模式下的拍摄指示，则CPU5控制定时发生器15等而取得以通常的帧模式、例如以30[fps]的帧率拍摄的动态图像，在帧缓存器6中存储这样拍摄的动画数据D1。CPU5依次再生构成在该帧缓存器6中存储的动画数据D1的连续帧，在图像显示部7中进行显示。当从用户接受动态图像的记录指示时，CPU5依次压缩构成该动画数据D1的连续帧，在存储卡3中进行记录。

对此，当从用户接受高速模式下的拍摄指示时，CPU5给拍摄系统2指示按照规定的高帧率或用户所指示的帧率进行拍摄。拍摄系统2以规定的高帧率或用户所指示的帧率来进行拍摄。在本实施方式中设高帧率为300[fps]。CPU5在帧缓存器6中存储这样拍摄的高帧率动画数据D1。也可以CPU5控制帧缓存器6而读出动画数据D1，对存储于帧缓存器6的高帧率动画数据D1进行帧间除在图像显示部7中以30[fps]的帧率来依次显示。

另外，在用高速模式拍摄的状态下，若从用户接受记录指示，则CPU5从帧缓存器6中将动画数据D1以连续的帧的形式依次读出进行压缩后记录在存储卡3中。

(1-1-2)与实速模式的动画数据的合成记录

CPU5，当记录该高速模式下拍摄的动画数据D1时，若从用户接受与实速模式的动画合成进行记录的指示，则对暂时存储在帧缓存器6中的动画数据D1进行帧间除而生成实速模式的动画数据D2。另外，CPU5通过画中画方法，对该实速模式的动画数据D2与高速模式的动画数据D1，按照主画面用高速模式的动画数据D1、子画面用实速模式的动画数据D2的方式进行图像合成，并在存储卡3中进行记录。即，在存储卡3中以合成后的状态同时记录动画数据D1和D2。据此，CPU5，例如在通常的帧率下进行再生时，能够在主画面中采用高速模式下拍摄的动画数据D1而显示慢动作动画，在子画面中采用实速模式的动画数据D2而显示动作快的动画。

CPU5，每隔规定的处理单位、例如规定的帧数将例如构成动画数据D1的多个帧分割成多个区间，将各个分割后的动画数据从开头依次与低帧率的动画数据合成。其中，CPU5使在分割成多个区间的各个动画数据D1上从开头开始依次合成的各个低帧率动画数据，从按区间分割的动画数据各个开头依次延迟规定间隔，进行帧间除生成。

即，如图2所示，在本实施方式中，CPU5例如，将在300[fps]下拍摄的高帧率动画数据D1与以30[fps]帧率进行帧间除的动画数据D2进行合成，从而生成合成动画数据D3。优选分割动画数据D1的间隔相同。在图2中分割动画数据D1的间隔分别为动画数据D1的30帧份。此时，CPU5在帧号0的动画数据D1上合成帧号0的动画数据D1，而生成合成动画数据D3的开头帧F0。另外，在下一个帧F1中，在帧号1的动画数据D1上合成帧号10的动画数据D1作为合成的低帧率、即构成实速模式的动画数据D2的动画帧。在之后的帧F2中，帧号2的动画数据D1上作为合成的构成实速模式的动画数据D2的动画帧，合成帧号20的动画数据D1而生成。如此，在本实施方式中，在帧号3、4、5、6、7、8......的动画数据D1上作为合成的构成实速模式的动画数据D2的动画帧，分别合成帧号30、40、50、60、70、80......的动画数据D1，从而生成合成动画数据D3。

反复进行该图像合成，CPU5在帧号29的动画数据D1上合成帧号290的动画数据D1时，在下一个帧F30中，在帧号30的动画数据D1上，合成从动画数据D1的开头延迟了30帧份的帧号30的动画数据D1作为合成的构成实速模式的动画数据D2的动画帧。另外，在再后的帧F31中，CPU5在帧号31的动画数据D1上合成帧号40的动画数据D1作为合成的构成实速模式的动画数据D2的动画帧。在帧号59的动画数据D1上合成帧号320的动画数据D1作为合成的构成实速模式的动画数据D2的动画帧。CPU5，在下一个帧F60中，在帧号60的动画数据D1上，从动画数据D1开头延迟60帧份而合成帧号60的动画数据D1作为实速模式的动画数据D2的动画帧。如此，CPU5将动画数据分割成多个区间F0～F29、F30～F59、F60～F89、......，并且将按多个区间分割的各个动画数据D1从开头依次与实速模式的动画数据D2合成。即，CPU5，使在分割成多个区间F0～F29、F30～F59、F60～F89、......的各个动画数据上从开头依次合成的各个实速模式的动画数据D2，按照从动画数据D1的开头帧F0开始的每个帧各自的顺序逐个延迟规定间隔、即30帧进行帧间除而生成。

CPU5反复进行该一系列的处理而对依次输入的动画数据D1和实速模式的动画数据D2进行图像合成，并在存储卡3中进行记录。在图4中表示再生了这样合成并在存储卡3中进行记录的合成动态图像D3的图像一例。在主画面表示再生了高帧率动画数据D1的图像，在子画面表示再生了低帧率动画数据D2的图像。另外，设与动画数据D1合成的动画数据的帧率为实速，但是，本发明并不局限于此，只要是比动画数据D1的帧率低的帧率即可，也可以根据实际状况而进行决定。也可以设成为，根据用户的指示决定动画数据D1的帧率、进行间除的动态图像的帧率、分割动画数据D1的间隔、延迟与高帧率动画数据合成的低帧率动画数据的间隔等中的至少一个。

图3是本实施方式的数码相机1的主要部分的功能结构图。如图3所示，本实施方式的数码相机1的主要部分由帧缓存器6、用于进行帧缓存器6的地址控制的选择电路6a、子画面合成部5A、编码(encode)部5B、文件化部5C以及存储卡3构成。CPU5实现选择电路6a、子画面合成部5A、编码部5B、文件化部5C的功能。

参照图3对CPU5生成合成动画数据D3的原理进行说明。如图3所示，CPU5通过帧缓存器6的地址控制，帧缓存器6以环缓存器(ring buffer)构成。另外，同时使帧缓存器6c以与上述的分割动画数据D1的帧数对应的段数的FIFO(First In First Out)的形式发挥作用。

如此，CPU5使依次从拍摄系统2输入的动画数据D1延迟规定帧数。在图3中，用n、n+1、n+2、......来表示构成动画数据D1的连续帧。在帧缓存器6中，在箭头A表示的方向上依次输入动画数据D1，构成动画数据D1的帧也依次更新。

如图3所示，帧缓存器6具有选择电路6a。CPU5控制该选择电路6a而对帧缓存器6进行地址控制，并从该帧缓存器6的规定段选择性地取得动画数据D1。其中，将所取得的动画数据作为低速率动画数据D2，用画中画方法分配给主画面用的高速模式的动画数据。具体而言，CPU5以帧缓存器6的规定段为基准按每个规定的段数(在本实施方式中如符号B所示按每个规定的帧数)来设定实速模式的动画用的抽头(tap)输出。而且，CPU5对于该抽头输出例如设t＝10来依次选择而生成实速模式的动画数据D2。CPU5按动画数据D1的每个帧来执行该抽头输出的切换，从动画数据D1进行帧间除生成实速模式的动画数据D2。

CPU5控制选择电路6a而进行选择性的抽头输出，在第一秒输出帧号0到29的动画数据D1，并且输出按1/10进行帧间除的帧号0到290的动画数据D2。另外，CPU5在第二秒输出帧号30到59的动画数据D1，并且输出按1/10进行帧间除的帧号30到320的动画数据D2。CPU5依次反复这种动作。当动画数据D1的帧号从29转移到30切换动画数据D1的分割区间时，实速模式的动画数据D2的帧转移到动画数据D1的从开头帧即帧号0延迟30帧份的帧号30。另外，在动画数据D1的帧号从59转移到60帧切换动画数据D1的区间时，实速模式的动画数据D2的帧进一步转移到从帧号30延迟30帧份的帧号60。CPU5依次反复进行这种动作。

图5是表示帧缓存器6的结构图。在后面所述的初始设定时，CPU5在帧缓存器6中以规定的数据量来确保存储动画数据D1的数据区AR1。而且，CPU5在帧缓存器6中还确保记录该数据区AR1管理信息的管理信息区AR2。帧缓存器6的大小至少能够暂时存储反复进行实速再生时间的帧份。在本实施方式中，设定动画数据D1、D2的帧率S、R分别为300[fps]、30[fps]，一致周期C[秒]为1秒。因此，CPU5在帧缓存器6的数据区AR1中设想主画面用的帧和子画面用的帧最背离(偏离)的情况而确保至少262帧(290-29+1帧)份。在图5中，帧数据表示动画数据D1的帧数据。另外，括弧内的数字表示帧号。在管理信息区AR2中记录数据区AR1的大小(缓存器大小)X、数据区AR1中存储的指明开头帧位置的指示器位置信息(缓存器开头位置)Y、在数据区AR1中记录的动画数据D1的帧数(缓存器帧数)m、在数据区AR1中记录的动画数据D1的开头帧号(缓存器开头帧号)n等参数。

CPU5逐次更新该管理信息区AR2的记录的同时，在数据区AR1中依次循环存储动画数据D1。另外，CPU5根据管理信息区AR2的记录，依次读出主画面用的动画数据D1、子画面用的动画数据D2而执行一系列的处理。如此，帧缓存器6作为环缓存器而发挥作用。

在本实施方式中，在初始设定时设定该FIFO的段数(作为处理单位的规定的帧数)，而且，为了主画面输出用而设定FIFO的最终段。在该事先设定中，设定子画面用的抽头输出段、作为子画面而切出的区域等。以下，对该设定处理进行说明。

<初始设定处理>

图6是表示该初始设定处理的CPU5处理顺序的流程图。CPU5操作设置在键输入部9的规定操作件开始该处理顺序(步骤S1)。首先，CPU5在图像显示部7中显示规定的菜单画面(步骤S2)。用户从该菜单画面通过规定的操作而选择拍摄速度(步骤S3)。而且，CPU5进行设定，将在拍摄时以遵照这里所选的拍摄速度的帧率来在拍摄系统2中拍摄的动态图像，合成为具有子画面的动画数据进行记录，或记录成无子画面的动画数据(步骤S4)。

接着，CPU5判断是否具有子画面合成的指示(步骤S5)。一方面，当判断为无子画面合成指示时，CPU5将处理进入到步骤S6。另一方面，当判断为具有子画面合成指示时，CPU5将处理进入到步骤S8，对子画面用设定切出区域。另外，该区域的设定，例如也可以在图像显示部7显示不同大小的多个框，通过接受用户的选择而执行。

接着，CPU5设定子画面位置(步骤S9)。该子画面位置的设定，例如也可以在图像显示部7显示子画面，通过接受用户的选择而执行。作为显示子画面的位置例如也可以显示在主画面的右上、左上、右下、左下等用户能够进行各种选择的位置。接着，CPU5设定子画面速度(步骤S10)。该子画面速度的设定，也可以在图像显示部7显示能够选择的多个速度，通过接受用户的选择而执行。

接着，CPU5设定成使主画面用的动画数据D1和子画面用的动画数据D2的帧号一致的周期，具体而言，使在图2中说明的子画面和主画面用的帧的帧号一致的周期，例如为1秒、2秒等。接着，CPU5将处理进入步骤S6，记录用户的设定作为设定信息，之后结束该处理顺序(步骤S7)。

<录像处理>

图7是表示合成高速模式的动画数据D1与实速模式的动画数据D2进行记录的录像相关的CPU5处理顺序的流程图。首先，CPU5在图像显示部7进行实时取景(live view)显示(步骤S21)。接着，CPU5判断是否开始拍摄(步骤S22)。具体而言，CPU5判断是否接受了来自用户的开始拍摄的指示。当判断为接受了开始拍摄的指示时，CPU5根据设定信息对帧缓存器6进行初始化(步骤S23)。在本实施方式中，将帧缓存器6以环缓存器构成，执行如上所述确保用于以FIFO的形式发挥作用的区域等。

接着，进行拍摄。具体而言，CPU5在帧缓存器6中以对动画数据D2的生成足够的帧数来存储动画数据D1(步骤S24)。接着，进行缓存器的更新(步骤S25)。具体而言，CPU5在缓存器中存储重新拍摄的图像的同时，输出存储在缓存器中的最旧的帧。CPU5执行子画面合成处理(步骤S26)，生成动画数据D3。

接着，CPU5对生成的动画数据D3进行压缩处理(步骤S27)。CPU5判断是否从用户接受了记录结束的指示(步骤S28)。当判断为没有接受记录结束的指示时，CPU5将处理进入步骤S25。

另一方面，在步骤S28中判断为接受了记录结束的指示时，进行子画面合成处理。具体而言，CPU5采用在帧缓存器6中存储了的动画数据D1，将子画面合成处理执行到在该时刻在图像显示部7中显示的帧。在这种情况下，在帧缓存器6中存储了的动画数据D1中不存在分配给子画面的动画数据D1时，CPU5在此之前分配给子画面的最后帧反复分配给子画面。

接着，CPU5对生成后的动画数据D3进行压缩(步骤S30)而执行文件化处理(步骤S31)。CPU5在存储卡3中记录文件化的动画数据D3，结束录像处理(步骤S32)。

图8是详细说明CPU5所执行的图7的子画面合成处理的流程图。CPU5，当开始该子画面合成处理时(步骤S41)，从帧缓存器6取得主画面用的动画数据D1(步骤S42)。接着，CPU5判断主画面用的帧与子画面用的帧是否一致(步骤S43)。

参照图2进行说明，在开头帧的主画面和子画面分别分配动画数据D1的相同的帧。可以用MOD{N/(R·C)}＝0来表示子画面和主画面用的帧一致的情况。其中，R为在拍摄时换算的动画数据D2的帧率[fps]。另外，N为提供给图像合成的主画面用的帧的帧号。C为在步骤11中取得的一致周期[秒]。MOD为求余数运算符。例如，在图2的情况下，由于R为30[fps]，C为1[秒]，主画面用的帧的帧号N为0、30、60等，因此MOD{N/(R·C)}＝0。换句而言，在MOD{N/(R·C)}＝0时的子画面用的帧的帧号与主画面用的帧的帧号一致。另一方面，当MOD{N/(R·C)}＞0时，能够用N+MOD{N/(R·C)}*(S/R)*K来表示子画面用的帧的帧号。其中，S为拍摄后的动态图像的帧率[fps]。另外，K为在步骤S10中设定的子画面速度。例如，在图2的情况下，R为30[fps]，C为1[fps]，S为300[fps]，K为1[倍](实际速度)，当主画面用的帧的帧号N为0、1、2时，子画面用的帧的帧号分别为0、10、20。

在步骤S43中判断为主画面与子画面用的帧不一致时，CPU5从帧缓存器6取得子画面用的动画数据D2(步骤S44)。具体而言，CPU5在主画面与子画面用的帧不一致时，即，判断为MOD{N/(R·C)}＞0时，从动画数据D1取得可用N+MOD{N/(R·C)}*(S/R)*K来表示的帧号的帧。另一方面，在步骤S43中判断为主画面与子画面用的帧一致时，CPU5将在步骤S42中所取得的主画面用的动画数据D1分配给子画面用的动画数据(步骤S45)。

另外，如图3所示，对通过选择电路6a选择性输出与由符号n+(x-1)t表示的主画面相同的抽头输出的情况进行了说明。但是，在实际的CPU5处理中，该抽头输出沿用主画面用的动画数据。CPU5接着从设定信息指定并切出在步骤S8中设定的区域(步骤S46)。而且，CPU5将切出大小的动画数据D2生成为子画面用的动画数据(步骤S47)。CPU5将这样生成的子画面用的动画数据贴在主画面用的动画数据的在图6的步骤S9中所设定的主画面动画数据的位置(步骤S48)。据此，CPU5生成画中画的合成动画数据D3，结束该处理顺序(步骤S49)。另外，当贴上子画面时，CPU5一并执行动画数据D2的析像度转换处理。

图9是对图7的上述CPU5处理顺序中从步骤S24至步骤S32的处理，详细说明CPU5执行的帧缓存器6的控制地址相关处理的流程图。图10与图11是对在帧缓存器6中存储的动画数据的帧进行详细说明的图。参照图9～图11以及图3对CPU5执行的帧缓存器6的控制相关的处理进行详细说明。

CPU5当开始进行该录像处理时(步骤S50)，将管理信息区AR2的缓存器帧数m初始化为0值(步骤S51)。接着，CPU5对主画面以及子画面用的帧的帧号分别进行初始化(步骤S52)。CPU5在帧缓存器6中存储1个帧份的动画数据D1，相应地，以缓存器帧数m为1个增量而更新管理信息区AR2的记录(步骤S53)。接着，CPU5判断是否在帧缓存器6中以对子画面用的动画数据D2的生成足够的帧数存储了动画数据D1(步骤S54)。当判断未存储足够的帧数时，CPU5将处理返回到步骤S53。CPU5反复进行步骤S53和步骤S54，直到在帧缓存器6中以对动画数据D2的生成足够的帧数存储动画数据D1。如此，在帧缓存器6中存储规定帧数的动画数据D1。

在图10中表示动画数据D1、D2的帧率S、R[fps]分别为300[fps]以及30[fps]，一致周期C[秒]为1秒，在帧缓存器6中确保了262帧份区域时的例子。在图10中，“拍摄帧”是指从指示了开始拍摄的时刻起在帧缓存器6中存储的动画数据D1的帧的帧号。“合成帧(子)”以及“合成帧(主)”为在子画面以及主画面中分别分配的帧的帧号。“缓存器”为在帧缓存器6中存储的动画数据D1的帧的帧号。在图10的例子中，从开始拍摄到存储动画数据D1的帧号260的帧的期间，CPU5反复进行步骤S53和步骤S54的处理。当存储帧号261的动画数据D1时，在步骤S54中判断为在帧缓存器6中以对子画面用的动画数据D2的生成足够的帧数存储了动画数据D1，CPU5将处理进入到步骤S55。

在步骤S55中，CPU5从帧缓存器6中读出主帧号以及子帧号的动画数据进行图像合成，执行编码(压缩)、文件化的处理。即，对动画D1和D2，以合成后的状态同时进行编码、文件化处理。接着，CPU5判断是否接受了用户的记录结束指示(步骤S56)，当判断为接受了记录结束的指示时，结束该处理顺序(步骤S57)。

另一方面，在步骤S56中，当判断为没有接受记录结束的指示时，CPU5以主帧号为1个增量，根据间除的帧数对子帧号进行更新(步骤S58)。接着，COU5判断主帧号是否达到了切换分割的区间的切换值(步骤S59)。当判断达到了切换值时，CPU5将子帧号设为主帧号(步骤S60)，移入步骤S61。在步骤S59中，当判断未达到切换值时，CPU5移入步骤61。

在该步骤S61中，CPU5在帧缓存器6中存储一个帧份的动画数据D1，更新管理信息区AR2的记录。之后，CPU5将处理返回到步骤S55。

在此想进一步说明的是，在该图9的流程图中记载了接受到用户的记录指示后立即结束图像合成等一系列的处理。但是，实际上参照图7的步骤S29进行说明，从用户接受记录结束的指示之后采用在帧缓存器6中存储了的动画数据D1，执行子画面合成处理直到在该时刻图像显示部7中显示的帧变成主画面。图11是表示该记录结束时的帧缓存器6的工作图。在图11中，例如对帧号327、328、329的主画面，在帧缓存器6中不存在要分配给子画面的图像数据。因此，反复分配稍前的子画面用的图像数据(帧号560)。

(1-2)本实施方式的动作

如上所述，本实施方式的数码相机1(图1)将通过镜头11成像的光学像通过固体拍摄元件13进行光电转换处理而生成作为拍摄的动态图像的拍摄信号，将该拍摄信号通过信号处理部16进行处理而生成动画数据。CPU5通过帧缓存器6输入该动画数据，进行压缩等处理记录在存储卡3中。另外，CPU5，当接受用户的再生指示时，将存储在存储卡3中的动画数据依次扩展而进行再生后显示在图像显示部7中。

在这些处理中，当从用户接受高速模式下的拍摄指示时，以规定的高帧率或用户所指示的帧率、例如帧率300[fps]来进行拍摄，从信号处理部16输出高帧率动画数据。CPU5压缩该动画数据并在存储卡3中进行记录。在再生高速模式下拍摄的动画数据时，当从用户接受基于通常再生速度的的帧率30[fps]的再生指示时，例如以帧率30[fps]来再生帧率为300[fps]的动画数据并显示在图像显示部7中。结果，在该数码相机1中，与在通常拍摄速度(帧率30[fps])下拍摄了的情况相比，能够对用户提供一种动作迟滞明显少的慢动作图像，而能够提高用户的方便性。

但是，在这种高速模式下拍摄的动画数据中，当通常帧率下进行再生时，由于再生为慢动作动态图像，因此存在难以把握大概动作或整体动作的问题。因此，例如在寻找起头时，终究还需要将工作切换为快进再生，处理变成繁琐。

因此，本实施方式的数码相机1，如图2～图4所示，若在高速模式下拍摄时从用户接受比高速模式低的速度、例如与实速模式的动画合成进行记录的指示，则对作为拍摄的动态图像的动画数据D1进行帧间除而生成比动画数据D1帧率低、例如实速模式的动画数据D2。而且，数码相机1在子画面中分配该实速模式的动画数据D2而与原来的动画数据D1进行图像合成，并对所取得的合成动画数据D3进行压缩处理在存储卡3中进行记录。

据此，在数码相机1中，以通常的再生速度来再生在高速模式下拍摄的动画数据，在主画面中显示动作迟滞少的慢动作动画的同时，在子画面中例如也能显示在通常速度下拍摄的动画。例如，在图2的例中，数码相机1，在以帧率30[fps]来进行再生时能够在主画面中显示1/10倍速的慢动作动画，并在子画面中显示以帧率30[fps]来拍摄的通常速度的动画。因此，用户即使在数码相机1显示慢动作动画的情况下也可从子画面的显示中把握整体动作，所以能够提高用户的方便性。

但是，在简单地进行帧间除而制作实速模式的动画数据D2，并与原来的动画数据D1进行图像合成时，有时帧间除后的帧数的份数、使用于图像合成的子画面用的帧的帧数不足。另外，与主画面相比子画面的速度快，因此主画面与子画面的背离变大，所以有可能难以把握主画面与子画面的关系。

为此，在本实施方式的数码相机1中，动画数据D1分割成多个区间，并将分割成多个区间的动画数据D1分别从开头依次与实速模式的动画数据D2合成。从分割成多个区间的各个动画数据D1的开头进行帧间除而生成与分割成多个区间的各个动画数据D1从开头依次合成的各个实速模式的动画数据D2。

结果，对于主画面的帧，子画面用的帧不会背离固定帧数以上，因此容易把握主画面和子画面的关系。

另外，在本实施方式的数码相机1中，通过用户操作能够进行动画数据D1的帧率的设定(图6中的步骤S3)以及低帧模式、即在本实施方式中的实速模式的动画数据D2的速度设定(图6中的步骤S10)。另外，能够设定主画面用的帧和子画面用的帧一致的周期(图6中的步骤S11)。因此，能够详细设定高帧模式、低帧模式的动画数据D1的再生速度、帧间除处理、分割动画数据D1的区间等。这样，能够对照用户的使用方便而设定主画面和子画面的各种参数。

另外，在本实施方式的数码相机1中，由环缓存器构成帧缓存器6，并执行生成子画面用的图像数据的处理、和生成主画面用的图像数据的处理。因此，在数码相机1中，通过帧缓存器6的地址控制能够生成子画用的图像数据以及主画面用的图像数据，因此能够简化结构。

(1-3)实施方式的效果

以上，根据本实施方式的数码相机，对动画数据进行帧间除而生成子画面用的动画数据，通过画中画将该子画面用的动画数据与原来的动画数据图像合成进行记录，因此能够提高高帧率动画数据的方便性。

另外，将动画数据D1分割成多个区间，将分割成多个区间的动画数据D1分别从开头依次与实速模式的动画数据D2合成。由于从分割在多个区间的各个动画数据D1的开头进行帧间除而生成与分割在多个区间的各个动画数据D1从开头依次合成的各个实速模式的动画数据D2，所以每当切换再生的动画数据D1的区间时，再生的实速模式的动画数据D2也能够依次更新。因此，根据动画数据D1显示的主画面的内容和根据实速模式的动画数据D2显示的子画面的内容不相背离(偏离)，从而容易把握主画面与子画面的关系。

另外，由于根据用户的操作能够设定输入动画数据的帧率、子画面用的动画数据的速度、处理单位的大小，因此能够提高操作性。

而且，由环缓存器构成帧缓存器，执行生成子画面用的图像数据的处理、生成主画面用的图像数据的处理，因此能够用简单的结构来实现。

(2)第二实施方式

图12是本发明的第二实施方式的数码相机的主要部分的功能结构图。本实施方式的数码相机21根据用户的操作对在帧缓存器6中存储动画数据D1后到输出之前的延迟时间进行变更。在图12中，由帧号n+2t的输出段输出主画面用的动画数据。该数码相机21，除了该输出段的设定不同这一点之外，都与第一实施方式的数码相机1相同。对与第一实施方式的数码相机1相同的结构标以相同的符号，省略说明。另外，该主画面用的动画数据的输出段，可以设定为子画面用的动画数据的抽头输出段之一、或者也可以设定在子画面用的动画数据的抽头输出段之间。通过该结构，本实施方式的数码相机21能够从任意帧号再生主画面。

在本实施方式的数码相机21中，通过该输出段的变更，能够对与子画面相对应的主画面的显示进行各种变更。因此，在上述的实施方式的特征的基础上，能够进一步提高方便性。

(3)第三实施方式

图13是说明本发明的第三实施方式的数码相机的主要部分的功能结构图。本实施方式的数码相机31根据用户的操作而切换帧缓存器6的地址控制，如箭头C所示，将选择电路6a的接点的切换顺序能够切换为帧号增大方向和减少方向中任一个。可以按照一个或多个处理周期中的每一个执行该切换，例如可以在顺方向或逆方向中任一方向上设定切换而固定再生方向，或也可以在使子画面和主画面用的帧的帧号一致的每一个周期执行。该数码相机31，除了该地址控制的结构不同的点之外，都与第一实施方式的数码相机1、或第二实施方式的数码相机21相同。对相同结构标以相同的符号而省略说明。当以恒定周期来切换接点的切换顺序时，也可以一并进行切换抽头输出段。

在本实施方式的数码相机31中，通过地址控制的切换而切换分配于子画面的帧号的顺序，而能够使子画面相对于主画面的显示进行各种变更，因此除了上述实施方式的特征之外，还能够进一步提高方便性。

(4)其它实施方式

在上述实施方式中，叙述了通过用户的操作设定输入动画数据的帧率、子画面用的动画数据速度、处理单位的大小、主画面用的数据生成相关的延迟时间的情况。但是，本发明并不局限于此，也可以将这些的全部或任一个设定为固定值。

在上述的实施方式中，将切出子画面用的动画数据的一部分分配于子画面的情况进行了叙述，但是，本发明并不局限于此，也可以在子画面中分配子画面用的动画数据的全部。

另外，也可以例如在子画面合成部5A中，对子画面用分配动画数据D1，对主画面用分配动画数据D2而进行图像合成。另外，将与动画数据D1合成的动画数据的帧率设为实速进行了说明，但是，本发明并不局限于此，只要与动画数据D1合成的动画数据的帧率为比动画数据D1的帧率低的帧率即可，也可以根据实际状况进行决定。

而且，在上述的实施方式中，对采用帧缓存器生成子画面用以及主画面用的动画数据的情况进行了说明。但是，本发明并不局限于此，能够广泛使用于例如对动画数据进行帧间除的情况等。

在上述的实施方式中，说明了从高帧率的动画数据生成子画面用的动画数据而进行图像合成的情况。但是，本发明并不局限于此，也能广泛使用于，例如从作为通常帧率的帧率为30[fps]的动画数据，生成慢动作的动画数据用于子画面，并对它们进行合成记录的情况。

在上述的实施方式中，叙述了对数码相机使用本发明而处理从拍摄系统2输入的动画数据的情况。但是，本发明并不局限于此，也能广泛使用于，例如将通过网络、各种记录介质提供的动画数据记录在帧缓存器等记录介质中的情况等。另外，能够使拍摄装置具有的包含CPU和存储器计算机通过作为上述各单元而发挥作用的程序进行工作。程序，不仅可以通过通信电路分配，也可以写入CD-ROM等记录介质中进行分配。

本发明并不局限于上述实施方式，在不脱离该思想的范围内，能够对上述实施方式进行各种组合并且对上述实施方式加以各种变形。

Claims (9)

1.一种记录装置，具备：

输入动画数据的动画输入部；

对所述动画数据进行帧间除而降低帧率，生成低帧率动画数据的图像间除部；

使数据延迟的数据延迟部；

动画合成部，其生成合成动画数据，该合成动画数据在双画面中合成通过所述图像间除部生成的所述低帧率动画数据与通过所述数据延迟部延迟的所述动画数据；和

在记录介质中记录通过所述动画合成部所合成的合成动画数据的记录部。

2.根据权利要求1所述的记录装置，其特征在于：

所述动画合成部将所述动画数据分割成多个区间，将按所述多个区间分割的各个所述动画数据从开头依次与低帧率动画数据合成，

所述图像间除部从按所述多个区间分割的各个所述动画数据的开头进行帧间除，生成在按所述多个区间分割的各个所述动画数据上从开头依次合成的各个所述低帧率动画数据。

3.根据权利要求2所述的记录装置，其特征在于：

在所述动画合成部分割的所述多个区间中分别所含的所述动画数据的帧数相同。

4.根据权利要求3所述的记录装置，其特征在于：

所述动画输入部，具有：

转换拍摄的动态图像而输出拍摄信号的固体拍摄元件；

处理所述拍摄信号而输出所述动画数据的信号处理部，

所述记录装置，还具备：

用于输入来自用户指示的指示输入部；和

设定部，其根据在所述指示输入部输入的用户指示，设定所述动画数据的帧率、所述低帧率动画数据的帧率、以及在所述多个区间中分别所含的所述动画数据的帧数中至少一个。

5.根据权利要求1所述的记录装置，其特征在于：

所述数据延迟部以及所述图像间除部由依次循环记录通过所述动画输入部输入的所述动画数据并选择性输出的环缓存器构成。

6.根据权利要求1所述的记录装置，其特征在于：

所述动画合成部使在主画面显示所述动画数据，在子画面显示所述低帧率动画数据。

7.根据权利要求6所述的记录装置，其特征在于，

所述动画合成部切出所述低帧率动画数据的一部分而生成在所述子画面显示的所述合成动画数据。

8.根据权利要求2所述的记录装置，其特征在于：

所述图像间除部，当从按所述多个区间分割的各个所述动画数据的开头进行帧间除而生成在按所述多个区间分割的各个所述动画数据上从开头依次合成的各个所述低帧率动画数据时，依次交替生成所述低帧率动画数据且使再生方向为与顺方向相反的方向。

9.一种记录动画数据的记录装置的记录方法，其中，

所述记录方法，含有：

输入动画数据的动态图像输入步骤；

对所述动画数据进行帧间除而降低帧率，生成低帧率动画数据的图像间除步骤；

使数据延迟的数据延迟步骤；

动画合成步骤，其生成合成动画数据，该合成动画数据在双画面中合成通过所述图像间除步骤生成的所述低帧率动画数据与通过所述数据延迟步骤延迟的所述动画数据；和

在记录介质中记录通过所述动画合成步骤合成后的合成动画数据的记录步骤。

Images