CN103248814B - 运动图像记录设备及其控制方法 - Google Patents

Abstract

本发明提供运动图像记录设备及其控制方法。该运动图像记录设备包括：项目叠加单元，其被配置为根据来自用户的输入将叠加项目叠加在运动图像上；存储控制单元，其被配置为使存储单元将所述运动图像与所述叠加项目一起存储；控制单元，其被配置为控制所述存储单元将叠加了所述叠加项目的图像的信息与所述运动图像相关联地存储，以使得基于所述项目叠加单元在所述运动图像上叠加的所述叠加项目的叠加状态的改变，叠加了所述叠加项目的图像被用作所述运动图像的代表图像。

Description

运动图像记录设备及其控制方法

技术领域

本发明涉及运动图像记录设备及其控制方法。

背景技术

配备有使得能够进行直观操作的触摸屏的信息设备变得普及，并且利用触摸屏的特征的功能的数量不断增加。诸如摄像机以及数字照相机的摄像设备具备例如允许通过徒手输入将文本以及图形叠加在图像上的手绘输入功能。

为了使得容易地搜索拍摄的图像，很多摄像设备具有用于显示作为运动图像的代表图像的缩略图的列表的模式。一般地，在包括在运动图像中的帧图像之中，在特定定时的帧图像被显示作为运动图像的缩略图。日本专利特开2007-266655号公报公开了一种用于显示用户所期望的缩略图的方法。根据该方法，在拍摄运动图像的同时，当放大后视角固定了预定时间段或更长时，或自焦点锁定后经过了预定时间段时，对应帧图像被用作缩略图，也就是代表图像。

发明内容

在前述传统示例中，根据照相机设置的条件来确定用于生成缩略图的定时。因此，即使在拍摄运动图像时诸如文本及图形等的叠加项目被叠加在图像上，也无法保证该状态下的帧图像被提取作为代表图像。

鉴于此，本发明提供如下技术，通过该技术，在运动图像上叠加了叠加项目的状态下的帧图像被用作代表图像。

本发明的实施例的一个方面涉及一种运动图像记录设备，所述运动图像记录设备包括：项目叠加单元，其被配置为根据来自用户的输入将叠加项目叠加在运动图像上；存储控制单元，其被配置为使存储单元将所述运动图像与所述叠加项目一起存储；以及控制单元，其被配置为控制所述存储单元将叠加了所述叠加项目的图像的信息与所述运动图像相关联地存储，以使得基于由所述项目叠加单元叠加在所述运动图像上的所述叠加项目的叠加状态改变，叠加了所述叠加项目的图像被用作所述运动图像的代表图像。

本发明的实施例的另一方面涉及一种运动图像记录设备的控制方法，所述控制方法包括：项目叠加步骤，根据来自用户的输入将叠加项目叠加在运动图像上；存储控制步骤，使存储单元将所述运动图像与所述叠加项目一起存储；以及控制步骤，控制所述存储单元将叠加了所述叠加项目的图像的信息与所述运动图像相关联地存储，使得基于在所述项目叠加步骤中在所述运动图像上叠加的所述叠加项目的叠加状态改变，叠加了所述叠加项目的图像被用作所述运动图像的代表图像。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A是示出根据本发明的实施例的运动图像记录设备的框图，以及图1B示出了运动图像记录设备的外观的一个示例。

图2A至图2F示出了根据本发明的实施例的显示画面的示例性结构。

图3A至图3C示出了根据本发明的实施例的显示画面中的示例性转变。

图4是示出根据本发明的第一实施例的运动图像记录处理的一个示例的流程图。

图5A至图5E示出了根据本发明的第一实施例的缩略图生成定时的示例。

图6A及图6B是示出根据本发明的第二实施例的运动图像记录处理的一个示例的流程图。

图7示出了根据本发明的第二实施例的代表缩略图选择画面的一个示例。

图8A至图8E示出了根据本发明的第二实施例的缩略图生成定时的示例。

图9A及图9B示出了根据本发明的第三实施例的显示画面中的示例性转变。

图10是示出根据本发明的第三实施例的动画描绘处理的一个示例的流程图。

具体实施方式

下面是对本发明的实施例的具体描述。首先说明本申请的发明构思。

<本申请的发明构思>

当用户在配备有触摸屏的信息设备或摄像设备上将叠加项目叠加在运动图像上时，该叠加状态下的帧图像可能是运动图像中给用户留下最深印象的代表图像。因此，如果在运动图像上叠加了叠加项目的状态下的帧图像被用作代表图像，即运动图像的缩略图像，则能够显著增加运动图像的可识别性，并且极大地改善了可用性。为了实现该目标，本申请的发明已经得出基于在图像上叠加叠加项目的状态的改变来生成缩略图的构思。通过这种方式，本申请的发明使得能够生成用户所期望的缩略图像。

下面参照附图逐步描述用于生成缩略图像的具体方法。

<第一实施例>

图1A是示出根据本发明的实施例的运动图像记录设备中的数据路径的框图。在本实施例中，数字摄像机被描述为运动图像记录设备的一个示例。

根据本实施例的运动图像记录设备具有使得能够将用户描画的图形及文本叠加在所记录的运动图像上的“手绘输入模式”。具有诸如笔、印记、橡皮以及动画等的各种手绘输入类型。在该运动图像记录设备中，CPU107是从程序/数据存储单元108读取程序并根据所读取的程序控制整个摄像机的操作的处理设备。所读取的程序具有使得CPU107并行执行多个任务的功能。更具体地，在CPU107的控制下，执行“模式控制任务”、“照相机控制任务”、“记录器控制任务”以及“显示器控制任务”。执行显示器控制任务的CPU107用作显示控制单元。临时存储单元103的一部分用作CPU107的工作区，并提供稍后描述的运动图像帧缓冲区以及屏幕显示（on-screendisplay，OSD）帧缓冲区。

照相机单元101具有将模拟视频信号输入至视频记录设备的机构。更具体地，照相机单元101包括用于聚焦来自被摄体的光的透镜、对由透镜聚焦的被摄体的图像进行光电转换的图像传感器以及驱动图像传感器的电路等。运动图像处理单元102将从照相机单元101输入的模拟视频信号转换为数字运动图像数据，并基于诸如去噪等的预定图像处理进行校正。通过CPU107执行的“照相机控制任务”来控制照相机单元101及运动图像处理单元102的操作。

编码器/解码器单元104对来自运动图像处理单元102的运动图像数据进行编码。由编码器/解码器单元104编码的运动图像数据首先临时存储在临时存储单元103中，然后与相关联的管理数据一起存储在运动图像存储单元105中。相反地，在回放运动图像时，编码器/解码器单元104经由临时存储单元103对从运动图像存储单元105读取的编码后的运动图像数据（图像数据）进行解码。之后，在临时存储单元103中的运动图像帧缓冲区再次展开运动图像数据。通过CPU107执行的“记录器控制任务”来控制编码器/解码器单元104以及由运动图像存储单元105进行的存储控制。

从运动图像存储单元105读取的管理数据被用于生成OSD数据，即，用于显示在拍摄图像或正在回放的图像上叠加的文本的数据，或用于图形用户接口（GUI）的数据。在临时存储单元103中的OSD帧缓冲区中描绘所生成的OSD数据。在运动图像帧缓冲区以及OSD帧缓冲区中的数据被显示控制单元110叠加并被显示在LCD屏111上。操作键106以及触摸屏109两者是接收来自用户的操作指令的操作单元。

图1B示出了作为根据本发明的实施例的运动图像记录设备的示例的数字摄像机的外观图的一个示例。该摄像机包括布置有图1A所示的照相机单元101的主体113，以及通过铰链可旋转地附装至主体113的多角度LCD单元112。LCD屏111及触摸屏109被一体地配置并布置在多角度LCD单元112上。例如，触摸屏109被配置为使得透光率不妨碍LCD屏111的显示。触摸屏109被附装至LCD屏111的显示面的顶层。触摸屏109上的输入坐标与LCD屏111的显示坐标相关联。这使得能够配置GUI，该GUI使用户能够以直接的方式操作LCD屏111上显示的画面。注意，触摸屏109可以是诸如电阻式、电容式、表面声波式、红外线式、电磁感应式、图像识别式及光传感器式等中的任意类型。

此外，CPU107能够检测触摸屏109上的下列操作。

触碰（touch-down）：通过手指或笔触摸触摸屏109的动作。

触接（touchon）：手指或笔正在触摸触摸屏109的状态。

移动（move）：在保持手指或笔触摸触摸屏109的同时移动手指或笔的动作。

抬起（touchup）：释放触摸屏109与手指或笔之间的接触的动作。

无触摸（touchoff）：不触摸触摸屏109的状态。

以上操作以及手指或笔触摸触摸屏109的位置坐标被通知给CPU107。基于通知的信息，CPU107确定触摸屏109接收到何种操作。

关于移动操作，针对手指或笔在触摸屏109上移动的方向，基于位置坐标的改变确定在触摸屏109上的垂直及水平分量。当在触摸屏109上连续依次进行了触碰操作、特定移动操作及抬起操作时，则确定进行了“绘制（stroke）”。

快速进行绘制的操作被称为轻拂（flick）。轻拂是如下的操作，即手指触摸触摸屏109的同时快速移动特定距离，然后从触摸屏109释放。换言之，轻拂是用手指快速跟踪或轻碰触摸屏109的操作。当紧接检测到以预定速度或更快的速度进行预定距离或更长距离的移动操作之后检测到抬起操作时，确定进行了轻拂。另一方面，在检测到以比预定速度更慢的速度进行预定距离以上的移动操作时，确定进行了“拖动”。

由CPU107执行的上述模式控制任务的作用如下。模式控制任务根据来自操作单元（操作键106以及触摸屏109）的指令、来自其他任务的请求或由模式控制任务自身管理的内部状态的改变，使得在整个摄像机的操作状态之间转变。模式控制任务还通知任务事件。

图2A至图2F是示出在摄像期间在LCD屏111上显示的画面的示例的示意图。图2A示出了在正常摄像模式下在LCD屏111上显示的画面的示例。具体地，整个LCD屏111显示由照相机单元101拍摄的整个图像201，图像201包括作为示例性被摄体图像的被摄体207及208。摄像机自身的信息，即摄像时间信息203、记录状态图标204以及剩余电量信息205被作为OSD显示在画面的右上部。

此外，作为指示能够触摸操作的触摸按钮的菜单按钮202以及手绘输入模式切换按钮206两者也被作为OSD显示在画面上。以上OSD项目被作为叠加在拍摄的运动图像上的附加信息显示在画面上，并被称为“显示项目”。在图2A的示例中，摄像时间信息203、记录状态图标204、剩余电量信息205以及上述触摸按钮是显示项目。

图2B示出了在手绘输入模式下在LCD屏111上显示的画面的示例。具体地，整个LCD屏111显示由照相机单元101拍摄的整个图像201，图像201包括作为示例性被摄体图像的被摄体207及208。摄像机自身的信息，即记录状态图标204及剩余电量信息205被作为OSD显示在画面的右上部。

此外，触摸按钮，即手绘输入选择按钮211、动画选择按钮212以及用于切换到正常摄像模式的关闭按钮213也被作为OSD显示在画面上。

图2C示出了在手绘输入期间在LCD屏111上显示的画面的示例。具体地，整个LCD屏111显示由照相机单元101拍摄的整个图像201，图像201包括作为示例性被摄体图像的被摄体207及208。通过手绘输入而输入的所记录的叠加文本221被作为OSD显示在画面的左上部。

不同于上述“显示项目”，通过手绘输入或动画输入而输入的文本及图形被叠加在记录的运动图像上。因此，所记录的叠加文本221在回放期间被显示为运动图像，而在回放期间不显示诸如菜单按钮202等的“显示项目”。在记录的运动图像上叠加的这些画面显示被称为“叠加项目”。

图2D示出了当选择了手绘输入时在LCD屏111上显示的画面的示例。在该画面上，用户能够选择手绘输入的类型（笔、印记或橡皮）。注意，当触摸图2B所示的手绘输入选择按钮211时，显示图2D所示的画面。

画面的标题以及用于返回到前一画面的返回按钮231被作为OSD显示在画面上。此外，小笔尖按钮232、大笔尖按钮233、心形按钮234、星形按钮235、小橡皮按钮236及大橡皮按钮237也被作为OSD显示用于工具选择。小笔尖按钮232及大笔尖按钮233示出了笔的宽度。心形按钮234以及星形按钮235示出了印记的类型。小橡皮按钮236以及大橡皮按钮237示出了橡皮的类型。

此外，还显示使得能够选择笔及印记的颜色的颜色选择按钮238，以及用于清除所有“叠加项目”的清除按钮239。

当选择了笔或橡皮时，在手绘输入期间通过从进行了触碰操作的点到进行了抬起操作的点连续追踪画面，能够沿该轨迹描画连续线。另一方面，当选择了印记时，能够将所选择的印记应用于进行了触碰操作的点。

图2E示出了在LCD屏111上显示的颜色选择画面的示例。在该画面上，用户能够选择笔及印记的颜色。注意，当触摸图2D所示的颜色选择按钮238时，显示图2E所示的画面。返回按钮231、画面标题及颜色按钮241被作为OSD显示在画面上。

图2F示出了在LCD屏111上显示的动画选择画面的示例。在该画面上，用户能够选择动画的类型。注意，当触摸图2B所示的动画选择按钮212时，显示图2F所示的画面。返回按钮231、画面标题以及动画按钮251被作为OSD显示在画面上。

参照图3A至图3C，下面描述当进行手绘输入时由根据本实施例的运动图像记录设备记录的运动图像的示例。图3A示出了当进行从使用笔的手绘输入到清除所有叠加项目的一系列操作时记录的运动图像的改变。应当注意，画面301、302、303、304及305表示记录的运动图像的不同定时，并且按时间顺序布置。在图3A中，画面301在手绘输入之前，并且画面302、303及304处在作为使用笔的手绘输入的结果叠加了项目的状态。此外，在图3A中，在使用清除按钮239清除了所有输入项目之后获得画面305。注意，能够在图2D所示的画面上选择小笔尖按钮232或大笔尖按钮233之后，在图2B所示的画面上进行使用笔的手绘输入。

图3B示出了当进行从使用印记的手绘输入到清除所有叠加项目的一系列操作时记录的运动图像的改变。应当注意，画面311、312、313、314及315表示记录的运动图像的不同定时，并且按时间顺序布置。在图3B中，画面311在手绘输入之前，并且画面312、313及314处在作为使用印记的手绘输入的结果叠加了项目的状态。此外，在图3B中，在使用清除按钮239清除了所有输入项目之后获得画面315。注意，能够在图2D所示的画面上选择心形按钮234或星形按钮235之后，在图2B所示的画面上进行使用印记的手绘输入。

图3C示出了当进行由使用笔的手绘输入、使用橡皮删除叠加项目的一部分以及清除所有叠加项目构成的一系列操作时记录的运动图像的改变。应当注意，画面321、322、323及324表示记录的运动图像的不同定时，并且按时间顺序布置。在图3C中，画面321在手绘输入之前，并且画面322处于作为使用笔的手绘输入的结果叠加了项目的状态。当使用橡皮删除了手绘文本的一部分之后获得画面323，并且在使用清除按钮239清除了所有输入项目之后获得画面324。注意，能够在图2D所示的画面上选择小橡皮按钮236或大橡皮按钮237之后，在图2B所示的画面上输入使用橡皮的删除。

图4是本实施例中在运动图像记录（叠加记录）的开始和停止之间由CPU107执行的生成缩略图的处理的流程图。该处理能够通过CPU107从程序/数据存储单元108读取并执行程序来实现。

首先，在S401中，CPU107进行默认设置，即将默认值0设置给用于管理缩略图像和缩略图候选的数目N。应当注意，在先于记录描画了叠加项目的情况下，将默认值1设置给数目N，并且在开始时的时间码被作为缩略图候选记录在唯一管理文件中。稍后将描述唯一管理文件。

接下来，在S402中，CPU107确定是否接收到用于停止运动图像记录的事件。当CPU107接收到用于停止运动图像记录的事件时（S402的“是”分支），则进行到S410。另一方面，当CPU107没有接收到用于停止运动图像记录的事件时（S402的“否”分支），则进行到S403。在S403中，CPU107确定手绘模式是否有效。当手绘模式无效时（S403的“否”分支），则CPU107返回到S402并重复相同的处理。另一方面，当手绘模式有效时（S403的“是”分支），则CPU107进行到S404。

在S404中，CPU107确定叠加项目是否有改变。当叠加项目无改变的情况下（S404的“否”分支），CPU107返回到S402并重复相同的处理。另一方面，当叠加项目有改变的情况下（S404的“是”分支），则CPU107进行到S405。注意，叠加项目的改变表示用于通过诸如使用笔、印记、橡皮等的手绘输入的项目叠加处理来改变叠加项目的事件的发布。

在S405中，CPU107确定用于改变叠加项目的事件是否对应于清除所有叠加项目。当用于改变叠加项目的事件对应于清除所有叠加项目时（S405的“是”分支），CPU107进行到S406。另一方面，当用于改变叠加项目的事件不对应于清除所有叠加项目时（S405的“否”分支），则CPU107进行到S407的处理。在S406中，CPU107执行用于清除所有叠加项目的处理。之后，CPU107返回到S402并重复相同的处理。

在S407中，CPU107执行用于描绘叠加项目的处理。该处理的详情根据不同的描绘输入方法而不同。例如，在使用笔的手绘输入的情况下，针对从进行触接操作到进行抬起操作中触摸的坐标执行描绘处理。在使用印记的手绘输入的情况下，针对进行了触接操作的坐标使用一个印记执行描绘处理。在使用橡皮的手绘输入的情况下，针对从进行触接操作到进行抬起操作中触摸的坐标执行删除描绘的叠加项目的处理。在S407的描绘处理之后，CPU107进行到S408的处理。

在S408中，CPU107递增数目N，然后进行到S409的处理。在S409中，CPU107将当前时间码作为第N个缩略图候选记录在唯一管理文件中。在唯一管理文件中描述了示出在各运动图像数据与包括在缩略图候选列表中的相应时间码之间的关联的信息。能够从缩略图候选列表中登记代表缩略图，并在回放模式期间的索引显示时显示代表缩略图。虽然在本实施例中准备了唯一管理文件作为记录时间码的单元，但是作为替代，时间码可以被包括在运动图像数据的元信息中或在RAM上展开。在S409的存储处理之后，CPU107返回到S402并重复相同的处理。

在S410中，第N个缩略图被登记为代表缩略图。之后，运动图像记录结束。在本实施例中，通过将第N个缩略图的时间码记录在运动图像数据的运动图像文件的头信息中来登记代表图像（缩略图像）。以这种方式，例如在使用代表图像（缩略图像）的索引回放时，能够通过参照运动图像文件的头部来识别应被显示作为缩略图的运动图像的帧。识别出的帧图像被从运动图像数据中提取（解码并提取作为静止图像）并被显示。可选地，可以记录除时间码之外的信息，只要其能识别应被用作代表图像的帧即可。

可以使用下列方法登记代表图像（缩略图像）。

·在S410中，从运动图像数据中提取由第N个缩略图的时间码指示的帧图像，根据需要将其缩放并压缩，并且将其作为静止图像数据记录在运动图像文件的头部。

·在S410中，提取由第N个缩略图的时间码指示的运动图像的帧图像，根据需要将其缩放并压缩，并将其作为静止图像数据与运动图像文件相关联地记录在其他文件中。

·在S410中，将第N个缩略图的时间码（或者能够识别应当用作代表图像的帧的其他信息）独立于运动图像文件且与运动图像文件相关联地记录。

根据以上处理，在接收到用于改变不对应于清除所有叠加项目的显示项目的事件时，在描绘处理之后，时间码被添加为缩略图候选。最后添加的缩略图被登记为代表缩略图。也就是说，代表缩略图示出了进行了最后手绘输入的状态。以这种方式，能够显示用户所期望的缩略图。在图3A至图3C的示例中，画面304、314及323的图像被用作代表缩略图。

下面参照图5A至图5E的时序图描述用于向列表添加缩略图候选的定时以及代表缩略图的登记的定时。在图5A至图5E中，横轴表示时间（t），并且时间轴上面的框表示事件。此外，菱形表示记录缩略图候选的定时。在图5A至图5E中，“记录开始”表示叠加记录的开始，“记录停止”表示叠加记录的停止，并且“改变处理”表示通过使用笔、印记、橡皮等的手绘输入改变叠加项目。沿时间轴的各改变处理的框的长度代表从接收到引起改变的事件到描绘处理结束的时间段。此外，清除所有表示用于当触摸了清除按钮239时清除所有叠加项目的处理。

在图5A中，在记录开始之后依次执行两个改变处理、清除所有处理以及改变处理，然后停止记录。在记录开始之后执行的第一个处理是改变处理。因此，在该改变处理之后的位置描画菱形，即向缩略图候选列表添加第一缩略图候选。下一处理还是改变处理。因此，在该改变处理之后的位置描画菱形，即向缩略图候选列表添加第二缩略图候选。下一处理是清除所有处理，因此不对缩略图候选列表进行任何改变。清除所有处理之后是改变处理。因此，在该改变处理之后的位置描画菱形，即向缩略图候选列表添加第三缩略图候选。之后，停止记录。因此，第三缩略图被登记为代表缩略图。在该情况下，代表缩略图是在叠加项目的叠加状态的最后改变之后获得的帧图像。

在图5B中，在记录开始之后依次执行两个改变处理以及清除所有处理，然后停止记录。在记录开始之后执行的第一个处理是改变处理。因此，在该改变处理之后的位置描画菱形，即向缩略图候选列表添加第一缩略图候选。下一处理还是改变处理。因此，在该改变处理之后的位置描画菱形，即向缩略图候选列表添加第二缩略图候选。下一处理是清除所有处理，因此不对缩略图候选列表进行任何改变。之后，停止记录。因此，第二缩略图被登记为代表缩略图。在该情况下，代表缩略图是在清除所有处理之前的叠加项目的叠加状态的最后改变之后获得的帧图像。

在图5C中，在记录开始之后依次执行两个改变处理，然后停止记录。在记录开始之后执行的第一个处理是改变处理。因此，在该改变处理之后的位置描画菱形，即向缩略图候选列表添加第一缩略图候选。下一处理还是改变处理。因此，在该改变处理之后的位置描画菱形，即向缩略图候选列表添加第二缩略图候选。之后，停止记录。因此，第二缩略图被登记为代表缩略图。在该情况下，代表缩略图是在叠加项目的叠加状态的最后改变之后获得的帧图像。

在图5D中，在记录开始之后仅执行清除所有处理，然后停止记录。在记录开始之后执行的第一个处理是清除所有处理，因此不对缩略图候选列表进行任何改变。之后，停止记录。也就是说，不存在缩略图候选列表，并且不登记代表缩略图。

在图5E中，在记录开始之后停止记录。因此缩略图候选列表没有改变。也就是说，不存在缩略图候选列表，并且不登记代表缩略图。

在本实施例中，向唯一管理文件添加时间码作为缩略图候选列表。然而，替代时间码，可以添加指示运动图像数据的特定时间点的时间印记。此外，可以在RAM、内置存储器或外部记录设备中展开在特定时间点的图像数据。

虽然以上说明了根据使用触摸屏的手绘输入改变叠加项目的情况，但是替代地可以根据使用操作键或指示系统的输入来改变叠加项目。在本实施例中，紧接用于描画叠加项目的处理之后生成缩略图。然而，应当注意，如果持续输入描画处理，则用作缩略图候选的图像的数量增加。鉴于此，在接收到用于改变叠加项目的事件之后进行描画之后，可以在经过预定时间段而没有接收到用于改变叠加项目的其他事件时生成缩略图。在该情况下，代表缩略图是叠加了基于作为预定时间段的起点的事件而改变的叠加项目的帧图像。

<第二实施例>

第一实施例已经参照图4的流程图描述了在改变叠加项目的处理之后向缩略图候选列表添加缩略图候选的处理。然而，本发明的实施例不限于这种方式。下面描述另一实施例作为本发明的第二实施例，该实施例涉及用于向缩略图候选列表添加缩略图候选的定时。例如在图1A至图3C所示的主体的结构以及在手绘操作时显示的画面方面，第二实施例与第一实施例类似。

图6A及图6B是本实施例中在运动图像记录（叠加记录）的开始与停止之间由CPU107执行的生成缩略图的处理的流程图。该处理能够通过CPU107从程序/数据存储单元108读取并执行程序来实现。

首先，在S601中，CPU107进行默认设置，即将默认值0设置给用于管理缩略图像和缩略图候选的数目N。接下来，在S602中，CPU107进行默认设置，即将默认值“假”设置给用于确定叠加项目的改变的标志（Flg）。应当注意，在摄像之前描画了叠加项目的情况下，将默认值“真”设置给Flg。

之后，在S603中，CPU107确定是否接收到用于停止运动图像记录的事件。当CPU107接收到用于停止运动图像记录的事件时（S603的“是”分支），则进行到S614。另一方面，当CPU107没有接收到用于停止运动图像记录的事件时（S603的“否”分支），则进行到S604。在S604中，CPU107确定手绘模式是否有效。当手绘模式无效时（S604的“否”分支），则CPU107返回到S603并执行相同的处理。另一方面，当手绘模式有效时（S604的“是”分支），CPU107进行到S605。

在S605中，CPU107确定叠加项目是否有改变。当叠加项目无改变时（S605的“否”分支），CPU107返回到S603并重复相同的处理。另一方面，当叠加项目有改变时（S605的“是”分支），CPU107进行到S605。基于是否发出用于通过使用笔、印记、橡皮等的手绘输入改变叠加项目的事件，来确定叠加项目是否有改变。

在S606中，CPU107确定用于改变叠加项目的事件是否对应于清除所有叠加项目。当用于改变叠加项目的事件对应于清除所有叠加项目时（S606的“是”分支），CPU107进行到S609。另一方面，当用于改变叠加项目的事件不对应于清除所有叠加项目时（S606的“否”分支），CPU107进行到S607的处理。在S607中，由于叠加项目有改变，所以CPU107将“真”设置为用于确定叠加项目的改变的Flg值。然后CPU107进行到S608的处理。在S608中，CPU107执行用于描绘叠加项目的处理。该处理类似于在第一实施例中说明的S407的处理。该处理的详情根据不同的描绘输入方法而不同。在S608的描绘处理之后，CPU107返回到S603并重复相同的处理。

在S609中，CPU107确定“真”是否被设置为用于确定叠加项目的改变的Flg值。当“真”被设置为Flg值时（S609的“是”分支），CPU107执行S610的处理。当“假”被设置为Flg值时（S609的“否”分支），CPU107执行S613的处理。在S610中，CPU107递增数目N，然后进行到S611的处理。在S611中，CPU107在唯一管理文件中记录当前时间码作为第N个缩略图候选。在唯一管理文件中描述了示出在各运动图像数据与包括在缩略图候选列表中的相应时间码之间的关联的信息。能够从缩略图候选列表中登记代表缩略图，并在回放模式期间的索引显示时显示代表缩略图。虽然在本实施例中准备了唯一管理文件作为记录时间码的单元，但是替代地，时间码可以被包括在运动图像数据的元信息中或在RAM上展开。

由于时间码已经被添加到缩略图候选列表中，所以在S612中，CPU107设置“假”作为用于确定叠加项目的改变的Flg值。之后，CPU107进行到S613的处理。在S613中，CPU107执行用于清除所有叠加项目的处理。然后CPU107返回到S603并重复相同的处理。

在S614中，CPU107确定“真”是否被设置为用于确定叠加项目的改变的Flg值。当“真”被设置为Flg值时（S614的“是”分支），CPU107进行到S615的处理。另一方面，当“假”被设置为Flg值时（S614的“否”分支），CPU107进行到S617。在S615中，CPU107递增数目N，然后进行到S616的处理。在S616中，如同S611的处理，CPU107在唯一管理文件中记录当前时间码作为第N个缩略图候选。注意，在用户没有清除所有叠加项目的情况下，执行S614及S615的处理，从而将紧接停止运动图像记录之前的帧图像登记为缩略图候选。在S617中，第（N=1）个缩略图被登记为代表缩略图。之后，运动图像记录结束。登记处理类似于第一实施例。注意，在没有第（N=1）个缩略图的情况下，不登记代表缩略图，运动图像记录结束。这是对应于由于没有执行改变处理而Flg值仍为“假”的情况（例如稍后描述的图8D以及图8E的情况）下的处理。

根据上述处理，叠加了改变的叠加项目并且在清除所有叠加项目之前的画面，或叠加了改变的叠加项目并且在记录停止之前的画面，能够被用作缩略图候选。也就是说，进行了手绘输入的画面的显示的状态被原样用作缩略图。这使得能够生成用户所期望的缩略图。

与第一实施例相比，在每次改变叠加项目时不用更新缩略图候选。以这种方式，能够减少缩略图候选的数目，并且能够提高提取缩略图候选的效率。在图3A到图3C的示例中，以类似于第一实施例的方式，画面304、314及323被用作代表缩略图。上面已经描述了缩略图候选列表中的第一缩略图候选被登记为代表缩略图。可选地，在列表中的任意缩略图候选可以被登记为代表缩略图。例如，可能存在在用于停止运动图像记录的事件之前执行多次清除所有处理的情况。在这种情况下，可以显示图7所示的画面。具体地，该画面示出了紧接多次清除所有处理之前的画面作为缩略图候选列表，使得用户能够从缩略图候选列表中选择代表缩略图。

在S617中，仅第（N=1）个缩略图候选被登记为代表缩略图。可选地，在唯一管理文件中记录的所有N个缩略图候选（即多个缩略图候选）都可以被与运动图像相关联地记录为代表图像（也就是说，可以记录N个时间码）。以这种方式，对应于N个记录的时间码的帧图像能够被显示在显示单个运动图像的多个缩略图像的画面上，例如可以显示在显示单个运动图像的时间线的画面上。对应于N个时间码的帧图像都在紧接清除所有叠加项目之前，并且因此处于叠加了大量叠加项目的状态。通过例如以时间线显示的形式在阵列中显示多个帧图像，能够在阵列中显示运动图像中的、给用户留下深刻印象的多个帧。在针对各运动图像仅显示一个代表图像的画面（诸如显示文件列表的画面）上，足以显示对应于N个时间码中的一个的帧图像。

下面参照图8A至图8E的时序图来描述用于向列表添加缩略图候选的定时以及代表缩略图的登记的定时。在图8A至图8E中，横轴表示时间（t），并且时间轴上面的框表示事件。此外，菱形表示记录缩略图候选的定时。在图8A至图8E中，“记录开始”表示叠加记录的开始，“记录停止”表示叠加记录的停止，并且“改变处理”表示通过使用笔、印记、橡皮等的手绘输入改变叠加项目。沿时间轴的各改变处理的框的长度代表从接收到引起改变的事件到描绘处理结束的时间段。此外，清除所有表示用于当触摸了清除按钮239时清除所有叠加项目的处理。

在图8A中，在记录开始之后依次执行两个改变处理、清除所有处理及改变处理，然后停止记录。由于在记录开始之后执行的第一个处理是改变处理，所以“真”被设置为指示改变处理的执行的Flg值。由于下一处理还是改变处理，所以指示改变处理的执行的Flg值仍为“真”。下一处理是清除所有处理，Flg值仍为“真”。因此，在清除所有处理之前描画菱形，即叠加了叠加项目的画面的图像被作为第一缩略图候选添加到缩略图候选列表。由于执行了清除所有处理，所以“假”被设置为指示改变处理的执行的Flg值。下一处理是改变处理。因此，“真”被再次设置为指示改变处理的执行的Flg值。下一处理是记录停止。由于“真”被设置为Flg值，所以在记录停止前描画菱形。也就是说，显示紧接菱形之前执行的改变处理的结果的画面的图像被作为第二缩略图候选添加到缩略图列表。根据图6A及图6B所示的处理的流程图，第一缩略图候选被用作代表缩略图。也就是说，紧接清除所有处理之前的帧图像被用作代表缩略图。在用户能够使用图7所示的画面选择代表缩略图的情况下，第一及第二缩略图候选被显示为列表，并且用户能够通过选择第一及第二缩略图候选中的一个确定代表缩略图。如果选择了第二缩略图候选，则紧接项目叠加处理结束之前的帧图像被用作代表缩略图。

在图8B中，在记录开始之后依次执行两个改变处理及清除所有处理，然后停止记录。由于在记录开始之后执行的第一个处理是改变处理，所以“真”被设置为指示改变处理的执行的Flg值。由于下一处理还是改变处理，所以指示改变处理的执行的Flg值仍为“真”。下一处理是清除所有处理。由于“真”被设置为Flg值，所以在清除所有处理之前描画菱形，即显示的画面的图像被作为第一缩略图候选添加到缩略图候选列表。由于执行了清除所有处理，所以“假”被设置为指示改变处理的执行的Flg值。下一处理是记录停止。由于“假”被设置为Flg值，所以不更新缩略图候选列表。因此，第一缩略图候选用作代表缩略图。也就是说，紧接清除所有处理之前的帧图像被用作代表缩略图。

在图8C中，在记录开始之后依次执行两个改变处理，然后停止记录。由于在记录开始之后执行的第一个处理是改变处理，所以“真”被设置为指示改变处理的执行的Flg值。由于下一处理还是改变处理，所以指示改变处理的执行的Flg值仍为“真”。下一处理是记录停止。由于“真”被设置为Flg值，所以在记录停止之前描画菱形，即第一缩略图候选被添加到缩略图候选列表。因此，第一缩略图候选被用作代表缩略图。也就是说，紧接项目叠加处理结束之前的帧图像被用作代表缩略图。

在图8D中，在记录开始之后仅执行清除所有处理，然后停止记录。由于在记录开始之后执行的第一个处理是清除所有处理并且“假”被设置为Flg值，所以不更新缩略图候选列表。下一处理是记录停止。由于Flg值仍是“假”，所以不更新缩略图候选列表。因此不登记代表缩略图。

在图8E中，在记录开始之后停止记录。由于在记录停止时“假”被设置为Flg值，因此不更新缩略图候选列表。因此不登记代表缩略图。

在本实施例中，在唯一管理文件中添加时间码作为缩略图候选列表。然而，取代时间码，可以添加指示运动图像数据的特定时间点的时间印记。此外，可以在RAM、内置存储器或外部记录设备中展开在特定时间点的图像数据。

虽然上面说明了通过使用触摸屏的手绘输入改变了显示的叠加项目的情况，但是替代地，可以通过使用操作键以及指示系统的输入来改变显示的叠加项目。

<第三实施例>

在上述第一实施例以及第二实施例中，通过估计叠加项目的描绘结束的定时来生成缩略图候选。然而，缩略图候选不是必需局限于在描绘结束时生成。例如，在由多个步骤构成的动画被应当选择为叠加项目的情况下，可能存在在描绘期间（在动画中）获得的帧图像被期望用作缩略图的情况。

鉴于此，第三实施例说明了叠加项目是动画的情况。在图像记录设备的配置及缩略图候选列表的生成方面，本实施例类似于第一实施例以及第二实施例。因此，下面的描述将省略图像记录设备的配置以及缩略图候选列表的生成。

图9A及图9B是示出当输入动画时记录的运动图像的示例的示意图。图9A示出了在画面的一部分上显示的动画的示例，更具体地示出了从输入动画到动画结束的所记录的运动图像的改变。应当注意，画面901、902、903、904及905是在不同定时显示的所记录的运动图像的画面的示例，并且这些画面被按时间顺序布置。在图9A中，画面901在手绘输入之前，画面902、903及904是在描绘动画期间获得的画面，并且画面905是在动画结束后获得的画面。注意，能够在图2F所示的画面上选择动画按钮251之后，在图2B所示的画面上进行动画输入。

图9B示出了在整个画面上显示的动画的示例，更具体地示出了在从输入动画到动画结束的所记录的运动图像的改变。应当注意，画面911、912、913、914及915是在不同定时显示的所记录的运动图像的画面的示例，并且这些画面被按时间顺序布置。在图9B中，画面911在手绘输入之前，画面912、913及914是在描绘动画期间获得的画面，并且画面915是在动画结束后获得的画面。注意，在动画输入过程中，图9B类似于图9A。

在图9A的示例中，认为具有最多显示项目的画面903被期望显示为缩略图像。在图9B的示例中，认为在动画开始时的画面912被期望显示为缩略图像。因此，当输入动画时，假定用户期望添加缩略图候选的定时根据显示的动画的内容及类型而不同。因此，在动画输入的情况下，准备在描述了用于登记缩略图的定时的缩略图生成定时管理文件。

下面是关于缩略图生成定时管理文件的结构的更详细描述。例如，假定动画由240个步骤（可以认为一个步骤对应于一帧）构成的情况。在该文件中，在240个步骤中，对应于用户希望用作缩略图候选的动画的状态的步骤号被登记为缩略图登记的定时。例如，当第120步骤对应于该状态时，120被登记为指示定时的信息。注意，被设置为定时的步骤数不限于一个，而可以多于一个。在这种情况下，用户能够使用图7所示的选择画面选择最优选的图像。可以与动画一一对应地准备缩略图生成定时管理文件。在这种情况下，各缩略图生成定时管理文件针对相应动画分别设置缩略图登记的定时。

下面描述在描绘动画期间的任意定时被作为缩略图候选添加到列表的示例。图10示出了用于描绘动画作为叠加项目以及用于存储时间码的处理。更具体地，在图4的情况下，例如可以在S402及S403之间执行图10的处理。在图6A及图6B的情况下，例如可以在S603及S604之间执行图10的处理。该处理可以通过CPU107从程序/数据存储单元108读取并执行程序来实现。

首先，在S1001中，确定是否输入了动画。当输入了动画时（S1001的“是”分支），处理进行到S1002。另一方面，当没有输入动画时（S1001的“否”分支），本处理结束。在第一实施例及第二实施例中，本处理之后是S403或S604，并且执行手绘模式的处理。

在S1002中，CPU107将默认值0设置给指示动画中的步骤数的STEP，并进行到S1003的处理。在S1003中，CPU107参照对应于动画的缩略图生成定时管理文件来确定当前步骤是否为对应于缩略图登记的定时的预定步骤。在上述动画由240个步骤组成的示例的情况下，CPU107确定当前步骤是否为第120个步骤。当当前步骤不对应于登记的定时时（S1003的“否”分支），则CPU107进行到S1006的处理。另一方面，当当前步骤对应于登记的定时时（S1003的“是”分支），则CPU107进行到S1004的处理。在S1004中，CPU107递增数目N，然后进行到S1005的处理。

在S1005中，CPU107在唯一管理文件中将当前时间码记录为第N个缩略图候选。之后，CPU107进行到S1006的处理。该唯一管理文件类似于在上面的第一实施例及第二实施例中描述的唯一管理文件。

在S1006中，CPU107确定动画是否已经结束。当动画已经结束时（S1006的“是”分支），用于描绘叠加项目的处理结束。另一方面，当动画没有结束时（S1006的“否”分支），CPU107进行到S1007的处理。在S1007中，CPU107处理动画中的一个步骤，然后进行到S1008的处理。在S1008中，CPU107递增指示动画中的步骤数的STEP。之后，CPU107返回到S1003并重复相同的处理。

如上所述，当输入动画时，可以根据基于缩略图生成定时管理文件描绘动画期间的特定定时来选择缩略图候选。因此，也能够在输入动画时生成用户所期望的缩略图像。

在第一实施例至第三实施例中，在由于没有叠加叠加项目而没有缩略图候选列表的情况下，不登记代表缩略图。可选地，诸如运动图像中的第一帧等的、在其他条件下提取的帧，可以被登记为代表缩略图。

此外，在上述第一实施例至第三实施例中，单个硬件可以控制CPU107，或者可以通过多组硬件共享处理来控制整个设备。

虽然以上基于本发明的实施例详细描述了本发明，但本发明不限于这些具体实施例并且包括不偏离本发明的构思的各种变形例。上述实施例仅是本发明的示例性实施例，并可以被适当地组合。

虽然上述实施例说明了本发明应用于数字摄像机的示例，但本发明不限于该示例。可选地，本发明可以应用于具有图像传感器以及拍摄运动图像的功能的任何设备（例如移动电话、智能手机以及PDA等）。可选地，本发明可以应用于没有拍摄运动图像的功能的任何设备，只要该设备具有运动图像编辑功能并能够在编辑运动图像的同时在运动图像上叠加叠加项目即可。这种设备的示例包括个人计算机、便携式图像浏览器、具备显示器的打印设备、数字相框、音乐播放器、游戏机以及电子书阅读器。

其他实施例

本发明的各方面还能够通过读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机（或诸如CPU或MPU等的设备）来实现，并能够利用通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法来实现。为此，例如经由网络或从充当存储设备的各种类型的记录介质（例如，计算机可读介质）将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (20)

1.一种运动图像记录设备，所述运动图像记录设备包括：

指示单元，其被配置为接收来自用户的用于在运动图像的拍摄或回放期间将叠加项目叠加在所述运动图像上的指令；

项目叠加单元，其被配置为在接收到所述指示单元的指令之后将叠加项目叠加在拍摄或回放的所述运动图像的一部分上；

存储控制单元，其被配置为使存储单元将所述运动图像与所述叠加项目一起存储；以及

控制单元，其被配置为基于所述项目叠加单元在所述运动图像上叠加的叠加项目的叠加状态的改变，确定叠加项目被叠加在的代表图像，并且对所述存储单元进行控制，以将所述代表图像的信息与所述运动图像相关联地存储。

2.根据权利要求1所述的运动图像记录设备，其中，所述控制单元将在由所述项目叠加单元将最后的叠加项目叠加在所述运动图像上的状态下的帧图像确定作为所述代表图像。

3.根据权利要求1或2所述的运动图像记录设备，其中，在已经经过预定时间段而所述叠加项目的叠加状态没有任何变化的情况下，所述控制单元将在叠加了所述叠加项目的状态下的帧图像确定作为所述代表图像。

4.根据权利要求1或2所述的运动图像记录设备，其中，在由所述项目叠加单元叠加在所述运动图像上的所有叠加项目都已经被清除的情况下，所述控制单元将在清除所有叠加项目之前的帧图像确定作为所述代表图像。

5.根据权利要求4所述的运动图像记录设备，其中，所述控制单元将紧接清除所有叠加项目之前的帧图像确定作为所述代表图像。

6.根据权利要求5所述的运动图像记录设备，其中，所述指示单元还接收用于清除所有叠加项目的指令，并且

其中，响应于所述指示单元接收到用于清除所有叠加项目的指令，所述控制单元进行控制，使得在清除所有叠加项目之前记录用于识别接收到用于清除所有叠加项目的指令的时点的帧的信息，然后清除所有叠加项目。

7.根据权利要求1或2所述的运动图像记录设备，其中，在由多个步骤构成的动画被作为所述叠加项目叠加在所述运动图像上的情况下，所述控制单元将在对应于所述多个步骤中的预定步骤的动画已经被叠加在所述运动图像上的状态下的帧确定作为所述代表图像。

8.根据权利要求1所述的运动图像记录设备，

其中，所述控制单元从如下的帧图像当中确定所述代表图像：

在由所述项目叠加单元将最后的叠加项目叠加在所述运动图像上的状态下的帧图像，

在已经经过预定时间段而所述叠加项目的叠加状态没有任何变化的情况下，在叠加了所述叠加项目的状态下的帧图像，

在由所述项目叠加单元叠加在所述运动图像上的所有叠加项目都已经被清除的情况下，在清除所有叠加项目之前的帧图像，

紧接清除所有叠加项目之前的帧图像，

在所述指示单元还接收用于清除所有叠加项目的指令的情况下，在接收到用于清除所有叠加项目的指令的时点的帧图像，以及

在由多个步骤构成的动画被作为叠加项目被叠加在所述运动图像上的情况下，在对应于所述多个步骤中的预定步骤的动画已经被叠加在所述运动图像上的状态下的帧图像。

9.根据权利要求1或2所述的运动图像记录设备，所述指示单元包括：

触摸屏，其被配置为接收在被配置为显示正在回放的运动图像的显示单元上进行的触摸操作，

其中，所述项目叠加单元将跟随在所述触摸屏上进行的触摸操作的轨迹的手绘对象作为所述叠加项目叠加在运动图像上。

10.根据权利要求1或2所述的运动图像记录设备，其中，所述项目叠加单元根据来自用户的输入，将具有预定形状的印记图像作为所述叠加项目叠加在所述运动图像上。

11.根据权利要求1或2所述的运动图像记录设备，所述运动图像记录设备还包括：

摄像单元，其被配置为拍摄运动图像，

其中，所述项目叠加单元将所述叠加项目叠加在所述摄像单元正在拍摄的所述运动图像上。

12.根据权利要求1或2所述的运动图像记录设备，其中，在所述项目叠加单元没有将所述叠加项目叠加在所述运动图像上的情况下，所述控制单元将根据除在所述叠加项目的叠加状态的变化以外的条件确定的图像确定作为所述代表图像。

13.根据权利要求1或2所述的运动图像记录设备，其中，所述控制单元使得所述运动图像相关联的信息是指示在叠加了所述叠加项目的所述运动图像中帧的位置的信息。

14.根据权利要求13所述的运动图像记录设备，其中，所述信息是时间码。

15.根据权利要求1或2所述的运动图像记录设备，其中，所述存储控制单元使得记录由所述项目叠加单元叠加了所述叠加项目的运动图像。

16.根据权利要求1所述的运动图像记录设备，其中，所述控制单元进行控制，以将基于所述运动图像中被确定为所述代表图像的帧而生成的静止图像，存储作为所述代表图像的信息。

17.根据权利要求1所述的运动图像记录设备，其中，所述指示单元接收用于在所述运动图像的拍摄或回放期间将叠加项目叠加在所述运动图像上的多个指令。

18.根据权利要求1所述的运动图像记录设备，其中，所述指示单元还接收用于改变要叠加在所述运动图像上的叠加项目的类型的指令。

19.根据权利要求18所述的运动图像记录设备，其中，所述指示单元接收用于改变在所述运动图像的拍摄或回放期间要叠加在所述运动图像上的叠加项目的类型的指令。

20.一种运动图像记录设备的控制方法，所述控制方法包括：

指令接收步骤，接收来自用户的用于在运动图像的拍摄或回放期间将叠加项目叠加在所述运动图像上的指令；

项目叠加步骤，在所述指令接收步骤中接收到所述指令之后，将叠加项目叠加在拍摄或回放的所述运动图像的一部分上；

存储控制步骤，使存储单元将所述运动图像与所述叠加项目一起存储；

控制步骤，基于所述项目叠加步骤中在所述运动图像上叠加的叠加项目的叠加状态的改变，确定叠加项目被叠加在的代表图像，并且对所述存储单元进行控制，以将所述代表图像的信息与所述运动图像相关联地存储。