CN1839625A - 动态图像数据处理 - Google Patents

Abstract

本发明提供一种从动态图像数据中抽取一部分动态图像数据的动态图像数据处理方法。该方法的特征在于，具备：帧图像评价工序，其根据规定条件，评价包含于动态图像数据中的多个帧图像数据的每一个，并对应评价，生成第1图像评价值；和动态图像数据抽取工序，其对应第1图像评价值，抽取包含满足规定条件的多个帧图像数据之动态图像数据。

Description

动态图像数据处理

技术领域

本发明涉及从动态图像数据自动生成摘要(digest)动态图像数据的技术。

背景技术

近年来，随着摄像机的普及，使用摄像机的拍摄正变得普遍。与此同时，强烈要求希望在短时间内简单地掌握长时间、多方面拍摄的动态图像数据的内容。因此，提议生成作为动态图像数据之摘要信息的摘要动态图像数据、所谓的摘要图像的技术。

例如，在特开2002-142189号公报中，通过将动态图像数据分割成多个场景(scene)，求出每个场景的评价值，连接评价值高的场景，来生成摘要动态图像数据。在专利文献1中，评价值根据场景内帧图像的亮度、帧图像内物体的数量或位置、声音等来算出。

图1是表示专利文献1中摘要动态图像数据的生成的说明图。在图表(chart)25的第3格，示出了构成摘要动态图像数据的生成对象之动态图像数据的帧图像。为了简单，省略了帧图像的内容。作为将动态图像数据分割成场景后的结果，在动态图像数据的场景断开处表示虚线L。

在图1的图表25的下方，示出了分别扩大显示场景SA和场景SB的帧图像中代表性的帧图像a1、帧图像am及帧图像bn、帧图像bp。场景SA是拍摄了山或天空等风景的场景，场景SB是拍摄了船横穿的样子的场景。各场景由该状态下某种程度在时间、内容上连续的帧图像构成。

在图表25的第2格，示出求得每个场景的评价值的结果、确定后的评价。如果评价为O，则表示该场景适于作为摘要动态图像数据，如果评价为×，则表示该场景不适于作为摘要动态图像数据。在图表25的第1格，示出可连接评价为O的场景之摘要动态图像数据的帧图像。

但是，在这种现有的摘要动态图像数据中，由于以场景为单位求解评价值，所以有时会漏掉适于摘要动态图像的帧图像，或包含不适当的帧图像。

例如，帧图像am是当摄像机的拍摄者要拍摄建筑物10时、进行图像放大操作后结果拍摄的帧图像，虽然对拍摄者是很重要的帧图像，但却从摘要动态图像中漏掉。另外，帧图像bn是只照船头的、较不重要的图像，但包含在摘要动态图像中。

发明内容

本发明是为解决上述问题而进行的，其目的在于提供一种有效地活用动态图像数据的帧图像数据，生成管理摘要动态图像的技术。

为了解决上述课题，本发明提供一种从动态图像数据中抽取一部分动态图像数据的动态图像数据处理方法。该方法的特征在于，具备：帧图像评价工序，其根据规定条件，评价包含于所述动态图像数据的多个帧图像数据的每一个，对应所述评价，生成第1图像评价值；和动态图像数据抽取工序，其对应所述第1图像评价值，抽取包含满足规定条件的多个帧图像数据的动态图像数据。

在本发明的动态图像处理方法中，由于动态图像数据评价每个帧图像数据，所以可生成由适于作为摘要动态图像的帧图像数据构成的摘要动态图像数据。

作为本发明一方式的动态图像处理装置，其从由在时间序列上连续的多个帧图像数据构成的动态图像数据，生成摘要了其内容的摘要动态图像数据，其特征在于，具备：

取得所述动态图像数据的取得部；

算出部，其针对各个所述帧图像数据，算出表示所述动态图像数据的重要性之评价值；

抽取部，从所述评价值及所述评价值的变动至少一方满足规定条件的所述帧图像数据中，抽取至少1个以上作为在时间序列上连续的帧图像数据之集合的帧群；和

生成部，其使用抽取出的所述帧群的至少一部分，生成所述摘要动态图像数据。

根据本发明的动态图像装置，可对每个帧图像数据评价动态图像数据，生成由适于作摘要动态图像的帧图像数据构成的摘要动态图像数据。

评价值例如也可基于摄像机的变焦操作或摇场景(pan)操作来算出。所谓变焦操作是使用变焦透镜扩大或缩小被摄体的图像。所谓摇场景操作是固定相机的位置不变，改变相机的方向，拍摄宽的范围。另外，评价值也可根据帧图像内运动物体的位置、运动物体的大小、背景的动作、肤色的大小等来算出。并且，评价值也可根据帧图像内物体的数量、帧图像的亮度或颜色的直方图、声音数据等来算出。

上述的动态图像处理装置也可以具备分割部，其分割所述动态图像数据，并分别设定多个包含多个所述帧图像数据的场景，

所述抽取部从各个所述场景中抽取至少1个以上的所述帧群。

据此，由于可在摘要动态图像数据中包含全部场景的至少一部分，所以通过观看摘要动态图像，而容易地掌握全部的场景。分割部也可作成不是以场景为单位，而是以每个规定的间隔分割动态图像数据，抽取部也可作成从分割后的数据中抽取至少1个以上的所述帧群。规定的间隔例如是基于时间或数据量的间隔。如果观看这样生成的摘要动态图像，则用户可判断是否需要每个规定时间的动态图像数据。因此，可生成用户能利用于编辑操作中的摘要动态图像数据。

并且，所述分割部也可根据所述评价值的不连续变化，来分割所述动态图像数据。

在动态图像中，在场景变化的场所，多数情况下各帧图像数据的亮度或颜色的直方图、声音数据等相关的评价值不连续地变化。因此，通过根据这样的评价值的不连续变化，从而可将动态图像数据分割成场景。作为另一方法，也可根据2个帧图像中各个象素值的差分，将动态图像数据分割成场景。差分为规定值以上的场所可判断为是场景变化的场所。

上述动态图像处理装置的所述规定的条件也可是所述评价值为规定阈值以上。并且，也可在规定的条件中增加所述评价值为规定阈值以上的状态在规定时间以上连续。分割动态图像数据时，也可对分割的各个数据使用不同的阈值。

并且，也可具备：输入所述摘要动态图像数据的再生时间之希望值的再生时间输入部；和

对应所述再生时间的希望值，调整所述阈值的调整部。

据此，可生成对应于再生时间的希望值之摘要动态图像数据。在生成的摘要动态图像数据的再生时间超出包含希望值的规定范围的时间时，也可使调整部调整阈值，再次生成摘要动态图像数据。

上述的动态图像处理装置的所述抽取部也可优先抽取所述评价值的变化率为0以上的帧群。

通常，变焦操作中及其后的帧群与变焦操作后的帧群相比，多数情况下作为动态图像的重要性高。在基于变焦操作设定评价值时，变焦操作中及其后的帧群之评价值的变化率多为0以上，变焦操作后的帧群之评价值的变化率多为负。在变焦操作的前后，既便评价值相同，也存在变化率正负不同的帧图像。若比较两者，例如既便是相同的评价值，结果，多数情况下评价值的变化率为0以上的帧群与评价值的变化率为负的帧群相比，作为动态图像的重要性高。因而，据此，可抽取更适宜作摘要动态图像数据的帧群。

上述动态图像处理装置的所述抽取部也可就多个所述帧群中、所述帧群间的时间间隔为规定值以下的2个帧群，归纳所述2个帧群及其间的全部帧图像数据，作为1个帧群抽取。

若抽取出的帧群与帧群的时间间隔窄，则观看动态图像的人有时感到像将摘要动态图像不自然地中途切开似的不谐调感。根据本发明，可防止产生这样的不谐调感。

并且，具备场景分割部，其分割所述动态图像数据，分别设定多个包含多个所述帧图像数据的场景。

并且，所述抽取部也可在所述2个帧群及其间的全部帧图像数据在同一场景内时，作为1个帧群抽取。

既便在场景的交替期间中途切开摘要动态图像，观看摘要动态图像的人感到不谐调感也少。因此，通过在场景的交替期间不抽取2个帧群之间的帧图像数据，可防止评价低的帧图像数据进入摘要动态图像数据。

上述动态图像处理装置的所述抽取部也可抽取由规定数以上的帧图像数据构成的所述帧群。

这样，就各帧群而言，可确保观看摘要动态图像的人可掌握其内容之程度的长度。

上述之一的动态图像处理装置的所述算出部也可使用比较包含所述评价值的算出对象之所述帧图像数据的2个所述帧图像数据而求出的动作矢量，来算出所述评价值。

根据动作矢量可检测图像放大操作等，可特定拍摄者特别想要拍摄的帧图像。也可将这样的帧图像判断为动态图像的重要性高，算出评价值。不必在评价值算出中必须使用动作矢量，例如也可事先在拍摄时记录变焦操作或相机的姿势等拍摄信息，使用该拍摄信息，算出评价值。

作为本发明的另一方式的动态图像处理装置，其从动态图像数据中抽取一部分动态图像数据，其特征在于，具备：

静止图像评价部，其根据规定的条件，评价包含于所述动态图像数据中的多个静止图像数据的每一个，对应所述评价，生成第1图像评价值；

动态图像评价部，其对应于所述多个静止图像数据各自的所述第1图像评价值和所述第1图像评价值时间序列上的变化率，生成所述多个静止图像数据各自的第2图像评价值；和

动态图像数据抽取部，其根据所述第2图像评价值，从所述动态图像数据中抽取由所述第2图像评价值比规定阈值大的多个静止图像数据构成的动态图像数据。

根据本发明的动态图像数据处理装置，由于不只考虑评价各帧图像重要性的第1图像评价值，还考虑第1图像评价值的变化率来抽取动态图像数据，所以可自动地抽取用户希望的动态图像数据。

在上述动态图像数据处理装置中，

所述动态图像评价部也可具有如下评价模式，即：设增大所述第1图像评价值在时间序列上的变化率为正的多个静止图像数据之第1图像评价值而得到的值为所述第2图像评价值，或者

所述动态图像评价部也可具有如下评价模式，即：设降低所述第1图像评价值在时间序列上的变化率为负的多个静止图像数据之第1图像评价值而得到的值为所述第2图像评价值。

据此，由于重点抽取在时间序列上比作为峰值时帧图像的峰值图像还靠前的动态图像数据，所以可生成用户希望的摘要图像数据。重点抽取在时间序列上比峰值图像还靠前的动态图像数据多是由于朝向峰值图像的动画作为到达峰值图像之前的心理准备时期的动态图像是重要的，另外，设超过峰值图像后的图像作为静止图像个体，既便增大重要性，用户也不关心。

另外，作为增大第1图像评价值的方法，例如有相加规定的正值的方法或乘以大于1的值的系数的方法。另外，作为增大第1图像评价值的方法，例如有减去规定正值的方法或乘以不足1的系数的方法。并且还有一律降低为零的方法。

在上述动态图像数据处理装置中，所述动态图像评价部也可具有设所述第1图像评价值、与所述第1图像评价值的时间序列之变化率乘以规定的正系数后的值之和为所述第2图像评价值的评价模式。

据此，可通过操作规定的系数，而定量地调整在哪种程度重点地抽取在时间序列上比峰值图像还靠前的动态图像数据。该调整例如可对应于用户意图的被摄物来设定。具体地说，根据用户意图的被摄物是动作要素大的人物还是动作要素小的风景，适当的调整量不同。

在上述动态图像数据处理装置中，最好是所述规定系数设定成比1小的正值。因为通过发明人的实验发现，规定系数一般最好是设定在0～1之间。

在上述动态图像处理装置中，所述动态图像数据抽取部也可具有一种抽取模式，即根据所述第2图像评价值，从所述动态图像数据中仅抽取由所述第2图像评价值比规定阈值大的多个静止图像数据构成的、且再生时间比规定时间长的动态图像数据。据此，可排除抽取用户不希望的、非常短的动态图像数据。

在上述动态图像数据处理装置中，具备对每个场景分割所述动态图像数据的场景分割部，

所述动态图像数据抽取部也可对每个所述场景进行所述抽取。

在上述动态图像数据处理装置中，所述动态图像数据抽取部也可按每个所述场景算出所述第1图像评价值和所述第2图像评价值至少一方的平均值，对应所述平均值，对每个所述场景使所述规定的阈值变化。

本发明的摘要图像数据生成装置，其特征在于，具备：

上述之一中记载的动态图像数据处理装置；和

动态图像数据连接部，其在所述抽取的动态图像数据为多个时，连接所述抽取出的多个动态图像数据，生成所述摘要图像数据。

根据本发明的摘要图像数据生成装置，可连接考虑第1图像评价值的变化率后抽取出的动态图像数据，以自动生成摘要图像数据。

在上述摘要图像数据生成装置中，

所述动态图像数据连接部也可具有按时间序列顺序连接所述抽取出的多个动态图像数据的连接模式，或者

所述动态图像数据连接部也可具有一种连接模式，即所述动态图像数据连接部按对应构成所述抽取出的多个动态图像数据各自之多个静止图像数据的所述第1图像评价值和所述第2图像评价值之一而决定的顺序，连接所述抽取出的多个动态图像数据。

另外，本发明可通过摘要图像数据输出装置、动态图像数据的属性信息生成装置、动态图像数据的属性信息存储装置、用于使计算机实现摘要图像数据生成的方法或装置的功能的计算机程序、记录了该计算机程序的记录介质、包含该计算机程序并在载波内具体化了的数据信号等各种方式来实现。

附图说明

图1是表示现有技术中的生成摘要动态图像数据的说明图。

图2是表示本发明第1实施例中的动态图像处理装置的结构示意的说明图。

图3是用于说明本发明第1实施例中的帧图像的评价值的说明图。

图4是用于表示本发明第1实施例中变焦操作开始·结束时的帧图像数据、摇场景操作开始·结束时的帧图像数据之检测方法的说明图。

图5是表示本发明第1实施例中运动物体mv的说明图。

图6是表示本发明第1实施例中合计图3(b)～(g)的各评价值而求出的评价值「合计」的说明图。

图7是表示本发明第1实施例中动态图像处理装置100的摘要动态图像数据生成处理的说明图。

图8是表示本发明第1实施例中各帧图像的动作检测处理的流程图。

图9是表示本发明第1实施例中帧群的抽取处理的流程图。

图10是表示本发明第1实施例中帧群的选择处理的流程图。

图11是表示本发明第2实施例中图像处理系统100的说明图。

图12是表示显示在显示器18a上的、图像文件生成处理中操作显示画面200的说明图。

图13是表示本发明第2实施例中静止图像数据生成处理的内容的流程图。

图14是表示本发明第2实施例中使用的动态图像数据构成的一例的说明图。

图15是表示本实施例的第2实施例中场景分割处理的结果的表。

图16是表示本发明第2实施例中评价值计算处理的内容的流程图。

图17是表示本发明第2实施例中动态图像数据抽取处理的内容的说明图。

图18是表示本发明第3实施例中动态图像数据抽取处理的内容的说明图。

图19是表示本发明第4实施例中图像管理系统100a的说明图。

图20是表示本发明第4实施例的图像管理中数据库内容的说明图。

图21是表示在本发明的第4实施例中、存储于记录介质上的数据文件GF的内容的说明图。

图22是表示印刷在记录介质上的目录图像的说明图。

图23是表示本发明第4实施例中图像数据自动管理处理的内容的说明图。

具体实施方式

下面，基于实施例，按下面的顺序说明本发明的实施方式。

A、第1实施例：

A1、动态图像处理装置的结构：

A2、评价值的算出及帧群的抽取：

A3、第1实施例的处理：

A4、第1实施例的效果：

A5、第1实施例的变形例：

B、本发明第2实施例的图像处理系统的结构：

C、本发明第2实施例的摘要图像数据生成处理：

D、本发明第3实施例的摘要图像数据生成处理：

E、本发明第4实施例的摘要图像数据的管理：

F、变形例：

A、第1实施例：

A1、动态图像处理装置的结构

图2是表示作为实施例的动态图像处理装置的结构示意的说明图。左侧表示动态图像处理装置100，右侧表示动态图像处理装置100的功能块。动态图像处理装置100是用于从由多个帧图像数据构成的动态图像数据中，生成作为其摘要信息的摘要动态图像数据的装置。在本实施例中，称帧图像数据表示的图像为帧图像。该帧图像意味着可用非交织方式显示的静止图像。

动态图像处理装置100是通用的个人计算机，动态图像处理装置100中具备作为输入信息装置的键盘120及鼠标130、和作为输出信息的装置的显示器150。另外，在动态图像处理装置中，作为输入动态图像数据的装置，备有摄像机30及CD-R/RW驱动器140。另外，作为输入动态图像数据的装置，还可具备从CD-R/RW驱动器之外的DVD驱动器等各种信息存储介质中可读出数据的驱动装置。

动态图像处理装置100利用规定的操作系统下运行的应用程序，可实现图2右侧中图示的、摘要动态图像生成控制部102、数据取得部104、场景分割部106、动作检测部107、评价值算出部108、抽取部109、摘要动态图像生成部110等功能。这些功能也可硬件地具备。

下面说明各功能。数据取得部104从CD-R/RW驱动器140内的CD-RW或数字摄像机30、或硬盘(未图示)等中读入动态图像数据，在RAM上构筑动态图像数据库101。另外，数据取得部104使用键盘120或鼠标130也取得用户输入的摘要动态图像的再生时间的希望值，并存储在存储器中。

场景分割部106检测动态图像的场景的交替期间，将动态图像数据分割成场景。动态检测部107通过帧图像数据间的比较求出动作矢量，或根据动作矢量检测运动物体块。

价值算出部108根据动作矢量或运动物体块等，算出帧图像数据的后述的评价值。抽取部109根据评价值，抽取在时间序列上连续的帧图像数据的集合(下面称为帧群)。抽取部109从各场景中抽取1个帧群。摘要动态图像生成部110连接抽取的帧群，生成摘要动态图像数据，输出到CD-R/RW驱动器140内的CD-RW或数字摄像机30、或硬盘中。摘要动态图像生成控制部102整体控制以上各部的摘要动态图像生成动作。

另外，也可具备利用摘要动态图像数据，使摘要动态图像在显示器150上显示的显示部。

A2、评价值的算出及帧群的抽取

评价值算出部108就变焦、摇场景、静止、运动物体位置、运动物体大小、肤色大小等项目分别评价帧图像数据，以算出评价值。

图3是用于说明帧图像数据的评价值的说明图。图3(a)是选出动态图像的5张帧图像并进行示例的图。从左侧起按时间序列图示帧图像。图3(a)中示出的帧图像不连续，在从左侧起第n张(n＝1～4)帧图像和第n+1张帧图像之间，就动态图像而言存在多张帧图像，但这里省略图示。图3(b)～(g)是就各项表示帧图像数据的评价值之时刻变化的曲线。曲线的时刻对应再生了动态图像时从再生开始的经过时间。曲线通过用线连结在再生动态图像时在各经过时间显示的帧图像数据的评价值来表示。另外，示出图3(a)的各帧图像数据的评价值在该帧图像中央下方位置附近表示的曲线。

图3(b)是评价值「变焦」的曲线。「变焦」是关于变焦操作的评价值。所谓变焦操作是放大、缩小被摄体的相机操作。评价值算出部108使用变焦操作函数、变焦结束函数等2种函数，算出评价值「变焦」。变焦操作函数是开始变焦操作后的经过时间越大输出越大的「变焦」、倾角为正的一次函数。变焦结束函数是开始变焦后的时间经过越大输出越小的「变焦」、倾角为负的一次函数。

评价值算出部108从开始变焦操作的时刻起到变焦操作结束、经过30帧之前使用变焦操作函数，从变焦操作结束、经过了30帧的时刻起使用变焦结束函数。变焦结束函数仅预先确定倾角。评价值算出部108求出碎片，以使由变焦结束函数求出的开头的「变焦」与由变焦操作函数求出的最后的「变焦」一致。评价值算出部108到输入0以下的值之前使用变焦结束函数。「变焦」为0以下的值时修正成值0。评价值算出部108设在从开始变焦操作到输出0以下的「变焦」之前的时间中未出现的帧图像数据之「变焦」为值0。

变焦操作中及其后的帧图像认为是拍摄者特别想拍摄的帧图像，如上述那样设定变焦函数。关于变焦操作开始时或变焦操作结束时的检测方法，将后述。

在变焦操作中，称放大被摄体像的操作为推摄(zoom in)，称缩小被摄体像的操作为拉摄(zoom out)。在推摄、拉摄两者中使用变焦操作函数、变焦结束函数。在图3(a)的帧图像中，自左侧起从第1张帧图像开始推摄，自左侧起在第2张帧图像中结束推摄。因此，图3(b)的评价值「变焦」如曲线所示那样变动。

图3(c)是评价值「摇场景」的曲线。「摇场景」是关于摇场景操作的评价值。所谓「摇场景」是固定相机的位置不变，改变相机的方向，以拍摄宽的范围的操作。评价值算出部108通过2个摇场景函数的函数算出评价值「摇场景」。2个摇场景函数是检测摇场景操作开始、结束后的帧图像数据使用的、与前述2个变焦函数相同结构的函数。并且，使用2个摇场景函数的时间条件也与2个变焦函数相同。评价值算出部108算出除使用摇场景函数的时间之外的「摇场景」为值0。认为摇场景操作中及其后的帧图像是拍摄者特别想拍摄的帧图像，如上面那样设定摇场景函数。后述摇场景操作开始或摇场景操作结束的检测方法。图3(a)的帧图像中，由于未进行摇场景操作，图3(c)的评价值如曲线所示那样为值0不变。

图3(d)是评价值「静止」的曲线。「静止」是关于背景动作的评价值。评价值算出部108通过静止函数的函数算出评价值「静止」。静止函数是若输入背景动作的大小(下面简称动作的大小为速度)、则输出「静止」的函数。静止函数，速度越接近于0输出越大的值。另外，速度若变为规定值以上，则输出值0。认为背景静止的场面的帧图像是拍摄者特别想拍摄的帧图像，如上面那样设定静止函数。后面叙述背景速度的算出方法。图3(a)的帧图像在从左侧起第二张帧图像之前背景的动作依次变小，从第2张帧图像开始背景静止。因此，图3(d)的评价值如曲线表示那样动作。

图3(e)是评价值「运动物体位置」的曲线。「运动物体位置」是关于运动物体(被摄体)的位置的评价值。另外，下面说的运动物体是指在帧图像内最大的运动物体。评价值算出部108通过称为运动物体位置函数的函数算出评价值「运动物体位置」。运动物体位置函数是若输入运动物体在帧图像内的位置，则输出评价值「运动物体位置」的函数。运动物体位置函数作为运动物体的位置，输入越接近帧图像中央的值，输出越大的值。另外，作为运动物体的位置，在输入包含帧图像中央的规定范围以外的值时，输出值0。认为运动物体在中央的场面的帧图像是拍摄者特别想拍摄的帧图像，如上面那样设定运动物体位置函数。后述运动物体位置的算出方法。在图3(a)的帧图像中，从自左侧起第三张帧图像开始，运动物体(人物)逐渐向帧图像的中央移动，在第4张帧图像中运动物体(人物)大致位于帧图像的中央。而且，从第4张帧图像开始，运动物体(人物)从中央逐渐向左方向移动。因此，图3(e)的评价值如曲线所示那样变动。

图3(f)是评价值「运动物体大小」的曲线。「运动物体大小」是关于帧图像内的运动物体大小的评价值。评价值算出部108通过称为运动物体大小函数的函数算出评价值「运动物体大小」。运动物体大小函数是若输入帧图像内的运动物体大小、则输出评价值「运动物体大小」的函数。运动物体大小函数，输入越大的值、输出越大的值。另外，在输入规定值以下的值时，输出值0。认为拍摄运动物体大的帧图像是拍摄者特别想拍摄的帧图像，如上述那样设定运动物体大小函数。后述运动物体大小的算出方法。在图3(a)的帧图像中，由于从自左侧起第1张帧图像开始，运动物体逐渐变大，从第2张帧图像开始运动物体保持恒定的大小，所以图3(f)的评价值如曲线所示那样变动。

图3(g)是评价值「肤色大小」的曲线。「肤色大小」是关于帧图像内的肤色大小的评价值。评价值算出部108通过称为肤色大小函数的函数算出评价值「肤色大小」。肤色大小函数是若输入帧图像内的肤色大小、则输出评价值「肤色大小」的函数。肤色大小函数，输入越大的值、输出越大的值。另外，在输入规定值以下的值时输出值0。认为拍摄肤色大的帧图像是通过放大拍摄人物的帧图像，是拍摄者特别想拍摄的帧图像，这样地设定。后述肤色大小的算出方法。在图3(a)的帧图像中，由于从自左侧起第1张帧图像开始，肤色逐渐变大，从第2张帧图像开始肤色保持恒定大小，所以图3(g)的评价值如曲线所示那样变动。

以上，为算出评价值而使用的函数可各式各样地设定。例如，用于算出评价值「静止」的静止函数也可是根据作为背景速度变为0后的第几号的帧图像数据，输出不同的值。既便涉及运动物体位置，也可在运动物体的位置变为中央之后，根据是第几帧图案数据，输出不同的值。另外，除以上的评价值之外，评价值算出部108也可算出关于并进及运动物体的动作速度的评价值。所谓并进就是如马拉松转播那样，运动物体存在于帧图像的中央，背景动作。所谓运动物体的动作速度就是相对于运动物体的背景的相对速度。在运动物体的动作速度为规定值以上时，使运动物体的动作速度相关的评价值为值0。

下面，说明变焦操作的开始或结束、摇场景操作的开始或结束的检测方法。变焦操作的开始或结束、摇场景操作的开始或结束根据动作矢量来检测。所谓动作矢量是表示可将帧图像分割成多个的各块的图案在从1个帧图像到另一个帧图像之间怎样移动的矢量。块的图案移动越大，即该块的动作矢量越大，该块的图案表示的运动物体移动越快。后述动作矢量的算出方法，下面设已算出动作矢量来进行说明。

图4是用于表示变焦操作开始·结束时的帧图像数据、摇场景操作开始·结束时的帧图像数据之检测方法的说明图。在动态图像数据中，各块的动作矢量m如图4(a)所示，在从帧图像外侧开始向中央时，评价值算出部108因而判断为开始推摄，并检测该帧图像数据为开始了变焦操作的帧图像数据。开始变焦操作之后，各块的动作矢量m如图4(a)所示，在未从帧图像的外侧朝向中央的时刻，检测该帧图像数据为变焦操作结束了的帧图像数据。

各块的动作矢量m如图4(b)所示，在从帧图像的中央开始向外侧时，评价值算出部108因而判断为开始拉摄，检测该帧图像数据为开始变焦操作的帧图像数据。开始变焦操作之后，各块的动作矢量m如图4(b)，在未从帧图像的外侧朝向中央的时刻，检测该帧图像数据为变焦操作结束了的帧图像数据。

而且，在动态图像数据中，作为间位(meta)数据，有时附加表示是否按摄像机的变焦按钮的变焦按钮操作信息。开始了变焦操作的帧图像数据或变焦操作结束了的帧图像数据也可根据这样的变焦按钮操作信息来检测。

另一方面，开始了摇场景操作的帧图像或结束了摇场景操作的帧图像根据整个帧图像的错(ズレ)S来检测。所谓错位S是表示在从1个帧图像到另一帧图像之间整个帧图像沿怎样的方向移动的矢量。改变摄像机的方向的速度越大，错位S的大小变得越大。如图4(c)所示，在时间序列上连续的规定数量以上的帧图像中，在错位S的方向变为相同方向时，判断为开始摇场景操作。而且，检测错位S为相同方向的帧图像数据中开头的帧图像数据为开始摇场景操作的帧图像数据。而且，检测错位S为相同方向的帧图像数据中最后的帧图像数据为结束摇场景操作的帧图像。

下面，说明各帧图像的背景速度或运动物体位置、运动物体大小的算出方法。这些值根据作为动作矢量大小超过规定值的块之集合的运动物体块来算出。运动物体块表示的图案可推断为运动物体。在帧图像内存在多个运动物体时，群集(clustering)动作矢量的大小超过规定值的块，求出多个运动物体块。图5是表示运动物体mv的说明图。

评价值算出部108根据运动物体块以外的块(下面称为背景块)的动作矢量的大小，算出背景的速度。也可设各背景块的动作矢量大小的合计值为背景的速度。也可设各背景块的动作矢量大小的平均值为背景的速度。在这里，设平均值为背景的速度。

评价值算出部108算出运动物体块的重心，以作为运动物体位置。另外，评价值算出部108算出运动物体块的大小，以作为运动物体大小。另外，运动物体大小在运动物体块是多个时，也可是全部运动物体块的大小。

下面，说明肤色大小的检测方法。在下式中，肤色的区域可作为具有满足0.1＜H＜0.9且G＜B的RGB值的象素的集合来求出。

H(色调)＝1.732(G-B)/(2R-G-B)                   (1)

S(彩度)＝{(B-R)²+(R-G)²+(G-B)²}/3              (2)

V(亮度)＝R+G+B                                 (3)

评价值算出部108算出帧图像中肤色象素的数量，以作为肤色大小。另外，肤色大小也可设为运动物体块中肤色象素的数量。

接着，说明以如上所述求出的评价值为基础，抽取帧群的方法。评价值算出部108按每个帧图像数据相加如上所述求出的各项评价值。

图6是表示合计图3(b)～(g)的各评价值求出的评价值「合计」的说明图。其中，比图3(b)～(g)延长横轴来表示。抽取部109抽取图6的评价值「合计」为阈值以上的帧群。例如，在使用图6曲线中的阈值b时，抽取相当于时刻范围A的帧群(下面称为帧群A)、相当于时刻范围C的帧群(下面称为帧群C)和相当于时刻范围D的帧群(下面称为帧群D)。

在本实施例中，为了生成在用户可识别的程度下再生1个场面的摘要动态图像数据，附加帧群由数量比规定数大的数量的帧构成的条件。这时，如帧群D那样，不抽取帧数少、再生时间短的帧群。

在本实施例中，抽取部109从分割后的场景中仅抽取1个帧群。因此，如情况A(CASE A)那样，在1个场景中2个帧群A、C成为抽取候补时，抽取帧群中帧群图像数据的评价值的合计大者。在这里，由于(帧群A的评价值的合计)＞(帧群C的评价值的合计)，所以抽取部109抽取帧群A。另外，也可抽取帧群中评价值的最大值大者。在这里，由于(帧群A的评价值的最大值)＞(帧群C的评价值的最大值)，所以抽取帧群A。

在使用阈值C时，无论是情况A还是情况B(CASE B)，都不从1个场景中抽取全部帧群。在从1个场景中至少抽取1个帧群时，调整阈值(在图6的实例中，阈值c→阈值a或b)，至少抽取1个帧群。

接着，说明使用阈值b的情况。在本实施例中，在抽取的帧群A和帧群C的间隔(时刻范围B)窄时，与帧群A与帧群C一起抽取相当于时刻范围B的帧群(下面称为帧群B)(图6的情况2)。这是为了防止摘要动态图像变成碎片。在本实施例中，在帧数比规定值Th(＝150)小时，判断为时刻范围窄。在帧群B的帧数为规定值Th以上时，帧群B不抽取(图6的情况1)。另外，如情况B那样，在未将一起抽取的帧群(帧群A、B、C的集合)收集在1个场景中时，既便时刻范围B窄，帧群B也不抽取。这是由于因为场景中断，所以不必连续再生帧图像。

在本实施例中，对应于摘要动态图像的再生时间的希望值，限定抽取的帧图像的总数(下面称为总帧数)。抽取部109在抽取出的总帧数不在规定范围内时，调整阈值，再次进行帧群的抽取。例如，使用阈值b抽取帧群、总帧数不在规定范围内时，将阈值变更成阈值a，再次抽取帧群。

另外，抽取部109也可如时刻范围A1、时刻范围C1所示，抽取评价值上升或保持恒定值的范围的帧群。

并且，图6的评价值是单纯地相加图3(b)～(g)各评价值而求出的，但也可是评价值算出部108分别对图3(b)～(g)各评价值进行加权后相加，算出作为抽取部109的抽取基准的评价值。

A3：第1实施例的处理

下面，说明动态图像处理装置100的处理。图7是表示动态图像处理装置100的摘要动态图像数据生成处理的说明图。首先，动态图像处理装置100通过用户的输入，取得动态图像数据或摘要动态图像的再生时间的希望值(步骤S100)。而且，场景分割所取得的动态图像数据(步骤S200)。场景分割通过使用颜色或亮度的直方图、声音数据等动态图像数据的特征量并比较各帧图像数据的已知技术来进行。根据再生时间的希望值，算出对应于该希望值的总帧数的希望范围。由于恰好抽取再生时间为希望值数量的帧图像数据是困难的，所以为了持有若干余裕，算出希望范围。

接着，检测各帧图像的动作(步骤S300)。图8是表示各帧图像的动作检测处理的流程图。在本处理中，首先，动态图像处理装置100从动态图像的多个帧图像中，选择1个作为检测动作的对象的基准帧图像n，检测基准帧图像n与其之前的帧图像(n-1)的整个帧图像的错位S(步骤S301)。错位S例如可使用梯度法或图案匹配法等已知的技术来检测。

这里检测的错位S相当于前述的、用于检测摇场景的错位S。

在图中，示出在帧图像(n-1)和基准帧图像n中拍摄山为背景、球为运动物体的实例。如果比较帧图像(n-1)和基准帧图像n，则可知：山向帧图像的右下方移动，球向帧图像的右方移动，另外，球的移动量比山的移动量相对大，山在帧图像内占的面积也比球的面积大。若对这样的帧图像适用上述勾配法或图案匹配法，则在整个帧图像中占的面积比例大的山的错位比在整个帧图像中占的面积小的球的错位优先检测。即，整个帧图像的错位与山的错位几乎一致。

另外，在2个帧之间产生上下左右方向的并进错位和旋转方向的旋转错位，但这里为简化说明，设不产生旋转错位来说明。

在检测了整个帧图像的错位S后，动态图像处理装置100将基准帧图像n和其之前的帧图像(n-1)分别分割成多个块(步骤S302)。在图中，示出将各个帧图像沿横方向分割成4份，沿纵方向分割成3份的实例。

在分割帧图像后，动态图像处理装置100通过检测对应于基准帧图像n各块的帧图像(n-1)各块的错位Sb(步骤S303)，得到各块的错位Sb与整个错位S的差分，算出各块的动作矢量m(步骤S304)。在这里，算出的动作矢量m相当于前述的、检测推摄或拉摄所用的动作矢量。在图示的实例中，拍摄球的右上方的块之外的块的错位Sb由于与在步骤S301中检测出的整个帧图像的错位S几乎相等，所以被删除，动作矢量m变为零。仅检测右上方的块的动作矢量m。

接着，动态图像处理装置100判断动作矢量m是否超过规定的阈值，作为运动物体，检测超过规定阈值的动作矢量m的块(步骤S305)。在这里，检测的运动物体的块相当于前述的、检测静止或运动物体位置或运动物体大小所用的运动物体块。设置阈值是为了排除块之间的轻微的错位(例如，微小的旋转错位)。作为阈值，例如可设为30象素(pixel)。在图示的实例中，基准帧图像n内右上方的块特定为运动物体块。

对动态图像数据中除开头的帧图像数据之外的全部帧图像数据，进行以上的步骤S301～S305的处理。

再次返回图7进行说明。动态图像处理装置100接着根据步骤S300中检测出的错位S、动作矢量或运动物体块，算出各帧图像数据的评价值(步骤S400)。算出方法如在前项A2中所述，评价值算出部108就变焦、摇场景、静止、运动物体位置、运动物体大小、肤色大小等项，分别算出评价值。而且，相加这些值，求出合计的评价值。

而且，以求出的合计的评价值为基础，抽取摘要动态图像数据中使用的帧群(步骤S500)。图9是表示帧群的抽取处理的流程图。动态图像处理装置100检索开头场景中的各帧图像数据的评价值，全部抽取包含于摘要动态图像数据中的、成为候补的帧群(步骤S501)。具体地说，抽取全部帧图像数据的评价值为阈值以上的帧群。

接着，挑选抽取的帧群(步骤S502)。图10是表示帧群的挑选处理的流程图。在帧群的挑选处理中，在步骤S501中抽取的帧群为2以上时(步骤S503：是)，控制(check)任意2个帧群的间隔(步骤S504)。这里所说的间隔，是存在于2个帧群之间的帧图像数据的数量，在图6的实例中相当于时刻范围B。

在间隔比规定值小时(步骤S505：否)，重新抽取帧群(步骤S506)。在重新抽取中，汇总间隔比规定值小的2个帧群、和存在于其间的帧图像数据，作为1个帧群抽取。在图6的实例中，帧群B的帧数比规定值Th小的情况(图6的情况2)相当于与帧群A和帧群C一起抽取相当于时刻范围B的帧群。如果调查在步骤S501中抽取的全部帧群的间隔，则前进到下一步骤。另外，在步骤S501中抽取的帧群为1以下时(步骤S503：否)，省略步骤S504～步骤S506的处理。

接着，动态图像处理装置100判别是否抽取的帧群的帧图像数比规定值大(步骤S507)。在帧图像数据数为规定值以下时(步骤S507：否)，从摘要动态图像数据的候补中去除该帧群(步骤S508)。在图6的实例中，相当于帧群D。在帧群的帧图像数据数比规定值大时(步骤S508：是)，仍向候补中加入帧群，前进到下一步骤。

再次返回图9进行说明。接着，动态图像处理装置100检测在场景中在候补中剩余的帧群是否为1个以上(步骤S512)。

如果在场景中帧群为1个(步骤S512：否)，则调整阈值(步骤S514)，再次返回场景的开头(步骤S515)。而且，重复步骤S501以后的处理。所谓阈值处理，例如在图6中相当于从阈值b到阈值a变更阈值。在一定范围内增减阈值来调整。

在场景中，在候补中剩余的帧群为1个以上时(步骤S512：是)，选择抽取构成帧群的各帧图像数据之评价值的合计为最大的帧群(步骤S516)。这是因为评价值的合计最大的帧群可推测为最适宜表示该场景的帧群。在候补中剩余的帧群为1个时，省略步骤S516的处理。另外，省略步骤S516的处理，也可从1个场景中抽取2个以上的帧群。

而且，如果在动态图像数据最后之前处理结束(步骤S509：否)，则移向下一场景(步骤S510)，就该场景重复步骤S501以后的处理。

在动作图像数据的最后之前处理结束时(步骤S517：是)，检测总帧数是否在希望范围内(步骤S519)。如果不在希望范围内(步骤S519：否)，则调整阈值(步骤S520)。这里的阈值调整与步骤S514中的阈值调整相同，相当于图6中从阈值b到阈值a变更阈值。其中，在步骤S514中调整该场景中使用的阈值，但这里调整在整个动态图像数据中使用的阈值。阈值可在一定范围内增减来调整，也可根据规定函数(例如，设不足部分帧图像数或过剩帧图像数为变量的函数)来调整。另外，调整阈值以成为按场景分类而不同的阈值。而且，返回动态图像数据的开头(步骤S522)，清除此前的候补，再次从抽取开头场景中的帧群开始。

总帧数在希望范围内时(步骤S519)，确定此前作为候补抽取出的帧群为是摘要动态图像数据中使用的帧群，前进到下一处理。

再次返回图7进行说明。如果抽取帧图像数据，则接着生成摘要动态图像数据(步骤S600)。摘要动态图像数据通过连接抽取出的帧群来生成。而且，输出生成的摘要动态图像数据(步骤S700)。输出端是数字摄像机30或CD-R/RW驱动器140。用户通过用数字摄像机30等再生所输出的摘要动态图像数据，从而可观看摘要动态图像。

A4：第1实施例的效果

根据上述实施例的动态图像处理装置100，按每个帧图像数据评价动态图像数据，可生成由适宜作摘要动态图像的帧图像数据构成的摘要动态图像数据。由于在1个场景内摘要动态图像数据中一定包含着1个帧群，所以不存在摘要动态图像内未再生的场景。即，如果用户再生摘要动态图像，则可观看全部的场景，容易掌握整个动态图像。并且，由于包含于摘要动态图像数据的帧群选择场景中认为最佳的帧群，所以用户更容易掌握原来的整个动态图像。

另外，由于限定总帧数为已达到再生时间希望值的帧图像数，所以可生成对应于再生时间希望值的摘要动态图像数据。在抽取的2个帧群的间隔窄时，通过连接两者及存在于两者间的帧图像数据，可防止感到如中途切断摘要动态图像那样的不谐调。另外，在场景的交替期间内，即便2个帧群的间隔窄，也不必连接两者，通过不连接两者，从而防止在摘要动态图像中包含评价低的帧图像数据。并且，通过在摘要动态图像数据中使用帧图像数据数为规定数以上的帧群，从而可防止1个场景过短、难以掌握摘要动态图像的内容的事态。

A5：第1实施例的变形例

以上说明了本发明的实施例，但本发明不限于此，可在不脱离其精神的范围内采用各种结构。例如，在步骤512中帧群不是1个时，在步骤S508中存在去除的帧群时，也可不是调整阈值、再次抽取帧群，而是从去除的帧群中选择最佳的帧群，包含在摘要动态图像数据的候补中。这时，也可重新对该最佳帧群追加该最佳帧群前后的、任意数的帧图像数据。在步骤S507中，也可追加不足的帧图像数据数份。在选择最佳帧群时，也可根据构成帧群的各帧图像数据的评价值之合计、或评价值的最大值来选择。

实施例的处理必要时也可省略。例如，在无再生时间希望值时可省略步骤S519～步骤S522的处理。

B：本发明第2实施例的图像处理系统的结构：

图11是表示本发明第2实施例的图像处理系统100的说明图。图像处理系统100备有：供给动态图像数据的动态图像数据库部30；从动态图像数据中抽取其一部分，以生成摘要图像数据的个人计算机PC；提供所用的用户接口的用户接口部18。用户接口部18具备：显示从动态图像数据库部30供给的动态图像或后述的操作显示画面的显示器18a；和接受来自用户的输入的键盘18b或鼠标18c。

个人计算机PC备有：执行从动态图像数据生成摘要图像数据的生成处理的图像处理应用程序10；管理动态图像数据库部30或用户接口部18等外部设备间的接口的接口部(I/F部)15。

图像处理应用程序10备有：对每个场景分割动态图像数据的场景分割处理部11；评价动态图像数据的图像评价部12；根据该评价，抽取一部分动态图像数据的动态图像数据抽取部13；按时间序列的顺序连接所抽取的多个动态图像数据，生成摘要图像数据的动态图像数据连接部14。另外，图像评价部12在技术方案范围中用作「动态图像评价部」及「静止图像评价部」。

动态图像数据库部30具有数字摄像机30a、DVD30b及硬盘30c来作为动态图像数据的供给源。动态图像数据在本实施例中，设为表示非交织方式的静止图像的帧图像数据的集合。

图12是表示显示器18a中显示的图像文件生成处理中的操作显示画面200的说明图。操作显示画面200包含选择作为处理对象的原图像数据的种类的原图像数据种类选择开关121；从选择的种类的原图像数据中选择1个所用的原图像数据选择窗口122；显示由作为处理对象的原图像数据表示的图像的图像显示区域123；静止图像数据生成处理用的操作按钮。另外，在图12的实例中，示出在原图像数据选择窗口122中选择了动态图像数据Gs的状态。

在动态图像数据的摘要图像生成处理用的操作按钮中包含：用于自动生成摘要图像数据的摘要图像自动制作按钮124；和用于控制图像显示区域123中显示的动态图像或摘要手动制作的各种按钮。在控制动态图像用的各种按钮中包含：再生按钮231、停止按钮232、暂停按钮233、倒退按钮234、快进按钮235及动态图像抽取按钮236。动态图像抽取按钮236是用于手动抽取动态图像数据的按钮。

在上述说明的系统结构中，若按下摘要图像自动制作按钮124，则如下面所示那样，通过在从动态图像数据中抽取一部分动态图像数据的同时，连接抽取的多个动态图像数据，从而自动生成摘要图像数据。

C：本发明第2实施例的摘要图像数据生成处理

图13是表示本发明第2实施例的摘要图像数据生成处理的内容的流程图。在步骤S10000中，图像处理应用程序10(图11)从动态图像数据库部30接受动态图像数据的供给。所供给的动态图像数据在未图示的存储器中缓冲的同时，在图像显示区域123(图12)中显示。

图14是表示本发明实施例中使用的动态图像数据的结构之一实例的说明图。动态图像数据是在1帧时间为33ms的时间序列上连接的帧图像数据的集合，对各帧图像数据按时间序列的顺序附加帧序号。在图14的实例中，动态图像数据表示马拉松选手正在行走的情形。

在步骤S20000中，场景分割处理部11执行场景分割处理。所谓场景分割处理，是对每个场景分割动态图像数据的处理。在本实施例中，所谓「每个场景」意味在动态图像数据取得时相机的记录开始和记录停止的期间。即，各场景因记录开始而开始，因记录停止而结束。场景分割处理例如可通过识别图像的急剧变化来实现。

图15是表示本实施例的第2第2实施例中的场景分割处理结果的表。在该表中，所谓分割场景序号是对分割的各场景按时间序列的顺序附加的序号。开始时刻和结束时刻以4组2位的数字表示各场景的开始时刻和结束时刻。具体地说，开头的2位表示时间，下2位表示分，再下2位表示秒，且最后2位表示各秒中的帧序号。例如4号场景构成为从0时1分12秒的第13号帧到0时1分13秒的第15号帧的帧集合。

在步骤S30000(图13)中，图像评价部12执行帧图像评价处理。所谓帧图像评价处理，是数值化帧图像数据表示的静止图像的重要性，以作为静止图像评价值的处理。在该评价方法中存在各种方法，例如可利用特开2002-142189号公报或特开平10-224736号公报中公开的方法。以往，对应于构成动态图像的多个静止图像的各种重要性来判断动态图像的重要性。

在步骤S40000中，图像评价部12执行动态图像评价处理。动态图像评价处理是与上述的评价方法不同，还考虑构成动态图像的多个静止图像各自的时间序列信息，来评价构成动态图像的各个静止图像数据的评价方法。

图16是表示本发明第2实施例的动态图像评价处理的内容的流程图。在步骤S41000中，图像评价部12对静止图像评价值进行平滑化处理。平滑化处理例如可使用移动平均滤波器来进行。由此，可在时间序列上使静止图像评价值平滑。

在步骤S42000中，图像评价部12执行变化率算出处理。所谓变化率算出处理是算出执行平滑化处理后变得平滑的静止图像评价值之变化率的处理。该变化率可表示各静止图像的重要性慢慢地提高后是趋向重要性为峰值的峰值图像，还是超过峰值图像。趋向峰值图像的动态图像作为到达峰值图像之前的心理准备期间的动态图像是重要的。另外，超过峰值图像后的图像作为静止图像单体，即便重要性高，多数情况下用户关心也少。因此，通过重点地抽取峰值图像前的动态图像数据，可进一步生成用户希望的摘要图像数据。

在步骤S430000中，图像评价部12执行动态图像评价值确定处理。在这里，所谓「动态图像评价值」是表示评价作为动态图像一部分的各静止图像数据的值，与用静止图像数据单体评价的静止图像评价值不同。在本实施例中，动态图像评价值确定处理是使用静止图像评价值和静止图像评价值的变化率来确定作为动态图像的一部分的帧图像的评价值的处理。具体地说，例如着眼于静止图像评价值的变化率的正负，在静止图像评价值的变化率为正时，将静止图像评价值直接确定为动态图像评价值，另外，在静止图像评价值的变化率为负时，确定静止图像评价值一律为0。另外，「动态图像评价值」相当于技术方案范围中的第2图像评价值。

在步骤S50000(图13)中，动态图像数据抽取部13执行动态图像数据抽取处理。动态图像数据抽取处理是抽取动态图像评价值比规定的阈值Th大的、连续的多个帧图像数据的集合的处理。

图17是表示本发明第2实施例的动态图像数据抽取处理的内容的说明图。该图示出通过场景分割处理分割的某1个场景的静止图像评价值和动态图像评价值。在该图中，为了容易区分两者，在静止图像评价值的变化率为正时，确定静止图像评价值的2倍为动态图像评价值。另外，在静止图像评价值的变化率为负时，确定静止图像评价值一律为零。

如从图17可知那样，已知在从时刻T1到时刻T2间的时间P1r、和从时刻T3到时刻T4间的时间P2r中，动态图像评价值超过阈值th。这2个时间P1r、P2r是包含成为抽取候补的动态图像数据的时间。在本实施例中，从成为候补的动态图像数据中排除比规定时间短的数据。因为通常用户不希望非常短的动态图像。在本例中，时间P2r成为该场景中的抽取对象时间的一部分。

抽取对象时间在峰值图像的后侧仅延长规定时间。具体地说，抽取对象时间从时间P2r变更成时间P2e。这是由于与在峰值图像直接切换场景相比，在峰值图像后还有些动态图像的一方在峰值时动态图像不突然结束，所以最好是作为动态图像。这样，不仅抽取峰值图像的前侧，还可抽取重点抽取峰值图像前侧的动态图像数据。

在步骤S60000中，动态图像数据连接部14执行动态图像数据连接处理。所谓动态图像数据连接处理，是按时间序列的顺序连接所抽取的多个动态图像数据的处理。这样连接后的动态图像数据成为摘要图像数据。

这样，在第2实施例中，由于可重点地抽取图像的重要性为峰值的图像前方的图像，所以可在进行各静止图像的时间序列的考虑之后，生成用户希望的摘要图像数据。并且，由于仅着眼于静止图像评价值之变化率的正负来进行处理，所以存在可高速处理的优点。

另外，在第2实施例中，在静止图像评价值的变化率为负时，确定静止图像评价值一律为零来确定动态图像评价值，但也可利用以下之一或组合来确定动态评价值。

(1)设增大静止图像评价值在时间序列上的变化率为正的多个静止图像数据之静止图像评价值而得到的值为动态图像评价值。

(2)设降低静止图像评价值在时间序列上的变化率为负的多个图像数据之静止图像评价值而得到的值为动态图像评价值。

另外，作为增大静止图像评价值的方法，例如有加上规定的正值的方法或乘以比1大的值的系数的方法。另外，作为降低图像评价值的方法，例如有减去规定的正值的方法或乘以不足1的系数。

D：本发明第3实施例的摘要图像数据生成处理：

图18是表示本发明第3实施例的动态图像数据抽取处理的内容的说明图。第3实施例仅动态图像评价值的确定法与第2实施例不同，其他结构相同。第3实施例的动态图像评价值的确定法是作为静止图像评价值的变化率乘以规定正系数k的值与静止图像评价值的和来算出的方法。示出这样算出的2个动态图像评价值和静止图像评价值。2个动态图像评价值是通过使用2个规定系数k的计算来算出的每个系数k的动态图像评价值。

从图18可知：动态图像评价值与静止图像评价值相比，在时间序列上峰值向前方移动。这样，由于即便利用第3实施例的动态图像评价值的确定法，动态图像评价值的峰值在时间序列上也向前方移动，所以在时间序列上在峰值图像的前侧重点地抽取图像。

与第2实施例不同，这样的峰值移动量可通过操作规定的正系数k而简单地调整。从图18可知，具有若规定的正系数k变大、则峰值的移动量也变大，若规定的正系数k变小、则峰值的移动量也变小的倾向。

这样，第3实施例可通过操作规定的系数k，而简单地调整以哪种程度重点地抽取比峰值图像在时间序列上还靠前的动态图像数据。该调整例如可对应于用户谋求的被摄体来设定。具体地说，因用户谋求的被摄体是动态要素大的人物或是动态要素小的风景而适宜的调整量不同。

另外，通过发明者的实验发现：通常最好是规定的系数在0至1间设定。

E：本发明第4实施例的摘要图像数据的管理：

图19是本发明第4实施例的图像数据管理系统100a的说明图。图像数据管理系统100a与图像处理系统100在以下方面不同。即，第1：在个人计算机PCa中安装图像管理应用程序20a。第2：将可在动态图像数据的记录介质(例如DVD-R)上进行打印的打印装置111连接于个人计算机PCa。

打印装置111具备打印头部件60、供纸盘(tray)105、手动用供纸口103。供纸口103在不能弯曲的厚纸或如记录介质D那样的光盘上打印时使用。在记录介质D上进行打印时，如图所示，记录介质D在安装于记录介质用盘T的状态下被插入供纸口103，进行打印。图像管理应用程序20可数据库化管理存储在各记录介质中的图像数据。

图20是表示本发明第4实施例的图像管理中数据库的内容的说明图。在本例中，在该数据库中由4个字段构成，注册8个记录(record)。4个字段包含记录介质的种类、最终数据存储时间、内容信息和关联数据存储位置。例如，记录序号是3的数据分别存储DVD-R、2005年1月21日16时39分24秒、家庭旅行及目录(C：￥mov￥mpeg￥file￥3)作为介质种类、最终数据存储时间、内容信息及关联数据存储位置。对应每个记录介质注册各记录。

图21是表示在本发明第4实施例中存储于记录介质中的数据文件GF之内容的说明图。数据文件GF包含属性信息存储区域80和图像数据存储区域90。在属性信息存储区域80中，存储有对应于上述数据库的各字段的数据。图像数据存储区域90中存储有在上述各实施例中生成的摘要图像数据。

最终数据存储时间将最后在记录介质上存储动态图像数据的时间记录到秒。利用最终数据存储时间是难以存在相同数据的唯一数据这一点，可利用作记录介质的识别管理序号。内容信息是用户可自由地输入的信息。关联数据存储位置是表示存储关联数据的硬盘30c(图19)内的目录(directory)的数据。

在本实施例中，关联数据存储位置中包含代表图像数据、配置信息和图像位置信息。作为代表图像数据，例如在各场景中可利用评价值最高的静止图像数据的低分辨率数据、或包含该静止图像数据的、在低分辨率下短时间的动态图像数据。配置信息例如可利用表示在记录介质上打印多个代表图像数据所用的配置的数据。作为图像位置信息，例如可利用特定包含代表图像数据的场景的信息或在场景内部的开始时间。

图22是表示在记录介质上打印的2个摘要图像的说明图。在记录介质D和记录介质Da上，作为摘要图像，分别打印6个和9个代表图像。用户知道记录介质的内容的同时，为了特定记录介质，可利用索引图像。图像管理应用程序20a使用代表图像数据和配置信息，可在显示器18中显示索引图像。例如，可构成为在用户通过使用图像管理应用程序20a，检索数据库(图20)，而在发现期望的动态图像数据时，在显示器18a中显示摘要图像，可特定期望的记录介质。

而且，包含各代表图像的摘要图像最好是作为在其周围有向图像轮廓变薄的层次(gradation)的打印图像来打印。这是为了控制打印位置偏移所导致的、对记录介质的打印图像的图像质量恶化。由于对记录介质的打印图像通常具有(1)空白易变小，(2)打印的位置偏移易变得较大等特有的倾向，由此具有打印的位置偏移所导致的、对记录介质的打印图像的图像质量恶化易变大，即易明显等特有的情况。

图23是本发明第4实施例中图像数据自动管理处理的内容的说明图。图像数据自动管理处理例如可构成为在DVD-R中存储动态图像数据后，对应基于用户的结束处理命令自动起动。

在步骤S10100中，图像处理应用程序10(图19)以第1至第3实施例中公开的方法执行摘要图像生成处理，生成包含代表图像数据的摘要图像数据。

代表图像数据如前所述，作为评价值成为峰值的时间的静止图像数据或动态图像数据(在低分辨率下短时间的数据)来生成。代表图像数据也可自动生成预先设定数的数据，或也可生成成为候补的代表图像数据，并使用户选择。

在步骤S10200中，图像管理应用程序20(图19)执行属性数据生成处理。所谓属性数据生成处理是生成除存储于属性信息存储区域80(图21)的代表图像数据以外的各数据的处理。

配置信息例如是用于生成如图22所示的打印图像的信息。配置信息可构成为包含特定打印图像中代表图像数据的尺寸和位置的信息。

代表图像分析日期例如可通过从PCa的内部时钟(未图示)取得代表图像数据的生成结束日期来生成。最终数据存储时间例如可根据最后追述动态图像数据的日期而同样地生成。经未图示的用户接口输入内容信息。

在步骤S10300中，图像管理应用程序20执行属性数据存储处理。属性数据存储处理是将生成的属性信息存储在记录介质中的处理。若将属性信息全部存储在记录介质上，则在本实施例中自动地执行定案(finalize)处理。

在步骤S10400中，图像管理应用程序20执行属性数据注册处理。所谓属性数据注册处理是将生成的属性信息作为记录而在数据库中注册的处理。由此，可在硬盘30c上管理存储于未装载在个人计算机PCa上的多个记录介质中的动态图像数据。

在步骤S10500中，图像管理应用程序20执行代表图像打印处理。代表图像打印处理在记录介质(例如DVD-R)上打印包含如图22所示的代表图像的摘要图像。

由此，例如如果用户使用图像管理应用程序20，使用声音检索或文本检索、将来使用图案匹配等的图像检索等探索方法来特定期望的动态图像数据，则可向用户提供存储该动态图像数据的记录介质的目录图像。索引图像的提供通过在显示器18a上显示或打印到打印用纸上来进行。用户可使用提供的目录图像来简单地特定记录介质。

这样，在将代表图像数据打印到记录介质的同时，若利用包含代表图像数据的属性数据来进行数据库管理，则可大大地减轻用户管理动态图像数据的负担。并且，在记录介质上，可根据内容信息等属性信息打印图像，可供用户利用。

并且，在本实施例中，由于在记录介质上也存储属性数据，所以在其他个人计算机所具有的数据库中也可简单地注册。例如可构成为如果在记录介质中存储注册用的代理(agent)，则只要在其他的个人计算机上加载记录介质，就自动地在数据库中注册。

另外，在本实施例中，在最后动态图像数据的存储后生成属性信息，但例如也可构成为对每个动态图像数据的附记更新属性信息。

另外，例如对如DCD-RW那样可随时改写或附记的记录介质，可通过本系统监视是否在其他的图像处理装置中追加进行处理。这时，最好是显示用于促使用户注意的用户接口。该用户接口最好是具有询问用户是否更新属性信息的功能。

并且，在不包含属性数据时，最好是同样地在使用户知道不包含属性数据的意图的同时，提供容许来自用户的属性数据的生成指示之接口。

F：变形例：

另外，本发明不限于上述实施例或实施方式，在不脱离其精神的范围内，可以各种形式实施，例如也可如下的变形。

F-1、在上述实施例中，构成为排除比规定时间还短的动态图像数据，但也可构成为不是自动排除，而是在自动生成摘要图像后用户可用手动排除。另外，上述规定的时间最好是构成为用户可调整。

F-2、在上述实施例中，按时间序列顺序连接所抽取的多个动态图像数据，但例如也可对应于静止图像评价值来确定，也可对应动态图像评价值来确定，或也可对应两者来确定。

F-3、在上述实施例中，对每个场景分割动态图像数据，对每个分割的场景抽取动态图像数据，但也可不对每个场景分割，而进行与上述各实施例相同的处理。

F-4、在上述实施例中，作为动态图像的抽取基准使用的规定阈值th是恒定的，但例如也可对每个场景算出动态图像评价值的平均值，对应该平均值，按每个场景使规定的阈值th变化。据此，进一步可抽取符合用户需要的动态图像数据。

另外，规定的阈值th也可使用静止图像评价值和动态图像评价值两者、或仅静止图像评价值替代动态图像评价值，对每个场景使规定的阈值th变化。

F-5、在上述的实施例中，在抽取多个动态图像数据时，动态图像数据连接部14(图11)连接所抽取的多个动态图像数据，生成摘要图像数据，但例如也可构成本发明为不连接而单独地向用户提供所抽取的多个动态图像数据的动态图像数据处理方法。

F-6、在上述实施例中，公开作为在包含各代表图像的索引图像有层次的打印图像来打印的结构，但例如对文本等其他的打印图像也可适用同样的结构。

另外，最好采用就是否在打印图像中有层次，用户可自由地选择的结构(例如提供允许用户选择是否有层次的接口画面)。这时，也构成为设有层次的打印为初始设定，也可构成为设未有层次的打印为初始设定，或也可构成为可变更层次的宽度或程度。

F-7、在上述实施例中，动态图像数据由非交织方式的帧图像数据构成，但本发明也可适用交织方式的动态图像数据。这时，在上述实施例中的各帧图像数据相当于根据由奇数号扫描线的图像数据构成的奇数场之静止图像数据、和由偶数号扫描线的图像数据构成的偶数场之静止图像数据生成的静止图像数据。

在上述实施例中，也可将由硬件实现的结构的一部分替换成软件，相反，也可将由软件实现的结构的一部分替换成硬件。

在本发明功能的一部分或全部由软件来实现时，该软件(计算机程序)可以存储在计算机可读取的记录介质上的形式来提供。在本发明中，所谓「计算机可读取的记录介质」不限于如软盘或CD-ROM那样的便携型记录介质，还包含各种RAM或ROM等计算机内的内部存储装置、或硬盘等固定于计算机的外部存储装置。

最后，本申请通过参照在公开中包含作为优先权主张的基础的下面2个日本专利申请。

特愿2004-60004(申请日：平成16年3月4目)

特愿2004-74298(申请日：平成16年3月16日)

(产业上的可利用性)

本发明可适用于动态图像数据的处理技术。

Claims (29)

1、一种动态图像数据处理方法，其从动态图像数据中抽取一部分动态图像数据，其特征在于，具备：

帧图像评价工序，其根据规定的条件，评价包含于所述动态图像数据中的多个帧图像数据的每一个，并对应所述评价来生成第1图像评价值；和

动态图像数据抽取工序，其对应所述第1图像评价值，抽取包含满足规定条件的多个帧图像数据的动态图像数据。

2、根据权利要求1所述的动态图像处理方法，其中，

还具备取得所述动态图像数据的取得工序，

所述动态图像数据抽取工序包含从所述第1图像评价值和所述第1图像评价值的变动的至少一方满足规定条件的所述帧图像数据中，抽取1个以上作为在时间序列上连续的帧图像数据之集合的帧群的工序，

所述动态图像处理方法还具备使用所述抽取帧群的至少一部分，生成所述摘要动态图像数据的摘要动态图像数据生成工序。

3、根据权利要求2所述的动态图像处理方法，其中，

还具备分割所述动态图像数据，分别设定多个包含多个所述帧图像数据的场景的分割工序；

所述动态图像数据抽取工序包含从各所述场景中抽取至少1个以上所述帧群的工序。

4、根据权利要求3所述的动态图像处理方法，其中，

所述分割工序包含根据所述第1图像评价值的不连接变化，分割所述动态图像数据的工序。

5、根据权利要求2所述的动态图像处理方法，其中，

所述规定条件包含所述第1图像评价值为规定阈值以上。

6、根据权利要求5所述的动态图像处理方法，其中，还具备：

输入所述摘要动态图像数据的再生时间之希望值的再生时间输入工序；和

对应所述再生时间的希望值，调整所述阈值的调整工序。

7、根据权利要求2所述的动态图像处理方法，其中，

所述动态图像数据抽取工序包含优先抽取所述第1图像评价值的变化率为0以上的帧群的工序。

8、根据权利要求2所述的动态图了像处理方法，其中，

所述动态图像数据抽取工序包含如下工序，即：就多个所述帧群中、所述帧群间的时间间隔为规定值以下的2个帧群，归纳所述2个帧群及其间的全部帧图像数据后作为1个帧群抽取。

9、根据权利要求8所述的动态图像处理方法，其中，

还具备场景分割工序，其分割所述动态图像数据，分别设定多个包含多个所述帧图像数据的场景；

所述动态图像数据抽取工序还包含在所述2个帧群及其间的全部帧图像数据处于相同场景内时，作为1个帧群提取的工序。

10、根据权利要求2所述的动态图像处理方法，其中，

所述动态图像数据抽取工序包含抽取由规定数以上的帧图像数据构成的所述帧群的工序。

11、根据权利要求2～10中任一项所述的动态图像处理方法，其中，

所述帧图像评价工序包含如下工序，即：使用比较包含所述第1图像评价值的算出对象之所述帧图像数据的2个所述帧图像数据而求出的动作矢量，算出所述第1图像评价值。

12、根据权利要求1所述的动态图像处理方法，其中，

具备动态图像评价工序，其对应多个帧图像数据各自的所述第1图像评价值和所述第1图像评价值的时间序列变化率，生成所述多个帧图像数据各自的第2图像评价值；

所述动态图像数据抽取工序包含如下工序，即：根据所述第2图像评价值，从所述动态图像数据中抽取由所述第2图像评价值比规定阈值大的多个帧图像数据构成的动态图像数据

13、根据权利要求12所述的动态图像数据处理方法，其中，

所述动态图像评价部具有设增大所述第1图像评价值的时间序列变化率为正的多个帧图像数据之第1图像评价值而得到的值为所述第2图像评价值的评价模式。

14、根据权利要求12或13所述的动态图像数据处理方法，其中，

所述动态图像评价部具有设降低所述第1图像评价值的时间序列变化率为负的多个帧图像数据之第1图像评价值而得到的值为所述第2图像评价值的评价模式。

15、根据权利要求12～14中任一项所述的动态图像数据处理方法，其中，

所述动态图像评价部具有设所述第1图像评价值与所述第1图像评价值的时间序列变化率乘以规定正系数的值之和为所述第2图像评价值的评价模式。

16、根据权利要求15所述的动态图像数据处理方法，其中，

所述规定系数是比1小的正值。

17、根据权利要求12～16中任一项所述的动态图像数据处理方法，其中，

所述动态图像数据抽取工序具有如下抽取模式，即：根据所述第2图像评价值，从所述动态图像中仅抽取由所述第2图像评价值比规定阈值大的多个帧图像数据构成的动态图像数据，且再生时间比规定时间还长的图像数据。

18、根据权利要求12～17中任一项所述的动态图像数据处理方法，其中，

还具备对每个场景分割所述动态图像数据的场景分割工序；

所述动态图像数据抽取工序包含在每个所述场景中进行所述抽取的工序。

19、根据权利要求18所述的动态图像数据处理方法，其中

所述动态图像数据抽取工序包含如下工序，即：按每个所述场景算出所述第1图像评价值和所述第2图像评价值至少之一的平均值，对应所述平均值，按每个所述场景使所述规定阈值变化。

20、一种摘要图像数据生成方法，其从动态图像数据中抽取一部分，生成作为在时间上缩短的动态图像数据之摘要图像数据，其特征在于，具备：

权利要求12～19中任一项所述的动态图像数据处理方法；和

动态图像数据连接工序，其在存在多个所述抽取的动态图像数据时，连接所述抽取的多个动态图像数据，生成所述摘要图像数据。

21、根据权利要求20所述的摘要图像数据生成方法，其中，

所述动态图像数据连接工序具有按时间序列顺序连接所述抽取的多个动态图像数据的连接模式。

22、根据权利要求20或21所述的摘要图像生成方法，其中，

所述动态图像数据连接工序具有如下连接模式，即：按对应构成所述抽取的多个动态图像数据各自之多个帧图像数据的所述第1图像评价值和所述第2图像评价值至少之一而确定的顺序，连接所述抽取的多个动态图像数据。

23、一种打印方法，其在存储动态图像数据的记录介质上进行打印，其特征在于，具备：

权利要求1～19中任一项所述的动态图像数据处理方法；和

对应所述多个帧图像数据的至少一部分，在所述记录介质的表面上进行打印的工序。

24、一种动态图像数据存储方法，其在记录介质上存储动态图像数据和所述动态图像数据的属性信息，其特征在于，具备：

在所述记录介质上存储所述动态图像数据的工序；

权利要求1～19中任一项所述的动态图像数据处理方法；

生成包含对应所述多个帧图像数据至少之一部分而生成的数据的属性信息的工序；和

在所述记录介质上存储所述生成的属性信息的工序。

25、一种动态图像数据处理装置，其从动态图像数据中抽取一部分动态图像数据，其特征在于，具备：

帧图像评价部，其根据规定条件，评价包含于所述动态图像数据中的多个帧图像数据的每一个，并对应所述评价，生成第1图像评价值；和

动态图像数据抽取部，其对应所述第1图像评价值，抽取包含满足规定条件的多个帧图像数据的动态图像数据。

26、一种打印装置，其在存储动态图像数据的记录介质上进行打印，其特征在于，具备：

帧图像评价部，其根据规定条件，评价包含于所述动态图像数据中的多个帧图像数据的每一个，并对应所述评价值，生成第1图像评价值；

代表图像数据抽取部，其对应所述第1图像评价值，抽取满足规定条件的帧图像数据；和

打印部，其对应所述帧图像数据，在所述记录介质表面上进行打印。

27、一种计算机程序，其使计算机执行用于从动态图像数据中抽取一部分动态图像数据的处理，其特征在于，具备使所述计算机实现如下功能的程序：

帧图像评价功能，其根据规定的条件，评价包含于所述动态图像数据中的多个帧图像数据的每一个，并对应所述评价，生成第1图像评价值；和

动态图像数据抽取功能，其对应所述第1图像评价值，抽取包含满足规定条件的多个帧图像数据的动态图像数据。

28、一种计算机程序，其使计算机执行用于在存储动态图像数据的记录介质上进行打印的处理，其特征在于，具备使所述计算机实现如下功能的程序：

帧图像评价功能，其根据规定条件，评价包含于所述动态图像数据中的多个帧图像数据的每一个，并对应所述评价，生成第1图像评价值；

代表图像数据抽取功能，其对应所述第1图像评价值，抽取满足规定条件的帧图像数据；和

控制对应所述帧图像数据而在所述记录介质的表面上进行打印的打印部的功能。

29、一种计算机程序产品，其特征在于，具备：

计算机可读取的介质；和

存储于所述计算机可读取的介质上的权利要求27或28所述的计算机程序。

Images