CN1977530A - 影像编辑装置及方法 - Google Patents

Abstract

从记录在记录媒体中的影像流表示的整体影像中提取特定的影像并再现的影像编辑装置(100)，上述影像流包括表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；在上述记录媒体中，作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；还记录有表示有关第1影像的状况信息和有关第2影像的种类的识别信息的对应关系的选择表；上述影像编辑装置(100)具备：部分摘要生成部(102)，从上述记录媒体取得第1影像确定信息，从上述选择表中选择有关与所取得的第1影像确定信息的状况信息建立了对应的第2影像的种类的识别信息，从上述记录媒体中提取对应于所选择的上述识别信息表示的种类的第2影像确定信息、即时间信息表示的记录时间对应于第1影像确定信息表示的记录时间附近的记录时间的第2影像确定信息；整体摘要生成部(104)，根据第1影像确定信息和所提取的第2影像确定信息，从上述影像流中提取第1影像与第2影像并再现。

Description

影像编辑装置及方法

技术领域

本发明涉及编辑已记录的影像的技术，特别涉及通过从已记录影像的影像流中提取特定的一部分来制作概览该影像的摘要影像的技术。

背景技术

作为根据记录的影像流制作摘要影像的技术，专利文献1公开了在该影像流中包含的场景中，根据用户所设定的重要度的基准来确定包含在摘要影像中的场景，并从记录的影像流中提取包含确定的场景的规定范围的影像流来制作摘要影像的技术。

由此，用户不必再现记录的全部影像流，就可以在短时间内仅观看重要部分。

此外，在专利文献2中，公开了通过在该影像流中包含的每个场景中，预先设定对从已记录的影像流的提取部位进行确定的模板，并通过用户选择希望的模板，并利用由该模板确定的影像流来制作摘要影像的技术。

由此，用户通过选择希望的模板，能够在短时间内观看想看的场面。

专利文献1：特开2000-261754号公报

专利文献2：特开2002-142188号公报

但是，在上述以往技术中，由于固定了按每个场景再现的影像流的范围及再现顺序，所以在记录的影像流中出现多次相同种类的场景的情况下，由于各场景的再现是以固定的步骤进行的，所以产生了对观看者造成再现的摘要影像较单调、缺乏变化、不够丰富的印象的问题。

例如，在棒球比赛中的本垒打场面的摘要影像的情况下，一分本垒打的场景、逆转本垒打的场景、满垒本垒打的场景都相同地再现，存在不能制作吸引观看者的兴趣的、富有变化的摘要影像的问题。

发明内容

本发明鉴于上述问题，其目的是提供一种根据场景出现的状况来制作演出效果不同的摘要影像的影像编辑装置及方法。

为了解决上述课题，本发明是一种从记录在记录媒体中的影像流表示的整体影像中提取特定的影像进行再现的影像编辑装置，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；在上述记录媒体中，作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；还记录有表示有关第1影像的状况信息、和有关第2影像的种类的识别信息之间的对应关系的选择表；上述影像编辑装置具备：取得单元，从上述记录媒体取得第1影像确定信息；选择单元，从上述选择表中选择同与取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；提取单元，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息表示的记录时间相当于第1影像确定信息所表示的记录时间的附近的记录时间的第2影像确定信息。

也可以是一种从记录在记录媒体中的影像流表示的整体影像中提取特定的影像进行再现的影像编辑方法，上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；在上述记录媒体中，作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；还记录有表示有关第1影像的状况信息、和有关第2影像的种类的识别信息之间的对应关系的选择表；上述影像编辑方法包括：取得步骤，从上述记录媒体取得第1影像确定信息；选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

也可以是一种使从记录在记录媒体中的影像流表示的整体影像中提取特定的影像进行再现的影像编辑装置执行影像编辑处理的程序，上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；在上述记录媒体中，作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；还记录有表示有关第1影像的状况信息、和有关第2影像的种类的识别信息之间的对应关系的选择表；上述影像编辑处理包括：取得步骤，从上述记录媒体取得第1影像确定信息；选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

还可以是一种记录有使从记录在记录媒体中的影像流表示的整体影像中提取特定的影像并再现的影像编辑装置执行影像编辑处理的程序的计算机可读取的记录媒体，上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；在上述记录媒体中，作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；还记录有表示有关第1影像的状况信息、和有关第2影像的种类的识别信息之间的对应关系的选择表；上述影像编辑处理包括：取得步骤，从上述记录媒体取得第1影像确定信息；选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

通过具备上述结构，由于根据第1影像确定信息的状况信息，来选择对与主要场面的影像一起再现的、关联的演出效果场面的影像进行确定的第2影像确定信息，所以用户能够根据第1影像确定信息和所选择的第2影像确定信息提取主要场面的影像与演出效果场面的影像，观赏对应于与主要场面关联的场面的状况的摘要影像。

在此，也可以是，在上述记录媒体中，将表示上述第1影像与多种上述第2影像的再现顺序的模板信息，同上述第1影像确定信息对应起来进行记录；上述影像编辑装置还具备再现单元，上述再现单元根据第1影像确定信息和所提取的第2影像确定信息，从上述影像流中提取第1影像和第2影像，并进行按照与上述第1影像确定信息对应的模板信息所表示的再现顺序，再现所提取的上述第1影像和上述第2影像的再现处理。

由此，由于能够事先设定与主要场面的影像关联的演出效果场面的再现顺序，所以能够以最大限度地提高演出效果的有效的再现顺序再现主要场面的影像、和有效地烘托主要场面的演出效果场面的影像。

在此，也可以是，上述影像流包含多个第1影像；在上述记录媒体中记录有多个第1影像确定信息、和对应于各第1确定信息的模板信息；上述取得单元从上述记录媒体取得上述各第1影像确定信息；每当取得上述第1影像确定信息时，上述选择单元从上述选择表中选择同与取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；上述提取机构从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息、即时间信息所表示的记录时间相当于所取得的第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息；上述再现单元具有：生成单元，生成包含所取得的第1影像确定信息的时间信息、所提取的第2影像确定信息的时间信息、和与所取得的第1影像确定信息对应的模板信息的部分索引信息；存储单元，存储生成的各部分索引信息；流再现单元，根据用户指示从上述存储单元读出各部分索引信息，根据所读出的各部分索引信息，从上述影像流提取第1影像和第2影像，进行上述再现处理。

由此，对每个第1影像确定信息进行确定演出效果场面的影像的第2影像确定信息的选择，所以用户即使在指定了多个相同的种类的主要场面的影像的摘要影像的再现的情况下，也在每个主要场面中使与主要场面的影像一起再现的演出效果场面的影像的种类变化，所以能够不感到单调感地观看摘要影像。

这里，上述状况信息所表示的状况也可以是主要场面之前的场面的状况。

由此，由于能够根据主要场面之前的场面的状况选择与主要场面的影像一起再现的演出效果场面的影像的种类，所以例如在以棒球转播中的安打的场面为主要场面再现摘要影像的情况下，在安打之前有跑垒者的情况下，使表示跑垒者的状况的场面的影像与安打的场面的影像一起再现，在没有的情况下，仅再现安打的场面的影像，这样，能够根据之前的场景的状况有效地编制摘要影像而再现，以便能够吸引观看者的兴趣。

在此，上述状况信息所表示的状况也可以是表示基于主要场面的结果的场面的状况。

由此，能够根据基于主要场面的结果的场面的状况而提高演出效果。例如，在棒球转播的主要场面是满垒本垒打的情况、和是没有跑垒者的一分本垒打的情况下，即使是关于相同的本垒打的场面的摘要影像，在满垒本垒打的情况下也会再现比一分本垒打的情况多的演出效果场面的影像(例如表示候补席中的选手的祝贺的状况的场面、表示观众的欢喜的状况的场面及回放的场面的影像)，而能够提高演出效果。

在此，也可以是，在上述记录媒体中记录有多种上述影像流，对上述各影像流赋予识别该上述影像流的流识别信息；上述第1影像确定信息包含记录有第1影像的上述影像流的流识别信息；各种的上述第2影像确定信息包含记录有第2影像的上述影像流的流识别信息；

上述再现单元从具有被包含在上述第1影像确定信息中的流识别信息的上述影像流中提取第1影像，从具有被包含在所提取的上述第2影像确定信息中的流识别信息的上述影像流中提取第2影像。

由此，由于从多个影像流中选择与主要场面的影像一起再现的演出效果的场面的影像，所以用户能够观赏由多个摄影机多面地摄影的主要场面的演出效果的场面的影像。

在此，是一种从记录在记录媒体中的影像流表示的整体影像中提取特定的影像进行再现的影像编辑装置，上述影像流包含表示主要场面的第1影像、和用于提高加强主要场面的演出效果的多种第2影像；在上述记录媒体中，作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示第1影像的重要度的重要度信息；作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；还记录有表示有关第1影像的重要度信息、和有关第2影像的种类的识别信息之间的对应关系的选择表；上述影像编辑装置具备：取得单元，从上述记录媒体取得第1影像确定信息；选择单元，从上述选择表中选择同与所取得的第1影像确定信息的重要度信息对应起来的第2影像的种类有关的识别信息；提取单元，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

由此，能够根据第1影像确定信息所表示的主要场面的重要度而使演出效果具有变化。

例如，即使是棒球转播的主要场面相同的适时安打的场面，也在逆转的适时安打和不是逆转的适时安打间设置重要度差，在逆转的适时安打的情况下在主要场面的影像中将候补席的选手的祝贺的状况的场面的影像、及表示观众的欢喜的状况的场面的影像与主要场面的影像一起再现，在其他适时安打的情况下，通过设定为不进行这样的场面的影像的再现，能够使演出效果具有变化。

附图说明

图1是表示本发明的第一实施方式的影像编辑系统10的结构的功能框图。

图2表示存储在影像存储部105中的影像流与事件元数据的状况信息的具体例。

图3表示匹配表与模板的具体例。

图4表示演出效果匹配表的具体例。

图5表示属性数据的具体例。

图6是表示摘要生成部104的整体结构的功能框图。

图7表示从属性数据提取的部分摘要元数据的具体例。

图8表示整体摘要元数据的具体例。

图9表示整体摘要元数据的具体例。

图10表示整体摘要元数据的具体例。

图11是表示部分摘要生成部102的结构的功能框图。

图12是表示第1演出效果选择部202进行的演出效果索引第1选择处理的动作的流程图的一部分。

图13是表示第1演出效果选择部202进行的演出效果索引第1选择处理的动作的流程图的一部分。

图14是表示第2演出效果选择部203进行的演出效果索引第2选择处理的动作的流程图的一部分。

图15是表示第2演出效果选择部203进行的演出效果索引第2选择处理的动作的流程图的一部分。

图16是表示部分摘要生成部102进行的部分摘要元数据生成处理的动作的流程图。

图17是表示整体摘要生成部104进行的整个摘要元数据生成处理的动作的流程图。

图18是以图形表示摘要生成部303根据图8所示的整体摘要元数据再现摘要影像的过程的一部分的图。

图19是表示变形例中的部分摘要生成部102的结构的功能框图。

图20表示整体摘要元数据的具体例。

图21表示存储在模板存储部106中的匹配表与安打用模板的具体例。

图22表示对由图2(b)的1710表示的“安打”的主数据生成的部分摘要元数据的具体例。

图23表示对由图2(b)的1711表示的“安打”的主数据生成的部分摘要元数据的具体例。

图24表示对由图2(b)的1712表示的“安打”的主数据生成的部分摘要元数据的具体例。

具体实施方式

<结构>

图1是表示本发明的第一实施方式的影像编辑系统10的结构的功能框图。

影像编辑系统10包括影像编辑装置100、影像存储部105、模板存储部106、和摘要生成条件输入部107。

影像编辑装置100与影像存储部105、模板存储部106、摘要生成条件输入部107分别用电气通信线路(例如因特网、内部网、LAN等)连接。

此外，影像编辑装置100也可以是在本装置中包含影像存储部105、模板存储部106、摘要生成条件输入部107的结构。

(影像存储部105)

存储有由电视台为播放节目用而摄影的、作为帧图像的时序顺序的流的影像流，多个事件元数据，以及状况信息。构成影像流的各影像数据与其记录时刻对应起来存储。

另外，被存储的影像流也可以是由多个摄像机摄影的多种影像流，在此情况下，对于各影像流赋予了用来识别该影像流的摄像机号，作为识别符。

这里，所谓的“事件元数据”指的是，表示将摄影的影像流分割为多个以时序顺序连续的由特定数量的帧图像构成的流时的、用于将已分割的各流所示的影像所表示的场景进行分类的“索引”、表示该场景的记录开始时刻的“IN点”、表示该场景的记录结束时刻的“OUT点”、用于识别拍摄该场景的摄像机的“摄像机号”、表示各场景的集合体中的该场景的重要性程度的值即“重要度”、记述了该场景的详细情况(例如登场人物、被摄体名等)的“关键字”、和表示是否存在与该场景对应的模板(关于模板，在后面叙述)的“模板信息”之间的对应关系的信息。

另外，在本实施方式中，由于以棒球比赛为摄影对象，所以将关键字分类为“行为者”、“被行为者”、“行为者队”、“被行为者队”。

这里，“行为者”表示在棒球比赛中攻击侧的击球者，“被行为者”表示防守侧的投手，“行为者队”表示攻击侧的队，“被行为者队”表示防守侧的队。

事件元数据在每次索引所表示的场景的摄影结束时被存储在影像存储部105中。

此外，“状况信息”是指对各事件元数据记述了该事件元数据所表示的场景之前的场景的状况和基于该事件元数据所表示的场景的结果场景的状况的信息(以下，将记述了前者的状况的信息称作“机会状况信息”，将记述了后者的状况的信息称作“结果状况信息”)。

状况信息例如通过已摄影的影像的编辑者或摄影者自身或其助手等制作。状况信息的制作既可以在摄像机摄影中随时制作，也可以在摄影后的影像编辑时制作。

图2表示存储在影像存储部105中的影像流、事件元数据和状况信息的具体例。

图2(a)表示影像流的具体例，图2(b)表示事件元数据的具体例，图2(c)表示状况信息的具体例。

图2(a)的600是用图形表示影像流。

图2(b)中，601表示事件元数据，6011表示索引的具体例，6012、6013表示IN点、OUT点的具体例，6014表示摄像机号的具体例，6015表示重要度的具体例，6016～6019表示被分类的各关键字(行为者、被行为者、行为者队、被行为者队)的具体例，6020表示模板信息的具体例。

此外，图2(c)的602表示状况信息，6021表示事件元数据的识别符的具体例，6022表示机会状况信息的具体例，6023表示结果状况信息的具体例。

(模板存储部106)

存储有匹配表、模板、和演出效果匹配表。

这里，“匹配表”是指表示属于具有模板的事件元数据(以下称作“主元数据”)的索引(以下称作“主索引”)和该索引所属的模板的保存场所的对应关系的表。

此外，“模板”是指，包含有用于将在摘要影像中应连续再现的多个场景分类的各索引的组(以下，将组内的各索引中的主索引以外的索引称作“演出效果索引”)、由各索引分类的场景的记录时刻信息(IN点、OUT点)的记录栏、和该场景的再现顺序的信息。

另外，在包含在模板中的记录时刻信息的记录栏中，在后述的部分摘要元数据的生成时记录IN点、OUT点。

这里，“演出效果索引”是对摄影的各场景中的、附属于由主索引分类的主要场景的场景进行分类的索引，被划分为与主要场景的刚刚之前有关的场景即背景场景、和与主要场景的刚刚之后有关的场景即结果场景。

例如，如果将棒球的“本垒打”及“安打”作为主要场景，则作为背景场景，包括表示主要场景之前的垒上的跑垒者的场景、表示观众的状况的场景、及表示有关主要场景的人物的表情的场景等，作为结果场景，包括表示主要场景之后的观众的状况的场景、表示有关主要场景的人物的表情的场景、表示候补席的状况的场景、及表示教练的状况的场景等。

另外，假设对于1个演出效果索引，存在包含该演出效果索引的多个事件元数据，并且与事件元数据一起存储在影像存储部105中。图2(b)的1700表示包含演出效果索引的事件元数据的具体例。

另外，在模板中，定义了由通过后述的模板的索引的选择处理有可能被选择的所有演出效果索引和主索引分别分类的场景的再现顺序，在通过上述选择处理删除了演出效果索引的情况下，跳过被删除的演出效果索引，将由其下一个再现顺序的演出效果索引或主索引分类的场景连接起来。

此外，在使用多个摄像机进行属于各分类的场景的摄影的情况下，除了模板的IN点、OUT点以外，在模板中还包含关于识别该摄像机的摄像机号的信息。由此，通过将存储在影像存储部105的多个影像流与拍摄了该影像流的摄像机的摄像机号对应起来，能够根据模板信息从影像存储部105读出与用多个摄影机摄影的场景有关的各影像流，进行再现。

此外，“演出效果匹配表”是指表示场景属性信息、分类信息、判断基准识别符、演出效果索引、状况信息判断识别符、和重要度判断识别符的对应关系的表。

这里，“场景属性信息”是指，表示匹配表的各演出效果索引是与由主索引识别的场景的刚刚之前的场景即背景场景相关联、还是与作为同主索引关联的场景关联的结果场景相关联的场景属性信息。

此外，“分类信息”是指，根据被拍摄的对象的属性，将场景属性信息进行分类的信息。

此外，“判断基准识别符”是指，表示是否将各演出效果索引追加到模板中的判断是按照状况信息判断识别符进行、还是按照重要度判断识别符进行、还是按照两者的判断结果进行的识别符。

此外，“状况信息判断识别符”是指，根据与主索引的状况信息的关系对各演出效果索引进行如下判断的识别符，即、该判断是：该演出效果索引在该主索引的模板中是作为选择的演出效果索引、还是作为成为选择候补的演出效果索引，以及该演出效果索引在该模板中是作为删除的演出效果索引、还是作为成为删除候补的演出效果索引。

此外，“重要度判断识别符”是指，根据与主元数据所表示的场景的重要度的关系对各演出效果索引进行如下判断的识别符，即该判断是：该演出效果索引在该主索引的模板中是作为选择确定的演出效果索引、还是作为成为选择候补的演出效果索引，以及该演出效果索引在该模板中是作为删除的演出效果索引、还是作为成为删除候补的演出效果索引。

图3表示匹配表与模板的具体例。图3的700表示匹配表的具体例，图3的701表示模板的具体例。在700中，表示“主索引”(在图3(a)中用索引表示)与表示该主索引所属的模板的保存场所的“路径”之间的对应关系。

此外，在701中，按照再现顺序排列了表示与本垒打关联的场景的各索引，对各索引分别附加了表示该索引所表示的场景的记录开始时刻与记录结束时刻的“IN点”、“OUT点”的记载栏。

图4表示演出效果匹配表的具体例。图4的801表示场景属性信息，802表示分类信息，803表示判断基准，804表示演出效果索引，805表示状况信息判断识别符，806表示重要度判断识别符。

此外，在图4中，在状况信息判断识别符或重要度判断识别符是“-”的情况下，表示在该主索引所属的模板中将演出效果索引作为删除候补对象，在与主索引建立了对应的状况信息判断识别符或重要度判断识别符是“◎”的情况下，表示将建立了对应的演出效果索引在该主索引所属的模板中作为选择确定对象，在与主索引建立了对应的状况信息或重要度是“×”的情况下，表示将建立了对应的演出效果索引在该主索引所属的模板中作为删除对象，在状况信息判断识别符或重要度判断识别符是“○”的情况下，表示将建立了对应的演出效果索引在该主索引所属的模板中作为选择候补对象。

利用该演出效果匹配表，能够根据主索引的状况信息、重要度来变更预先设定的模板的演出效果索引的内容。

(摘要生成条件输入部107)

将摘要影像生成的条件(以下称作“生成条件”)输入到整体摘要生成部104。

这里，“生成条件”是指，包括作为摘要影像的构成要素的主元数据的检索条件、与对根据该检索条件检索到的各部分摘要的再现顺序进行指定的重新排列条件的条件。

这里，“部分摘要元数据”是指，包括如下内容的数据：根据与主元数据对应的模板中包含的演出效果索引，通过后述的演出效果索引第1及第2选择处理所选择的演出效果索引及其IN点、OUT点；该模板中包含的主索引及其IN点、OUT点；和根据主索引与所选择的演出效果索引分别确定的场景的再现顺序。

作为检索条件的例子，例如可举出属于主元数据的主索引及关键字、重要度的阈值等的指定。

此外，作为重新排列条件的例子，例如可举出由主元数据确定的部分摘要元数据的记录时间带早的顺序、重要度的顺序。

(影像编辑装置100)

包括事件提取部101、部分摘要生成部102、部分摘要存储部103、和整体摘要生成部104。

(事件提取部101)

参照存储在影像存储部105中的各事件元数据的模板信息来判断有无模板，提取具有模板的主元数据，再参照存储在影像存储部105中的状况信息，提取与所提取的各主元数据建立了对应的状况信息，输出给部分摘要生成部102。

(部分摘要存储部103)

存储有由部分摘要生成部102生成的各部分摘要元数据和属性数据。

这里，“属性数据”是指，表示根据从构成各部分摘要元数据的索引所涉及的事件元数据中提取的信息，由部分摘要生成部102生成的部分摘要元数据名、表示该部分摘要元数据的保存场所的片段路径、主索引、表示从有关该部分摘要元数据的各场景的IN点中的表示最早记录时刻的IN点到各场景的OUT点中的表示最晚记录时刻的OUT点的记录时刻的范围的记录时间带、由包含在该部分摘要元数据中的各索引进行分类的场景的再现顺序、该部分摘要元数据的重要度、和对于与该部分摘要元数据有关的各事件元数据的关键字之间的对应关系的信息。

图5表示属性数据的具体例。图5的1000表示属性数据，1001表示部分摘要元数据名，1002表示片段路径，1003表示主索引，1004表示记录时间带，1005表示再现顺序，1006表示重要度，1007表示关键字。

(整体摘要生成部104)

图6是表示整体摘要生成部104的结构的功能框图。

整体摘要生成部104包括部分摘要元数据提取部301、部分摘要重新排列部302、摘要生成部303。

(部分摘要元数据提取部301)

根据由摘要生成条件输入部107输入的生成条件中包含的检索条件，基于存储在部分摘要存储部103中的属性数据，提取符合检索条件的各部分摘要元数据，输出给部分摘要重新排列部302。

图7表示根据属性数据提取的部分摘要元数据的具体例。在图7的例子中，表示在作为检索条件将主索引指定为“本垒打”的情况下，根据图5所示的属性数据由部分摘要元数据提取部301提取出的关于“本垒打”的部分摘要元数据的例子。

此外，在指定了关键字作为检索条件的情况下，根据图5所示的属性数据提取包含所指定的关键字(例如包含有“今冈”)的部分摘要元数据(例如“本垒打”和“三击未中出局”的部分摘要元数据)，在指定了重要度的阈值(例如使重要度的阈值为5的情况)作为检索条件的情况下，根据图5所示的属性数据提取重要度超过该阈值的部分摘要元数据(例如“本垒打”、“安打”、和“满垒本垒打”的部分摘要元数据)。

(部分摘要重新排列部302)

将由部分摘要元数据提取部301输入的各部分摘要元数据，按照由摘要生成条件输入部107输入的、包含在生成条件中的重新排列条件所指定的再现顺序重新排列，输出给摘要生成部303。

(摘要生成部303)

根据由部分摘要重新排列部302输入的重新排列后的各部分摘要数据，生成使各部分摘要元数据按照重新排列后的顺序结合的部分摘要元数据(以下称作“整体摘要元数据”)。

再者，按照重新排列后的顺序，将由包含在整体摘要元数据中的各部分摘要元数据确定的主索引及演出效果索引所确定的各场景，按照该部分摘要元数据所表示的再现顺序进行连续再现，再现摘要影像。

具体而言，按照部分摘要元数据所表示的再现顺序，根据与包含在该部分摘要元数据中的索引有关的IN点、OUT点(在包含有摄影机号的情况下，还有摄影机号)，从影像存储部105依次提取对应的影像流，进行所提取的影像流的再现，来再现摘要影像。

图8～图10及图20表示整体摘要元数据的具体例。图8表示从图5所示的属性数据中进行以“本垒打”为主索引的检索、把重新排列顺序作为“重要度”的情况下，生成的整体摘要元数据的具体例。

此外，图18是根据图8所示的整体摘要元数据，以图形表示摘要生成部303再现摘要影像的过程的一部分的图。具体而言，图18以图形表现了根据与图8的最后的“本垒打”对应的部分摘要元数据，摘要生成部303再现摘要影像的过程。

图18的1601表示存储在影像存储部105中的棒球的摄影影像的影像流，表示由多个摄影机拍摄并记录了4种影像流。

1602表示根据包含在“本垒打”的部分摘要元数据中的各索引的IN点、OUT点、摄像机号，摘要生成部303从1601所示的影像流中提取出的各索引所对应的影像流。

1603表示摘要生成部303将所提取的各影像流按照“本垒打”的部分摘要元数据表示的再现顺序进行重新排列而制作的影像流。

1604表示根据摘要生成部303制作的影像流进行再现的摘要影像的图像。

图9表示从图5所示的属性数据中进行以“ABC”为关键字的检索，使重新排列顺序为“记录时间带早的顺序”的情况下生成的整体摘要元数据的具体例。

图10表示从图5所示的属性数据中进行以“今冈”为关键字的检索，使重新排列顺序为“记录时间带早的顺序”的情况下生成的整体摘要元数据的具体例。

此外，图20表示从图5所示的属性数据中进行使重要度的阈值为5的检索(表示重要度为“5以上”的部分摘要元数据的检索)，使重新排列顺序为“记录时间带早的顺序”的情况下生成的整体摘要元数据的具体例。

(部分摘要生成部102)

图11是表示部分摘要生成部102的结构的功能框图。

部分摘要生成部102包括模板匹配部201、第1演出效果选择部202、第2演出效果选择部203、演出效果索引取得部204、事件元数据切出部205、事件元数据重新排列部206、属性数据提取部207、属性数据赋予部208、片段模板合成部209。

(模板匹配部201)

如果从事件提取部101输入了各主元数据和与该主元数据的主索引对应起来的状况信息，则参照存储在模板存储部106中的匹配表，确定与输入的主元数据表示的主索引对应的模板的保存场所，从该保存场所取得模板，再从模板存储部106取得演出效果匹配表，将输入的各主元数据、状况信息、取得的模板、和演出效果匹配表输出给第1演出效果选择部202。

(第1演出效果选择部202)

进行以下所示的演出效果索引第1选择处理。

如果从模板匹配部201输入了各主元数据、状况信息、各模板、和演出效果匹配表，则按各状况信息、和有关该状况信息的主元数据与模板的组来参照演出效果匹配表的状况信息判断识别符，对于包含在演出效果匹配表中的各演出效果索引进行判断处理，即判断将该演出效果索引是在该模板中作为选择的演出效果索引(以下称作“选择确定索引”)，还是将该演出效果索引在该模板中作为选择候补的演出效果索引(以下称作“选择候补索引”)，还是将该演出效果索引在该模板中作为删除的演出效果索引(以下称作“删除索引”)，还是将该演出效果索引在该模板中作为成为删除候补的演出效果索引(以下称作“删除候补索引”)的，并且，把各组的判断结果通知给第2演出效果选择部203，再将各组的主元数据、模板和演出效果匹配表输出给第2演出效果选择部203。

(第2演出效果选择部203)

进行以下所示的演出效果索引第2选择处理。

如果从第1演出效果选择部202有各主元数据和模板的组、演出效果表的输入，以及关于各组的演出效果索引的第2选择处理的判断结果的通知，则参照主元数据所表示的重要度、和演出效果匹配表的重要度判断识别符，对于包含在演出效果匹配表中的各演出效果索引，进行将该演出效果索引作为选择确定索引、还是将该演出效果索引作为选择候补索引、还是将该演出效果索引作为删除候补索引、还是将该演出效果索引作为删除索引的判断处理，确定演出效果索引第2选择处理中的选择确定索引、选择候补索引、删除候补索引、删除确定索引，对有关各主元数据的模板进行以下的各处理(选择决定处理、删除处理)，将处理后的各模板(以下称作“当前模板”)和各主元数据输出给演出效果索引取得部204及事件元数据重新排列部206，还将有关各当前模板的主元数据输出给事件元数据重新排列部206。

1、选择决定处理

将在演出效果索引第2选择处理的判断处理中判断为选择确定索引的各演出效果索引、和在演出效果索引第1选择处理的判断处理中判断为选择确定索引的各演出效果索引，决定为包含在模板中的演出效果索引。

此外，在演出效果索引第2选择处理的判断处理中判断为选择候补索引的各演出效果索引，在演出效果索引第1选择处理的判断处理中也被判断为选择候补索引的情况下，对于该演出效果索引也决定为包含在模板中的索引。

2、删除处理

从模板中删除在演出效果索引第2选择处理的判断处理中判断为删除索引的各演出效果索引、和在演出效果索引第1选择处理的判断处理中判断为删除索引的各演出效果索引。

此外，在演出效果索引第2选择处理的判断处理中判断为选择候补索引的各演出效果索引，在演出效果索引第1选择处理的判断处理中没有被判断为选择候补索引的情况下，也从模板中删除该演出效果索引。

此外，对于在演出效果索引第1选择处理的判断处理中判断为删除候补索引的各演出效果索引，在演出效果索引第2选择处理的判断处理中没有被判断为选择确定索引的情况下，从模板删除；同样，对于在演出效果索引第2选择处理的判断处理中判断为删除候补索引的各演出效果索引，在演出效果索引第1选择处理的判断处理中没有被判断为选择确定索引的情况下，从模板删除。

以下，以“安打”的模板为具体例进一步说明上述演出效果索引及第1及第2选择处理，。

图21表示存储在模板存储部106中的匹配表与安打用模板的具体例。图21的2001表示匹配表的具体例，2002表示安打用模板的具体例。

假设从事件提取部101将图2(b)的1710所示的有关“安打”的主元数据和图2(c)的1713所示的有关该主元数据的状况信息输入到模板匹配部201，通过模板匹配部201参照图21的2001所示的匹配模板，对各主元数据取得安打用模板，并且将各主元数据、有关该主元数据的状况信息、和安打用模板输入到第1演出效果选择部202，来说明上述演出效果索引第1及第2选择处理。

第1演出效果选择部202对于包含在图4所示的演出效果匹配表中的各演出效果索引，确定与有关1710所示的“安打”的模板的状况信息、即1713所示的“有跑垒者”、“与得分相联系”分别对应的状况信息判断识别符，将该状况信息判断识别符表示“◎”的、801的场景属性信息为“背景”的“垒上镜头”的演出效果索引、和801的属性信息为“结果”的“本垒打”的演出效果索引判断为选择确定索引，将该状况信息判断识别符表示“○”的、801的场景属性信息为“结果”的“教练镜头(被行为者队)”、“教练镜头(行为者队)”、“候补席(事件被行为者队)”、“候补席祝贺(事件行为者队)”、“看台(事件行为者队)”、“其他角度回放”、“慢动作回放”的各演出效果索引判断为选择候补索引，对于其他演出效果索引，由于其状况信息判断识别符表示“-”，所以判断为删除候补索引，将判断结果通知给第2演出效果选择部203。

接着，第2演出效果选择部203根据被通知的特定结果进行演出效果索引第2选择处理。

第2演出效果选择部203对于包含在图4所示的演出效果匹配表中的各演出效果索引，确定与有关1710所示的“安打”的模板的主元数据所示的重要度“8”(参照图2(b))对应的重要度判断识别符，将该重要度判断识别符表示“◎”的、801的场景属性信息为“背景”的“选手镜头(事件被行为者)”、“选手镜头(事件行为者)”的各演出效果索引、801的场景属性信息为“结果”的“选手镜头(事件被行为者)”、“选手镜头(事件行为者)”的各演出效果索引分别判断为选择确定索引。

进而，第2演出效果选择部203将该重要度判断识别符表示“○”的、801的场景属性信息为“结果”的“教练镜头(事件被行为者队)”、“教练镜头(事件行为者队)”、“候补席(事件被行为者队)”、“候补席祝贺(事件行为者队)”、“看台(事件行为者队)”的各演出效果索引判断为选择候补索引。

进而，第2演出效果选择部203将该重要度判断识别符表示“×”的、801的场景属性信息为“背景”的“观众镜头”的演出效果索引、801的场景属性信息为“结果”的“其他角度回放”、“慢动作回放”的各演出效果索引分别判断为删除索引。

进而，第2演出效果选择部203将该重要度判断识别符表示“-”的、801的场景属性信息为“背景”的“垒上镜头”的演出效果、801的场景属性信息为“结果”的“本垒打”的演出效果索引，分别判断为删除候补索引。

第2演出效果选择部203将判断为选择确定索引的、801的场景属性信息为“背景”的“选手镜头(事件被行为者)”、“选手镜头(事件行为者)”的各演出效果索引、和801的场景属性信息为“结果”的“选手镜头(事件被行为者)”、“选手镜头(事件行为者)”的各演出效果索引，决定为包含在模板中的演出效果索引。

进而，判断为选择候补索引的、801的场景属性信息为“结果”的“教练镜头(事件被行为者队)”、“教练镜头(事件行为者队)”、“候补席(事件被行为者队)”、“候补席祝贺(事件行为者队)”、“看台(事件行为者队)”的各演出效果索引，由于在演出效果索引第1选择处理的判断中被判断为选择候补索引，所以第2演出效果选择部203将这些各演出效果索引也决定为包含在模板中的演出效果索引。

另一方面，对于在演出效果索引第1选择处理的判断处理中判断为选择候补索引的、801的场景属性信息为“结果”的“其他角度回放”、“慢动作回放”的各演出效果索引，由于在演出效果索引第2选择处理的判断处理中被判断为删除索引，所以第2演出效果选择部203从模板中删除这些演出效果索引。

另一方面，对于判断为选择候补索引的、801的场景属性信息为“背景”的“垒上镜头”、和801的场景属性信息为“结果”的“本垒打”的各演出效果索引，由于在演出效果索引第1选择处理的判断处理中被判断为选择确定索引，所以第2演出效果选择部203把“垒上镜头”、“本垒打”的各演出效果索引决定为包含在模板中的演出效果索引。

此外，对于判断为删除索引的、801的场景属性信息为“背景”的“观众镜头”的演出效果索引，由于在演出效果索引第1选择处理的判断处理中被判断为删除候补索引，所以第2演出效果选择部203从模板中删除。

上述选择处理后的演出效果索引在事件元数据重新排列部206中按照当前模板所示的再现顺序重新排列，通过片段模板合成部205组合到部分摘要元数据中。

图22表示对于1710表示的“安打”的主数据生成的部分摘要元数据的具体例。

图23、图24表示将由图2(b)的1711、1712表示的有关各“安打”的主数据、和由图2(c)的1714、1715表示的有关该主元数据的状况信息输入到模板匹配部201的情况下，与上述同样地进行演出效果索引第1选择处理及第2选择处理而生成的、关于由1711表示的“安打”及由1712表示的“安打”的各主元数据的部分摘要元数据的具体例。

(演出效果索引取得部204)

从由第2演出效果选择部203输入的各当前模板提取演出效果索引，将提取出的各演出效果索引和由第2演出效果选择部203输入的各主元数据输出给事件元数据切出部205。

(事件元数据切出部205)

根据关于由演出效果索引取得部204输入的各当前模板的演出效果索引和有关该模板的主元数据所表示的IN点、OUT点，从包含存储在影像存储部105中的该演出效果索引的事件元数据中，提取在由主元数据表示的IN点、OUT点确定的记录时间带的附近的时间带中具有IN点、OUT点的事件元数据(以下称作“演出事件元数据”)，输出给事件元数据重新排列部206。

这里，所谓的“附近的记录时间带”，是指包含在由主元数据的IN点、OUT点确定的记录时间带中、或者距离该记录时间带规定时间(例如从几秒到几十秒)的范围内的记录时间带，是预先设定的。由此，可以从索引相同的多个事件元数据中提取有关主元数据的演出事件元数据。

(事件元数据重新排列部206)

将由第2演出效果选择部203输入的关于各当前模板的主元数据、和由事件元数据切出部205输入的关于各当前模板的演出事件元数据，按照该当前模板表示的再现顺序重新排列，输出给属性数据提取部207及片段模板合成部209。

(属性数据提取部207)

如果从事件元数据重新排列部206输入了关于各当前模板的重新排列后的主元数据及各演出事件元数据，则从主元数据取得主索引、根据主元数据的IN点、OUT点决定的记录时间带、和关键字，还从各演出事件元数据取得关键字。

此外，根据主元数据及各演出事件元数据表示的重要度，计算每个当前模板的重要度。重要度的计算既可以单纯地将各重要度合计，也可以是其平均值，也可以对主元数据的重要度赋予加权来计算(例如将各演出事件元数据的重要度的平均值与主元数据的重要度合计来计算重要度)。

此外，从各当前模板取得再现顺序，根据取得或计算的上述各种数据生成属性数据，输出给属性数据赋予部208。

(片段模板合成部209)

从由事件元数据重新排列部206输入的、关于各当前模板的重新排列后的主元数据及各演出事件元数据中，提取主索引、演出效果索引、以及IN点及OUT点，将提取出的各索引按照重新排列后的顺序排列，附加对应于各索引的IN点及OUT点而生成部分摘要元数据，输出给属性数据赋予部208。

(属性数据赋予部208)

将由片段模板合成部209输入的各部分摘要元数据与由属性数据提取部207输入的属性数据建立对应，记录到部分摘要存储部103中。

具体而言，将表示各部分摘要元数据在部分摘要存储部103中的保存场所的片段路径附加到属性数据中，将该属性数据记录到部分摘要存储部103中。

<动作>

(演出效果索引第1选择处理)

接着，对第1演出效果选择部202进行的演出效果索引第1选择处理的动作进行说明。图12及图13是表示上述动作的流程图。

如果从模板匹配部201有各主元数据、各状况信息、各模板、演出效果匹配表的输入(步骤S3001)，则第1演出效果选择部202取得各状况信息、和有关该状况信息的主元数据与模板的组(步骤S3002)，参照演出效果匹配表的状况信息判断识别符，对于包含在演出效果匹配表中的各演出效果索引，确定与状况信息所表示的记述对应的状况信息判断识别符(步骤S3003)，按照该状况信息判断识别符，判断该演出效果索引是选择确定索引(步骤S3004)、还是选择候补索引(步骤S3005)、还是删除索引(步骤S3006)。

在步骤S3004中，在判断为选择确定索引的情况下(步骤S3004的“是”)，将该演出效果索引的判断结果作为选择确定索引保持(步骤S3007)，判断是否对包含在演出效果匹配表中的所有的演出效果索引结束了选择处理(步骤S3011)，在已结束的情况下(步骤S3011的“是”)，将保持的各判断结果通知给第2演出效果选择部203(步骤S3012)，将该组的主元数据和模板输出给第2演出效果选择部203，再判断是否对所有的组结束了选择处理(步骤S3013)。

在步骤S3011的判断为否定的情况下(步骤S3011的“否”)，转移到步骤S3003的处理，在步骤S3013的判断为否定的情况下(步骤S3013的“否”)，转移到步骤S3002的处理。

在步骤S3005中判断为选择候补索引的情况下(步骤S3005的“是”)，将该演出效果索引的判断结果作为选择候补索引保持(步骤S3008)，转移到步骤S3011的处理。

在步骤S3006中判断为删除索引的情况下(步骤S3006的“是”)，将该演出效果索引的判断作为删除索引保持(步骤S3009)，转移到步骤S3011的处理。

在步骤S3006的判断为否定的情况下(步骤S3006的“否”)，判断该演出效果索引为删除候补索引，将该演出效果索引的判断结果作为删除候补索引保持(步骤S3010)，转移到步骤S3011的处理。

(演出效果索引第2选择处理)

接着，对第2演出效果选择部203进行的演出效果索引第2选择处理的动作进行说明。图14及图15是表示上述动作的流程图。

如果从第1演出效果选择部202获取了主元数据与模板的组、和演出效果匹配表的输入及判断结果的通知(步骤S4001)，则对于包含在所输入的演出效果匹配表中的各演出效果索引，确定与所输入的主元数据表示的重要度建立了对应的重要度判断识别符(步骤S4002)，按照该重要度判断识别符，判断该演出效果索引是选择确定索引(步骤S4003)、还是选择候补索引(步骤S4004)。

在步骤S4003中判断为选择确定索引的情况下(步骤S4003的“是”)，第2演出效果选择部203将该演出效果索引决定为包含在模板中的演出效果索引(S4006)，判断是否对包含在演出效果匹配表中的所有的演出效果索引结束了选择处理(步骤S4010)，在没有结束的情况下(步骤S4010的“否”)，转移到步骤S4002的处理。

在步骤S4004中判断为选择候补索引的情况下(步骤S4004的“是”)，第2演出效果选择部203对于该演出效果索引判断从第1演出效果选择部202通知的判断结果是否是选择候补索引(步骤S4007)，在是选择候补索引的情况下(步骤S4007的“是”)，转移到步骤S4006的处理，在不是选择候补索引的情况下(步骤S4007的“否”)，将该演出效果索引决定为从模板删除的演出效果索引(步骤S4009)，转移到步骤S4010的处理。

在步骤S4004的判断结果为否定的情况下(步骤S4004的“否”)，判断该演出效果索引是删除索引或删除候补索引，对于该演出效果索引，判断从第1演出效果选择部202通知的判断结果是否是选择确定索引(步骤S4008)，在是选择确定索引的情况下(步骤S4008的“是”)，转移到步骤S4006的处理，在不是选择确定索引的情况下(步骤S4008的“否”)，转移到步骤S4009的处理。

每当从第1演出效果选择部202获取了主元数据与模板的组、和演出效果匹配表的输入及判断结果的通知时，第2演出效果选择部203重复上述选择处理，将演出效果索引第2选择处理后的各当前模板输出给演出效果索引取得部204及事件元数据重新排列部206，还将有关各当前模板的主元数据输出给事件元数据重新排列部206。

(部分摘要元数据生成处理)

接着，对部分摘要元数据生成部102进行的部分摘要元数据生成处理的动作进行说明。图16是表示上述动作的流程图。

如果输入了演出效果索引第2选择处理后的各当前模板和有关该当前模板的主元数据(步骤S5001)，则从各当前模板提取演出效果索引(步骤S5002)，提取包含从影像存储部105提取的演出效果索引的演出事件元数据(步骤S5003)，将对于各当前模板提取的演出事件元数据和有关该当前模板的主元数据按照该当前模板所表示的再现顺序重新排列(步骤S5004)，从重新排列后的主元数据及各演出事件元数据提取主索引、演出效果索引、以及IN点及OUT点(步骤S5005)，将所提取的各索引按照重新排列后的顺序排列，附加对应于各主索引的IN点及OUT点，生成部分摘要元数据(步骤S5006)，再从重新排列后的主元数据及各演出事件元数据中取得主索引、根据主元数据所表示的IN点、OUT点计算出的记录事件、和关键字，计算关于该当前模板的重要度，从该当前模板取得再现顺序，根据它们生成属性数据(步骤S5007)，将生成的部分摘要元数据和属性数据对应起来记录到部分摘要记录部103(步骤S5008)。

(整体摘要生成处理)

接着，对整体摘要生成部104进行的整体摘要生成处理的动作进行说明。

图17是表示上述动作的流程图。

如果从摘要生成条件输入部107输入了生成条件(步骤S6001)，则整体摘要生成部104从存储在部分摘要存储部103中的属性数据中提取与包含在生成条件中的检索条件相符合的各部分摘要元数据(步骤S6002)，将提取出的各部分摘要元数据按照包含在生成条件中的重新排列条件所指定的再现顺序重新排列(步骤S6003)，根据重新排列后的各部分摘要元数据，将各部分摘要元数据按照重新排列后的结合而生成整体摘要元数据(步骤S6004)，再按照重新排列后的顺序，按照包含在整体摘要元数据中的各部分摘要元数据所表示的再现顺序，根据关于包含在该部分摘要元数据中的索引的IN点、OUT点(在包含有摄像机号的情况下还有摄像机号)，从影像存储部105中依次提取对应的影像流(步骤S6005)，进行所提取的影像流的再现，来再现摘要影像(步骤S6006)。

<补充>

以上，根据实施方式对于有关本发明的影像编辑系统10进行了说明，但本发明当然并不限于这些实施方式。

(1)在本实施方式中，根据与主元数据建立了对应的状况信息及重要度，变更了有关主元数据的模板的索引的内容，但也可以将有关主元数据的模板的内容固定。

具体而言，在图11所示的部分摘要元数据生成部102的结构中，也可以将部分摘要元数据生成部102的结构做成将第1演出效果选择部202、第2演出效果选择部203删除的结构，将与由模板匹配部201取得的各主元数据建立了对应的模板输出给演出效果索引取得部204，然后，对于输出的各模板，在演出效果索引取得部204、事件元数据切出部205、事件元数据重新排列部206、属性数据提取部207、属性数据赋予部208、片段模板合成部209中，进行与本实施方式的情况同样的处理，制作关于各主元数据的部分摘要元数据、属性数据，记录在部分摘要存储部103中。

图19是表示上述变形例中的部分摘要元数据生成部102的结构的功能框图。

(2)在本实施方式中，演出效果匹配表不论主索引属于的模板的种类如何都为1个，但也可以设置因主索引属于的模板的种类而不同的演出效果匹配表，也可以对主索引属于的特定的多个种类的模板的每一种设置演出效果匹配表。

(3)在本实施方式中，根据状况信息及主元数据表示的重要度而从演出效果匹配表选择演出效果索引，但也可以在演出效果匹配表中设置基于用户的个人嗜好的判断识别符的栏而使用户能够输入设定判断识别符，也可以除了状况信息、重要度以外，根据基于个人嗜好的判断识别符来选择演出效果索引。例如，如果在图4的演出效果匹配表中将各“选手镜头”的判断识别符设定为“◎”，则可以在选择后的部分摘要元数据中包含“选手镜头”的演出效果索引，可以在再现的摘要影像中包含选手镜头的影像。

(4)在本实施方式中，分别将影像流、事件元数据和状况信息存储到影像存储部105中，将匹配表、模板和演出效果匹配表存储到模板存储部106中，但也可以存储到1个存储部或存储媒体中。

(5)在本实施方式的影像编辑系统10的结构中，具有在影像编辑装置100中包括部分摘要元数据生成部102、部分摘要存储部103、整体摘要生成部104的结构，但例如也可以做成如下结构，作为播放局侧的影像编辑装置而做成包括影像存储部105、事件提取部101、部分摘要元数据生成部102、部分摘要存储部103，在接收播放的用户侧的播放接收机中包括整体摘要生成部104、摘要生成条件输入部107、和仅存储从播放局接收到的影像流的影像存储部205，将播放局侧的影像编辑装置和用户侧的播放接收机通过电气通信线路(例如因特网)连接的结构。

具体而言，也可以通过从摘要生成条件输入部107输入摘要影像的生成条件，整体摘要生成部104经由电气通信线路与播放局侧的影像编辑装置连接，从部分摘要存储部103取得满足生成条件的各部分摘要元数据，根据所取得的各部分摘要元数据，从包含在播放接收机中的影像存储部205提取对应的各部分影像流，来制作摘要影像。

由此，能够在家庭中简单地将接收到的播放节目的摘要再现。

(6)在本实施方式中使用的影像流既可以是实时的直播的影像流，也可以是预先记录的视频再现用的影像流。

此外，影像流的内容并不限于棒球，也可以是其他运动播放或卡拉OK大会的影像。

例如，在制作卡拉OK大会的参加者唱歌的场景的摘要影像的情况下，在卡拉OK大会中得到高分的人的情况下，除了唱歌期间的场景以外，还提取唱歌的人的资料等补充说明的影像作为摘要影像，得分较低的人唱歌的场景的影像仅提取唱歌期间的场景，在棒球影像以外的影像流中，也能够利用本发明来制作吸引观看者的兴趣那样的摘要影像。

(7)本实施方式的影像编辑系统10具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或上述硬盘单元中存储有计算机程序。通过上述微处理器按照上述计算机程序动作，各节目选择支援装置实现其功能。这里，计算机程序是为了实现规定的功能而组合了多个表示对计算机的指示的命令代码而构成的。

(8)在本实施方式的影像编辑装置100中生成的部分摘要元数据、整体摘要元数据的格式既可以是XML(Extensible MarkupLanguage，可扩展标识语言)，也可以是RDF(Resource DescriptionFramework，资源描述框架)，也可以是EDL(Edit Decision List，编辑决策表)。此外，也可以是上述以外的其他格式。

(9)此外，在本实施方式中，使状况信息为主元数据与其他数据，但也可以是在主元数据中包含有状况信息。

工业实用性

本发明通过从记录的影像的影像流中提取特定的一部分，能够作为用来制作概览该影像的摘要影像的技术而使用。

权利要求书

(按照条约第19条的修改)

1、(修改后)一种影像编辑装置，从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和关于第2影像的种类的识别信息；

还记录有表示有关第1影像的状况信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑装置具备：

取得单元，从上述记录媒体取得第1影像确定信息；

选择单元，从上述选择表中选择同与取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

提取单元，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息表示的记录时间相当于第1影像确定信息所表示的记录时间的附近的记录时间的第2影像确定信息。

2、(修改后)如权利要求1所述的影像编辑装置，其特征在于，

在上述记录媒体中，将表示上述第1影像与多种上述第2影像的再现顺序的模板信息，同上述第1影像确定信息对应起来进行记录；

上述影像编辑装置还具备再现单元，上述再现单元根据第1影像确定信息和所提取的第2影像确定信息，从上述影像流中提取第1影像和第2影像，并进行按照与上述第1影像确定信息对应的模板信息所表示的再现顺序，再现所提取的上述第1影像和上述第2影像的再现处理。

3、(修改后)如权利要求2所述的影像编辑装置，其特征在于，上述影像流包含多个第1影像；

在上述记录媒体中记录有多个第1影像确定信息、和对应于各第1影像确定信息的模板信息；

上述取得单元从上述记录媒体取得上述各第1影像确定信息；

每当取得上述第1影像确定信息时，

上述选择单元从上述选择表中选择同与取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

上述提取单元从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息、即时间信息所表示的记录时间相当于所取得的第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息；

上述再现单元具有：

生成单元，生成包含所取得的第1影像确定信息的时间信息、所提取的第2影像确定信息的时间信息、和与所取得的第1影像确定信息对应的模板信息的部分索引信息；

存储单元，存储生成的各部分索引信息；

流再现单元，根据用户指示从上述存储单元读出各部分索引信息，根据所读出的各部分索引信息，从上述影像流提取第1影像和第2影像，进行上述再现处理。

4、如权利要求1所述的影像编辑装置，其特征在于，

上述状况信息表示的状况是主要场面的刚刚之前的场面的状况。

5、如权利要求1所述的影像编辑装置，其特征在于，

上述状况信息表示的状况是表示基于主要场面的结果的场面的状况。

6、如权利要求2所述的影像编辑装置，其特征在于，

在上述记录媒体中记录有多种上述影像流，对上述各影像流赋予识别该上述影像流的流识别信息；

上述第1影像确定信息包含记录有第1影像的上述影像流的流识别信息；

各种的上述第2影像确定信息包含记录有第2影像的上述影像流的流识别信息；

上述再现单元从具有被包含在上述第1影像确定信息中的流识别信息的上述影像流中提取第1影像，从具有被包含在所提取的上述第2影像确定信息中的流识别信息的上述影像流中提取第2影像。

7、(修改后)一种影像编辑装置，从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示第1影像的重要度的重要度信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和有关第2影像的种类的识别信息；

还记录有表示有关第1影像的重要度信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑装置具备：

取得单元，从上述记录媒体取得第1影像确定信息；

选择单元，从上述选择表中选择同与所取得的第1影像确定信息的重要度信息对应起来的第2影像的种类有关的识别信息；

提取单元，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

8、(修改后)一种影像编辑方法，从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和有关第2影像的种类的识别信息；

还记录有表示有关第1影像的状况信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑方法包括：

取得步骤，从上述记录媒体取得第1影像确定信息；

选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

9、(修改后)一种程序，使影像编辑装置执行影像编辑处理，上述影像编辑装置从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和有关第2影像的种类的识别信息；

还记录有表示有关第1影像的状况信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑处理包括：

取得步骤，从上述记录媒体取得第1影像确定信息；

选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

10、(修改后)一种记录媒体，是记录有使影像编辑装置执行影像编辑处理的程序的计算机可读取的记录媒体，上述影像编辑装置从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和有关第2影像的种类的识别信息；

还记录有表示有关第1影像的状况信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑处理包括：

取得步骤，从上述记录媒体取得第1影像确定信息；

选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

Claims (10)

1、一种影像编辑装置，从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；

还记录有表示有关第1影像的状况信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑装置具备：

取得单元，从上述记录媒体取得第1影像确定信息；

选择单元，从上述选择表中选择同与取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

提取单元，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息表示的记录时间相当于第1影像确定信息所表示的记录时间的附近的记录时间的第2影像确定信息。

2、一种影像编辑装置，其特征在于，

在上述记录媒体中，将表示上述第1影像与多种上述第2影像的再现顺序的模板信息，同上述第1影像确定信息对应起来进行记录；

上述影像编辑装置还具备再现单元，上述再现单元根据第1影像确定信息和所提取的第2影像确定信息，从上述影像流中提取第1影像和第2影像，并进行按照与上述第1影像确定信息对应的模板信息所表示的再现顺序，再现所提取的上述第1影像和上述第2影像的再现处理。

3、如权利要求2所述的影像编辑装置，其特征在于，

上述影像流包含多个第1影像；

在上述记录媒体中记录有多个第1影像确定信息、和对应于各第1影像确定信息的模板信息；

上述取得单元从上述记录媒体取得上述各第1影像确定信息；

每当取得上述第1影像确定信息时，

上述选择单元从上述选择表中选择同与取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

上述提取单元从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息、即时间信息所表示的记录时间相当于所取得的第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息；

上述再现单元具有：

生成单元，生成包含所取得的第1影像确定信息的时间信息、所提取的第2影像确定信息的时间信息、和与所取得的第1影像确定信息对应的模板信息的部分索引信息；

存储单元，存储生成的各部分索引信息；

流再现单元，根据用户指示从上述存储单元读出各部分索引信息，根据所读出的各部分索引信息，从上述影像流提取第1影像和第2影像，进行上述再现处理。

4、如权利要求1所述的影像编辑装置，其特征在于，

上述状况信息表示的状况是主要场面的刚刚之前的场面的状况。

5、如权利要求1所述的影像编辑装置，其特征在于，

上述状况信息表示的状况是表示基于主要场面的结果的场面的状况。

6、如权利要求2所述的影像编辑装置，其特征在于，

在上述记录媒体中记录有多种上述影像流，对上述各影像流赋予识别该上述影像流的流识别信息；

上述第1影像确定信息包含记录有第1影像的上述影像流的流识别信息；

各种的上述第2影像确定信息包含记录有第2影像的上述影像流的流识别信息；

上述再现单元从具有被包含在上述第1影像确定信息中的流识别信息的上述影像流中提取第1影像，从具有被包含在所提取的上述第2影像确定信息中的流识别信息的上述影像流中提取第2影像。

7、一种影像编辑装置，从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示第1影像的重要度的重要度信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；

还记录有表示有关第1影像的重要度信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑装置具备：

取得单元，从上述记录媒体取得第1影像确定信息；

选择单元，从上述选择表中选择同与所取得的第1影像确定信息的重要度信息对应起来的第2影像的种类有关的识别信息；

提取单元，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

8、一种影像编辑方法，从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；

还记录有表示有关第1影像的状况信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑方法包括：

取得步骤，从上述记录媒体取得第1影像确定信息；

选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

9、一种程序，使影像编辑装置执行影像编辑处理，上述影像编辑装置从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息、和识别第2影像的种类的识别信息；

还记录有表示有关第1影像的状况信息和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑处理包括：

取得步骤，从上述记录媒体取得第1影像确定信息；

选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

10、一种记录媒体，是记录有使影像编辑装置执行影像编辑处理的程序的计算机可读取的记录媒体，上述影像编辑装置从记录在记录媒体中的影像流所表示的整体影像中提取特定的影像进行再现，其特征在于，

上述影像流包含表示主要场面的第1影像、和用于加强主要场面的演出效果的多种第2影像；

在上述记录媒体中，

作为确定第1影像的第1影像确定信息，记录有以记录时间表示第1影像的记录位置的时间信息、和表示与第1影像的主要场面关联的场面的状况的状况信息；

作为确定各种第2影像的第2影像确定信息，记录有以记录时间表示第2影像的记录位置的时间信息和识别第2影像的种类的识别信息；

还记录有表示有关第1影像的状况信息、和有关第2影像的种类的识别信息之间的对应关系的选择表；

上述影像编辑处理包括：

取得步骤，从上述记录媒体取得第1影像确定信息；

选择步骤，从上述选择表中选择同与所取得的第1影像确定信息的状况信息对应起来的第2影像的种类有关的识别信息；

提取步骤，从上述记录媒体提取符合所选择的上述识别信息表示的种类的第2影像确定信息，即时间信息所表示的记录时间相当于第1影像确定信息表示的记录时间的附近的记录时间的第2影像确定信息。

Images