CN100462960C - 创作装置和创作方法 - Google Patents

Abstract

显示时间轴与对于预定关键字的符合级别的轴相交的矩阵平面，并且在该矩阵平面上配置显示用于表示将运动画面文件划分为预定间隔的场景的标识符。当用户将配置在该矩阵平面上的标识符的位置移至期望位置时，确定与配置在该矩阵平面上的该标识符的位置相对应的符合级别作为与该标识符相对应的场景的符合级别。由此改善了将关键字和级别附加给视频场景的操作性，并且用户能够可视地确认关键字和级别的附加情况。

Description

创作装置和创作方法

技术领域

本发明涉及一种将索引信息附加给运动图像的创作装置和创作方法。

背景技术

近年来，将运动图像保存为数字文件这一做法日益变得普遍。随着所保存的运动图像数增多，从大量运动图像文件中快速检索期望文件并且高效地控制它们变得越来越困难。为了解决这一问题，存在有关用于将索引信息附加给运动图像、使用索引信息进行画面检索和画面概括的方法的提案。

这些方法之一公开于未实审的日本专利申请公布文献11-288424中。该公布文献特定提出了一种与作为除运动图像文件之外的文件的画面的特定时间段相关联来准备关键字信息等、并且使用该文件进行检索等的方法。

通常做法是采用普遍的XML格式描述索引信息文件，并且现在还存在有关旨在描述画面内容的MEPG7标准的提案。

作为索引信息，创建对应于与画面的时间段相关联的画面内容的关键字表对于使用关键字进行检索是有效的。MPEG7标准还提出附加表示关键字符合画面的程度的符合级别(applicable level)。MPEG7标准分别在名称“PointOfView”(视点)和“Importance”(得分)下处理关键字和符合级别。下面将描述如何使用该符合级别。

例如，假定存在持续30分钟的体育画面。一旦将关键字“重要(Importance)”预先附加给画面的重要部分(画面段)，则当创建该体育画面的摘要时，能够通过仅组合附加有“重要”的时间段来方便地创建摘要画面。

然而，摘要画面的时间是附加有“重要”的时间之和。因此，上述创建摘要画面的方法不能响应例如将摘要画面的持续时间设为3分钟或1分钟的请求。

在这种情况下，如果将符合级别附加给关键字“重要”，则能够通过以符合级别的降序相加时间段来响应前述指定摘要画面持续时间的请求。

例如，假定根据重要度使用以0.1为增量的从1.0到0.1的十个级别作为符合级别，并且将其附加给画面。当请求一分钟摘要时，首先相加附加有1.0的符合级别的时间段。如果总时间少于1分钟，则进一步相加符合级别为0.9的时间段。这样，通过以符合级别的降序附加追加时间段，能够创建摘要画面以进一步接近于所需的1分钟。

当然，当再现摘要画面时，能够通过以时间顺序再现相应时间段来以一致的时间顺序再现摘要。

附加关键字的创作程序的一个例子在“Development of MPEG-7Application”(Poineer R&D Vol.11 No.2(September 2001)page 27)中有描述。如同该例子一样，在传统创作程序中，存在有关被设计用于让用户直接输入数值和字符到每个场景以输入索引信息的GUI(图形用户界面)的提案。

然而，根据使用传统创作程序的方法，即使能够将关键字和符合级别附加给作为画面时间段的场景，也不可能直观地或可视地掌握将关键字和符合级别附加给相应场景的结果。因此，对于检查在相应场景中附加关键字和符合级别的结果，也就是，检查如何将关键字和符合级别附加给整个画面，没有给予考虑。

因此，难以弄清符合级别在相应场景中是否以均衡方式附加或者高符合级别附加给哪个部分等等，从而能够想象将会导致需要大量时间来执行创作操作。

而且，由于每次都需要将关键字和符合级别手工输入到每个场景，因此该操作是费时的。

发明内容

本发明要解决的技术问题是，改善将关键字和符合级别附加给画面场景的可操作性，并且能够可视地检查附加关键字和符合级别的情况。

根据本发明的一个方面，提供一种创作装置，包括：获得部件，获得表示将运动图像文件划分成预定段的多个场景的标识符；显示部件，将由所述获得部件获得的所述标识符配置和显示在时间轴与表示对于预定关键字的场景的重要度的符合级别的轴相交的矩阵平面上，并以将表示所述场景的重要度的符合级别附加给所述多个场景的每个场景的状态来显示；GUI处理部件，当配置在所述矩阵平面上的所述标识符在所述矩阵平面上移动时，确定与所述标识符移动了的位置相对应的表示场景的重要度的所述符合级别作为对于该场景的所述预定关键字的所述符合级别，以及元数据编辑部件，输出元数据，所述元数据为对与所述移动的标识符相对应的所述场景附加了由所述GUI处理部件确定了的、表示对于所述预定关键字的场景的重要度的所述符合级别而生成的元数据。

由此能够在矩阵平面上对场景输入关键字和符合级别，从而能够改善将关键字和符合级别附加给场景的可操作性，并且可视地检查关键字和符合级别的附加情况。

附图说明

图1是根据本发明实施例1的创作装置的方框图；

图2是根据实施例1的元数据的结构图；

图3示出根据实施例1的使用XML的元数据文件；

图4示出根据实施例1的GUI的结构；

图5是根据实施例1的创作装置的创作处理的流程图；

图6是由根据实施例1的创作装置再现摘要画面的流程图；

图7是由根据实施例1的创作处理装置显示摘要画面总时间的流程图；

图8是由根据实施例1的创作装置进行场景长度调整的流程图；

图9是根据实施例1的场景时间接管(takeover)的概念图；

图10示出根据本发明实施例2的GUI的结构；以及

图11是根据实施例2的创作装置的创作处理的流程图。

具体实施方式

(实施例1)

下面将参照附图说明本发明的实施例1。首先，将说明根据实施例1的创作装置的结构。图1是根据实施例1的创作装置的方框图。

根据实施例1的创作装置100包括执行各种创作处理的创作处理部件101。

创作装置100包括运动图像文件输入部件113，作为用来输入要由创作处理部件101进行创作的运动图像文件的装置。

运动图像文件输入部件113可以是例如视频摄像机、存储运动图像文件的存储介质如CD和DVD，或者通过广播或通信发布运动图像的装置等。

而且，创作装置100包括存储部件102，其存储由创作处理部件101使用的各种信息。存储部件102可以是包括在创作装置100中的盘等，或者可以是诸如外部服务器的存储介质。

存储部件102存储从运动图像文件输入部件113输入的、要经过创作的运动图像文件103。存储部件102还存储作为创作结果而创建的索引信息，即元数据104。在此，存储部件102可以按照运动图像文件103和元数据104保存在不同存储介质中的模式或者将它们存储在相同存储介质中的模式来构造。

在此，将使用图2来说明元数据104。图2是根据实施例1的元数据的结构图。

如图2所示，元数据作为在纵轴上描述时间201、在横轴上描述多个关键字202，并且在时间201和关键字202相交的位置描述符合级别203的表来存储。

而且，纵轴上的时间201分成场景。在图2的例子中，纵轴以时间201表示，但是它也可以简单地以场景号表示。

而且，提出了各种用于将元数据表转换成文件的方法，但是本实施例采用基于MPEG7标准的XML。

在此，将利用图3说明采用XML转换成文件的元数据。图3示出根据实施例1的采用XML的元数据文件。图3对应于图2所示的表，但是为说明简单起见，它仅描述了图2所示的表内的各时间段中的时间段0:31到0:36以及0:39到0:48。

图3所示的XML文件描述两个段204a和204b。如图中的标号205a和205b所示，这两个段204a和204b描述了与图2所示的段0:31到0:36以及0:39到0:48相对应的时间信息。而且，如图中的附图标记206a和206b所示，在PointOfView字段中描述了图2所示的关键字“射门(SHOOT)”和“重要(Importance)”。而且，如图中的附图标记207a和207b所示，这两个段204a和204b描述了与关键字“射门”和“重要”相对应的符合级别(Importance)。

因此，通过以XML描述元数据，能够使元数据具有通用性。

在此，也可以采用SGML作为置标描述语言。而且，也可以采用不同于置标描述语言的任何语言作为元数据模式(scheme)。

在此，再次参照图1，将进一步说明创作装置100。

创作装置100包括：显示部件105，显示创作处理部件101的处理结果；以及操作部件106，用于向创作处理部件101输入各种信息。操作部件106可以由键盘和鼠标等构成。

然后，将说明创作处理部件101的结构。创作处理部件101包括输入处理部件107，接受从操作部件106输入的用户创作操作信息。

而且，创作处理部件101包括帧提取部件108。帧提取部件108在用户的创作操作之前读取目标运动图像文件103，并且执行场景分段。场景分段可以按诸如10秒单元的时间单元实现，或者通过在构成活动画面的每个帧图像之前和之后比较并检测图像变得不连续的点即“切割点(cut)”实现，其中这些点可以用作分段点。

而且，在使用上述技术执行场景分段之后，帧提取部件108提取各个场景的代表性帧图像。该代表性帧图像可以是每个场景的第一帧图像，或者可以是位于时间分段中央的帧图像。近年来，还开发了使用图像特征识别技术提取包括特征图像(如面部)的帧图像作为代表性帧图像的技术，从而也可以使用该技术。

创作处理部件101还包括运动图像再现部件109，其读取和再现运动图像文件103。而且，运动图像再现部件109还再现摘要画面。

而且，创作处理部件101包括GUI处理部件110，将从帧提取部件108提取的帧图像组合到用于创作的GUI(图形用户界面)中。GUI处理部件110在GUI中反映从输入处理部件107输入的内容，并且将该内容发送到输出处理部件111。GUI处理部件110还生成摘要画面。

输出处理部件111将GUI输出到显示部件105，并且显示部件105向用户显示GUI。

而且，创作处理部件101包括元数据编辑部件112，将关键字和符合级别与每个场景相关联，并且更新存储部件102中的元数据104。

然后，将说明由GUI处理部件110组合的创作GUI。

根据本实施例的GUI的特征在于，用户在其横轴表示时间线且其纵轴表示对于预定关键字的符合级别的矩阵平面上配置表示画面场景的标识符(代表性帧图像)，以确定对于特定关键字的画面场景的符合级别。

下面将利用图4说明由GUI处理部件110组合的创作GUI。图4示出根据实施例1的GUI的结构。

创作GUI 301的主窗口302是横轴表示时间且纵轴表示符合级别的矩阵平面。

而且，主窗口302将从运动图像文件103提取的场景的代表性帧图像(场景帧图像)303a到303d配置在对应于其各自时间的位置上。这些场景帧图像303a到303d以每个画面场景一个的方式提供。

而且，在创作GUI 301的主窗口302的顶部提供了指定要附加给每个场景的关键字的关键字窗口304。用户可以从包括准备好的关键字的关键字列表中选择一个关键字，或者可以直接输入一个关键字。

而且，在主窗口302左侧的垂直方向上以升序描述了多个符合级别305a到305d。而且，在符合级别305a到305d的紧邻上方描述了使用相应符合级别305a到305d创建摘要画面时的总时间306a到306d。

而且，在符合级别305a到305d的上方配置了用来再现使用其各自的符合级别305a到305d创建的摘要画面的播放按钮307a到307d，以及停止按钮308a到308d。

而且，在场景帧图像303a到303d的下方示出了表示与场景帧图像303a到303d相对应的场景长度的时间条309a到309d。

而且，在主窗口302的底部显示了表示时间条309a到309d的时间比例的时间比例310。时间条309a到309d由基于时间比例310的时间条长度来表达。

通过设置这些时间条309a到309d能够可视地掌握每个场景的长度，并且使得更易于通过指定符合级别305a到305d来操作再现时间。

而且，这些时间条309a到309d是有用的，因为当调整符合级别305a到305d的每个总时间306a到306d时或者当改变每个场景的符合级别时，利用这些时间条能够估计符合级别305a到305d的每个总时间306a到306d。而且，这些时间条309a到309d是有用的，还因为当在场景之间均衡场景长度时，利用它们能够直观地掌握每个场景的长度。

在此，如果时间条309a到309d的场景比例清楚，则它们的位置不限于场景帧图像303a到303d之下的位置，而可以位于上、下、左或右的任何位置。

而且，场景间隔输入部件311置于主窗口302的顶部，以输入用来当以预定间隔划分场景而不是在切割点划分它时划分场景的时间间隔。由此，用户通过输入期望间隔能够创建期望长度的场景。这防止了在运动图像具有极少切割点的情况下场景长度变得太长。

GUI 301还包括分割窗口312，用来将场景分成期望长度。分割窗口312包括：再现所选场景的播放按钮313；倒退并再现帧的帧倒退按钮314；再现帧的帧播放按钮315；显示静止图像的暂停按钮316；以及在场景当前正被再现的位置上分割场景的分割按钮317。

当用户想要分割期望场景时，用户通过单击它来选择期望场景，然后使用各个按钮313到316再现该场景，检测期望位置，并且按下分割按钮317，从而能够分割该场景。

然后，将利用图5说明伴随用户创作操作的创作装置100的处理流程。图5是根据实施例1的创作装置的创作处理的流程图。

首先，创作装置100参考存储部件102的运动图像文件103，并且在显示部件105上显示运动图像文件的列表。然后，当用户通过对操作部件106进行操作来选择一个运动图像文件作为创作目标时，输入处理部件107将运动图像文件103的选择信息发送到GUI处理部件110。然后，GUI处理部件110将该选择信息发送到帧提取部件108。

然后，帧提取部件108读取用户所选的运动图像文件103(ST401)。然后，帧提取部件108将读取的运动图像文件103以特定时间间隔划分，并且提取场景帧图像(ST402)。然后，帧提取部件108将所提取的场景帧图像发送到GUI处理部件110。

然后，GUI处理部件110生成主窗口302，并且在主窗口302的预定位置上配置由帧提取部件108提取的场景帧图像，并且将该场景帧图像发送到输出处理部件111。然后，输出处理部件111显示主窗口302，其中这些场景帧图像配置在显示部件105的预定位置上了(ST403)。

将详细说明ST403中的处理。GUI处理部件110首先按照时间次序从左到右将多个场景帧图像303a到303d排列在主窗口302上。然后，GUI处理部件110将所有场景帧图像303a到303d配置在纵轴上的符合级别0的位置。因此，在创作操作之前的状态下，场景帧图像303a到303d以时间轴方向的时间次序排列在符合级别0的列上。

当场景帧图像303a到303d已经附加有它们的符合级别时，也可以将场景帧图像303a到303d配置在与附加给场景帧图像303a到303d的符合级别相对应的位置上。

然后，用户通过对操作部件106进行操作来在关键字窗口304中指定一个关键字。然后，用户拖放场景帧图像303a到303d以在垂直方向上移动它们，并且根据所输入的关键字将它们置于适当的符合级别(符合程度)。

相对与此，输入处理部件107将与用户输入的关键字和所配置的场景帧图像303a到303d相对应的符合级别输入到GUI处理部件110(ST404)。然后，GUI处理部件110将所输入的关键字和场景帧图像303a到303d相对应的符合级别发送到元数据编辑部件112。

元数据编辑部件112将符合级别与对应于场景帧图像303a到303d的场景的关键字相关联，并且在诸如系统RAM的存储部件中临时存储创作操作内容(ST405)。

在这个模式下，对于元数据104的更新信息，元数据编辑部件112在诸如系统RAM的存储部件中临时存储创作操作内容，并且在完成创作操作之后更新所有元数据104，但是元数据104也可以在创作操作期间实时更新。

然后，创作装置100对于用户输入的每一个关键字，重复ST404和ST405中的处理(ST406)。

这样，可以将多个关键字附加给一个场景。

然后，在完成创作操作之后，当用户选择将元数据104保存在与各自的场景帧图像303a到303d相对应的场景(文件)中(ST407)时，元数据编辑部件112保存所存储的元数据作为场景信息(ST408)，并且完成处理。

这样，能够不通过传统的数值直接输入而是在主窗口302中通过对场景帧图像的拖放操作来附加与运动图像文件的每个场景相对应的关键字和符合级别。由此能够显著改善可操作性。

而且，用户看一眼便能够可视地掌握附加给各个场景的符合级别值。这改善了掌握总体情况和修改符合级别的效率。

然后，将利用图6说明由根据实施例1的创作装置100使用元数据再现摘要画面。图6是由根据实施例1的创作装置再现摘要画面的流程图。

当用户想要从例如三小时体育运动图像文件中仅观看重要场景的摘要时，摘要画面的再现是使用前述方法创建的元数据从该运动图像文件中生成和再现期望摘要的操作。或者，摘要画面的再现也可以按照对下面将要说明的处理进行编程并且计算机读取并执行该程序的模式来执行。

首先，创作装置100的运动图像再现部件109确认存在用户指定的运动图像文件103，读取该指定的运动图像文件103，并且将它输入到GUI处理部件110(ST501)。

然后，创作装置100的元数据编辑部件112检索和读取与运动图像文件103相关联的元数据104，并且将该元数据输入到GUI处理部件110(ST502)。

然后，GUI处理部件110生成主窗口302(GUI屏幕)，通过输出处理部件111将它发送到显示部件105，并且显示部件105显示主窗口302(ST503)。

从ST501到503的次序可以改变。

然后，当观看主窗口302的用户通过对操作部件106进行操作来输入符合级别和关键字时，GUI处理部件110将在ST501由用户指定的运动图像文件的场景帧图像配置在主窗口302中与所输入关键字的符合级别相对应的位置上。

这样，用户能够可视地识别以各个符合级别配置的场景。

然后，当用户观看主窗口302并且按下对应于期望符合级别的播放按钮307a到307d时，输入处理部件107将被按下的播放按钮307a到307d的符合级别和关键字输入到GUI处理部件110(ST504)。

下一步，GUI处理部件110检索在ST502读取的元数据104(ST505)，提取其符合级别等于或高于用户指定关键字的符合级别的场景帧图像，并且创建所提取场景帧图像的列表(ST506)。然后，参考在ST506创建出的列表，GUI处理部件110连续再现与该列表相对应的运动图像文件(场景)103(ST507)。

这样，使用元数据创建与用户指定的关键字和符合级别相对应的摘要画面。

然而，用户仅仅指定符合级别不一定能够获得期望再现时间的摘要画面。对用户来说，最好获得适当再现时间的摘要画面。例如，如果当指定了符合级别3305a时能够固定地获得30秒摘要，当指定了符合级别2305b时能够固定地获得1分钟摘要，而当指定了符合级别1305c时能够固定地获得2分钟摘要，则用户能够根据用户自由时间来观看画面。

为了实现该服务，有必要在创作操作的时间点以使每个符合级别的再现时间变得适当的方式来创建索引信息(元数据)。

为此，根据实施例1，如图4所示，当使用每个符合级别305a到305d创建摘要画面时显示每个总时间306a到306d。由此，用户能够在执行创作操作的同时掌握与所指定的符合级别相对应的再现时间的长度。

而且，通过采用其符合级别等于或高于每个符合级别305a到305d的场景的总时间306a到306d，能够保证与用户所用场景的一致性，并且还提高方便性。然而，总时间306a到306d也可以是具有相同符合级别305a到305d的场景的总时间。

然后，将利用图7说明由GUI处理部件110显示摘要画面的总时间306a到306d的处理。图7是由根据实施例1的创作装置100显示摘要画面总时间的流程图。

首先，帧提取部件108读取用户所选的运动图像文件103(ST601)。然后，帧提取部件108将读取的运动图像文件以场景的特定时间划分，提取场景帧图像，并且将它们输入到GUI处理部件110(ST602)。

此时，GUI处理部件110识别每个场景的长度，并且通过输出处理部件111将GUI 301、时间条309a到309d以及时间比例310输出到显示部件105。然后，显示部件105在主窗口302上显示时间条309a到309d以及时间比例310。

然后，GUI处理部件110计算包括在各个符合级别305a到305d中的场景的总时间306a到306d，通过输出处理部件111将计算结果输出到显示部件105，并且显示部件105在GUI 301上显示总时间306a到306d(ST603)。

然后，为了更新关键字和符合级别，当用户输入新关键字并且上下拖放场景帧图像303a到303d时，输入处理部件107将与关键字和场景帧图像303a到303d所配置的位置相对应的符合级别305a到305d输入到GUI处理部件110(ST604)。

然后，GUI处理部件110将场景帧图像303a到303d的关键字和符合级别更改为所输入的关键字和符合级别，从而更新场景帧图像303a到303d的索引信息(ST605)。

此时，GUI处理部件110重新计算并显示各个改变符合级别305a到305d的总时间306a到306d(ST606)。

而且，当用户输入另一个关键字时，GUI处理部件110重复从ST604到ST606的处理(ST607)。

然后，在完成创作操作之后，当用户选择将更新场景信息保存在与各个场景帧图像303a到303d相对应的场景(文件)中时(ST608)，元数据编辑部件112保存所存储的场景信息(ST609)，并且完成处理。

然后，将说明由创作装置100调整每个场景的长度。如利用图5的流程图所述，当读取运动图像文件时，根据实施例1的创作装置100通过将运动图像文件自动分成多个时间段来创建多个场景。分割方法可以是以特定时间间隔如10秒的分割或者在场景改变点的分割。

然而，从时间调整的角度和内容足够性的角度，场景的开始和结束点最好可由执行创作操作的人来改变。例如，当足球赛画面的一个进球场景分成多个场景时，切割点检测或以10秒间隔的分割可能导致诸如场景伴随有不必要图像或者相反图像变少的麻烦。

场景的开始和结束点可以通过直接编辑时间信息来调整，但是使用该创作装置100能够更高效地执行该操作。

在实施例1的创作装置100中，通过将特定场景帧图像拖放至位于该场景帧图像之前或之后的另一个场景帧图像来组合两个场景。因此，能够在主窗口302中容易地组合场景。

而且，单击场景帧图像导致从头到尾地再现场景。

而且，在该创作装置100中，只要用户再现预定场景，就出现分割窗口312，其中具有播放按钮313、帧倒退按钮314、帧播放按钮315、显示静止图像的暂停按钮316以及分割按钮317。然后，当用户使用暂停按钮316在期望位置上暂停场景，使用帧倒退按钮314和帧播放按钮315进一步定位和调整场景并且按下分割按钮317时，一个场景分成两个部分。该GUI结构能够容易地使用诸如java(R)的编程语言来开发。

这使得能够在主窗口302中再现画面场景的同时检测期望的切割点，并且简单地分割该画面场景。

另一方面，当需要为如图5中的ST406所示的多个关键字调整一个场景的开始和结束点时，为每个关键字调整该场景的开始和结束点是费时的。

注意到即使是不同的关键字也频繁地具有相同场景开始和结束点这一事实，本实施例以如下方式配置，即一旦调整了特定关键字的时间分段然后调整另一个关键字的时间分段，则为前一关键字调整的时间分段可以被后一关键字接管(take over)。

例如，足球赛中的进球场景是得分的射门场景之一，并且经常具有相同的时间段开始或结束点，因此，如果为射门编辑的时间分段被进球的编辑接管，则无需再次执行相同的编辑操作，这改善了操作效率。

下面将利用图8和图9说明由创作装置100对每个场景的长度调整。图8是根据实施例1的创作装置进行场景长度调整的流程图，并且图9是根据实施例1的场景时间接管的概念图。

当开始调整场景长度时，创作装置100的GUI处理部件110首先选择与画面相关联的关键字(ST701)。然后，GUI处理部件110在ST701判定是否首次对所选关键字执行场景长度调整操作(ST702)。

然后，当在ST702判定不是首次对在ST701选择的关键字执行场景长度调整处理时，GUI处理部件110读取先前为该关键字调整的时间信息(ST703)。

然后，GUI处理部件110显示反映先前对该关键字进行了时间调整的元数据的GUI 301(ST704)。也就是，GUI处理部件110在主窗口302中排列先前对该关键字进行了时间调整的场景。

然后，当用户在观看在ST704显示的GUI 301的同时操作分割窗口312以调整每个场景的开始和结束点时，GUI处理部件110使用由用户调整的信息，执行每个场景的时间调整(ST705)。

然后，当存在尚未处理的关键字，并且继续将符合级别附加给其他关键字(ST706)时，GUI处理部件110返回到ST701中的处理。

另一方面，当在ST702判定首次对在ST701选择的关键字执行时间调整处理时，GUI处理部件110判定是否存在对其他关键字进行了时间调整的任何时间数据(ST707)。

然后，当在ST707判定不存在对其他关键字进行了时间调整的时间数据时，GUI处理部件110移至ST704，并且如图5所示执行符合级别的正常附加。

另一方面，当在ST707判定存在先前对其他关键字进行了时间调整的时间数据时，存在有关对该关键字执行的最后操作的时间数据，因此GUI处理部件110对最后操作的该关键字执行时间数据接管处理(ST708)，并且移至ST704的处理。

然后，将利用图9说明ST708中的时间数据接管处理。以附图标记901表示的图示出由GUI处理部件110自动经过切割点检测和分段的场景的时间分段。

在采用第一关键字的创作操作中，如图中的901所示自动检测的场景的时间分段如图中的902所示被接管。在本例中，假定第一关键字为“射门”。

然后，用户移至符合“射门”的场景的开始/结束时间，并且对符合级别执行调整处理。在本例中，用户将符合“射门”的场景的开始/结束时间修改成图中的903所示的开始/结束时间，并且指定时间0:15到0:30以及1:00到1:30为符合级别1。

然后，用户执行对其他关键字附加开始/结束时间和符合级别的操作。在本例中，用户执行对关键字“进球”附加开始/结束时间和符合级别的操作。在这种情况下，根据本实施例，由903表示的开始/结束时间被接管，并且设置图中的904所示的开始/结束时间。

然后，根据图中的904所示的开始时间信息，用户对另一个关键字(“进球”)执行开始/结束时间和符合级别的编辑。在本例中，如图中的905所示，将符合级别1附加给1:15到1:30。

因此，当将符合级别附加给多个关键字时，通过接管前面关键字的时间段来改善操作效率。

如上所述，根据实施例1，通过设置预定关键字、显示横轴表示时间轴且纵轴表示符合级别的矩阵平面、并且将配置在该矩阵平面上的表示画面场景的场景帧图像配置在期望位置上，能够对画面场景的特定关键字确定符合级别。而且，由于可以通过考虑时间顺序来可视地、容易地掌握画面场景的符合级别的状态，因此能够通过简单操作来分布符合级别。这改善了创作操作的效率。

而且，根据实施例1，当连续确定多个不同关键字的符合级别时，当前操作的关键字的画面场景的分段能够接管最后一次操作的关键字的前面分段。这消除了对时间轴的冗余分段操作的需要，从而改善了创作操作的效率。

而且，根据实施例1，能够显示每个符合级别的画面场景总时间。由此能够可视地掌握画面场景的总时间，并且在识别总时间长度并且确定符合级别的分布的同时附加该符合级别。这改善了创作操作的效率。

而且，使用从运动图像提取的场景帧图像作为要配置在由时间轴和符合级别组成的矩阵平面(主窗口302)上的画面场景的标识符，实施例1能够从场景帧图像中确定画面场景的内容。

在此，标识符不一定限于场景帧图像。例如，还可以使用诸如场景帧的场景帧ID以及颜色、形状或者内容的特征作为标识符来代替场景帧图像。

而且，实施例1是采用对运动图像文件进行创作的例子来说明的，但是本发明对于仅由语音组成的文件也是有效的。也就是，当代替场景帧图像而配置可识别文件中的哪一部分的信息，如语音特征和序列号ID时，可获得类似于运动图像文件的创作操作。

而且，实施例1描述了将场景的符合级别附加给关键字，但是也可以采用符合级别不仅可以根据所谓的关键字而且可以根据其他信息来附加的模式。例如，创作处理也可以针对各种类型的信息如表演者、制片人和日期等附加符合级别。

而且，由根据实施例1的创作处理部件101执行的处理可以被编程，并且该程序可以由计算机执行。这样，根据实施例1的创作处理部件101能够由通用计算机实现。在这种情况下，使用诸如JAVA(R)的编程语言即可，并且GUI各部分的编程技术是公知的。

而且，还可以将关键字和符合级别分层附加给每个场景。例如，可以提供关键字之间的分层结构，例如在关键字“射门”之下设置关键字“进球”，并且附加这些关键字。

而且，实施例1描述了针对一个文件使用期望关键字和符合级别来创建摘要画面的模式，但是也可以采用通过同时针对多个文件使用期望关键字和符合级别来使用多个文件创建摘要画面的模式。

而且，创作装置100也可符合于个人计算机(视频编辑装置)、独立(HDD)视频录像机(家庭服务器)、便携式视频摄像机等。

当创作装置100应用于(1)个人计算机时，使用液晶显示器或CRT等作为显示部件105，使用鼠标和键盘等作为操作部件106，使用硬盘或服务器等作为存储部件102，并且使用CD驱动器、DVD驱动器或网络等作为运动图像文件输入部件113。

当创作装置100应用于(2)独立(HDD)视频录像机(家庭服务器)时，使用电视、液晶面板等作为显示部件105，使用主按钮、遥控器等作为操作部件106，使用硬盘、DVD-RAM等作为存储部件102，并且使用广播、DVD驱动器、网络等作为运动图像文件输入部件113。

当创作装置100应用于(3)便携式视频摄像机时，使用液晶监视器等作为显示部件105，使用主按钮或遥控器等作为操作部件106，使用盒式录像带、DVD-RAM或存储卡等作为存储部件102，并且使用CCD摄像机等作为运动图像文件输入部件113。

实施例1已被说明为具有这样一种结构，其中GUI处理部件110具有显示控制部件的功能和符合级别确定部件的功能，显示控制部件在作为矩阵平面的主窗口302上配置和显示场景帧图像303a到303d，这些场景帧图像303a到303d是表示通过将运动图像文件分成预定段而获得的场景的标识符，并且当移动配置在主窗口302中的场景帧图像303a到303d的位置时，符合级别确定部件确定与所移动场景帧图像303a到303d的位置相对应的符合级别作为与所移动场景帧图像303a到303d相对应的场景的符合级别，但是也可以采用显示控制部件和符合级别确定部件作为专用处理部件单独提供的结构。

(实施例2)

本发明的实施例2能够在观看画面的同时实时地将关键字附加给画面的预定分段。实施例2还能够同时将对于多个不同关键字的符合级别附加给画面。

下面将说明根据实施例2的创作装置。根据实施例2的创作装置的结构与实施例1相同，因此将省略其说明。

然后，实施例2的GUI如图10所示，并且将说明实施例2的GUI的特征。图10示出根据实施例2的GUI的结构。

运动图像再现窗口1003置于根据实施例2的GUI 1001的主窗口1002的顶部中央。

而且，运动图像控制面板1004置于运动图像再现窗口1003的紧邻下方。

运动图像控制面板1004包括：在运动图像再现窗口1003中再现运动图像的播放按钮1005；停止运动图像的停止按钮1006；倒退运动图像帧的帧倒退按钮1007；前进运动图像帧的帧前进按钮1008；以及暂停运动图像的暂停按钮1009，从而能够控制要进行创作的运动图像的再现。

而且，列出要用于创作的关键字的关键字表1010置于主窗口1002的运动图像再现窗口1003的右侧。关键字表1010包括多个关键字区域1011a到1011e，以设置多个关键字。

在该图的例子中，设置了诸如“进球”、“射门”、“犯规”和“重要”的关键字作为各个区域1011a到1011e中的关键字。而且，关键字表1010的关键字区域1011a到1011e经过颜色编码。

而且，开始将关键字附加给在运动图像再现窗口1003中正在再现的运动图像的开始按钮1012a到1012e，以及停止附加关键字的停止按钮1013a到1013e配置在关键字表1010的关键字区域1011a到1011e的右侧。

而且，在主窗口1002的下部，配置了纵轴为对于关键字的符合级别且横轴为时间轴的矩阵平面1014。

在矩阵平面1014上，当通过创作操作对关键字表1010进行操作并且附加关键字时，作为表示关键字附加的标识符的时间条1015a到1015d配置在矩阵平面1014的相应时间位置上。而且，时间条1015a到1015d的颜色对应于关键字区域1011a到1011e的颜色。而且，时间条1015a到1015d的长度与实际画面的长度成正比。

而且，在矩阵平面1014左侧的垂直方向上，以升序描述了多个符合级别1016a到1016d。

而且，在接近于符合级别1016a到1016d的右侧，描述了包括在其各自符合级别1016a到1016d中的画面的总时间1017a到1017d。

而且，用来再现使用各自的符合级别1016a到1016d创建的摘要画面的播放按钮1018a到1018d以及停止按钮1019a到1019d配置在符合级别1016a到1016d的上方。

然后，将利用图10和图11说明根据实施例2的创作装置的操作。图11是根据实施例2的创作装置的创作处理的流程图。

首先，当用户从运动图像文件103选择一个画面文件并且按下播放按钮1005时，运动图像再现部件109读取所选画面文件(ST1101)，并且在运动图像再现窗口1003中再现所读取的画面(ST1102)。

然后，当用户从关键字表1010的关键字区域1011a到1011e中选择任何一个关键字(ST1103)，并且按下开始按钮1012a到1012e以及停止按钮1013a到1013e时，GUI处理部件110将用户选择的关键字设到与用户按下开始按钮1012a到1012e和停止按钮1013a到1013e相对应的时间(ST1104)。

然后，GUI处理部件110在矩阵平面1014上绘制其颜色对应于用户所选关键字区域1011a到1011e的时间条1015a到1015d。

这样，由于用户所选关键字和所显示的时间条1015a到1015d具有相同的颜色，因此看一眼便可识别哪个关键字对应于哪个时间条1015a到1015d。

而且，时间条1015a到1015d按照与在用户按下开始按钮1012a到1012e之后直到用户按下停止按钮1013a到1013e为止的各自持续时间相对应的长度来显示，因此看一眼即可识别关键字与哪个时间分段相关联。

然后，如同在实施例1的情况下，当用户在矩阵平面1014上上下拖放所显示的时间条1015a到1015d以设置符合级别1016a到1016d(ST1105)时，GUI处理部件110将符合级别1016a到1016d与用户设置的时间条1015a到1015d相关联。

而且，当用户在同一时间段内选择多个关键字时，时间条1015a到1015d相互重叠，并且变得难以相互区分，因此对于每个关键字，在矩阵的垂直方向上相互偏移地配置时间条1015a到1015d，以防止它们相互重叠。

当用户进一步输入另一个关键字时，GUI处理部件110重复从ST1103到ST1105的处理(ST1106)。

然后，当完成创作操作时，如果用户选择保存如上所示编辑的信息(ST1107)，则元数据编辑部件112保存所编辑的场景信息(ST1108)，并且完成处理。

如上所述，根据实施例2，能够在GUI 1001上显示通过创作操作附加且经过颜色编码的多个关键字，并且还在矩阵平面1014上配置在颜色上对应于用户所选关键字的时间条。由此，能够同时将符合级别附加给多个不同关键字。

而且，根据实施例2，能够在矩阵平面1014上配置在颜色上与要通过创作操作附加的关键字相对应的时间条，因此用户能够可视地识别时间条与关键字之间的对应关系，并且容易地掌握操作情况，这改善了操作效率。

而且，根据实施例2，用户能够通过在观看画面的同时按下开始按钮1012和停止按钮1013来实时地将预定关键字附加给画面的预定段(画面场景)。用户还能够在矩阵平面上识别作为画面场景标识符的时间条的同时附加符合级别。

在实施例2中，使用颜色来表示与关键字的关系，但是颜色不是唯一的手段。例如，代替诸如红、蓝和白的颜色，可以使用诸如阴影、半色调的单色图案。

而且，时间条的形状可以是诸如波浪线和双重线的图案而不是矩形，并且这些图形图案可以与关键字相关联。

本申请基于2002年5月31日提交的日本专利申请No.2002-160528，在此将其全文引作参考。

工业实用性

如上所述，本发明在纵轴为符合级别且横轴为时间的平面上显示对应于画面场景的标识符，在该平面上操作这些标识符，并且能够将关键字和对应于这些关键字的符合级别附加给画面场景，从而能够改善附加画面场景的关键字和符合级别的可操作性，并且可视地确认关键字和符合级别的附加情况。

Claims (17)

1.一种创作装置，包括：

获得部件，获得表示将运动图像文件划分成预定段的多个场景的标识符；

显示部件，将由所述获得部件获得的所述标识符配置和显示在时间轴与表示对于预定关键字的场景的重要度的符合级别的轴相交的矩阵平面上，并以将表示所述场景的重要度的符合级别附加给所述多个场景的每个场景的状态来显示；

GUI处理部件，当配置在所述矩阵平面上的所述标识符在所述矩阵平面上移动时，确定与所述标识符移动了的位置相对应的表示场景的重要度的所述符合级别作为对于该场景的所述预定关键字的所述符合级别，以及

元数据编辑部件，输出元数据，所述元数据为对与所述移动的标识符相对应的所述场景附加了由所述GUI处理部件确定了的、表示对于所述预定关键字的场景的重要度的所述符合级别而生成的元数据。

2.根据权利要求1所述的创作装置，其中所述符合级别被附加给所述标识符时，所述显示控制部件将所述标识符显示在对应于附加有所述符合级别的所述矩阵平面上的位置上。

3.根据权利要求1所述的创作装置，还包括输入所述关键字的操作部件，其中所述显示部件显示时间轴与对于从所述操作部件输入的所述关键字的符合级别相交的矩阵平面，并且所述GUI处理部件为所述标识符确定对于所输入的所述关键字的符合级别。

4.根据权利要求1所述的创作装置，其中所述GUI处理部件在对应于所述场景的所述标识符的附近显示表示所述场景的长度的信息。

5.根据权利要求1所述的创作装置，其中所述GUI处理部件在所述矩阵平面上显示通过组合其级别等于或高于预定的所述符合级别的所述场景而获得的摘要画面的总时间。

6.根据权利要求1所述的创作装置，其中当用户执行组合配置在所述矩阵平面上的多个所述标识符的处理时，所述GUI处理部件组合与所述被组合标识符相对应的所述场景，并且创建新场景。

7.根据权利要求1所述的创作装置，其中，当用户再现与配置在所述矩阵平面上的所述标识符相对应的所述场景并且指示在预定位置分割所述场景时，所述GUI处理部件重新生成在所述预定位置分割了该场景的多个场景。

8.根据权利要求1所述的创作装置，其中当所述GUI处理部件为对应于所述预定关键字而分割为预定单元的所述场景确定对于所述预定关键字的所述符合级别，然后为该场景确定对于另一个关键字的符合级别时，每个场景接管对应于所述预定关键字的场景的分割单元。

9.根据权利要求1所述的创作装置，其中所述标识符是表示所述场景的特征的代表性帧图像。

10.根据权利要求1所述的创作装置，其中所述元数据根据MPEG7标准来创建。

11.一种创作装置，包括：

获得部件，获得表示将运动图像文件划分成预定段的多个场景的标识符；

矩阵显示部件，将由所述获得部件获得的所述标识符配置和显示在时间轴与表示对于预定关键字的的场景的重要度的符合级别的轴相交的矩阵平面上，并以将表示所述场景的重要度的符合级别附加给所述多个场景的每个场景的状态来显示；

运动图像再现部件，再现运动图像文件；

关键字显示部件，显示由多个关键字构成的列表；

关键字选择部件，从所述多个关键字中选择预定关键字；

关键字开始部件，开始将所述预定关键字附加给所述运动图像文件；

关键字停止部件，停止将所述预定关键字附加给所述运动图像文件；

关键字附加部件，当在再现所述运动图像文件期间存在来自所述关键字开始部件和所述关键字停止部件的输入时，将与来自所述关键字开始部件的输入和来自所述关键字停止部件的输入之间的段相对应的所述运动图像文件转换成场景，并且将所述预定关键字附加给所述场景；

GUI处理部件，在所述矩阵平面上配置和显示表示所述场景的标识符，并且当配置在所述矩阵平面上的所述标识符在所述矩阵平面上移动时，确定与所述标识符移动的位置相对应的表示场景的重要度的所述符合级别作为与对于该场景的所述预定关键字的所述符合级别，以及

元数据编辑部件，输出元数据，所述元数据为对与所述移动的标识符相对应的所述场景附加了由所述GUI处理部件确定了的、表示对于所述预定关键字的场景的重要度的所述符合级别而生成的元数据。

12.根据权利要求11所述的创作装置，其中所述标识符的长度是与所述场景的长度相对应的长度。

13.根据权利要求11所述的创作装置，其中所述关键字显示部件按照随着关键字而不同的颜色或者采用阴影显示关键字，并且按照用于所述对应关键字的颜色或者阴影显示模式显示所述标识符。

14.一种视频编辑设备，包括根据权利要求1所述的创作装置。

15.一种家庭服务器，包括根据权利要求1所述的创作装置。

16.一种视频摄像机，包括根据权利要求1所述的创作装置。

17.一种创作方法，包括：

获得表示将运动图像文件划分成预定段的多个场景的标识符；

将所述标识符配置和显示在时间轴与表示对于预定关键字的场景的重要度的符合级别的轴相交的矩阵平面上，并以将表示所述场景的重要度的符合级别附加给所述多个场景的每个场景的状态来显示；

当配置在所述矩阵平面上的所述标识符在所述矩阵平面上移动时，确定与所述标识符在所述矩阵平面上移动了的位置相对应的表示场景的重要度的所述符合级别作为对于该场景的所述预定关键字的所述符合级别，以及

输出元数据，所述元数据为对与所述移动了的标识符相对应的所述场景附加了确定了的、表示对于所述预定关键字的场景的重要度的所述符合级别而生成的元数据。

Images