CN101310516A - 关联装置 - Google Patents

Abstract

为每个视频资料输入备忘录信息，而不需要刻意与视频资料的关联。根据本发明的关联装置包括关联确定部分(40)，其通过使用关于输入的词的输入开始时间信息和关于拍摄的视频资料的拍摄时间信息，将词与图像资料相关联。

Description

关联装置

技术领域

本发明涉及用于将多个获取的数据项相互关联的关联装置。

背景技术

在产生节目的情况下，在例如广播站的节目产生的地点，预先准备并选择、或按顺序编辑编辑需要的视频资料，以提供具有预定持续时间的节目。为了准备视频资料，需要在例如工作室或室外场所的许多地方拍摄各种图像。例如，可通过超过200个拍摄的视频资料产生45分钟的节目。关键是对于无延迟地从大量拍摄的视频资料中检索希望的图像的有效的节目产生，即，减小检索视频资料所需的时间。

作为视频资料检索方法，存在一种典型的技术，其中摄影导演或他们的助理记录与视频资料的细节相关的备忘录信息，例如摄影的目标、和在摄影期间或之后与拍摄的资料相关联的摄影状态，并在编辑处理中基于备忘录信息来执行检索。

与备忘录信息相关联地记录所拍摄的资料，使得备忘录输入者必须添加拍摄资料识别信息，以在输入备忘录的同时识别备忘录信息所属的特定的拍摄资料。例如，在正在拍摄视频资料的同时输入了备忘录的情况下，备忘录输入者必须例如在监示器屏幕或在用于拍摄的相机的取景器上，显示并检查关于正在拍摄的资料的识别信息，并输入关于资料的识别信息作为备忘录，以便于在输入要记录的原始备忘录之前添加识别信息。这需要关于备忘录输入有关的很重的工作负担。在专利参考文件1中公开了能够以预定的字符串为单位存储并管理输入的字符的示例文档准备装置。

专利参考文件1：JP-A-8-185452，第3-8页，图2

发明内容

要解决的问题

考虑到相关的技术环境完成了本发明。本发明的一个目的是提供一种关联装置，其能够将备忘录与拍摄的资料相关联，而无需备忘录输入者在输入备忘录时显式地添加信息来识别对应于备忘录的视频资料，从而减少了资料检索时间而不增加备忘录输入的人工时间。

用于解决问题的部件

本发明提供一种关联装置，用于将相互关联多个获取的数据项，该关联装置包括关联确定部分，其通过使用关于输入的词的输入开始时间信息和关于拍摄的视频资料的拍摄时间信息，将输入的词与拍摄的视频资料相关联。

通过该配置，通过基于关于词的输入时间信息将词与视频资料相关联，将在拍摄视频资料时开始输入的词与视频资料相关联，作为关于视频资料的备忘录。就在词输入者以与手写相同的方式输入词时，输入的备忘录信息与每个相应的视频资料相关联，而不需要如相关技术一样刻意与视频资料关联。因此，可能将备忘录信息与每个视频资料相关联而不需要增加备忘录输入中的工作量，也就是，不需要备忘录输入者必须检查关于对应于备忘录的视频资料的识别信息、并且在输入备忘录的同时显式地输入识别信息。还可能通过使用备忘录信息作为搜索关键字来快速检索期望的视频资料。例如，在相关技术中，当要从200个视频资料中检索希望的视频资料时，基于拍摄的日期进行第一搜索以获得10-20个候选视频资料，并且查看所有选择的视频资料来检索希望的视频资料。通过本发明，可能使用为视频资料输入的最优关键字作为搜索关键字，因此允许选择一个或两个候选视频资料而不查看任何视频资料，从而将工作时间减少到先前方法中的十分之一。

本发明提供一种关联装置，还包括词对词关系确定部分，其确定多个输入的词之间的关系，来分组输入的词。关联确定部分将被分组的词的组(wordgroup)与视频资料相关联。

通过该配置，将多个词的组为关于同一剪辑的备忘录信息，使得有可能适当地关联备忘录输入者最初希望的备忘录和视频资料。

本发明提供一种关联装置，还包括组对组关系确定部分，其确定被分组的词的组之间的关系。关联确定部分基于所述组对组关系确定部分的确定结果，将被分组的词的组与视频资料相关联。

通过该配置，有可能基于多个词的组之间的关系，适当地关联备忘录和视频资料。

本发明提供一种关联装置，其中组对组关系确定部分通过使用校正历史信息来确定被分组的词的组之间的关系。

通过该配置，使用校正历史信息来确定词的组之间的关系。因此可能基于多个词的组之间的关，系将备忘录与视频资料适当关联，例如，即使词的输入时间相互不接近，也确定对首先输入的备忘录的附加输入是用于同一剪辑的备忘录。

本发明提供一种关联装置，其中组对组关系确定部分通过使用在输入词时获得的位置信息，来确定被分组的词的组之间的关系。

通过该配置，可能基于多个词的组之间的关系将备忘录与视频资料适当关联，例如，即使词的输入时间相互接近，也确定在不同位置输入的备忘录相互具有低关联度，并且不意图针对相同的剪辑。

本发明提供一种关联装置，其中所述关联确定部分在参考关于视频资料的再现操作的操作日志的同时，将词与视频资料相关联。

通过该配置，不仅关于视频资料的拍摄时间信息，关于视频资料的再现的再现时间信息也用于确定词和视频资料之间的关系。因此，可能更准确地关联词与视频资料。

本发明提供一种关联系统，包括：根据本发明的关联装置；输入管理装置，用于获取和管理每个词的输入开始时间；以及成像装置，用于拍摄视频资料。

本发明提供一种连接到根据本发明的关联装置的输入管理装置，所述输入管理装置获取并管理每个词的输入开始时间。

本发明的优点

通过本发明，通过基于关于词的输入时间信息将词与视频资料相关联，将在拍摄视频资料的同时开始输入的词与视频资料相关联，作为关于视频资料的备忘录。就在词输入者以与手写相同的方式输入词时，将输入的备忘录信息与每个相应的视频资料相关联，而不需要类似于相关技术有意识地与视频资料相关联。

附图说明

图1示出了根据本发明的实施例1的关联系统的概况。

图2是示出了根据本发明的实施例1的关联装置的内部配置的框图。

图3是示出了根据本发明的实施例1的关联装置的关联操作的过程的流程图。

图4示出了通过操作者输入到输入装置的备忘录数据的输入示例。

图5是示出了由数据获取部分获取的编辑历史数据的数据结构的示意图。

图6是示出了单个获取的拍摄资料的拍摄资料元数据的数据结构的示意图。

图7示出了通过只从拍摄资料元数据中提取将所有拍摄资料与备忘录相关联所需信息、而获得的拍摄资料元数据的示例。

图8示出了操作日志的示例。

图9是由与“拍摄”和“再现”相关的内部处理按时间整合的视频资料元数据的数据结构的示意图。

图10是示出了时间戳计算部分的计算处理的过程的流程图。

图11是当图5中所示的编辑历史数据已被读取直到第六行时，假定的内部表的数据结构的示意图。

图12是当图5中所示的编辑历史数据已被读取直到第七行时，假定的内部表的数据结构的示意图。

图13是当图5中所示的编辑历史数据已被读取直到第九行时，假定的内部表的数据结构的示意图。

图14是当图5中所示的编辑历史数据已被读取直到第十行时，假定的内部表的数据结构的示意图。

图15是时间戳计算部分的输出数据的数据结构的示意图。

图16是示出了词对词关系确定部分的词对词关系确定操作过程的流程图。

图17示出了将词分组的概况。

图18是示出了词对词关系确定部分的输出数据的数据结构的示意图。

图19示出了词的组的输入开始时间和按照通过时间排列的剪辑的拍摄时间或再现时间之间的关系。

图20解释了备忘录数据的输入时间和剪辑的拍摄时间之间的关联。

图21是示出了使用拍摄时间信息的关联操作的过程的流程图。

图22是使用拍摄时间信息的关联操作的关联候选确定结果的示意图。

图23是示出了使用再现时间信息的关联操作的过程的流程图。

图24是使用再现时间信息的关联操作的关联候选确定结果的示意图。

图25是剪辑和备忘录数据之间的关联的最终结果的示意图。

图26是与剪辑相关联的备忘录数据的概念图。

图27示出了根据本发明的实施例2的关联系统的概况。

图28是示出了根据本发明的实施例2的关联装置的关联操作的过程的流程图。

图29示出了通过操作者输入到输入装置的备忘录数据的输入示例。

图30示出了实施例2中使用的输入装置的备忘录数据输入操作过程的流程图。

图31是示出了由关联装置的数据获取部分从输入装置获取的编辑历史数据的数据结构的示意图。

图32是示出了获取的视频资料元数据的数据结构的示意图。

图33是示出了由与“拍摄”和“再现”相关的内部处理按时间整合的视频资料元数据的数据结构的示意图。

图34是示出了时间戳计算部分的计算操作的过程的流程图。

图35是示出了时间戳计算部分的输出数据的数据结构的示意图。

图36是词对词关系确定部分的输出数据的数据结构的示意图。

图37是示出了基于校正历史的组对组关系确定的过程的流程图。

图38是组对组关系确定部分50的输出数据的数据结构的示意图。

图39示出了词的组的输入开始时间和按照通过时间排列的剪辑的拍摄时间或再现时间之间的关系。

图40是示出了使用拍摄时间信息的关联操作的过程的流程图。

图41是使用拍摄时间信息的关联操作的关联候选确定结果的示意图。

图42是示出了使用再现时间信息的关联操作的过程的流程图。

图43是使用再现时间信息的关联操作的关联候选确定结果的示意图。

图44是基于备忘录数据的输入时间的、剪辑和备忘录数据之间的关联的示意图。

图45是使用词的组对词的组关系信息的关联操作的过程的流程图。

图46是使用词的组对词的组关系的关联候选确定结果的示意图。

图47是与剪辑相关联的备忘录数据的概念图。

图48示出了根据本发明的实施例3的关联系统的概况。

图49是示出了根据本发明的实施例3的关联装置的关联操作的过程的流程图。

图50示出了由数据获取部分获取的位置信息的数据结构的示意图。

图51是示出了基于位置信息的组对组关系确定的过程的流程图。

图52解释了基于位置信息的组对组关系确定的情形。

图53是组对组关系确定部分50的输出数据的数据结构的示意图。

图54示出了词的组的输入开始时间和按照通过时间排列的剪辑的拍摄时间或再现时间之间的关系。

图55是示出了使用拍摄时间信息的关联操作的过程的流程图。

图56是使用词的组对词的组关系的关联候选确定结果的示意图。

图57是与剪辑相关联的备忘录数据的概念图。

附图标记描述

10：数据获取部分

20：时间戳计算部分

30：词对词关系确定部分

40：关联确定部分

50：组对组关系确定部分

100，110：关联装置

200：拍摄装置

300，310，320：输入装置

311：用户输入接受部分

312：编辑历史添加部分

313：时间管理部分

314：元数据保持部分

315：元数据注册部分

316：位置信息获取部分

具体实施方式

将参考附图描述本发明的实施例

[实施例1]

图1示出了根据本发明的实施例1的关联系统的概况。图1所示的关联系统将视频资料与和该视频资料有关的元数据相关联，并且包括关联装置100、拍摄装置200和输入装置300。

拍摄装置200是包括公知的能够生成例如移动图像和静止图像的图像数据的成像部分的装置。输入装置300是包括配备有输入键和文本编辑器程序、并能够进行文本编辑的输入部分的装置。

关联装置100获取通过拍摄装置200拍摄的视频数据和包括关于来自拍摄装置200的视频数据的拍摄时间信息的视频资料元数据。输入装置300的操作者向输入装置输入与视频资料的细节有关的备忘录(memo)信息(以下称为备忘录数据)，例如拍摄的主题和拍摄状态。关联装置100从输入装置300获取指示备忘录数据的编辑历史的信息(以下称为编辑历史数据)。

通过以下部分，关联装置100适当地确定多个拍摄视频资料中获取的备忘录数据所解释的一个，并将备忘录数据和每个剪辑相关联。

可与使用拍摄装置200的拍摄并行地、或在拍摄后为了确认画面的细节而再现视频资料的同时，进行备忘录数据的输入。如稍后所提到的，仅在拍摄装置200包括用于输出例如再现时间信息的操作日志的特征的情况下，才可将在再现期间输入的备忘录数据与视频资料相关联。

可从配备有图1所示的无线通信特征的可移动型输入装置300发送备忘录数据。例如，可作为邮件本身或附件从公知的蜂窝电话终端发送备忘录数据。或者，可将备忘录数据发送到有线连接到输入装置300的关联装置100。

图2是示出了根据本发明的实施例1的关联装置的内部配置的框图。关联装置100包括数据获取部分10、时间戳计算部分20、词对词关系确定部分30、关联确定部分40。

数据获取部分10获取从拍摄装置200输出的视频资料元数据，并编辑从输入装置300输出的历史数据。通过安装在输入装置300中的文本编辑器程序(应用软件程序)而容易地生成编辑历史数据。在每次按下回车键时保存编辑历史。编辑历史数据的生成基于存储字符的输入或删除的历史的公知特征，并省略了相应的细节。

时间戳计算部分20以词或子句(clause)为单位、基于数据获取部分10获取的编辑历史数据，输出关于编辑的备忘录数据的输入开始时间信息和输入结束时间信息。

词对词关系确定部分30基于预定条件确定词之间的关系，并将相关的词分组为“对于同一剪辑的备忘录(词的组)”。词对词关系确定部分30基于多个分组的词的时间戳提取关于词的组的输入开始时间信息。如稍后提到的，预定条件指例如“确定其间具有短间隔的词属于同一剪辑的备忘录”的条件。

关联确定部分40参考所获取的视频资料的每个剪辑的拍摄时间信息(包括拍摄开始时间和拍摄结束时间的信息)或再现时间信息(包括再现开始时间和再现结束时间的信息)、以及添加到词的组的时间戳(包括输入开始时间信息)，以将词的组与视频资料的剪辑相关联。

接下来，将描述这样配置的关联装置的操作。

图3是示出了根据本发明的实施例1的关联装置的关联操作的过程的流程图。首先，关联装置100的数据获取部分10获取来自输入装置300的备忘录数据的编辑历史数据(步骤S101)。图4示出了通过操作者输入到输入装置300的备忘录数据的输入示例。图5是示出了由数据获取部分10获取的编辑历史数据的数据结构的示意图。以词或短语为单位，为图4所示的备忘录输入保持例如输入开始时间、输入结束时间和输入位置(行和列)的编辑历史信息。

类似地，数据获取部分10从拍摄装置200获取关于拍摄装置的操作或拍摄的图像(剪辑)的拍摄时间的视频资料元数据(步骤S102)。图6是单个获取的拍摄资料的拍摄资料元数据的数据结构的示意图。例如，通过数字摄像机拍摄的MPEG-2电影在资料文件中保持诸如文件名、类型、数据大小、数据创建日期/时间和长度的信息，作为资料文件属性信息。因此，通过分析拍摄资料文件的头部分，可能获取诸如文件名、类型、数据大小、数据创建日期/时间和长度的元数据。

在“DVCPRO P2cam”用作拍摄装置的情况下，在进行拍摄的同时生成被称为Clip元数据的资料元数据。因此，可能获取拍摄资料元数据而不需要分析拍摄资料文件。

图7示出了通过只从图6所示的拍摄资料元数据中提取将所有拍摄资料与备忘录相关联所需的信息，而获得的拍摄资料元数据的示例。使用拍摄中的“开始时间”和“结束时间”信息来进行与备忘录的关联。在本实施例中，拍摄资料元数据的“文件名”用作“目标剪辑”，创建日期/时间”的时间信息用作“开始时间”，并且通过将“长度”添加到“创建日期/时间”获取的时间信息用作“结束时间”。

图8示出了操作日志的示例。对于操作日志，保持例如再现、再现结束、快进、或快进结束的“操作”、以及发生操作的“时间”。对于再现保持“目标剪辑”。

图9是由与“拍摄”和“再现”相关的内部处理按时间整合的视频资料元数据的数据结构的示意图。图8和图9示出了从能够生成操作日志的拍摄装置200获取的视频资料元数据的示例。也就是，在拍摄操作中和拍摄后的再现确认中保持关于剪辑再现时间等的数据。在该实施例中，将其中在再现开始后重复暂停、倒回和快进、并且最终停止剪辑的再现的操作定义为”再现确认”时间。将开始任何相应操作的时间和结束该操作的时间分别保持为开始时间和结束时间。例如，在图8中，在“20:10”进行目标剪辑“剪辑A”的“再现”，并且在“20:20”进行“再现结束”。因此，在图9中，目标剪辑“剪辑A”的再现确认的开始时间为“20:10”，而结束时间为“20:20”。对于目标剪辑“剪辑B”，在“20:20”进行“再现”，在“20:22”进行“快进”，在“20:23”进行“快进结束”，并且在“20:27”进行“再现结束”。在图9中，目标剪辑“剪辑B”的再现确认的开始时间为“20:20”，而结束时间为“20:27”。如图所示，拍摄的顺序不总是与再现确认的顺序相同。可再现相同的剪辑以确定多次，或可留下任意剪辑而不进行用于确认的再现。

时间戳计算部分20计算输入开始时间信息和输入结束时间信息，即，基于由数据获取部分10获取的编辑历史数据，用于以词或短语为单位编辑的备忘录数据的时间戳(步骤S103)。图10是示出了时间戳计算部分20的计算处理的过程的流程图。

首先，时间戳计算部分20确定是否已经读取了所有编辑历史数据(步骤S201)。在未读取数据的情况下，时间戳计算部分20读取单个编辑历史数据项(步骤S202)。接下来，时间戳计算部分20确定读取编辑历史数据的“操作”是否为“输入”(步骤S203)。在“操作”为“输入”的情况下，时间戳计算部分20确定具有相同位置信息的字符串是否存在于内部表中(步骤S204)。

在具有相同位置信息的字符串存在于内部表中的情况下，时间戳计算部分20将编辑历史数据的目标字符添加到内部表中的目标字符串(步骤S205)，并校正由于添加而移位的内部表中的输入位置(步骤S206)。在没有具有相同位置信息的字符串存在于内部表中的情况下，时间戳计算部分20将编辑历史数据的目标字符串、输入开始时间、输入结束时间和关于输入字符的位置的信息(行/列信息)保存在内部表中(步骤S207)。

在步骤S203中确定“操作”不是“输入”的情况下，时间戳计算部分20确定“操作”是否为“删除”(步骤S208)。在“操作”为“删除”的情况下，时间戳计算部分20从内部表中的输入字符串擦除要被删除的字符(步骤S209)，并校正由于删除而移位的内部表中的输入位置(步骤S210)。

例如，图11是当图5中所示的编辑历史数据已被读取到第六行时，假定的内部表的数据结构的示意图。当图5中所示的编辑历史数据被读取到第七行时，如图12所示修改内部表。也就是，操作为“输入”和“在内部表中不存在具有相同位置信息的字符串”，使得添加一行数据。当读取图5中所示的编辑历史数据的第九行时，如图13所示修改内部表。在该情况下，操作为“删除”，使得在第一行的数据中的字符串“房间”(“HEYA”)改变为空。通过删除，在字符串“房间”(“HEYA”)之后的字符串“的”(“NO”)和“样子”(“YOUSU”)使得它们的“输入位置”移位，以便改变内部表的第二行和第三行中“列”的数值。此外，当读取图5中所示的编辑历史数据的第十行时，如图14所示修改内部表。操作为“输入”和“在内部表中存在具有相同位置信息的字符串”。因此，将“书房”(“SHOSAI”)添加到第一行中数据的“字符串”(空)。通过添加，再次移动了字符串“书房”(“SHOSAI”)之后的字符串“的”(“NO”)和“样子”(“YOUSU”)的“输入位置”，以便改变内部表的第二行和第三行中“列”的数值。

在步骤S206、S207或S210的处理之后或在步骤S208的确定中、操作不是“删除”的情况下，执行再次返回到步骤S201，并且重复类似的过程。在步骤S201中读取了所有的编辑历史数据的情况下，时间戳计算部分20输出内部表(步骤S210)以终止操作。

图15是时间戳计算部分20的输出数据的数据结构的示意图。关于反应了编辑(例如添加或删除)的词，提取输入开始时间和输入结束时间的数据。

接下来，在图3的流程图中，词对词关系确定部分30基于预定条件确定时间戳计算部分20的输出数据的词对词关系，并对于同一剪辑将相关的词分组为单个备忘录(词的组)(步骤S104)。可设置各种条件来确定该关系。例如，将描述用于基于输入字符的平均数来确定词之间关系的方法。例如，3个词“书房”(“SHOSAI”)、“的”(“NO”)和“样子”(“YOUSU”)原先组成同一剪辑的单个备忘录，也就是“书房的样子”(“SHOSAINOYOUSU”)”。在编辑历史数据时，以词为单位将“书房的样子”(“SHOSAINOYOUSU”)确定为最小单位。因此，基于“有可能在输入速度下降到预定值(在本实施例中为平均值)以下之前输入的多个词属于相同的备忘录”的假设，来确定词之间的关系，并将这些词分组为词的组。

图16是示出了词对词关系确定部分30的词对词关系确定操作过程的流程图。首先，词对词关系确定部分30根据编辑历史数据计算每预定时间段输入字符的平均数(步骤S301)。词对词关系确定部分30对在输入字符的平均数下降到低于任意阈值时的时间点识别的词进行分组。图17示出了对词进行分组的概况。在图解的示例中，作为图表示出了每分钟输入字符的平均数。将从每分钟输入字符数下降到输入字符的平均数以下时到每分钟输入字符数再次下降到输入字符的平均数以下时的词分组为单个词的组。

如之前所提到的，在本示例中，在每分钟输入字符数已经下降到输入字符的平均数以下时，计算每预定时段的输入字符的平均数，并分离词的组，词分组方法不限于此。例如，当输入字符数下降到任意输入字符数、而不是输入字符的平均数时，可分离并分组词。例如，可计算相邻字符的输入间隔，并将超出输入字符的平均值、或超出任意定义的输入间隔的时间点定义为字符中断并相应地进行分组。例如，可将换行、标点符号或字符串中的空格确定为词中断并相应地进行分组。

当进行词分组时，也整合关于输入开始时间和输入结束时间的信息。图18是示出了词对词关系确定部分30的输出数据的数据结构的示意图。关于被分组的词的组，来排列关于输入开始时间和输入结束时间的数据。

再次，在图3的流程图中，关联确定部分40参考视频资料元数据(参考图9)和备忘录数据(参考图18)，来确定剪辑拍摄时间或再现时间以及词的组输入开始时间之间的关系，并且将剪辑与备忘录数据相关联(步骤S105)。

图19示出了词的组的输入开始时间和按照通过时间排列的剪辑的拍摄时间或再现时间之间的关系。根据以下描述的标准确定任意词的组作为备忘录数据描述哪个剪辑。

图20解释了使用稍后描述的拍摄时间信息，“备忘录数据的输入时间和剪辑的拍摄时间之间的关联”作为关联操作中的标准。在实施例1中，将在任意剪辑的拍摄期间开始输入的备忘录数据假设为关于剪辑的信息。将在两个分离剪辑的拍摄进程(photographic session)之间开始输入的备忘录数据假设为关于第一或第二剪辑的信息。如稍后所提到的，在两个分离剪辑的拍摄进程之间开始输入的情况下，可将中间的时间段分为2段，并且可假设将第一段时间设置为关于紧接在之前拍摄的剪辑的信息，并将第二段时间假设为关于紧接其后拍摄的剪辑的信息。

接下来，将描述关联确定部分40的具体操作。图21是示出了使用拍摄时间信息的关联操作的过程的流程图。图22是使用拍摄时间信息的关联操作的关联候选确定结果的示意图。首先，进行“C＝剪辑数”和“N＝1”的初始设置(步骤S401和S402)。接下来，关联确定部分40基于“很可能在拍摄开始之前输入的备忘录数据是关于接下来要拍摄的剪辑的备忘录数据”的假设，将剪辑N添加到具有在第N个剪辑(因为N＝1所以意味着第一剪辑)拍摄开始时间之前的输入开始时间的备忘录的关联候选(步骤S403)。

接下来，关联确定部分40基于“在拍摄期间输入的备忘录数据很可能是关于正在拍摄的剪辑的备忘录数据”的假设，将剪辑N添加到具有在从第N个剪辑的拍摄开始时间到拍摄结束时间的时间段内的输入开始时间的备忘录的关联候选(步骤S404)。例如，剪辑A的拍摄时间是从13:00到13:10(参考图9)，而备忘录“书房的样子”(“SHOSAINOYOUSU”)的输入开始时间是13:01(参考图18)，从而将“剪辑A”添加到备忘录“书房的样子”(“SHOSAINOYOUSU”)的关联候选(参考图22)。

接下来，计算值M(M＝第(N+1)个剪辑的拍摄开始时间-第N个剪辑的拍摄结束时间)(步骤S405)。关联确定部分40基于“在拍摄后的预定经过时间内输入的备忘录数据很可能是关于刚拍摄的剪辑的备忘录数据”的假设，将剪辑N添加到具有在从第N个剪辑的拍摄结束时间开始的M×X时间段内的输入开始时间的备忘录的关联候选，其中X是用来任意设置的在拍摄结束后经过时间的系数(步骤S406)。例如，从剪辑A的拍摄结束时间13:10到剪辑B的拍摄开始时间13:30的时间段M是20分钟(参考图9)，而备忘录“无照明”(“SHOUMEINASHI”)的输入开始时间是从13:10开始20分钟×0.5＝10之内的13:12(参考图18)。从而将“剪辑A”添加到该备忘录的关联候选(参考图22)。在该示例中，将从第N个剪辑的拍摄结束时间到第(N+1)个剪辑的拍摄开始时间的时间段划分为2段(X＝0.5)的同时，系数X的值随着节目的类型和拍摄风格而改变，可由用户指定系数X。用于设置系数X的方法不是本发明的主要目的，因而省略相关描述。

接下来，关联确定部分40基于“在从拍摄后预定经过时间的结尾到下一剪辑的拍摄开始的时间段内输入的备忘录数据很可能是关于刚拍摄的剪辑或下一要拍摄的剪辑的备忘录数据”的假设，将剪辑N和剪辑N+1添加到具有在从第N个剪辑的拍摄结束时间开始了M×X的持续时间后、并在第N+1个剪辑的拍摄开始时间之前的输入开始时间的备忘录的关联候选(步骤S407)。例如，从剪辑B的拍摄结束时间13:40到下一剪辑C的拍摄开始时间14:00的时间段M是20分钟(参考图9)，而备忘录“渔港和海鸥”(“GYOKOUTOKAMOME”)的输入开始时间是在13:40+20分钟×0.5＝13:50之后的13:55(参考图18)。从而将“剪辑B+剪辑C”添加到该备忘录的关联候选(参考图22)。注意，在该示例中，将从第N个剪辑的拍摄结束时间到第(N+1)个剪辑的拍摄开始时间的时间段划分为2段(X＝0.5)。

接下来，关联确定部分40将N的数值递增1(步骤S408)，并确定N的值是否已经到达C的值(步骤S409)。

在N的值未到达C的值的情况下(步骤S409中为否)，关联确定部分40返回到步骤S404，并对下一剪辑执行以上处理。

在N的值已到达C的值的情况下(步骤S409中为是)，也就是，到达最后一个剪辑，关联确定部分40基于“在最后剪辑的拍摄期间输入的备忘录数据很可能是关于正在拍摄的最后剪辑的备忘录数据”的假设，将剪辑N添加到具有在从第N个剪辑(在此例子中意味着最后剪辑)的拍摄开始到结束的时间段内的输入开始时间的备忘录的关联候选(步骤S410)。

接下来，关联确定部分40基于“在最后剪辑的拍摄结束之后输入的备忘录数据很可能是关于最后拍摄的剪辑的备忘录数据”的假设，将剪辑N添加到具有在第N个剪辑的拍摄结束之后的输入开始时间的备忘录的关联候选(步骤S411)。例如，剪辑E的拍摄结束时间是14:35(参考图9)，而备忘录“微暗的”(“USUGURAI”)的输入开始时间是20:15(参考图18)。从而将“剪辑E”添加到该备忘录的关联候选(参考图22)。

以上过程将拍摄的剪辑与输入的备忘录数据相关联。通过在以上过程中的比例划分拍摄进程之间的间隔，可使用另一方法检测中断。例如，可检查在不拍摄的同时输入的备忘录之间的输入间隔，并且可将具有最宽间隔的部分假设为中断。如图14所示，可将在拍摄进程之间开始输入的备忘录与紧挨在之前拍摄的和紧接在之后拍摄的两个剪辑相关联。虽然在本实施例中，在M×0.5时间段内的备忘录与紧挨在之前的剪辑相关联，并且后续的备忘录与所述两个剪辑相关联，但是这仅为示例的分配方法。如图20所示，在拍摄进程之间输入的备忘录可与紧挨在之前的剪辑和紧接在之后的剪辑两者相关联(在X＝0的情况下)。在M×X时间段期间输入的备忘录可只与紧挨在之前的剪辑相关联，并且后续备忘录可只与紧接在之后的剪辑相关联。

图23是示出了使用再现时间信息的关联操作的过程的流程图。图24是使用再现时间信息的关联操作的关联候选确定结果的示意图。首先，进行“C＝再现确认剪辑的总数”和“N＝1”的初始设置(步骤S501和S502)。

接下来，关联确定部分40基于“在再现期间输入的备忘录数据很可能是关于正在再现的剪辑的备忘录数据”的假设，将剪辑N添加到具有在第N个剪辑的再现确认时间期间的输入开始时间的备忘录的关联候选(步骤S503)。例如，剪辑A的再现时间是从20:10到20:20(参考图9)，而备忘录“微暗的”(“USUGURAI”)的输入开始时间是20:15(参考图18)。从而将“剪辑A”添加到该备忘录的关联候选(参考图24)。

接下来，关联确定部分40基于“在从任意剪辑的再现结束到下一剪辑的再现开始的时间段内输入的备忘录数据很可能是关于紧挨在之前再现的剪辑的备忘录数据”的假设，将剪辑N添加到具有在从第N个剪辑的再现确认结束到第(N+1)个剪辑的再现确认开始的时间段内的输入开始时间的备忘录的关联候选(步骤S504)。

接下来，关联确定部分40将N的数值递增1(步骤S505)，并确定N的值是否已经到达C的值(步骤S506)。

在N的值未到达C的值的情况下(步骤S506中为否)，关联确定部分40返回步骤S503，并对下一剪辑执行以上处理。

在N的值已到达C的值的情况下(步骤S506中为是)，也就是，到达最后一个剪辑，关联确定部分40基于“在最后剪辑的再现期间或最后剪辑的再现之后输入的备忘录数据很可能是关于最后再现的剪辑的备忘录数据”的假设，将剪辑N添加到具有在第N个剪辑(在此例子中意味着最后剪辑)的再现确认时间期间或之后的输入开始时间的备忘录的关联候选(步骤S507)。例如，剪辑E的再现确认时间是21:30到21:35(参考图9)，而备忘录“挥手NG”(“TEBURENG”)的输入开始时间是21:33(参考图18)。从而将“剪辑E”添加到该备忘录的关联候选(参考图24)。

以上过程将再现的剪辑与输入的备忘录数据相关联。

关联确定部分40基于“使用拍摄时间信息的关联”和“使用再现时间信息的关联”的关联候选确定结果，来确定最终的关联。图25是剪辑和备忘录数据之间的关联的最终结果的示意图。在该实施例中，针对在最后拍摄的剪辑结束后输入的备忘录数据，向基于再现时间的关联候选给定优先级。在“使用再现时间信息的关联中”，在“使用拍摄时间信息的关联”中确定为“剪辑E”的备忘录“微暗的”(“USUGURAI”)被确定为“剪辑A”，使得最终将备忘录“微暗的”(“USUGURAI”)确定为“剪辑A”。类似地，现在将之前确定为“剪辑E”的“反射式字幕”(“TEROPPU(TELOP)”)确定为“剪辑A”。图26是与剪辑相关联的备忘录数据的概念图。

如上所述，根据该实施例的关联系统基于词的输入时间信息进行词和视频资料的关联。因此，在拍摄视频资料期间或在刚刚拍摄视频资料之后开始输入的词、以及在再现确认期间输入的词，作为关于该视频资料的备忘录而与拍摄资料相关联。因此，备忘录输入者可能在备忘录输入中将作为备忘录写下的词与视频资料相关联，而不需要检查拍摄资料识别信息来识别备忘录对应的视频资料、或者与备忘录一起输入检查的拍摄资料识别信息的工作量。使用关于视频资料的拍摄时间信息和在视频资料的再现中的再现时间信息，来确定词与视频资料的关联。这提供了具有较高准确性的词与视频资料的关联。当检索资料时，作为备忘录的词可用作用来快速检索希望的资料的关键词。

[实施例2]

图27示出了根据本发明的实施例2的关联系统的概况。该关联系统包括关联装置110、拍摄装置200和输入装置310。拍摄装置200与实施例1中所使用的相同，因而省略相应的描述。

输入装置310是包括配备有输入键和文本编辑器程序的装置，并且能够进行文本编辑。如所图示的，输入装置310主要由用户输入接受部分311、编辑历史添加部分312、时间管理部分313、元数据保持部分314和元数据注册部分315等组成。

用户输入接受部分311接受来自输入装置的操作者的输入。编辑历史添加部分312添加关于文本输入的编辑历史，而时间管理部分313具有时钟特征。元数据保持部分314生成并保持与编辑历史相关的元数据。元数据注册部分315注册生成的元数据。换言之，在本实施例中由输入装置310生成关于备忘录数据的输入的编辑历史数据。

关联装置110获取通过拍摄装置200拍摄的视频数据和包括关于来自拍摄装置200的视频数据的拍摄时间信息的视频资料元数据。关联装置100从输入装置310获取由输入装置310的操作者输入的备忘录数据的编辑历史数据。

通过以下部分，关联装置100适当地确定多个拍摄剪辑之中的获取的备忘录数据所解释的那个，并将备忘录数据和每个剪辑相关联。

可与使用拍摄装置200拍摄同时或在拍摄后为了确认画面的细节而再现视频资料的同时，进行备忘录数据的输入。如稍后所提到的，只在拍摄装置200包括用于输出例如再现时间信息的操作日志的特征的情况下，在再现期间输入的备忘录数据才可与视频资料相关联。

输入装置310和拍摄装置200可为包括各自特征的相同装置。

关联装置110包括数据获取部分10、时间戳计算部分20、词对词关系确定部分30、关联确定部分40和组对组关系确定部分50。也就是，实施例2中使用的关联装置110是实施例1中使用的关联装置100和在其上添加的组对组关系确定部分50。

数据获取部分10获取从拍摄装置200输出的视频资料元数据，并编辑从输入装置300输出的历史数据。

时间戳计算部分20以词或子句为单位、基于数据获取部分10获取的编辑历史数据，输出关于编辑的备忘录数据的输入开始时间信息和输入结束时间信息。

词对词关系确定部分30基于预定条件确定词之间的关系，并将相关的词分组为“对于同一剪辑的备忘录(词的组)”。词对词关系确定部分30基于多个分组的词的时间戳，来提取关于词的组的输入开始时间信息。

为了增强备忘录数据和剪辑的关联的准确性，组对组关系确定部分50基于备忘录数据的校正历史，确定由词对词关系确定部分30分组的词的组之间的相应关系。例如，假设在使用基于备忘录数据的输入时间信息的确定中存在不能被适当关联的词的组，那么，在确定存在与第一词的组紧密相关的另一词的组的情况下，与另一词的组相关联的剪辑也可应用于第一词的组。

在实施例2中，关联确定部分40参考关于词的组之间关系的信息、以及关于剪辑的拍摄时间信息或再现时间信息、和关于词的组的输入时间信息，以及将词的组与视频资料的剪辑相关联。

接下来，将描述这样配置的系统中关联装置的操作。

图28是示出了根据本发明的实施例2的关联装置的关联操作的过程的流程图。首先，关联装置110的数据获取部分10获取来自输入装置300的备忘录数据的编辑历史数据(步骤S601)。图29示出了由操作者输入到输入装置310的备忘录数据的输入示例。

将描述关于输入装置310的备忘录数据输入操作。图30示出了实施例2中使用的输入装置310的备忘录数据输入操作的过程的流程图。首先，用户输入接受部分311确定是否按下了用于输入字符的字符输入按钮(步骤S701)。在按下了该按钮的情况下，编辑历史添加部分312参考时间管理部分313、并获取输入开始时间(步骤S702)。

接下来，用户输入接受部分311确定是否按下了用于确定输入的回车按钮(步骤S703)。在按下了回车按钮的情况下，编辑历史添加部分312以相同的方法获取输入结束时间(步骤S704)，并在假设“操作”为“输入”的同时，保存字符串、行和列的信息(步骤S705)。此外，编辑历史添加部分312将输入开始时间和输入结束时间保存为操作开始时间/操作结束时间(步骤S706)，并对于输入字符之后的字符串校正行/列信息(步骤S707)。该处理用于校正关于在句子中间而非在描述结尾输入的字符之后、已经写入的字符的位置信息(行和列)。例如，将一个字符添加到备忘录中任意字符的左侧。可将任意字符右移一个字符，使得(行/列)信息为列递增1。

在是否按下了字符输入按钮的确定中、没有按下字符输入按钮的情况下，用户输入接受部分311确定是否按下了用于删除字符的删除按钮(步骤S708)。在按下了删除按钮的情况下，编辑历史添加部分312获取删除结束时间(步骤S709)，并在假设“操作”为“删除”的同时，保存字符串、行和列的信息(步骤S710)。此外，编辑历史添加部分312将删除结束时间保存为操作结束时间(步骤S711)，并对于删除的字符之后的字符串校正行/列信息(步骤S712)。该处理用于校正关于在句子中间而非在描述结尾删除的字符之后、已经写入的字符的位置信息(行和列)。例如，将备忘录中任意字符左侧的一个字符删除。可将任意字符左移一个字符，使得(行/列)信息为列递减1。

图31是由关联装置110的数据获取部分10从输入装置310获取的编辑历史数据的数据结构的示意图。以词或短语为单位，为图29所示的备忘录输入保持例如输入开始时间、输入结束时间和输入位置(行/列)的编辑历史信息。

再次，在图28的流程图中，数据获取部分10类似地从拍摄装置200获取关于拍摄装置的操作或剪辑的拍摄时间的视频资料元数据(步骤S602)。图32是所获取的视频资料元数据的数据结构的示意图。图33是由与“拍摄”和“再现”相关的内部处理按时间整合的视频资料元数据的数据结构的示意图。图32和图33示出了从能够生成操作日志的拍摄装置200获取的视频资料元数据的示例。也就是，在拍摄操作中和拍摄后的再现确认中保持关于剪辑再现时间等的数据。在图32和图33的示例中，将其中在再现开始后重复暂停、倒回和快进、并且最终停止剪辑的再现的操作定义为“再现确认”时间。将开始任何相应操作的时间和结束该操作的时间分别保持为开始时间和结束时间。如图所示，拍摄的顺序不总是与再现确认的顺序相同。可再现相同的剪辑以确定多次，或可留下任意剪辑而不进行用于确认的再现。

时间戳计算部分20计算输入开始时间信息和输入结束时间信息，即，基于由数据获取部分10获取的编辑历史数据，用于以词或短语为单位的编辑的备忘录数据的时间戳(步骤S603)。图34是示出了时间戳计算部分20的计算操作的过程的流程图。

首先，时间戳计算部分20确定是否已经读取了所有编辑历史数据(步骤S801)。在未读取该数据的情况下，时间戳计算部分20读取单个编辑历史数据项(步骤S802)。接下来，时间戳计算部分20确定读取编辑历史数据的“操作”是否为“输入”(步骤S803)。在“操作”为“输入”的情况下，时间戳计算部分20确定具有相同位置信息的字符串是否存在于内部表中(步骤S804)。

在具有相同位置信息的字符串存在于内部表中的情况下，时间戳计算部分20将编辑历史数据的目标字符添加到内部表中的目标字符串(步骤S805)，将操作开始时间保存在内部表的目标编辑时间中(步骤S806)，并校正由于添加而移位的内部表中的输入位置(步骤S807)。在没有具有相同位置信息的字符串存在于内部表中的情况下，时间戳计算部分20将目标字符串、操作开始时间、操作结束时间和关于输入的字符的位置的信息(行/列信息)保存在内部表中(步骤S808)。

在步骤S803中确定“操作”不是“输入”的情况下，时间戳计算部分20确定“操作”是否为“删除”(步骤S809)。在“操作”为“删除”的情况下，时间戳计算部分20在内部表中擦除要从输入字符串删除的字符(步骤S810)，将操作开始时间保存在内部表的目标编辑时间中(步骤S811)，并与实施例1相同，校正由于删除而移位的内部表中的输入位置(步骤S812)。

在步骤S807、S808或S812的处理之后、或在步骤S809的确认中、操作不是“删除”的情况下，执行再次返回到步骤S801，并且重复类似过程。在步骤S801中读取了所有的编辑历史数据的情况下，时间戳计算部分20输出内部表(步骤S813)，以终止操作。

图35是时间戳计算部分20的输出数据的数据结构的示意图。关于反应了编辑(例如添加或删除)的词，来提取输入开始时间和输入结束数据戳的日期。

接下来，在图28的流程图中，词对词关系确定部分30基于预定条件确定时间戳计算部分20的输出数据的词对词关系，并对于同一剪辑将相关的词分组为单个备忘录(词的组)(步骤S604)。可设置各种条件来确定关系。例如，一种方法用于基于输入字符的平均数来确定词之间关系。已在实施例1中描述了该方法的细节，并且将其省略。

当进行词分组时，还整合关于输入开始时间和输入结束时间的信息。图36是词对词关系确定部分30的输出数据的数据结构的示意图。关于词的组来排列关于输入开始时间和输入结束时间的数据。

再次，在图28的流程图中，组对组关系确定部分50基于元数据的校正历史来确定由词对词关系确定部分30被分组的词的组之间的关系(步骤S605)。图37是示出了基于校正历史的组对组关系确定的过程的流程图。组对组关系确定部分50对具有校正历史的词的组重复以下操作(步骤S901)。

首先，组对组关系确定部分50确定是否存在这样的分组：其中，在从目标词的组的校正时间之前X分钟到该时间之后X分钟的时间段与从输入开始时间到输入结束时间的时间段重叠(步骤S902)。在存在有关的词的组的情况下，组对组关系确定部分50设置目标词的组和有关的词的组之间的关系为“高”(步骤S903)。组对组关系确定部分50对具有校正历史的所有的词的组重复从步骤S902到步骤S903的确定操作(步骤S904)。在以上描述中，X可为任意数值。

图38是组对组关系确定部分50的输出数据的数据结构的示意图。可通过彼此相关的每个词的组的字符串的数目来掌握词的组之间的关系。例如，第一词的组“书房的样子”(“SHOSAINOYOUSU”)的关系“4”指示“与第4词的组“插入叙述”(“NARE-SHONSOUNYUU”)具有高的关系”。虽然在本实施例中关系为“高/低(无)”，但是可使用数值来代表关系，例如，在图37的步骤S902的确定中向很大部分重叠的词的组分配较大的数值。在这样的情况下，如果超出了任意设置的阈值，则将该关系确定为高。

再次，在图28的流程图中，关联确定部分40参考视频资料元数据(参考图33)和备忘录数据(参考图38)，来分别确定剪辑拍摄时间或再现时间以及词的组输入开始时间之间的关系、以及词的组之间的关系，并且然后，将剪辑与备忘录数据相关联(步骤S606)。

图39示出了词的组的输入开始时间和按照通过时间排列的剪辑的拍摄时间或再现时间之间的关系。与实施例1不同，特定词的组之间的关系可用于关联剪辑与备忘录数据，因此确保关联具有较高的准确性。

根据以下按照实施例1的标准，确定任意词的组作为备忘录数据描述哪个剪辑。将在任意剪辑的拍摄期间开始输入备忘录数据假设为关于该剪辑的信息。将在两个分离剪辑的拍摄进程(photographic session)之间开始输入的备忘录数据假设为关于第一或第二剪辑的信息。如稍后所提到的，在两个分离剪辑的拍摄进程之间开始输入的情况下，可将中间的时间段分为2段，并且可假设将第一段时间设置为关于紧接在之前拍摄的剪辑的信息，并将第二段时间假设为关于紧接着之后拍摄的剪辑的信息。

接下来，将描述关联确定部分40的具体操作。图40是示出了使用拍摄时间信息的关联操作的过程的流程图。图41是使用拍摄时间信息的关联操作的关联候选确定结果的示意图。首先，进行“C＝剪辑数”和“N＝1”的初始设置(步骤S1001和S1002)。接下来，关联确定部分40基于“在拍摄开始之前输入的备忘录数据很可能是关于下一要拍摄的剪辑的备忘录数据”的假设，将剪辑N添加到具有在第N个剪辑(因为N＝1，所以意味着第一剪辑)拍摄开始时间之前的输入开始时间的备忘录的关联候选(步骤S1003)。

接下来，关联确定部分40基于“在拍摄期间输入的备忘录数据很可能是关于正在拍摄的剪辑的备忘录数据”的假设，将剪辑N添加到具有在从第N个剪辑的拍摄开始时间到拍摄结束时间的时间段内的输入开始时间的备忘录的关联候选(步骤S1004)。例如，剪辑A的拍摄时间是从13:00到13:10(参考图33)，而备忘录“书房的样子”(“SHOSAINOYOUSU”)的输入开始时间是13:01(参考图38)，从而将“剪辑A”添加到备忘录“书房的样子”(“SHOSAINOYOUSU”)的关联候选(参考图41)。

接下来，关联确定部分40将N的数值递增1(步骤S1005)，并确定N的值是否已经到达C的值(步骤S1006)。

在N的值未到达C的值的情况下(步骤S1006中为否)，关联确定部分40返回步骤S1004，并对下一剪辑执行以上处理。

在N的值已到达C的值的情况下(步骤S1006中为是)，也就是，到达最后一个剪辑，关联确定部分40基于“在最后剪辑的拍摄期间输入的备忘录数据很可能是关于正在拍摄的最后剪辑的备忘录数据”的假设，将剪辑N添加到具有在从第N个剪辑的拍摄开始到结束的时间段内的输入开始时间的备忘录的关联候选(步骤S1007)。

接下来，关联确定部分40基于“在最后剪辑的拍摄结束之后输入的备忘录数据很可能是关于最后拍摄的剪辑的备忘录数据”的假设，将剪辑N添加到具有在第N个剪辑(在此例子中意味着最后剪辑)的拍摄结束之后的输入开始时间的备忘录的关联候选(步骤S1008)。例如，剪辑E的拍摄结束时间是14:35(参考图33)，而备忘录“微暗的”(“USUGURAI”)的输入开始时间是20:15(参考图38)。从而，将“剪辑E”添加到该备忘录的关联候选(参考图41)。

以上过程将拍摄的剪辑与输入的备忘录数据相关联。虽然在以上过程中按比例划分拍摄进程之间的间隔，但是可使用另一方法检测中断。例如，可检查在不拍摄时输入的备忘录之间的输入间隔，并且可将具有最宽间隔的部分假设为中断。可将在拍摄进程之间开始输入的备忘录与紧挨在之前拍摄的和紧接在之后拍摄的两个剪辑相关联。

接下来，将描述使用再现时间信息的关联操作。关联操作可使用关联操作的过程的流程图，该关联操作使用实施例1中的再现时间信息(参考图23)用于关联，并且合并使用拍摄时间信息的关联候选和使用再现时间信息的关联候选。将描述示例，其中，基于“在再现期间输入的备忘录数据更可能是关于正在再现的剪辑而非使用拍摄时间信息的关联结果的备忘录数据”的假设，执行具有更高准确性的关联。图42是示出了使用再现时间信息的关联操作的过程的流程图。首先，进行“C＝再现确认的剪辑总数”和“N＝1”的初始设置(步骤S1101和S1102)。

接下来，关联确定部分40基于“在再现期间输入的备忘录数据更可能是关于正在再现的剪辑而非使用拍摄时间的关联结果的备忘录数据”的假设，通过记录时间删除关联候选，并将剪辑N添加到关于具有在第N个剪辑(由于N＝1，所以意味着第一个剪辑)的再现确认时间内的输入开始时间的备忘录的关联候选(步骤S1103)。例如，剪辑A的再现时间是从20:10到20:20(参考图33)，而备忘录“微暗的”(“USUGURAI”)的输入开始时间是20:15(参考图38)。从而删除作为使用拍摄时间的关联结果的该备忘录的关联候选“剪辑E”，而采用“剪辑A”(参考图41)。

接下来，关联确定部分40基于“在从任意剪辑的再现结束到下一剪辑的再现开始的时间段内输入的备忘录数据更可能是关于紧挨在之前再现确认的剪辑而非使用拍摄时间的关联结果的备忘录数据”的假设，通过记录时间删除关联候选，并将剪辑N添加到具有在从第N个剪辑的再现确认结束(因为N＝1所以意味着第一剪辑)到第(N+1)个剪辑的再现确认开始的时间段内的输入开始时间的备忘录的关联候选(步骤S1104)。

接下来，关联确定部分40基于“在再现期间校正的备忘录数据很可能是关于正在再现的剪辑的备忘录数据”的假设，在剪辑N包括在关联候选中、其中所述关联候选关于具有在第N个剪辑的再现确认时间期间的校正时间的备忘录的情况下，除了剪辑N以外，通过记录时间删除关联候选(步骤S1105)。

接下来，关联确定部分40基于“在从任意剪辑的再现结束到下一剪辑的再现开始的时间段内校正的备忘录数据很可能是关于紧挨在之前再现的剪辑的备忘录数据”的假设，在剪辑N包括在记录时间中、其中所述记录时间关于具有在从第N个剪辑的再现确认结束到第(N+1)个剪辑的再现确认开始的时间段内的校正时间的备忘录的情况下，除了剪辑N以外，通过记录时间删除关联候选(步骤S1106)。

接下来，关联确定部分40将N的数值递增1(步骤S1107)，并确定N的值是否已经到达C的值(步骤S1108)。

在N的值未到达C的值的情况下(步骤S1108中为否)，关联确定部分40返回步骤S1105，并对下一剪辑执行以上处理。

在N的值已到达C的值的情况下(步骤S1108中为是)，也就是，到达了最后一个剪辑，关联确定部分40基于“在最后剪辑的再现期间或最后剪辑的再现后输入的备忘录数据更可能是关于最后再现的剪辑而非使用拍摄时间的关联结果的备忘录数据”的假设，通过记录时间删除关联候选，并将剪辑N添加到具有在第N个剪辑(意味着最后剪辑)的再现确认时间期间或再现确认时间结束之后的输入开始时间的备忘录的关联候选(步骤S1109)。

接下来，关联确定部分40基于“在最后剪辑的再现期间或最后剪辑的再现后校正的备忘录数据更可能是关于最后再现的剪辑而非使用拍摄时间的关联结果的备忘录数据”的假设，在通过记录时间、剪辑N包括在关联候选中的情况下，除了剪辑N以外，通过记录时间删除关联候选，其中所述关联候选关于具有在第N个剪辑(在本例子中指最后的剪辑)的再现确认时间内或再现结束之后的校正时间的备忘录(步骤S1110)。

以上过程将拍摄剪辑与输入的备忘录数据相关联。图43是使用再现时间信息的关联操作的关联候选确定结果的示意图。

关联确定部分40整合针对于“使用拍摄时间信息的关联”和“使用再现拍摄时间信息的关联”的各个候选的确定结果，以确定基于备忘录数据的输入时间的关联。图44是基于备忘录数据的输入时间的、剪辑和备忘录数据之间的关联的示意图。

接下来，关联确定部分40基于词的组之间的关系确定关联候选。图45是使用“词的组对词的组”关系信息的关联操作的过程的流程图。关联确定部分40对于具有两个或更多关联候选的备忘录重复以下操作(步骤S1201)。例如，如图44所示，备忘录“插入叙述”(“NARE-SHONSOUNYUU”)具有两个关联候选，即，剪辑A和剪辑B。将作为特定示例描述备忘录“插入叙述”(“NARE-SHONSOUNYUU”)。

首先，关联确定部分40确定是否存在相互高度相关的词的组(步骤S1202)。如图38所示，“插入叙述”(“NARE-SHONSOUNYUU”)具有相互高度相关的分组“书房的样子”(“SHOSAINOYOUSU”)。在存在相互高度相关的词的组的情况下，关联确定部分40确定是否存在对于高度相关的词的组的公共的关联候选(步骤S1203)。如图44所示，相互高度相关的词的组“书房的样子”(“SHOSAINOYOUSU”)和“插入叙述”(“NARE-SHONSOUNYUU”)具有作为公共关联候选的剪辑A。在存在公共关联候选时，关联确定部分40删除对于高度相关的词的组来说非公共的任何关联候选(步骤S1204)，并且只留下公共关联候选。对于“插入叙述”(“NARE-SHONSOUNYUU”)，关联确定部分40删除作为与高度相关的分组“书房的样子”(“SHOSAINOYOUSU”)非公共的关联候选的剪辑B，并将剪辑A关联为公共关联候选。关于具有两个或更多关联候选的所有备忘录，关联确定部分40重复从步骤S1202到步骤S1204的确定(步骤S1205)。

图46是使用词的组对词的组关系的关联候选确定结果的示意图。如之前所提到的，基于备忘录数据的输入时间的作为在图44中与备忘录数据相关联剪辑的结果的、与“剪辑A和剪辑B”最初关联的“插入叙述”(“NARE-SHONSOUNYUU”)现在与基于图38所示的组对组关系确定部分50的输出数据的“剪辑A”相关联。图47是与剪辑相关联的备忘录数据的概念图。

如上所述，通过根据本实施例的关联系统，使用校正历史信息将多个词分组为关于同一剪辑的备忘录信息。因此，备忘录输入者可能适当地将最初希望的备忘录与视频资料相关联。

[实施例3]

接下来，将描述示例，其中，在实施例2中解释的组对组关系确定部分50基于来自输入装置310的位置信息确定分组之间的关系。图48示出了根据本发明的实施例3的关联系统的概况。该关联系统包括关联装置110、拍摄装置200和输入装置320。与实施例2不同，向输入装置320添加位置信息获取部分316。

位置信息获取部分316通过使用GPS(全球定位系统)，在预定周期中输出关于输入装置320的主体的当前位置信息。剩下的内部配置和每个部分的特征与实施例2中的那些相同，因而删除相应的描述。可将位置信息获取部分排列在成像装置中，或被提供为分离装置并附加到控制器(director)等。

接下来，将描述这样配置的系统中关联装置的操作。

图49是示出了根据本发明的实施例3的关联装置的关联操作的过程的流程图。首先，关联装置110的数据获取部分10获取来自输入装置320的备忘录数据的编辑历史数据和从GPS接收的位置信息(步骤S1301)。用于获取编辑历史数据的方法与图2中的方法相同，因而省略相应的描述。图50示出了由数据获取部分10获取的位置信息的数据结构的示意图。在预定周期中输出关于输入装置320的纬度和经度的数据。

从下一步骤S1302到步骤S1304的过程与实施例2的图28中步骤S602到步骤S604的过程相同，因而省略了相关的描述。

组对组关系确定部分50基于元数据的校正历史和位置信息，确定由词对词关系确定部分30被分组的词的组之间的关系(步骤S1305)。基于校正历史的词的组之间关系的确定与实施例2中的相同，因而省略相应的描述。以下描述使用位置信息确定分组之间的关系。

图51是示出了基于位置信息的组对组关系确定的过程的流程图。组对组关系确定部分50根据获取的位置信息计算每预定时间段的移动量(步骤S1401)。在本实施例中，假设预定时段为一分钟，计算每分钟的移动量。接下来，根据所计算的移动量计算平均移动量(步骤S1402)。这使得可能掌握输入装置320的操作者是否几乎保持静止还是在车辆等上移动。例如，即使两个备忘录数据的输入时间相互接近，也确定在不同的位置输入了备忘录数据项，可假设很可能不是关于同一剪辑输入这两个备忘录项，而是关于分离的剪辑输入备忘录数据项。

虽然在本实施例中预定时段为一分钟，但是可改变该值。

在该实施例中，在记录片节目(documentary program)的产生中的单个拍摄进程的时间段大约为1分钟，以便计算每分钟的移动量，以检测输入装置是移动还是静止。在产生了其中单个拍摄进程较短的类型的节目的情况下，应缩短工作量计算间隔。

接下来，组对组关系确定部分50将平均移动距离下降到预定阈值以下的时刻确定为输入装置的状态(移动和保持静止)之间的中断(步骤S1403)。在移动量低于阈值的情况下，输入装置320的操作者被确定为几乎保持静止。在移动量高于阈值的情况下，输入装置320的操作者被确定为移动。

图52解释了基于位置信息的组对组关系确定的情形。以上确定识别输入装置是移动还是保持静止。参考这些状态之间的中断，可确定当输入装置移动时输入的备忘录数据与当输入装置静止时输入的备忘录数据具有较低的关联度，即，关于分离的剪辑而输入了所述备忘录数据。在一般的节目产品处理中，重复流程，其中在位置地点进行拍摄的准备、执行拍摄、并且工作组移动到下一地点。因此，很可能在移动的状态下，输入装置在位置地点之间移动。保持静止状态很可能是其中拍摄准备正在进行或拍摄正在进行的时间段。在移动的状态下，输入装置的操作者很可能正在写紧挨在之前拍摄的剪辑的备忘录。进行拍摄的准备的同时，输入装置的操作者很可能正在写下一要拍摄的剪辑的备忘录。在未进行拍摄而在移动状态和保持静止状态之间存在中断的情况下，很可能在中断之前写入一剪辑的备忘录，并在中断之后写入另一剪辑的备忘录。

图53是组对组关系确定部分50的输出数据的数据结构的示意图。可通过每个词的组的字符串数目，掌握由于位置中断(不同的输入位置)而假设相互具有较低关联度的词的组。例如，第7个词的组“后一半”(“KOUHAN◎”)和第8个词的组“渔港和海鸥”(“GYOKOUTOKAMOME”)相互具有较低的关联度。注意，在本例子中，忽略了基于校正历史的词的组之间关系的确定结果。

接下来，再次，在图49的流程图中，关联确定部分40参考视频资料元数据和备忘录数据来确定剪辑的拍摄时间或再现时间与词的组的输入时间之间的关系、以及词的组之间的关系(校正历史和位置信息)，并将剪辑和备忘录数据相关联(步骤S1306)。

图54示出了词的组的输入开始时间和按照通过时间排列的剪辑的拍摄时间或再现时间之间的关系。可确定在分离位置中输入的备忘录相互具有低关联度，也就是，基于来自GPS的位置信息，备忘录属于分离的剪辑。这提供比实施例1更高的准确性。以下描述根据使用关联确定部分40的特定确定中的位置信息来关联操作。

图55是示出了使用拍摄时间信息的关联操作的过程的流程图。关联确定部分40对具有两个或更多关联候选的备忘录重复以下操作(步骤S1501)。

首先，关联确定部分40确定是否存在相互具有较低关联度的词的组(步骤S1502)。在存在这样的词的组的情况下，关联确定部分40确定是否存在对于具有较低关联度的词的组的公共关联候选(步骤S1503)。在存在公共关联候选的情况下，关联确定部分40删除对具有较低关联度的词的组公共关联候选(步骤S1504)。关联确定部分40对于具有两个或更多关联候选的备忘录重复从步骤S1402到步骤S1404的确定(步骤S1505)。

图56是使用词的组对词的组关系的关联候选确定结果的示意图。“后一半◎”(“KOUHAN◎”)和“渔港和海鸥”(“GYOKOUTOKAMOME”)相互具有较低的关联度，并且因此被确定为分离剪辑的备忘录。最初与“剪辑B和剪辑C”相关联的“渔港和海鸥”(“GYOKOUTOKAMOME”)现在与“剪辑C”相关联。分别反应基于校正历史的词的组之间关系的确定结果。图57是与剪辑相关联的备忘录数据的概念图。

如上所述，根据本发明，通过关联系统，可能将多个词适当地分组为关于同一剪辑的备忘录信息。例如，可能通过使用关于输入装置的位置信息来确定：即使在两个备忘录数据项的输入时间相互接近的情况下，在不同位置输入的备忘录信息项相互具有低关联度。

虽然在本实施例中，作为字符串管理使用字符输入装置输入的备忘录，但本发明的关联装置可将不是字符串的目标备忘录与拍摄资料相关联。例如，使用书写板(pen tablet)等输入的备忘录可与拍摄资料相关联。书写板指输入终端，其能够通过在作为平面形状主体的书写板上移动专用笔类型输入终端等，将手写轨迹管理为数字数据。将在确定或不确定时间间隔内输入的轨迹关联为输入数据和每确定或不确定时间间隔的输入时间信息。在本实施例中，通过将输入数据项假设为词，分组输入数据以及将输入数据与本发明的关联装置上的拍摄资料相关联，可能将使用书写板等将输入的备忘录与拍摄资料相关联。这样，使用任意具有管理输入数据和输入时间信息的特征的输入装置输入的数据，可与视频资料相关联。

虽然已经具体并以特定实施例方式描述了本发明，但是本领域的技术人员将认识到其中可进行各种改变和修改，而不背离精神及其范围。

本申请基于2005年11月16日提交的日本专利申请第2005-331694号，并且再次合并其内容作为参考。

工业适用性

根据本发明的关联装置基于词的输入时间信息将词与视频资料相关联。将在拍摄视频资料的同时开始输入的词与视频资料相关联，作为关于视频资料的备忘录。就在词输入者以与手写相同的方式输入词时输入的备忘录信息与每个相应的视频资料相关联，而不需要刻意与视频资料关联。通过使用备忘录作为关键字，可能快速检索资料。因此，本发明的关联装置作为用于相互关联多个获取的数据项的关联装置是有用的。

Claims (8)

1.一种用于将多个获取的数据项相互关联的关联装置，包括：

关联确定部分，其通过使用关于输入的词的输入开始时间信息和关于拍摄的视频资料的拍摄时间信息，将输入的词与拍摄的视频资料相关联。

2.如权利要求1所述的关联装置，还包括：

词对词关系确定部分，其确定多个输入的词之间的关系，以对输入的词进行分组，

其中，所述关联确定部分将被分组的词的组与视频资料相关联。

3.如权利要求2所述的关联装置，还包括：

组对组关系确定部分，其确定被分组的词的组之间的关系，

其中，所述关联确定部分基于所述组对组关系确定部分的确定结果，将被分组的词的组与视频资料相关联。

4.如权利要求3所述的关联装置，其中所述组对组关系确定部分通过使用校正历史信息，来确定被分组的词的组之间的关系。

5.如权利要求3所述的关联装置，其中所述组对组关系确定部分通过使用在输入词时获得的位置信息，来确定被分组的词的组之间的关系。

6.如权利要求1到5中的任一个所述的关联装置，其中所述关联确定部分在参考关于视频资料的再现操作的操作日志的同时，将所述词与视频资料相关联。

7.一种关联系统，包括：

如权利要求1到6中任意一项所述的关联装置；

输入管理装置，用于获取和管理每个词的输入开始时间；以及

成像装置，用于拍摄视频资料。

8.一种连接到如权利要求1到6中任意一项所述的关联装置的输入管理装置，其中所述输入管理装置获取并管理每个词的输入开始时间。

Images