CN1312616C - 运动图像内容检索信息管理装置 - Google Patents

Abstract

检索信息解析部(101)将检索信息(15)分离为表示运动图像内容的结构的结构检索信息(152)、表示运动图像内容的语义内容中的特征的语义检索信息(153)、表示运动图像内容的信号上的物理特征的信号检索信息(154)并输出。结构检索信息分解部(102)从所分配的结构检索信息将与语义检索信息及信号检索信息的至少1个对应的信息作为结构信息(50)抽出并输出。单位检索信息形成部(103、104)在所分配的语义检索信息及信号检索信息中的至少1个中附加所分配的对应的结构信息，形成小单位的检索信息(153A、154A)。由于可以把这种小单位检索信息作为运动图像内容检索信息，因而可减少检索信息量。

Description

运动图像内容检索信息管理装置

技术领域

本发明涉及用于管理用于检索运动图像内容的具有树形结构的信息(以下称检索信息)的装置和方法及实行检索处理的检索装置，尤其涉及使检索信息的有效存储或传送成为可能的检索信息管理装置和方法及采用检索信息进行检索处理的检索装置。

背景技术

在运动图像内容中，运动图像内容内的所有时间上的或空间(画面)上的部位都成为检索对象。因此为严密地进行检索，有必要使运动图像内容整体再生，确认至细部。然而这种检索方法效率不太高，如果成为检索对象的运动图像内容的数量增加，则更不具现实性。

作为在这种场合下迅速有效地查出用户所希望的运动图像内容或运动图像内容内的所希望部位的方法，提出了各种准备与运动图像内容对应附加的检索信息(检索信息也称为检索用元数据)，基于检索信息进行检索，获取所希望的运动图像内容或运动图像内容内的所希望部位的方法。

图10模式地表示一般的运动图像内容的结构。这种结构在特开平10-108071号公报及特开平10-257436号公报等中有介绍，已广为人知。

如图10所示，1个运动图像整体被按时间分割成若干个场景。这里的所谓场景系指主要由语意集合组成的时间区划，包含从影片第1部、第2部之类的大区划到被称为「A与B发出喧哗」的场面的极小的区划。因此从实际的运动图像整体向场景的分割并不限定于图10所示的1个阶段的分割，而是按多个阶段依次细分。

1个场景被按时间进一步分割为若干个镜头(或更细微的场景)。这里的所谓镜头系指作为由1次动作摄影的连续多个帧图像构成的时间上的1个区划，由运动图像中2个编辑点(剪辑点)裹夹的区划。

镜头是一种场景，也可以把镜头分割为更细微的镜头(分镜头)。虽然未图示，但镜头最终可被分割至一个一个的帧图像。

这样，运动图像内容具有从整体细分为细微部分，再分割为更细微的部分的阶层结构。按各阶层附加对应的检索信息。

图11表示针对图10的运动图像内容的检索信息。运动图像内容的检索信息由图11所示的树形结构表示。这里，运动图像内容的检索信息包含结构检索信息、语义检索信息及信号检索信息。

所谓结构检索信息是用于表示图10所示的运动图像内容的阶层结构的信息。在结构检索信息中，包含用于表示树的结构，即运动图像整体中的各场景或镜头相互的关系的结构化信息及表示分割后获得的场景或镜头各自的属性的结构属性信息。

在图11的树中，根R表示运动图像整体，各节ND表示通过分割得到的各场景或各镜头。被附加于树的根R或各节ND的节点ID及各阶层信息等相当于结构化信息，被分别附加于场景或镜头的开始时刻及结束时刻信息等相当于结构属性信息。

所谓语义检索信息是被基于运动图像内容的语义内容上的特征规定的检索信息。比如，针对运动图像内容整体的名称、制作者的信息、针对场景的情景描写的信息等相当于语义检索信息。

所谓信号检索信息是被基于运动图像内容信号上的物理特征规定的检索信息。比如，针对各镜头(或其代表帧图像)的色频率信息、活动强度信息等相当于信号检索信息。语义检索信息及信号检索信息被作为与对应的各节ND连接的叶RF提供。

图12表示记录由图11所示的树结构组成的检索信息时的记录形式。如图12所示，由图11的树结构组成的检索信息对树的根R及节ND沿着阶层的从浅至深的方向(从根R至节ND的方向)及从左至右(在时间上从前至后)的方向，按照深度优先的顺序(在节ND的下位不再有节ND的时点下向右邻的节ND移动)进行追索，作为附加于根R或节ND的叶RF的检索信息被依次记录。

在图10～图12中，虽然把最上位层(树的根R)作为1个运动图像内容整体，但并不局限于1个运动图像内容，也可考虑作为多个运动图像内容的集合。比如把最上位层作为通过1个频道在1天内广播的视频节目整体。通过1个频道在1天内广播的视频节目整体在下一阶层被分割为一个一个的节目，即一个一个的运动图像内容。各运动图像内容被分割为多个场景，各多个场景被分割为多个镜头。

根据具有树形结构的检索信息，对应的运动图像内容所具有的时间结构可以与各种检索信息相关联，以便于用户理解的形式提供。这样，检索信息非常适合于基于该检索信息，用户边观看确认，边对对应的运动图像内容进行编辑或对检索信息本身进行编辑等的作业。但运动图像内容的长度增大后，表示对应的检索信息的树的尺寸也将随之增大。

假设一种运动图像内容及检索信息被蓄存于服务器装置，用户从客户终端访问服务器装置，获取检索信息，在客户终端实行检索的实行模式。在该场合下，如果在客户终端不能从服务器装置全部获取大量的检索信息，则将出现用户不能操作客户终端以实行检索的不良状况。即，在具有树形结构的检索信息被分割为适当的多个小单位检索信息，并向客户终端发送后，希望根据在客户终端所接收的小单位检索信息，用户可实行某种程度的检索。

通过将具有传统的树形结构的检索信息根据所谓场景或镜头的时间区划进行分割，可构成图13A～图13D所示的包含小单位检索信息11～14的多个小单位检索信息。小单位检索信息11～14通过将检索信息以由分别以图14所示的树的最下端的节ND为起点的节ND及其叶RF的集合或包含节ND的上位的节ND及其叶RF组成的集合为单位进行分割被获得。

由基于时间区划的分割所得到的小单位检索信息由于按原样保持对应的运动图像内容的时间结构信息，因而与运动图像内容同步传送，适用于以联机方式基于检索信息对运动图像内容进行筛选。

如特开平8-110912号公报所述，将具有树形结构的检索信息分割为树形结构及表示了树形结构中的节ND各自的属性信息的附属信息表并蓄存的方式也广为人知。在该场合下，可分割的单位有树形结构和附属信息表2种，但附属信息表不能独立使用，此外不能按照上述的时间区划进行分割。

在本说明书中，把通过分割所得到的上述小单位检索信息称为「单位检索信息」。把用于唯一特定结构检索信息中的节ND的节ID信息等称为结构检索信息的「检索信息要素」(或称为结构检索信息要素)，把语义检索信息中的行动描写信息等称为语义检索信息的「检索信息要素」(或称为语义检索信息要素)，把信号检索信息中的颜色频率信息及活动强度信息等分别称为信号检索信息的「检索信息要素」(或称为信号检索信息要素)。

对具有传统的树形结构的检索信息进行分割所得到的小单位检索信息是与时间区划对应的即与所谓场景及镜头的运动图像内容的结构单位对应的单位检索信息。

不过，在该单位检索信息中，分别相对结构检索信息、语义检索信息及信号检索信息的检索信息要素被设置于内。存在只想知道比如运动图像的结构检索信息(想知道运动图像被如何按场景、镜头分割)的要求。此外存在为进行基于各镜头的颜色频率信息的检索，只需要各镜头的颜色频率信息，或者为进行基于各镜头的活动强度信息的检索，只需要活动强度信息的要求。传统上，只通过获取附加了分别相对结构检索信息、语义检索信息及信号检索信息的检索信息要素的单位检索信息，由检索者将其分解利用，对这些要求进行处理。

在从实行检索的一侧观察的场合下，对于作为运动图像构成要素的多个镜头或多个场景，将被附加于各镜头或各场景的同种检索信息要素(称为颜色频率信息的种类及称为活动强度信息的种类等)集中获取，对其进行比较对比，由此实行检索是有效的。比如，对于信号检索信息要素中的颜色频率信息，通过从被附加于各镜头的颜色频率信息中检测出符合希望的信息，实行镜头检索。

在特开平8-110912号公报中，虽然披露了从检索信息中只分离树形结构进行处理的一端，但未披露独立处理其它的附属信息及基于上述的检索信息的细类别进行分割及管理。

结构检索信息及信号检索信息各自的检索信息要素一般被以固定形式分配。与此相对，语义检索信息的检索信息要素大多包含行动描写数据等的长度不定的自由文本数据等。

为此在混杂了多个检索信息要素的检索信息中，即使在取出长度固定的结构检索信息及信号检索信息各自的检索信息要素的场合下，也有必要对结构检索信息、信号检索信息及语义检索信息分别进行解析，加大了检索者的负担。

与此相对，如果是比如只集中获取了信号检索信息要素的检索信息，通过固定长度的数据读出等可容易地处理检索信息。

与获取了在基于时间结构的形式下，混杂了结构检索信息、语义检索信息及信号检索信息的检索信息的检索形态相比，获取结构检索信息并掌握运动图像的结构，必要时追加信号检索信息或语义检索信息，同时进行检索的检索形态是非常自然的。对于后者的检索形态，传统的检索信息的分割方式是不适当的。

对具有传统的树形结构的检索信息分割获取的单位检索信息由于按原样保持对应的运动图像内容的时间结构信息，因而适于与运动图像内容并行传送检索信息，通过联机检索进行筛选等的检索形态。不过，在通过脱机检索对大量数据的运动图像内容进行检索的场合下，即使在只利用比如被附加于运动图像内容整体的颜色频率信息等特定的检索信息来检索所希望的镜头的场合下，仍有必要读入全部检索信息并进行解析，只取出必要的特定检索信息，无效处理较多。

对于脱机检索，只获取被附加于多个镜头等的多个运动图像构成要素的同种检索信息，对其进行比较对比，由此实行检索是自然的。比如，服务器装置对于信号检索信息要素中的颜色频率信息，只取出分别被附加于多个镜头的颜色频率信息，发送到客户终端，在客户终端接收该颜色频率信息，用户基于所接收的颜色频率信息，检测出所希望的镜头，只向服务器装置请求对应的镜头的数据。

如上所述，虽然运动图像内容的检索信息的分割形式应按检索形式切换，但传统上并未做这种考虑。

发明内容

本发明的目的是提供一种使附加于运动图像内容的具有树形结构的检索信息的有效利用成为可能的检索信息管理装置和检索信息管理方法及可有效进行检索处理的检索装置。

本发明的一方面所涉及的检索信息管理装置为了将具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理，而具备分离部、结构信息抽出部及单位检索信息形成部。

分离部把检索信息分离为表示运动图像内容的结构的结构检索信息、表示运动图像内容的语义内容中特征的语义检索信息、表示运动图像内容的信号上物理特征的信号检索信息并输出。结构信息抽出部分解从分离部输出的结构检索信息，从分解后的结构检索信息把与语义检索信息及信号检索信息的至少1个对应的信息作为结构信息抽出。单位检索信息形成部在从分离部输出的语义检索信息及信号检索信息的至少1个内，附加由结构信息抽出部抽出的对应的结构信息，形成小单位检索信息。

因此由于可以把在从检索信息分离出的语义检索信息及信号检索信息的至少1个内附加了由结构信息抽出部抽出的对应的结构信息的小单位检索信息作为运动图像内容的检索信息，因而可减少检索信息量。此外在运动图像内容检索时形成检索者请求的小单位检索信息传送到请求方的场合下，可减少应传送的检索信息量。

本发明其它方面涉及的检索信息管理装置为了把具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理，而具备分离部、结构信息抽出部及单位检索信息形成部。

分离部对检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素进行分离并从检索信息取出。结构信息抽出部将与由分离部取出的1个或多个检索信息要素对应的结构信息从检索信息抽出。单位检索信息形成部通过将由分离部取出的1个或多个检索信息要素和由结构信息抽出部抽出的对应的结构信息按规定形式排列，来形成小单位检索信息。

因此由于小单位检索信息通过将与从元检索信息取出的1个或多个检索信息要素对应的结构信息按规定形式排列而形成，因而易于特定小单位检索信息中包含的检索信息要素，可使实行运动图像内容检索时的小单位检索信息的利用变得容易。

在上述的检索信息管理装置中，由分离部取出的1个或多个检索信息要素可以与表示运动图像内容的信号上物理特征的信号检索信息对应。

因而由于作为小单位检索信息，可以采用表示运动图像内容的信号上物理特征的信号检索信息，因此在进行只基于比如颜色频率信息的检索的场合下，可以只传送对应的颜色频率信息或用于检索，可实现只使用信号检索信息的有效的检索。

在上述的检索信息管理装置中，由分离部取出的1个或多个检索信息要素可以与表示运动图像内容的语义内容中特征的语义检索信息对应。

因此由于作为小单位检索信息，可以采用表示运动图像内容的语义内容中特征的语义检索信息，因而在进行只基于比如各场景的出场人物的检索的场合下，可以只传送对应的出场人物信息或用于检索，可实现只使用语义检索信息的有效的检索。

在上述的检索信息管理装置中，规定的形式可以表示将由分离部取出的1个或多个检索信息要素及由结构信息抽出部抽出的对应的结构信息按树形结构中的1个或多个检索信息要素各自的出现顺序排列。

因此由于小单位检索信息的1个或多个检索信息要素及对应的结构信息按检索信息要素各自的树形结构中的出现顺序排列，因而可省略用于表示检索信息要素的前后关系的信息，可进一步减少小单位检索信息的信号量。

在上述的检索信息管理装置中，小单位检索信息还可按以下形式形成。即，在结构信息抽出部，把结构信息分离为包含表示由分离部取出的1个或多个检索信息要素中共同的类别的信息或共同的树形结构中的位置信息的共同结构信息及共同结构信息以外的非共同结构信息。小单位检索信息也可以通过在由分离部取出的1个或多个检索信息要素的排列的基础上，分别配置对应的共同结构信息及对应的非共同结构信息来形成。

因此作为与同种检索信息要素共同的信息，包含比如检索信息要素是颜色频率信息还是出场人物信息之类的类别信息，或表示检索信息要素与树形结构的哪一层接续的位置信息的信息被附加于1个或多个检索信息要素的排列来配置。因此对于被包含于小单位检索信息的检索信息要素，可简单地知道其种类或树形结构的对应阶层。

本发明的其它方面所涉及的检索信息管理装置为从具有与运动图像内容对应的树形结构的检索信息形成小单位检索信息进行管理，具备记录位置信息抽出部、结构信息抽出部及单位检索信息形成部。

记录位置信息抽出部分别对检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素，抽出表示了该检索信息要素被记录的位置的记录位置信息。结构信息抽出部从检索信息抽出与1个或多个检索信息要素对应的结构信息。单位检索信息形成部通过将由与1个或多个检索信息要素分别对应的记录位置信息抽出部抽出的记录位置信息及由结构信息抽出部抽出的结构信息按规定形式排列，形成小单位检索信息。

因此由于可由配置于小单位检索信息的记录位置信息特定小单位检索信息所表示的1个或多个检索信息要素，因而可易于实行运动图像内容检索时的检索信息要素的利用。在为检索运动图像内容而请求了小单位检索信息时，在向请求源传送小单位检索信息的场合下，即使不传送检索信息要素本身，也可由请求源所接收的小单位检索信息的记录位置信息特定所希望的检索信息要素，而且通过适宜地向请求源只传送所希望的检索信息要素，可进行有效的检索。

在上述的检索信息管理装置中，1个或多个检索信息要素可以与表示运动图像内容的信号上物理特征的信号检索信息对应。

因此作为与记录位置信息对应的检索信息要素，可以采用表示运动图像内容的信号上的物理特征的信号检索信息。因此在进行只基于比如颜色频率信息的检索的场合下，可利用由颜色频率信息的位置信息组成的小单位检索信息只传送或检索对应的颜色频率信息，可实现只采用了信号检索信息的有效检索。

在上述的检索信息管理装置中，1个或多个检索信息要素可以与表示运动图像内容的语义内容中特征的语义检索信息对应。因此作为与记录位置信息对应的检索信息要素，可以利用表示运动图像内容的语义内容中特征的语义检索信息。因而在进行只基于比如各场景的出场人物的检索的场合下，可以利用由出场人物信息的位置信息组成的小单位检索信息，只用于传送或检索对应的出场人物信息，可实现只使用语义检索信息的有效的检索。

在上述的检索信息管理装置中，规定的形式可以表示将记录位置信息分别按对应的1个或多个检索信息要素各自的树形结构中的出现顺序排列。

因此在小单位检索信息中可以省略用于表示对应的1个或多个检索信息要素各自的前后关系的信息，可使小单位检索信息的信息量更少。

在上述的检索信息管理装置中，结构信息抽出部还把结构信息分离为共同结构信息及共同结构信息以外的非共同结构信息。共同结构信息包含表示与1个或多个检索信息要素共同的类别的信息或共同的树形结构中的位置信息。

小单位检索信息通过在与1个或多个检索信息要素对应的记录位置信息的排列的基础上，还可以分别配置对应的共同结构信息及对应的非共同结构信息来形成。

因此作为与同种检索信息要素共同的信息，包含比如检索信息要素是颜色频率信息还是出场人物信息之类的类别信息，或表示检索信息要素与树形结构的哪一层接续的位置信息的信息被附加于记录位置信息的排列来配置。因此对于由被包含于小单位检索信息的记录位置信息表示的检索信息要素，可简单地知道其种类或树形结构的对应阶层。

本发明的其它方面涉及的检索信息管理装置为把具有与运动图像内容对应的树形结构的检索信息分割成小单位检索信息进行管理，具备有第1及第2检索信息分割部及分割选择部。

第1检索信息分割部将检索信息分割为表示运动图像内容的结构的结构检索信息、表示运动图像内容的语义内容中特征的语义检索信息、表示运动图像内容的信号上物理特征的信号检索信息，从通过分割所获得的结构检索信息将与语义检索信息及各信号检索信息对应的信息作为结构信息抽出，把所抽出的结构信息分别附加到通过分割得到的语义检索信息及信号检索信息，形成小单位检索信息。

第2检索信息分割部按照基于树形结构的时间划分对检索信息进行分割，从分割后的各检索信息形成小单位检索信息。

分割选择部根据所希望的检索方式，选择是由第1检索信息分割部及第2检索信息分割部的哪一个来对检索信息进行分割。

因此在把具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理时，可根据所希望的检索方式，形成一形式的小单位检索信息或其它形式的小单位检索信息。一形式是考虑了检索信息的类别的形式。具体地说是一种把检索信息分别分割为结构检索信息、语义检索信息及信号检索信息，从分割后获得的结构检索信息抽出与语义检索信息及信号检索信息分别对应的结构信息，在语义检索信息及信号检索信息中分别附加所抽出的结构信息的形式。其它形式是一种按时间区划分割检索信息，分别由分割后的检索信息组成的形式。由于可以选择使小单位检索信息以一形式及其它形式中的哪一种形成，因而可以根据联机检索、脱机检索等的检索方式，选择最佳的小单位检索信息，所以可以实现效率良好的检索。

本发明的其它方面下的检索信息管理装置为把具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理，具备有第1及第2形成部和选择部。

第1形成部将检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素分离并从检索信息取出，将与所取出的1个或多个检索信息要素对应的结构信息从检索信息抽出，通过将所取出的1个或多个检索信息要素和所抽出的对应的结构信息按规定形式排列，形成小单位检索信息。

第2形成部按照基于树形结构的时间划分对检索信息进行分割，从分割后的各检索信息形成小单位检索信息。

选择部根据所希望的检索方式，选择是由第1形成部及第2形成部的哪一个来形成小单位检索信息。

因此在把具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理时，可根据所希望的检索方式，按一形式或其它形式形成。一形式是考虑了检索信息的类别的形式。详细地说表示将检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素取出，将与所取出的1个或多个检索信息要素对应的结构信息抽出，将1个或多个检索信息要素和对应的结构信息按规定形式排列。其它形式表示按基于树形结构的时间区划分割检索信息，分别由分割后的检索信息形成。可以选择使小单位检索信息以一形式及其它形式中的哪一种形成，因而可以根据联机检索、脱机检索等的检索方式，选择最佳的小单位检索信息，可以实现效率良好的检索。

本发明的其它方面涉及的检索信息管理方法为把具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理，具有分离步骤、结构信息抽出步骤及单位检索信息形成步骤。

在分离步骤中，把检索信息分离为表示运动图像内容的结构的结构检索信息、表示运动图像内容的语义内容中特征的语义检索信息、表示运动图像内容的信号上物理特征的信号检索信息并输出。

在结构信息抽出步骤中，分解从分离步骤输出的结构检索信息，从分解后的结构检索信息把与语义检索信息及信号检索信息的至少1个对应的信息作为结构信息抽出。

在单位检索信息形成步骤中，在从分离步骤输出的语义检索信息及信号检索信息的至少1个内，附加由结构信息抽出步骤抽出的对应的结构信息，形成小单位检索信息。

因此由于可以把从检索信息分离出的语义检索信息及信号检索信息的至少1个内附加了由结构信息抽出部抽出的对应的结构信息的小单位检索信息作为运动图像内容的检索信息，因而可减少检索信息量。因此在运动图像内容检索时形成检索者请求的小单位检索信息，传送到请求源的场合下，可减少应传送的检索信息量。

本发明的其它方面涉及的检索信息管理方法为把具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理，具有分离步骤、结构信息抽出步骤及单位检索信息形成步骤。

在分离步骤，检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素被分离并从检索信息取出。在结构信息抽出步骤，将与由分离步骤取出的1个或多个检索信息要素对应的结构信息从检索信息抽出。在单位检索信息形成步骤，通过将由分离步骤取出的1个或多个检索信息要素和由结构信息抽出步骤抽出的对应的结构信息按规定形式排列，形成小单位检索信息。

因此由于小单位检索信息通过将与从源检索信息取出的1个或多个检索信息要素对应的结构信息按规定形式排列来形成，因而可容易地特定小单位检索信息中包含的检索信息要素，可易于利用实行运动图像内容检索时的小单位检索信息。

本发明其它方面涉及的检索信息管理方法为从具有与运动图像内容对应的树形结构的检索信息形成小单位检索信息进行管理，具有记录位置信息抽出步骤、结构信息抽出步骤、单位检索信息形成步骤。

记录位置信息抽出步骤分别对检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素，抽出表示了该检索信息要素被记录的位置的记录位置信息。结构信息抽出步骤中，从检索信息抽出与1个或多个检索信息要素对应的结构信息。在单位检索信息形成步骤中，通过将由与1个或多个检索信息要素分别对应的记录位置信息抽出步骤抽出的记录位置信息及由结构信息抽出步骤抽出的结构信息按规定形式排列，形成小单位检索信息。

因此由于可由配置于小单位检索信息的记录位置信息特定小单位检索信息所表示的1个或多个检索信息要素，因而可易于实行运动图像内容检索时的检索信息要素的利用。在为检索运动图像内容而请求了小单位检索信息时，在向请求源传送小单位检索信息的场合下，即使不传送检索信息要素本身，也可由请求源所接收的小单位检索信息的记录位置信息特定所希望的检索信息要素，而且通过适宜地向请求源只传送所希望的检索信息要素，可进行有效的检索。

本发明的其它方面涉及的检索信息管理方法为把具有与运动图像内容对应的树形结构的检索信息分割成小单位检索信息进行管理，具有第1及第2检索信息分割步骤和分割选择步骤。

在第1检索信息分割步骤中，将检索信息分割为表示运动图像内容的结构的结构检索信息、表示运动图像内容的语义内容中特征的语义检索信息、表示运动图像内容的信号上物理特征的信号检索信息，从通过分割所获得的结构检索信息将与语义检索信息及各信号检索信息对应的信息作为结构信息抽出，把所抽出的结构信息分别附加到通过分割得到的语义检索信息及信号检索信息，形成小单位检索信息。

在第2检索信息分割步骤中，按照基于树形结构的时间划分对检索信息进行分割，从分割后的各检索信息形成小单位检索信息。

在分割选择步骤中，根据所希望的检索方式，选择是由第1检索信息分割步骤及第2检索信息分割步骤的哪一个对检索信息进行分割。

因此在把具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理时，可根据所希望的检索方式，形成一形式的小单位检索信息或其它形式的小单位检索信息。一形式是考虑了检索信息的类别的形式。具体地说是一种把检索信息分别分割为结构检索信息、语义检索信息及信号检索信息，从分割后获得的结构检索信息抽出与语义检索信息及信号检索信息分别对应的结构信息，在语义检索信息及信号检索信息中分别附加所抽出的结构信息的形式。其它形式是一种按时间区划分割检索信息，分别由分割后的检索信息组成的形式。由于可以选择使小单位检索信息以一形式及其它形式中的哪一种形成，因而可以根据联机检索、脱机检索等的检索方式，选择最佳的小单位检索信息，所以可以实现效率良好的检索。

本发明其它方面涉及的检索信息管理方法为把具有与运动图像内容对应的树形结构的检索信息分割成小单位检索信息进行管理，具有第1和第2形成步骤及选择步骤。第1形成步骤中，将由1个或多个子树所提供的1个或多个检索信息要素从检索信息分离并取出，将与所取出的1个或多个检索信息要素对应的结构信息从检索信息抽出，通过将所取出的1个或多个检索信息要素和所抽出的对应的结构信息按规定形式排列，形成小单位检索信息。这里，子树由检索信息中包含的同种要素，即树形结构中的叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成。

在第2形成步骤中，按照基于树形结构的时间划分对检索信息进行分割，从分割后的各检索信息形成小单位检索信息。

在选择步骤中，根据所希望的检索方式，选择是由第1形成步骤及第2形成步骤的哪一个来形成小单位检索信息。

因此在把具有与运动图像内容对应的树形结构的检索信息分割为小单位检索信息进行管理时，可根据所希望的检索方式，按一形式或其它形式形成。一形式是考虑了检索信息的类别的形式，详细地说表示将由1个或多个上述子树所提供的1个或多个检索信息要素取出，将与所取出的1个或多个检索信息要素对应的结构信息抽出，将1个或多个检索信息要素和对应的结构信息按规定形式排列。其它形式表示按基于树形结构的时间区划分割检索信息，分别由分割后的检索信息形成。可以选择使小单位检索信息以一形式及其它形式中的哪一种形成，因而可以根据联机检索、脱机检索等的检索方式，选择最佳的小单位检索信息，可以实现效率良好的检索。

本发明的其它方面涉及的检索装置为基于通过分割具有与运动图像内容对应的树形结构的检索信息而获得的小单位检索信息执行检索，配备保持小单位检索信息的保持部和利用小单位检索信息执行运动图像内容检索的检索执行部。小单位检索信息是分别由表示运动图像内容的语义内容中特征的语义检索信息及表示运动图像内容的信号上物理特征的信号检索信息形成的小单位检索信息的至少1个，而且包含从表示运动图像内容结构的结构检索信息获得的结构信息。

因此小单位检索信息包含由表示运动图像内容的语义内容中特征的语义检索信息及表示运动图像内容的信号上物理特征的信号检索信息的至少一方及运动图像内容的结构信息而形成。因此通过在运动图像内容检索时利用与语义检索信息或信号检索信息的所希望信息对应的小单位检索信息，可效率良好地进行检索。

本发明的其它方面涉及的检索装置为基于分割了具有与运动图像内容对应的树形结构的检索信息的小单位检索信息执行检索，配备保持小单位检索信息的保持部和利用小单位检索信息执行运动图像内容检索的检索执行部。该小单位检索信息是通过把从检索信息分离取出的检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素及与从检索信息抽出的1个或多个检索信息要素对应的结构信息按规定形式排列来形成。

因此由于将检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素取出，并抽出与所取出的1个或多个检索信息要素对应的结构信息，将1个或多个检索信息要素及对应的结构信息按规定的形式排列，利用由此而形成的小单位检索信息执行检索，因此易于特定小单位检索信息中包含的检索信息要素，可进行效率良好的检索。

本发明其它方面涉及的检索装置为基于从具有与运动图像内容对应的树形结构的检索信息形成的小单位检索信息执行检索，具备保持小单位检索信息的第1保持部；第2保持部，其保持利用小单位检索信息所得到的1个或多个检索信息要素；检索执行部，其利用小单位检索信息及1个或多个检索信息要素执行运动图像内容的检索。该小单位检索信息是通过关于检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素的每一个，将表示了该检索信息要素被记录的位置的记录位置信息及从检索信息抽出的对应的结构信息按规定形式排列来形成。

因此由于利用检索信息中包含的同种要素，即由树形结构中的1个或多个叶或树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素的各自的记录位置信息及结构信息按规定形式排列而形成的小单位检索信息执行检索，因而易于特定由小单位检索信息中的记录位置信息指示的检索信息要素，而且根据情况只适宜地取得必要最小限检索信息要素，由此可进行有效的检索。

本发明的其它方面涉及的检索信息管理装置具备位置计算部和复原部。

在位置计算部中，由于从通过对具有与运动图像内容对应的树形结构的检索信息进行分割而获得的小单位检索信息使具有树形结构的检索信息的一部分复原，因而可以从小单位检索信息中包含的结构信息求出与小单位检索信息中包含的语义检索信息或信号检索信息对应的树形结构中的位置。

在复原部中，从小单位检索信息中包含的语义检索信息或信号检索信息及所求出的树形结构中的位置使具有树形结构的检索信息的一部分复原。

该小单位检索信息是分别由表示运动图像内容的语义内容中特征的语义检索信息及表示运动图像内容的信号上物理特征的信号检索信息形成的小单位检索信息的至少1个，而且包含从表示运动图像内容结构的结构检索信息获得的结构信息。

因此小单位检索信息包含由表示运动图像内容的语义内容中特征的语义检索信息及表示运动图像内容的信号上物理特征的信号检索信息的至少一方及运动图像内容的结构信息而形成。因此通过利用与所希望的语义检索信息或信号检索信息对应的小单位检索信息，使具有树形结构的检索信息的一部分复原，可按树形结构只对少量的检索信息进行管理。

本发明的其它方面涉及的检索信息管理装置具备位置计算部及复原部。

在位置计算部中，由于从通过对具有与运动图像内容对应的树形结构的检索信息进行分割而获得的小单位检索信息使具有树形结构的检索信息的一部分复原，因而从小单位检索信息中包含的结构信息求出与小单位检索信息中包含的1个或多个检索信息要素对应的树形结构中的位置。

复原部中，从小单位检索信息中包含的1个或多个检索信息要素及所求出的树形结构中的位置使具有树形结构的检索信息的一部分复原。

该小单位检索信息通过将由1个或多个子树提供的1个或多个检索信息要素及与从检索信息中抽出的1个或多个检索信息要素对应的结构信息按规定形式排列来形成。这里，子树由从检索信息分离取出的检索信息中包含的同种要素，即树形结构中的叶或树形结构中的节及在该节以下连接的叶或节的任意集合而组成。

因此小单位检索信息通过将作为检索信息中包含的同种要素，由1个或多个上述子树提供的1个或多个检索信息要素及对应的结构信息按规定形式排列来形成。

因此通过利用与所希望的检索信息要素对应的小单位检索信息，使具有树形结构的检索信息的一部分复原，可按树形结构只对少量的检索信息进行管理。

本发明的其它方面涉及的检索信息管理装置具备位置计算部、检索信息要素取得部、复原部。

在位置计算部中，为基于从具有与运动图像内容对应的树形结构的检索信息形成的小单位检索信息，使具有树形结构的检索信息的一部分复原，从小单位检索信息中包含的结构信息求出由小单位检索信息中包含的记录位置信息表示的1个或多个检索信息要素所对应的树形结构中的位置。

在检索信息要素获取部中，基于小单位检索信息中包含的记录位置信息获取对应的1个或多个检索信息要素。在复原部中，从所获取的1个或多个检索信息要素及所求出的树形结构中的位置使具有树形结构的检索信息的一部分复原。

小单位检索信息通过对由1个或多个子树提供的1个或多个检索信息要素的每一个，将表示了该检索信息要素被记录的位置的记录位置信息及从检索信息抽出的对应的结构信息按规定形式排列来形成。这里，子树由检索信息中包含的同种要素，即树形结构中的叶或树形结构中的节及在该节以下连接的叶或节的任意集合而组成。

因此由于小单位检索信息通过将由检索信息中包含的1个或多个上述子树提供的1个或多个检索信息要素各自的记录位置信息及所对应的结构信息按规定形式排列来形成，因而通过利用由与所希望的检索信息要素对应的记录位置信息组成的小单位检索信息，使具有树形结构的检索信息的一部分复原，可按树形结构只对少量的检索信息进行管理。

附图说明

图1是本发明实施方式1及2涉及的检索信息管理装置的概略构成图。

图2是表示具有本发明的实施方式1中采用的树形结构的检索信息的附图。

图3是表示本发明实施方式1涉及的检索信息管理装置中的语义单位检索信息形成部及信号单位检索信息形成部的内部构成的附图。

图4A～图4C是表示本发明的实施方式1中通过分割得到的语义检索信息的单位检索信息的附图。

图5A～图5C是表示本发明的实施方式1中通过分割得到的信号检索信息的单位检索信息的附图。

图6是表示本发明的实施方式1涉及的检索信息管理方法的流程图。

图7是本发明实施方式1及2涉及的检索装置的概略构成图。

图8A～图8D是表示本发明的实施方式2中形成的语义检索信息及信号检索信息各自的单位检索信息的附图。

图9是本发明实施方式3涉及的检索信息管理装置的概略构成图。

图10是说明运动图像内容的一般结构的附图。

图11是以树形结构表示了图10的运动图像内容中附加的检索信息的附图。

图12是说明图10的运动图像内容的检索信息的记录方式的附图。

图13A～图13D是表示具有传统的树形结构的检索信息的分割的附图。

图14是表示具有传统的树形结构的检索信息的管理方法的附图。

实施方式

参照附图对本发明的各实施方式作以说明。

(实施方式1)

图1表示本实施方式的检索信息管理装置1的功能结构。图1中，检索信息管理装置1包含检索信息解析部101、结构检索信息分解部102、语义单位检索信息形成部103、信号单位检索信息形成部104、单位检索信息控制部105。检索信息解析部101输入具有与运动图像内容对应的树形结构的检索信息15，将所输入的检索信息15分离为结构检索信息的1个以上的检索信息要素152、语义检索信息的1个以上的检索信息要素153及信号检索信息的1个以上的检索信息要素154，予以甄选并输出。

结构检索信息分解部102接收从检索信息解析部101输出的1个以上的结构检索信息要素152，从所接收的检索信息要素152取出必要的最小限的结构信息50，输出到语义单位检索信息形成部103及信号单位检索信息形成部104。更详细地说，结构检索信息分解部102输入所分配的1个以上的结构检索信息要素并予以分解，从分解后的1个以上的结构检索信息要素的内容将与语义检索信息及信号检索信息的至少1个对应的信息作为最小限的结构信息50抽出。

图2表示具有本实施方式中采用的树形结构检索信息。为简化说明，假设在该检索信息15中，结构检索信息要素152只由各场景及各镜头的节点ID信息及时刻信息组成，语义检索信息要素153只由各场景的情景描写信息和各镜头出场人物信息及行动描写信息组成，信号检索信息要素154只由各场景的代表颜色信息和各镜头的颜色频率信息及活动强度信息组成。此外实际的检索信息15除此之外还有多种检索信息要素，本发明也可同样适用于这些多种检索信息要素。

结构检索信息分解部102作为必要的最小限结构信息50，选择结构化信息(节点ID等)50A及结构属性信息(时刻信息等)50B的任意一方，或选择两方予以取出。作为结构信息50选择哪个信息将取决于采用随后得到的各单位检索信息实行的检索的方式。

在选择了结构化信息50A的场合下，可实行在运动图像内容所具有的阶层结构及运动图像整体中的各场景、镜头相互的关系等中加权了的检索。在选择了结构属性信息50B的场合下，可实行当场取出与检索结果对应的运动图像内容内的部位并予以显示等的检索。

对结构化信息50A做更详细的说明。所谓结构化信息50A是用于形成检索信息的树形结构的信息，是可使原树形结构复原的信息。作为本实施方式所示的结构化信息50A的节点ID信息表示节ND之间的接续关系(「#1-1」、「#1-2」是与「#1」接续的子节ND等)，利用该信息可使原树形结构复原。因而在使原树形结构复原所必需的检索中，结构化信息50A被作为结构信息选择。

此外图2中虽然在相当于各检索信息要素的叶RF中未附加ID信息，但对各叶RF也可以分配ID信息。作为结构化信息50A，除此之外也可以在树形结构中的各「枝」(使根R、节ND、叶RF相互接续起来的棒部分)中分配代码，通过从根R至某个节ND或叶RF之间的枝的代码，分配该节ND或叶RF的位置信息。

此外由于从结构检索信息要素152抽出的结构信息50是必要的最小限信息，因而在必要时也可以削除冗长的信息，进行信息压缩。比如，在作为结构信息50，采用了作为结构化信息50A的节点ID信息的场合下，由于「#1-1」下一个的「#1-2」与作为上位节ND的节点ID的「#1」相同，因而可省略「#1」，只把称为「2」的信息作为结构信息50分配。此外，如果知道「1」之后一定有「2」(一定增加1)，则也可生成相当于「增加1」的差分信息，作为结构信息50分配。抽出必要最小限的结构信息50的方法并不局限于此。

语义单位检索信息形成部103输入从检索信息解析部101提供的语义检索信息要素153、从结构检索信息分解部102提供的必要最小限的结构信息50，对所输入的这些信息进行排列，形成语义检索信息的单位检索信息153A。

图3表示图1的语义单位检索信息形成部103的内部结构。在图3中语义单位检索信息形成部103具有要素类别判定部201、检索信息排列部202及共同信息抽出部203。这里，按检索信息要素153各类别，边保持这些树形结构中的出现顺序关系，边对与检索信息15的树形结构中的同种节ND(或根R)接续的同种的检索信息要素153(叶RF)进行排列，形成单位检索信息153A。即，要素类别判定部201受理了从检索信息解析部101提供的语义检索信息的检索信息要素153后，边判定该类别(类别表示出场人物信息、行动描写信息等的不同信息的种类)，边将所受理的各检索信息要素153与判定结果一同输出到检索信息排列部202及共同信息抽出部203。检索信息排列部202基于从要素类别判定部201提供的信息，按各类别与由结构检索信息分解部102取出的对应的必要最小限的结构信息50一同对检索信息要素153进行排列，形成单位检索信息153A。此时，与由检索信息排列部202形成的各类别的单位检索信息153A中分别包含的检索信息要素153相同的信息(比如表示检索信息要素153的类别的信息等)153B由共同信息抽出部203抽出，被提供到检索信息排列部202，因而检索信息排列部202在所形成的单位检索信息153A的前端配置从共同信息抽出部203提供的共同信息153B。作为共同信息153B，除此之外，也可使用表示语义检索信息要素153的格式及数据长度的信息等，对作为共同信息153B使用的信息没有特别限制。

也可以从由结构检索信息分解部102取出的结构信息50或源结构检索信息要素152，由共同信息抽出部203将各检索信息要素与相同阶层的节接续场合下的阶层信息等可共同化的信息抽出，作为附属的共同信息153B配置到单位检索信息的前端。

此外如果基于从该结构信息50或结构检索信息要素152获得的节ND的阶层信息，可以由附加了同一要素类别的节ND的阶层对互相不同的语义检索信息要素153进行区别，逐个形成只由分别附属于同一阶层的语义检索信息要素153组成的单位检索信息153A。

对于配置共同信息153B的位置也同样不限定于单位检索信息153A的前端，可配置到单位检索信息153A的最后端，也可配置到单位检索信息153A内，或者共同信息153B在其它记录场所也可以与表示单位检索信息153A与该共同信息153B的对应关系的信息一同被记录。基于共同信息153B及共同信息抽出部203的处理也可被省略。

图4A～图4C是表示从具有图2的树形结构的检索信息15取出作为语义检索信息要素153的情景描写信息、出场人物信息及行动描写信息，将与所取出的这些语义检索信息要素153对应的结构信息50与共同信息153B一同排列所形成的单位检索信息153A的附图。

此外在图4A～图4C的单位检索信息153A中，表示以使语义检索信息要素153与对应的结构信息50成对的形式进行交互排列的示例，但与语义检索信息要素153对应的结构信息50的排列形式并不限定于此。比如，可以采取首先只统一排列结构信息50，然后对于对应的语义检索信息要素153进行连续排列的形式，或也可以与之相反。除了保持树形结构中的出现顺序关系进行排列以外，没有有关排列形式的限制。

在从由结构检索信息分解部102取出的结构信息50或结构检索信息要素152抽出针对语义检索信息要素153的共同信息153B的场合下，作为与语义检索信息要素153分别对应的结构信息50，也可采用表示了与共同信息153B的差分的差分信息(不能共同化的信息)。

在作为结构信息50采用了结构化信息50A的节点ID信息的场合下，可按以下顺序形成单位检索信息153A。比如，对于具有「#1-1」的节点ID的节ND及具有「#1-2」的节点ID的节ND，可以把与共同的上位节ND的节点ID相当的信息「#1」作为共同信息153B取出，在单位检索信息153A中只附加1个，把减去了共同信息「#1」的节点ID的差分信息「1」及「2」分别作为与语义检索信息要素153分别对应的结构信息50排列。

或者也可以考虑1个阶层，把该节ND的阶层信息作为共同信息予以附加，把表示与该阶层的差分的信息(表示1个以上的阶层或1个以下的阶层的信息等)附加到各语义检索信息要素153。此时在没有差分的语义检索信息要素153中，也可以省略有关阶层信息的附加信息。除此之外作为附加到各语义检索信息要素153的信息，可以是表示了是否存在与该场景或其镜头相应的语义检索信息要素153的标志，或者也可以是表示使用语义检索信息要素153时的重要度等的信息，对附加到各语义检索信息要素153的信息没有特别限制。

信号单位检索信息形成部104从检索信息解析部101接收信号检索信息的1个以上的检索信息要素154，从结构检索信息分解部102接收所提供的必要最小限结构信息50，对所接收的检索信息要素154及结构信息50进行排列，形成信号检索信息的1个以上的单位检索信息154A并输出。信号单位检索信息形成部104的内部结构也与图3的结构相同。这里，按信号检索信息要素154的各类别，边保持这些树形结构中的出现顺序关系，边对与检索信息15的树形结构中的同种节ND(或根R)接续的同种的信号检索信息要素154(叶RF)进行排列，由此形成1个以上的单位检索信息154A并输出。即，图4的要素类别判定部201受理了信号检索信息要素154后，判定所受理的各信号检索信息要素154的类别(颜色频率信息及活动强度信息等的不同信息的种类)，将判定结果与信号检索信息要素154输出到检索信息排列部202及共同信息抽出部203。检索信息排列部202基于所提供的信息，按各类别将信号检索信息要素154与从结构检索信息分解部102提供的对应的必要最小限结构信息50一同进行排列，形成1个以上的单位检索信息154A并输出。此时，共同信息抽出部203基于所提供的信息，将由检索信息排列部202形成的单位检索信息154A中分别包含的信号检索信息要素154相同的信息(比如表示信号检索信息要素154的类别的信息等)154B从信号检索信息要素154抽出，提供到检索信息排列部202，因而检索信息排列部202将从共同信息抽出部203提供的共同信息154B配置到单位检索信息154A的前端。作为共同信息154B，除此之外，也可使用信号检索信息要素154的数据格式、颜色频率信息的取样数及数据长度等，对作为共同信息154B使用的信息没有特别限制。

也可以从由结构检索信息分解部102取出的结构信息50或原结构检索信息要素152，由共同信息抽出部203将各检索信息要素与相同阶层的节接续场合下的阶层信息等的可共同化的信息抽出，作为附属的共同信息154B配置到信号单位检索信息154A的前端。

此外如果基于从该结构信息50或结构检索信息要素152获得的节ND的阶层信息，可以由附加了同一要素类别的节ND的阶层对互相不同的信号检索信息要素154进行区别，逐个形成只由分别附属于同一阶层的信号检索信息要素154组成的单位检索信息154A。

对于配置共同信息154B的位置也没有特别限制。比如共同信息154B可被配置到单位检索信息154A的最后端，也可配置到单位检索信息154A内。也可以在其它记录部位将共同信息154B与表示该共同信息154B与单位检索信息154A的对应关系的信息一同记录。基于共同信息154B及共同信息抽出部203的处理也可被省略。

图5A～图5C的单位检索信息154A从具有图2的树形结构的检索信息15分别取出作为信号检索信息要素154的代表颜色信息、颜色频率信息及活动强度信息，将与所取出的这些信号检索信息要素154对应的结构信息50与共同信息154B一同排列而形成。

此外在图5A～图5C的单位检索信息154A中，表示以使信号检索信息要素154与对应的结构信息50成对的形式进行交互排列的示例，但与信号检索信息要素154对应的结构信息50的排列形式并不限定于此。比如，可以采取首先只统一排列结构信息50，然后对于对应的信号检索信息要素154进行连续排列的形式，或也可以与之相反。除了保持树形结构中的出现顺序关系进行排列以外，没有有关排列形式的限制。

在从由结构检索信息分解部102取出的结构信息50或结构检索信息要素152抽出针对信号检索信息要素154的共同信息154B的场合下，作为与信号检索信息要素154分别对应的结构信息50，也可采用表示了与共同信息154B的差分的差分信息(不能共同化的信息)。在作为结构信息50采用了结构化信息50A的节点ID信息的场合下，可按以下顺序形成单位检索信息154A。比如，对于具有「#1-1」的节点ID的节ND及具有「#1-2」的节点ID的节ND，可以把与共同的上位节ND的节点ID相当的信息「#1」作为共同信息154B取出，在单位检索信息154A中只附加1个，把减去了共同信息「#1」的节点ID的差分信息「1」及「2」分别作为与信号检索信息要素154分别对应的结构信息50排列。

或者也可以考虑1个阶层，该节ND的阶层信息作为共同信息154B附加到单位检索信息154A，把表示与该阶层的差分的信息(表示1个以上的阶层或1个以下的阶层的信息等)附加到各信号检索信息要素154。此时在没有差分的信号检索信息要素154中，也可以省略差分信息的附加。

除此之外作为各信号检索信息要素154的附加信息，可以是表示了是否存在与该场景或其镜头相应的信号检索信息要素154的标志，或者也可以是表示使用信号检索信息要素154时的重要度等的信息，对各信号检索信息要素154的附加信息没有特别限制。

包含由语义单位检索信息形成部103及信号单位检索信息形成部104生成的结构信息50的语义检索信息及信号检索信息的单位检索信息153A及154A提供到单位检索信息控制部105。

单位检索信息控制部105与检索信息管理装置1之外的处理部16接续。处理部16相当于用于传送信息的传送部及用于把信息记录蓄存到某个媒体的蓄存部及用于实行信息检索处理的部分等。在处理部16是传送部的场合下，检索信息管理装置1从单位检索信息153A及154A选择与来自传送部的请求等对应的1个以上的单位检索信息，提供到处理部16(传送部)。

参照图6的流程图，对本实施方式涉及的检索信息的管理方法作以说明。首先，由于指定应分割的检索信息15，因而检索信息解析部101输入被指定的检索信息15(步骤S1。以下步骤S简称为S)，将所输入的检索信息15按各检索信息要素分离，分别将分离后获得的结构检索信息要素152、语义检索信息要素153及信号检索信息要素154依次输出(S2)。判定依次获得的检索信息要素是相当于结构检索信息，还是相当于语义检索信息，还是相当于信号检索信息，基于判定结果，该检索信息要素被提供到结构检索信息分解部102、语义单位检索信息形成部103、信号单位检索信息形成部104的任意一个(S3)。

如果检索信息要素是结构检索信息，从该结构检索信息要素152抽出为形成语义检索信息及信号检索信息的单位检索信息153A及154A所必需的结构信息50(S4)，再进行检索信息要素的分离及读入(S2)。

如果检索信息要素是语义检索信息，对该类别再作判定(S5)，将该语义检索信息要素153与已抽出的结构信息50一同配置到一直排列至与其同一类别的语义检索信息要素153的排列的最后(S6)。

如果检索信息要素是信号检索信息，对该类别再作判定(S7)，将该信号检索信息要素154与已抽出的结构信息50一同配置到一直排列至与其同一类别的信号检索信息要素154的排列的最后(S8)。

在分别结束用于形成步骤S4～S8的单位检索信息153A及154A的处理的时点下，判定检索信息15是否结束(S9)，如果判定结果是结束，所形成的单位检索信息153A及154A被提供到单位检索信息控制部105，在此保持(S10)，如果未结束，再继续进行检索信息要素的分离及读入(S2)。

通过根据上述构成及流程图进行处理，可转送或可利用运动图像内容检索时所必需的最小限检索信息，可实行有效的检索。

图7表示本实施方式涉及的检索装置2的概略构成。如图7所示，由检索者18操作的检索装置2具有用于实行对运动图像内容的检索的检索执行部701、语义单位检索信息保持部702、信号单位检索信息保持部703及检索信息控制部704。检索执行部701根据由检索者18输入的检索请求，对由在语义单位检索信息保持部702中保持(记录)的语义单位检索信息153A及在信号单位检索信息保持部703中保持(记录)的信号单位检索信息154A中的1个以上组成的任意组合进行选择，获取基于所选择的组合的单位检索信息，利用所获取的单位检索信息实行检索。在应选择的单位检索信息未被保持在对应的单位检索信息保持部702及703的任意一个内的场合下，从检索执行部701向检索信息控制部704输出相应的单位检索信息的获取请求。

检索信息控制部704与传送部或蓄存部19接续。传送部或蓄存部19具有用于传送多种类单位检索信息的传送部或把多种类单位检索信息记录到预定的媒体并蓄存的蓄存部。检索信息控制部704在从检索执行部701输入单位检索信息的的获取请求后，根据该获取请求，从传送部或蓄存部19将与获取请求对应的单位检索信息通过传送或读出予以获取，把所获取的单位检索信息存储到单位检索信息保持部702及703中任意对应的一个。检索执行部701利用如此获取的单位检索信息实行检索。

比如，在认为基于运动图像内容的颜色特征的检索方法是最需要的场合下，检索者18请求颜色频率信息。或者检索者18也可以只输入「需要有关颜色的信息」的大致请求，检索执行部701对该请求进行判断，适当地实行「输出颜色频率信息的获取请求」。与该请求对应，将从颜色频率信息及最小限结构信息50形成的单位检索信息154A从传送部或蓄存部19获取。

基于从如此获取的结构信息及颜色频率信息形成的单位检索信息154A，检索执行部701执行检索。这样，可使检索时所传送的检索信息量与传统相比较少。这里所示的检索顺序只是一种示例，不限定于此。

对于所获取的单位检索信息被保持的期间没有特别限制。在比如实行检索的客户终端是便携型信息终端之类的小存储容量装置的场合下，所获取的单位检索信息可以每实行一次检索便被废弃，在具有足够的存储容量的终端的场合下，可在整个检索实行期间内持续保持。或者也可以进行在某一定期间保持单位检索信息，如果在该一定期间内没有访问，则废弃该单位检索信息的管理。

此外虽然在本实施方式所示的检索装置中，表示基于所形成的单位检索信息进行检索，但根据检索方式，有时也从所获得的单位检索信息使原树形结构检索信息(其一部分)复原，基于该复原后的树形结构检索信息进行检索。

根据本实施方式所示的检索信息管理装置形成的各单位检索信息包含结构信息，因而可利用结构信息(结构化信息)使原树形结构复原。即，从单位检索信息中包含的结构信息求出树形结构中的位置信息，在所求出的位置信息中表示的树形结构中的位置将单位检索信息中的对应的检索信息要素作为叶RF予以接续，由此树形结构被复原。从该单位检索信息向树形结构的复原除了用于检索之外，还用于通过传送径路狭窄的网络等将检索信息向他方传送时对树进行细微分解，将分解后的各内容发送到传送目的地，在接收侧使树复原，作为检索信息进行管理的场合。

图4A～图4C及图5A～图5C中所示的单位检索信息(153A、154A)是将检索信息要素(153、154)分别依次排列了的信息，各检索信息要素可以被耦合，各检索信息要素也可以按独立的形式保持。在后者场合下，根据请求，可以只把必要数量的检索信息要素(153、154)作为部分的单位检索信息(153A、154A)输出。

在图4A～图4C及图5A～图5C中，虽然采用图2的检索信息15中包含的全部同种检索信息要素(153、154)，形成单位检索信息(153A、154A)，但也可以只采用一部分检索信息要素，形成单位检索信息。所谓一部分包含在时间上连续排列的检索信息要素的部分集合(从整体看去的部分集合)、按一定间隔提取的子样本集合等。

本实施方式所示的检索信息15及检索信息要素(152、153、154)各自只是示例，检索信息及检索信息要素并不限定于此。检索信息15的树形结构也可以还有多个阶层，也可以反之由2个阶层(只有根R及1阶层的1个以上的节ND)组成。何种形式的树形结构都可以。检索信息要素无论是何种种类，都可适用本实施方式。

在本实施方式下，虽然把作为单位检索信息集中的检索信息要素当作相当于颜色频率信息等树形结构中的一个一个的「叶」的各个信息，但并不限定于此。比如，也可以把汇总了与颜色频率信息及代表颜色信息等多个「颜色」相关的信息的「颜色信息」作为1个要素，将其作为检索信息要素形成单位检索信息。

在该场合下，各颜色频率信息及各代表颜色信息相当于树形结构中的「叶RF」，「颜色信息」相当于在下位具有了这些叶RF的「节ND」。即，在本实施方式中，形成单位检索信息的各检索信息要素不局限于相当于树形结构中的「叶RF」的各细分检索信息，也可以是基于可看作某种集合的「节ND」以下的细分检索信息的任意集合。

此时，在某节ND以下连接的叶RF或节ND的任意集合(各节ND进一步与下位的叶RF或节ND连接)中，把最初的节ND作为根R，形成树形，该树相对原树被称为「子树」。即，也可以把与表示检索信息的树形结构中的上述「子树」对应的检索信息部分作为检索信息要素来采用本实施方式。

在本实施方式涉及的检索信息管理装置1及检索信息管理方法中，虽然为将具有树形结构的检索信息15中包含的所有检索信息要素(153、154)同样取出，使与所取出的检索信息要素分别对应的全部单位检索信息(153A、154A)并行形成，传送所形成的所有单位检索信息，或为进行蓄存，或为提供给检索处理而进行管理，但也可以只取出特定种类的检索信息要素，只形成与所取出的特定种类的检索信息要素对应的单位检索信息。

比如，只取出检索信息要素中的颜色频率信息，只形成与所取出的颜色频率信息对应的单位检索信息，由单位检索信息控制部105进行管理。在该场合下，由于在图1所示的检索信息管理装置1中，只有检索信息解析部101、结构检索信息分解部102、信号单位检索信息形成部104及单位检索信息控制部105发挥功能，因而可以省略语义单位检索信息形成部103。

这在本实施方式涉及的检索装置2中也同样。在假设在信号检索信息中只基于颜色频率信息实行检索，而且不需要语义检索信息的场合下，由于只有图7的检索装置2的检索执行部701、信号单位检索信息保持部703及检索信息控制部704发挥功能，因而可以省略语义单位检索信息保持部702。

这样，在取出检索信息15中的部分语义检索信息要素153或信号检索信息要素154，利用所取出的检索信息要素(153或154)形成对应的单位检索信息(153A或154A)的场合下，这些检索信息要素(153或154)被取出后剩下的检索信息15可以在保持树形结构不变的情况下被利用。

即在该场合下，表示了原检索信息15的树被分解为由原树的一部分组成的部分树和由多个语义检索信息要素153组成的1个或多个单位检索信息153A或由多个信号检索信息要素154组成的1个或多个单位检索信息154A。在本发明中，根据在所取出的检索信息要素中选择何要素，可将具有树形结构的原检索信息15分解为各种形式。

此外在本实施方式中，将检索信息中的结构信息，即节ND或叶RF的树形结构中的位置信息等和表示检索信息要素的类别信息，即行动描写信息(语义检索信息要素153)及颜色频率信息(信号检索信息要素154)等的信息分别作为独立的信息作了说明。另一方面，在构成检索信息的检索信息要素被预先确定，树的结构是固定的检索信息的场合下，由于检索信息要素各自的树形结构中的位置被特定，因而可以只由结构信息表示检索信息要素的类别。即，结构信息和类别信息是等价的。在该场合下，作为与比如本实施方式中说明过的检索信息要素153及154对应的共同信息153B及154B而附加类别信息的处理也可以附加对应的共同结构信息来进行。

(实施方式2)

在实施方式1中，从具有树形结构的检索信息15分别将各种检索信息要素，即结构检索信息要素152、语义检索信息要素153及信号点检索信息要素154分解并取出，从取出的结构检索信息要素152抽出结构信息50，将所抽出的结构信息50与同种的语义检索信息要素153自身或同种的信号检索信息要素154自身按序排列，由此形成了语义单位检索信息153A或信号单位检索信息154A。

与此相对，在本实施方式中，在语义检索信息要素153及信号检索信息要素154分别被预先从检索信息15分离，个别记录的场合下，分别对语义检索信息要素153及信号检索信息要素154获取并非其自身而是表示了其记录位置的信息，将所获取的记录位置信息与结构信息一同按序排列，由此形成语义单位检索信息153E及信号单位检索信息154E。

在这种结构中，也可获得与在实施方式1中所获得的同样的效果。这里，对本实施方式涉及的检索信息管理装置1A及检索装置2A与实施方式1下的这些装置的不同点作以关注并进行说明。不过，虽然在这里省略有关本实施方式的详细说明，但对于它们，可同样适用有关实施方式1所示的检索信息管理装置1及方法以及检索装置2的详细说明。

本实施方式涉及的检索信息管理装置1A的概略构成与实施方式1同样用图1表示。检索信息管理装置1A的功能如下所述，与实施方式1有若干不同。

参照图1，检索信息管理装置1A包含检索信息解析部101A、结构检索信息分解部102、语义单位检索信息形成部103A、信号单位检索信息形成部104A、单位检索信息控制部105A。检索信息解析部101A调查具有与运动图像内容对应的树形结构的检索信息15，检索信息15中包含的结构检索信息要素152向结构检索信息分解部102输出，分别对语义检索信息要素153及信号检索信息要素154进行特定，同时对所特定的检索信息要素153及154分别抽出记录位置信息153D和154D。记录位置信息153D和154D分别表示所对应的语义检索信息要素153及信号检索信息要素154被分别记录的记录位置。然后，与单位检索信息153E及154E分别形成所必需的信息一同，与比如检索信息要素类别及树形结构中的阶层信息等信息一同，将语义检索信息要素153及信号检索信息要素154的记录位置信息153D和154D分别向语义单位检索信息形成部103A及信号单位检索信息形成部104A输出。

记录位置信息153D和154D包含检索信息15被预先记录的记录媒体上的扇区位置及位码列中的数位位置的物理位置信息和存储了数据的文件名及数据传送时的信道、数据包的逻辑位置信息，没有特别限制。

由记录位置信息153D和154D表示的语义检索信息要素153及信号检索信息要素154在运动图像内容检索时等根据需要被个别读出加以利用。因此语义检索信息要素153及信号检索信息要素154分别被预先分离并个别记录的方法是较适用的。在许多现实中的服务器装置中，由于具有树形结构的检索信息15的结构检索信息要素152、语义检索信息要素153及信号检索信息要素154分别被以某种形式分离并记录，因而可以将分别相对被分离的语义检索信息要素153及信号检索信息要素154的记录位置作为记录位置信息153D和154D按原样使用。

在具有树形结构的检索信息15被按原样记录，未分别被预先分离为检索信息要素152、153及154的场合下，由检索信息解析部101A对检索信息要素152、153及154进行分离，记录检索信息要素153及154，同时生成其记录位置信息153D和154D。

在结构检索信息分解部102，从检索信息解析部101A输入结构单位检索信息要素152，从所输入的检索信息要素152取出必要的最小限结构信息50，分别提供到语义单位检索信息形成部103A及信号单位检索信息形成部104A。

在语义单位检索信息形成部103A，从结构检索信息分解部102输入必要最小限结构信息50，从检索信息解析部101A输入同种的语义检索信息要素153的各自的记录位置信息153D，对所输入的这些信息按语义检索信息要素153的各种类别，边保持对应的语义检索信息要素153的树形结构中的出现顺序关系边进行排列，由此形成由语义检索信息要素153的记录位置信息153D组成的语义检索信息的单位检索信息153E。

在信号单位检索信息形成部104A，从结构检索信息分解部102输入必要最小限结构信息50，从检索信息解析部101A输入同种的信号检索信息要素154的各自的记录位置信息154D，对所输入的这些信息按信号检索信息要素154的各种类别，边保持对应的信号检索信息要素154的树形结构中的出现顺序关系边进行排列，由此形成由信号检索信息要素154的记录位置信息154D组成的信号检索信息的单位检索信息154E。

在图8A～图8D中，例示了本实施方式涉及的语义单位检索信息153E及信号单位检索信息154E。在图8A及图8B中，作为语义检索信息要素153，例示了各场景的情景描写信息及各镜头的出场人物信息，在图8C及图8D中，作为信号检索信息要素154例示了各场景的代表颜色信息及各镜头的活动强度信息。

如同对图8A～图8D和图4A～图4C及图5A～图5C进行比较可以看出的那样，除了构成单位检索信息的要素被从检索信息要素(153、154)自身替换为记录位置信息(153D、154D)以外，在本实施方式中形成的单位检索信息(153E、154E)与实施方式1中形成的单位检索信息(153A、154A)是相同的。

因此，所处理的共同信息的类别及抽出方法等与实施方式1中说明的相同，也适用于本实施方式。这样，在实施方式1中获得的同样效果在本实施方式中也能得到。

单位检索信息控制部105A在与处理部16接续，而且比如处理部16是传送部的场合下，根据来自传送目的的请求等传送对应的单位检索信息。在本实施方式中的单位检索信息控制部105A中，受理基于已经传送的单位检索信息中包含的语义或信号检索信息要素153或154的记录位置信息153D或154D的请求，将由与该请求对应的记录位置信息153D或154D表示的语义或信号检索信息要素153或154取出，传送到请求源。

虽然在本实施方式中未表示，有关从结构检索信息要素152取出并使用的各种结构信息50，也可以作为将并非结构信息50的数据自身，而是与上述语义检索信息要素153及信号检索信息要素154同样表示记录位置的信息取出，利用所取出的记录位置信息形成单位检索信息。

即在该场合下，从结构信息50的记录位置信息及语义检索信息要素153的记录位置信息153D形成语义单位检索信息，从结构信息50的记录位置信息及信号检索信息要素的记录位置信息154D形成信号单位检索信息。

本实施方式涉及的检索装置2A的概略构成与实施方式1同样用图7表示。不过检索装置2A的功能如下所述与实施方式1有若干不同。

本实施方式涉及的检索装置2A具备检索执行部701A、语义单位检索信息保持部702A、信号单位检索信息保持部703A、检索信息控制部704A。语义单位检索信息保持部702A及信号单位检索信息保持部703A分别具有以下功能：即除了分别保持单位检索信息153E及154E，还对分别基于已获得的单位检索信息153E及154E中分别包含的记录位置信息153D及154D获得的检索信息要素153及154在每次检索执行中进行暂时保持，或在整个检索执行期间进行持续保持。

检索执行部701A根据从检索者18输入的检索请求，选择语义单位检索信息保持部702A及信号单位检索信息保持部703A中保持的各种检索信息要素的1个或多个任意组合，获取基于所选择的组合的检索信息要素，利用所获取的1个以上的检索信息要素实行运动图像内容的检索。

在单位检索信息保持部702A及703A各自中的检索信息要素的保持按每次检索执行废弃的暂时保持的场合下，检索执行部701A对单位检索信息保持部702A及703A，并非由检索信息要素请求，而是如下所述由单位检索信息请求开始检索。虽然这里为简化说明，以通过请求语义单位检索信息153E而开始的检索为例，但对于请求了信号单位检索信息154E的场合，以及请求了语义单位检索信息153E及信号单位检索信息154E的场合也同样。

在所选择的语义检索信息要素153未被保持到对应的语义单位检索信息保持部702A的场合下，检索执行部701A对语义单位检索信息保持部702A请求对应的单位检索信息153E。

在已将所请求的单位检索信息153E从对应的语义单位检索信息保持部702A获取的场合下，检索执行部701A将所获取的单位检索信息153E与检索信息要素的获取请求一同提供到检索信息控制部704A。检索信息控制部704A基于所提供的单位检索信息153E中包含的记录位置信息153D，从传送部或蓄存部19获取相应的语义检索信息要素153，将所获取的语义检索信息要素153存储到对应的语义单位检索信息保持部702A。检索执行部701A利用如此获取的语义检索信息要素153执行检索。

在由于所请求的单位检索信息153E未被保持到对应的语义单位检索信息保持部702A，因而不能获取的场合下，检索执行部701A首先向检索信息控制部704A提出该单位检索信息153E的获取请求。检索信息控制部704A输入该获取请求后，根据所输入的获取请求，从传送部或蓄存部19获取相应的单位检索信息153E，将所获取的单位检索信息153E存储到对应的语义单位检索信息保持部702A。接着，检索执行部701A将所获取的单位检索信息153E与检索信息要素的获取请求一同提供到检索信息控制部704A。检索信息控制部704A基于所提供的单位检索信息153E中包含的记录位置信息153D，从传送部或蓄存部19获取相应的语义检索信息要素153，将所获取的语义检索信息要素153存储到对应的单位检索信息保持部702A。检索执行部701A利用如此获取的语义检索信息要素153执行运动图像内容(由传送部或蓄存部19准备的运动图像内容的数据)的检索。

从上述说明可知，将本实施方式的检索装置2A与实施方式1的检索装置2进行比较，其不同点在于，关于检索信息的获取，进行从单位检索信息获取检索信息要素的记录位置信息，从所获取的记录位置信息获取对应的检索信息要素的2阶段获取。除此之外的处理在两者中是同样的。因此在实施方式1中得到的同样效果在本实施方式中也能得到。

与由各种检索信息要素自身组成的单位检索信息相比，根据只由记录位置信息组成的本实施方式所涉及的单位检索信息，应记录的信号量较少也可以。因此在检索者利用存储容量小的便携式信息终端等客户终端实行检索的场合下，这种只将本实施方式的单位检索信息持续地保持到客户终端，在实行检索时利用单位检索信息从服务器装置(相当于图7的传送部或蓄存部19)只获取必要的检索信息要素的检索方式是有效的。在该服务器装置中，具有记录有运动图像内容数据及被预先分离为检索信息要素的检索信息15的数据，根据来自外部的请求，读出运动图像内容数据或检索信息15的数据，向请求源输出的功能。

因此，可从单位检索信息容易地获知服务器装置上存在什么样的检索信息，通过只传送必要的检索信息提高检索的执行效率。

在上述的说明中，虽然单位检索信息通过传送部或蓄存部19被获取的定时基于检索者18的请求，但并不局限于此，比如，在检索开始时，客户终端可只自动获取各种单位检索信息等。对于单位检索信息的获取或废弃的定时没有限制。

在上述说明中，虽然将基于单位检索信息及单位检索信息中的记录位置信息获取的检索信息要素的保持期间设为每实行一次检索便废弃的暂时形式或在整个检索执行期间持续保持的形式，但并不局限于此，比如，也可进行在某一定期间保持，在一定期间内如没有访问便废弃的管理。对检索信息要素的保持期间没有限制。而且，对单位检索信息的保持期间也没有限制。

此外在本实施方式所示的检索装置中，虽然所表示的是基于所形成的单位检索信息进行检索，但在有的场合下也根据检索方式，从所获得的单位检索信息使原树形结构检索信息(其一部分)复原，基于复原的该树形结构检索信息进行检索。由本实施方式所示的检索信息管理装置形成的各单位检索信息由于包含结构信息，因而可以利用结构信息(结构化信息)使原树形结构复原。即从单位检索信息中包含的结构信息求出树形结构中的位置信息，在该位置信息所示的树形结构中的位置获取由单位检索信息中的对应的记录位置信息所示的检索信息要素，作为叶RF接续，由此树形结构被复原。从该单位检索信息向树形结构的复原除了用于检索之外，还用于通过传送径路狭窄的网络等将检索信息向他方传送时对树进行细微分解，将分解后的各内容发送到传送目的地(他方)，在接收侧(他方)使树复原，作为检索信息进行管理的场合。

(实施方式3)

图9表示本实施方式涉及的检索信息管理装置1B的概略构成。检索信息管理装置1B包含分割选择部901、第1检索信息分割部902、第2检索信息分割部903及单位检索信息控制部904。在分割选择部901，对运动图像内容指定所希望的检索执行方式，即联机检索还是脱机检索的检索执行方式。根据被指定的检索执行方式选择检索信息15的分割方式，即通过分割所得到的单位检索信息的形式。检索信息15假设是具有比如图2例示的树形结构的检索信息15。

指定脱机检索，作为检索信息15的分割方式选择了考虑了检索信息要素类别的单位检索信息后，分割选择部901向第1检索信息分割部902发出执行检索信息15的分割的指示。指定联机检索，作为检索信息15的分割方式选择了由时间区分组成的单位检索信息后，分割选择部901向第2检索信息分割部903发出执行检索信息15的分割的指示。在同时进行脱机检索与联机检索的特殊情况下，分割选择部901向第1及第2检索信息分割部902和903发出执行检索信息15的分割(单位检索信息的形成)的指示。

在第1检索信息分割部902，输入检索信息15，进行考虑了上述实施方式中说明的检索信息要素类别的检索信息15的分割，形成考虑了图4A～图4C、图5A～图5C及图8A～图8D所示的检索信息类别的单位检索信息153A(153E)及154A(154E)并输出。

在第2检索信息分割部903，输入检索信息15，执行以图13A～图13D或图14所示的时间区划为单位的分割，根据时间区划形成单位检索信息并输出。

单位检索信息控制部904与处理部16接续，对考虑了由第1检索信息分割部902形成的检索信息要素的类别的单位检索信息及由第2检索信息分割部903形成的时间区划单位的单位检索信息的任意一方或两方，根据处理部16的请求进行选择，将所选择的信息输出到请求源。

通过设置分割选择部901，可进行与运动图像内容检索的执行方式对应的适当的检索信息控制(单位检索信息的形成)。

Claims (25)

1.一种检索信息管理装置(1)，其把具有与运动图像内容对应的树形结构检索信息(15)分割为小单位检索信息(153A，154A)进行管理，其具备：

分离单元(101)，其把具有上述树形结构的检索信息分离为包含表示上述运动图像内容的场景或镜头的相互关系的结构化信息和表示上述场景或镜头的各自属性的结构属性信息的结构检索信息(152)、表示上述运动图像内容的语义内容中的特征的语义检索信息(153)、以及表示上述运动图像内容的信号上的物理特征的信号检索信息(154)并输出；

结构信息抽出单元(102)，其从由上述分离单元输出的上述结构检索信息，把与上述语义检索信息及上述信号检索信息的至少1个所对应的上述结构化信息或上述结构属性信息作为结构信息(50)抽出；

单位检索信息形成单元(103，104)，其在从上述分离单元输出的上述语义检索信息及上述信号检索信息的至少1个内，附加由上述结构信息抽出单元抽出的对应的上述结构信息，形成上述小单位检索信息。

2.权利要求1中记载的检索信息管理装置，其中

上述结构信息包含表示上述运动图像内容上的时间区划的信息，上述运动图像内容上的上述时间区划与从上述分离单元输出的上述语义检索信息或上述信号检索信息对应。

3.一种检索信息管理装置(1)，其把具有与运动图像内容对应的树形结构检索信息(15)分割为小单位检索信息(153A，154A)进行管理，其具备：

分离单元(101)，其将具有上述树形结构的检索信息中包含的同种要素，即由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素从具有上述树形结构的检索信息分离并取出；

结构信息抽出单元(102)，其将赋予了由上述分离单元取出的上述1个或多个检索信息要素的结构信息(50)从具有上述树形结构的检索信息抽出，上述结构信息(50)包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息；

单位检索信息形成单元(103，104)，其通过按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序将由上述分离单元取出的上述1个或多个检索信息要素进行排列、或者通过附加上述1个或多个检索信息要素的排列将由上述结构信息抽出单元抽出的对应的上述结构信息进行排列，来形成上述小单位检索信息。

4.权利要求3中记载的检索信息管理装置，其中

由上述分离单元取出的上述1个或多个检索信息要素与表示上述运动图像内容的信号上的物理特征的信号检索信息(154)对应。

5.权利要求3中记载的检索信息管理装置，其中

由上述分离单元取出的上述1个或多个检索信息要素与表示上述运动图像内容的语义内容中的特征的语义检索信息(153)对应。

6.权利要求3中记载的检索信息管理装置，其中

上述结构信息抽出单元还把上述结构信息分离为包含表示由上述分离单元取出的上述1个或多个检索信息要素中共同的类别的信息或共同的上述树形结构中的位置信息的共同结构信息及上述共同结构以外的非共同结构信息，

上述小单位检索信息通过附加由上述分离单元取出的上述1个或多个检索信息要素的排列，将上述共同结构信息及上述非共同结构信息进行排列来形成。

7.权利要求3中记载的检索信息管理装置，其中

上述结构信息包含表示上述运动图像内容上的时间区划的信息，上述运动图像内容上的上述时间区划与由上述分离单元取出的上述1个或多个检索信息要素对应。

8.一种检索信息管理装置(1A)，其从具有与运动图像内容对应的树形结构检索信息(15)形成小单位检索信息(153E，154E)进行管理，其具备：

记录位置信息抽出单元(101A)，其分别对具有上述树形结构的检索信息中包含的同种要素，即由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素，抽出表示了该检索信息要素被记录的位置的记录位置信息(153D，154D)；

结构信息抽出单元(102)，其从具有上述树形结构的检索信息抽出赋予了上述1个或多个检索信息要素的结构信息(50)，上述结构信息(50)包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息；

单位检索信息形成单元(103A，104A)，其通过按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序，将由与上述1个或多个检索信息要素分别对应的上述记录位置信息抽出单元抽出的上述记录位置信息进行排列、或者通过附加上述记录位置信息的排列将由上述结构信息抽出单元抽出的上述结构信息进行排列，来形成上述小单位检索信息。

9.权利要求8中记载的检索信息管理装置，其中

上述1个或多个检索信息要素与表示上述运动图像内容的信号上的物理特征的信号检索信息(154)对应。

10.权利要求8中记载的检索信息管理装置，其中

上述1个或多个检索信息要素与表示上述运动图像内容的语义内容中的特征的语义检索信息(153)对应。

11.权利要求8中记载的检索信息管理装置，其中

上述结构信息抽出单元还把上述结构信息分离为包含表示上述1个或多个检索信息要素中共同的类别的信息或共同的上述结构中的位置信息的共同结构信息及上述共同结构信息以外的非共同结构信息，

上述小单位检索信息通过附加上述记录位置信息的排列，将上述共同结构信息及上述非共同结构信息进行排列来形成。

12.权利要求8中记载的检索信息管理装置，其中

上述结构信息包含表示上述运动图像内容上的时间区划的信息，上述运动图像内容上的上述时间区划与上述1个或多个检索信息要素对应。

13.一种检索信息管理装置(1B)，其把具有与运动图像内容对应的树形结构检索信息(15)分割成小单位检索信息进行管理，其具备：

第1检索信息分割单元(902)，其将具有上述树形结构的检索信息分割为包含表示上述运动图像内容的场景或镜头的相互关系的结构化信息和表示上述场景或镜头的各自属性的结构属性信息的结构检索信息、表示上述运动图像内容的语义内容中的特征的语义检索信息、表示上述运动图像内容的信号上的物理特征的信号检索信息，从通过分割所获得的上述结构检索信息将与上述语义检索信息及上述各信号检索信息分别对应的上述结构化信息或上述结构属性信息作为结构信息抽出，把所抽出的上述结构信息分别附加到通过分割得到的上述语义检索信息及上述信号检索信息，形成小单位检索信息；

第2检索信息分割单元(903)，其按照上述树形结构的时间划分对具有上述树形结构的检索信息进行分割，从分割后的各检索信息来形成小单位检索信息；

分割选择单元(901)，其根据所希望的检索方式，选择是由上述第1检索信息分割单元及上述第2检索信息分割单元的哪一个来对具有上述树形结构的检索信息进行分割。

14.一种检索信息管理装置(1B)，其把具有与运动图像内容对应的树形结构检索信息(15)分割为小单位检索信息进行管理，其具备：

第1形成单元(902)，其将具有上述树形结构的检索信息中包含的同种要素，即由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素从具有上述树形结构的检索信息分离并取出，将赋予了所取出的上述1个或多个检索信息要素的结构信息从具有上述树形结构的检索信息抽出，上述结构信息包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息，按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序将所取出的上述1个或多个检索信息要素进行排列、或者通过附加上述1个或多个检索信息要素的排列将所抽出的对应的上述结构信息进行排列，来形成小单位检索信息；

第2形成单元(903)，其按照上述树形结构的时间划分对具有上述树形结构的检索信息进行分割，从分割后的各检索信息形成小单位检索信息；

选择单元(901)，其根据所希望的检索方式，选择是由上述第1形成单元及上述第2形成单元的哪一个来形成上述小单位检索信息。

15.一种检索信息管理方法，其把具有与运动图像内容对应的树形结构检索信息(15)分割为小单位检索信息(153A，154A)进行管理，其具有：

分离步骤，其把具有上述树形结构的检索信息分离为包含表示上述运动图像内容的场景或镜头的相互关系的结构化信息和表示上述场景或镜头的各自属性的结构属性信息的结构检索信息(152)、表示上述运动图像内容的语义内容中的特征的语义检索信息(153)、表示上述运动图像内容的信号上的物理特征的信号检索信息(154)并输出；

结构信息抽出步骤，其从由上述分离步骤输出的上述结构检索信息，把与上述语义检索信息及上述信号检索信息的至少1个所对应的上述结构化信息或上述结构属性信息作为结构信息(50)抽出；

单位检索信息形成步骤，其在从上述分离步骤输出的上述语义检索信息及上述信号检索信息的至少1个内，附加由上述结构信息抽出步骤抽出的对应的上述结构信息，形成上述小单位检索信息。

16.一种检索信息管理方法，其把具有与运动图像内容对应的树形结构检索信息(15)分割为小单位检索信息(153A，154A)进行管理，其具有：

分离步骤，其将具有上述树形结构的检索信息中包含的同种要素，即由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素从具有上述树形结构的检索信息分离并取出；

结构信息抽出步骤，其将赋予了由上述分离步骤取出的上述1个或多个检索信息要素的结构信息(50)从具有上述树形结构的检索信息抽出，上述结构信息(50)包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息；

单位检索信息形成步骤，其通过按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序，将由上述分离步骤取出的上述1个或多个检索信息要素进行排列、或者通过附加上述1个或多个检索信息要素的排列将和由上述结构信息抽出步骤抽出的对应的上述结构信息进行排列，来形成上述小单位检索信息。

17.一种检索信息管理方法，其从具有与运动图像内容对应的树形结构检索信息(15)形成小单位检索信息(153E，154E)进行管理，其具有：

记录位置信息抽出步骤，其分别对具有上述树形结构的检索信息中包含的同种要素，即由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素，抽出表示了该检索信息要素被记录的位置的记录位置信息(153D，154D)；

结构信息抽出步骤，其从具有上述树形结构的检索信息抽出赋予了上述1个或多个检索信息要素的结构信息(50)，上述结构信息(50)包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息；

单位检索信息形成步骤，其通过按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序，将由与上述1个或多个检索信息要素分别对应的上述记录位置信息抽出步骤抽出的上述记录位置信息进行排列、或者通过附加上述记录位置信息的排列将由上述结构信息抽出步骤抽出的上述结构信息进行排列，来形成上述小单位检索信息。

18.一种检索信息管理方法，其把具有与运动图像内容对应的树形结构检索信息(15)分割成小单位检索信息进行管理，其具有：

第1检索信息分割步骤，其将具有上述树形结构的检索信息分割为包含表示上述运动图像内容的场景或镜头的相互关系的结构化信息和表示上述场景或镜头的各自属性的结构属性信息的结构检索信息、表示上述运动图像内容的语义内容中的特征的语义检索信息、表示上述运动图像内容的信号上的物理特征的信号检索信息，从通过分割所获得的上述结构检索信息将与上述语义检索信息及上述各信号检索信息对应的上述结构化信息或上述结构属性信息作为结构信息抽出，把所抽出的上述结构信息分别附加到通过分割得到的上述语义检索信息及上述信号检索信息，形成小单位检索信息；

第2检索信息分割步骤，其按照上述树形结构的时间划分对具有上述树形结构的检索信息进行分割，从分割后的各检索信息形成小单位检索信息；

分割选择步骤，其根据所希望的检索方式，选择是由上述第1检索信息分割步骤及上述第2检索信息分割步骤的哪一个对具有上述树形结构的检索信息进行分割。

19.一种检索信息管理方法，其把具有与运动图像内容对应的树形结构检索信息(15)分割成小单位检索信息进行管理，其具有：

第1形成步骤，其将具有上述树形结构的检索信息中包含的同种要素，即由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素从具有上述树形结构的检索信息分离并取出，将赋予了所取出的上述1个或多个检索信息要素的结构信息从具有上述树形结构的检索信息抽出，上述结构信息包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息，通过按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序，将所取出的上述1个或多个检索信息要素进行排列、或者通过附加上述检索信息要素的排列将所抽出的对应的上述结构信息进行排列，来形成小单位检索信息；

第2形成步骤，其按照上述树形结构的时间划分对具有上述树形结构的检索信息进行分割，从分割后的各检索信息形成小单位检索信息；

选择步骤，其根据所希望的检索方式，选择是由上述第1形成步骤及上述第2形成步骤的哪一个来形成上述小单位检索信息。

20.一种检索装置(2A)，其基于从具有与运动图像内容对应的树形结构检索信息(15)形成的小单位检索信息执行检索，其中

上述小单位检索信息是具有上述树形结构的检索信息中包含的同种要素，由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素的每一个，按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序，将表示了该检索信息要素被记录的位置的记录位置信息进行排列、或者通过附加上述记录位置信息的排列将从上述具有上述树形结构的检索信息抽出的结构信息进行排列来形成，上述结构信息包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息，

其具备：

保持上述小单位检索信息的第1保持单元；

第2保持单元，其保持从上述小单位检索信息基于上述记录位置信息所得到的上述1个或多个检索信息要素；

检索执行单元，其利用上述小单位检索信息及上述1个或多个检索信息要素执行上述运动图像内容的检索。

21.一种检索信息管理装置，其从通过分割具有与运动图像内容对应的树形结构检索信息而获得的小单位检索信息使具有上述树形结构的检索信息的一部分复原，其中

上述小单位检索信息是分别由表示上述运动图像内容的语义内容中的特征的语义检索信息及表示上述运动图像内容的信号上的物理特征的信号检索信息形成的上述小单位检索信息的至少1个，而且包含结构检索信息的结构信息，上述结构检索信息包括表示上述运动图像内容的场景或镜头的相互关系的结构化信息和表示上述场景或镜头的各自属性的结构属性信息，

其具备：

位置计算单元，其从上述小单位检索信息中包含的上述结构信息，求出与上述小单位检索信息中包含的上述语义检索信息或上述信号检索信息分别对应的上述树形结构中的位置；

复原单元，其通过在由上述位置计算单元求出的上述树形结构中的位置分别接续对应的上述语义检索信息或上述信号检索信息，使具有上述树形结构的检索信息的一部分复原。

22.一种检索信息管理装置，其从分割了具有与运动图像内容对应的树形结构检索信息的小单位检索信息使具有上述树形结构的检索信息的一部分复原，其中

上述小单位检索信息是通过把从具有上述树形结构的检索信息分离取出的具有上述树形结构的检索信息中包含的同种要素，即由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序进行排列，或者通过附加上述1个或多个检索信息要素的排列将从具有上述树形结构的检索信息抽出的赋予了上述1个或多个检索信息要素的结构信息进行排列来形成，上述结构信息包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息，

其具备：

位置计算单元，其从上述小单位检索信息中包含的上述结构信息，求出分别与上述小单位检索信息中包含的上述1个或多个检索信息要素对应的上述树形结构中的位置；

复原单元，其通过在由上述位置计算单元求出的上述树形结构中的位置分别将对应的上述1个或多个检索信息要素作为叶或子树进行接续，使具有上述树形结构的检索信息的一部分复原。

23.权利要求2 2中记载的检索信息管理装置，其中

上述结构信息由包含表示上述1个或多个检索信息要素中共同的类别的信息或共同的上述树形结构中的位置信息的共同结构信息及上述共同结构信息以外的非共同结构信息组成，

上述小单位检索信息通过附加上述1个或多个检索信息要素的排列，将上述共同结构信息及上述非共同结构信息进行排列来形成。

24.一种检索信息管理装置，其从具有与运动图像内容对应的树形结构检索信息形成的小单位检索信息使具有上述树形结构的检索信息的一部分复原，其中

上述小单位检索信息是通过关于具有上述树形结构的检索信息中包含的同种要素，即由上述树形结构中的1个或多个叶所提供的、或由上述树形结构中的节及在该节以下连接的叶或节的任意集合组成的1个或多个子树所提供的1个或多个检索信息要素的每一个，按照上述1个或多个叶或者上述1个或多个子树的上述树形结构中的出现顺序，将表示了该检索信息要素被记录的位置的记录位置信息进行排列、或者通过附加上述记录位置信息的排列将从具有上述树形结构的检索信息抽出的、赋予了上述1个或多个检索信息要素的结构信息进行排列来形成，上述结构信息包含表示上述1个或多个叶或者上述1个或多个子树的上述树形结构中的相互关系的结构化信息、或表示上述1个或多个检索信息要素的属性的结构属性信息，

其具备：

位置计算单元，其从上述小单位检索信息中包含的上述结构信息，求出分别与由上述小单位检索信息中包含的上述记录位置信息表示的上述1个或多个检索信息要素对应的上述树形结构中的位置；

检索信息要素获取单元，其基于上述小单位检索信息中包含的上述记录位置信息获取对应的上述1个或多个检索信息要素；

复原单元，其通过在由上述位置计算单元求出的上述树形结构中的位置接续由上述检索信息要素获取单元获取的对应的上述1个或多个检索信息要素，使具有上述树形结构的检索信息的一部分复原。

25.权利要求24中记载的检索信息管理装置，其中

上述结构信息由包含表示上述1个或多个检索信息要素中共同的类别的信息或共同的上述树形结构中的位置信息的共同结构信息及上述共同结构信息以外的非共同结构信息组成，

上述小单位检索信息通过附加上述记录位置信息的排列，将上述共同结构信息及上述非共同结构信息进行排列来形成。

Images