CN1280717C - 生成视频多媒体内容结构的描述的设备和方法 - Google Patents

Abstract

本发明提出一种能生成例如视频多媒体内容结构的描述的设备。该设备包括：用于以标记语言生成包含各个场景的多媒体内容结构的描述的装置，其特征在于该设备具有：一个用户接口，用于表示所述结构的至少一部分的可视图象，可视图象包括：表示各个场景的各个图象，处理所述可视图象的图形装置，以便修改所述结构，更新所述描述的装置，以便考虑所述修改。本发明还提出一种能生成例如视频多媒体内容结构的描述的方法。该方法包括：处理所述结构的至少一部分的可视图象，可视图象包括表示各个场景的图象，利用图形工具修改所述结构，所述图形被自动更新，以便考虑所述修改。本发明应用于MPEG-7和视频描述。

Description

生成视频多媒体内容结构的描述的设备和方法

技术领域

本发明涉及一种包含生成用标记语言描述的包括各场景的多媒体内容结构的装置的设备。

本发明还涉及一种用标记语言生成包含各场景的多媒体内容结构描述的方法。

本发明还涉及当由处理器执行时，含有用于生成用标记语言描述的包含各场景的多媒体内容的指令的程序。

本发明使按照MPEG-7具体生成例如视频的多媒体内容描述成为可能。这种描述使多媒体内容容易使用。这种描述使可能例如进行搜索。

背景技术

由M.Bonnet、A.Bugatti、R.Leonardi和P.Migliorati在出版物“Int.Workshop onVery Low Bitrate Video，VLBV′99，Kyoto，Japan，October29-30，1999”发表的名称为“用于多媒体文件的多层导航的视频内容分析”的文章描述了一种可能产生视频文件结构的自动提取工具。这种结构是各个内容类型表的时间结构。这种结构例如是按照MPEG-7标准文件描述的。

MPEG-7是多媒体内容摸式标准。这种标准具体按描述计划和描述符进行描述。按照MPEG-7标准的描述是这些描述计划的例子。它们是以由W3C协会定义的称为XML的标记语言写的。

因为是自动得到由这种类型提取工具提供的结构，所以必然有缺陷。本发明的目的特别是提出一种能改善获得的结构的使用户好用的工具。

发明内容

根据本发明，一种按引导段描述的设备，其特征在于它具有：

-用于显示所述结构的至少一部分的视频图象的装置，所述可视图象包括表示各场景的图象，

-处理所述可视图象的图形装置，以便修改所述结构，

-更新所述图形的装置，以便考虑所述修改。

因此，本发明提供一种能使操作员修改由自动提取工具提供的初始结构的用户好用的工具。可视图象能使操作员理解结构的内容。这使容易对当前结构作出修改。

例如本发明涉及内容类型表的时间结构，其中各场景是按时间、或指数类型的分层结构排序的，其中各场景被通过自身、子自身、关键词等进行分组，并且其中场景和相同场景可以同时出现在若干标题上。

图形处理装置最好包括所述可视图象的各场景的选择、剪切、粘贴和复制的装置。它们还具有用于定位和用于消除所述可视图象的各场景之间的界限的装置。

最好是，按照本发明的装置具有显示所述结构的至少一部分树状图象的装置和更新所述树状图象的装置，以便考虑所述修改。

这种树状图象能使操作员具有该结构的全貌。最好是，操作员可以同时看到视频图象和对应的树状图象。

一般，这种树状图象具有各个节点、分支和叶。最好是，按照本发明的装置具有开拓或减少一个或多个分支的装置，所减少的分支由所述可视图象中的一个单一图象代表。

操作员可以根据其要求选择开拓树状图象的仅一个、几个或所有分支。因此可视图象被更新。因此，操作员可获得不同视图，所述结构或多或少会扩大。

最好是，按照本发明的装置具有用于注释所述图形的编辑装置。某些注释是由操作员手工获取的(例如，人的类型、动作、目标、什么时候、什么地方、怎样做、为什么等注释)，而其它的是由操作员启动的外部规则系统提供的(例如，摄象机移动类型、颜色直方图等的注释)。

附图说明

本发明将参照表示在各附图中的实施例进一步描述，但是本发明并不限于此：

图1是描述按照本发明的装置的例子的框图；

图2是按照本发明的例子的框图；

图3是按照本发明的视频图象的例子的图；

图4是按照本发明的树状图象的例子的图。

具体实施方式

按照本发明的装置能使操作员产生多媒体内容的结构图象。一般，多媒体内容的结构具有一个或等多个分层。下文为了简单起见，描述具有一个分的结构。但这并不是限制。

这里认为的多媒体内容含有各个场景。一个场景是一系列通过连续操作产生的连续视频帧，并表示在时间和空间连续的动作。

图1是按照本发明的装置的优选实施例的框图。在图1中，方块1代表含有各个场景的多媒体内容MC。多媒体内容MC包括一个视频例子。方块2代表多媒体内容MC代表多媒体内容MC的结构SS。利用本身公知的自动提取工具EXT从多媒体内容MC中生成初始结构并由方块3代表。按照本发明的装置生成：

-由方块4表示的结构SS的树状图象TR，

-由方块5表示的结构SS的可视图象VR

-由方块6表示的结构SS的DES图形。

按照本发明的装置使用于在树状图象TR上和在DES图形上激活可视图象VR的装置由方块8代表的操作员OP可用。在图1中，在可视图象VR上的操作员OP的激活是由箭头AV代表。这种激活包括处理可视图象VR，以便修改结构SS。接着这种修改，更新树状图象TR和图形DES。这些更新由箭头UT和UD代表。在树状图象上的操作员的激活由箭头AT代表。这种激活包括树状图象的修改，以便获得结构SS的其它视图。这使得出现可视图象VR的更新。这种更新在图1中由箭头UV代表。最后，在描述DES上的操作员OP的激活由箭头AD代表。这种激活包括描述DES的注释。

图2表示按照标号10的本发明的例子。根据图2，装置10具有读出数据存储器13的至少装置12、程序存储器14和处理器15。数据存储器包括：一个部件、硬盘或盘的可移动支持、盒式磁带机、软磁盘装置等类型。还可用集成到具有一个或多个功能的半导体器件中。形成装置10的一部分或不形成其一部分。该装置包含多媒体内容MC。程序存储器14特别含有程序PG，该程序包含实现已经结合图1描述过的各个功能的指令。当由处理器15执行时，程序PG生成对存储在数据存储器中多媒体内容MC的结构SS的以标记语言的描述DES。装置10还具有由显示屏17和点击与选择显示屏的装置18组成的用户接口16。点击与选择显示屏的装置18包括例如鼠标或键盘。

在具体的优选实施例中，显示屏17用于显示一个或多个窗口Fi(i＝1、2、...)和一个或多个菜单项目Mj(j＝1、2、...)。在具体的一个窗口F1至少可以专用于可视图象的显示，该可视图象至少是多媒体内容MC的结构的一部分。菜单项目M1提供给用户显示在窗口F1中的可视图象的图形处理的至少某些菜单。以例子的方式，菜单项目包括：用于剪切在可视图象中事先选择的图象的图符C1，和用于复制在可视图象中事先选择的图象的图符C2，和用于粘贴事先剪切或复制的可视图象的图符C3。

图3表示这种可视图象的例子。图3的可视图象由标号为I1到I13的13个图象序列组成。在序列中的每个图象代表一个场景或一组场景。

序列中的各个图象由可以激活和去激活的划界L彼此分割。例如，操作员可以利用点击与选择显示屏的装置18选择划界的激活或非激活状态进行修改。当操作员选择划界时，这个划界的屏幕表示被修改。例如，非激活划界由具有透明背景的矩形表示，而激活的划界由黑色矩形表示。在图3中激活了两个划界，即，分开图象I5和I6的划界和分开图象I12和I13的划界。

此外，有益地使用了代表在给定例子中选择的在序列中的一个图象和一些图象的特殊图象表示。例如，在图3中，选择的图象I8由框D8框起来。

有益地是，设置滚动条U/D，使得可以滚动显示在屏幕上的可视图象，以便显示图象序列的所需部分。

在一个优选实施例中，另一个窗口F2专用于显示多媒体内容MC的结构的至少一部分的树状图象。这种树表示具有根、节点、分支和叶。当该结构具有一层的分层时，利用单一节点每个叶都附属到根上。有益地是，提供用于拓宽或减少树表示的分支的装置。为此在树状图象中有开节点和闭节点。减少分支通过树状图象的闭节点和通过可视图象中的单一图象来表示。拓宽分支附属到树状图象中的开节点上。当该结构仅具有一个分层时，拓宽分支支撑一些每个由可视图象中的一个图象表示的叶。当结构具有若干分层时，拓宽的各个分支还可以支撑为开节点或为闭节点的各个节点。

当操作员修改树状图象结构时，可视表示是自适应进行的。

同样，考虑到操作员对显示在窗口F1的可视表示在结构上作出的修改，树状图象也进行更新。具体地讲，在可视图象中激活划界时，在树状图象中产生一个节点，并且接着所述划界代表各个图象的各个叶附属到从而产生的节点上。因此，当在可视表示中去激活一个划界时，省略掉在树状图象中的对应节点，并且以前曾附属到被省略掉的节点上的各个叶被附属到树状图象中以前被省略的节点上。

因此，在任何时间，由树规定的收图与可视图象是彼此对应的。

可以预计各种实施例。例如，在第一实施例中，操作员利用点击与选择装置18进行选择，修改节点的开或闭状态。当操作员拓宽分支时，在这个分支上的各个节点是初始开的或者初始闭的。另外，菜单条M1具有图符C4，用于限定整个树状图象结构的展开水平。

开节点和闭节点最好不以相同方式描述，例如，开节点用圆圈而闭节点用叉子表示。

图4给出按照本发明的对应于在图3描述的可视图形的树状图象的例子。这个图象具有根R，两个开节点ON1和ON2和一个闭节点CN1。分支B1附属到开节点ON1上。这个分支B1支撑5个叶S1、S2、S3、S4和S5，它们对应于可视图象的图象I1到I5。分支B2附属到开节点ON2上。这个分支支撑7个叶S6、S7、S8、S9、S10、S11和S12，它们分别对应于可视图象的I6到I12。最后，闭节点CN1对应于可视图象的图象I13。

有益地是，在树状图象中具体表示用于指示选择的图象或各图象。在图4中，选择的图象I8是用黑矩形表示的，而未被选择的其它图象是由白方形表示的。

在另外优选实施例中，另外窗口F3专用于显示当前结构的描述。有益地是，这种描述是用XML标记语言写的MPEG-7描述。对于树状图象中的每个节点，对应于MPEG-7图形中的一个“Video Segment”单元。MPEG-7的每个“VideoSegment”单元含有一定数量的其它单元，某些这些单元用于注释该图形。例如，MPEG-7定义其它各个单元，这些单元将被用于描述类型、目的、目标、位置、时间、动作的原因、使用彩色的直方图、摄象机的移动等等。

这些信息的某些信息将由操作员直接输入，而另外一些信息项是由专门程序产生的(这是在彩色的直方图、或者摄象机移动的情况下)。

有益的是，设置编辑窗口F4，用于输入信息或1启动产生信息的程序。例如，编辑窗口F4具有用于将每种类型信息增加到图形DES中的表。图2表示标号为O1到O3的3个表。对应于从专用程序产生信息的表的选择提供所述专用程序的启动。

本发明不限于以例子方式业已描述的各个实施例。具体地讲：

-同时显示的窗口数量可以是任何数量，

-对于图形接口和对于图象处理工具而言，本专业技术人员容易进行各种变形，

-结构的分层数量可以是任何数量；

当该结构具有多于一层时，装置(例如图形装置)必须能使操作员使得该装置产生或者消除一层；这种装置是由本专业技术人员容易实现的。

已经描述了一个按照本发明的设备具有显示可视图象的装置的优选实施例，但是还有显示树状图象的装置和显示当前结构的图形的装置。

在另外的非优选实施例中，该设备仅具有显示可视图象的装置、处理显示的可视图象的装置和更新结构的图形的装置。本实施例能使操作员修改由自动提取工具馈送的初始结构。但它不能去注释该图形。

Claims (6)

1.一种设备(10)，包括：

用于以标记语言生成包含各个场景的多媒体内容(1)结构的描述(6)的装置，其特征在于该设备具有：

-一个用户接口，用于表示所述结构的至少一部分的可视图象(5)，所述可视图象包括：

表示各个场景的各个图象(I1-I13)，

处理所述可视图象的图形装置(14、15、17、18)，以便修改所述结构，

-更新所述描述的装置(14、15)，以便考虑所述修改。

2.按照权利要求1的设备，其特征在于具有编辑装置(F4、O1-O3)，用于注释所述图形。

3.按照权利要求1的设备，其特征在于具有显示所述结构至少一部分的树状图象(4)的装置和更新所述树状图象的装置(14、15)，以便考虑所述修改。

4.按照权利要求3的设备，其特征在于所述树状图象包括各个节点(ON1、ON2、CN1)、各个分支和各个叶(S1-S12)，具有拓宽或减少一个或多个所述分支，在可视图象中被减少的分支由图象表示。

5.一种用标记语言生成包含各个场景的多媒体内容结构的描述的方法，其特征在于包括以下步骤：

处理所述结构的至少一部分的可视图象(5)，所述可视图象包括表示各个场景的图象(I1-I13)，

利用图形工具(17、18)修改所述结构，所述图形被自动更新，以便考虑所述修改，其中所述图形工具采用在显示屏(17)上进行点击与选择的装置(18)以及显示窗口和菜单项目的显示屏。

6.按照权利要求5的方法，其特征在于，包括利用一种编辑工具注释所述图形的步骤(AD)。

Images