CN1682217B

CN1682217B - 媒体资料合成

Info

Publication number: CN1682217B
Application number: CN038216647A
Authority: CN
Inventors: 蒂莫西·肖恩·史蒂文斯; 亚力克斯·史蒂文·约翰·帕尔默; 伊恩·克里斯托夫·克格尔; 杰里米·迈克尔·索恩; 路易·科克·森·利姆; 卢兹维·洛泽; 马丁·拉斯; 贾森·莫费特; 亚当·海
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 2002-09-13
Filing date: 2003-09-15
Publication date: 2011-05-11
Anticipated expiration: 2023-09-15
Also published as: WO2004025508A2; CN1682217A; US8838590B2; WO2004025508A8; WO2004025508A3; US20060010162A1; JP2005538476A; AU2003263364A1; EP1956501A1; CA2496226A1; EP1543447A2; GB0221328D0

Abstract

公开了一种用于自动合成媒体资料的方法和装置。这种操作的先前尝试包括人工生产详细框架，该详细框架列出了可以插入到在该框架中指定的时间段中的媒体元素的类型，以及对这些时间段进行的媒体元素的后续选择。本发明通过将元数据(51)和内容存储器中的媒体元素相关联，来改善这种情况，该元数据包括关系数据，该关系数据表示由该媒体元素描述的内容与由一个或更多个其它媒体元素描述的内容是如何相关的。由于包含了关系元数据，所以可以根据生成描述媒体资料的详细框架的需要，自动生成该媒体资料。

Description

媒体资料合成

技术领域

本发明涉及用于合成媒体资料(article)的方法和装置。

背景技术

媒体资料为人们的感观描绘内容(真实的、虚假的或者计算机生成的)。可以通过多种媒体(包括文本、语音、声音、图片或动画)，来向人们呈现媒体资料。

随着记录技术的发展，消费者可以获得的记录媒体资料的量快速增长。媒体资料通常记录在多个媒体文件中(注意，尽管此处使用了复数“媒体”，但是应该将“媒体文件”理解为包括希望仅通过一种媒体(例如文本或语音)传送给用户的文件，以及由多个媒体来传送其内容的“多媒体”文件)。互连网是最新出现的通信网络，并且为表示文本、声音、图片、动画或其组合的记录数字媒体文件提供世界范围的传输。由于可以通过互连网访问的媒体文件的数量相当大，所以需要通过媒体文件包含什么内容的一些描述来标记这些媒体文件。因此，例如，HTML(超文本标记语言)文件包含多个“元”标签，该“元”标签包括多个关键字，这些关键字表示在呈示给用户的网页中包括什么主题。

在一组用户对应当如何构建元数据以及该元数据应当包含的元素意见一致的情况下，使用元数据来标记媒体文件就更加有益。通常，使用XML(可扩展标记语言)来定义这种结构以及包含在该结构中的元素。实际上，可以使用XML来定义元数据“语言”。这种元数据“语言”的一个示例是StoryML，如P. Gerdt等人在“proceeding of the IntelligentTutoring Systems conference 2002”的893至902页的“StoryML：An XMLExtension for Woven Stories”中所述。StoryML是设计用来对合著小说的分配(contribution)进行描述的元数据。同样地，其包括给出该分配的作者以及与其它分配的分配关系的元素。

运动图像专家组正在讨论将元数据添加到视频文件中的建议(“多媒体内容描述接口”，通常称为MPEG-7)。

国际专利申请WO 02/057959公开了为用户提供用于组织媒体文件的工具的计算机软件。可以将多种元数据与这些文件相关联。这些文件和元数据存储在“相关”数据库中，注意，在相关数据库的表达中使用的“相关”与数据库条目或这些条目中表达的内容几乎没有关系，相反它指的是数学集合论中使用的“相关”一词的含义。

合成媒体资料的一种方法包括将多个组成部分集合在一起。例如，电影由剧本中描述的多个场景构成。已经对通过这种方式来自动生成视频资料进行了一些尝试。例如，在http://sunsite.univie.ac.at/Mozart/dice/可以找到根据音乐骰子游戏的华尔兹(Waltz)作品。类似地，可以从http://familygames.com/features/humor/romance.html获得一种自动故事生成程序(Romance Writer)。

发明内容

根据本发明的第一方面，提供了一种自动合成媒体资料的方法，包括：

对与第一存储媒体数据集合相关联的数字元数据进行分析，该数字元数据包括：

相关集合识别数据，用于识别第二存储媒体数据集合；以及

关系数据，用于表示由所述第一存储媒体数据集合代表的内容与由所述第二存储媒体数据集合代表的内容之间的关系；以及

根据所述分析将所述第一和第二存储媒体数据集合设置在媒体资料中。

通过对与所述第一存储媒体数据集合相关联的数字元数据进行分析(该数字元数据包括第二存储媒体数据集合的识别符，以及由所述第一存储媒体数据集合代表的内容与由所述第二存储媒体数据集合代表的内容之间的关系指示)，并根据所述分析将所述第一和第二存储媒体数据集合设置在媒体资料中，来提供一种合成媒体资料的方法，其消除了在合成媒体资料时，对另一排序信息源的需要。

“存储媒体数据集合”的表达包括媒体数据文件、流、或者指向文件或数据库的指针集合。

以多种格式对存储媒体数据的数字集合进行存储。存储媒体数据集合的表达并不旨在限制为任何特定的格式，而是例如可以包括下述文件，该文件仅包含与在玩电脑游戏时用户看到的组成部分的位置相关的数据一随后，通过再现(rendering)软件对该文件中的数据进行处理，以生成用于向用户显示的图像。

在一些实施例中，所述方法还包括生成所述识别数据集合以及所述关系数据。

优选地，所述元数据还包括内容数据，该内容数据表示所述存储媒体数据集合代表的内容，所述方法还包括以下步骤：根据所述内容数据，从多个存储媒体数据集合中选择一个或更多个存储媒体数据集合，所述一个或更多个集合包括所述第一和第二存储媒体数据集合。

以下处理的组合使得针对特定主题的自动媒体资料合成比现有的合成更加容易：a)进行搜索以提供用于媒体资料的多个可能的组成部分，或者提供媒体资料的一部分；以及b)然后根据与这些组成部分相关联的元数据，来设置多个所选择的组成部分。

优选地，所述方法还包括以下步骤：进行多次这种选择；以及链接(concatenating)所述选择的结果。

这使得能够实现一种完全遵循已建立的模式的媒体资料合成方法，但是该方法使得能够实现在传统系统中看不到的模式内的灵活度。因此，仍然可以使用对于叙文和电影已知的广义模式的类型(例如，来自StoryCraft公司的StoryCraft程序、560 Roland Drive、Norfolk、VA 23509，USA通过要求作者在发生冲突之前引入英雄和对手，然后是英雄的凯旋，来帮助作者写出小说)，但是可以通过改变选择的性质来容易地在该模式内引入变化。

这将例如使得能够实现电影或电脑游戏的不同版本的低成本创作，同时符合不同的艺术或质量方面的要求，而仍然保留对于叙述、运动以及音频连续性的主观上的高标准。

根据本发明的第二方面，提供了一种媒体资料合成装置，其包括：

一个或更多个存储器装置，用于对于多个存储媒体数据集合中的每一个，存储包括关系数据在内的元数据，该关系数据表示所述存储媒体数据集合中的内容与一个或更多个其它存储媒体数据集合中的内容之间的关系；以及

一个或更多个处理器，该一个或更多个处理器与所述一个或更多个存储器装置进行通信，并且该一个或更多个处理器进行操作，以通过根据所述关系数据来设置所述存储媒体数据集合或者其标识符，以合成媒体资料。

在优选实施例中，使用面向对象的数据库来存储包含元数据的对象，该元数据与由所述元数据识别的存储媒体数据集合相关联。然后，可以通过所述面向对象的数据库中的多个对象之间的关系来表示关系元数据。

另选地，可将所述媒体数据集合存储在文件系统中。

附图说明

现将仅通过示例的方式，参照附图对本发明的具体实施例进行描述，附图中：

图1是根据本发明第一实施例的可以操作用来提供媒体汇编(assembly)系统的个人计算机的组成部分的示意图；

图2是用于根据本发明第一实施例，在控制图1的个人计算机时使用的计算机程序的体系结构图；

图3表示与遵循图2的媒体标记工具的使用的媒体元素相关联的元数据；

图3B表示存储在图2的面向对象的数据库中的起因(cause)对象；

图4A至4G表示编辑者如何创建包含在图3的元数据中的关系数据；

图5是如图4A至4G所示由编辑者输入的关系数据的分级表示；

图6表示使用图2的模板生成工具生成的模板数据；

图7表示使用图2的用户简档生成工具生成的用户简档数据；

图8是表示本发明第一实施例的模板组合器(populator)组件的操作的流程图；

图9表示与图7中所示的模板的第一部分相关的模板组合器的操作；

图10A至10D表示与图7中所示的模板的第二部分相关的模板组合器的操作；

图11表示可能由模板组合器模块生成的编辑确定列表；

图12表示执行提供本发明的优选实施例的计算机程序时呈现给用户的显示；

图13表示该程序运行的稍后阶段的相同显示；

图14表示在用户选择媒体柜之一时打开的另外的子窗口；

图15表示在用户选择包含在所选择的媒体柜中的媒体元素之一时，呈现给用户的另外的子窗口；

图16表示在用户表示其希望看到与包含在媒体柜中的所选择的(或所有)媒体元素相关联的关系数据之后的应用程序窗口；

图17表示使用户能够限定词汇的另外的子窗口；

图18表示在用户选择在生成媒体资料时使用的模板之后，并对该模板进行编辑时的显示；

图19表示在用户选择在生成媒体资料时使用的模板之后，并对该模板进行扩展时的显示；

图20表示用来显示用户运行该程序的模板组合器组件的结果的子窗口；

图21表示在本发明优选实施例的改进中通过查询生成器窗口(如图18何19所示)提供给用户的附加功能；以及

图22表示当使用本发明优选实施例的改进来预览媒体资料时提供给用户的附加控制。

具体实施方式

图1表示包括以传统方式连接在一起的公知硬件组件的个人计算机。这些公知的硬件组件包括中央处理单元10、随机存取存储器12、只读存储器14、硬盘16以及输入/输出设备18、20、22、24和26。这些硬件组件通过一条或更多条数据和地址总线28互连。输入/输出设备包括监视器1 8、键盘20、鼠标22、CD ROM驱动器24以及网卡26。该网卡通过公共互连网32与服务器计算机30相连。

图2表示根据本发明第一实施例的系统的软件和数据组成部分。该软件包括：三个输入程序模块，即，媒体标记工具程序40、模板生成工具程序42、用户简档生成工具程序44；面向对象的数据库管理软件45；以及两个输出程序模块，即，模板组合器程序模块46和内容合成程序模块48。

该系统还包括用于永久存储数据的两个存储器。这两个存储器中的第一个存储器是内容存储器50，其包括使用由计算机的操作系统程序提供的文件系统存储在硬盘16中的多个媒体文件。用于永久存储数据的第二个存储器包括面向对象的数据库54，该数据库公知为由ExcelonCorparation，Burlington，Massachusetts提供的

。该数据库存储三种不同分类的对象，即，媒体对象51(每一个媒体对象都包括对存储在内容存储器50中的多个媒体文件之一进行描述的元数据)、模板对象52和用户简档对象53。该数据库中的这些对象还存储在计算机的硬盘16中。可以通过诸如DVD、CD、CD-ROM的可移动数据载体而不是硬盘，来提供用于面向对象的数据库和/或内容存储的永久存储，或者在可以通过例如由网卡26提供的网络连接访问的不同计算机(例如通过URI进行访问)上提供用于面向对象的数据库和/或内容存储的永久存储。

该三个输入程序模块对计算机(图1)进行控制，以提供用于生成对象的用户界面，这些对象包括根据预定的结构化数据模型构造的数据结构。这使得不同的程序模块可以更容易地交换数据。在所构造的数据模块是公用的情况下，不同的团体可以编写程序的不同组成部分，尽管如此，这些不同的组成部分能够相互交换数据。另外，由一个编辑者创建的对象可以由在不同地点或稍后工作的另一编辑者使用。

在本实施例中，这三个输入程序模块提供以下功能：

该媒体标记工具为编辑者提供用于更新内容存储器50和面向对象的数据库54的界面。实际上，设想使用本实施例的编辑者可以访问其他编辑者生成的媒体元素，来自各种源的样片(rushes)、所编制程序的多个部分、静态照片以及他自己设置各种其它媒体片断(都以电子形式表示)。这些媒体元素都存储在内容存储器中的适当目录结构中。在本领域中将各个目录称为“柜”一参照已标记的柜，其中存储有与特定项目相关的多卷胶片。

通常将媒体元素数字地记录在文件中，该文件可以包含线性流中的多个元素。因此，这种文件可以包含与其相关联的一个或更多个媒体元素。该媒体标记工具使得编辑者能够预览文件，并且在该文件中具有多个媒体元素的情况下，使得编辑者能够设定起始点和终止点，用于在该文件内限定各个媒体元素的范围。如果仅存在一个与该文件相关联的媒体元素，则将该起始点简单地设置为零，而将该终止点设置为该媒体的长度(持续时间)。通过这种方式，编辑者能够生成多个文件，每一个文件都构成一个媒体元素。该编辑者在限定该媒体元素的起始点和终止点时，为每一个文件提供名称。

然而，为了进行本说明，假定编辑者仅通过一个文件开始，该文件包括在足球比赛中记录的未编辑影片的电子表示，以及用于足球节目的介绍序列(introduction sequences)等。在本领域中将未编辑的电影片断称为“样片”。使用媒体标记工具40，该编辑者可以选择该样片中的多种部分，并将每一个部分作为媒体元素存储在内容存储器50中的目录中的较短文件中。

该媒体标记工具还提供了下述工具，该工具使得编辑者能够生成或编辑用于存储在内容存储器50中的媒体元素的元数据。该工具将该元数据作为对象存储在面向对象的数据库54中。

在选择内容存储器中的目录时，向编辑者提供图形用户界面，该图形用户界面显示了一组图标(图4A)，每一个图标都表示保存在该目录中的多个媒体元素之一。例如，这些图标可以是来自于包含在该文件中的视频序列的静止画面。在以下的示例中，将它们表示为方框，该方框包含位于右上角的由编辑者输入的媒体元素标识符，并且在方框的中心包含有对媒体元素中发生的情况的描述。该用户界面使得编辑者能够使用鼠标22来选择媒体元素，以及使用鼠标围绕屏幕移动这些媒体元素。

在选择了这些媒体元素之一后，编辑者以两个阶段输入要与该媒体元素相关联的元数据。在第一阶段中，编辑者可以在这些图片之一上双击，以调出一表格，可以在该表格上输入包含在该模式(schema)中的参数的值。

图3的第二至第十二行示出了在第一阶段生成的元数据的示例(第一行中的信息已在编辑者为文件提供媒体元素标识符时生成)。

根据结构化的数据模型来设置元数据是理想的。在每一行中，最右侧一列中的条目表示由用户输入的属性值。结构化数据模型可以规定：应该将多个属性标记为第一级群集(aggregation)单元的成员，在此将其称为属性集合(具有四列的行中的左起第二列)。该结构化数据模型还可以规定：应该将多个集合标记为第二级群集单元的成员，在此将其称为属性超集(具有三或四列的行中的最左侧一列)。本领域的技术人员应该明白，可以提供群集的更多级别。

这种分级结构受到上述的多媒体内容描述接口的影响。目的并不在于在所有可能的应用中强制使用完整的数据模型，而是使得能够在制片公司或特定的项目组(例如，野生动物纪录片)的主题范围内对内容进行再利用。所提供的数据模型旨在提供元素的最大集合和帮助使用这些元素的界面，以及可以应用于这些元素的词汇。

该元数据包含参数的变量数(但是必须仍然符合预定的结构化数据模型)。在图3所示的示例中，编辑者输入了18个属性的值。它们包括：

i)媒体元素ID-用于标识媒体元素，在本示例中，编辑者为其提供了数值0.xx，其中xx表示该媒体元素在原始样片中的位置；

紧接着媒体元素ID的是“媒体”超集，其包括两个属性以及属性的“位置”集合。这两个属性是：

ii)URI-包含该媒体元素的文件的通用资源标识符；

iii)格式-用于提供构成该文件的数据的格式的一种表示；

“位置”集合包含以下两个属性：

iv)入-表示在媒体元素的起始处从样片开始所经过的时间；

v)出-表示在媒体元素的起始处从样片开始所经过的时间；

紧接着“媒体”超集的是四个“结构”属性的超集。该超集开始于：

vi)说明-对文件内容的说明；

紧接着该说明的是包含以下三个属性的另一集合(称为“事件”)：

vii)性质-在记录在该文件中的视频序列中看到的事件的类型；

viii)执行者-执行该事件的主要行为的人；

ix)接受者-承受该事件的主要行为的人；

紧接着这些属性的是范围指定属性超集，其仅适用于与从两队体育比赛中获得的材料相关的媒体元素；

前两个属性属于以下两个属性的集合(称为“参赛队”)：

x)主队-在该原始样片中展示(featured)的足球比赛中，在其主场进行比赛的参赛队的名称；

xi)客队-在该原始样片中展示的足球比赛中的另一参赛队的名称；

紧接着该集合的是以下两个属性：

xii)执行者忠诚-执行者支持的一方(如果有的话)；

xiii)接受者忠诚-接受者支持的一方(如果有的话)；

紧接着这两个属性的是包含以下两个属性的集合(称为“概念内容”)：

xiv)兴趣值-该值为0和1，表示编辑者认为该媒体元素的重要程度；以及

xv)等级-该值表示该媒体元素根据年龄标准的向人们展示的适宜度-类似于电影的分级。

一旦编辑者输入了该数据，该图片就替换为作为以上“说明”属性的值给出的媒体元素的说明。随后从显示中去除该表单，以返回多个图片的显示，该多个图片表示编辑者从原始样片中选择的多个媒体元素(图4A)。

然后将媒体元素元数据作为媒体对象存储在面向对象的数据库54中。

现将参照图4A至4H来说明元数据生成的第二阶段，其中生成一个或更多个“关系”属性。向用户提供图形用户界面，以使其能够通过在PC(图1)的画面18上移动和点击表示这些媒体元素的图标来指示这些媒体元素之间的关系属性。

编辑者可以指示的一种关系是因果关系。为此，编辑者点击显示在屏幕(未示出)上的按钮元素，这改变了光标的形状。此后该用户将光标移动到他判定是另一媒体元素的起因的媒体元素上。然后他点击该媒体元素，以将其标识为起因媒体元素，然后将光标移动到表示该起因的效果的媒体元素上，并再次点击。完成该处理后，从该第一媒体元素到表示起因对象的菱形绘制一箭头，然后从该菱形到第二媒体元素绘制第二箭头。当编辑者认为观看表示该效果的媒体元素的观众也希望看到起因时，他可以进行这种类型的因果关联。在图4B所示的示例中，编辑者指示：

i)媒体元素0.13是由媒体元素0.12导致的，而媒体元素0.14和0.15都是由媒体元素0.13导致的；以及

ii)媒体元素0.53是由媒体元素0.52导致的，而该媒体元素0.52又是由媒体元素0.51导致的。

响应于因果关联的输入，将具有其自身的媒体元素标识符的起因对象(图3B)添加到面向对象的数据库54中。对与表示该效果的媒体元素相关联的元数据进行更新，以包括表示该起因对象的媒体元素标识符的参数。更详细地，该媒体对象具有指向导致该媒体对象或由该媒体对象引起的任何起因对象的指针的链接列表。起因对象还保存有指回与其相关联的媒体对象的指针的两个链接表。

图3中所示的最后一个参数示出了一示例。该起因对象还包括表示导致该效果的媒体元素标识符的元数据。

多个不同的媒体对象可以导致相同的效果(例如，英雄会因为中毒而死，或者被压死)，并且一个起因可以导致多种不同的效果(例如，由于英雄的死亡，未被击败的恶魔女王会活到103岁的高龄，而伤心的公主发誓独身并成为修女)。由此，使用起因对象来表示因果关系。

编辑者可以指示的第二种关系是顺序关系。为了指示这种关系，编辑者将他希望进行分组的媒体元素设置在画面的同一矩形区域中，根据它们应当遵循的顺序从左到右对它们进行排序，点击另一按钮(未示出)，使得光标改变形状，并将光标移动到该矩形区域的一个角上的位置。此后，编辑者通过鼠标22点击该按钮，并保持该按钮按下，同时移动到该矩形区域的对角，在该对角处释放该按钮。结果在包含在该矩形区域内的媒体元素周围绘制了粗的实矩形线，同时在由该矩形线限定的区域的左上角中绘制了粗的短箭头。在图4C中的示例中，编辑者指示：表示队B的第十五次传球的媒体元素之后紧接着表示队B的第十六次传球的媒体元素，而表示队B的第十六次传球的媒体元素之后紧接着表示队B的第一次得分的媒体元素。

在编辑者感到应该以所指示的顺序来显示这些媒体元素的情况下，该编辑者可能希望指示这种性质的顺序关系(如果由模板组合器模块选择这些媒体元素中的一个以上的媒体元素)。例如，可以将表示一年中不同时期的园艺的媒体元素设置为一个序列，以使得表示春季花园的媒体元素位于表示夏天花园的媒体元素之前等。

当以这种方式生成序列时，在面向对象的数据库中生成了序列对象，作为容纳与包含该序列内的媒体元素相关联的媒体对象的容器对象。在下文中将看出，可以生成自身包含多个序列的序列。这种分级属性体现在属于该序列的标识符中的第一个数中。在该序列仅包括单独的媒体元素的情况下，该序列标识符为1.x的形式，其中，每一次在该分级结构的第一级形成新序列或组(在下面进行说明)时，x简单地加1。因此，图4C中所示的序列被赋予标识符1.1。

与该序列中的各个媒体元素相关联的媒体对象(即元数据)具有其中加入有该序列的媒体元素的位置。面向对象的数据库还记录以下事实：各个媒体对象都是新创建的序列对象的子(child)(即，包含在其中)。在图3的倒数第二行中可以看到该序列位置元数据的示例。

在本实施例中，不存在用于给出组或序列的说明的元数据，但是可以存在下述的元数据，该元数据例如可以通过点击右键、选择属性并在结果对话框的说明字段中输入文本来进行输入。

编辑者可能希望指示的媒体元素之间的第三种关系是组的从属关系。在编辑者希望指示选择了该组中的多个媒体元素并且随后一起显示这些媒体元素的情况下，该编辑者可以进行该操作。除了画面上的媒体元素的顺序无关紧要以及编辑者点击第三按钮(未示出)以外，以与序列相同的方式来形成组，该第三按钮表示在限定矩形区域之前的组，该矩形区域包含了要包括在该组中的媒体元素。

该操作创建了组对象、容器对象，该容器对象容纳与该组中的媒体元素相关联的媒体对象。组对象也存储在面向对象的数据库54中。

图4D表示编辑者完成以下操作后看到的显示：将媒体元素0.13、0.14和0.15形成为一级组1.2；将媒体元素0.39、0.40和0.41形成为第二一级组序列0.3；将媒体元素0.52和0.53形成为第二一级组1.4。

图4E表示编辑者将媒体元素0.51和所述第三一级序列1.4结合为二级组2.1。这在数据库中创建了另一组对象，该数据库是另一组对象的容器对象。通过这种方式，可以在面向对象的数据库54中构建容器对象的分级结构。

图4F表示编辑者将两个一级序列1.1和1.3、一级组1.2和二级组2.1设置为三级组3.1。

图4G表示编辑者定义四级序列。

图5表示由编辑者以分级的形式输入的多个关系，并因此反映该编辑者已在硬盘16中的面向对象的数据库54内创建的对象分级结构。

返回图2，模板生成工具42为编辑者和/或制片人提供了界面，用来指定媒体资料的期望特性，由此生成模板对象(图6)。该工具将构成该模板对象的元数据存储在面向对象的数据库54中。

与媒体对象类似，在本实施例中使用的模板对象符合综合(comprehensive)预定义数据模型。如在图6中所见，该预定义数据模型包括标题字段以及多个部分。各个部分都是包括名称字段、查询字段、以及约束字段(可选)的集合。该模板组合器工具提示用户输入该模板的名称，并指示该部分结构(最高级部分本身可以包含多个部分)。编辑者例如使用类似于Microsoft Windows Explorer中提供的文件夹列表的图形用户界面，来指示该部分结构。在图6给出的示例中，该模板具有三部分的平面结构。

由于该模块使用复杂查询和潜在的深结构对媒体资料特性进行编码，所以编辑者界面在多个角色之间分割模板生成任务。被指定为编辑者角色的人定义该模板的最高级结构，而被指定为制片人角色的人(制片人通常对正在生成的实际产品具有更密切的控制)细化该结构并添加查询(从面向对象的数据库请求信息)。具体地，如以下将要说明的，制片人指定与用户简档的链接，由此限定他们自己和消费者之间的“权力平衡”。

模板生成工具提供了对象浏览器，该对象浏览器可以用来搜索现有的媒体对象和模板对象。可以对现有模板进行修改，并且可以将模板的多个部分复制到新模板中。

使用上述图形用户界面定义了该部分结构之后，可能使用媒体对象浏览器向编辑者/制片人提供图形用户界面，该图形用户界面使查询形成处理更加方便。

编辑者使用该图形用户界面对各个部分来输入查询字符串。用于图6中的第一部分的查询字符串表示用来填充模板中的该时间段(slot)的候选媒体对象的URI中必须具有字符串“Football Intro”。

用于部分的查询字符串可以相当复杂，如图6的模板的“主体”部分所示。在此，以XPath语言来编写该查询一对查询进行评估的方法将在描述用户简档元数据之后进行说明。

在编辑者希望对由媒体对象(响应于该查询从数据库中检索获得)代表的媒体元素施加一些约束的情况下，该编辑者还对这些部分输入约束。约束的目的在于限制模板组合器对媒体对象进行组合的方式。约束的可能示例包括时间(例如，该部分的长度必须为5分钟)、空间(例如，该显示必须在640*480像素的显示器上观看)、或者数量(在新闻节目的“标题行”部分中必须有5条新闻)。

用户简档生成工具44提供用户界面，该用户界面用于生成与图7中所示用户简档相似的用户简档。

该用户简档表示特定用户的偏好。由于具有媒体对象和模板对象，所以该数据必须符合预定的数据结构或模式。该模式规定通过标识符(本示例中为数字“1”)来识别各个用户。该用户简档的“结构”元素表示用户喜爱的事物一在本示例中为足球队B，尤其是Paulo Di Canio和Trevor Sinclair、Essex板球队，尤其是Nasser Hussain、女演员MillaJovovich和男演员Jimmy Nail。

模板组合器程序模块(图8)提供下述处理，该处理用于对为了将媒体对象集合合成为用户的个人化媒体资料而准备的编辑确定列表进行自动组合。在开始时(步骤60)，该模板组合器将特定模板、特定用户简档，以及媒体对象的存储器的指示器(在本示例中，为面向对象的数据库54的位置的指示)作为其输入。

在指定了特定模板、用户简档，以及媒体对象的存储后，该模板组合器对以XPath语言编写的任何查询的模板(图6)进行检查(步骤61)。如果找到了这种查询，则决定使用Apache项目的Xalan处理器来评估XPath。

例如，当考虑图7中的用户简档(在开始模板组合器程序模块时指定)时，将查询

(Team is“！profile(Profile/Sports//Team)”)AND

(Action is“Goal”))

解析(resolved)为

((Team is“Team B”OR“Essex”)AND(Action is“Goal”))

然后，该模板组合器识别该模板(图8)的第一部分，并通过该模板的分级结构来进行迭代(步骤62至75)。

每一次迭代(步骤62至75)包括所发现的模板中的下一个部分，在面向对象的数据库54中执行该部分中的任何查询(步骤62)，以返回对相关媒体对象的选择。

第一次迭代与图6中名称为“介绍”的部分相关。该迭代通过执行包含有该部分(即，URI包含“Football Intro”)的查询开始(步骤62)。图9A示出了产生本示例的选择。

然后，在步骤64中，构造包括所选择的媒体对象作为其“叶节点”的树。如下生成这种结构：检索第一个选择的媒体对象的父对象，紧接着检索该父对象的父对象等，直到到达没有与其相关的父对象的媒体对象(本示例中的“介绍”对象没有父对象，所以它是包含在该树中的唯一对象)为止。这里，重构了从叶对象到最高级容器的单链表。检查另一个所选择的叶对象(如果作为查询的结果，选择了多于一个的对象)，并且紧接着检查该叶对象的祖先，直到遇到已经存在于表示该第一对象的祖先的链表中的所检索的对象，或者遇到另一最高级容器为止。对该选择中的所有其它对象重复该处理，来重构包含这些对象的最小树。

如上所述，在第一次迭代中，所得到的树仅包含“介绍”媒体对象0.1。

在该模板组合程序中的指令(这些指令会改变存储并在生成编辑确定列表时使用的树数据结构)的循环(步骤66到72)过程中，后续步骤对该模板的第一部分没有影响，所以下面将根据在该模板的第二部分执行的指令循环的第二迭代对这些后续步骤进行说明。

在整个迭代过程中，将该树结构存储在PC的易失性存储器12中。

在指令组的每一次迭代结束时，确定(步骤74)是否考虑了该模板中的最后部分。如果没有，则对下一部分进行识别(步骤75)并执行下一次迭代。

根据足球得分精彩场面模板(图6)的中心部分来执行第二迭代。在这种情况下，为了如上所述考虑用户的偏好来对该查询进行解析，使用该用户简档(图7)来执行该第二查询。

该查询(步骤62)导致选择了媒体元素0.12和0.53(图10A)。如上所述创建了新的树数据结构，并且该树数据结构存储有表示图10B所示树结构的数据。

此后，对媒体对象的选择进行扩展，以考虑由用户指定的因/果关系(步骤66)。具体地，该步骤包括对各个所选择的媒体对象的元数据进行检查，以查明有多少起因对象与该媒体对象相关联。如果没有找到起因对象，择将该媒体对象转移到已解析媒体对象的列表中。如果仅找到一个起因对象，择将该起因对象转移到起因对象列表中，并将该媒体对象转移到已解析媒体对象的列表中。如果找到了多于一个的起因对象，则将每一个可能的起因对象添加到可能的起因对象的列表中(如果它还没有存在于该列表中)，并将该媒体对象添加到未解析媒体对象的列表中。

在本示例中，仅找到一个起因对象(图3B中所示)，所以将媒体对象0.53转移到已解析媒体对象的列表中(并且将其添加到与指令循环的该迭代相关联的树数据结构中一如图10C所示)，并且将该起因对象转移到起因对象列表中。

在生成可能的起因对象列表的情况下，可以找到导致大部分未解析媒体对象的起因对象。将该起因对象转移到起因对象列表中，并且其导致的媒体对象添加到上述已解析媒体对象的列表中。重复该处理，直到所有未解析媒体对象的列表变空为止。在本示例中，没有执行该步骤。

随后对起因对象列表中的各个起因对象进行检查，以查明它是由多少媒体对象导致的。如果仅一个媒体对象导致了该起因对象，则将该起因对象转移到以解析起因对象的列表中，并将该媒体对象添加到未解析媒体对象的列表中。如果多于一个的媒体对象导致了该起因对象，则将这些媒体对象添加到可能的媒体对象的列表中(如果它们还不存在于该列表中)。

在本示例中，由于起因对象列表中仅有的一个起因对象(CO1)是仅由一个媒体对象(0.52)导致的，所以将该起因对象转移到已解析起因对象的列表中，并且将该媒体对象(0.52)转移到未解析媒体对象的列表中。

在获得可能的起因对象的列表的情况下，可以找到导致大部分起因对象的媒体对象。随后将该起因对象转移到已解析的起因对象列表中，并将该媒体对象添加到未解析的媒体对象列表中。重复该操作，直到起因对象的列表变空为止。

然后对任何未解析的媒体对象重复以上过程(以使因果关系链回溯到初始起因)。因此，在本示例中，对媒体元素0.52重复以上过程，并导致将媒体对象0.51添加到与该迭代相关联的树中(图10D)。

紧接着创建树(步骤62至66)之后，对该树中的对象进行排序(步骤68至70)。

排序的第一阶段(步骤68)考虑由用户输入的顺序信息。通过使用已知的“快速排序”算法来进行排序，以按照由与该对象相关联的顺序位置元数据识别的正确顺序来设置该树的节点。该操作开始于树的顶部，然后向该树的叶节点(即，媒体对象)移动。

排序的第二阶段考虑组的成员之间或者组成员的后代(即，树更下面的对象)之间的因/果链接。在组没有这种因/果链接的情况下，不需要对这些组执行排序的这一阶段。

通过下述操作来开始排序的第二阶段：对树中的组的各个成员进行标记，使其附加有所有起因和结果(如果其为媒体对象)或者使其任一后代附加有所有起因和结果(如果其为容器)。

此外，随后将这些标签添加到对象元数据中，以反映出以下逻辑关联：如果a导致b，而b导致c，则a导致c。进行相同的操作以反映出以下逻辑关联：如果f由e导致，而e由d导致，则f由d导致。

然后，使用已知的快速排序算法来确保起因显示在结果之前。如本领域的技术人员所知，快速排序的实施使得用户能够定义一函数，该函数可以给出传递给它的两个对象的顺序。在本示例中，提供了一函数，该函数表示：a在b之前为a导致b，以及如果c导致d，则d在c之后。

因此，在第二迭代中的排序步骤(步骤68至70)结束时，媒体元素0.12、0.51、0.52和0.53形成树的叶节点，该树与在足球得分精彩场面模板(图6)中定义的中心部分相关联。

然后，模板组合器对任何约束进行评估，并相应地对树进行更新(步骤72)。为了评估时间约束，通过从“入”属性中减去“出”属性，来计算包括在该树中的各个媒体对象的持续时间，然后将这些持续时间加在一起，以获得实际的持续时间。如果发现该持续时间比目标持续时间长，则从该树中去除媒体对象。如果该持续时间比目标持续时间短，则将媒体对象添加到该树中。

在本实施例中，根据与这些媒体对象相关联的兴趣值元数据，来执行树的修剪或生长。

在该实际持续时间比目标持续时间长的情况下，执行以下处理：

1)如果该目标持续时间和实际持续时间之间的差值小于该树中的最短媒体元素的持续时间，则终止该处理；

2)否则，生成该树中的媒体对象的列表，并按照“兴趣值”属性的顺序对该列表进行排序。

3)从该树中去除具有最低值的媒体对象(假定该对象不是该列表中的一个或更多个其它媒体对象的起因)，并重新计算实际持续时间。重新计算目标持续时间和实际持续时间之间的差值，并重复以上步骤，直到该差值小于该树中剩余的最短媒体元素的持续时间。

在该实际持续时间比目标持续时间短的情况下，执行以下处理：

A)通过去除该部分中的查询的最后一个“与”运算符以及其后的条件，或者如果没有“与”运算符，则通过添加“或”运算符(其后紧接着诸如“兴趣值＞0.6”的条件)来对该查询进行修改。随后以与原始树相同的方式生成当前部分的新树。重复该处理，直到实际持续时间大于目标持续时间。此后，执行以上的步骤1)至3)。

在执行该修剪或生长后，结束第二次迭代。

应该明白，第三次迭代仅生成包括媒体对象0.99的树。

当通过媒体对象元数据对所有部分进行了组合，并且根据所提供的查询、约束以及用户偏好对所有部分进行了排序时，该模板组合器通过对在该循环的三次迭代中生成的树的叶节点处找到的媒体元素进行连接，来输出(步骤78)该编辑确定列表(图11)。

将由模板组合器程序模块(46)生成的编辑确定列表(图11)传递给内容合成器模块(48)。在本示例中，该内容合成器模块以流视频显示的形式逐个地输出场景，或者将这些场景连接在一起，以生成节目文件。

该内容合成器提供了用于自动将媒体元素集合合成为用户的个人化媒体资料的处理。该合成器与传统的非线性编辑系统相似，其中该合成器使用编辑确定列表(图11)来将媒体元素集合定位并组合为完整的媒体资料。然而，尽管传统的编辑工具仅在后期制作中使用，并且存在于编辑者的工作间(premise)内，但是该内容合成器是可以在网络的边缘，或者实际上在用户的设备(例如PC或个人数字记录器)中使用的便携式的轻便应用。这意味着，可以在交付点合成媒体资料，这在可以实现的个人化水平方面具有相当大的益处。此外，包括模板、媒体对象或用户简档在内的任何元数据的变化都可以动态反映在所得到的媒体资料中。

当由用户调用时，该内容合成器将用户简档和模板传递给模板组合器，该模板组合器如上所述对它们进行处理，并向该合成器返回编辑确定列表。然后，对该编辑确定列表进行解析，以找出需要哪些媒体元素，以及这些媒体元素彼此之间如何互相作用。然后，根据该信息来组合时间线(timeline)，该时间线包括对内容存储器50中的各种媒体元素的引用(reference)。在需要的情况下，对媒体应用过渡效果(在ANSI/SMPTE258M/1993标准中定义了其示例)。最后，对任何标题文本和图形覆盖(graphical overlay)进行解析，并再现为静态图像，随后以高优先级将该静态图像添加到该时间线中，确保它们在任合其它图形元素上可见。

在组合该时间线后，使用诸如Apple Quicktime或MicrosoftDirectShow的适当媒体合成器技术来实时地表现个人化显示。该合成器的模块特性意味着：可以在诸如机顶盒的嵌入式体系结构中更容易地实现内容合成器。

现将参照图11至20对由本发明的优选实施例提供的图形用户界面进行说明。

图12表示在图1的计算机中运行媒体资料应用程序时出现的应用程序窗口。可以看出，其提供了许多公知的图像用户界面组件。

图13表示用户通过使用File菜单或“打开”按钮选择“项目”，以选择要打开的项目之后的显示。在该优选实施例中，内容存储器50中的目录结构被组织为最高级别的项目目录，每一个项目目录都包含一个或更多个“媒体柜”，即，保存媒体元素集合的目录，以及一个或更多个“模板柜”，即，保存模板集合的目录。从图13中可以看出，当用户打开“PaperMill 03.db”项目时，显示项目子窗口，该项目子窗口显示：该“Paper Mill03.db”项目包含被称为“Paper Media”和“juliamark”的两个媒体柜，以及被称为“Paper Templates”的一个模板柜。

图14表示用户双击“Paper Media”媒体柜时打开的另外的子窗口。该子窗口显示了多个行，每一行都包括多个列条目。可以看出，通过将鼠标指针移动到该子窗口的标题栏上，可以向用户显示包含在用于描述媒体元素的结构化数据模型中的所有属性的列表。通过使用鼠标点击，用户能够选择在该“Paper Media”媒体柜子窗口中显示该结构化数据模型中的哪些元素。应该注意，该结构化数据模型与作为图3所示元数据的基础的结构化数据模型严格对应。

当双击每一行的第一列中提供的缩略图之一时，在另一子窗口(图15)中显示与该缩略图所表示的媒体元素相关联的元数据。赋予各个属性的值都是可编辑的。另外，某些属性具有与它们相关的词汇表(即，该属性的有限数量的预定值)。在本示例中，在值字段右键单击将会显示包含这些预定值的下拉列表。用户可以以通常的方式从该列表中选择这些预定值中的一个。

当用户选择包含在图14所示的子窗口中的多个(并且可能是全部)媒体元素时，右键单击并选择“Relationships”选项，则显示另一子窗口(图16)，该子窗口显示了包括在该选择中的各种媒体元素之间的关系。以与图4A至4G中所示相似的方式，通过将对应的缩略图包围在实线边界中，来显示多组媒体元素，类似地显示顺序-除了该边界包括左上角附近的箭头符号以外。还显示了两个菱形，如第一实施例所述，这两个菱形表示起因对象。左边的起因对象表示媒体元素JKY08a和JKY08b之间存在因/果关系。

在上述第一实施例的改进中，用户可以在表示起因对象的菱形形状上右键单击，然后向该用户提供选项列表，即“向后”、“向前”、“双向”、“分离所有”以及“删除”。前三个表示当选择了连接有起因对象的媒体元素时，以上第一实施例中所述的树扩展处理对树进行扩展的方式。如果选择了“向前”，则选择JKY08a将会导致JKY08b被添加到该树中，反之则不然。“向后”具有相反的效果，即，如果选择了JKY08b，则JKY08a会被添加到该树中，反之则不然。如果选择了“双向”，则选择任何一个都会导致另一个被添加到该树中而扩展该树。“向后”、“向前”和“双向”的选择被存储为图3B中的另外一行元数据。

图17表示“Vocabularies”子窗口，用户可以通过从Edit菜单中选择“Vocabularies”选项来打开该子窗口。可以在该子窗口的左上方的方框中再次看到作为媒体对象的基础的结构化数据模型。用户可以定义词汇表-即，用于该用户在该数据模型中选择的任意属性的可接受值的列表。在图17中，用户选择了属性“Place”，并将值“By the canal”、“PaperMill”和“Sainsbury”定义为该属性的可能值-该词汇表与当前选择的项目相关，并存储在面向对象的数据库(图2中的54)中。

图17还表示该结构化数据模型的可扩展性。通过允许用户添加域指定属性(domain specific attribute)(应该记得，图3中也包括这些属性的示例)来实现该可扩展性。在图17中所示的子窗口的左下方的方框中示出了该域指定属性，可以使用按钮“Add”和“Del”来添加或删除域指定属性。这些域指定参数被添加到与当前打开的项目相关的数据模型中。

图18表示用户为了生成与图6中所示相似的模板元数据而执行的步骤。为了生成媒体对象元数据，用户首先打开项目子窗口。然后，该用户在所显示的模板柜之一上双击(在所示的示例中，该用户双击了“Papertemplates”模板柜)，以打开“Query Builder”子窗口。可以看出，该子窗口的左侧中的树与图6中的表相似，每一个“<新场景>”与一个部分相对应。

该树结构中的圆圈表示用于从媒体柜中选择媒体对象的过滤器。存在以下三种过滤器：

i)包含“＝、或＞、或＜、或≠”的圆圈

对于用户选择的属性，这些过滤器选择该媒体柜中具有该属性的下述值的所有媒体对象，该值等于该圆圈旁边所示的值，或者大于该圆圈旁边所示的值等。

ii)包含(*)的圆圈，其表示用于选择该媒体柜中包含该圆圈旁边所示字符串的所有媒体对象的过滤器。

用来组合该过滤操作的结果的逻辑运算符被称为组合符，并显示为三角形。存在被称为“随机”、“顺序”和“或者(Either/Or)”的三种组合符。

顺序组合符在该树中仅按照将过滤操作的结果设置在该树中的顺序，直接在该顺序组合符下面显示这些过滤操作的结果。每一个顺序组合符都具有穿过该顺序组合符的直箭头-图18中所示的“Machine(860)”的第一和第三部分中示出了其示例。

随机组合符在该树中以随机顺序在该随机组合符下方显示一个或更多个过滤器的结果。随机组合符具有穿过该随机组合符的Z字形(zigzag)箭头。图18中所示的“Machine(860)”的第二部分中示出了其示例。

或者组合符(未示出)选择其下方的两个过滤器分支的结果。该或者组合符具有穿过该或者组合符的分离箭头。

图19表示用户如何修改该树，并由此生成与图7所示相似的模板数据。当添加过滤器时，用户可以选择属性，然后可以输入所期望的值。

可以添加到树中的另一元素是“漏斗(funnel)”。其作用类似于过滤器，仅允许将用户限定数量的随机选择的媒体对象提升到树的更高层。

在嵌套(nested)多个过滤器的情况下，在整个树中，对滤波器的结果依次应用每一个过滤器。

为了生成编辑确定列表，用户点击工具栏中标有“！”的按钮，同时选择模板。然后将该编辑确定列表添加到编辑确定列表历史记录子窗口中，当按下工具栏上的相应按钮时显示该子窗口。右键单击该窗口中的编辑确定列表，为用户提供以下选择：根据该编辑确定列表来播放视频；预览情节串连图板(图20中示出了该结果)；导入或导出该编辑确定列表；以原文的形式对该编辑确定列表进行编辑或者删除该编辑确定列表。

本发明优选实施例的改建中提供了另一特征。图21中示出了向用户提供该特征的图形用户界面。当选择文字“Jacky，Problem”并插入过滤器时，向用户显示复选框。当该用户在该复选框上打勾时，如图所述，向该用户提供下拉控制器列表。通过选择这些控制器之一，该用户可以将“控制器”应用于该过滤器。可以多次提供该控制器(可以看出，在图21所示的模板中应用了第一控制器两次)。

图22表示可以由用户移动的一对滑块控制。通过例如将最上面的滑块拖动到更靠左的位置，可以减小与控制器#1相关的“Coneptual PlotValue”(反之亦然)。通过改变该滑块的位置，用户能够直接根据媒体资料预览窗口(图22)来改变由查询生成器生成的模板，而不需要重新定义过滤器。这不仅提供了更新模板中的过滤器的更简便的方法，而且构成了无需访问查询生成器等的简化用户界面的基础。换言之，为非技术用户提供了生成定制视频显示的手段。

可以以多种不同的方式来实施本发明。例如，可以以下列多种方式中的一种或更多种来改变上述实施例，以提供本发明的另选实施例(该列表不是穷举的)：

i)在上述实施例中，输入节目模块生成了具有预定结构的数据结构。在某些实施例中，通过符合XML模式准则的文件来提供该预定结构；

ii)用户可以改变模板中的约束部分一例如，可以向用户提供图形用户界面，该用户可以在该图形用户界面中选择他希望看到的媒体资料的持续时间。然后可以通过模板组合器程序将对应的值添加到模板对象中；

iii)可以添加到各个选择或选择的组合中的一个约束可以是对给定媒体元素出现在已完成的媒体资料中的次数的约束。例如，该约束可以指定在给定的媒体资料中任何媒体元素只能出现一次。

Claims

1.一种自动合成媒体资料的方法，所述方法包括：

指定媒体对象的存储、模板以及表示用户的偏好的用户简档，该模板用于指定媒体资料的期望特性并具有多个部分，该多个部分中的每一个部分都包含查询，各个媒体对象都与对应的媒体元素相关联并且包括与其相应媒体元素相关的数字元数据，该数字元数据包括：

相关媒体对象识别数据，用于识别相关媒体对象；以及

关系数据，该关系数据表示由与当前媒体对象相对应的媒体元素代表的内容和由与所述相关媒体对象相对应的媒体元素代表的内容之间的关系；

迭代地找到所述模板中的各个部分并对每个部分执行以下处理：

使用所述用户简档解析并执行该部分中的任何查询，以返回对多个媒体对象的选择，

构造包含所选择的所有媒体对象作为叶节点的树，

通过添加由指定的因/果关系识别的媒体对象作为所选择的媒体对象的起因，来对所述树进行扩展，

根据指定的顺序信息对所述树进行排序，

根据所述因/果关系对所述树进行排序，

根据所述模板中指定的约束对所述树中的媒体对象进行添加/去除；

对与所述树中的媒体对象相对应的媒体元素进行连接以生成编辑确定列表；以及

使用所述编辑确定列表将媒体元素定位并组合为完整的媒体资料。

2.根据权利要求1所述的方法，还包括生成所述相关媒体对象识别数据和所述关系数据。

3.根据权利要求1所述的方法，其中各个媒体对象的所述元数据还包括内容数据，该内容数据表示由所述媒体对象的对应媒体元素代表的内容，并且其中执行查询的所述步骤包括：根据所述内容数据，从多个媒体元素中选择一个或更多个媒体元素。

4.根据前述权利要求中的任何一个所述的方法，其中所述媒体元素包含视频数据。