CN1364267A - 多媒体档案描述方案 - Google Patents

Abstract

一种多媒体档案描述方案,它提供了区别拥有记录和记录相关描述的多媒体档案的方法。多媒体档案描述方案提供了以相似度量使记录相关的数据结构。多媒体档案描述方案中的基本数据结构是簇。簇包含一个或者多个档案中记录的属性并且可以包含一个或者多个簇关联(110)。簇属性(105)可以包含档案中记录的特征空间属性,语义属性,媒体属性和介质属性。簇关联可以联系记录到簇或者联系簇到簇。簇关联可以包含特征空间(依照句法的)关联,语义关联,媒体关联和介质关联。本多媒体档案描述方案提供了描述记录集合的有效形式。

Description

多媒体档案描述方案

相关申请

本申请要求下述美国临时申请的利益，序列号No.60/118,026题为“ARCHIVE DESCRIPTION SCHEME”，申请于1999年2月1日；序列号No.60/142,327题为“FUNDAMENTAL ENTITY-RELATIONSHIP MODELS FOR AMULTIMEDIA ARCHIVE DESCRIPTION SCHEME”，申请于1999年7月3日；序列号No.60/118,020题为“PROPOSAL FOR MPEG-7 IMAGE DESCRIPTION SCHEME”，申请于1999年2月1日；序列号No.60/118,027题为“PROPOSAL FOR MPEG-7 VIDEO DESCRIPTION SCHEME”申请于1999年2月1日。

发明领域

本发明通常涉及多媒体档案描述并且更具体的涉及多媒体记录集合(例如多媒体文档)的描述方案。

发明背景

由于多媒体越来越流行，许多应用将从可协同的描述标准中受益。这样的一个例子是不同类的音频—视频数据库中多媒体文件的交换。例如，当一个媒体公司从电视广播公司购买了多媒体信息，购买者通常获得大量的多媒体记录，可以包含图像，图像剪辑，视频，视频剪辑，声音内容，文档，或者类似物。文档和音频—视频文件描述标准的存在允许购买公司不仅可以利用每个多媒体文档的原先可提取的特征和注释，也可以利用整个多媒体集合原先的索引。从而，多媒体公司可以使整合购买的内容到已有内容的代价最小化。

多媒体公司在评价多媒体档案内容以决定哪套多媒体材料最适合他们的目标中也会遇到问题。一种评价内容的方法是一个接一个的浏览多媒体文件并手工的选择最适合的材料。这种解决方法很费时间并且冗长乏味。多媒体文档的一个合适的描述方案可以促使应用更有效地浏览多媒体集合的内容，甚至是不同源的内容。

中间搜索引擎，是连接用户到多重的分布的搜索引擎的网关，也可以从多媒体描述方案里受益。目前中间搜索引擎的操作被目前搜索引擎的界面限制(例如，通过例子或者通过梗概查询，结果是平系列的文件)所严重局限。

档案描述对于中间搜索引擎与多重搜索引擎互动时有很大好处。这样的查询可以包含大量的多媒体文件。通过文档描述查询将允许有效的与多媒体集合在所选的特征上匹配不需要交换每个多媒体文档的描述。当观看多媒体文件集合描述而不是单个多媒体文件时，文档内容带来的利益可以更明显。

当前，多媒体标准，例如MPEG-7，包含了单个多媒体文档的描述标准，但是没有延伸到多媒体文件集合或者档案的描述。如果采用这样的标准并且搜索引擎使它们可用于中间搜索引擎，就可以获得一个更有效的多媒体文档搜索方法。

观察前述，需要有一个适用于多媒体标准，例如MPEG-7的多媒体档案描述方案。

发明目的和内容

提供一种档案描述方案，它用索引结构和元素以描述多媒体内容集合，这是一个目的。

提供一种档案描述方案，它根据记录的性质和描述连接档案记录，这是进一步的目的。

提供一种档案描述方案，它根据记录的属性和记录之间的关系来联系记录，这是另一个目标。

根据本发明，生成多媒体档案描述的系统有数字化存储子系统以存储多媒体记录和根据媒体描述方案的记录描述。计算机处理器可耦合到数字化存储子系统。计算机处理器可以存取数字化存储子系统的记录描述并且生成档案描述记录。档案描述记录至少有一个簇，它是一种数据结构，至少涉及两个记录或者至少是数字化存储子系统中一个单独记录的两部分。簇基于指示相应记录的相似性度量的记录描述的属性形成。簇属性从记录描述生成并且可以包含特征空间属性，语义属性，媒体属性和介质属性。计算机处理器作为档案描述记录的一部分，也为档案生成一个多媒体档案索引，或者集合结构。

系统还包含档案描述记录存储，它与计算机处理器耦合以存储档案描述记录。档案描述存储可以是一个分隔的数据存储设备或者与数字存储子系统相关的计算机可读媒体的一部分。

档案描述记录中的簇还可以按照至少一个簇关联将记录连接起来。簇关联可以包含特征空间关联，语义关联，媒体关联和介质关联。簇关联可以定义簇和记录之间，两个或者很多记录之间，或者两个或者更多簇之间的关联。

根据本发明的方法产生了多媒体集合或者档案的内容的描述，可以有一个或者更多媒体记录和与记录相关的记录描述。方法包含评价记录描述以确定至少两个在基于记录的性质和基于这些性质的分组单元中的记录里的相似性度量。可以自动的，半自动的甚至手工的实现分组。可以接着根据簇属性和簇关联生成簇描述记录，反应了元素的分组。多媒体档案索引，或者集合结构描述方案，生成以联系多媒体档案描述和档案中的记录。

本多媒体描述方案是描述多媒体档案内容的档案描述文件，有记录和与记录相关的记录描述。档案描述文件里的基本描述单元是簇。簇包含至少一个与根据记录描述中相似性度量的记录相关的簇属性。簇可以进一步用包含至少一个簇关联来定义。

在上面的每个实施例中，簇属性可以包含与特征空间属性，语义属性，媒体属性和介质属性相关的描述符。簇关联可以包含特征空间关联，语义关联，媒体关联和介质关联。簇关联可以定义记录之间，记录和簇之间或者两个或更多簇之间的关联。簇属性可以根据基于信息的层次被索引，在基于信息的层次，特征空间属性索引在语义属性等级之上。特征空间属性可以从包含类型/技术属性，整体分布属性，本地结构属性和整体成份属性的组中选择。语义属性可以从包含一般对象属性，一般场景属性，特定对象属性，特定场景属性，抽象对象属性和抽象场景属性的组中选择。在特定的实施例中，这里，基于信息的层次是十层索引结构，包含大量的特征空间属性层和大量的语义索引属性层，其中特征空间属性层包含类型/技术属性层，整体分布属性层，本地结构属性层和整体成份属性层，并且其中语义属性层包含一般对象属性，一般场景属性层，特定对象属性层，特定场景属性层，抽象对象属性层和抽象场景属性层。

簇关联可以从包含特征空间关联，语义关联，媒体关联和中间关联的组中选择。特征空间关联可以从包含空间关联，时间关联，和视觉关联的组中进一步选择。语义关联可以从包含词汇关联和预言性关联的组中进一步选择。

上述的系统，方法和档案描述方案可以应用于根据本发明的媒体档案系统。媒体档案系统包含一个计算机可读的存储系统以存储大量的媒体记录。还提供了至少一个媒体描述器以存取存储于计算机可读存储系统的媒体记录，并且生成与其相应的媒体描述记录。簇处理器与计算机可读存储系统耦合。簇存储器存取媒体描述记录并且生成包含至少一个与存储于存储系统的两个记录相关的簇的档案描述记录。查询处理器可以被提供并且被耦合到簇处理器以接收用户的档案查询参数并提供档案查询请求到簇处理器。

簇处理器可以随着用户不同程度的输入自动地或者半自动地生成档案描述记录。可以通过手工地生成基于簇属性和簇关联的簇，生成或者修改档案描述记录。

附图简介

从下面显示本发明说明性实施例的附图的详细描述中，本发明的进一步的目标，特征和优点将变得明显。

图1是根据本发明的多媒体档案描述的简化的框图。

图2A是说明示例性的多媒体档案内容和潜在簇在特征空间的韦恩图。

图2B是说明图2A中确认的簇的示例性的簇解构关系的层次图。

图3A是说明实例性的多媒体档案内容和潜在簇在主题空间的韦恩图。

图3B是说明图3A中确认的簇的示例性的簇解构关系的层次图。

图4是说明本多媒体档案描述方案的第一具体实施例的体系结构的框图。

图5是说明使用于图4中的描述方案的体系结构相关的示例性的簇描述符安排的框图。

图6是说明示例性的簇关联安排的框图，在与图4的描述方案体系结构相关中使用。

图7是一张表格，说明了示例性多媒体档案描述方案中的语义关联的索引结构。

图8是一张表格，说明了示例性多媒体档案描述方案中的依照句法关联的索引结构。

图9是示例性的多媒体档案描述方案的簇属性索引结构和簇关联索引结构的图示表现。

图10是说明多媒体档案描述方案的示例性整体关联方式的框图。

图11是说明本多媒体档案描述方案体系结构的可替换具体实施例的框图。

图12是应用根据本发明的多媒体档案描述方案的多媒体档案系统的框图。

较佳实施例详细描述

所有图中，相同的参考号码和字符，除非其他说明，都被用于代表所说明具体实施例的类似的特征，元件，部件或部分。而且，现在将参照附图详细地说明主题发明，这与说明的具体实施例相关。试图不脱离如所附权利要求书所限定的，主题发明的真实范围和精神，对描述的具体实施例作改变和更改。

对于本多媒体档案描述方案而言，多媒体记录的本质不是关键的。如此处所用，词条多媒体文档和多媒体记录是同义的，并且一般指多媒体内容，例如图像，图像对象(例如图像的一部分)，视频剪辑，包含文本和图片的互联网网页(例如，HTML和基于XML的多媒体内容)，或者其他类似物中的任意一条。

本多媒体档案描述方案一般可应用于描述多媒体记录集合的系统和方法，其中集合中的单个记录可以，或者已经，用单个记录的媒体描述方案来描述，这里一般是指单个记录描述方案。示例性的、针对各种多媒体内容的单个记录多媒体描述方案例如一般音频—视频内容，图像和视频，分别在下面共同待批的国际申请中作了描述：PCT/US99/26125题为“Syetems andMethods for Interoperable Mutimedia Content Descriptions”；PCT/US99/26127题为“Image Description System and Method”；和PCT/US99/26126题为“Video Description System and Method”；在此可供参考。

通常，多媒体记录可以被描述为一套元素，例如依照句法的，语义的，介质的和媒体元素。例如，一图像可以被描述为有特征和与对象那些相关的关联的一组对象。这种描述基本原理是可扩展到多媒体文档集合，多媒体文档集合可以看作一套元素，进一步由元素的属性和到其他元素的关联描述。

图1简化的框图说明了本多媒体档案描述方案的概念。本多媒体档案描述方案中描述的基本单元是簇100。簇100表示了一组在基于记录属性的档案里的记录，记录是在描述记录时设置。簇100包含至少一个簇属性，它描述簇的性质。簇也可以包含簇关联110。簇关联可以很简单，一个到一个关联，例如在簇，记录，或者部分记录之间，或者可以较复杂，在多个簇，记录，或者部分记录之间m到n的关联。簇关联110可以进一步以簇关联属性115定义。

簇100可以用许多方法区别，例如通过它的元素在不同特征空间，与簇相关的语义，媒体信息，和介质信息的统计和分布来区别。特征空间和语义属性通常传达紧紧与簇相连的信息，而不是由内容明确的给出。这种类型的簇属性的例子可以包含在数据库中的簇的鉴定或用于产生簇的方法中。簇100可以基于大量的属性和/或者关联的合并产生。簇也可以基于人工指导产生，这可以不对应于描述这些元素的属性和关联的任何合并。

簇100可以分组以形成其他的簇，这样合成和/或者分解是簇中可能的关联。更复杂的关联包含基于其属性105的簇的联系，例如“颜色更加任意”。簇中关联110可以为每个簇的属性定义，例如，依照句法的特征空间，语义特征，媒体和介质。

可以用概率来指示陈述联系的确信度(例如，“对象1包含于簇A的概率是0.9”)。关联也可以以多媒体档案的元素联系簇(例如，“簇A由对象1和对象2构成”)。

根据图1的本多媒体描述方案的例子，在图2和图3中说明。图2A示意一个档案的元素和可能的簇，簇以类的特征空间定义，指定为X。档案的元素220，图上以分布在特征空间的星来说明，可以是静止区域(例如图像对象)，移动区域(例如视频对象)和视频剪辑，在其他对象中。簇0，1，2，2.1，2.2，2.3和3用分布属性颜色205，形状210和文件大小215描述。图2B说明图2A中簇的简单的分解关系。其中，簇0包含簇1，2和3并且簇2包含簇2.1，2.2和2.3。明显的，可以为这些簇定义其他关联，例如簇2交叉簇2；簇2.2比簇2.1有较高的平均颜色；等。

图3A和3B可以表示定义为簇的示例性的档案内容，和各自的簇的分解关联。参考图3A，档案的元素可以是对象和事件，它们被示例性的簇联系；主题300，艺术310和科学320。在艺术簇310中，定义了簇表现派325，印象派330，和现代派335。图3B说明了在簇3A中的簇的简单的分解关联。

图4是说明本多媒体档案描述方案的具体实施例的框图。此具体实施例是扩展单个记录多媒体描述方法的定义，以表现有一个或者多个记录的多媒体档案。在图4中，不同的框表示多媒体档案描述方案信息的不同领域。在描述方案里不同的框由合成关联相联系，这些联系在图中由三角形和箭头说明。簇100由至少一个属性105定义，并且可以包含一个或者多个关联110。参考图4，这些参数存储在簇描述方案框405中，框405通过关联合成包含簇关联415和簇描述符410。簇描述符400包含簇的属性。簇描述方案框405也包含簇节点框400。节点框400是用于以关联分组一套元素的元素。簇描述方案框405也连接到集合结构描述方案块420，它是一个索引，可以将单个文档多媒体档案描述方案，例如一般音频—视频内容425的描述方案(一般AVDS)，连接到簇描述方案框405和簇关联框415。

簇节点400包含参考不同的成份，它进一步描述了档案里单个记录的内容。例如，簇节点400可以通过合成链接，包含参考部分430(例如视频)，，参考事件435和参考对象440(例如图像对象)，它们可以在已经存在的多媒体描述方案里加以定义。簇节点400也可以包含参考其他簇445和参考多媒体描述方案450。参考作为指示器传递了信息源的位置。

簇描述符框410进一步在关联的框图5中作了定义。簇描述符框410可以包含特征空间描述符500，语义描述符505，媒体描述符510和介质描述符515，它们可以应用于连接单个文件媒体描述方案。

特征空间描述符是一套特性，它们说明了描述方案中记录的特征空间属性。这样的属性是一般依据句法的，并且参考记录内容的安排而不需要考虑这种安排传输的方式。特征空间属性一般描述簇在给定特征空间里的表现。特征空间属性也可以描述簇里记录分布的统计属性(例如尺寸和高状态瞬间)。特征空间属性可以包含信息，例如特征空间点520，特征空间方向522，特征空间边界参数524，特征空间轮廓定义526和特征空间量子化528。特征空间描述符500也可以继承特征空间530的属性和特征空间分布532。

语义描述符框505可以继承自由形态注解534，以及通常的6-w参数536，这也用于连接单个多媒体记录的描述方案。语义属性通常指有记录安排传达的语义。6-W包含谁(who)538，哪里(where)540，什么对象(what object)542，什么行动(what action)544，为什么(why)和什么时间(when)548。

媒体描述符框510包含描述簇媒体属性的信息。例如媒体描述符框510可以继承簇的格式信息550，储存要求552，文件标识参数556和文件位置信息558。

介质描述符框515可以包含作者生成的信息，它可以由文件的作者或者簇的生成者输入。簇的介质属性可以包含与簇的生成者相关的信息，例如用于根据簇的属性产生簇的方法，限制或者规则。如图5所述，中间描述符框515可以继承信息，例如代表图标560，知识产权属性562和生成信息564，例如生成方法566，生成时间568和组织570。

图6进一步说明簇关联框415的结构和内容。簇关联框415可以被广泛的分类为特征空间关联605，语义关联610，媒体关联670和中间关联680。语义关联610可以用于联系语义的簇的解释，还包含词汇的联系615，动作联系620和状态联系625，所有这些都可以从档案集合中单个记录的描述中继承。动作关联620和状态关联625是预言性的关联。例如在图3，关联“印象派是簇艺术中的一部分”是在簇“印象派”和“艺术”之间的语义关联。词汇关联615相应于名词中的语义关联，例如在下篇文章中描述：“WordNet：A lexicalDatabase for English”，作者G.A.Miller，发表于1995年11月Communicationsof the ACM，第38卷，11号，39-41页。这些联系可以包含同义词(例如，“导管(pipe)和管子(tube)相似”)，反义词(例如“高兴和悲伤相对”)，下义关系/上义关系(例如，“一条狗是一个动物”和“一个动物是一种狗”)和部分/整体(例如，“音乐家是乐队的一名成员”和“乐队属于音乐家构成”)。肯定的语义属性可以包含两个或者多个簇之间的动作联系620(例如，“扔”和“打”)和状态关联625(例如“拥有”和“控制”)。这些联系在表格7中进一步说明，表格7提供了语义关联的索引。

特征空间关联605可以包含关联，例如簇联合630，簇交叉635，簇分解640，Rθ(极径和极角)关联645和簇元素650。这些关联是自然的依据造句法的。Rθ关联一般包含方向信息655和特征空间距离信息660。特征空间关联的列表是不详尽的代表性的列表。给定的档案描述方案实例的真实的特征空间关联可以包含这些关联的子集并且还可以包含图6中没有显示的其他关联，它与特定特征空间有关。图8的表格提供了多媒体档案描述方案的依照句法联系的实例性的索引结构。

图4-6所说明的多媒体档案描述方案的具体实施例在附录A中阐明。实施例用XML(可扩展标记语言)语法定义了本描述方案。附录B以图2和图3的实施例档案各自说明了附录A阐明的本档案描述方案的实例。

图9是提供了簇属性的十级索引结构图表和相应的由一般音频—视频描述方案说明的示例性档案记录的簇关联的索引结构。在示例性音频—视频描述方案中，记录的一般是图像，图像部分或者视频剪辑，并且根据对象，区域和事件进行描述。在图9中，簇属性索引结构910有一个十级的金字塔形式表示。索引结构910的每级都代表了属性，相对于上面的级，都需要更多的信息以定义它们。如上所述，簇属性可以是句法的，语义的，媒体和介质类型属性。然而，在图9的示例性索引结构里，簇仅仅是由句法和语义属性进行区分。在示例性索引结构910中，句法属性，例如类型技术912，整体分布914，局部结构916和整体合成918组成了索引结构910的上面四层。索引结构的下面六层上面了簇的语义属性，例如一般对象922，一般场景924，特定对象926，特定场景928，抽象对象930和抽象场景932。层918和922之间的分隔线920示意从句法属性到语义属性的转变。

类型/技术层912提供了簇的可视特征的一般信息，它可以包含用于产生簇的特征(例如，颜色，材质等)，簇的组里元素类型(例如，对象，活生生的区域等)和相似的描述。整体分布层914分类了基于整体内容属性的簇，它通常用记录的底层知觉特征度量。整体分布特征可以包含整体颜色特征(例如，主导颜色，平均颜色，柱状图等)，整体材质(例如粗糙，方向性，对比)，整体形状(例如，纵横比)，整体移动参数(例如，速度，加速度，方向)，整体变形(例如，延展速度)，时间/空间度量，特征空间度量和类似物。整体属性层914也可以包含簇的统计属性，例如尺寸(簇中记录的数量)和簇里记录分布的高有序移动。

属性的局部结构层916关联与簇的局部组件的抽取和描述。局部组件通常在给定的特征空间以相同的分布显示了元素(例如，范围，对象)。局部结构属性包含分布遮盖，质心，第一和第二移动，局部分布函数和相似物。

整体合成层918是索引结构910最后的根据句法的，或者特征空间属性层。在上下文中，整体合成指簇在特征空间的安排或者空间格局。整体合成层918包含与在局部结构层916说明的元素的特定安排或者合成相关的属性。它可以包含概念，例如子簇的数目，簇的边界，对称和相似物。

索引结构910的下一层(增加的知识层)是一般的对象层922，它是层次里的第一个语义属性层。一般对象是那些在基础层用通常可知的表述的对象。一般对象可以包含例如“人”和“天”之类的事物。这样的对象由一般对象层922中的一般对象属性定义。

在一般对象层922下面是一般场景层924，它以一般对象和它们的安排索引簇。一般场景分类可包含城市，风景，室内，室外，平静的生活，肖像和类似物。类似一般对象，一般场景也仅仅需要一般可知的知识以分类记录。

不象一般对象，特定对象指那些使用特定信息区分和分组的对象。例如“乔治华盛顿(George Washington)”是特定对象属性。特定对象属性在索引结构910的特定对象层926索引。相似的，特定场景层928类似于一般场景层，除此之外，属性进一步由记录相关的特定知识进行定义。“纽约市(NewYork City)”是一个特征场景属性的示例.

将索引结构910往下移动需要更多的知识。在特定场景层928下是抽象对象层930。抽象对象由自然主观的非常特定的知识定义。抽象对象可以包含情感，例如“怒”或者“喜”，同样的概念如“努力工作”，“决定性的”和类似物。相似的，对应抽象场景层932，参考了指代簇的整体表示的属性。这样语义对象“纽约市”可以被抽象场景属性例如“玩笑”，“臀”，“混乱的”和相似的描述。由于这样的属性需要簇和簇所表示的更特定的知识，抽象场景层932形成了索引层的基底。

簇关联可以在属性索引结构910的不同层中加以规定。句法的关联可以在句法和语义层中作出规定。这在句法关联表格940中显示，延展索引结构910的分隔线920上下部分。语义关联950可以仅仅由语义层定义。这样语义关联950表格仅仅显示延展分隔线920下部。

如图7-9所说明，从图9的十层索引结构910，可以规定关联十层。语义关联可以定义在一般层，特定层和抽象层。例如，“拥有股份”是一个一般的语义(动作)关联；“拥有80％的股份”是一个特定的语义(动作)关联；并且“控制公司”是一个抽象的语义关联。句法关联，例如图8所述的，可以仅仅由索引结构910的一般层(例如“相似分布”)或者特定层(例如“变化的不同是x”)形成。参考图8，句法关联包含特征空间关联，如拓扑和方向的关联。拓扑关联可以在一般层(例如靠近，远离，邻接等)和特定层(并集合，交集合，质心距离等)进一步规定。相似的，方向关联可以在一般层(例如，在特征A增加的方向，在特征B减少的方向)和特定层(特征空间x的簇质心的夹角)上规定。

图10是关联流程图，说明了一般音频—视频描述方案的档案描述方案的实体关联模型。在此示例性实体关联模型中，簇根据它们的属性和关联分类，如根据句法的簇1002和语义簇1004。簇也可以定义为媒体簇和介质簇，图10中没有显示。在视频描述方案的档案情况，可以从区域1006，活动区域1008和部分1010产生根据句法的簇，它可以是在视频描述方案中定义的特定的记录类型。根据句法的簇也可以包含句法关联1012，如图8所示。语义簇1004以继承关系从对象1014，活动对象1106，时间1018和句法簇1002产生。实体关联模型也可以包含从区域1006，活动区域1008，部分1010产生的句法元素1020和视频特征关联1022。

句法元素1020由句法属性1024定义。相似的，语义元素1026从对象1014，活动对象1016，事件1018和语义关联1028产生。语义元素由语义属性1030定义。

图4的具体实施例说明了用作多媒体档案描述方案的单一记录多媒体描述方案的扩展。如果基本的单一记录描述方案易于修改，具体实施例是合适的。图11是可替换的适用于未修改单一记录描述方案相关的多媒体档案描述方案的具体实施例的框图。

参考图11，单个记录描述方案由一个音频视频描述方案(AV DS)框1105表示，它可以包括句法描述方案1110，句法/语义联系描述方案1115和语义描述方案1120。多媒体索引描述方案1125将索引参考提供给多媒体档案描述方案框1130的单个文档描述方案1105。多媒体描述方案框1130可以包含许多多媒体索引描述方案框1125，其中每个框与相应的单个档案描述方案1105相关联。这样，比改变和扩展单个文档描述方案以适应多个记录描述好，多媒体档案描述方案框1130通过多个多媒体索引描述方案框1125参考标准的单个文档描述方案，多个多媒体索引描述方案框1125基本上为多媒体档案描述方案框1130提供了单独记录的索引。

图12是符合本多媒体档案描述方案、系统和方法的多媒体档案系统的框图。系统包含档案层次1200，其中多媒体记录1205和相关的多媒体记录描述1210被储存在计算机可读的媒体中，例如光盘储存，磁盘储存和相似物。多媒体记录1205可以适用数字图像，图像部分，数字化视频剪辑，互联网网页，超文本档案(HTML，XML和类似的)，数字音频文件和及其类同物。记录描述1210符合该记录并且提供符合的特定记录类型定义的描述方案的描述。档案储存一般位于本地的主机储存中，档案储存可以位于远端，例如通过超文本集合链接，或者是指针，指针指向记录1205和描述1210的远端位置。

多媒体档案系统也可以包含不同的描述器，器根据合适的描述方案区分单独的多媒体记录。例如，图12的系统包含视频描述器1215，音频描述器1220和图像描述器1225。描述器可以访问档案储存1200里的记录1205，并且根据合适的单独记录的描述方案生成记录描述1210。

多媒体档案系统包含簇处理子系统1230。簇处理子系统访问记录描述1210并且生成簇，如与图1和4-6相关的描述。另外，簇可以由用户手工定义或者通过人输入和簇处理子系统1230运行相结合，实现半自动定义。簇处理子系统1230生成多媒体档案描述1235，包含簇定义和多媒体索引或者集合结构，符合图4-7定义的描述方案。多媒体档案描述1235可以位于档案储存1200。可替换的方法是，多媒体档案描述可以储存于档案描述数据库1240，数据库可以由簇处理子系统1230读写。

图12的系统也可以包含查询处理子系统1237。查询处理子系统1237可以通过簇处理系统1230访问档案描述1235。可替换的方法是，查询处理子系统1235可以直接访问位于档案储存1200或者档案描述数据库1240的档案描述。查询处理子系统1237可以通过应用输入/输出(I/O)电路接收用户查询，电路可以包含交流端口，搜索器，键盘，数字转换器和类似物(没有显示)。档案系统远端客户计算机系统1250可以通过专门的物理I/O连接(例如专门的终端，或通过网络连接，例如互联网)存取档案系统。基于不同媒体的应用工具和软件1225也可以用于连接本多媒体描述方案和系统。这样的应用可以与簇处理子系统1230和I/O电路1245相连以达到不同的功能。

图12中不同的处理系统和子系统可以被应用于专门的计算机，例如主机或者个人计算机。可替换的方法是，不同的子系统可以使用通过网络(例如局域网或者互联网)连接的计算机工作站加以应用。

本多媒体描述方案提供了描述多媒体文档集合的数据结构。本多媒体档案描述方案的数据结构是基于簇，簇是描述单元，它通过一个或者多个相似的基于属性和关联的度量使集合中记录单元相互关联。本描述方案可以被认为是现存的单一文档描述方案的扩展，或者是通过多个多媒体索引描述作用于未修饰描述方案相关的数据结构。

尽管本发明已经在相关特定具体实施例中描述，它应该被理解为还有很多变化，替换和改变以揭示具体实施例而不需要离开本发明在附加 中阐明的精神和范围。附录A：MPEG-7档案描述方案的数据定义语言表示

＜DSType name＝”GenericAVDS”＞

　　＜attrDecl name＝”id”＞＜datatypeRef name＝”ID”/＞＜/attrDecl＞

　　＜attrDecl name＝”href”＞＜datatypeRef name＝”uri”/＞＜/attrDecl＞

　　＜DSTypeRef name＝”SyntacticDS”minOccur＝”0”maxOccur＝”1”/＞

　　＜DSTypeRef name＝”SemanticDS”minOccur＝”0”maxOccur＝”1”/＞

　　＜DSTypeRef name＝”SyntacticSemanticLinkDS”minOccur＝”0”maxOccur＝”1”/＞

　　＜DSTypeRef name＝”ModelDS”minOccur＝”0”maxOccur＝”1”/＞

　　＜DSTypeRef name＝”MetaDS”minOccur＝”0”maxOccur＝”1”/＞

　　＜DSTypeRef name＝”MediaDS”minOccur＝”0”maxOccur＝”1”/＞

　　＜DSTypeRef name＝”SummaryDS”minOccur＝”0”maxOccur＝”1”/＞

　　＜DSTypeRef name＝”MMIndexDS”minOccur＝”0”maxOccur＝”1”/＞
＜/DSType＞
＜DSType name＝”MMIndexDS”＞

　　＜DSTypeRef＝”ClusterDS”minOccur＝”0”maxOccur＝”*”/＞

　　＜DSTypeRef＝”ClusterRelation”minOccur＝”0”maxOccur＝”*”/＞
＜/DSType＞
＜DSType name＝”ClusterDS”＞

　　＜DescTypeRef＝”ClusterDescriptor”minOccur＝”0”maxOccur”*”/＞

　　＜DSTypeRef＝”ClusterRelaion”minOccur＝”0”maxOccur”*”/＞
＜/DSType＞
＜DSType name＝”ClusterRelation”＞

　　＜subDSOf name＝”Relation”/＞

　　＜cboice minOccur＝”1”maxOccur＝”*”＞

　　       ＜DSTypeRef＝”Cluster”/＞

　　       ＜DSTypeRef＝”ClusterNode”/＞

　　       ＜DSTypeRef＝”ClusterRelation”/＞

　　＜/choice＞
＜/DSType＞
＜DSType nam＝”ClusterNode”＞

　　＜subDSOf name＝”EntityNode”/＞

　　＜choice minOccur＝”0”maxOccur＝”*”＞

　　       ＜DescTypeRef name＝”ReferenceToSegment”/＞

　　       ＜DescTypeRef name＝”ReferenceToObject”/＞

　　       ＜DescTypeRef name＝”ReferenceToEvent”/＞

　　       ＜DescTypeRef name＝”ReferenceToCluster”/＞

　　       ＜DSTypeRef name＝”Cluster”/＞

　　       ＜DSTypeRef name＝”ClusterNode”/＞
				
				<dp n="d13"/>
　　＜/choice＞

　　＜DSTypeRef name＝”ClusterRelation”minOccur＝”0”maxOccur＝”*”/＞
＜/DSType＞
＜DescType name＝”ClusterDescriptor＞

　　＜attrDecl name＝”type”＞＜datatypeRef name＝”string”/＞＜/attrDecl＞

　　＜attrDecl name＝”level”＞＜datatypeRef name＝”string”/＞＜/attrDecl＞
＜/DescType＞
＜！--Specialized cluster descriptors--＞
<DescType name＝”FeatureSpaceDescriptor”>
　　＜subDescOfname＝”ClusterDescriptor”/＞
＜/DescType＞
＜DescType name＝”FeatureSpace”minOccur＝”0”maxOccur＝”1”＞

　　＜subDescOf name＝”FeatureSpaceDescriptor”/＞

　　＜attrDecl name＝”NumberDimensions”＞＜datatypeRef name＝”integer”/＞＜/attrDecl＞

　　＜DescType name＝”FeatureDimension”minOccur＝”1”maxOccur＝”*”＞

　　      ＜attrDecl name＝”name”＞＜datatypeRef name＝”string”/＞＜/attrDecl＞

　　      ＜attrDecl name＝”id”＞＜datatypeRef name＝”ID”/＞＜/attrDecl＞

　　＜/DescType＞
</DescTypeRef>
＜DescType name＝”FeatureSpacePoint”minOccur＝”1”maxOccur＝”*”＞

　　＜subDescOf name＝”FeatureSpaceDescriptor”/＞

　　＜attrDecl name＝＂unit＂＞＜datatypeRef name＝＂double＂/＞＜/attrDecl＞

　　＜DescType name＝DimensionOrdinate”minOccur＝”1”maxOccur＝”*”＞

　　      ＜attrDecl name＝”dimension”＞＜datatypeRef name＝”IDREF”/＞＜/attrDecl＞

　　　　　＜datatypeRef name＝”double”/＞

　　＜/DescType＞
＜/DescType＞
＜DescType name＝”FeatureSpaceOrientation”minOccur＝”1”maxOccur＝”1”＞

　　＜subDescOf name＝＂FeatureSpaceDescriptor＂/＞

　　＜attrDecl name＝＂unit＂＞＜datatypeRef name＝＂double＂/＞＜/attrDecl＞

　　＜DescType name＝”DimensionAngle”minOccur＝”1”maxOccur＝”*”＞

　　      ＜attrDecl name＝”dimension”required＝”true”＞

　　             ＜datatypeRef name＝”IDREF”/＞

　　      ＜/attrDecl＞

　　      ＜datatypeRef name＝”double”/＞

　　＜/DescType＞
＜/DescType＞
<DescType name＝”FeatureSpaceBoundingBox”>

　　＜subDescOf name＝”FeatureSpaceDescriptor＂/＞

　　＜DescTypeRef name＝＂FeatureSpace＂minOccur＝＂0＂maxOccur＝”1”/＞

　　＜choice minOccur＝”1”maxOccur＝”1”＞

　　       ＜all＞
				
				<dp n="d14"/>
　　                 ＜DescType name＝”FeatureSpaceCenter”minOccur＝”1”maxOccur＝”1”＞

　　                       ＜subDescOf name＝＂FeatureSpacePoint/＞

　　                 ＜/DescType＞

　　                 ＜DescTypeRef name＝＂FeatureSpaceOrientation＂minOccur＝＂1＂
maxOccur＝”1”/＞

　　          ＜/all＞

　　          ＜all＞

　　                 ＜DescTypeRef name＝”FeatureSpacePoint”minOccur＝”1”
maxOccur＝”*”/＞

　　          ＜/all＞

　　＜/choice＞
＜/DescType＞
＜DescType name＝”FeatureSpaceContour”＞

　　＜subDescOf name＝”FeatureSpaceDescriptor＂/＞

　　＜DescTypeRef name＝＂FeatureSpace＂minOccur＝＂0＂maxOccur＝”1”/＞

　　＜DescTypeRef name＝”FeatureSpacePoint”minOccur＝”1”maxOccur＝”*”/＞
＜/DescType＞
＜DescType name＝＂FeatureSpaceQuantization＂＞

　　＜subDescOf name＝”FeatureSpaceDescriptor＂/＞

　　＜choice minOccur＝＂1＂maxOccur＝＂1＂＞

　　       ＜DescTypeRef name＝＂LinearQuantization＂minOccur＝＂1＂maxOccur＝＂1＂/＞

　　       ＜DescTypeRef name＝＂NonLinearQuantization＂minOccur＝＂1＂maxOccur＝＂1＂/＞

　　       ＜DescTypeRef name＝＂LookupTable＂minOccur＝＂1＂maxOccur＝＂1＂/＞

　　＜/choice＞
＜/DescType＞
＜DescType name＝＂FeatureSpaceDistribution＂＞

　　＜subDescOf name＝”FeatureSpaceDescriptor＂/＞

　　＜attrDecl name＝＂NumberOfBins＂＞＜datatypeRef name＝＂integer＂/＞＜/attrDecl＞

　　＜choice minOccur＝＂1＂maxOccur＝＂1＂＞

　　       ＜DescType name＝＂Distribution＂minOccur＝＂1＂maxOccur＝＂1＂＞

　　             ＜subDescOf name＝”FeatureSpaceDescriptor＂/＞

　　             ＜attrDecl name＝＂name＂＞＜datatypeRef name＝＂string＂/＞＜/attrDecl＞

　　             ＜DescType name＝＂Moment＂＞

　　                   ＜attrDecl name＝＂oder＂＞＜datatypeRef name＝＂integer＂/＞

　　                   ＜/attrDecl＞

　　                   ＜datatypeRef name＝＂double＂/＞

　　             ＜/DescType＞

　　      ＜/DescType＞

　　      ＜DescType name＝＂DistributionFunction＂minOccur＝＂1＂maxOccur＝＂1＂＞

　　             ＜subDescOf name＝”FeatureSpaceDescriptor＂/＞

　　             ＜DescTypeRef name＝＂FeatureSpace＂minOccur＝＂0＂maxOccur＝＂1 ＂/＞

　　             ＜DescTypeRef name＝＂FeatureSpaceQuantization＂minOccur＝＂0＂
maxOccur＝＂1＂/＞

　　             ＜DescTypeRef name＝＂DistributionFunction Values＂/＞

　　      ＜/DescType＞

　　＜/choice＞
				
				<dp n="d15"/>
　　＜/DescTypeRef＞
＜/DescType＞
＜DescType name＝”FeatureSpaceElementTypes”＞

　　＜subDescOf name＝”FeatureSpaceDescriptor”/＞

　　＜DescType name＝”ElementType”minOccur＝”1”maxOccur＝”*”＞

　　      ＜attrDecl name＝”name”＞＜datatypeRef name＝”string”/＞＜/attrDecl＞

　　      ＜DescType name＝”Percentage”＞

　　            ＜datatypeRef name＝”percentage”/＞

　　      ＜/DescType＞

　　＜/DescType＞
＜/DescTypeRef＞
＜DescType name＝”SemanticDescriptor”＞

　　＜subDescOf name＝”ClusterDescriptor”/＞
＜/DescType＞
<DescType name＝＂Annotation＂>

　　＜subDescOf name＝”SemanticDescriptor”/＞

　　＜datatypeRef name＝＂string＂/＞
＜/DescType＞
＜DescType name＝＂6-WDS＂＞

　　＜subDescOf name＝”SemanticDescriptor”/＞

　　＜DescTypeRef name＝＂Who＂minOccur＝＂0＂maxOccur＝＂1＂/＞

　　＜DescTypeRef name＝＂WhatObject＂minOccur＝＂0＂maxOccur＝＂1＂/＞

　　＜DescTypeRef name＝＂WhatAction＂minOccur＝＂0＂maxOccur＝＂1＂/＞

　　＜DescTypeRef name＝＂When＂minOccur＝＂0＂maxOccur＝＂1＂/＞

　　＜DescTypeRef name＝＂Where＂minOccur＝＂0＂maxOccur＝＂1＂/＞

　　＜DescTypeRef name＝＂When＂minOccur＝＂0＂maxOccur＝＂1＂/＞

　　＜DescTypeRef name＝＂Why＂minOccur＝＂0＂maxOccur＝＂1＂/＞
＜/DescType＞
＜DescType name＝＂Who＂＞

　　＜subDescOf name＝”SemanticDescriptor”/＞

　　＜DescTypeRef name＝”Annotation”minOccur＝＂1＂maxOccur＝＂*＂/＞
＜/DescType＞
＜DescType name＝＂WhatObject＂＞

　　＜subDescOf name＝”SemanticDescriptor”/＞

　　＜DescTypeRef name＝”Annotation”minOccur＝＂1＂maxOccur＝＂*＂/＞
＜/DescType＞
＜DescType name＝＂WhatAction＂＞

　　＜subDescOf name＝”SemanticDescriptor”/＞

　　＜DescTypeRef name＝”Annotation”minOccur＝＂1＂maxOccur＝＂*＂/＞
＜/DescType＞
＜DescType name＝＂When＂＞

　　＜subDescOf name＝”SemanticDescriptor”/＞

　　＜DescTypeRef name＝”Annotation”minOccur＝＂1＂maxOccur＝＂*＂/＞
＜/DescType＞
＜DescType name＝＂Where＂＞
				
				<dp n="d16"/>
　　＜subDescOf name＝”SemanticDescriptor”/>

　　＜DescTypeRef name＝”Annotation”minOccur＝＂1＂maxOccur＝＂*＂/＞
＜/DescType＞
＜DescType name＝＂Why＂＞

　　＜subDescOf name＝”SemanticDescriptor”/＞

　　＜DescTypeRef name＝”Annotation”minOccur＝＂1＂maxOccur＝＂*＂/＞
＜/DescType＞
＜DescType name＝”MediaDescriptor”＞

　　＜subDescOf name＝”ClusterDescriptor”/＞
＜/DescType＞
＜DescType name＝”Location”＞

　　＜subDescOf name＝”MediaDescriptor”/＞

　　＜attrDecl name＝”href”＞＜datatypeRef name＝＂uri＂/＞＜/attrDecl＞
＜/DescType＞
＜DescType name＝”Identification”＞

　　＜subDescOf name＝”MediaDescriptor”/＞

　　＜datatypeRef name＝＂string＂/＞＜！--or lexical expression--＞
＜/DescType＞
＜DescType name＝”StorageRequirements”＞

　　＜subDescOf name＝”MediaDescriptor”/＞

　　＜datatypeRef name＝＂string＂/＞
＜/DescType＞
＜DescType name＝”Format”＞

　　＜subDescOf name＝”MediaDescriptor”/＞

　　＜datatypeRef name＝＂string＂/＞
＜/DescType＞
＜DescType name＝”Medium”＞

　　＜subDescOf name＝”MediaDescriptor”/＞

　　＜datatypeRef name＝＂string＂/＞
＜/DescType＞
＜DescType name＝”MetaDescriptor”＞

　　＜subDescOf name＝”ClusterDescriptor”/＞
＜/DescType＞
＜DescType name＝”Creation”＞

　　＜subDescOf name＝”MediaDescriptor”/＞

　　＜DescType name＝＂Method＂minOccur＝＂0＂maxOccur＝＂1＂＞

　　      ＜attrDecl name＝”mode”＞

　　             ＜enumeration＞

　　                   ＜literal＞Automatic＜/literal＞

　　                   ＜literal＞Manual＜/literal＞

　　             ＜/enumeration＞

　　      ＜DescTypeRef name＝＂Rules＂/＞

　　      ＜DescTypeRef name＝＂RepresentativeExamples＂/＞

　　      ＜DescTypeRef name＝＂Classifier＂/＞
				
				<dp n="d17"/>
　　      ＜DescTypeRef name＝＂ManualClassification＂/＞

　　＜/DescType＞

　　＜DescType name＝＂DateTime＂＞＜datatypeRef name＝＂dateTime＂/＞＜/DescType＞

　　＜DescType name＝＂Organization＂＞＜datatypeRef name＝＂string＂/＞＜/DescType＞
＜/DescType＞
＜DescType name＝”Rights”＞

　　＜subDescOf name＝”MetaDescriptor”/＞
　　＜datatypeRef name＝＂string＂/＞
＜/DescType＞
＜DescType name＝”Representativelcons”＞

　　＜subDescOf name＝”MetaDescriptor”/＞

　　＜DescTypeRef name＝＂Location＂minOccur＝＂1＂maxOccur＂*＂/＞
＜/DescType＞
＜！--Specialized cluster relationships--＞
＜DSType name＝”FeatureSpaceRelation”＞

　　＜subDSOf name＝”ClusterRelation”/＞
＜/DSType＞
＜DSType name＝”ClusterDecomposition”＞

　　＜subDSOfname＝”FeatureSpaceRelation”/＞

　　＜attrDecl name＝”type ＞＜fixed＞FeatureSpace Topological＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”name”＞＜fixed＞ClustexDecomposition＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”degree”＞＜fixed＞2＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”DecompositionType”＞

　　       ＜enumeration＞

　　             ＜literal＞Temporal＜/literal＞

　　             ＜literal＞Spatial＜/literal＞

　　             ＜literal＞Spatial Temporal＜/literal＞

　　             ＜literal＞Media＜/literal＞

　　             ＜literal＞FeatureSpace＜/literal＞

　　       ＜/enumeration＞

　　＜/attrDecl＞

　　＜attrDecl name＝”overlaps”＞＜datatypeRef name＝＂boolean＂/＞＜/attrDecl＞

　　＜attrDecl name＝”gaps”＞＜datatypeRef name＝＂boolean＂/＞＜/attrDecl＞
＜/DSType＞
＜DSType name＝”ClusterUnion”＞

　　＜subDSOf name＝”FeatureSpaceRelation”/＞

　　＜attrDecl name＝”type”＞＜fixed＞FeatureSpace Topological＜/ffxed＞＜/attrDecl＞

　　＜attrDecl name＝”name”＞＜fixed＞Union＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”degree”＞＜fixed＞2＜/fixed＞＜/attrDecl＞
＜/DSType＞
＜DSType name＝”ClusterIntersection”＞

　　＜subDSOf name＝”FeatureSpaceRelation”/＞

　　＜attrDecl name＝”type”＞＜fixed＞FeatureSpace Topological＜/fixed＞＜/attrDecl＞
				
				<dp n="d18"/>
　　＜attrDecl name＝”name”＞＜fixed＞Intersection＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”degree”＞＜fixed＞2＜/fixed＞＜/attrDecl＞
＜/DSType＞
＜DSType name＝”ClusterNegation”＞

　　＜subDSOf name＝”FeatureSpaceRelation”/＞

　　＜attrDecl name＝”type”＞＜fixed＞FeatureSpace Topological＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”name”＞＜fixed＞Negation＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”degree”＞＜fixed＞1＜/fixed＞＜/attrDecl＞
＜/DSType＞
＜DSType name＝”ClusterElements”＞

　　＜subDSOf name＝”FeatureSpaceRelation”/＞

　　＜attrDecl name＝”type”＞＜fixed＞FeatureSpace＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”name”＞＜fixed＞Elements＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”degree”＞＜fixed＞2＜/fixed＞＜/attrDecl＞
＜/DSType＞
＜DSType name＝”RThetaRelation”＞

　　＜subDSOf name＝”FeatureSpaceRelation”/＞

　　＜attrDecl name＝”type”＞＜fixed＞FeatureSpace Directional＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”name”＞＜fixed＞Elements＜/fixed＞＜/attrDecl＞

　　＜attrDecl name＝”degree”＞＜fixed＞2＜/fixed＞＜/attrDecl＞

　　＜DescTypeRef name＝＂FeatureSpaceOrientation＂minOccur＝＂1＂maxOccur＝＂1＂/＞

　　＜DescType name＝＂FeatureSpaceDistance＂minOccur＝＂1＂maxOccur＝＂1＂＞

　　      ＜datatypeRef name＝＂double＂/＞

　　＜/DescType＞
＜/DSType＞
＜DSType name＝”SemanticRelation”＞

　　＜subDSOf name＝”ClusterRelation”/＞
＜/DSType＞
＜DSType name＝”LexicalRelation”＞

　　＜subDSOf name＝”SemanticRelation”/＞

　　＜attrDecl name＝”type”＞

　　      ＜enumeration＞

　　            ＜literal＞Synonymy＜/literal＞

　　            ＜literal＞Antonymy＜/literal＞

　　            ＜literal＞Hyponymy＜/literal＞

　　            ＜literal＞Meronymy＜/literal＞

　　      ＜/enumeration＞

　　＜/attrDecl＞

　　＜attrDecl name＝”degree”＞＜fixed＞2＜/fixed＞＜/attrDecl＞
＜/DSType＞
＜DSType name＝”ActionRelation”＞

　　＜subDSOf name＝”SemanticRelation”/＞

　　＜attrDecl name＝”type”＞＜fixed＞Semantic Action＜/fixed＞＜/attrDecl＞
＜/DSType＞
＜DSType name＝”StateRelation”＞

　　＜subDSOf name＝”SemanticRelation”/＞

　　＜attrDecl name＝”type”＞＜fixed＞Semantic State＜/fixed＞＜/attrDecl＞
＜/DSType＞

附录B：档案描述方案的实例

＜！--图2中的例子--＞
＜GenericAVDS＞

　　  ＜MMIndexDS＞

　　      ＜Cluster id＝”0”＞

　　             ＜！--Descriptors--＞

　　             ＜FeatureSpace NumberDimensions＝”3”＞

　　                    ＜FeatureDimension id＝＂color＂＞Color＜/FeatureDimension＞

　　                    ＜FeatureDimension id＝＂shape＂＞Shape＜/FeatureDimension＞

　　                    ＜FeatureDimension id＝＂file size＂＞FileSize＜/FeatureDimension＞

　　             ＜/FeatureSpace＞

　　             ＜FeatureBoundingBox＞

　　                    ＜FeatureSpacePoint＞

　　                           ＜DimensionOrdinate dimension＝”color＂/＞

　　                           ＜DimensionOrdinate dimension＝＂shape＂/＞

　　                           ＜DimensionOrdinate dimension＝＂file size＂/＞

　　                    ＜/FeatureSpacePoint＞

　　             ＜/FeatureBoundingBox＞

　　             ＜FeatureSpaceElementTypes＞

　　                    ＜ElementType name＝＂StillRegion＂＞

　　                           ＜Percentage＞80％＜/Percentage＞

　　                    ＜/ElementType＞

　　                    ＜ElementType name＝＂MovingRegion＂＞

　　                           ＜Percentage＞20％＜/Percentage＞

　　                    ＜/ElementType＞

　　             ＜/FeatureSpaceElements＞

　　             ＜！--Relationships--＞

　　             ＜ClusterElements＞

　　                    ＜ClusterNode＞

　　                           ＜StillRegionDS id＝＂reg1＂/＞

　　                           ＜StillRegionDS id＝＂reg2＂/＞

　　                           ＜MovingRegionDS id＝＂reg3＂/＞

　　                    ＜/ClusterNode＞

　　             ＜/ClusterElements＞

　　             ＜ClusterDecomposition＞

　　                    ＜ClusterNode＞

　　                           ＜Cluster id＝”1”＞＜！--Cluster 1 description--＞＜/Cluster＞

　　                           ＜Cluster id＝”2”＞

　　                                 ＜！--Cluster 2 description--＞

　　                                 ＜ClusterDecomposition＞

　　                                        ＜ClusterNode＞

　　                                               ＜Cluster id＝”2.1”＞＜/Cluster＞
				
				<dp n="d20"/>
　　                                                 ＜Cluster id＝”2.2”＞＜/Cluster＞

　　                                                 ＜Cluster id＝”2.3”＞＜/Cluster＞

　　                                          ＜/ClusterNode＞

　　                                   ＜/ClusterDecomposition＞

　　                            ＜/Cluster＞

　　                            ＜Cluster id＝”3”＞＜！--Cluster 3 description--＞＜/Cluster＞

　　                     ＜/ClusterNode＞

　　              ＜/ClusterDecomposition＞

　　       ＜/Cluster＞

　　  ＜/MMIndexDS＞
＜/GenericAVDS＞
＜！--Examples in Figure 3--＞
＜GenericAVDS＞

　　  ＜MMIndexDS＞

　　       ＜Cluster id＝”Subject”＞

　　              ＜！--Descriptors--＞

　　              ＜FeatureSpace NumberDimensions＝”1”＞

　　                     ＜FeatureDimension id＝＂subject＂＞Subject＜/FeatureDimension＞

　　              ＜/FeatureSpace＞

　　              ＜FeatureSpaceElementTypes＞

　　                     ＜ElementType name＝＂StillRegion＂＞

　　                            ＜Percentage＞80％＜/Percentage＞

　　                     ＜/ElementType＞

　　                     ＜ElementType name＝＂MovingRegion＂＞

　　                            ＜Percentage＞20％＜/Percentage＞

　　                     ＜/ElementType＞

　　              ＜/FeatureSpaceElements＞

　　              ＜！--Relationships--＞

　　              ＜ClusterElements＞

　　                     ＜ClusterNode＞

　　                            ＜StillRegionDS id＝＂reg1＂/＞

　　                            ＜StillRegionDS id＝＂reg2＂/＞

　　                            ＜MovingRegionDS id＝＂reg3＂/＞

　　                     ＜/ClusterNode＞

　　              ＜/ClusterElements＞

　　              ＜LexicalRelation type＝”Meronymy”name＝”To be the Whole of”＞

　　                     ＜ClusterNode＞

　　                            ＜Cluster id＝”Science”＞＜/Cluster＞

　　                            ＜Cluster id＝”History”＞＜/Cluster＞

　　                            ＜Cluster id＝”Art”＞

　　                                   ＜！--Cluster“Art”description--＞

　　                                   ＜LexicalRelation type＝”Meronymy”name＝”To be
the Whole of”＞
				
				<dp n="d21"/>
　　                                           ＜ClusterNode＞

　　                                                 ＜Cluster id＝”Moder”＞＜/Cluster＞

　　                                                 ＜Cluster id＝”Expres”＞＜/Cluster＞

　　                                                 ＜Cluster id＝”Impres”＞＜/Cluster＞

　　                                          ＜/ClusterNode＞

　　                                   ＜/LexicalRelation＞

　　                            ＜/Cluster＞

　　                     ＜/ClusterNode＞

　　              ＜/LexicalRelation＞

　　       ＜/Cluster＞

　　  ＜/MMIndexDS＞
＜/GenericAVDS＞

Claims (46)

1.一种生成多媒体档案描述的系统，其特征在于，包含：

一个数字储存子系统，它用于根据多媒体描述方案储存多媒体记录和记录的描述；

一个计算机处理器，它在操作上与数字储存子系统耦连，计算机处理器存取记录描述并且生成一个档案描述记录，档案描述记录至少有一个簇根据记录描述的属性使在数字储存子系统里的至少两条记录相关联，档案描述记录有集合结构描述方案可以提供至少一个簇的索引；和

档案描述储存器，它在操作上与计算机处理器耦连，用以储存档案描述记录。

2.如权利要求1所述的生成多媒体档案描述的系统，其特征在于，所述至少一个簇还根据至少一个簇关联使记录相关联。

3.如权利要求2所述的生成多媒体档案描述的系统，其特征在于，所述簇属性从包含特征空间属性，语义属性，媒体属性和介质属性的组中选择。

4.如权利要求3所述的生成多媒体档案描述的系统，其特征在于，所述簇属性是根据基于信息的层级索引的。

5.如权利要求4所述的生成多媒体档案描述的系统，其特征在于，所述特征空间属性是在基于信息的层级，在语义属性上进行索引。

6.如权利要求5所述的生成多媒体档案描述的系统，其特征在于，所述特征空间属性是从包含类型/技术属性，全局分布属性，局部结构属性和全局合成属性的组中选择的。

7.如权利要求5所述的生成多媒体档案描述的系统，其特征在于，所述语义属性是从包含一般对象属性，一般场景属性，特定对象属性，特定场景属性，抽象对象属性和抽象场景属性的组中选择的。

8.如权利要求5所述的生成多媒体档案描述的系统，其特征在于，所述基于信息的层级是有多个特征空间层和多个语义属性层的十级索引结构，其中特征空间属性层包含类型/技术属性层，整体分布属性层，局部结构属性层和整体合成属性层，并且其中语义属性层包含一般对象属性层，一般场景属性层，特定对象属性层，特定场景属性层，抽象对象属性层和抽象场景属性层。

9.如权利要求2所述的生成多媒体档案描述的系统，其特征在于，所述簇关联是从包含特征空间关联，语义关联，媒体关联和介质关联的组中选择。

10.如权利要求9所述的生成多媒体档案描述的系统，其特征在于，所述特征空间关联是从包含空间关联，时间关联，和视觉关联的组中选择。

11.如权利要求9所述的生成多媒体档案描述的系统，其特征在于，所述语义关联是从包含词汇关联和预言性关联的组中选择。

12.如权利要求9所述的生成多媒体档案描述的系统，其特征在于，所述数字储存系统包含多媒体记录的本地计算机可读的储存，多媒体记录描述和档案描述记录。

13.如权利要求1所述的系统，其特征在于，数字储存系统包含多个由计算机网络内联的储存设备。

14.一种描述拥有记录及与记录相关的记录描述的多媒体档案内容的方法，其特征在于，包含：

评价记录描述以确定在档案中至少两个记录的相似度量；并且

生成档案描述记录，描述记录包含至少一个簇和一个用来索引族的集合结构所述族描述至少两个记录中的至少一个属性相似度量的以索引簇。

15.如权利要求14所述的描述多媒体档案内容的方法，其特征在于，所述簇属性是从包含特征空间属性，语义属性，媒体属性和介质属性的组中选择。

16.如权利要求15所述的描述多媒体档案内容的方法，其特征在于，所述簇属性是根据基于信息的层级索引的。

17.如权利要求16所述的描述多媒体档案内容的方法，其特征在于，所述特征空间属性是在基于信息的层级，在语义属性上进行索引。

18.如权利要求16所述的描述多媒体档案内容的方法，其特征在于，所述特征空间属性是从包含类型/技术属性，全局分布属性，局部结构属性和全局合成属性的组中选择的。

19.如权利要求16所述的描述多媒体档案内容的方法，其特征在于，所述语义属性是从包含一般对象属性，一般场景属性，特定对象属性，特定场景属性，抽象对象属性和抽象场景属性的组中选择的。

20.如权利要求16所述的描述多媒体档案内容的方法，其特征在于，所述基于信息的层级是有多个特征空间层和多个语义属性层的十级索引结构，其中特征空间属性层包含类型/技术属性层，整体分布属性层，局部结构属性层和整体合成属性层，并且其中语义属性层包含一般对象属性层，一般场景属性层，特定对象属性层，特定场景属性层，抽象对象属性层和抽象场景属性层。

21.如权利要求14所述的描述多媒体档案内容的方法，其特征在于，所述簇包含至少一个簇关联。

22.如权利要求21所述的描述多媒体档案内容的方法，其特征在于，所述簇关联是从包含特征空间关联，语义关联，媒体关联和介质关联的组中选择。

23.如权利要求22所述的描述多媒体档案内容的方法，其特征在于，所述特征空间关联是从包含空间关联，时间关联，和视觉关联的组中选择。

24.如权利要求22所述的描述多媒体档案内容的方法，其特征在于，所述语义关联是从包含词汇关联和预言性关联的组中选择。

25.一种档案描述文件，用以描述拥有记录及与记录相关的记录描述的多媒体档案内容，其特征在于，包含：

一个簇，簇包含至少一个簇属性，用以描述记录描述中至少一个相似度量；和

一个集合索引结构，它将簇联系到记录。

26.如权利要求25所述的描述多媒体档案内容的档案描述文件，其特征在于，所述簇属性是从包含特征空间属性，语义属性，媒体属性和介质属性的组中选择。

27.如权利要求26所述的描述多媒体档案内容的档案描述文件，其特征在于，所述簇属性是根据基于信息的层级索引的。

28.如权利要求27所述的描述多媒体档案内容的档案描述文件，其特征在于，所述特征空间属性是在基于信息的层级在语义属性上索引。

29.如权利要求27所述的描述多媒体档案内容的档案描述文件，其特征在于，所述特征空间属性是从包含类型/技术属性，整体分布属性，局部结构属性和全局合成属性的组中选择的。

30.如权利要求27所述的描述多媒体档案内容的档案描述文件，其特征在于，所述语义属性是从包含一般对象属性，一般场景属性，特定对象属性，特定场景属性，抽象对象属性和抽象场景属性的组中选择的。

31.如权利要求27所述的描述多媒体档案内容的档案描述文件，其特征在于，所述基于信息的层级是有多个特征空间层和多个语义属性层的十级索引结构，其中特征空间属性层包含类型/技术属性层，整体分布属性层，局部结构属性层和整体合成属性层，并且其中语义属性层包含一般对象属性层，一般场景属性层，特定对象属性层，特定场景属性层，抽象对象属性层和抽象场景属性层。

32.如权利要求25所述的描述多媒体档案内容的档案描述文件，其特征在于，所述簇还包含至少一个簇关联。

33.如权利要求32所述的描述多媒体档案内容的档案描述文件，其特征在于，所述簇关联是从包含特征空间关联，语义关联，媒体关联和介质关联的组中选择。

34.如权利要求33所述的描述多媒体档案内容的档案描述文件，其特征在于，所述特征空间关联是从包含空间关联，时间关联，和视觉关联的组中选择。

35.如权利要求33所述的描述多媒体档案内容的档案描述文件，其特征在于，所述语义关联是从包含词汇关联和预言性关联的组中选择。

36.一种媒体档案系统包含：

一个计算机可读的储存系统，它用于储存多个媒体记录；

至少一个媒体描述器，所述媒体描述器读写储存于计算机可读储存系统中的媒体记录并且生成相应的媒体描述记录；

一个簇处理器，它在操作上与计算机可读储存系统耦连，簇处理器读写媒体描述记录并且生成一个档案描述记录，档案描述记录包含至少一个簇，此簇使储存系统中的至少两个记录相关联；和

一个查询处理器，它在操作上与簇处理器耦连，用于接收用户的档案搜索参数并提供一个查询请求给簇处理器。

37.如权利要求36所述的媒体档案系统，其特征在于，所述档案描述记录的簇查询根据记录生成的属性和关联使记录关联。

38.如权利要求37所述的媒体档案系统，其特征在于，所述簇属性是从包含特征空间属性，语义属性，媒体属性和介质属性的组中选择。

39.如权利要求38所述的媒体档案系统，其特征在于，所述簇属性是根据基于信息的层级索引的。

40.如权利要求39所述的媒体档案系统，其特征在于，所述特征空间属性是在基于信息的层级，在语义属性上进行索引的。

41.如权利要求40所述的媒体档案系统，其特征在于，所述特征空间属性是从包含类型/技术属性，全局分布属性，局部结构属性和全局合成属性的组中选择的。

42.如权利要求40所述的媒体档案系统，其特征在于，所述语义属性是从包含一般对象属性，一般场景属性，特定对象属性，特定场景属性，抽象对象属性和抽象场景属性的组中选择的。

43.如权利要求40所述的媒体档案系统，其特征在于，所述基于信息的层级是有多个特征空间层和多个语义属性层的十级索引结构，其中特征空间属性层包含类型/技术属性层，整体分布属性层，局部结构属性层和整体合成属性层并且其中语义属性层包含一般对象属性层，一般场景属性层，特定对象属性层，特定场景属性层，抽象对象属性层和抽象场景属性层。

44.如权利要求37所述的媒体档案系统，其特征在于，所述簇关联是从包含特征空间关联，语义关联，媒体关联和介质关联的组中选择。

45.如权利要求44所述的媒体档案系统，其特征在于，所述特征空间关联是从包含空间关联，时间关联，和视觉关联的组中选择。

46.如权利要求44所述的媒体档案系统，其特征在于，所述语义关联是从包含词汇关联和预言性关联的组中选择。

Images