CN1685340A - 用于自适应多媒体应用及呈现的自适应多媒体综合语言(amil) - Google Patents

Abstract

本发明一般涉及用于描述固有地与运行时所处的不断变化环境相关的自适应移动多媒体应用和/或呈现的标记语言领域，这意味着这些移动多媒体应用和/或呈现需要适合移动用户的偏好、他们的移动计算装置的能力以及它们的当前环境。它使典型无线情况(例如具有变化的传输质量和切换程序的无线电链路)中具有实时要求的基于自适应移动流的多媒体应用能够自适应和响应地对时变网络拓扑及不同无线电链路特点作出反应。因此，本发明特别包括通过采用基于XML的多媒体呈现语言来提供用于预先分配、保留、监测及修改动态移动环境中的QoS相关参数的方法，描述适配可能性(1500)、适配约束(802)和适配事件(3802)的领域中、针对基于文档的多媒体应用的个性化及上下文认知的适配的研发问题。在这方面，提供了由词汇表、文档结构以及文档模型元素之间的链接方式(1600)构成的文档模型(100)，它支持自适应移动多媒体应用和/或呈现的描述(700)。另外，提出了支持简化的面向事务的访问的文档对象模型。

Description

用于自适应多媒体应用及呈现的自适应多媒体综合语言(AMIL)

发明领域和背景

一般来说，本发明涉及用于描述自适应移动多媒体应用和/或呈现的标记语言领域，它们固有地与它们在其中运行的不断变化的环境相关，这意味着这些移动多媒体应用和/或呈现需要适合移动用户的偏好、他们的移动计算装置的能力以及诸如当前位置、时间或温度等用户的物理影响。

在移动装置上运行的应用遇到极动态的环境。它们必须应付无线网络中可用的服务质量(QoS)的固有波动，以及它们应当在各种各样的不同装置上可用。另外，为了提供良好的服务，它们应当考虑到用户的偏好以及上下文、例如他的当前位置。为了满足那些要求，这些应用的开发人员需要得到允许应用适应不同网络、装置及用户情况并且隐藏一些所涉及的复杂度的平台的支持。自适应多媒体支持环境(AMUSE)是一种平台，它支持自适应分布式多媒体检索应用。该平台包括三个部分：客户机端中间件；构建在中间件之上的多媒体应用；以及服务器端上下文认知移动入口。

相反，本发明的焦点是基于文档的方法，其方式是，自适应移动应用和/或呈现用基于XML的文档来描述，由服务器端创作系统(由上下文认知移动入口表示)产生，由能够执行基于XML的文档描述的处理的客户机端中间件来处理和呈现。

有不同方式来实现多媒体应用。首先，多媒体应用可能是相当特定的，对专门定义的情景来实现的，而且应用本身可通过配置文件来调整，这对于特定的狭义情景是相当好的。第二种方式是以基于文档的方式描述多媒体应用，并让浏览器或播放器解释文档，这例如在“同步多媒体综合语言”(SMIL，cf.SMIL 2.0，W3C Recommendation，2001年8月7日，http://www.w3.org/TR/Smil20/)中进行，并且是更一般的方法。在本发明的范围内，已经应用后一种方法。因此，已经评估了诸如超文本标记语言(HTML)、动态HTML(DHTML)、多媒体和超媒体信息编码专家组(MHEG，cf.国际标准化组织，ISO/IECJTC1/SC29/WG12，http://www.mheg.org/)、SMIL和HyTime(cf.Users’Group Home Page www.hytime.org)等多媒体文档模型，以便使用或扩展其文档模型，用于描述自适应多媒体应用。然而，这些文档模型没有为自适应应用提供足够的建模支持。在多媒体应用启动时在某种程度上进行一次适配，但移动自适应多媒体应用因它们运行时所处的固有动态环境而具有额外的适配要求。在启动时选择适当的流媒体没有考虑应用运行期间无线网络中象QoS波动之类的变化。

在移动装置上运行的应用遇到极为动态的环境。环境变化可分类为三个不同方面：网络QoS、移动装置能力以及用户上下文。移动应用必须应付全部三方面的变化。因此，术语“情况”用于给定的网络QoS、移动装置能力以及用户上下文。一种情况可由一组描述环境的不同方面的参数来表征。“当前情况”是目前对于移动应用存在的情况。如果当前情况导致应用的问题，或者如果它允许应用改进其服务，则应用可改变其行为以便更好地反映所述当前情况。由于这对于所有移动应用是正确的，因此当考虑多媒体应用时情况尤其受到关注，因为它们具有非常严格的要求，尤其是对于所应用的网络的服务质量(QoS)条件。

本发明的目的

考虑到以上说明，本发明的目的是提出一种支持基于文档的移动多媒体应用的个性化和上下文认知适配的技术。

多媒体应用可例如经由移动网络、根据移动用户的偏好、他们的移动装置的能力以及不同的应用情景从特定的内容提供商处得到。

这个目的通过独立权利要求的特征来实现。有利的特征在从属权利要求中定义。在以下的详细描述中，本发明的其它目的和优点十分明显。

附图简述

通过以下附图中所描绘的本发明的优选实施例的以下描述，本发明的其它优点及可能的应用将变得显而易见：

图1提供根据本发明的一个实施例的结构模块，

图2提供根据一个实施例的结构模块，

图3提供根据一个实施例的媒体项模块，

图4提供根据一个实施例的交互模块，

图5说明布局模块、媒体项模块、适配模块和交互模块之间的关系，

图6显示典型移动多媒体呈现的格式，

图7表示AMIL DOM数据结构中的AMIL文档的描述，

图8显示根据本发明的一个实施例的约束模块，

图9表示第一个表，说明不同的适配可能性，

图10表示第二个表，说明为适配模块与媒体项模块之间、媒体项模块与布局模块之间以及交互模块与布局模块之间的链接建模的适用关联，

图11表示第三个表，提供适用约束标识符，

图12表示第四个表，提供适用适配触发标识符，

图13表示描述不同适配可能性(AP)的一个实例，

图14表示计算优先级的一个实例，

图15表示适配可能性(AP)的一个实例，

图16表示适配模块与媒体项模块之间、媒体项模块与布局模块之间以及交互模块与布局模块之间的链接的一个实例，

图17表示AMIL文档的再用的一个实例，

图18表示附加功能性的一个实例，

图19表示适配事件描述的文档段的第一实例，

图20表示适配事件描述的文档段的第二实例，

图21表示不同适配备选者的一个实例，

图22表示约束的定义和用法的一个实例，

图23提供第一活动图，表示通过采用适用AMIL DOM数据结构确定不同适配可能性的过程，

图24提供第二活动图，说明适用AMIL DOM数据结构的变化，

图25简要说明第一UML类图，表示媒体项与区域之间的关系，

图26简要说明第二UML类图，表示专用接口工具集(widget)与区域之间的关系，

图27简要说明第三UML类图，说明适用链接元素，

图28简要说明第四UML类图，表示适用AMIL DOM数据结构的应用编程接口(API)，

图29提供适配描述模块的概况，

图30显示一个示意图，表示同一个媒体项的时变质量，

图31显示第一示意图，表示不同媒体项的时变质量，

图32a显示第二示意图，表示不同媒体项的时变质量，

图32b显示第三示意图，表示不同媒体项的时变质量，

图33显示第四示意图，表示不同媒体项的时变质量，

图34显示第五示意图，表示不同媒体项的时变质量，

图35简要说明第一顺序图，表示AMIL DOM数据结构的用法，

图36简要说明第二顺序图，表示对AMIL文档的可能修改，

图37说明导致对AMIL文档的链接结构的修改的当前情况的变化，

图38提供一个类图，表示在当前情况已经改变的情况下的可能事件，

图39表示AMIL所支持的事件模块的概览图，它允许对于当前情况的变化采取行动，以及

图40表示支持核心模块的AMIL文档的一个实例。

本发明的详细描述

下面详细描述如图1至40所示的本发明的优选实施例。图1至40中采用参考标号表示的符号的含义可见于附表。

首先介绍新的AMIL文档模型100的主要概念和特征。

如上所述，发明AMUSE文档模型是由于以下事实：现有技术的文档模型未考虑或者仅在一定程度上考虑以基于文档的应用运行于极动态环境时所需的方式的适配方面。

AMIL文档模型100是关于移动自适应多媒体应用创作过程的技术与正进行AMIL文档2402的处理的AMIL播放器之间的链接。AMIL播放器可分为两个独立组件-浏览器和支持“客户机端中间件”。在本发明的范围内，以下列方式使用这些表达：又称作“多媒体浏览器”的浏览器执行呈现相关的功能和用户交互404；而“客户机端中间件”则提供执行适配过程的功能性。

在以下部分将说明根据本发明的一个实施例的AMIL文档模型100。文档以若干说明性实例来结束。

模块

自适应文档模型100可根据其功能性分为不同的模块。这使得能够再用特定模块作为其它文档模型100的扩展。图17所示的实例1700说明完整AMIL文档的再用。这些模块之间的关系由链接元素共同实现。AMIL文档模型100支持“主模块”102，它仅用作其它所有模块的容器。“主模块”102本身不提供任何其它功能性；它在逻辑上用作整体聚集/容器模块。

各模块以下列方式来描述：首先表示包含统一建模语言(UML)示意图以及可扩展标记语言(XML)模式描述700的表，其次再详细说明各元素及属性的含义/语义。如果需要对相似概念的清楚区分，则在说明各元素或属性的语义之后记下差别。

应当指出，为了描述语法，采用UML和XML图解。为了以UML来描述XML，应用了UML可扩展机制(陈规、标记值及约束)。关于这种建模的详细信息可见于D.Carlson的“采用UML对XML应用建模。实际电子商务应用”(ISBN 0-201-70915-5)。

AMIL(主)及核心模块

“核心模块”104包含每个AMIL文档2402中所需的所有模块。扩展模块114能够可选地用于适配过程的更全面描述。

图1给出AMIL文档模型100提出的模块的概览。为了建模，采用UML“将事务分组”。因此，每个模块通过“包”来描述，如G.Booch、J.Rumbaugh及I.Jacobson的“统一建模语言”(用户指南，ISBN 0-201-57168-4)中所述。

注意：

各个包在逻辑上“依靠”(UML关系“相关性”)“结构模块”112。这种关系没有在图1中示出，但依然是存在的。

“核心模块”104和“扩展模块”114与“主”模块102一样仅用于分组。

1.AMIL结构模块

AMIL“结构模块”112反映AMIL文档2402的基础结构。与XHTML相似，它将文档分为两个部分：“首部模块”部分202，包含布局的声明3702、所用的媒体项304、交互404和例如约束802；以及“正文模块”部分204，集中于描述固有适配可能性1500的适配方面。

“amil”元素：“amil”元素是包含其它所有元素的最外层元素。根据XML定义，这个元素的前面和后面可以是注释和处理指令，但其前面不能是其它元素或文本节点。

“id”属性：根据XML用作标识符，用于引用整个AMIL文档2402。

“版本”属性：用于标识AMIL文档模型100的版本。

“首部模块”202：包括“正文模块”204的子元素引用的所有声明。

“正文模块”204：包含描述适配可能性的元素。

2.AMIL布局模块

AMIL“布局模块”106取自SMIL布局模块，如“同步多媒体综合语言”(SMIL 2.0，W3C Recommendation，2001年8月7日，http://www.w3.org/TR/smil20/)中所述。因此，元素

“smil：布局”，

“smil：区域”，以及

“smil：根-布局”

得到支持。详细信息可见于SMIL文档“SMIL 2.0布局模块”(http://www.w3.org/TR/smil20/layout.html)。

“区域”元素502：

元素“smil：区域”取自SMIL文档模型。其属性“smil：填充”经扩展，以便考虑尺寸适配的方面。这种属性的现有技术的用法是在媒体项304的固有高度/宽度不等于区域502的尺寸时指定行为。

在AMIL中，区域502可由不同的媒体项304在重放多媒体呈现过程中使用，这意味着具有不同格式600的媒体项304在具有明确定义的尺寸的区域502中显示。因此，指定属性“smil：填充”的新属性值。问题在于，缩放媒体的可视尺寸在某些情况下需要许多CPU功率。尤其是按比例放大是相当昂贵的操作。按比例缩小也耗用CPU功率，但不如按比例放大那么多。AMIL中的另一个特点是，区域502可由许多媒体项304使用，这些媒体项304可支持不同格式600，例如通用中间格式(CIF)或四分之一CIF(QCIF)。在特定缩放因子下，媒体的替换比媒体“无穷地”缩小更有意义。

应当指出

a)媒体仅在媒体本身可缩放时才可被缩放(那是要求)，

b)缺省行为不同于SMIL中指定的缺省行为，以及

c)据说，当前选取的媒体经过缩放以适合区域的尺寸，但缺省情况下，区域的尺寸不影响媒体的选取。

“填充”属性：

这个属性通过以下值来扩展：

a)“amil：无缩放”表示指定区域中显示的媒体根本没有缩放-它在区域面积502内居中。

b)“amil：放大”表示特定区域中显示的媒体只经过放大而没有缩小。这个值可应用于特定媒体，从而放大的行为优于缩小。

c)“amil：缩小”表示特定区域中显示的媒体只经过缩小而没有放大。

d)“amil：替换”表示特定区域中显示的媒体根本没有缩放-但根据区域的尺寸以及考虑“当前情况”来选取最适当的媒体。

a)“amil：适配”表示基础AMIL播放器决定什么是最佳方案。播放器具有最多知识，可确定什么是最佳决定。根据与媒体的缩放行为有关的元信息，更易于找到最佳方案。媒体对于“当前情况”进行“缩放”和“替换”。

注意：a)缩放是相当重要的特征，并起重要作用：i.使媒体的可视分量适合特定区域。ii.在区域本身重定大小时修改媒体的可视分量；例如由于用户交互404(例如重新确定应用窗口的大小)。尤其是在这种情况下，媒体的替换将改进可视呈现。实例：如果区域缩小一半，则按照CIF图像格式600的H.263编码媒体被具有QCIF图像格式600的H.263编码媒体格式600ted的替换显著减少带宽。使用名称空间前缀作为属性值的前缀是相当少见的。要强调与SMIL中定义的属性值的差别。

3.AMIL媒体项模块

自适应多媒体应用必须以某种方式描述所有可能使用的媒体。由于客户机端中间件进行的适配决策，因此媒体可能由具有不同属性的不同媒体来替换。

媒体项304是不同种类的媒体的抽象。在离散媒体项304与连续媒体项304(后者表示基于时间的媒体)之间进行区分。更详细描述700可见于S.Wirag、R.Steinmetz和L.C.Wolf(编者)的“Modeling of AdaptableMultimedia Documents”(交互分布式多媒体系统及电信业务；4thInternational Workshop，IDMS’97，Darmstadt，Germany，1997年9月，第420-429页)。

“媒体项模块”108用作特定多媒体应用中的所有可用媒体项304的描述700单元。媒体项304的内容可以不同，取决于媒体项304本身的特征。一般来说，可在以下两类之间进行区分：

-媒体项304描述离散媒体，它们具有通过使用属性“src”来引用源或者提供内容作为媒体项的内容模型的一部分的可能性(例如可采用XHTML来进行，如“XHTML^TM1.0：可扩展超文本标记语言。XML 1.0中HTML 4的修订”(W3C Recommendation，2000年1月26日，http://www.w3.org/TR/xhtml1/)中所述或者如“VoxML标记语言”(The XML Cover Pages，http://www.oasis-open.org/cover/voxML.html)中所述)。

-媒体项304描述连续媒体项304必须通过使用属性“src”来引用源。

与此特征无关，每个媒体项304可具有关于其自身的元信息作为其内容模型的一部分。所支持的语言“资源描述框架”(RDF)，如“RDF模型和语法规范”(W3C Recommendation，1999年2月22日，http://www.w3.org/TR/REC-rdf-syntax/)中所述；或者“下一代会话描述协议”(SDPng)，如D.Kutscher等人的“会话描述及容量协商”(IETFInternet Draft，正在制订中，Bormann University Bremen，2001年11月21日，<draft-ietf-mmusic-sdpng-03.txt>)中所述。

“媒体项”元素303：

“媒体项”元素303是“媒体项模块108”的最外层元素。它在逻辑上用作AMIL文档2402中使用的所有媒体项304的容器。

“id”属性：根据XML用作标识符，用于引用整个“媒体项模块”108。

“媒体项”元素304：

媒体项304是不同种类的媒体的抽象。在离散媒体项304与连续媒体项304(后者表示基于时间的媒体)之间进行区分。作为元素“媒体项”303的子的元素“媒体项”304用来描述媒体项304的属性/特性，例如内容和元信息的位置。

“id”属性：根据XML用作标识符，用于通过元素“媒体项”304引用媒体项304。标识符“媒体项”用于

a)媒体项模块108，以及

b)适配可能性描述模块2900。

后者具有属性“idref”，引用“媒体项模块”108中的特定媒体项304。

“类型”属性：指定媒体的种类。属性“类型”属于类型“媒体项属性-类型类型”308。

因此，属性“类型”取下列值之一：

-“音频”，用于音频流，

-“电影”，用于电影流，

-“视频”，用于一个音频及任意个视频流，

-“文本”，用于文本文档，

-“幻灯片”，用于幻灯片呈现(例如每六秒提取影片的一幅图片)，

-“文本自动收报机”，(流或下载)，或者“amil-文档”。

“src”属性：指定媒体项304的位置作为URI。

“区域”属性：如果媒体项304具有可视分量，则所述可视分量在引用区域502中显示。区域502在布局模块106中指定。

如图25所示，媒体项304可具有多个区域，用于在不同区域502中显示可视分量。

元素“媒体项”304的内容模型：

元素“媒体项”304的内容模型以这样的方式定义：它接受作为可扩展超文本标记语言(XHTML)、可缩放向量图形(SVG)、下一代会话描述协议(SDPng)或资源描述框架(RDF)的文档实例的文档(或文档段)。

元素“媒体项”304的内容模型以这样的方式定义：它接受作为可扩展超文本标记语言(XHTML)、可缩放向量图形(SVG)、下一代会话描述协议(SDPng)或资源描述框架(RDF)的文档实例的文档(或文档段)。

注意：a)由于在XML模式语言中缺少表达复杂约束802，它在下一个版本中将由Schematron或Relax NG替代，因此元素“媒体项”303结合属性“src”的准确语义如下：-如果使用属性“src”，则媒体项304的内容可以仅包含例如通过RDF或SDPng表达的元信息。-如果没有使用属性“src”，则媒体项的内容必须完全包含一个文档(SVG、XHTML等)以及以RDF或SDPng表达的任意元信息。b)类型属性没有详细指明元素“媒体项”304的准确类型(mime-类型)。元素“媒体项”304的增强属性可通过使用RDF或作为SDPng的一部分来表达。c)元素“媒体项”304接受作为XHTML 1.0、SVG、SDPng或RDF的文档实例的文档(或文档段)。对这些文档不存在严格的分析，如文档“XML schema Part 0：Primer”(W3C Recommendation，2001年5月2日)中所述。负责读取AMIL文档2402的实体假定该内容为合适的XML。文档(或文档段)直接传递给负责处理内容的相关播放器。

4.交互模块

没有任何交互机制的多媒体应用对用户来说看上去象一个视频流。因此，交互404是接受用户并适应其个人喜好及移动装置特性的一个相当重要的机制。“交互模块”110指定什么种类的控制元素用于应用中以及它的位置和它的启动参数。

“专用接口工具集”元素402：

“专用接口工具集”元素402是交互模块110的最外层元素。它在逻辑上用作AMIL文档2402中使用的所有专用接口工具集元素404的容器。

“id”属性：根据XML用作标识符，用于引用整个“专用接口工具集模块”110。

“专用接口工具集”元素404：

“id”属性：根据XML用作标识符，用于引用专用接口工具集404。

“类型”属性：根据类型的值，信息被传递给不同的处理器。

因此，属性“类型”取值“类”。特定的类被下载及例示。对于其它任何值，搜索特定播放器，以及引用被传递给播放器。

“类”属性：如果特定专用接口工具集404属于类型“类”，则这个属性必须被指定，引用负责执行交互任务的类。

“src”属性：如果特定专用接口工具集没有被定义或者属于类型“无类”，则这个属性必须被指定，引用专用接口工具集的“src”。(例如，这可能是SVG文档。)

“区域”属性502：如果媒体项304具有可视分量，则这个可视分量被显示在引用区域502中。因此，在布局模块106中指定区域502。

如图26所示，媒体项304可具有多个区域502，用于在不同区域502中显示可视分量。

“param”元素406：

元素“param”406用来指定专用接口工具集404的初始参数。它象由表示为这个元素的属性的键/值对所指定的特性(property)。

如果专用接口工具集404属于类型“类”，则加载的类必须支持传递所有特性的构造器。

“键”属性：指定特性的键。

“值”属性：指定特性的值。

注意：交互404与“媒体项”304之间的差别在于，专用接口工具集用于导航交互404；如以上定义的媒体项304则是媒体的抽象。在例如SVG306a应用的交互媒体与专用接口工具集之间存在交集-当然专用接口工具集本身可通过SVG 306a应用来实现。但是从逻辑的角度来看，值得区分“交互”元素404和“媒体项”元素303。

5.适配模块或适配描述模块

“适配描述模块”109到目前为止是AMIL中最重要的模块。它描述适配可能性1500。相比之下，上述模块具有更多的“描述”特征。描述布局3702的外观，各媒体项304的特性，交互404，等等。这个模块通过引用其它模块、尤其是“媒体项模块”108和“交互模块”110的元素来描述基本自适应多媒体应用。

“适配”元素2901：

“适配”元素2901是“适配描述模块”109的最外层元素。它在逻辑上用作AMIL文档2402中使用的适配描述2900的容器。

“id”属性：根据XML用作标识符，用于引用整个适配可能性描述模块。

“par”元素702：

作为并行的缩写的“par”元素定义简易时间分组，其中多个元素必须同时重放。它用作容器，其中所有直接子元素同时开始。

“seq”元素2904：

“seq”元素2904定义元素序列，其中元素一个接一个地播放。“seq”元素2904的子元素的同步基是前一个元素的活动结束。前一个表示序列时间元素中在此元素之前出现的元素。对于序列的第一个子(即没有在前的兄弟存在)，隐式同步基是序列时间元素的开始。

“选择”元素704

选择元素允许指定各种备选者。其中之一在重放多媒体呈现过程中根据环境的“当前情况”来选择。意味着在媒体被使用之前，根据环境波动(资源消耗的变化)，每个媒体的特性被聚集一次，它在重放多媒体呈现过程中被连续监测，从备选者中选取一个。

注意：选择元素选择对于“当前情况”为最佳的媒体项304-它不了解关于此内容的任何情况、如当前显示哪个画面。如果在特定的时间点“当前情况”以这样的方式改变---连续媒体项304由不同的连续媒体项304替换，则新的一个才根据媒体项的“开始模式”属性开始。

实例：

<choose>

<mediaitem idref＝″media_A_high_quality″>

<mediaitem idref＝″media_A_middle_quality″>

<mediaitem idref＝”media_A_low_quality″>

</choose>

如图30所示，假定开始时的资源情况相当良好，允许以高质量媒体“A(hq)”开始。当重放时，资源条件下降，以及呈现必须改为具有中等质量的媒体“A(mq)”。由于资源情况进一步剧烈下降的事实，因此系统改为使用具有最低资源消耗的媒体“A(lq)”。一段时间后，资源情况改善，这再次引起呈现“媒体A(hq)”。在缺省情况下，该过程在第一媒体完成时即终止。

若干元素“选择”704：

如上所述，选择语句允许指定不同的备选者。如果只考虑了一个“选择”元素704，则那是相当清楚的。但是，在更一般的情况下，适配描述2900由若干并行“选择”元素704组成：

<par>

 <choose>

 <mediaitem idref＝″m1″>

 <mediaitem idref＝″m2″>

 </choose>

 <choose>

  <mediaitem idref＝″m3″>

  <mediaitem idref＝″m4″>

 </choose>

</par>

因此，所附元素“par”702在逻辑上用作“AND(与)”表达式。此外，“选择”元素704中的各元素在逻辑上由“OR(或)”表达式表示。这产生布尔表达式(m1 OR m2)和(m3 OR m4)，它们可由析取范式(DNF)来表示

(m1 AND m3)OR(m1 AND m4)OR

(m2 AND m3)OR(m2 AND m4)。

根据不断测量的当前资源消耗，(m1，m3)、(m1，m4)、(m2，m3)或(m2，m4)中的一个备选者被选取并重放。

图9说明从上述适配描述2900实例中产生的适配可能性1500。应当指出，这个表只示出一个特性，实际上，各种特性可与一个适配可能性1500关联。

适配描述模块2900为“选择”元素提供用于修改其缺省行为的不同属性。下面进行论述。

“开始模式”属性：

这个属性指定在哪个播放时间在适配已经进行之后开始特定媒体、尤其是连续媒体。一般在媒体时间轴与所附选择元素的时间轴之间进行区分。下面通过以下实例说明不同值的语义：

<choose startmode＝″attributevalue″>

 <mediaitem idref＝″A″>

 <！--连续媒体项-->

<mediaitem idref＝″B″>

 <！--连续媒体项-->

<mediaitem idref＝″C″>

 <！--离散媒体项-->

</choose>

因此，“A”和“B”引用的媒体项304假定为连续媒体项，“C”假定为类似图像的离散媒体项。

在图31至34中：

-A(tx)表示使用特定媒体项304的时间轴。

-A(t)表示使用所附选择元素的时间轴。

‘A’表示特定媒体项304为离散媒体项，它没有时间轴。

重新开始：指明媒体项304应当始终从头开始(参照图31)。

恢复(缺省)：指明媒体项304应当始终从停止的位置开始(参照图32a)。

上次停止：指明媒体项304应当始终在相同的选择元素中包含的上一个连续媒体项304停止的媒体时间处开始(参照图32b)。

播放时间：指明媒体项304应当始终在作为自元素“选择”704开始以来、元素“选择”704中包含的所有媒体项304的组合播放时间的时间处开始(参照图33)。

连续播放时间：指明媒体项304应当始终在作为自元素“选择”704开始以来、元素“选择”704中包含的所有连续媒体项304的组合播放时间的时间处开始(参照图34)。

“开始时间”属性：

指定媒体开始的时间点。缺省情况下，媒体从头开始(参见以上“开始模式”属性)。这个行为可采用属性“开始时间”来修改。属性的值由一个数字组成，并解释为秒。

例如，以下代码段说明各媒体项304不是从头开始，而是在五秒之后开始。

<choose startmode＝″attributevalue″starttime＝″5s″>

 <mediaitem idref＝″A″><！--连续媒体项-->

 <mediaitem idref＝″B″><！--连续媒体项-->

 <mediaitem idref＝″C″><！--离散媒体项-->

</choose>

应当指出，这个属性只有当存在“开始模式”属性并且其值为“重新开始”时才被考虑。这个约束802无法在XML模式中表达。

“onremove”属性：

这个属性指定在连续媒体项304重放时发生的情况。对于这种媒体项的生命周期，媒体项304被启动、重放，重放的时间可能不同于影片的长度，并在媒体结束时停止。这产生“停止”或“破坏”所有适配可能性1500，或者只是“取消”此特定媒体项304。如果“选择”元素704没有包含任何连续媒体项304，则该属性值被忽略。

破坏：指明当子被取消时，整个选择应当被取消。

取消(缺省)：指明到达其播放时间结尾的子被取消。该选择只有在这是选择中最后一个剩余的子时才被取消。

“循环”属性：

指明媒体项  304(如果它们是连续的)在媒体结束时应当从头开始。

真        指明在媒体结束时从头播放媒体。

假(缺省)  指明不再播放媒体。

“评估”属性：

指定元素“选择”704是在启动时评估一次，在特定时间周期重复地评估，还是在重放多媒体呈现时连续评估。

启动      指明选择元素根据启动时的适应性参数评估一次。

10s(10秒)    指明选择元素根据当时的适应性参数每隔指定的时间周期进行评估。

con(缺省)    指明如果超过描述当前情况的一部分的参数的指定门限，则评估元素“选择”704。这意味着在当前情况变化时将发生适配。

“优先级1400”属性：

指定“选择”的优先级1400。

“空”属性：

缺省情况下，元素“选择”704允许指定不同的备选者。它们中的一个在重放多媒体呈现过程中被选取。如果属性空设置为“真”，则根据当前情况，可能没有从选择元素中选取任何媒体。

<choose empty＝″true″>

 <mediaitem idref＝″m1″>

 <mediaitem idref＝″m2″>

</choose>

(在特定时间点“m1”或“m2”或者不是在这两者处引起重放。)

真      指明没有从适配可能性1500中选取任何媒体的备选者是有效的。

假(缺省)指明必须从所述适配可能性1500中选取一个媒体。

“媒体项”元素304：

元素“媒体项”元素304指定从媒体项模块108所使用的媒体，它意味着适配描述模块2900中的媒体项304只是占位符。在媒体项模块108中描述连续媒体的特点以及在某种程度上描述离散媒体的内容。由于媒体项模块108与适配描述模块109之间的区别，适配的描述700相当容易。

“优先级”属性：

指定“媒体项”元素的优先级1400。

“idref”属性：

属性“idref”属于类型“IDREF”，如Tim Bray(Textuality andNetscape)、Jean Paoli(Microsoft)、C.M.Sperberg-McQueen(university ofIllinois，Chicago)以及Eve Maler(Sun Microsystems，Inc.)的“可扩展标记语言(XML)1.0”(第二版，http://www.w3.org/TR/REC-xml)中所述，引用“媒体项模块”108的特定“媒体项”部分。链接实现了相关性“链接媒体项”。

“开始时间”属性：

指定媒体开始的时间点。缺省情况下，媒体从头开始(参见以上“开始模式”属性)。这个行为可采用属性“开始时间”来修改。属性的值由一个数字组成，并解释为秒。

例如，以下代码段说明媒体项304不是从头开始而是在五秒之后开始。

<mediaitem idref＝″A″starttime＝″5s″>

应当指出，这个属性覆盖来自元素“选择”704的属性“开始时间”。它只在以下两种情况中才被考虑：

1.如果媒体项304为“选择”元素704的一部分，以及属性“开始模式”在这里被指定并具有值“重新开始”，

2.如果媒体项304不是“选择”元素704的一部分。

在后一种情况下，该值指定媒体项304的初始开始时间。

下面根据本发明的一个实施例，将SMIL中使用的“开关”元素与AMIL的“选择”元素704进行比较。

a)从语义的角度

SMIL中的选择元素允许“作者指定一组备选元素，从其中应当只选取一个可接受的元素”。如果某个元素为SMIL元素，媒体类型可被解码，以及元素的各测试属性得到“真”，则该元素是可接受的。按照以下方式选取元素：播放器以这些元素在开关元素中出现的顺序对它们进行评估。在排除了开关内的其它所有元素之后，选取第一个可接受的元素。

这与“适配描述模块”109中使用的元素“选择”704的语义不同。如上所述，元素“选择”704的所有可能的媒体被评估，这意味着媒体的特性(例如带宽、持续时间等)被评估及存储在内部数据结构中-参见S.Wirag、R.Steinmetz和L.C.Wolf(编者)在“自适应多媒体文档的建模”中的“配置列表”的描述(交互分布式多媒体系统及电信服务；4th International Workshop，IDMS’97，Darmstadt，Germany，1997年9月，第420-429页)。在启动时以及如果“当前情况”变化，则适配描述2900被评估，以及对于“当前情况”选取和重放最适当的适配可能性1500。

b)从SMIL文档作者的角度

在SMIL中，作者描述哪个媒体用于哪种条件中。条件(采用属性“测试”描述的逻辑表达式)为SMIL中各媒体元素的固定部分。在启动时间期间，SMIL播放器依次评估各媒体元素的条件。如果条件可被满足，则选取该媒体用于重放。

注意：

a)作者指定考虑哪种资源(例如带宽、屏幕大小等)。

b)作者指定元素的条件被评估的顺序。

c)如SMIL中所用的当前情况通过条件中所用的特性来描述。

d)SMIL标准不要求在“当前情况”变化时重新评估元素“开关”。

e)SMIL的焦点在于运行于静态环境中的应用。应用在启动时被适配一次。

在SMIL中，特性描述一个或一组媒体项304必须选取的情况。在“适配描述模块”109中，特性描述媒体项304的属性，以及“AMIL播放器”采用这个信息来找出哪一组媒体项304用于实际情况。(实例：如果可用带宽低于1兆比特/秒，则使用两个媒体项304 A和B。A需要300千比特/秒以及B需要400千比特/秒。)在SMIL中，作者必须在创作时手动创建从媒体属性到情况的映射。在“适配描述模块”109中，这种映射留给浏览器处理，它显著地简化了创作过程，尤其是由于媒体项特性往往可自动创建，因此把元数据用于媒体或者通过检查媒体文件。

在AMIL中，“AMIL播放器”聚集关于“当前情况”和媒体的信息，它是适配描述2900的一部分。根据连续监测的“当前情况”，特定“适配可能性”1500被选取并用于重放，直到“当前情况”变化，以及选取新的“适配可能性”1500。作者可提供提示以表达作者的偏好，它可影响关于哪个适配可能性1500用于重放的决策。在AMIL中，选取哪个媒体的决策由适配控制单元来确定，但是，文档的作者可通过使用“适配可能性模块”109的元素支持的属性-例如元素“开关”和“媒体项”304的优先级属性2810-来影响适配控制过程。

c)从适配的角度

如果“当前情况”变化，则完成适配，这意味着媒体被替换。在SMIL中没有描述如何进行这种操作的确切行为。AMIL采用不同属性来支持文档的作者，例如用于指定在影片结束时从一个媒体到另一个媒体的转换、重新开始及循环功能等的“开始模式”。

优先级属性

属性“优先级”2810通过元素“选择”704和“媒体项”304得到支持，并实现适配可能性1500的加权。为了理解优先级1400的思路，应当记住适配可能性1500的概念。

根据上述“适配可能性描述”，计算不同的适配可能性1500。当重放时，选取匹配“当前情况”的适当适配可能性1500。此后，从这组适当适配可能性1500中选取具有最高优先级1400的适配可能性1500。

图23所示的第一活动图表明，如果“当前情况”已经改变，则从所有可用适配可能性1500中滤出匹配“当前情况”的集合。从这个集合中，选取具有最高优先级1400的适配可能性1500。如果最终留下不止一个适配可能性1500，则或者选取具有较低资源消耗的那一个或者随机进行选择。

优先级1400的评估根据所有适配可能性1500的计算来进行。图15表示从图13所示的适配可能性1500描述700中导出的适配可能性1500，以下有时缩写为“AP”。适配可能性(AP)的计算方式是：“选择”元素704被视作“OR”运算符，以及“par”元素702视作“AND”运算符。这产生以下“布尔”表达式：

(M4 AND M2)OR(M4 AND M1)OR

(M3 AND M2)OR(M3 AND M1)。

因此，一个“AND”表达式(例如M4 AND M2)(又称作适配可能性1500)的选择基于“当前情况”。

适配可能性1500的相关优先级1400的评估按照以下方式进行：

1.“par”元素702的所有子根据其优先级1400来排序。

2.前两个子元素的配置被合并(通过AND运算符)。所得配置的优先级1400由附加到较低优先级的子的优先级1400的较高优先级的子的优先级1400来构成。(从而字符“-”用作分隔符。)

3.该结果反复与“par”元素702的其它所有子合并。优先级1400始终按照步骤2进行处理。

4.类型“选择”的元素704不执行任何优先级计算。元素“选择”704表示“OR”运算，其中，来自子元素的结果只是被组合而没有修改-包括优先级1400。

最后的结果是具有从这个可能适配的所用媒体的优先级1400计算的属性优先级1400的可能适配的列表。

元素之间的链接

本文中所用的术语“链接”描述一个AMIL文档2402中的不同元素的连接-与各种万维网资源(在不同文档中)链接在一起的一般含义不同。链接由图27所示的其“源锚”2702及其“目标锚”2704来描述。锚的源2702通过使用XML属性“id”来描述-锚的目标2704由XML属性“idref”来描述。两种属性在XML文档的剖析过程中被验证(没有使用XML模式)。

图5说明各种模块之间的关联。链接相当重要，因为信息本身分布在不同模块上。“适配描述模块”只描述适配可能性1500-媒体本身则在“媒体项模块”108中描述，交互404在“交互模块”110中描述，以及整体布局3702在“布局模块”106中描述。所述模块实现信息的分割，它允许对例如布局3702的修改而不接触来自“媒体项模块”108或“交互模块”110的任何东西-只要所有被链接的区域仍然可用。

图9描绘关联的名称以及它们用来描述AMIL模块之间的链接1600的模块。

图16示出一个示范实例文档。为了该例子，文档保持为相当简单。因此，适配描述2900简化到一个媒体项304，该媒体项304的特性在“媒体项模块”108中描述并借助于属性“idref”来链接。两种元素、即“媒体项模块”108的媒体项304和“交互模块”110的专用接口工具集404表示显示它们的“布局模块”106的元素区域502。图6表示这种多媒体呈现的外观。

注意：a)“媒体项模块”108的“媒体项”元素304不需要支持对“布局3702描述模块”的元素“区域”502的引用。这是可选的，并且只对具有可视分量的媒体有意义，这意味着，如果媒体指定用于呈现的区域并且具有可视分量，则这个可视分量显示在所引用的区域中。b)可视分量被设置为指定区域的大小。如果媒体不适合该区域，则在缺省情况下被缩放。

再用的粒度

由于多媒体呈现的创作是相当费时且成本高的任务，因此为了效率和经济原因，已经注意到再用自适应多媒体应用。但是，这必须经过相当仔细的考虑。首先，文档是对各请求动态产生的。因此，很难引用不是静态可用的文档的一部分。

此外，在使用保存在例如文件系统中的静态AMIL文档2402时没有限制。为此，引入称作“amil-文档”的另一个媒体类型。类型“amil-文档”的媒体项304在其指定区域中呈现。

图17表示自适应多媒体呈现如何可用作另一个的一部分。因此，多媒体应用“呈现-B.amil”作为媒体项304从另一个在“呈现-A.amil”中描述的多媒体应用中被调用。

注意：若干元素包含类型“ID”的属性，允许引用它们。如本文所述的当前版本的AMIL仅支持文档级的再用1700(引用)。其它版本可能允许特定模块的再用1700(引用)。

AMIL名称空间

名称空间(参见万维网联盟：“XML中的名称空间”，1999年1月14日，http://www.w3.org/TR/REC-xml-names/)在XML领域中区分不同词汇表是相当普遍的。AMIL采用URI“www.sony.de/amil”查阅词汇表的最新版本。图40表示完整的AMIL文档2402，其中，在整个文档中明确地使用名称空间。

AMIL文档对象模型(AMIL DOM)

在本发明的范围内，已经引入AMIL文档对象模型(AMIL DOM)来描述抽象文档模型结构中的AMIL文档2402。它支持对AMIL文档2402的内容和结构的动态存取和更新。该文档可经过进一步处理，以及处理的结果可重新结合到所提供的文档中。AMIL DOM相当简单。实际上，它是对W3C建议的DOM的扩展。类似于“XHTML 306bDOM”和“WML DOM”，“AMIL DOM”只是通过AMIL相关词汇表来扩充基本W3C DOM。

在对现有技术文档对象模型的扩展中，AMIL DOM支持简化事务模型。这允许对AMIL DOM进行一组逻辑分组处理，它引起对自适应文档的事务修改的支持。例如，“适配描述相关”元素“选择”704的替换必须作为原子变化来进行，它引起对所有适配可能性1500的重新计算。如果那不是以原子方式进行，则修改可能是相当关键的步骤，它产生不一致状态。

如图28和图35所示，除现有技术的原语之外，AMIL DOM通过采用“提交”原语增强接口“文档”2806来支持用于进行简易的面向事务的处理的原语。应当指出，这些修改在触发“提交”原语之前没有被传递给中间件。

在已经创建AMIL文档2402的内部呈现之后，它能够适应“当前情况”的变化，例如用户交互404或者用户的位置变化。这些修改在它们被提交之前不会变为可见的。这个事实如图36所示。右侧的图解说明布局3702在已经修改文档之后如何可改变。

以下部分介绍能够可选地用于适配过程的更详细描述700的模块。它们不是必不可少的，这意味着AMIL文档2402没有这些模块时在语义上也是有效的。

1.事件模块

“事件”3802是从任何传感器到AMIL浏览器的信号，表明“当前情况”已经改变。如介绍中所述，“当前情况”分类为三个不同方面：网络QoS、移动装置能力以及用户上下文。在这种情况下，AMIL文档2402在请求时根据“当前情况”动态生成。此后，如S.Wirag、R.Steinmetz和L.C.Wolf(编者)的文章“可适应多媒体文档的建模”(交互分布式多媒体系统及电信业务；4th International Workshop，IDMS’97，Darmstadt，Germany，1997年9月，第420-429页)中所述的支持中间件控制AMIL文档2402中指定的媒体的适配过程-但AMIL文档2402保持相当静态。通过引入AMIL“事件模型”118，“当前情况”的变化会以不同方式影响文档：

a)链接结构的修改：AMIL文档2402包括词汇表、分级结构(它定义元素内嵌的方式)以及非分级结构(它描述元素链接的方式)。“当前情况”的变化可引起对链接结构的修改。因此，关联“链接媒体项与布局”和“链接专用接口工具集与布局”被改变(参照图37)。

b)整个文档结构的修改：这产生更新的或完全不同的AMIL文档2402。

图38表示某些类型的可能的事件3802。详细地说，描述“当前情况”的一部分的各参数可作为事件3802建模。图24表示事件3802对AMIL文档的特定实例的影响。在情况a)中，文档的内部链接结构被改变，在情况b)中，基本分级文档结构和内部链接1600被改变；这可能产生更新的或完全不同的文档。

注意：a)到作出本发明时，焦点是针对“链接结构的修改”。相反，“整个文档的修改”至此还未考虑。但是，如果“对话的”和“文档检索的”情景共同考虑，则整个文档的修改是相当受关注的主题。应当注意，根据“当前情况”的变化，整个文档结构可能被改变。b)“当前情况”的变化可按照本节及以下小节所述的方式转发给AMIL浏览器(它负责进行文档处理)。但是，事件3802仅告知已经发生某种情况，而没有传递关于事件3802的更详细信息。因此，必要时，附加功能性1800必须作为XPath和XSLT规范的一部分/扩充来提供，用于表达式。(如以下小节所示，XPath和XSLT用于描述“动作”中的“条件”表达。)

图18表示条件语句，它可能是动作元素的一部分。函数“diff”是一个扩展，它用来描述，如果“当前位置”与点(“47，11”、“9，34”)(它们分别表示经度和纬度)的位置之间的差异小于500米，则测试元素的内容应当被评估。

AMIL支持的事件模块118允许对“当前情况”的变化采取动作。模块本身是可选的，并且不必受到支持。

“适配事件”元素：

“适配事件”元素是适配事件模块118的最外层元素。它在逻辑上用作AMIL文档2402中使用的适配事件描述700的容器。

“id”属性：

根据XML用作标识符，用于引用整个适配可能性描述模块。

“收听者”元素3906：

“收听者”元素实现事件3802与特定动作的绑定，它是收听者具有的唯一子。

“类型”属性：

属性“类型”指定收听者3906要收听哪个事件3802。它只是一个标识符，反映特定传感器的特性已经改变。没有与事件3802关联的任何附加信息可用。

注意：

a)所支持事件3802的集合在XML模式“事件类型”中描述为列举。这不应担心定义附加事件3802类型。“事件类型”在XML模式中定义，以及能够以域相关方式进行扩展。

b)(名称空间相关)属性值必须符合以下模式：

“传感器”∷“事件名称”

因此，传感器指定事件3802的源，以及名称指定事件3802的种类。要求该模式，以及验证过程检查此规则。

“动作”元素3910：

“动作”元素3910描述作为事件3802的结果的活动。元素的内容由“条件”和“动作”语句(例如“链接”语句)组成。由于用于表达条件语句的词汇表在XSLT中已经可用，因此它被采用并结合到事件模块118中。这意味着应用于文档的语句(例如“链接”语句)可在条件语句中用来更详细地考虑“当前情况”的变化或者直接进行。图19表示采用XSLT的条件语句的适配事件描述1900/2000的示范文档段。图20说明没有使用XSLT的条件语句描述动作的文档段。

“链接”元素3914：

“链接”元素3914改变文档的链接结构。它替换属性“元素”中所述的链接。

注意：这个属性属于类型“IDREF”，这意味着它们的存在是在读取AMIL文档2402的过程中验证的。

“元素”属性：通过其唯一的“id”来指定元素，它具有要修改的链接。

“源”元素3916：

“源”元素3916指定链接的源。

“ref”属性：它指定属性的名称，其值必须修改。此属性本身是链接的源。

“目标”元素3918：

“目标”元素3918指定链接的新目标。

“ref”属性：它指定新的链接目标。

实例：在以下代码段中，如果通过属性“id”唯一寻址的媒体项304与通过属性“id”唯一寻址的区域502之间的链接

<region id＝″regionA″.../>

<region id＝″regionB″.../>

<mediaitem id＝″mediaitemA″region＝″regionA″>

应当修改，则“源”元素3916和“目标”元素3918必须写为如下形式：

<link element＝″mediaitem″>

     <source ref＝″region″502/>

<target ref＝″regionB″>

</link>

这使得媒体项的可视分量采用“区域B”代替“区域A”。媒体的可视分量的确切行为取决于该区域的属性“fit”。

2.约束模块

约束模块116允许将附加约束802添加到适配描述元素，以便影响(在大部分情况下是减少)可能的适配备选者2100的集合。当约束802被应用时，例如能够消除需要比相应约束802指定的更高的“比特率”的所有适配备选者2100(每个由不同的媒体项304组成)。

因此，它可用来允许这类约束还用于“媒体项”元素304，而不管在这一级不存在任何备选者的事实。这是因为媒体项304可以能够在不同媒体配置中运行。媒体项304可显示不同的媒体配置，这些配置可在播放媒体项304时动态选取。各媒体配置可产生不同的媒体特性，如不同的质量、资源要求或错误健壮性。这类媒体项304的实例是采用分层编解码器的视频流，其编码参数可受到可动态应用前向纠错(FEC)算法的接收机侧或媒体项304的影响的实况流。当使用约束802时，作者具有排除不想要的媒体配置的可能性。

重要的是理解应用于媒体项304的约束802与另一个适配描述元素之间的语义差异。当应用于媒体项304时，它限制可能的媒体项配置。当应用于适配描述元素(例如，象“选择”704)，它应用于那个元素(各由一组媒体项304组成)的所有可能的适配可能性1500。在图21所示的AMIL代码中，最外层“par”具有至少四个适配备选者2100(m1AND M3，m1 AND m4，m2 AND m3，m2 AND m4)。如果媒体项304允许不同的媒体配置，则此列表还被扩展为在一个媒体项304或者一个媒体配置中不同的两个备选者。

应用于这个“par”元素702的约束802可消除这些备选者中的一个或多个。例如，约束“比特率＜500千比特/秒”将消除其媒体项组合比特率更高的所有备选者。

作者必须注意，约束802是一致的，并且不导致所有适配备选者2100被消除的情况。

在以下部分，将介绍AMIL语言所支持的“约束模块”800。

“约束”元素801：

“约束”元素801是约束模块的最外层元素。它在逻辑上用作AMIL文档2402中使用的所有“约束”元素801的容器。

“id”属性：根据XML用作标识符，用于引用整个“约束模块”800。

“约束”元素802：

“约束”元素802是若干“限制”元素804、“适配触发”元素806和/或“适配频率”元素808的容器。它可由希望应用所定义的约束802的其它元素引用。

“id”属性：根据XML用作标识符，用于引用整个“约束”802。

“限制”元素804：

“限制”元素804用于描述由约束802施加的实际限制。

“值”属性：“值”属性包含实际限制的文本描述700。第一个值由不同条件组成。条件本身由“限制标识符”之后跟随比较运算符、之后再跟随一个值加可选的单位组成(实例：“带宽＜500千比特/秒)。可采用“AND”运算符或“OR”运算符来组合条件。限制标识符确定可能的比较运算符、取值范围和单位。图11说明所支持的限制标识符。

在属性值中而不在若干XML元素或属性中具有这个数据的优点在于，附加限制标识符可在以后添加，而不需要改变AMIL语法。

“适配触发”元素806：

“适配触发”元素806用于描述其中媒体项304被认为有问题以及因此应当在条件变为真时执行适配的条件。

重要的是要注意“限制”804与“适配触发”806之间的差异。“限制”804限制可能的适配备选者2100的数量，而“适配触发”则定义在媒体项304的播放时不应出现的条件。

“值”属性：值属性包含实际适配触发的文本描述700。其值始终为不同条件组成的字符串。条件由条件标识符之后跟随比较运算符、之后再跟随值加可选单位构成(实例：“帧速率＜15帧/秒”)。可采用“AND”运算符或“OR”运算符来组合条件。标识符确定可能的比较运算符、取值范围和单位。

图12表示所支持的“适配触发标识符”。

为了评估适配触发，AMIL播放器需要一种在媒体项304播放时测量相应值的方法。如果AMIL播放器没有测量某个值的可能性或者指定条件不适用于该媒体项的类型，则相应的适配触发被忽略。

在属性值中而不在若干XML元素或属性中具有这个数据的优点在于，附加限制标识符可在以后添加，而不需要改变AMIL语法。

“适配频率”元素808：

元素“适配频率”808用于描述适配应当出现的频率。如果情况变得更坏，则适配始终是必要的。如果情况改善，则可应用确定多快进行反应的不同策略。这产生更“稳定的”适配行为或者“灵活的”适配行为。可采用这个元素来影响这种行为。

如果关联到“媒体项”元素304或者没有任何适配可能性1500的另一个元素，则元素“适配频率”808没有意义。与适配描述元素关联的“适配频率”元素808盖写与这个适配描述元素内的元素关联的其它所有“适配频率”元素808。

所定义的适配频率始终应用于它所分配到的适配描述2900元素的所有适配备选者2100。因此，适配描述2900的一部分可设置为“灵活地”反应而另一个部分设置为“稳定地”反应。然后，适配算法将尝试在运行时选择适配可能性1500，其中，“灵活的”部分比“稳定的”部分改变得更频繁。

“值”属性：这个属性指定适配行为应当是怎样的。可能的值为“稳定”、“中等”和“灵活”。

图11提供“限制”元素804的“值”属性中包含的限制标识符的概览。可能的比较运算符为：＜，＞，＜＝，＞＝。

图12提供“适配触发”元素806的“值”属性中包含的适配触发标识符的概览。可能的比较运算符为：＜，＞，＜＝，以及＞＝。

Claims (31)

1.一种用于描述自适应移动多媒体应用和/或呈现的方法，所述应用和/或呈现的重放行为固有地取决于运行时的当前情况，所述方法是根据基于XML的文档模型(100)并且包括以下步骤：

在包含描述所述自适应移动应用的适配可能性所需的词汇表和语言结构的适配模块(109)中，描述运行于移动网络环境中的应用和/或呈现的固有适配可能性。

2.如权利要求1所述的方法，其特征在于还包括以下步骤：

在包含描述所述自适应移动应用内所用的媒体项(304)所需的词汇表和语言结构的媒体项模块(108)中，描述所述应用和/或呈现的可用媒体。

3.如以上权利要求中任一项所述的方法，其特征在于还包括以下步骤：

在包含描述用于所述自适应移动应用的交互可能性(404)所需的词汇表和语言结构的交互模块(110)中，描述所述应用/呈现的交互参数。

4.如以上权利要求中任一项所述的方法，其特征在于还包括以下步骤：

在包含描述对于所述自适应移动应用的约束(802)所需的词汇表和语言结构的约束模块(116)中，描述适配过程的约束。

5.如以上权利要求中任一项所述的方法，其特征在于还包括以下步骤：

在包含描述所述移动应用中使用的事件可能性所需的词汇表和语言结构的事件模块(118)中，改变所述模块(106，108，109，110，116)的所述语言结构和词汇表。

6.如以上权利要求中任一项所述的方法，其特征在于还包括以下步骤：

描述所述适配模块(109)与所述媒体项模块(108)之间的关联，由链接表示。

7.如以上权利要求中任一项所述的方法，其特征在于还包括以下步骤：

描述所述适配模块(109)与所述交互模块(110)之间的关联，由链接表示。

8.一种用于描述基于XML的文档的方法，所述基于XML的文档用作支持移动自适应多媒体应用的中间件框架与支持如权利要求1至9中任一项所述的移动自适应多媒体应用(结构和词汇表)的生成的创作系统之间的连接层，

其特征在于描述通过包含以下各项的语言来执行：

至少一个媒体项模块(108)，用作所述多媒体应用内的可用媒体项(304)的描述单元，

至少一个布局模块(106)，它将所述媒体项组织成移动显示装置的视觉呈现表面上的区域(502)，以及

至少一个适配模块(109)，它通过引用所述媒体项模块(108)的元素来控制所述分布式多媒体应用的上下文认知的适配。

9.如权利要求8所述的方法，其特征在于所述语言还包括：

至少一个约束模块(116)，它允许将附加约束(802)添加到适配描述元素(2900)中，以及

至少一个事件模块(118)，它允许对包含用户的物理环境(位置、温度)、用户的上下文、所应用的网络的服务质量(QoS)条件以及移动装置能力的各种资源的变化作出反应。

10.一种用于操作中间件框架的方法，所述中间件框架支持如权利要求8和9中任一项所述的自适应移动应用/呈现(100)的基于XML的描述的处理，

其特征在于

所述中间件框架允许各个正运行的移动多媒体应用指定它想使用的媒体以及这些媒体之间的关系，计算移动多媒体应用的适配可能性(1500)，以及根据当前情况控制适配过程。

11.如权利要求10所述的方法，其特征在于

若当前情况已经改变、则修改所述适配模块(109)与所述媒体项模块(108)之间的链接结构的步骤。

12.如权利要求10所述的方法，其特征在于

若当前情况已经改变、则修改所述媒体项模块(108)与所述布局模块(106)之间的链接结构的步骤。

13.如权利要求10所述的方法，其特征在于

若当前情况已经改变、则修改所述交互模块(110)与所述布局模块(106)之间的链接结构的步骤。

14.如权利要求10所述的方法，其特征在于

所述文档链接结构和/或所述文档结构和文档词汇表本身是通过用户交互(404)来修改的。

15.如权利要求14所述的方法，其特征在于

用来修改所述文档链接结构和所述文档本身的用户交互(404)是由所述交互模块(110)来描述的。

16.如权利要求10至13中任一项所述的方法，其特征在于

借助于所述事件模块(118)将媒体项(304)动态绑定到所述移动显示装置的视觉呈现表面上的特定区域(502)，这由当前情况的变化(3700)发起。

17.如权利要求11至14中任一项所述的方法，其特征在于

借助于所述事件模块(118)将专用接口工具集(404)动态绑定到所述移动显示装置的视觉呈现表面上的特定区域，这由当前情况的变化(3700)发起。

18.如权利要求8和9中任一项所述的方法，其特征在于以下步骤：

扩展或重新指定所述布局模块(106)的至少一个元素的至少一个属性，以便通过根据当前情况放大/缩小所述媒体项(304)的可视大小或者替换所述媒体项(304)，使特定媒体项(304)的可视分量(600)适合所应用的移动显示装置上要用于多媒体呈现的那些区域(502)的尺寸。

19.如权利要求8和9中任一项所述的方法，其特征在于

通过以下各项来描述(700)所述适配模块(109)中使用的所述媒体项模块(108)的备选媒体项(304)：

媒体相关信息，包含多媒体呈现的可视部分的带宽和大小，

元信息，在媒体项(304)的类型为视频的情况下包含所述媒体的名称、类型和演员，和/或

内嵌信息或者通过使用通用资源标识符(URI)对外部资源的引用。

20.如权利要求8、9、10和19中任一项所述的方法，其特征在于包括以下步骤：

通过所述适配模块(109)的“选择”元素(704)，指定在启动时以及在当前情况变化时的各种备选者。

21.如权利要求20所述的方法，其特征在于以下步骤：

在启动时选取最适当的适配可能性(1500)，

连续地监视网络条件、可用的移动装置能力和/或用户上下文，以及

在变化的网络条件、移动装置能力和/或用户上下文的情况下，选取最适当的适配可能性(1500)。

22.如权利要求21所述的方法，其特征在于以下步骤：

通过使用所述适配模块(109)的相应元素所支持的优先级属性来影响适配控制过程。

23.如权利要求22所述的方法，其特征在于包括以下步骤：

采用所述适配模块(109)的Par元素(702)，用于定义其中多个元素必须同时重放的简单时间分组。

24.如权利要求23所述的方法，其特征在于

借助于析取范式(DNF)表达的布尔条件，对一组不同的媒体项(304)计算适配可能性(1500)，其中“选择”元素(704)被视为“或”运算符以及“par”元素(702)被视为“与”运算符，根据所应用的网络的服务质量(QoS)、移动装置能力以及用户上下文从其中选取所述析取范式(DNF)的一个合取、即所述适配可能性(1500)。

25.如权利要求24所述的方法，其特征在于以下步骤：

采用“适配描述模块”(2900)，它为所述“选择”元素(704)提供用于修改其缺省行为的“开始模式”属性，所述“开始模式”属性指定在因当前情况变化而已经执行适配之后在哪个播放时间开始特定媒体、尤其是连续媒体。

26.如权利要求25所述的方法，其特征在于

所述连续媒体项(304)因当前情况变化而由不同的连续媒体项(304)代替，以及新的媒体项只是根据媒体项的“开始模式”属性来开始。

27.如权利要求26所述的方法，其特征在于

所述“开始模式”属性可取下列值之一：

“重新开始”值，它指明所述媒体项(304)应当始终从头开始，

“恢复”缺省值，它指明所述媒体项(304)应当始终从它停止的位置开始，

“上次停止”值，它指明所述媒体项(304)应当始终在相同“选择”元素(704)中包含的上一个连续媒体项(304)停止时的媒体时间开始，

“播放时间”值，它指明所述媒体项(304)应当始终在作为所述“选择”元素(704)中包含的所有媒体项(304)自所述“选择”元素(704)开始以来的组合播放时间的时间开始，以及

“连续播放时间”值，它指明所述媒体项(304)应当始终在作为所述“选择”元素(704)中包含的所有连续媒体项(304)自所述“选择”元素(704)开始以来的组合播放时间的时间开始。

28.如权利要求27所述的方法，其特征在于

所述“适配描述模块”(2900)为所述“选择”元素(704)提供指定在连续媒体项(304)重放之后发生的情况的“onremove”属性。

29.如权利要求28所述的方法，其特征在于

所述“适配描述模块”(2900)为所述“选择”元素(704)提供“评估”属性，该属性指定所述元素“选择”(704)的内容模型是在启动时评估一次，按特定时间周期重复评估，还是在重放所述多媒体呈现时连续评估。

30.如权利要求28和29中任一项所述的方法，其特征在于

所述“适配描述模块”(2900)为所述“选择”元素(704)提供“空”属性，该属性支持适合于特定当前情况的媒体集合可以为空集的功能性。

31.如权利要求30所述的方法，其特征在于

适配可能性(1500)的相关优先级(1400)的评估通过以下步骤来进行：

根据par元素的所有子的优先级(1400)对它们排序，

通过“与”运算符来合并前两个子元素的配置，其方式是，所得配置的优先级(1400)由附加了较低优先级的子的优先级(1400)的较高优先级的子的优先级(1400)组成，以及

将所述结果反复与par元素的其它所有子合并。

Images