CN104661045B - 多媒体内容自适应方法和多媒体播放系统 - Google Patents

Abstract

本发明涉及一种多媒体内容自适应方法和多媒体播放系统。其中，多媒体内容自适应方法包括：获取上下文信息；根据获取的上下文信息进行媒体内容适应问题的求解。采用本发明的多媒体内容自适应方法和多媒体播放系统，能够实现UPnP AV标准下，对AV播放环境的内容适应，从而提供智能多媒体服务。

Description

多媒体内容自适应方法和多媒体播放系统

技术领域

本发明涉及一种多媒体播放技术，特别是一种多媒体内容自适应方法和多媒体播放系统。

背景技术

随着多媒体内容的急剧增长、各种不同终端设备的出现以及异构网络的动态特性，用户对多媒体体验的要求越来越高，他们希望能够使用各种设备随时随地享受更好的多媒体服务，这种范式称为UMA（Universal Multimedia Access）。

内容适应就是为了达到上述目标，根据多媒体内容的使用环境（相应的上下文信息）调整媒体内容使原始内容符合用户要求。然而家庭多媒体系统标准（例如UPnP AV等）只提供了多媒体系统的基本构建模块，没有相应的内容适应功能，因此，为了保证更好的多媒体体验，需要根据上下文信息调整AV内容。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于提供一种多媒体内容自适应方法和多媒体播放系统，能够实现UPnP AV标准下，对AV播放环境的内容适应，从而提供智能多媒体服务。

根据本发明的第一方面，一种多媒体内容自适应方法，包括：

获取上下文信息；

根据获取的所述上下文信息进行媒体内容适应问题的求解。

根据本发明的第二方面，一种多媒体播放系统，包括媒体服务器、媒体播放器和AV控制点；

其中：

所述媒体服务器用于提供媒体内容和完成浏览和/或查询操作；

所述媒体播放器用于对媒体内容进行播放控制、连接管理和/或AV传输服务；

所述AV控制点用于控制媒体服务器和媒体播放器的操作。

采用本发明的多媒体内容自适应方法和多媒体播放系统，能够实现UPnP AV标准下，对AV播放环境的内容适应，从而提供智能多媒体服务。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1为本发明的多媒体内容自适应方法的一种实施方式的流程图；

图2为本发明的多媒体播放系统的一种实施方式的结构图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

参见图1所示，为本发明的多媒体内容自适应方法的一种实施方式的流程图。

在本实施方式中，多媒体内容自适应方法包括：

S10:获取上下文信息；

S20:根据获取的上下文信息进行媒体内容适应问题的求解。

作为一种实施方式，可以通过基于MPEG-21 DIA标准建立的上下文模型来获取上下文信息。

MPEG-21 DIA（Digital Item Adaptation）是广泛使用的描述上下文的多媒体标准，它通过定义用户环境描述（UED,Usage Environment Descriptions）提供了实现媒体适应的一组丰富的工具集。为了保证与其它系统的互操作性，使用MPEG-21 DIA工具来获取上下文信息。

上下文模型的分类主要有五种，分别是：终端能力、网络特征、用户特征、自然环境信息和通用限制描述。

终端能力是描述某个终端设备消费和处理媒体内容能力的上下文信息。包含终端设备的编解码能力、设备特性（如电源和存储）以及输入输出能力（如显示特征和音频输出能力）。

网络特征主要包括用户终端网络的容量和状态。其中网络容量定义了网络的静态属性，包括网络最大容量和网络的最大带宽等；网络状态描述了网络的动态特征，如可用带宽，出错率和延迟等。

用户特征包括用户偏好、用户交互等信息，用户偏好即用户对不同类型的媒体内容和浏览模式（对时间和地点的依赖）的喜好，用户交互则是用户对内容消费的偏好。

自然环境信息包含用户的位置、时间以及音视频环境等信息。音视频环境描述的是可能影响内容传输方式以及用户消费方式的信息，如噪声和照明特征。

通用限制描述允许用户自定义内容适应的优化限制，这样，用户就可以传输额外的规则给相应的处理模块用来生成更满意的适应内容。

多媒体内容自适应方法根据上下文信息进行，特别是要考虑用户设备的独有特性对内容处理的要求（例如，设备支持的编解码器的类型，显示分辨率等）。适应后的内容既能匹配目标设备的播放和显示能力，也能符合当前的网络特征及用户偏好和自然环境信息的要求

作为一种实施方式，步骤S20中的“根据获取的上下文信息进行媒体内容适应”具体可以包括：

S21:将媒体内容适应问题的表达式转化为约束满足问题的表达式，并对约束满足问题的表达式进行求解。

媒体内容适应问题Q可由一个四元组来描述：

Q＝{X′,D′,G,C′} （1）

其中X′为可调整选项集合：

X′＝{x₁′,x₂′,…,x_n′} （2）

x_i′代表媒体内容的可变属性，如格式、分辨率等，其中i∈[1,…,n]；D′为可调整选项X′的备选集D′＝{D₁′,D₂′,...,D_n′}，D_i′是x_i′的值域，即x_i′∈D_i′，i∈[1,…,n]；G为用户特征和自然环境信息对媒体内容适应的需求；C′为终端能力和网络特征对媒体内容适应的需求。

约束满足问题可表示为一个三元组P＝{X,D,C}，其中X＝{x₁,x₂,...,x_n}是由有限个变量组成的集合。D＝{D₁,D₂,...,D_n}是由变量x_i(1≤i≤n)有限值域组成的集合，x_i∈D_i。

C表示对变量X取值约束的集合，它是P所包含变量值域的笛卡尔乘积的一个子集；其解为每个变量赋予其值域上的一个值，使之同时满足所有的约束。

媒体内容适应问题可以用约束满足问题进行描述，这是因为媒体内容适应问题的各元素与约束满足问题中的各元素存在一一对应的关系。

（1）可调整选项集合X′可转化为约束满足问题中的变量集合X。

（2）可调整选项的选择域D′可转化为约束满足问题中的域D。

（3）C′和G可以等价为对可调整选项x₁,x₂,...x_n之间进行组合的限制，即规定了可调整选项之间进行某些特定的组合，故C′和G可以转化为约束满足问题中的约束C。

（4）Q的解可转化为约束满足问题P＝{X,D,C}的解。

因此媒体内容适应问题可以转换为约束满足问题。

式（1）中基于约束满足的媒体内容适应问题由三部分组成，分别是可调整选项集合X′、X′的备选集D′和内容适应约束G和C′。

由上述分析可知，约束G和约束C′可以归结为约束满足问题中的约束C。C′可直接表示为约束满足问题中的约束C，并能在基于约束满足的媒体内容适应问题中进行表述和求解。

约束G不能简单地表示为约束满足问题中的约束C，因为家庭用户特征和自然环境信息多种多样，而内容适应引擎的转码能力有限，如将其作为必须满足的适应约束参与内容适应决策，则往往会出现无法满足所有用户上下文信息的情况，导致适应决策问题无解。因此，必须对AV播放环境的需求进行分类描述，使得约束满足问题能够满足内容适应的特点，从而得到适应决策问题的解。

根据内容适应的特点，可将约束分为两类：强制性约束（C_F）和建议性约束（C_A）。

强制性约束，要求适应决策结果必须满足该约束关系，如所有适应决策结果均无法满足该约束关系则该约束满足问题无解。

建议性约束，要求适应决策结果尽量满足该约束关系，如所有适应决策结果均无法满足该约束关系，则其解是最接近约束关系要求的适应决策结果。

综上所述，媒体内容适应问题Q＝{X′,D′,G,C′}可转化为以下问题：R＝{X,D,C_A,C_F}。

式（2）中x_i′作为可调整选项的变量一般具有多种取值，例如，在媒体内容适应问题中，视频的格式x_i′可在{FLV,3GP,MP4,AVI,WMV...}中选取。

x_i′是媒体文件的客观或主观属性，故x_i′的取值是离散的，又因为取值的值域受媒体文件类型的制约，故其值域是离散的，不能对某x_i′任意赋值。

能否将强制性约束和建议性约束用清晰的逻辑关系表达出来，直接影响到转化为约束满足问题求解的媒体内容适应问题的效率与准确性。因此，必须采用规范化的方法对内容适应约束进行描述。

约束满足问题的表达式包括建议性约束和强制性约束；

强制性约束包括一维强制性约束和二维及二维以上强制性约束。

一维约束可表示为

(C_i,x_i)→val(x_i)∈D_i′ （3）

其中C_i是约束集合C中的一个元素，val(x_i)表示对x_i进行处理后的元素，D_i′是满足约束C_i的变量x_i的值域，D_i′是D_i的子集。

对于媒体内容适应问题，大部分终端能力需求构成的约束为一维约束。这类约束只对某个单独的可调整选项x_i起约束作用，其作用结果是将可调整选项x_i对应的值域D_i中不满足约束条件的实例去除，x_i只能在可用实例集D_i′中取值。例如，某手机对视频格式的要求为3GP。

不同于一维约束，二维及二维以上的约束主要是表达可调整选项之间的约束关系。通常二维及二维以上的约束可表达如下:

(C_i,x_i)→val(x_j)∈D_j′,…,val(x_m)∈D_m′ (4)

当约束C_i作用于调整选项x_i，使其在D_i′中取值时，可调整选项x_j,…,x_m只能在某一可用实例集D_j′,…,D_m′中选取，这样既可表示各调整选项值域中实例之间的依赖关系，同时也可以表示相互之间的排斥关系。例如，图像要求为动态则要求图像格式必须为GIF。

作为一种实施方式，“对约束满足问题的表达式进行求解”可以具体包括：

S211:将媒体文件的所有可调整选项与一维强制性约束进行一维约束过滤计算，获得可用的可调整选项备选集。具体包括：首先确定在内容适应过程中起作用的一维强制性约束集{C₁,C₂,…,C_i,…}及其可调整选项{x₁,x₂,…,x_i,…}。之后根据约束C_i的要求对x_i的值域D_i中各备选可调整选项进行筛选，去除不满足约束条件的备选可调整选项，从而得到满足约束C_i的可调整选项x_i的集合。重复上述操作，直至得到可调整选项{x₁,x₂,…,x_n}满足所有一维强制性约束的值域{D₁′,D₂′,…,D_n′}。

S212:对可调整选项备选集与二维及二维以上强制性约束和建议性约束进行求解，得到所有满足强制约束的可调整选项及其建议性约束满足度；

S213:选择具有最高建议性约束满足度的可调整选项，即为适应当前媒体播放环境的媒体内容。

内容适应决策对所有建议性约束的满足度R计算公式如下：

其中：n是建议性约束的个数；是各建议性约束的相对权重，可由层次分析法获得，满足为内容适应决策对建议性约束C_A(i)的满足度。

根据C_A(i)数据类型的不同，其计算方法如下所述。

1）数值型属性。在各个层次的建议性约束中有很多数值型属性，比如图像分辨率、对比度和音频播放时间等。该类约束满足度可由式（6）求得：

其中：a,b分别是约束要求和实际达到的属性数值；R(n)是该属性数值的一般取值范围。

2）符号型属性。在各个层次的建议性约束中同样会涉及到一些符号型属性，比如图像格式、歌手和电影题材等。该类约束满足度可由式（7）求得：

作为一种实施方式，“对可调整选项备选集与二维及二维以上强制性约束和建议性约束进行求解”可以具体包括：

1）令i=1，从未被赋值的可调整选项x_i的备选集D_i′选取一个实例d_p(x_i)。在确定d_p(x_i)未与强制性约束C_F发生冲突后，则将x_i赋值为d_p(x_i)；

2）从未被赋值的可调整选项x_i+1的备选集D_i+1′选取一个实例d_q(x_i+1)，判断{d_p(x_i),d_q(x_i+1)}是否与强制性约束C_F发生冲突；

3）如果未发生冲突，则继续对未被赋值的可调整选项进行上述操作，返回2），否则执行4）；

4）从D_i+1′中选取另一个实例d_k(x_i+1)，再次判断{d_p(x_i),d_k(x_i+1)}是否与强制性约束C_F发生冲突。当x_i+1可用的所有备选集与d_p(x_i)均不能满足强制性约束C_F时，则开始回溯，对之前已赋值的x_i,x_i+1,…递归重新赋值，返回2）；

5）当所有可调整选项均被赋值后，即获得一个满足要求的适应决策，记算媒体文件的各选项建议性约束C_A满足度。

当x_i的备选集D_i′中不存在实例能与其它变量的赋值组合满足强制性约束C_F时，即得到所有满足强制约束的可调整选项及其建议性约束C_A满足度。按照建议性约束满足度最高的可调整选项集合执行转码操作，即得到符合AV播放环境的媒体内容。

参见图2所示，为本发明的多媒体播放系统的一种实施方式的结构图。

在该实施方式中，多媒体播放系统包括媒体服务器10、媒体播放器20和AV控制点30。

媒体服务器10用于提供媒体内容和完成浏览和/或查询操作。媒体播放器20用于对媒体内容进行播放控制、连接管理和/或AV传输服务。AV控制点30用于控制媒体服务器和媒体播放器的操作。

在一种实施方式中，AV控制点30可以包括内容适应单元31和比特流适应单元32。内容适应单元31用于在用户请求的媒体内容格式与播放环境不相符时，根据AV播放的上下文信息进行内容适应调整，并将调整后的内容发送给用户。比特流适应单元32用于对调整后的内容进行转码，得到符合AV播放环境的目标码。

例如，内容适应单元31可以根据如上所述的多媒体内容自适应方法进行内容适应调整。

为了验证本发明的多媒体内容自适应方法的有效性，本文以图像的适应为例，搭建了一个实时适应媒体内容的UPnP AV架构的媒体播放平台。媒体服务器和播放器使用Intel Tools for UPnP Technology工具；适应引擎采用开源工具VLC并与AV控制点整合协调播放过程。

图像的可调整选项如表1所示。用户上下文信息对媒体内容适应的需求以SAMSUNGGT-S5570为例，见表2。将表2中各上下文信息的需求C′、G转化为强制性约束C_F和建议性约束C_A，如表3所示。

表1 图像的可调整选项

注：N代表自然数。

根据媒体内容适应算法，首先进行一维约束过滤计算，计算后得到如表4所示结果。采用层次分析法确定建议性约束5和6的权重分别是0.4和0.6，然后对可调整选项备选集与二维及二维以上强制性约束和建议性约束进行求解，得到的最终决策结果见表5。

表2 用户上下文信息对媒体内容适应的需求

上下文信息对内容适应的需求	类型
		主屏尺寸：3.14英寸	C′
主屏分辨率：800×480像素	C′
		支持图像格式：JPEG,PNG	C′
支持网络类型：GPRS，EDGE，HSDPA	C′
		用户偏好格式：JPEG	G
用户可接受的花费：GPRS	G

表3 约束分类

表4 一维过滤计算结果

可调整选项	值域
		格式	JPEG PNG
宽度	不大于48.7mm

高度	不大于65.0mm
		分辨率	320×240,400×240,640×480,800×480
发送速率	不大于53.6kbps

表5 最终决策结果

从表5可以看出，对于内容适应问题来说，决策方案4对所有的约束条件满足度最高，所以比特流适应单元可以根据决策方案4中的参数对媒体源码进行转码，得到符合AV播放环境的目标码，为用户提供智能多媒体服务。

采用本发明的多媒体内容自适应方法和多媒体播放系统，能够实现UPnP AV标准下，对AV播放环境的内容适应，从而提供智能多媒体服务。

上面对本发明的一些实施方式进行了详细的描述。如本领域的普通技术人员所能理解的，本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算设备（包括处理器、存储介质等）或者计算设备的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在了解本发明的内容的情况下运用他们的基本编程技能就能实现的，因此不需在此具体说明。

在本发明的设备和方法中，显然，各部件或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本发明的等效方案。还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。同时，在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (4)

1.一种多媒体内容自适应方法，其特征在于，包括：

获取上下文信息；

根据获取的所述上下文信息进行媒体内容适应问题的求解，

所述根据获取的所述上下文信息进行媒体内容适应具体包括：

将媒体内容适应问题的表达式转化为约束满足问题的表达式，并对所述约束满足问题的表达式进行求解，

所述约束满足问题的表达式包括建议性约束和强制性约束；

所述强制性约束包括一维强制性约束和二维及二维以上强制性约束，

所述对所述约束满足问题的表达式进行求解具体包括：

将媒体文件的所有可调整选项与一维强制性约束进行一维约束过滤计算，获得可用的可调整选项备选集；

对可调整选项备选集与二维及二维以上强制性约束和建议性约束进行求解，得到所有满足强制约束的可调整选项及其建议性约束满足度；

选择具有最高建议性约束满足度的可调整选项，即为适应当前媒体播放环境的媒体内容，

所述对可调整选项备选集与二维及二维以上强制性约束和建议性约束进行求解具体包括：

1)令i＝1，从未被赋值的可调整选项xi的备选集Di′选取一个实例dp(xi)，在确定dp(xi)未与强制性约束CF发生冲突后，则将xi赋值为dp(xi)；

2)从未被赋值的可调整选项xi+1的备选集Di+1′选取一个实例dq(xi+1)，判断{dp(xi),dq(xi+1)}是否与强制性约束CF发生冲突；

3)如果未发生冲突，则继续对未被赋值的可调整选项进行上述操作，返回2)，否则执行4)；

4)从Di+1′中选取另一个实例dk(xi+1)，再次判断{dp(xi),dk(xi+1)}是否与强制性约束CF发生冲突，当xi+1可用的所有备选集与dp(xi)均不能满足强制性约束CF时，则开始回溯，对之前已赋值的xi,xi+1,…递归重新赋值，返回2)；

5)当所有可调整选项均被赋值后，即获得一个满足要求的适应决策，记算媒体文件的各选项建议性约束CA满足度。

2.根据权利要求1所述的多媒体内容自适应方法，其特征在于，所述获取上下文信息包括：

基于MPEG-21DIA标准建立上下文模型。

3.根据权利要求2所述的多媒体内容自适应方法，其特征在于，所述上下文模型包括：

终端能力、网络特征、用户特征、自然环境信息和通用限制描述中的一种或多种。

4.一种多媒体播放系统，其特征在于，包括媒体服务器、媒体播放器和AV控制点；

其中：

所述媒体服务器用于提供媒体内容和完成浏览和/或查询操作；

所述媒体播放器用于对媒体内容进行播放控制、连接管理和/或AV传输服务；

所述AV控制点用于控制媒体服务器和媒体播放器的操作，

所述AV控制点包括内容适应单元和比特流适应单元；

所述内容适应单元用于在用户请求的媒体内容格式与播放环境不相符时，根据AV播放的上下文信息进行内容适应调整，并将调整后的内容发送给用户；

所述比特流适应单元用于对所述调整后的内容进行转码，得到符合AV播放环境的目标码，

所述内容适应单元用于采用如权利要求1-3任意一项所述的多媒体内容自适应方法进行内容适应调整。