CN105653530B

CN105653530B - 一种高效可伸缩的多媒体传送、存储和呈现方法

Info

Publication number: CN105653530B
Application number: CN201410635856.6A
Authority: CN
Inventors: 张文军; 徐异凌; 孙军; 管云峰; 张小云; 何大治; 柳宁
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2014-11-12
Filing date: 2014-11-12
Publication date: 2021-11-30
Anticipated expiration: 2034-11-12
Also published as: CN105653530A

Abstract

本发明提供了一种高效可伸缩的多媒体传送、存储和呈现方法，该方法对互联网上媒体内容不同版本的关联分类，增加对多媒体服务的管理控制，比如内容提供商在制作视频时可以采用某种方式对视频内容的重要片段进行标记，或者更进一步，根据视频内容的重要程度将每个视频片段划分不同的等级。在用户观看时，可以根据这些等级进行选择性播放，而不是盲目的随机选择。从而解决了现有多媒体协议无法解决的媒体版本内容关联问题以及传输效率不高、存储空间浪费的问题。

Description

一种高效可伸缩的多媒体传送、存储和呈现方法

技术领域

本发明涉及一种在互联网(Internet)中传送、存储和呈现多媒体的机制，更具体的说，涉及一种基于多媒体内容的高效可伸缩传送、存储和呈现方法。

背景技术

随着数字媒体技术的快速发展，互联网中产生的多媒体内容呈现爆炸式的激增，特别是高清晰度、高分辨率视频业务的广泛深入，多媒体服务给网络带宽带来的压力愈加凸显。现有的多媒体协议，大多只关注数据与网络之间的适配，通过保证网络的服务质量(QoS)来保证多媒体服务的质量，或者针对网络质量进行多媒体内容的自适应调整，然而对于多媒体服务中内容本身之间的关联关系却很少考虑。

当前一些多媒体协议是通过信令信息可以建立媒体数据间的关联，但是对于同一媒体内容的不同版本，它们却都没有提供相应的关联机制。这样造成的结果是，多媒体服务的提供商和消费者均直接将这些内容区分为不同的媒体数据，不仅破坏了媒体内容间的关联体系，不利于媒体内容的管理，而且相同的数据单元需要多次在网络中重复传送，降低了数据传输的效率。此外，重复的媒体内容占据着大量的存储空间，在资源利用上存在极大的浪费。

更好的方法是，媒体内容服务器上只存储媒体的完整版本，用户根据自己的需求请求相关版本的媒体数据，服务器通过媒体版本与媒体单元的映射表给用户传送所需内容，如果用户已经缓存某媒体的一个版本，系统只传输媒体其他版本所缺少的数据单元，同时客户端也不需要为重复媒体单元开辟新的存储空间。例如，某用户之前已经看过了一个电影的片花或简短版，并且进行了缓存，现在他想要看完整版的电影，便只需要请求片花版本或简短版中没有的数据单元。其困难在于：系统很难知道不同版本之间媒体单元的对应关系，并且缺少相关的信令机制指导；每个媒体都可能有多个长短不一的版本，如何对这些版本进行区分和管理，也是亟待解决的问题。

发明内容

针对现有技术中的缺陷，本发明的目的是本发明提供一种在多媒体内容传送、存储和呈现中增加媒体可伸缩弹性管理的机制，从而解决了现有多媒体协议无法解决的媒体版本内容关联问题以及传输效率不高、存储空间浪费的问题。

为实现上述目的，本发明采用的技术方案是：

一种高效可伸缩的多媒体传送、存储和呈现方法，该方法在多媒体内容制作时，对多媒体内容的重要片段进行标记，或者根据重要程度将每个多媒体内容片段划分不同的等级，后续可以根据这些等级进行选择性播放，而不是盲目的随机选择。

优选的，所述方法在已经存放在本地或者提前接收的全部完整媒体文件，对每个MPU(内存保护单元)添加标志位进行标记。

更具体的，所述对每个MPU(内存保护单元)添加标志位进行标记，具体为：利用MPUBox中预留的reserved字段中2bit定义为level_id，剩余5bit继续作为reserved字段。因为每个MPU对于整个媒体文件(如视频节目)而言所依赖的重要性不同，所以可以利用level_id将同属于一个asset_id的所有MPU划分为不同等级。

优选的，所述方法将MPU的seq_number按照片段重要程度进行分类形成level_list，用户点播不同等级媒体文件时server差异化推送缺失的片段。

更具体的，所述server差异化推送缺失片段，是指当用户需要更多的媒体文件片段时，server仅需传输用户缺失的MPU。假设用户点播看完level_list[i]对应的媒体文件之后，想继续观看level_list[j]对应的媒体文件，其中0≤i<j≤3，因为用户本地已经存放level_list[i]所包含的全部MPU，所以server只需要继续推送Δ_ij＝level_list[j]-level_list[i]中包含的MPU；在客户端，用户根据本地的level_list[i]及接收的Δ_ij重新组成level_list[j]。

本发明上述方法中，客户端(client)可以使用CI解析，即根据媒体文件的等级，可以在HTML5文档的Area中添加相对应的媒体信息。

与现有技术相比，本发明具有如下的有益效果：

采用了本发明的技术方案，可以针对现有多媒体协议中媒体版本内容管理机制的空白，造成的媒体内容传输效率不高、存储空间房费的问题，通过增加媒体内容的可伸缩传送、存储和呈现机制实现对互联网上媒体内容不同版本的关联分类，增加对多媒体服务的管理控制，同时提高多媒体数据的传输效率，减少存储空间的浪费，给予用户更多自主选择媒体版本的权利。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例中的视频示例一；

图2是本发明一实施例中的呈现信息示意图；

图3是本发明一实施例中的视频示例二。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明在多媒体内容制作时，对多媒体内容的重要片段进行标记，或者根据重要程度将每个多媒体内容片段划分不同的等级，后续可以根据这些等级进行选择性播放，而不是盲目的随机选择。以下以视频文件为例进行说明。

用户在观看视频时，往往不会直接连续播放整段视频，大多数情况下会提前快进或者跳跃式的浏览这段视频，然后根据自己的喜好或者能够接受的视频时间长度决定是否进行完整播放。在用户跳跃式播放时，极有可能因为随机选择的跳跃时间点不合适，而错过视频内容的重要部分。

针对此问题，可以通过如下方法有效的解决，提高用户体验。内容提供商在制作视频时可以采用某种方式对视频内容的重要片段进行标记，或者更进一步，根据视频内容的重要程度将每个视频片段划分不同的等级。在用户观看时，可以根据这些等级进行选择性播放，而不是盲目的随机选择。

例如，对于某电影节目，制片方可以提供多个不同版本视频。第一个版本视频为精简版片花，时长5分钟，里面只包括电影中的精彩画面；第二个版本视频为剪切版，时长30分钟，里面只包括电影故事情节重要的场景；第三个版本视频为完整版，时长120分钟，里面包括完整的故事情节；第四个版本为扩充版，时长150分钟，里面包括除完整的故事情节之外的扩充内容，例如幕后花絮等等。

根据对视频内容的重要片段进行标记方法不同，以及应用场景的不同，如下采用两种模式分开描述。

两个方法分别在模式一和模式二中给出，为了阐述这两个方法，给出了两个应用场景：

-假设对已经存放在本地或者提前接收的全部完整视频文件，用户可以选择性播放不同版本视频

-用户也可以点播不同版本的视频文件，服务器根据点播需求进行差异化传送

模式一，模式二中给出的方法在这两个应用场景中都适用。为了阐述方便，以场景1为例，说明模式一方法；以场景2为例，说明模式二方法。

模式一:

给每个MPU添加标志位进行标记。

在实施例中，假设对已经存放在本地或者提前接收的全部完整视频文件，用户可以选择性播放不同版本视频。

1.给MPU添加level_id标志位

利用MPUBox中预留的reserved字段中2bit定义为level_id，剩余5bit继续作为reserved字段(未来根据需求，如果需要定义更多/更少种类的level_id,可以继续增加/减少level_id的字段长度)。因为每个MPU对于整个媒体文件(如视频节目)而言所依赖的重要性不同，所以可以利用level_id将同属于一个asset_id的所有MPU划分为不同等级。

比如，对应上述电影节目中的四个版本，可以将每个MPU标记为‘00’、‘01’、‘010’、‘11’四个等级，且约定这四个等级的重要程度为‘00’<‘01’<‘10’<‘11’，因此电影节目中的四个版本对应的level_id，如下表所示：

版本	精简版	剪切版	完整版	扩充版
					level_id	<＝00	<＝01	<＝10	<＝11

电影版本中扩充版包括完整版，也就是说属于完整版的MPU一定属于扩充版。因此，在给每个MPU指定level_id标签时，需要按照精简版、剪切版、完整版、扩充版的顺序进行判断：若mpu属于精简版，则level_id＝00，否则判断mpu是否属于剪切版，依次序类推。如图1为一段包含12个MPU的视频示例，图1给出了每个MPU对应的level_id。

2.Compositon Information简介

在ISO/IEC 23008-11 MPEG Media Transport Composition Information中定义了利用HTML5和XML技术来控制媒体元素的呈现。HTML5文档主要提供媒体数据的空间布局信息，CI信息由XML文档描述，里面主要包含媒体元素的时间关系信息。如图2所示。

HTML5文档包括诸如视频、音频、图像等媒体元素，也包括这些元素的空间信息，在HTML5文档内含有对CI文档的引用。媒体元素的空间信息应被用来呈现相应的媒体数据(Asset)。当需要在多屏上呈现时，HTML5文档的body元素应该包括多个的div元素。

CI文档按照层级结构定义了区域(Area)和视野(View)两个概念。Area代表了HTML5的div元素所定义的空间区域，其可能关系到一个或多个HTML5媒体元素。View代表了单个屏幕所消费的一系列区域的一个集合。

CI文档提供了Area、View和Asset的时间信息，之间的关系如图2所示。CI文件的根元素是CI元素，CI元素应该包含view和MediaSync元素。这些元素的功能如下所示：

◆view：提供一个视野及其区域的空间变化的时间信息

◆MediaSync：提供媒体数据呈现的时间信息

一个View中的初始区域是由HTML5文档中的div元素产生的，且CI文档的divLocation元素提供了View中初始区域的空间变化。这两个元素允许了在不重载HTML5文档的前提下动态地改变和更新区域的空间位置。

3.client使用CI解析

根据上述电影节目中的四个版本，可以在HTML5文档的Area中添加四个相对应的媒体信息。为描述简介起见，只写出了视频模块<video>，省略掉与视频相对应的音频模块<audio>，HTML5中音频模块的添加与视频模块相似。

HTML5文档如下所示：

根据上述电影节目中的四个版本对应的level_id表，在Area1中提供了四个<video>，每个<video>中的src略有区别。在CI文档中定义这四个版本电影节目的播放时间，每个版本电影节目的开始时间即为用户选中时间，结束时间即为其余版本视频被选中时间。

例如，当用户选择播放剪切版电影节目时，id＝Video1的视频被选中，asset1.mp4中被视频解码器渲染的为level_id<＝001的MPU，即seq_number为1、4、6、9的MPU碎片。

CI文档如下所示：

模式二：

不用修改MPU中的字段，将MPU的seq_number按照片段重要程度进行分类形成level_list，用户点播不同版本视频时server差异化推送缺失的片段。

1.给MPU分类，构造level_list

根据每个版本电影所包含的MPU片段构造level_list，四个版本对应的level_list如下表所示：

版本	精简版	剪切版	完整版	扩充版
					level_list	level_list[0]	level_list[1]	level_list[2]	level_list[3]

在level_list中填写MPU中的mpu_sequence_number，关于mpu_sequence_number的定义参考模式1。四个版本电影对应的level_list，以及level_list中包含的mpu_sequence_number，如图3所示。

2.server差异化推送缺失片段及client端重组

为提高传输效率，当用户需要更多的视频片段时，server仅需传输用户缺失的MPU。

例如，假设用户点播看完level_list[i]对应的视频之后，想继续观看level_list[j]对应的视频，其中0≤i<j≤3。因为用户本地已经存放level_list[i]所包含的全部MPU，所以server只需要继续推送Δ_ij＝level_list[j]-level_list[i]中包含的MPU。

在客户端，用户根据本地的level_list[i]及接收的Δ_ij重新组成level_list[j]。

3.client使用CI解析

参考模式1，模式2的HTML5文档只需要将每个<video>中的src由level_id判决条件修改为level_list判决条件。模式2的CI文档与模式1一样。

HTML5文档如下所示：

CI文档如下所示：

以上是视频文件的实施例，本发明同样可应用于其他多媒体文件传送、存储和呈现，具体原理相同，不再赘述。

本发明通过增加媒体内容的可伸缩传送、存储和呈现机制实现对互联网上媒体内容不同版本的关联分类，增加对多媒体服务的管理控制，用户观看时，可以根据这些等级进行选择性播放，而不是盲目的随机选择。从而解决了现有多媒体协议无法解决的媒体版本内容关联问题以及传输效率不高、存储空间浪费的问题。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种高效可伸缩的多媒体传送、存储和呈现方法，其特征在于，该方法在多媒体内容制作时，采用模式一、根据多媒体内容的重要程度对多媒体内容的重要片段进行标记形成不同等级；或者，采用模式二、根据多媒体内容重要程度将每个多媒体内容片段划分不同的等级，后续根据这些等级进行选择性播放；

所述方法是将媒体内容划分为多个不同版本，多个不同版本是不同时间、不同详略内容的版本；

模式一中，在已经存放在本地或者提前接收的全部完整媒体文件，对每个MPU添加标志位进行标记；

所述对每个MPU添加标志位进行标记，具体为：利用MPUBox中预留的reserved字段中2bit定义为level_id，剩余5bit继续作为reserved字段，因为每个MPU对于整个媒体文件而言所依赖的重要性不同，所以利用level_id将同属于一个asset_id的所有MPU划分为不同等级；

模式二中，将MPU的seq_number按照片段重要程度进行分类形成level_list，用户点播不同等级媒体文件时server差异化推送缺失的片段；

所述多媒体内容为最终呈现给用户的多媒体服务的内容本身。

2.根据权利要求1所述的高效可伸缩的多媒体传送、存储和呈现方法，其特征在于，所述server差异化推送缺失片段，是指当用户需要更多的媒体文件片段时，server仅需传输用户缺失的MPU。

3.根据权利要求2所述的高效可伸缩的多媒体传送、存储和呈现方法，其特征在于，假设用户点播看完level_list[i]对应的媒体文件之后，想继续观看level_list[j]对应的媒体文件，其中0≤i<j≤3，因为用户本地已经存放level_list[i]所包含的全部MPU，所以server只需要继续推送Δ_ij＝level_list[j]-level_list[i]中包含的MPU；在客户端，用户根据本地的level_list[i]及接收的Δ_ij重新组成level_list[j]。

4.根据权利要求1-3任一项所述的高效可伸缩的多媒体传送、存储和呈现方法，其特征在于，所述方法中，客户端使用CI解析，即根据媒体文件的等级，在HTML5文档的Area中添加相对应的媒体信息。