CN110225370B - 一种多媒体内容个性化呈现的时间线控制方法 - Google Patents

Abstract

本发明提供了一种多媒体内容个性化呈现的时间线控制方法，所述方法在多媒体资源呈现的过程中，利用媒体数据单元的持续时间信息和呈现的初始时间，对关联内容的呈现时间进行控制，使得不同的媒体资源或是同一媒体资源的不同关联版本都有对应的呈现时间线。本发明能在满足用户个性化需求的同时，利用同一套节目的关联性，在节约存储空间的基础上，保证用户的流畅的观看体验。

Description

一种多媒体内容个性化呈现的时间线控制方法

技术领域

本发明涉及一种在互联网(Internet)中传送、存储和呈现多媒体的架构，具体地，涉及一种多媒体内容个性化呈现的时间线控制方法。

背景技术

随着数字媒体传输网络的迅速发展，传统的广播电视传输系统已不能满足用户日益增长的需求。现有的宽带服务器具有丰富的媒体资源，通过结合宽带传输的新型异构网络，用户可获得海量的媒体资源。现有的多媒体协议，大多只关注数据域网络之间的适配，但对于多样化的媒体内容，呈现方式仍局限于传统的视频观看方式，未考虑到媒体数据的本身属性及观看设备等使用环境，无法满足用户的个性化需求。

经检索，发明专利CN200680013422.6，该专利公开一种媒体时间线排序：在一实现中,一种方法包括在应用程序编程接口上接收一媒体时间线,其中该媒体时间线包括多个时间线对象。这些时间线对象的一个或多个引用多个媒体的相应之一。多个片段从该媒体时间线中生成以供顺序再现,从而每个片段引用在该片段持续时间期间再现的一组特定的时间线对象。上述专利主要针对在不同媒体资源之间切换播放的时间线，每个媒体片段无互相关联。

虽然当前的多媒体系统可实现内容的初步分级，但是不同的用户有不同的选择和内容自组织方式，甚至对于同样的资源的不同组合方式。为了满足用户的个性化需求，更高效的在媒体网络中传输媒体资源，实现不同版本的媒体内容都能够连贯地呈现，需要相应的呈现时间线来指导媒体内容的呈现。未来媒体传输技术发展迅速，用户可通过宽带网、广播网不同的媒体传输系统获得海量的媒体数据。内容提供商和运营商也在争取提供更多在线媒体资源，同时丰富传统的直播节目。不论是点播业务还是直播服务都需要满足用户的个性化呈现需求。考虑到宽带网和广播网的特性以及异构网络传输的发展，在不同的应用场景中可采用不同的方案进行呈现控制。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种多媒体内容个性化呈现的时间线控制方法，满足用户的个性化需求。

为实现以上目的，本发明提供一种多媒体内容个性化呈现的时间线控制方法，所述方法：在多媒体资源呈现的过程中，利用媒体数据单元的持续时间信息和呈现的初始时间，对关联内容的呈现时间进行控制，使得不同的媒体资源或是同一媒体资源的不同关联内容版本都有对应的呈现时间线。

进一步的，所述方法具体步骤包括：

S1：根据用户选择的媒体资源的关联内容版本所包含的媒体数据单元，对每个媒体数据单元获取其相应的持续时间信息；

S2：在VoD中根据用户选择媒体资源时的时间确定开始播放时间，在广播服务中由服务提供商确定开始播放时间，在信令信息中标识开始播放时间；

S3：根据S2中的开始播放时间和对应关联内容版本中的媒体数据单元持续时间的累加得出对应媒体数据单元的绝对呈现时间，据此维护相应的呈现时间线来指导媒体资源的呈现。

进一步的，S1中，所述关联内容版本，是指：根据用户需求对媒体资源进行标识，根据其标识的edit_id生成不同的关联内容版本，对应不同的edit_list。

进一步的，所述呈现时间线，是指：所选中的媒体资源包含的媒体数据单元的绝对呈现时间信息的组合。

作为一个优选，采用MMT中定义的MPU timestamp descriptor，descriptor中标记了MPU在一个媒体资源中对应的标号mpu_sequence_number和对应的UTC绝对呈现时间；当用户消费一个媒体资源的关联内容版本时，服务器根据用户请求的关联内容版本，获取该版本中包含的媒体数据单元的标号和对应的持续时间信息，生成相应的descriptor。

作为一个优选，定义MPU timestamp descriptor，根据同一媒体资源的关联内容及其对应的MPU的集合定义edit_list，给各个版本的关联内容赋予独立的edit_id，在descriptor中描述每个edit_list中包含的所有MPU的mpu_sequence_number和对应的呈现时间信息；用户选择某一版本的关联内容，根据对应的edit_id解析出其中的媒体数据单元MPU和对应的绝对呈现时间mpu_presentation_time，生成对应版本的时间线来控制呈现。

作为一个优选，在信令中描述某个媒体资源中的每个MPU的持续时间，并由信令信息中得知该媒体资源的开始时间，计算得到每个MPU的UTC绝对呈现时间；在传输媒体资源的过程中，根据用户选择的媒体资源，选择其对应的媒体数据单元MPU，解析其持续时间信息duration，同时生成指导呈现信息，即MPU的标号mpu_sequence_number和对应的duration信息。

本发明提出了多媒体内容个性化呈现的时间线方法，由于个性化呈现根据用户的需求来组织相应的媒体数据，对同样的媒体资源而言，同一数据单元在各个版本的节目流中的呈现时间是不同的。因此，在个性化呈现的服务中，相应的时间线控制机制是必要的。本发明能够适用于包括宽带网，广播网或异构网络等多种传输系统的呈现控制。

与现有技术相比，本发明具有如下的有益效果：

采用了本发明的技术方案，可以针对现有多媒体协议中呈现机制的不完备，充分考虑到点播服务的基于用户决策的呈现机制和广播、实时直播服务的推送机制，以及关联内容的呈现服务。对于同一媒体资源的关联内容版本，其中的每个媒体数据单元的呈现时间都不相同，通过提取媒体数据单元的持续时间，根据用户选择的版本和播放过程中的不同操作，在信令信息中的开始时间的基础上累加媒体数据单元的持续时间生成对应版本的媒体内容(媒体资源)的呈现时间线；或是在信令生成的同时生成媒体数据单元的绝对呈现时间，根据用户的选择，生成对应的呈现时间线信息。

本发明在满足用户个性化需求的同时，利用同一套节目的关联性，在节约存储空间的基础上，保证用户的流畅的观看体验。由于媒体的呈现时间线信息随信令信息灵活地发送，针对消费媒体资源的过程中出现的延时及丢包造成用户体验降低的问题，若在呈现时间之前检测到丢包事件，可等待媒体资源的重新获取，或是重复呈现前一个媒体数据单元的内容以防止播放卡顿，保证用户体验。依据呈现时间线的指示继续呈现，具体实现方案不在此规定。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为多媒体传输系统中的VoD服务示意图；

图2为设备低电量情况下的差异化呈现示意图；

图3为多视角实时直播示意图；

图4为关联内容的不同版本的呈现时间线示意图；

图5为本发明一实施例的实现流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

服务器通过将媒体内容与媒体描述的映射表传输给用户，即给用户提供关联性的媒体内容的选项。用户可根据自己的需求请求相同内容的不同版本，或是请求某一媒体资源的关联内容等多种呈现形式。为了节省存储资源，实现差异化传输，同一套媒体资源的不同版本中包含有共用的数据单元。但是现有的系统无法对不同版本的内容的呈现时间进行控制，可能导致媒体播放出现空缺的片段，影响用户体验。利用现有的系统提供了每个数据单元的持续时间信息，考虑到不同传输网络的特性，例如，VoD(Video on Demand)是根据用户选择节目的时间来确定媒体资源的初始呈现时间，而广播和实时直播则是在规定的时间在各个设备上同步呈现，但仍需要考虑随机接入的问题和实时直播中的实时性。因此，本发明中以三种情况下的传输网络为例介绍不同的个性化呈现时间线控制机制。

应用一：VoD

在VoD服务中，用户选择了某个多媒体内容后，服务器对该需求进行响应，根据用户选择的版本读取对应的媒体数据单元的持续时间，生成相应的指导呈现信息文件和信令信息。

以相同内容的分级呈现为例，对于某电影节目，假设其为asset1。第一个版本视频为精简版片花，时长5分钟，里面只包括电影中的精彩画面；第二个版本视频为剪切版，时长30分钟，里面只包括电影故事情节重要的场景；第三个版本视频为完整版，时长120分钟，里面包括完整的故事情节；第四个版本为扩充版，时长150分钟，里面包括除完整的故事情节之外的扩充内容，如幕后花絮等等，如图1所示。

应用二：广播节目

在广播服务中，服务器按照预定的节目列表传送媒体数据流。考虑到用户随机接入问题，服务器需要将呈现相关的信息轮播。用户可以在接入时依据接收到的当前的呈现时间线开始观看媒体内容。同时，根据观看设备的状态如电量等级等指标实时地切换观看的模式，在适应设备状态的情况下提供更佳的用户体验。

以通过广播传送的球赛节目为例，当用户在移动设备上观看球赛时，需考虑设备的剩余电量。在生成媒体数据单元时，根据媒体数据单元的重要性进行分类，如精彩瞬间和进球等等镜头是该节目的不同的关联内容，分别赋予不同的标识，如图2所示。用户的电量情况大致分为满电量，中等电量和低电量的等级。

当设备的剩余电量达到相应的等级，则发送相应的请求给服务器，服务器自动切换下发的视频媒体内容和完整的音频内容，并根据传送的时间线控制媒体内容的同步。在传送部分视频媒体内容的情况下，无法解析视频数据单元内部的时间信息。因此，通过解析相应的时间线相关的信令获得时间信息，实现适应设备状况的节目呈现。

应用三：实时直播

在实时直播的服务中，媒体数据录制处理之后直接传送至客户端，因此对实时性的要求非常高。为了保证在实时直播中用户的个性化需求也能实现，对于媒体资源的关联内容都需要快速生成独立的时间线进行控制。

例如，在观看实时直播时，大部分用户也希望通过多视角的服务观看节目内容(如图3所示)。为了节约网络带宽并提供稳定实时的多视角服务，服务提供的内容均通过广播网传输给用户，同时传输该媒体资源的所有关联内容的呈现时间线信息。由于各关联内容的总时长和包含的媒体数据单元的呈现时间均不同，所以需要生成多套不同的时间线进行呈现控制。

本发明将媒体资源分为独立可解的媒体单元，利用媒体单元的关联关系，依据用户选择的不同的视频版本自动生成相应的呈现时间线。因此，本发明的呈现机制与现有技术相比更为灵活。

以下对本发明的部分具体实施例进行详细说明。

用户在观看媒体内容时，往往不会对整段节目内容都感兴趣，可能只对节目中的某个人物或某个场景感兴趣。智能媒体传输系统可对媒体内容进行不同角度的分类，即打上不同的标签，为用户的个性化需求提供了可能。在个性化呈现时，不同版本的关联内容包含共用的媒体数据单元，但这些数据单元在各个版本中的呈现时间不同，因此，需要针对每个版本生成不同的呈现时间线来控制播放。

在上述的例子中，每个版本中的MPU(media processing units)媒体数据单元的呈现时间如图4所示。其中，duri表示第i个MPU的持续时间。如图所示，在一个媒体资源中，相同MPU的呈现时间不同。因此，对同一媒体资源的不同关联内容版本都需要独立的时间线以指导呈现。

为了保证个性化服务中的用户体验，给不同的媒体资源或是同一媒体资源的不同版本的内容提供相应的呈现时间线，使得媒体内容能够依据时间线逐一呈现用户选择的内容。本发明通过增加新的descriptor或新增其他指导信息如message、table等信令信息，来实现呈现时间线的传输，并以以下三种方案为例进行介绍。

方案一：

采用MMT中定义的MPU timestamp descriptor。该descriptor中标记了MPU在一个媒体资源中对应的标号mpu_sequence_number和对应的UTC绝对呈现时间；该descriptor的语法结构如下表所示。

descriptor_tag–定义该descriptor类型的标签。

descriptor_length–定义该descriptor的长度。

mpu_sequence_number–按顺序列举了对应的媒体资源中包含的所有MPU的标号，N表示MPU的个数。

mpu_presentation_time–列举了该descriptor对应的媒体资源包含的所有MPU的UTC绝对呈现时间。

在传输媒体内容的过程中，根据用户选择的媒体内容，选择其对应的媒体数据单元MPU，解析其持续时间信息duration。若选择媒体资源的关联内容，则各关联内容版本所包含的MPU或有重复，即同一MPU在不同关联内容版本中可能有不同的绝对呈现时间，则服务器根据用户选择的版本获取相应的MPU的持续时间信息。结合用户选择的媒体播放时间或是系统规定的媒体播放时间，通过累加指定MPU之前的所有MPU的持续时间，计算出每个MPU对应的UTC绝对呈现时间，即为descriptor中的mpu_presentation_time。

现有MMT协议定义的信令消息中定义了一些描述性的descriptor，例如dependency descriptor和MPU_timestamp_descriptor，因此，可以定义一个提供媒体内容和对应呈现相关的时间信息的descriptor。在MP table中有asset_descriptors字段，可以根据需要在asset_descriptors中加入相关descriptor。在使用多媒体服务时，可以将该descriptor加入asset_descriptors中来实现呈现。

但是，点播服务是用户主导的，需要考虑用户在观看过程中的操作，例如暂停和快进等。在这种情况下，若服务器只提供了对应的每个MPU的UTC绝对呈现时间，则无法正确地继续播放，需要服务器重新生成呈现时间线信息再进行传输，造成了较大的计算负担和冗余量，还会造成一定的延时而影响用户体验。在广播服务中采用UTC绝对呈现时间即mpu_presentation_time是一种便捷的方式，因为选定的媒体内容在直播服务中的播放时间是固定的。用户接收某一媒体资源并选择其关联服务，同时接收对应的MPU_timestamp_descriptor，各关联部分的内容的媒体数据单元依据描述子中的时间信息在固定的时间呈现即可。

方案二：

定义MPU timestamp descriptor。根据同一媒体资源的关联内容及其对应的MPU的集合定义edit_list，给各个版本的关联内容赋予独立的edit_id。在descriptor中描述每个edit_list中包含的所有MPU的mpu_sequence_number和对应的呈现时间信息；该descriptor的语法结构如下表所示。

descriptor_tag–定义该descriptor类型的标签。

descriptor_length–定义该descriptor的长度。

edit_list_number–定义了媒体资源的关联内容，N1表示其个数。

edit_id–定义了媒体资源的关联内容的各版本的标号。

mpu_sequence_number–按顺序列举了对应的媒体资源中包含的所有MPU的标号，N表示MPU的个数。

mpu_presentation_time–列举了该descriptor对应的媒体资源包含的所有MPU的UTC绝对呈现时间。

在传输媒体内容的过程中，根据用户选择的媒体内容，将其选择的媒体资源的所有关联内容的UTC绝对呈现时间mpu_presentation_time都写在该descriptor中(时间获得方式参照方案一)。在消费媒体内容的过程中，服务器随信令信息发送上述descriptor给客户端。用户选择某一版本的关联内容，根据其对应的edit_id解析出其中的媒体数据单元MPU和对应的绝对呈现时间mpu_presentation_time，生成对应版本的时间线来控制呈现。通过这样的方法可以较方便的获得各个关联内容版本的媒体内容的呈现时间，且个性化的用户需求均通过相同的descriptor信息来指导呈现，更便于控制。

方案三：

在信令中描述某个媒体资源中的每个MPU的持续时间，并由CI(CompositionInformation)中得知该媒体资源的开始时间，可计算得到每个MPU的UTC绝对呈现时间。

descriptor_tag–定义该descriptor类型的标签。

descriptor_length–定义该descriptor的长度。

mpu_sequence_number–按顺序列举了对应的媒体资源中包含的所有MPU的标号，N表示MPU的个数。

mpu_duration–列举了该descriptor对应的媒体资源包含的所有MPU的UTC绝对呈现时间。

在传输媒体内容的过程中，根据用户选择的媒体内容，选择其对应的媒体数据单元MPU，解析其持续时间信息duration，同时生成指导呈现信息，即MPU的标号mpu_sequence_number和对应的duration信息。

考虑到各种不同的传输网络状况，此种方案可以在生成并封装媒体数据单元的同时，获取其对应的持续时间duration信息，因此可以较好地满足实时性需求，即可满足实时直播的应用需求。通过传输duration信息取代绝对呈现时间，使得客户端能够更加灵活地自组织媒体内容。同时，在宽带点播的业务中，也可支持用户随时进行输入操作，满足用户的个性化需求。

以上三种方案可涵盖包括宽带网和广播网甚至异构网络等多个多媒体传输系统，我们还可以通过在呈现指导文件CI中或是传输信令信息的其他位置加入相应的呈现时间线，同样可以实现个性化的呈现服务。

在控制呈现的过程中，由于广播和实时直播服务均是从用户当前的接入时间开始播放。为了节约带宽资源以及客户端的存储资源及计算消耗，在上述的descriptor中只写入还未消费的MPU的呈现时间信息或是duration信息(以下将这两类时间信息统称为相关时间信息)，而不传输媒体资源对应的所有MPU的相关时间。通过此种方式，虽然增加了生成信令信息的复杂度，但大大节约了传输网络带宽和客户端有限的计算能力。此外，由于点播服务不存在随机接入问题，因此在用户开始服务的时候可相应的传输有限个数的MPU的相关时间信息，并根据用户的观看进度及时传输后续的MPU的相关时间信息。为保证观看的流畅性，需要及时响应观看中用户的操作时，传输的相关时间信息，更新呈现时间线。

为更加清楚的描述本发明提出的实现方案，下图按照上文中方案三的描述方法生成MPU_presentation_descriptor，构造VoD服务中的个性化的呈现时间线机制，举例描述一个具体的实现流程：

如图5所示，以上述的方案三为例进行介绍，提供一种多媒体内容个性化呈现的时间线控制方法，该方法流程具体为：

当接收端请求VoD服务时，发送端将发送信令信息，接收端通过判断MPI表中的PI_content_type_length_byte字段来接收MUR、CI和HTML文件，同时会更新生成本地维护的MPU存储数据库MySQL；当用户请求精简版视频时，接收端通过查询关联媒体内容的edit_list信令信息获得与精简版视频对应的edit_list的标识edit_id＝00，其中包含的媒体单元的mpu_seq_number为1,9，此时接收端请求edit_id＝00的媒体内容。发送端解析请求获得对应的mpu_seq_number并解析媒体数据单元MPU获得其对应的持续时间duration信息，生成MPU_presentation_descriptor信令。接收端收到相应信令，根据MPU_presentation_descriptor和CI中的开始时间生成每个MPU的绝对呈现时间，维护呈现时间线。同时接收媒体数据存储在本地播放给用户，并且更新本地数据库。当用户接着请求剪切版视频时，剪切版视频的edit_id＝00U01。通过检查关联媒体内容的edit_list信令和本地数据库存在的MPU，向发送端请求edit_id＝01的媒体资源。接收端收到信令和媒体数据之后解析并获得资源中的媒体数据单元mpu_seq_number，并根据MPU_presentation_descriptor信令中的duration信息重新计算剪切版视频所包含的MPU的呈现时间，更新呈现时间线。同时接收mpu_seq_number为4,6的MPU储存到本地。

本发明中所述以MMT为例，阐明所提出的解决方案，但是这些方案同样也可以用于其它文件封装，传输系统和协议里。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (2)

1.一种多媒体内容呈现的时间线控制方法，其特征在于，所述方法包括：

根据多媒体内容的初始呈现时间和多媒体内容中所包含的媒体数据单元的持续呈现时间，对多媒体内容的绝对呈现时间进行控制；

所述多媒体内容包括多个不同的关联内容版本，每一个关联内容版本都有对应的时间线，用于该关联内容版本的呈现；

其中，所述关联内容版本由媒体数据单元组成；

包括如下步骤：

获取关联内容版本中每个媒体数据单元的持续呈现时间；

确定关联内容版本的初始呈现时间；

对该关联内容版本的初始呈现时间、对应媒体数据单元前的各媒体数据单元的持续呈现时间进行累加，得到对应媒体数据单元的绝对呈现时间；

根据所有媒体数据单元的绝对呈现时间生成相对应的关联内容版本呈现的时间线；

根据所述关联内容版本呈现的时间线，指导关联内容版本的呈现；

获取关联内容版本中每个媒体数据单元的持续呈现时间之前，先确定多媒体内容中需要呈现的关联内容版本；

所述关联内容版本的初始呈现时间由用户确定或由多媒体内容提供方确定。

2.如权利要求1所述的多媒体内容呈现的时间线控制方法，其特征在于，

所述媒体数据单元中包含有用于对关联内容版本进行标识的标记。

Images