CN107018452B - 多媒体服务中内容组件关系的描述及个性化显示方法 - Google Patents

Abstract

本发明提供一种多媒体服务中内容组件关系的描述及个性化显示方法，包括：在信令中增加一内容组件描述信息，该信息用于对多媒体服务中存在同质关系或组合关系的内容组件进行描述，实现对媒体服务的动态关联组织。本发明提供一种在多媒体服务中对同质关系、组合关系的媒体内容组件进行描述以实现关联内容组件服务层级有机整合的方法，从而解决了现有多媒体服务组织混乱、效率低下，不能灵活提供更加个性化媒体服务的不足。

Description

多媒体服务中内容组件关系的描述及个性化显示方法

技术领域

本发明涉及多媒体服务中内容组件关系的描述方法，具体地，涉及一种面向多媒体内容组件的同质关系(Homogeneity Relationship)与组合关系(CompositionRelationship)关联描述方法，以及利用该内容组件关系的多媒体内容个性化显示方法。

背景技术

随着互联网技术与数字媒体技术的发展和成熟，多媒体服务向着丰富化、复杂化和个性化发展，多媒体内容也逐渐碎片化，用户也对服务内容和质量有更多的选择和要求，同时多变的网络环境也对多媒体灵活服务提出了强烈需求。多媒体组件是指多媒体服务或节目中能够独立编解码并且属于某一类型的内容，如视频流组件、音频流组件等。内容提供商已经可以提供同一服务的多种关联内容组件，如同一视频的不同配音音频，同一节目的不同角度视频，同一视频或音频的不同码率版本等等，然而传统服务提供商鲜有科学合理的方法将这些同一服务的关联内容进行标准描述，通常通过人为分组、多次编码和转码进行简单组织。在多媒体组件逐渐分离的趋势下，这样容易造成内容服务组织混乱，冗余度大，效率低下。同时，对于一些特殊的用例和场景，如多视角视频、多语种音频自由切换，这种做法不能保证服务的有效性和扩展性，影响了用户的主观体验。

经检索，中国发明专利ZL00136962.8，该发明涉及一种具有加权信息的多媒体描述方案以及显示多媒体的方法，通过提供综合多媒体结构和根据该结构的有效加权描述模式，能够有效的进行多媒体索引和浏览。但是该专利仍旧无法解决现有多媒体服务组织混乱、效率低下，不能灵活提供更加个性化媒体服务的不足。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种多媒体服务中内容组件关系的描述方法及个性化显示方法。

根据本发明的第一目的，提供一种多媒体服务中内容组件关系的描述方法，包括：在信令中增加一内容组件描述信息，该信息用于对多媒体服务中存在同质关系或组合关系的内容组件进行描述，实现对媒体服务的动态关联组织，以解决现有多媒体服务组织混乱、效率低下，不能灵活提供更加个性化媒体服务的不足。

在本发明一实施方式中，所述内容组件描述信息对同质关系的内容组件进行描述，包括以下字段：

描述字段标签：标识该描述字段类型的标签名，能够定位该描述字段所属的类型；

描述字段长度：标识该描述子的字节长度，从本字段下个字节开始到该描述字段最后一个字节为止；

相似标记字段：标识该描述字段对应内容组件是否有相似关系的内容组件，相似关系指内容信息不完全一致但所起作用相似的内容组件之间的关系；

等同标记字段：标识该描述字段对应内容组件是否有等同关系的内容组件，等同关系指内容信息完全一致，仅仅是参数不一致的内容组件之间的关系；

相似数量字段：标识与该内容组件有相似关系的内容组件的数目；

等同数量字段：标识与该内容组件有等同关系的内容组件的数目；

内容组件号字段：标识了内容组件的唯一身份标识号码，标识号的顺序不影响对应内容组件的优先级。

在本发明一实施方式中，所述内容组件描述信息对同质关系的内容组件进行描述，包括以下属性字段：

是否同质字段：该字段描述当前内容组件是否有同质于此组件的其他内容组件；

相似标识字段：该字段描述与当前内容组件有相似关系的其他内容组件的唯一标识；

等同标识字段：该字段描述与当前内容组件有等同关系的其他内容组件的唯一标识。

在本发明一实施方式中，所述内容组件描述信息对组合关系的内容组件进行描述，包括以下字段：

描述字段标签：标识该描述字段类型的标签名，能够定位该描述字段所属的类型；

描述字段长度：标识该描述字段的字节长度，从本字段下个字节开始到该描述字段最后一个字节为止；

组合数量字段：标识与该内容组件有组合关系的内容组件的数目；

内容组件号字段：标识了内容组件的唯一身份标识号码。

在本发明一实施方式中，所述内容组件描述信息对组合关系的内容组件进行描述，包括以下属性字段：

是否组合字段：该字段描述当前内容组件是否有组合关系的其他内容组件；

组合标识字段：该字段描述与当前内容组件有组合关系的其他内容组件的唯一标识。

根据本发明的第二目的，提供一种应用上述内容组件关系的描述方法的多媒体服务个性化显示方法，包括：在多媒体服务器与客户端之间，除提供多媒体服务的内容组件本身以外，还提供内容组件间的同质、组合关系的信令信息。

在本发明一实施方式中，所述多媒体服务个性化显示方法，包括：

S1：多个内容提供商生成各种多媒体服务的内容组件，并放入多种类型多媒体服务器进行存储，同时提供内容组件之间的关系指示信息；

S2：服务提供者与多媒体服务器分析内容组件关系后生成同关系质或组合关系描述信息，并将其作为信令与内容组件一并传输给客户端；

S3：客户端解析组合关系描述信令，建立并维护内容组件成群映射表；客户端解析同质关系描述信令，默认呈现同质关系描述中的缺省主内容组件，但提供与该缺省主内容组件有同质关系的其他组件列表，以供用户客观选择；

S5：基于用户选择或者自适应机制，不同用户的界面呈现差异化、个性化的多媒体服务。

与现有技术相比，本发明具有如下的有益效果：

采用了本发明的技术方案，可以针对现有多媒体服务单一覆盖、组织混乱、效率低下，不能灵活提供更加个性化媒体服务的问题，通过增加对媒体服务构成内容组件的灵活描述方法实现对媒体服务的动态关联组织，使媒体服务适用于网络状况、终端设备性能各异的情况，进一步的，可以同时满足用户对服务差异化、个性化的要求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例中多媒体组件间的同质和组合关系描述方法原理图；

图2是本发明一应用实例中多视角多语种视频默认服务用户界面图；

图3是本发明一应用实例中多视角多语种视频服务根据网络情况自适应切换后用户界面图；

图4和图5是本发明一应用实例中多视角多语种视频服务经用户选择后用户界面图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

不同用户在享受多媒体服务时，有可能根据自身实际网络状况、终端设备性能以及个人喜好选择不同的服务内容组件，所以多媒体服务可以依据内容组件信息特征及作用对其分类，采用描述方式对同质关系、组合关系的内容组件有机组织，便于用户消费。其中，同质关系指本质为同一信息或所起作用等效多个内容组件之间的关联关系，并且任一同质关系描述内的内容组件一般在时间线上相斥，可细分为等同关系与相似关系。等同关系为多内容组件本质为同一信息情况，如相同内容不同编码参数的视频组件属于等同关系；相似关系为多内容组件所起作用等效情况，如同一节目的多个配音音频组件属于相似关系，同一内容的多角度视频组件属于相似关系等等。组合关系指自然配套为一个指定节目的多个内容组件之间的关联关系，并且任一组合关系描述内的多个内容组件存在时间同步关系，如某摄像机在一定时间拍摄的音、视频组件以及后续为此节目制作的字幕组件属于组合关系。

进一步的，可以将构成多媒体服务的内容组件之间的关联关系进行有效描述，将媒体服务中属于同质关系、组合关系的内容组件进行标准化描述，将相关内容组件进行紧组织，从而指导用户端进行合理的个性化呈现，用户可以根据自己的硬件条件和自身喜好选择具体的媒体服务内容。例如，内容与服务提供商提供多视角的跨年晚会视频，其默认一个视角的视频为主视角进行呈现，但不同用户可以根据自己的喜好切换原辅视角为主视角进行大屏观看。其困难在于多媒体服务多种多样，对不同类型的同质关系、组合关系内容组件进行简单描述方法难以普遍适用海量内容与服务。并且媒体服务的构成内容可以灵活变化，并且它们在不同情况下的关系描述不一定相同，如何能够灵活地对关联内容组件进行服务描述也是一项困难之处。

本发明基于上述问题，提供一种在多媒体服务中对同质关系、组合关系的媒体内容组件进行描述以实现关联内容组件服务层级有机整合的方法，从而解决了现有多媒体服务组织混乱、效率低下，不能灵活提供更加个性化媒体服务的不足。

以下对本发明技术方案的实现给出详细细节描述。

在一具体实施方式中，若多媒体服务中存在同质关系的内容组件，通过同质关系描述信令进行说明，一般情况下只在同质关系中默认的主内容组件中提供此描述即可，但不限于这种情况。根据描述方法的差异以及应用场景的不同，可以采用如下两种方法分开描述。

(1)以ISO/IEC 23008-1MPEG Media Transport(MMT)标准为例，介绍同质关系信令的描述方法。在MMT中提供内容组件Asset的描述子，具体主要包括以下7个字段：

●描述子标签(descriptor_tag),标识该描述子类型的标签名，能够定位该描述子所属的类型，在MMT标准中该描述子可取值为0x0004。

●描述子长度(descriptor_length)，标识该描述子的字节长度，从本字段下个字节开始到该描述子最后一个字节为止。

●相似标记(similarity_flag)，标识该描述子对应内容组件是否有相似关系的内容组件，相似关系指内容信息不完全一致但所起作用相似的内容组件之间的关系，如同一节目的多视角视频、多语种音频。

●等同标记(equivalence_flag)，标识该描述子对应内容组件是否有等同关系的内容组件，等同关系指内容信息完全一致，仅仅是码率、分辨率等参数不一致的内容组件之间的关系。

●相似数量(num_similarities)，标识与该内容组件有相似关系的内容组件的数目。

●等同数量(num_equivalences)，标识与该内容组件有等同关系的内容组件的数目。

●内容组件号(asset_id)，标识了内容组件的唯一身份标识号码，MMT中其定义符合9.6.2章节的格式定义。标识号的顺序不影响对应内容组件的优先级，客户端可以根据用户主观需求或者网络状态等客观条件自主选择。

一般情况下建议只在默认呈现的主内容组件Asset中添加此描述子，以减少冗余，但不加以限定。在一实施例中，可以使用的一种格式如下表所示，但不限于此格式：

(2)以ISO/IEC 23008-11MPEG Media Transport Composition Information(MMT-CI)标准为例，介绍同质关系信令的描述方法。在MMT-CI中增加同质描述属性，其具体定义如下：

●是否同质(@isHomogeneous)，该属性主要描述当前内容组件是否有同质于此组件的其他内容组件，取值范围为“ture”和“false”。此属性值为“true”的内容组件有其它与其同质的内容组件，当无同质组件时不呈现此属性，或取值为“false”。一般情况下建议只在同质关系中默认的主内容组件中提供此属性即可，易知同质关系中其它内容组件的属性值，但不限于这种情况。

●相似标识(@similarityId)，该属性主要描述与当前内容组件有相似关系的其他内容组件的唯一标识，在MMT-CI中为内容元素的ID，取值范围为已有描述的所有内容元素的ID值。相似关系指内容信息不完全一致但所起作用相似的内容组件之间的关系。一般情况下建议只在相似关系中默认呈现的内容组件中提供此属性即可，易知相似关系中其它内容组件的属性值，但不限于这种情况。

●等同标识(@equivalenceId)，该属性主要描述与当前内容组件有等同关系的其他内容组件的唯一标识，在MMT-CI中为内容元素的ID，取值范围为已有描述的所有内容元素的ID值。等同关系指内容信息完全一致，仅仅是码率、分辨率等参数不一致的内容组件之间的关系。一般情况下建议只在等同关系中默认呈现的内容组件中提供此属性即可，易知等同关系中其它内容组件的属性值，但不限于这种情况。

上述增加的三个属性一般应用于MediaSync元素，也可以应用于其他适合元素。他们整体描述了当前内容组件Asset在媒体服务时与其他组件的同质关系，可将同质关系内的内容组件与其他组件相区分，同一同质关系内的内容组件一般在时间线上相斥，但可借助多个View元素进行同时呈现。

在一具体实施方式中，若多媒体服务中存在组合关系的内容组件，通过组合关系描述信令进行说明，一般情况下只在组合关系中主内容组件中提供此描述即可，但不限于这种情况。根据描述方法的差异以及应用场景的不同，采用如下两种方法分开描述。

(1)以ISO/IEC 23008-1MPEG Media Transport(MMT)标准为例，介绍组合关系信令的描述方法。在MMT中提供内容组件Asset的描述子，具体主要包括以下4个字段：

●描述子标签(descriptor_tag),标识该描述子类型的标签名，能够定位该描述子所属的类型，在MMT标准中该描述子可取值为0x0005。

●描述子长度(descriptor_length)，标识该描述子的字节长度，从本字段下个字节开始到该描述子最后一个字节为止。

●组合数量(num_compositions)，标识与该内容组件有组合关系的内容组件的数目。

●内容组件号(asset_id)，标识了内容组件的唯一身份标识号码，MMT中其定义符合9.6.2章节的格式定义。标识号的顺序不影响对应内容组件的优先级。客户端可以根据用户主观需求或者网络状态等客观条件自主选择

一般情况下建议只在默认呈现的主内容组件Asset中添加此描述子，以减少冗余，但不加以限定。在一实施例中，可以使用的一种格式如下表所示，但不限于此格式：

(2)以ISO/IEC 23008-11MPEG Media Transport Composition Information(MMT-CI)标准为例，介绍组合关系信令的描述方法。在MMT-CI中增加组合描述属性，其具体定义如下：

●是否组合(@isCompositional)，该属性主要描述当前内容组件是否有组合关系的其他内容组件，取值范围为“ture”和“false”。此属性值为“true”的内容组件有其它组合关系的内容组件，当无组合关系组件时不呈现此属性，或取值为“false”。一般情况下建议只在组合关系中默认的主内容组件中提供此属性即可，易知组合关系中其它内容组件的属性值，但不限于这种情况。

●组合标识(@comId)，该属性主要描述与当前内容组件有组合关系的其他内容组件的唯一标识，在MMT-CI中为内容元素的ID，取值范围为已有描述的所有内容元素的ID值。一般情况下建议只在组合关系中默认呈现的内容组件中提供此属性即可，易知组合关系中其它内容组件的属性值，但不限于这种情况。

增加的两个属性可以应用于MediaSync元素，也可以应用于其他适合元素。他们整体描述了当前内容组件Asset在媒体服务时与其他组件的组合关系，可将组合关系内的内容组件与其他组件相区分，同一组合关系描述内的多个内容组件存在时间同步关系。

在一具体实施方式中，给出上述的多媒体内容组件关系的描述方法的应用，下面详细描述其应用过程。

本发明上述的多媒体组件间的同质与组合关联关系描述方法可以用于实现多媒体服务个性化显示方法：在多媒体服务器与客户端之间，除提供内容组件本身以外还提供内容组件间的同质、组合关系的信令信息。如图1所示，图1中内容提供商主要负责提供各种内容组件；多媒体服务器承担服务提供商角色，将内容组件有机组织在一起，构成有效服务，其中多媒体服务器1为广播/多播流化服务器，主要负责为大范围用户提供流服务，多媒体服务器为Web服务器，主要负责个性化用户的文件或块交互服务；客户端主要负责接收内容组件与信令，并将内容按照信令指示呈现给用户；用户呈现界面则是用户实际观看或者交互选择的应用界面，消费同一服务的不同用户呈现界面根据实际情况产生差异。

具体的，在一实施例中，多媒体服务个性化显示方法主要流程可以表述为：

1)内容提供商1～N生成各种内容组件，并将其放入多种类型多媒体服务器(如1和2)进行存储，并提供内容组件之间的关系指示信息；

2)服务提供者与多媒体服务器分析内容组件关系后生成同质、组合等关系描述，并将其作为信令与内容组件一并传输给客户端；

3)客户端解析组合关系描述信令，建立并维护组件成群映射表；当需要对节目进行选择、切换等操作时指导客户端正确运行，保证服务的有效性；

4)客户端解析同质关系描述信令，默认呈现同质关系描述中的缺省主内容组件，但提供与其有同质关系的其他组件列表，用户根据主要偏好以及网络等客观选择同质关系列表中的其他内容组件；当多个内容窗口(View)被使用时，同质关系描述中的内容组件也可以同步呈现；

5)基于用户选择或者自适应机制，M个不同用户的界面可以呈现差异化、个性化的多媒体服务。

更进一步的，将上述流程应用到具体一实施例：某用户正在收看多视角多语种视频媒体服务，包括Video1、Video2、Video3、Video4、Audio1、Audio2、Audio3、Audio4等内容组件，其中Video1、Video2为视角1(默认主视角)视频的高、低清晰度版本，Video3、Video4为视角2视频的高、低清晰度版本，Audio1、Audio2为视角1的不同语种配音1与配音2音频，Audio3、Audio4为视角2的不同语种配音1与配音2音频。在默认情况下该服务中提供视角1视频为Video1，视角2视频为Video3，播放与主视角即视角1匹配的音频Audio1，如图2所示。图中Area1为面向主要大屏设备，如超高清电视等；Area2可以为大屏设备的辅助视角，也可以面向物理意义上的第二设备，如平板或智能手机等。

第一种方法中(即上述的在MMT中提供内容组件Asset的描述子)，Video1、Video3以及Audio1、Audio3需要添加Homogeneity_descriptor，Video1、Video3需要添加Composition_descriptor。同质描述子各字段值设置如下表：

组合描述子各字段值设置如下表：

第二种方法中(即在MMT-CI中增加同质描述属性)，Video1、Video3以及Audio1、Audio3需要设置同质关系的一系列属性，同时Video1和Video3还需要设置组合关系的一系列属性。依据MMT-CI协议与第二种方法，在一具体实例中，其服务的HTML与CI文件可以如下：

上述实施例中，通过增加对媒体服务构成内容组件的同质关系与组合关系描述方法，用户可以根据实施例中自身的个性化需求及实际的网络状况、硬件性能等客观条件约束，对同一服务进行灵活自适应地消费。而不再是所有用户享受到的多媒体服务都千篇一律，或者，即使服务提供商提供灵活服务方案，也是费时费力且组织混乱。若某用户网络条件较差，系统自动从高清晰度版本切换至低清晰度版本，即Video1切换为Video2，Video3切换为Video4，播放音频仍为Audio1，如图3所示。若某用户对视角2视频更感兴趣时，可以选择将主视频与视角2视频位置互换，同时系统自动停止播放视角1音频而播放视角2音频，即Video1与Video3位置互换，同时呈现Audio3音频，如图4所示。更进一步，若某用户还希望收听配音2音频时，可以选择播放视角2视频相匹配的配音2音频，即呈现Audio4音频，如图5所示。

从而，本发明上述实施例通过增加对媒体服务构成内容组件的灵活描述方法实现对媒体服务的动态关联组织，使媒体服务适用于网络状况、终端设备性能各异的情况，同时满足用户对服务差异化、个性化的要求。

应当理解的是，上述实施例仅仅是本发明的部分实施例，本发明方法还可以应用于其他的多媒体服务类型，具体实现的过程与上述实施例本质上相同，这对于本领域技术人员来说是很容易实现的，在此不再赘述。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种多媒体服务中内容组件关系的描述方法，其特征在于包括：在信令中增加一内容组件描述信息，该信息用于对多媒体服务中存在组合关系的内容组件进行描述，实现对媒体服务的动态关联组织；

所述内容组件描述信息对组合关系的内容组件进行描述，包括以下属性字段：

是否组合字段：该字段描述当前内容组件是否有组合关系的其他内容组件；

组合标识字段：该字段描述与当前内容组件有组合关系的其他内容组件的唯一标识；

所述内容组件描述信息还用于对多媒体服务中存在同质关系的内容组件进行描述，包括以下字段：

描述字段标签：标识该描述字段类型的标签名，能够定位该描述字段所属的类型；

描述字段长度：标识该描述字段的字节长度，从本字段下个字节开始到该描述字段最后一个字节为止；

相似标记字段：标识该描述字段对应内容组件是否有相似关系的内容组件，相似关系指内容信息不完全一致但所起作用相似的内容组件之间的关系；

等同标记字段：标识该描述字段对应内容组件是否有等同关系的内容组件，等同关系指内容信息完全一致，仅仅是参数不一致的内容组件之间的关系；

相似数量字段：标识与该内容组件有相似关系的内容组件的数目；

等同数量字段：标识与该内容组件有等同关系的内容组件的数目；

内容组件号字段：标识了内容组件的唯一身份标识号码，标识号的顺序不影响对应内容组件的优先级；

所述内容组件有机组织在一起构成有效的多媒体服务。

2.根据权利要求1所述的多媒体服务中内容组件关系的描述方法，其特征在于：所述内容组件描述信息对同质关系的内容组件进行描述，包括以下属性字段：

是否同质字段：该字段描述当前内容组件是否有同质于此组件的其他内容组件；

相似标识字段：该字段描述与当前内容组件有相似关系的其他内容组件的唯一标识；

等同标识字段：该字段描述与当前内容组件有等同关系的其他内容组件的唯一标识。

3.根据权利要求1或2所述的多媒体服务中内容组件关系的描述方法，其特征在于：同一同质关系内的内容组件在时间线上相斥，但能借助多个内容窗口进行同时呈现。

4.根据权利要求1所述的多媒体服务中内容组件关系的描述方法，其特征在于：所述内容组件描述信息对组合关系的内容组件进行描述，包括以下字段：

描述字段标签：标识该描述字段类型的标签名，能够定位该描述字段所属的类型；

描述字段长度：标识该描述字段的字节长度，从本字段下个字节开始到该描述字段最后一个字节为止；

组合数量字段：标识与该内容组件有组合关系的内容组件的数目；

内容组件号字段：标识了内容组件的唯一身份标识号码。

5.根据权利要求1或4所述的多媒体服务中内容组件关系的描述方法，其特征在于：同一组合关系描述信息内的多个内容组件存在时间同步关系。

6.根据权利要求1或4所述的多媒体服务中内容组件关系的描述方法，其特征在于：所述内容组件号字段：内容组件号的顺序不影响对应内容组件的优先级，客户端可以根据用户主观需求或者网络状态客观条件自主选择。

7.一种采用权利要求1-6任一项所述方法的多媒体服务个性化显示方法，其特征在于：在多媒体服务器与客户端之间，除提供多媒体服务的内容组件本身以外，还提供内容组件间的同质、组合关系的信令信息。

8.根据权利要求7所述的多媒体服务个性化显示方法，其特征在于：包括：

S1：多个内容提供商生成各种多媒体服务的内容组件，并放入多种类型多媒体服务器进行存储，同时提供内容组件之间的关系指示信息；

S2：服务提供者与多媒体服务器分析内容组件关系后生成同关系质或组合关系描述信息，并将其作为信令与内容组件一并传输给客户端；

S3：客户端解析组合关系描述信令，建立并维护内容组件成群映射表；客户端解析同质关系描述信令，默认呈现同质关系描述中的缺省主内容组件，但提供与该缺省主内容组件有同质关系的其他组件列表，以供用户客观选择；

S5：基于用户选择或者自适应机制，不同用户的界面呈现差异化、个性化的多媒体服务。

Images