CN107770601A - 一种面向多媒体内容组件个性化呈现的方法及系统 - Google Patents

一种面向多媒体内容组件个性化呈现的方法及系统 Download PDF

Info

Publication number
CN107770601A
CN107770601A CN201610674633.XA CN201610674633A CN107770601A CN 107770601 A CN107770601 A CN 107770601A CN 201610674633 A CN201610674633 A CN 201610674633A CN 107770601 A CN107770601 A CN 107770601A
Authority
CN
China
Prior art keywords
layer
presentation
content
signaling information
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610674633.XA
Other languages
English (en)
Other versions
CN107770601B (zh
Inventor
徐异凌
张文军
李腾
陈浩
王延峰
孙军
柳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202011554495.4A priority Critical patent/CN112601121B/zh
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610674633.XA priority patent/CN107770601B/zh
Priority to US16/319,516 priority patent/US11212592B2/en
Priority to CA3026533A priority patent/CA3026533C/en
Priority to KR1020187037922A priority patent/KR102186790B1/ko
Priority to PCT/CN2017/097417 priority patent/WO2018033051A1/zh
Priority to JP2018567837A priority patent/JP6736699B2/ja
Publication of CN107770601A publication Critical patent/CN107770601A/zh
Application granted granted Critical
Publication of CN107770601B publication Critical patent/CN107770601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26291—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for providing content or additional data updates, e.g. updating software modules, stored at the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种面向多媒体内容组件个性化呈现的方法及系统，包括：在服务器端，采用一层或多层呈现层叠加的呈现模式进行媒体内容组件呈现，并将描述呈现层布局的信令信息发送给客户端；在客户端，根据所述呈现层的信令信息个性化呈现多媒体内容组件。本发明可以解决现有内容提供商在源端对多媒体内容的整合好再下发给用户的业务模式，使得内容提供商可指导用户端在客户端设备商对多渠道内容进行组合呈现，并通过精简的更新指令对布局进行适当的调整，并且，解决了现有系统不能灵活提供更加个性化媒体服务的问题，可使媒体服务适用于终端设备各异、用户需求各异的情况。

Description

一种面向多媒体内容组件个性化呈现的方法及系统
技术领域
本发明涉及互联网技术与数字媒体技术领域的个性化呈现方法，具体地，涉及一种面向多媒体内容组件个性化呈现的方法及系统。
背景技术
在互联网技术与数字媒体发展日臻完善成熟的背景下，媒体服务也向着丰富化、复杂化和个性化发展。内容提供商需要对媒体内容的呈现进行更加细致的描述，用户也对服务内容和其呈现有更多的选择和要求。多媒体内容组件是指多媒体服务或节目中能够独立编解码并且属于某一类型的内容。在新的媒体服务中，内容提供商可以从不同的通道提供多样化的视频、文字、广告等需单独呈现或组合呈现的媒体内容组件。这些组件需要在特定的时间出现在特定的区域内进行特定模式的显示，这就需要内容提供商告知用户设备，应该在什么区域、什么时间呈现相应的媒体内容。同时，用户在消费多媒体内容组件的同时，也在一定程度上有自己改变布局等需求，这也要求内容提供商告知用户是否可以对某一内容的呈现做出改变。
传统的服务提供商往往仅仅将多个媒体内容在服务器端发送以前就组装成一个媒体内容，因此没有复杂的信令机制指导用户的呈现。这不仅不符合多管道、多样化的新媒体内容消费需求，也不满足用户的个性化呈现需求。
经检索，公开号为CN104471953A、申请号为201380035794.9的发明专利申请，其公开一种用于提供具有媒体内容的确定的排序的个性化内容的方法，包含以下步骤：在控制信道中接收包含描述内容排序的时间控制信息的控制流；接收包含排序的媒体内容的媒体流；以及通过使用所述控制信息来控制个性化内容的呈现，其中，排序包含第一实况节目，继之以第二实况节目，所述方法还包含检测第一和第二实况节目的重叠的步骤。该专利是通过媒体内容的排序的方式来控制个性化内容的呈现，但是仍就没有解决上述问题。
发明内容
针对现有技术中的缺陷，本发明提供一种面向多媒体内容组件个性化呈现的方法及系统，针对新的多媒体内容组件的呈现设计一套新的信令机制，该机制用于帮助内容提供商告知客户端设备媒体内容呈现的位置、大小、适配类型、可否调整、透明度等信息，并能够简省的更新呈现布局，使得媒体内容组件能够准确的在客户端设备商进行播放。
根据本发明的第一方面，提供一种面向多媒体内容组件个性化呈现的方法，包括：
在服务器端，采用一层或多层呈现层叠加的呈现模式进行媒体内容组件呈现，并将描述呈现层布局的信令信息发送给客户端；
在客户端，根据所述呈现层的信令信息个性化呈现多媒体内容组件。
优选地，所述描述呈现层布局的信令信息，内容包括以下一种或几种：各个层的序列号、播放设备号、显示区域中心位置及长宽、层显示顺序、媒体内容相对显示区域的适配类型、该层可否调整、透明度。
进一步的，在需要更新布局时，所述服务器端将更新呈现布局的信令信息发送给客户端。
优选地，所述更新呈现布局的信令信息，内容包括以下一种或几种：删除层、添加新的层、改变层的显示顺序、改变层的显示变量，告知客户端如何对当前的呈现改变。
优选地，在需要更新布局时，服务器端通过改变所有层的信令信息表来改变当前布局。
优选地，所述服务器端告知客户端媒体内容组件对应消费的呈现层信令信息，客户端解析信令信息后实现正确呈现。
优选地，所述服务器端进一步包含描述媒体内容对应呈现层的描述子，该描述子应该清晰准确的描述该媒体内容对应呈现的层号、可交换呈现的层号、可复制呈现的层号等信息，用户可以通过服务器端告知的媒体内容组件的可替换位置信息、可复制位置信息等自由的替换、复制媒体的呈现层，并在该层可否调整的标签为可以时，对层的显示位置大小、显示顺序、适配方式、透明度等进行个性化调整而不影响其他用户的呈现。
根据本发明的第二方面，提供一种用于实现上述方法的服务器端，包括：
信令配置接口与生成模块，用于获得呈现层布局的布局信息或布局更新信息以及内容组件对应信息，并将获得的所述信息制作成信令信息；
信令版本管理模块，用于管理信令信息的版本号，以将正确的信令信息发送给客户端；
信令发送模块，用于将信令信息按照传输协议打包成数据包，并发送到指定客户端。
根据本发明的第三方面，提供一种用于实现上述方法的客户端设备，包括：
信令接收与解析模块，用于接收含有信令信息的数据包，解析成为信令信息，并核对版本号，以将正确的信令信息传递给渲染模块；
渲染模块，用于根据信令接收与解析模块传递的信令信息，将各个呈现层按照布局正确呈现，并将相应的媒体内容组件与呈现层对应显示。
所述客户端设备进一步包括用户操作接口模块，其中：
所述用户操作接口模块，用于根据信令信息中呈现层可变标记，告知用户呈现层可变的类别和范围，并将获得的用户对于呈现层的个性化调整命令传递给渲染模块进行相关调整；
所述渲染模块，根据用户操作接口模块的个性化调整命令随时改变呈现布局。
根据本发明的第四方面，提供一种面向多媒体内容组件个性化呈现系统，包括所述的服务器端设备和所述的客户端设备，其中：
所述服务器端设备，采用一层或多层呈现层叠加的呈现模式进行媒体内容组件呈现，并将描述呈现层布局的信令信息发送给客户端；
所述客户端设备，根据服务器端发送的所述呈现层的信令信息个性化呈现多媒体内容组件。
与现有技术相比，本发明具有如下的有益效果：
采用了本发明的技术方案，可以解决现有内容提供商在源端对多媒体内容的整合好再下发给用户的业务模式，使得内容提供商可指导用户端在客户端设备商对多渠道内容进行组合呈现，并通过精简的更新指令对布局进行适当的调整。并且采用该技术方案，解决了现有系统不能灵活提供更加个性化媒体服务的问题，可使媒体服务适用于终端设备各异、用户需求各异的情况。
本发明书中涉及一些术语，特此解释：
MMT：Multi Media Transmission，一个由MPEG定义的多媒体传输协议。
PA消息：包访问信息文件，该信息可理解为MMT协议中定期发送的(每0.5秒更新)用于传递包解析、呈现等信息的消息文件；
MP表：MP表应包含在PA消息中，主要描述媒体内容消费的基本信息；
Asset：用来构建多媒体呈现的多媒体数据合集，此处可以简单理解为一个视频流或一个音频流文件等，一个Asset是一组携带编码后媒体数据且共享相同Asset ID的MPU逻辑集合；
MPU：MMT协议中规定的独立可解的最小媒体数据元。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中呈现信令示意图；
图2为本发明一实施例中呈现适配方式示意图，其中：a为铺满，b为放大适配，c为缩小适配，d为原画；
图3为本发明各个模块传递信令并实现个性化呈现流程图；
图4(a)-4(e)为本发明一具体应用实施例实现过程图；
图5为本发明一实施例中系统结构框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
传统的服务提供商往往仅仅将多个媒体内容在服务器端发送以前就组装成一个媒体内容，因此没有复杂的信令机制指导用户的呈现。这不仅不符合多管道、多样化的新媒体内容消费需求，也不满足用户的个性化呈现需求。
针对上述问题，本发明在服务器端，将呈现模式解释为一层或多层呈现层的叠加呈现，呈现层内部有显示区域来显示相应媒体内容，对其中每一层的显示区域、层显示顺序、媒体内容相对显示区域的适配类型、该层可否调整、透明度等信息进行描述，并发送给客户端。
在需要更新布局时，服务器端可以选择删除层、添加新的层、改变层的显示顺序、改变层的显示变量等方式，告知客户端如何对当前的呈现改变。同时，服务器端也可以通过改变所有层的信息表来改变当前布局。
在媒体内容对接方面，客户端只需告知用户，接到的媒体内容组件对应消费的层号，即可实现正确呈现。用户也可以通过服务器端告知的媒体内容组件的可替换位置信息、可复制位置信息等自由的替换、复制媒体的呈现层，并在该层可否调整的标签为可以时，对层的显示位置大小、显示顺序、适配方式、透明度等进行个性化调整而不影响其他用 户的呈现。
以下结合具体实施细节对本发明进行说明，以便进一步理解本发明的技术方案。
1.一个描述呈现布局的信令表。
该信令表应该清晰准确的描述呈现的各个呈现层的序列号、播放设备号、显示区域中心位置及长宽、显示顺序、适配方式、可否调整、透明度等详细信息，信息字段不限于这几种，可以根据实际显示需求增加描述字段。在具体应用中，该信令表用于指导呈现，可以由节目提供方制作、规定，比如由服务器端生成该信令信息并传递给用户。如图1所示。
以ISO/IEC 23008-1 MPEG Media Transport(MMT)标准为例，介绍描述布局的呈现信令信息的描述方法。在MMT中提供信令的PA消息中增加该信令表，具体主要包括以下14个字段：
●表号(table_id)：描述了该表的识别符。
●版本号(version)：描述了该表的版本，更新的信令表有新的版本号，可以替换原有的信令表。
●表长度(length)：描述了该表的字节长度，从本字段下个字节开始到该描述子最后一个字节为止。
●显示层数量(number_of_layer)：描述了该表所描述的呈现层的数量。
●层号(layer_id)：描述了该表内当前描述的呈现层的标号。
●设备号(device_id)：描述了该表内当前描述的呈现层所对应呈现的设备号。该号为“0”时表示呈现在默认设备上。
●显示区域中心位置横坐标(center_x)：描述了该表内当前描述的呈现层中呈现媒体内容的区域的中心位置横坐标。用显示区域中心的像素在整个层水平像素中的百分比来标定。
●显示区域中心位置纵坐标(center_y)：描述了该表内当前描述的呈现层中呈现媒体内容的区域的中心位置纵坐标。用显示区域中心的像素在整个层垂直像素中的百分比来标定。
●显示区域宽度(width)：描述了该表内当前描述的呈现层中呈现媒体内容的区域的宽度。用显示区域的像素在整个层水平像素中的百分比来标定。
●显示区域高度(height)：描述了该表内当前描述的呈现层中呈现媒体内容的区域的高度。用显示区域的像素在整个层垂直像素中的百分比来标定。
●显示顺序(display_order)：描述了该表内当前描述的呈现层在所有呈现层中的显示顺序。该顺序为“0”时表示默认层，标号小的在底层，标号大的在上层。中间号可以空缺，但是不能重复。
●适配类型(fitting_type)：描述了该表内当前描述的呈现层播放媒体内容时的画面适配类型。适配类型为“0”表示铺满，即改变MPU分辨率长宽比，经过拉伸后铺满整个指定区域；适配类型为“1”表示放大适配，即不改变MPU分辨率的长宽比，将画面从最小放大，直到宽\高与屏幕的左右\上下一个方向上适配，其余部分补黑边；适配类型为“2”表示缩小适配，即不改变MPU分辨率的长宽比，将画面从最大缩小，直到宽\高与屏幕的左右\上下一个方向上适配，其余部分裁剪；适配类型为“3”表示原画，即不改变MPU分辨率和长宽比，位置在指定区域正中心，若与显示区域不符，则不足部分补黑或超出部分剪裁；适配类型为“5”表示全景，即按照全景视频的播放要求，适配到层中进行播放。适配类型不限于以上5种。
●可变标记(adjust_enable_flag)：描述了该表内当前描述的呈现层是否可调整的标记。该标记为“0”时，表示用户端不可对该层进行调整；该标记为“1”时，表示用户端可对该层进行设备、显示区域大小、位置、透明度、适配类型等进行调整。
●透明度(transparency)：描述了该表内当前描述的呈现层的透明程度。
一般情况下建议只在呈现方式有重大变化时添加此信令表，以减少冗余，但不加以限定。建议的一种格式如下表所示，但不限于此格式：
2.一个更新呈现布局的信令表。
该信令表可在已有呈现布局的基础上，多呈现的层进行删除、添加、改变显示顺序、调整显示参数等操作。其更新操作方式不限于这几种，可以根据实际显示需求增加或细化操作方式。该信令表与上述的描述呈现布局的信令表类似，也可以由服务器端生成该信令信息并传递给用户。
以ISO/IEC 23008-1 MPEG Media Transport(MMT)标准为例，介绍更新呈现布局的信令信息描述方法。在MMT中提供信令的PA消息中增加该信令表，除已介绍过的字段外，主要包括以下4个字段：
●层删除标记(layer_delete_flag)：描述了是否有删除层。该标记为“0”时表示没有删除层，该标记为“1”时表示有删除层。如有删除层，则应该给出删除层的层号。
●层增加标记(layer_add_flag)：描述了是否有增加层。该标记为“0”时表示没有增加层，该标记为“1”时表示有增加层。如有增加层，则应该给出增加层的完整信息。
●层顺序改变标记(layer_display_order_flag)：描述了是否有层需要改变显示顺序。该标记为“0”时表示没有层需要改变顺序，该标记为“1”时表示有层需要改变顺序。如有层需要改变顺序，则应该给出需调整层的层号和新给出的层显示顺序。
●层调整标记(layer_adjust_flag)：描述了是否有调整层。该标记为“0”时表示没有调整层，该标记为“1”时表示有调整层。如有调整层，则应该给出调整层调整后的参数信息。
一般情况下建议在呈现方式有少部分变化时添加此信令表，以减少冗余，但不加以限定。建议的一种格式如下表所示，但不限于此格式：
3.一个描述媒体内容对应呈现层的描述子。
该描述子应该清晰准确的描述该媒体内容对应呈现的层号、可交换呈现的层号、可复制呈现的层号等信息，信息字段不限于这几种，可以根据实际呈现需求增加描述字段。该信令表与上述的描述呈现布局的信令表类似，也可以由服务器端生成该信令信息并传递给用户。
以ISO/IEC 23008-1 MPEG Media Transport(MMT)标准为例，介绍媒体内容对应呈现层的描述方法。在MMT的MP表中提供内容组件MPU的描述子，除已介绍过的字段外，主要包括以下14个字段：
●描述子标签(descriptor_tag),标识该描述子类型的标签名，能够定位该描述子所属的类型。
●描述子长度(descriptor_length)，标识该描述子的字节长度，从本字段下个字节开始到该描述子最后一个字节为止。
●MPU数量(number_of_mpu)：标识当前MPU应该呈现的层数量。
●MPU序列号(mpu_sequence_number)：标识当前MPU的序号，Asset中的第一个MPU序号应为“0”，后续每个MPU增加“1”,序号在一个Asset内是唯一的。
●MPU显示层数(number_of_layer)：标识当前MPU应该呈现的层号。
●MPU可交换标记(layer_exchange_flag)：标识当前MPU可否在正确呈现到某层的情况下，与其他层呈现的MPU交换呈现层。该标记为“0”时表示仅可以按照该描述子列举的层号呈现，该标记为“1”时表示用户端可以将该MPU与其它MPU换层呈现。
●MPU可复制标记(layer_copy_flag)：标识当前MPU可否在正确呈现到某层的情况下，复制呈现到其它层。该标记为“0”时表示仅可以按照该描述子列举的层号呈现，该标记为“1”时表示用户端可以将该MPU复制呈现到其他层。在复制呈现时，客户端应覆盖原层的MPU内容。
●MPU可交换层数(number_of_exchange_layer)：标识可以与当前MPU换层呈现的层数量。
●MPU可交换层号(exchange_layer_id)：标识可以与当前MPU换层呈现的层号。
●MPU可复制层数(number_of_copy_layer)：表示可以被当前MPU复制呈现的层数量。
●MPU可复制层号(copy_layer_id)：表示可以被当前MPU复制呈现的层号。
建议的一种格式如下表所示，但不限于此格式：
基于上述技术特征的说明，在一实施例中，多媒体内容个性化呈现的方法主要实施流程为：
1.服务提供商获知对所有来源的媒体内容，并根据需要提供的服务来建立媒体内容组合呈现的布局。
2.服务提供商和多媒体服务器分析所需要呈现的布局信息，并按照上述信令表的格式制作信令信息，并将该信令信息作为内容组件发送给客户端。
3.客户端解析呈现信令信息，根据描述呈现布局的信令表将各个层按照顺序呈现在客户端显示设备上，再根据媒体内容对应呈现层的描述子将媒体内容播放到相应的层中。
4.在信令信息允许的情况下，客户端可以告知用户某些呈现层可以进行调整，客户端根据用户指令对呈现进行个性化调整。
如图5所示，在本发明一实施例中，用于实现上述方法的服务器端设备，包含：
信令配置接口与生成模块。该模块需给服务提供商开放图形或程序化语言接口，从而获得呈现的布局信息(或布局更新信息)以及内容组件对应信息，并将该信息按照本专利中要求制作成信令信息。
信令版本管理模块。该模块负责管理信令信息的版本号，确保将正确的信令信息发送给客户端。
信令发送模块。该模块需要将信令信息按照传输协议打包成数据包，通过信道将信令信息发送到指定客户端。
如图5所示，在本发明一实施例中，用于实现上述方法的的客户端设备，包含：
信令接收与解析模块。该模块应该能从信道中将含有信令信息的数据包正确接收并解析成为信令信息，并核对版本号，保证将正确的信令信息传递给渲染模块。
渲染模块。该模块应该能按照信令信息的要求，将各个层按照布局正确呈现在客户端显示设备上，并且将相应的媒体内容组件与层对应显示，同时还应该根据用户操作接口模块的操作信息随时改变呈现布局。
用户操作接口模块。该模块应该按照信令信息中层可变标记的要求，按照客户端软件的执行方式，告知用户层可变的类别和范围，并将获得的用户改变层呈现的信息传递给渲染模块进行相关调整。
更进一步，在一具体应用实施例中，分别列出了各个场景中信令信息各个字段的赋值情况。其中，深色代表Asset1的媒体资源。浅色代表Asset2的媒体资源。
(1)初始布局如图4(a)所示，播放内容为Asset1中的部分MPU，适配方式为放大适配。
(2)更新布局如图4(b)所示，新加入一层，播放内容为Asset2中的部分MPU，适配方式为铺满。
(3)由于在两个Asset的MPU_consumption_descriptor分别都描述了可交换层信息，因此客户端可根据该信息将两层内容进行交换显示，而无需服务器端更新信令信息，其示意图如图4(c)所示。
(4)由于在Layer_display_update_table 1里，对layer1描述中其可变标记为“1”，即表示该层用户可以进行变化。因此，用户可以改变该层显示区域的大小、中心位置、透明度等，其示意图如图4(d)所示。
(5)当layer1中的Asset2资源播放完毕时，该层内已经没有相应的MPU与之对应显示，因此该层在客户端自动去除，其示意图如图4(e)所示。
本发明采用一层或多层呈现层叠加的呈现模式并基于信令机制，对由服务器端提供的在多媒体服务中对多个内容组件的呈现进行指导，从而解决了多媒体多组件内容无法有效的播放，不能灵活提供个性化媒体服务的不足。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (11)

1.一种面向多媒体内容组件个性化呈现的方法，其特征在于，包括：
在服务器端，采用一层或多层呈现层叠加的呈现模式进行媒体内容组件呈现，并将描述呈现层布局的信令信息发送给客户端；
在客户端，根据所述呈现层的信令信息个性化呈现多媒体内容组件。
2.根据权利要求1所述的面向多媒体内容组件个性化呈现的方法，其特征在于；描述所述呈现层布局的信令信息，内容包括以下一种或几种：各个层的序列号、播放设备号、显示区域中心位置及长宽、层显示顺序、媒体内容相对显示区域的适配类型、该层可否调整、透明度。
3.根据权利要求1所述的面向多媒体内容组件个性化呈现的方法，其特征在于，在需要更新布局时，所述服务器端将更新呈现布局的信令信息发送给客户端。
4.根据权利要求3所述的面向多媒体内容组件个性化呈现的方法，其特征在于，在时，所述更新呈现布局的信令信息，内容包括以下一种或几种：删除层、添加新的层、改变层的显示顺序、改变层的显示变量，告知客户端如何对当前的呈现改变。
5.根据权利要求3所述的面向多媒体内容组件个性化呈现的方法，其特征在于，在需要更新布局时，服务器端通过发送改变描述呈现层布局的信令信息来指导客户端改变当前布局。
6.根据权利要求1-5任一项所述的面向多媒体内容组件个性化呈现的方法，其特征在于，所述服务器端告知客户端媒体内容组件对应消费的呈现层信令信息，客户端解析信令信息后实现正确呈现。
7.根据权利要求1-5任一项所述的面向多媒体内容组件个性化呈现的方法，其特征在于，在所述服务器端进一步包含描述媒体内容对应呈现层的描述子，该描述子清晰准确的描述该媒体内容对应呈现的层号、可交换呈现的层号、可复制呈现的层号信息，客户端通过服务器端告知的媒体内容组件的可替换位置信息、可复制位置信息，自由的替换、复制媒体的呈现层，并在该层可否调整的标签为可以时，对层的显示位置大小、显示顺序、适配方式、透明度进行个性化调整而不影响其他用户的呈现。
8.一种用于实现上述权利要求1-7任一项方法的服务器端设备，其特征在于：包括：
信令配置接口与信令生成模块，用于获得呈现层布局的布局信息或布局更新信息以及内容组件对应信息，并将获得的所述信息制作成信令信息；
信令版本管理模块，用于管理信令信息的版本号，以将正确的信令信息发送给客户端设备；
信令发送模块，用于将信令信息按照传输协议打包成数据包，并发送到指定客户端设备。
9.一种用于实现上述权利要求1-7任一项方法的客户端设备，其特征在于：包括：
信令接收与解析模块，用于接收服务器端设备发送的含有信令信息的数据包，解析成为信令信息，并核对版本号，以将正确的信令信息传递给渲染模块；
渲染模块，用于根据信令接收与解析模块传递的信令信息，将各个呈现层按照布局正确呈现，并将相应的媒体内容组件与呈现层对应显示。
10.根据权利要求9所述的客户端设备，其特征在于：进一步包括用户操作接口模块：
所述用户操作接口模块，用于根据信令信息中呈现层可变标记，告知用户呈现层可变的类别和范围，并将获得的用户对于呈现层的个性化调整命令传递给渲染模块进行相关调整；
所述渲染模块，根据用户操作接口模块的调整命令随时改变呈现布局。
11.一种用于实现上述权利要求1-7任一项方法的系统，其特征在于：包括权利要求8所述的服务器端设备和权利要求9或10任一项所述的客户端设备，其中：
所述服务器端设备，采用一层或多层呈现层叠加的呈现模式进行媒体内容组件呈现，并将描述呈现层布局的信令信息发送给客户端；
所述客户端设备，根据服务器端发送的所述呈现层的信令信息个性化呈现多媒体内容组件。
CN201610674633.XA 2016-08-16 2016-08-16 一种面向多媒体内容组件个性化呈现的方法及系统 Active CN107770601B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201610674633.XA CN107770601B (zh) 2016-08-16 2016-08-16 一种面向多媒体内容组件个性化呈现的方法及系统
CN202011554495.4A CN112601121B (zh) 2016-08-16 2016-08-16 一种面向多媒体内容组件个性化呈现的方法及系统
CA3026533A CA3026533C (en) 2016-08-16 2017-08-14 Method and system for personalized presentation of multimedia content assembly
KR1020187037922A KR102186790B1 (ko) 2016-08-16 2017-08-14 멀티미디어 콘텐츠 위젯에 대한 개성화 표현 방법 및 시스템
US16/319,516 US11212592B2 (en) 2016-08-16 2017-08-14 Method and system for personalized presentation of multimedia content assembly
PCT/CN2017/097417 WO2018033051A1 (zh) 2016-08-16 2017-08-14 一种面向多媒体内容组件个性化呈现的方法及系统
JP2018567837A JP6736699B2 (ja) 2016-08-16 2017-08-14 マルチメディアコンテンツ要素向けカスタマイズ表示の方法およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610674633.XA CN107770601B (zh) 2016-08-16 2016-08-16 一种面向多媒体内容组件个性化呈现的方法及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011554495.4A Division CN112601121B (zh) 2016-08-16 2016-08-16 一种面向多媒体内容组件个性化呈现的方法及系统

Publications (2)

Publication Number Publication Date
CN107770601A true CN107770601A (zh) 2018-03-06
CN107770601B CN107770601B (zh) 2021-04-02

Family

ID=61196372

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011554495.4A Active CN112601121B (zh) 2016-08-16 2016-08-16 一种面向多媒体内容组件个性化呈现的方法及系统
CN201610674633.XA Active CN107770601B (zh) 2016-08-16 2016-08-16 一种面向多媒体内容组件个性化呈现的方法及系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011554495.4A Active CN112601121B (zh) 2016-08-16 2016-08-16 一种面向多媒体内容组件个性化呈现的方法及系统

Country Status (6)

Country Link
US (1) US11212592B2 (zh)
JP (1) JP6736699B2 (zh)
KR (1) KR102186790B1 (zh)
CN (2) CN112601121B (zh)
CA (1) CA3026533C (zh)
WO (1) WO2018033051A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020063850A1 (zh) * 2018-09-27 2020-04-02 华为技术有限公司 一种处理媒体数据的方法、终端及服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379823A (zh) * 2006-02-07 2009-03-04 东京电力株式会社 内容传送系统
CN102143231A (zh) * 2011-04-01 2011-08-03 奇智软件（北京）有限公司 一种终端应用的网络化管理方法及系统
US20130021431A1 (en) * 2011-03-28 2013-01-24 Net Power And Light, Inc. Information mixer and system control for attention management
US20130096926A1 (en) * 2011-08-26 2013-04-18 Dts Llc Audio adjustment system
CN104094539A (zh) * 2011-11-29 2014-10-08 沃驰特公司 用于媒体广播同步交互式层的系统和方法
CN105339881A (zh) * 2013-03-14 2016-02-17 维克斯网有限公司 通过使用数据列表建设网站的设备、系统和方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3927713B2 (ja) * 1998-12-08 2007-06-13 キヤノン株式会社 放送受信装置およびその方法
MXPA02004015A (es) * 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.
EP1258138A2 (en) * 1999-12-09 2002-11-20 Liberate Technologies Enhanced display of world wide web pages on television
US8769395B2 (en) * 2002-12-13 2014-07-01 Ricoh Co., Ltd. Layout objects as image layers
US8930561B2 (en) * 2003-09-15 2015-01-06 Sony Computer Entertainment America Llc Addition of supplemental multimedia content and interactive capability at the client
US20100225815A1 (en) * 2009-03-05 2010-09-09 Vishal Vincent Khatri Systems methods and apparatuses for rendering user customizable multimedia signals on a display device
CN101794189A (zh) * 2009-09-22 2010-08-04 俞长根 图像显示方法
CA3070431C (en) * 2011-10-13 2023-01-24 Samsung Electronics Co., Ltd. Apparatus and method for configuring control message in broadcasting system
US20130147787A1 (en) * 2011-12-12 2013-06-13 Sergey Ignatchenko Systems and Methods for Transmitting Visual Content
KR101501344B1 (ko) * 2012-05-02 2015-03-10 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
EP2680599A1 (en) * 2012-06-29 2014-01-01 Thomson Licensing Provision of a personalized media content
PT3457654T (pt) * 2012-10-11 2021-03-04 Samsung Electronics Co Ltd Aparelho e método para distribuir e receber dados de multimédia em rede híbrida
ITTO20120901A1 (it) * 2012-10-15 2014-04-16 Rai Radiotelevisione Italiana Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US10009658B2 (en) * 2013-03-11 2018-06-26 Sony Corporation Multiview TV template creation and display layout modification
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US20160373789A1 (en) * 2013-07-05 2016-12-22 Sony Corporation Transmission device, transmission method, receiving device, and receiving method
KR20150008739A (ko) * 2013-07-15 2015-01-23 주식회사 케이티 개인화된 비디오 기반의 화면을 제공하는 서버 및 방법, 그리고 디바이스
US9106929B2 (en) * 2014-01-02 2015-08-11 Vidyo, Inc. Overlays using auxiliary pictures
US20150261425A1 (en) * 2014-03-14 2015-09-17 Apple Inc. Optimized presentation of multimedia content
JP5725242B1 (ja) * 2014-06-04 2015-05-27 ソニー株式会社 送信装置及び送信方法、並びに受信装置並びに受信方法
CN105323220B (zh) * 2014-07-10 2019-02-22 上海交通大学 一种基于ip的多媒体节目映射和访问信令及方法
JP2016082541A (ja) * 2014-10-22 2016-05-16 日本放送協会 受信機およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379823A (zh) * 2006-02-07 2009-03-04 东京电力株式会社 内容传送系统
US20130021431A1 (en) * 2011-03-28 2013-01-24 Net Power And Light, Inc. Information mixer and system control for attention management
CN102143231A (zh) * 2011-04-01 2011-08-03 奇智软件（北京）有限公司 一种终端应用的网络化管理方法及系统
US20130096926A1 (en) * 2011-08-26 2013-04-18 Dts Llc Audio adjustment system
CN104094539A (zh) * 2011-11-29 2014-10-08 沃驰特公司 用于媒体广播同步交互式层的系统和方法
CN105339881A (zh) * 2013-03-14 2016-02-17 维克斯网有限公司 通过使用数据列表建设网站的设备、系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020063850A1 (zh) * 2018-09-27 2020-04-02 华为技术有限公司 一种处理媒体数据的方法、终端及服务器

Also Published As

Publication number Publication date
CN112601121A (zh) 2021-04-02
JP6736699B2 (ja) 2020-08-05
KR20190012215A (ko) 2019-02-08
CA3026533C (en) 2023-01-24
WO2018033051A1 (zh) 2018-02-22
US11212592B2 (en) 2021-12-28
KR102186790B1 (ko) 2020-12-04
JP2019527496A (ja) 2019-09-26
CN112601121B (zh) 2022-06-10
CA3026533A1 (en) 2018-02-22
US20210168465A1 (en) 2021-06-03
CN107770601B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN100437453C (zh) 标签信息显示控制设备及方法、信息处理设备和显示设备
US8745660B2 (en) Mechanism for rendering advertising objects into featured content
CN103716654B (zh) 用于产生用数字广播信号传输的数据的更新时刻表的方法
WO2016127862A1 (zh) 一种关联多媒体内容个性化呈现的实现方法及应用
CN107483460A (zh) 一种多平台并行导播推流的方法及系统
US20110107368A1 (en) Systems and Methods for Selecting Ad Objects to Insert Into Video Content
CN101674423B (zh) 一种在线节目单驱动的字幕播出列表的生成方法
CN108804694B (zh) 一种影片自动排期方法、设备和系统
CN109906611A (zh) 用于内容特征图谱化的特征图谱布局
CN101431682A (zh) 一种适用于iptv的广告系统与实现方法
CN101017493A (zh) 具有链接信息的索引信息的产生装置和方法
CN106658114A (zh) 一种视频展示方法及装置
CN109951728A (zh) 一种广告发布系统及方法
KR101843815B1 (ko) 비디오 클립간 중간영상 ppl 편집 플랫폼 제공 방법
JP4434094B2 (ja) タグ情報生成装置、タグ情報生成方法及びプログラム
CN101674422B (zh) 一种在线节目单驱动的字幕播出列表的更新方法
CN101909162A (zh) 一种广告节目单的编排方法
CN107770601A (zh) 一种面向多媒体内容组件个性化呈现的方法及系统
CN101674455B (zh) 总控播出线异构系统间基于web服务的信息交互方法
US20100257188A1 (en) Method and apparatus for providing/receiving stereoscopic image data download service in digital broadcasting system
CN107925491A (zh) 接收装置、发送装置和数据处理方法
KR20210122959A (ko) - 홍보 영상 제작 방법 및 장치
US20150156560A1 (en) Apparatus for transmitting augmented broadcast metadata, user terminal, method for transmitting augmented broadcast metadata, and reproducing augmented broadcast metadata
CN105554586B (zh) 一种新型业务呈现方法
CN101674454A (zh) 一种总控播出线异构业务板块间的互联互通系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant