CN110971564A - 传输媒体数据的方法、客户端和服务器 - Google Patents

传输媒体数据的方法、客户端和服务器 Download PDF

Info

Publication number
CN110971564A
CN110971564A CN201811142720.6A CN201811142720A CN110971564A CN 110971564 A CN110971564 A CN 110971564A CN 201811142720 A CN201811142720 A CN 201811142720A CN 110971564 A CN110971564 A CN 110971564A
Authority
CN
China
Prior art keywords
overlay
indication information
priority
decoding capability
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811142720.6A
Other languages
English (en)
Other versions
CN110971564B (zh
Inventor
范宇群
邸佩云
王业奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110328919.3A priority Critical patent/CN113206826B/zh
Priority to CN201811142720.6A priority patent/CN110971564B/zh
Priority to PCT/CN2019/108761 priority patent/WO2020063924A1/zh
Priority to EP19865840.3A priority patent/EP3860120B1/en
Publication of CN110971564A publication Critical patent/CN110971564A/zh
Priority to US17/213,736 priority patent/US11418567B2/en
Application granted granted Critical
Publication of CN110971564B publication Critical patent/CN110971564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了传输媒体数据的方法和装置。该方法包括：客户端接收媒体呈现描述MPD文件，MPD文件包括优先级指示信息；其中，优先级指示信息用于指示一个或多个覆盖层的优先级；客户端根据优先级指示信息处理一个或多个覆盖层。本申请能够支持在DASH MPD文件中表示覆盖层优先级，使得客户端可以按覆盖层优先级顺序选择和处理覆盖层。

Description

传输媒体数据的方法、客户端和服务器
技术领域
本申请涉及流媒体传输技术领域，并且更具体地，涉及传输媒体数据的方法、客户端和服务器。
背景技术
ISO/IEC 23090-2标准规范又称为OMAF(omnidirectional media format，全向媒体格式)标准规范，该规范定义了一种媒体应用格式，该媒体应用格式能够在应用中实现全向媒体的呈现，全向媒体主要是指全向视频(360度视频)和相关音频。OMAF规范首先指定了可以用于将球面视频转换为二维视频的投影方法的列表，其次是如何使用ISO基本媒体文件格式(ISO base media file format，ISOBMFF)存储全向媒体和该媒体相关联的元数据，以及如何在流媒体系统中封装全向媒体的数据和传输全向媒体的数据，例如通过基于超文本传输协议(hyper text transfer protocol，HTTP)的动态自适应流传输(dynamicadaptive streaming over HTTP，DASH)，ISO/IEC 23009-1标准中规定的动态自适应流传输。DASH定义了媒体呈现描述(media presentation descirption,MPD)文件格式和分片格式。
全向视频由一系列的全景图片组成，全景图片内容覆盖三维空间中整个球体表面。全向视频可以包括背景视频画面和覆盖层(overlay)。目前，客户端无法有选择的选取部分覆盖层进行处理。
发明内容
本申请提供一种传输媒体数据的方法、客户端和服务器，支持在DASH MPD文件中表示覆盖层优先级，使得客户端可以按覆盖层优先级顺序选择和处理覆盖层。
本申请还提供一种传输媒体数据的方法、客户端和服务器，支持在DASH MPD文件中表示覆盖层解码能力要求，使得客户端可以根据覆盖层的解码能力要求和客户端的解码能力选择和处理覆盖层。
第一方面，提供了一种传输媒体数据的方法，该方法包括：客户端接收媒体呈现描述MPD文件，MPD文件包括优先级指示信息；其中，优先级指示信息用于指示一个或多个覆盖层的优先级；客户端根据优先级指示信息处理一个或多个覆盖层。该方法中，MPD文件包括了优先级指示信息，客户端可以根据覆盖层的优先级指示信息选择优先处理的覆盖层。
在一种可能的方式中，该方法还包括：客户端根据MPD文件获取一个或多个覆盖层。
在一种可能的方式中，客户端根据优先级指示信息处理一个或多个覆盖层包括：在所述客户端的处理资源不足的条件下，根据所述客户端的处理资源所支持处理的覆盖层个数，按照一个或多个覆盖层的优先级从高到低的顺序处理所述个数的覆盖层。
在一种实现方式中，客户端根据客户端的处理资源所支持处理的覆盖层个数和MPD文件，按照一个或多个覆盖层的优先级从高到低的顺序获取支持处理的覆盖层个数的覆盖层的码流数据进行处理。
在一种实现方式中，客户端根据MPD文件获取一个或多个覆盖层，并根据客户端的处理资源所支持处理的覆盖层个数，按照一个或多个覆盖层的优先级从高到低的顺序选择解码支持处理的覆盖层个数的覆盖层的码流数据。
在一种实现方式中，客户端根据MPD文件获取一个或多个覆盖层，并根据客户端的处理所资源支持处理的覆盖层个数，按照一个或多个覆盖层
的优先级从高到低的顺序选择显示支持处理的覆盖层个数的覆盖层。
在一种可能的方式中，优先级指示信息为MPD文件中的覆盖层描述字的属性信息。
在一种可能的方式中，覆盖层描述字的属性信息还包括一个或多个覆盖层的标识。
在一种可能的方式中，优先级指示信息中，任一覆盖层的优先级的值越小，覆盖层的优先级越高。
在另一种可能的方式中，优先级指示信息中，任一覆盖层的优先级的值越大，覆盖层的优先级越高。
在一种可能的方式中，优先级指示信息包括一个优先级值，一个优先级值用于指示一个或多个覆盖层的优先级。
在一种可能的方式中，一个或多个覆盖层为M个覆盖层，优先级指示信息包括M个优先级值，M个优先级值用于指示M个覆盖层的优先级，M为正整数。
在一种可能的方式中，M个优先级值中的第n个值用于指示M个覆盖层中的第n个覆盖层的优先级，n为小于或者等于M的正整数。
在一种可能的方式中，覆盖层描述字位于MPD文件的自适应集中。
在一种可能的方式中，MPD文件包括M个覆盖层的覆盖层描述字，其中，M个覆盖层中一个或多个覆盖层的覆盖层描述字包括优先级指示信息，M大于或等于1。这种方式中，一些覆盖层描述字中不携带优先级指示信息。
第二方面，提供了一种传输媒体数据的方法，该方法包括：服务器确定一个或多个覆盖层的优先级；并发送媒体呈现描述MPD文件，MPD文件包括优先级指示信息；其中，优先级指示信息用于指示一个或多个覆盖层的优先级。
应理解，上述第一方面中对于覆盖层的优先级指示信息的相应内容的限定和解释同样适用于第二方面中的各个实现方式；此处不再赘述
第三方面，提供了一种传输媒体数据的方法，该方法包括：客户端接收媒体呈现描述MPD文件，MPD文件包括覆盖层的解码能力要求指示信息；解码能力要求指示信息用于指示解码覆盖层所需的解码能力的要求；客户端根据覆盖层的解码能力要求指示信息处理覆盖层。在该方法中，支持在DASH MPD文件中表示覆盖层解码能力要求，使得客户端可以根据覆盖层的解码能力要求和客户端的解码能力选择和处理覆盖层。
其中，所需的解码能力包括所需要支持的图像分辨率。
在一种可能的方式中，解码能力要求指示信息包括解码能力宽度要求指示信息和解码能力高度要求指示信息；解码能力宽度要求指示信息用于指示解码覆盖层所需要支持的图像分辨率的宽度，解码能力高度要求指示信息用于指示解码覆盖层所需要支持的图像分辨率的高度；其中，所需要支持的图像分辨率为所需要支持的图像分辨率的宽度与所需要支持的图像分辨率的高度的乘积。
在一种可能的方式中，覆盖层的解码能力要求指示信息为MPD文件中的覆盖层的覆盖层描述字的属性信息。
在一种可能的方式中，覆盖层描述字的属性信息还包括覆盖层的标识。
在一种可能的方式中，覆盖层描述字位于MPD文件的自适应集中。
在一种可能的方式中，覆盖层包括一个或多个覆盖层，客户端根据覆盖层的解码能力要求指示信息处理所述覆盖层包括：如果客户端的解码能力大于一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，客户端处理覆盖层。
在一种可能的方式中，MPD文件包括优先级指示信息；其中，优先级指示信息用于指示一个或多个覆盖层的优先级；客户端根据覆盖层的解码能力要求指示信息处理覆盖层包括：如果客户端的解码能力小于一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，客户端根据一个或多个覆盖层的优先级选择优先处理的覆盖层进行处理，客户端的解码能力大于或者等于优先处理的覆盖层的解码能力要求指示信息指示的解码能力要求的和。
在一种可能的方式中，MPD文件包括M个覆盖层的覆盖层描述字，其中，M个覆盖层中一个或多个覆盖层的覆盖层描述字包括解码能力要求指示信息，M大于或等于1。这种方式中，一些覆盖层描述字中不携带解码能力要求指示信息。
第四方面，提供了一种传输媒体数据的方法，该方法包括：服务器确定覆盖层的解码能力要求；服务器发送媒体呈现描述MPD文件，MPD文件包括覆盖层的解码能力要求指示信息；解码能力要求指示信息用于指示解码覆盖层所需的解码能力的要求。在该方法中，支持在DASH MPD文件中表示覆盖层解码能力要求，使得客户端可以根据覆盖层的解码能力要求和客户端的解码能力选择和处理覆盖层。
其中，所需的解码能力包括所需要支持的图像分辨率。
应理解，上述第三方面中对于解码能力要求指示信息的相应内容的限定和解释同样适用于第四方面中的各个实现方式；此处不再赘述
第五方面，提供一种客户端，该客户端包括用于执行上述第一方面或第三方面中任意一种实现方式中的方法的模块。
第六方面，提供一种服务器，该服务器包括用于执行上述第二方面或第四方面中任意一种实现方式中的方法的模块。
第七方面，提供一种客户端，包括：相互耦合的非易失性存储器和处理器；其中，所述处理器用于调用存储在所述存储器中的程序代码以执行第一方面或第三方面中的任意一种实现方式中的方法的部分或全部步骤。
第八方面，提供一种服务器，包括：相互耦合的非易失性存储器和处理器；其中，所述处理器用于调用存储在所述存储器中的程序代码以执行第二方面或第四方面中的任意一种实现方式中的方法的部分或全部步骤。
第九方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行第一方面、第二方面、第三方面以及第四方面中的任意一种实现方式中的方法的部分或全部步骤的指令。
第十方面，提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面、第二方面、第三方面以及第四方面中的任意一种实现方式中的方法的部分或全部步骤的指令。
附图说明
图1是本申请实施例所适用的一种系统框架示意图一；
图2是本申请实施例所适用的一种系统框架示意图二；
图3是本申请实施例的传输媒体数据的方法的示意性流程图一；
图4是本申请实施例的传输媒体数据的方法的示意性流程图二；
图5是本申请实施例的客户端的示意性框图一；
图6是本申请实施例的服务器的示意性框图一；
图7是本申请实施例的客户端的示意性框图二；
图8是本申请实施例的服务器的示意性框图二；
图9是本申请实施例的传输媒体数据的装置的硬件结构示意图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请提供的技术方案可以应用于图1所示的系统架构中，该系统架构中可以包括服务器以及与服务器连接的一个或多个终端设备。服务器用于为终端设备提供媒体数据服务，比如，可以根据客户端反馈的信息(如用户视角等)，选择需要传输的内容，并将信号传输至终端设备。终端设备可以是具有播放全景视频功能的设备，比如，VR设备，手机，平板电脑，电视，电脑等可以连接网络的电子设备。终端设备上运行有客户端，客户端可以是位于终端设备上为用户提供全景视频播放服务的程序。
应注意，图1所示的系统架构仅用于举例，并非用于限制本申请的技术方案。本领域的技术人员应当明白，在具体实现过程中，该系统架构中还可能包括其他设备，比如，服务器和终端设备之间可以包括内容分发网络设备。
在一种示例中，图1所示的系统架构可以为图2所示的形式。服务器包括编码前处理器、视频编码器、码流封装单元和发送传输单元。服务器接收全向视频，对全向视频进行前处理，编码或转码的操作，并将编码后的码流数据封装为符合传输格式的文件，通过发送传输单元进行发送。媒体数据通过网络传输到终端设备或者内容分发网络。终端设备包括接收单元、码流解封装单元、视频解码器和显示单元。终端设备接收服务器发送的媒体数据，并进行码流解封装以及解码和显示。此外，服务器还可以根据终端设备的反馈信息(比如用户视角等)，选择传输的媒体数据内容。
下面对本申请中涉及的部分术语进行解释说明：
1、覆盖层
全向视频可以包括背景视频画面和覆盖层，覆盖层是在背景视频画面的某个区域之上额外叠加渲染的一层视频或者图片或者文本。
2、MPD文件
MPD文件是ISO/IEC 23009-1标准规定的全向媒体数据传输协议DASH中定义的一种文档，在MPD文件中包含了客户端构造HTTP统一资源定位符(HTTP uniform resourcelocator，HTTP-URL)的元数据。在MPD文件中包含一个或者多个周期(period)元素，每个周期元素包含有一个或者多个自适应集(adaptation set)，每个自适应集中包含一个或者多个表示(representation)，每个表示中包含一个或者多个分段，客户端可以根据MPD文件中的信息选择表达，并构建分段的HTTP-URL。
3、本文中的术语“多个”是指两个或两个以上。本文中的术语“第一”和“第二”是用于区别不同的对象，而不是用于描述对象的特定顺序。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例提供一种传输媒体数据的方法，应用于图1或图2所示的系统架构，如图3所示，该方法可以包括S101-S106：
S101、服务器获取全向视频码流。
服务器获取全向视频码流，全向视频码流包括背景视频码流和覆盖层码流覆盖层码流；其中，一个覆盖层码流对应一个覆盖层。其中，覆盖层码流可以是单独的码流，也可以是背景视频码流的一部分。示例性的，服务器可以从视频服务提供设备获取全向视频码流。
S102、服务器对全向视频码流进行封装。
服务器将全向视频码流按照视频文件格式封装。比如，按照ISO基本媒体文件格式封装。
在一种实现方式中，服务器可以将全向视频码流整体封装为全向视频码流数据包；在另一种实现方式中，服务器可以将背景视频码流封装成背景视频码流数据包，将一个或多个覆盖层码流封装成一个或多个覆盖层码流数据包，一个覆盖层码流数据包对应一个覆盖层。
在一种实现方式中，可以由图2所示的服务器的码流封装单元对全向视频码流进行封装。
S103、服务器确定覆盖层优先级。
服务器确定每个覆盖层的优先级。比如，服务器可以根据视频服务提供设备的指示确定每个覆盖层的优先级；比如，服务器也可以根据覆盖层的内容确定每个覆盖层的优先级。示例性的，覆盖层1的内容是对背景视频内容的补充，有助于观众理解背景视频的故事。覆盖层2的内容与背景视频内容无关，例如广告，则服务器可设定覆盖层1的优先级高于覆盖层2的优先级。
服务器根据每个覆盖层的优先级生成优先级指示信息，每个优先级指示信息用于指示一个或多个覆盖层的优先级。
服务器将每个覆盖层的优先级指示信息写入DASH MPD文件中。
在一种实现方式中，优先级指示信息为DASH MPD文件中的覆盖层描述字的属性信息。具体的，在OMAF标准中定义了覆盖层在DASH MPD文件中的格式。示例性的，OMAF标准在MPD文件中定义了覆盖层描述字(overlay descriptor)，覆盖层描述字包括用于描述覆盖层相关内容的各个属性信息；示例性的，覆盖层描述字的@schemeIdUri为"urn:mpeg:mpegI:omaf:2018:ovly"。DASH MPD文件的一个自适应集(adaptation set)中包括最多一个覆盖层描述字，覆盖层描述字用于描述与该自适应集所关联的覆盖层；如果该自适应集没有关联的覆盖层，自适应集(adaptation set)中不包括覆盖层描述字。
在一种实现方式中，覆盖层描述字的属性信息还可以包括覆盖层的标识。
示例性的，一个覆盖层描述字的格式定义如表1所示。
表1
覆盖层描述字 规则 数据类型 描述
value M 无符号整型集 以空白符间隔的覆盖层的标识
priority 0..1 整型 覆盖层的优先级
其中，value为覆盖层的标识，指示一个或多个覆盖层的标识。priority为优先级指示信息；规则M表示该属性必须出现，规则0..1表示该属性不出现或者只出现一个。当存在多个覆盖层时，priority则表示该覆盖层描述字下的多个覆盖层优先级均为该priority值。
另一示例中，一个覆盖层描述字的格式定义如表2所示。
表2
覆盖层描述字 规则 数据类型 描述
value M 无符号整型集 以空白符间隔的覆盖层的标识
priority 0..1 无符号整型集 以空白符间隔的覆盖层的优先级
其中，value为覆盖层的标识，指示一个或多个覆盖层的标识。priority为优先级指示信息，指示一个或多个覆盖层的优先级，其个数和顺序与value值中覆盖层的个数和顺序相同,其中优先级指示信息中第n个值指示value中第n个标识指示的覆盖层的优先级，n为正整数；规则M表示该属性必须出现，规则0..1表示该属性不出现或者只出现一个。
另一示例中，一个覆盖层描述字的格式定义如表3所示。
表3
Figure BDA0001816148000000061
其中，value为覆盖层的标识，指示一个或多个覆盖层的标识。OvelayInfo为覆盖层信息，priority为优先级指示信息；当存在多个覆盖层时，priority则表示该覆盖层描述字下的多个覆盖层优先级均为该priority值。规则M表示该属性必须出现，规则1表示该属性出现一个，规则0..1表示该属性不出现或者出现一个。
另一示例中，一个覆盖层描述字的格式定义如表4所示。
表4
Figure BDA0001816148000000062
其中，value为覆盖层的标识，指示一个或多个覆盖层的标识。OvelayInfo为覆盖层信息，priority为优先级指示信息；指示一个或多个覆盖层的优先级，其个数和顺序与value值中覆盖层的个数和顺序相同，其中优先级指示信息中第n个值指示value中第n个标识指示的覆盖层的优先级，n为正整数。规则M表示该属性必须出现，规则1表示该属性出现一个，规则0..1表示该属性不出现或者出现一个。
需要说明的是，优先级指示信息属性是可以不出现的，也就是，服务器可以不填写某些覆盖层的优先级。MPD文件中如果包括M个覆盖层的覆盖层描述字，M大于或等于1；M个覆盖层中一个或多个覆盖层的覆盖层描述字包括优先级指示信息。
在一种实现方式中，优先级指示信息中，任一覆盖层的优先级的值越小，该任一覆盖层的优先级越高。示例性的，覆盖层1的优先级的值为1，覆盖层2的优先级的值为2，则覆盖层1的优先级高于覆盖层2的优先级。
在一种实现方式中，优先级指示信息中，任一覆盖层的优先级的值越大，该任一覆盖层的优先级越高。示例性的，覆盖层1的优先级的值为1，覆盖层2的优先级的值为2，则覆盖层2的优先级高于覆盖层1的优先级。
示例性的，一个MPD文件中的优先级指示信息可以表示为如下所示的形式：
Figure BDA0001816148000000071
如上所示，在DASH MPD的自适应集(AdaptationSet)里用覆盖层描述字分别描述了两个覆盖层，其中一个覆盖层的标识值为1，优先级值为1,另一个覆盖层的标识值为2，优先级值为2。
另一示例中，一个MPD文件中的优先级指示信息可以表示为如下所示的形式：
Figure BDA0001816148000000072
Figure BDA0001816148000000081
如上所示，在DASH MPD的自适应集(AdaptationSet)里用覆盖层描述字描述了两个覆盖层，其中一个覆盖层的标识值为1，优先级值为1,另一个覆盖层的标识值为2，优先级值为2。
S104、服务器发送MPD文件。
服务器发送MPD文件，MPD文件包括优先级指示信息。示例性的，由图2所示的服务器的发送传输单元发送MPD文件。
S105、客户端接收MPD文件。
客户端接收MPD文件，MPD文件包括优先级指示信息。客户端获取一个或多个覆盖层的优先级。
S106、客户端根据优先级指示信息处理覆盖层。
客户端获取覆盖层的码流数据。示例性的，覆盖层的码流数据可以是由服务器发送的覆盖层码流数据包；覆盖层的码流数据也可以是服务器发送的背景视频码流数据包中的一部分码流数据。
在一种实现方式中，客户端接收MPD文件之后，可以根据MPD文件获取一个或多个覆盖的码流数据。
在一种实现方式中，在客户端的处理资源不足的条件下，比如，客户端的视频解码器、中央处理器(central processing unit，CPU)或图形处理器(graphics processingunit，GPU)等的资源不足，客户端可以根据客户端的处理资源所支持处理的覆盖层个数，按照一个或多个覆盖层的优先级从高到低的顺序处理该支持处理的覆盖层个数的覆盖层。示例性的，客户端的处理资源不足，只能处理一个覆盖层，覆盖层1的优先级的值为1，覆盖层2的优先级的值为2，覆盖层1的优先级高于覆盖层2的优先级，则客户端将覆盖层1显示在背景视频图像上。
在一种实现方式中，客户端根据MPD文件中的覆盖层的标识确认服务器可以提供的覆盖层。客户端根据客户端的处理资源所支持处理的覆盖层个数，按照一个或多个覆盖层的优先级从高到低的顺序，在服务器可以提供的覆盖层中，选择其支持处理的覆盖层个数的覆盖层，向服务器请求获取选择的覆盖层的码流数据。服务器向客户端发送客户端请求的覆盖层。客户端在获取到请求的一个或多个覆盖层的码流数据后，解码该一个或多个覆盖层的码流数据，并将对应的覆盖层显示在背景视频图像上。
在一种实现方式中，客户端根据MPD文件中的覆盖层的标识确认服务器可以提供的覆盖，并向服务器请求获取这些覆盖层的码流数据。服务器向客户端发送客户端请求的覆盖层。客户端接收到覆盖层的码流数据后，根据客户端的所处理资源支持处理的覆盖个数，按照一个或多个覆盖层的优先级从高到低的顺序选择解码其支持处理的覆盖层个数的覆盖层的码流数据，并将解码后的覆盖层显示在背景视频图像上。
在一种实现方式中，客户端根据MPD文件中的覆盖层的标识确认服务器可以提供的覆盖层，并向服务器请求获取这些覆盖层的码流数据。服务器向客户端发送客户端请求的覆盖层。客户端接收到覆盖层的码流数据后，解码接收到的覆盖层的码流数据，并根据客户端的处理资源所支持处理的覆盖层个数，按照一个或多个覆盖层的优先级从高到低的顺序选择其支持处理的覆盖层个数的覆盖层显示在背景视频图像上。
需要说明的是，在MPD文件中，优先级指示信息可以不出现。在一种实现方式中，对于没有获取到优先级指示信息的覆盖层，如果该覆盖层是基本的(比如，在MPD文件中以EssentialProperty表示)，则该覆盖层必须处理，客户端不考虑该覆盖层的优先级，处理该覆盖层；如果该覆盖层是辅助性的(比如，在MPD文件中以SupplementalProperty表示)，则该覆盖层是可选择处理的，客户端确定该覆盖层的优先级低于获取到优先级指示信息的覆盖层的优先级。
目前，OMAF标准中规定的ISOBMFF中，定义了覆盖层的基本数据结构和携带方式，其中包括定义覆盖层优先级的参数。但是在传输全向媒体的数据的协议DASH MPD文件中，没有定义可以指示覆盖层优先级的参数，客户端无法根据覆盖层的优先级对覆盖层进行选择处理。本申请实施例提供的传输媒体数据的方法，在DASH MPD文件中包括了覆盖层的优先级指示信息，客户端可以根据优先级指示信息指示的覆盖层的优先级，选择进行处理的覆盖层。
本申请实施例提供一种传输媒体数据的方法，应用于图1或图2所示的系统架构，如图4所示，该方法可以包括S201-S206：
S201、服务器获取全向视频码流。
其中，S201的具体描述可参考S101，此处不再赘述。
S202、服务器对全向视频码流进行封装。
其中，S202的具体描述可参考S102，此处不再赘述。
S203、服务器确定覆盖层的解码能力要求。
服务器确定每个覆盖层的解码能力要求。比如，服务器可以根据视频服务提供设备的指示确定每个覆盖层的解码能力要求；比如，服务器也可以根据覆盖层的内容(比如，覆盖层的分辨率)确定每个覆盖层的解码能力要求。
覆盖层的解码能力要求包括解码覆盖层所需要支持的图像分辨率；比如，如果一个覆盖层需要解码且其码流分辨率为1920x1080，则该覆盖层的解码能力要求为1920x1080。
服务器根据每个覆盖层的解码能力要求生成解码能力要求指示信息，解码能力要求指示信息用于指示解码覆盖层所需的解码能力的要求。其中，一个解码能力要求指示信息包括一个解码能力宽度要求指示信息和一个解码能力高度要求指示信息；解码能力宽度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的宽度，解码能力高度要求指示信息用于指示解码覆盖层所需要支持的图像分辨率的高度；所需要支持的图像分辨率为需要支持的图像分辨率的宽度与所需要支持的图像分辨率的高度的乘积。
服务器将每个覆盖层的解码能力要求指示信息写入DASH MPD文件中。
在一种实现方式中，解码能力要求指示信息为DASH MPD文件中的一个覆盖层的覆盖层描述字的属性信息。具体的，在OMAF标准中定义了覆盖层在DASH MPD文件中的格式。示例性的，OMAF标准在MPD文件中定义了覆盖层描述字(overlay descriptor)，覆盖层描述字包括用于描述覆盖层相关内容的各个属性信息；示例性的，覆盖层描述字的@schemeIdUri为"urn:mpeg:mpegI:omaf:2018:ovly"。DASH MPD文件的一个自适应集(adaptation set)中可以包括最多一个覆盖层描述字，覆盖层描述字用于描述与该自适应集所关联的覆盖层；如果该自适应集没有关联的覆盖层，自适应集(adaptation set)中不包括覆盖层描述字。
在一种实现方式中，覆盖层描述字的属性信息还可以包括覆盖层的标识。
示例性的，一个覆盖层描述字的格式定义如表5所示。
表5
Figure BDA0001816148000000101
其中，value为覆盖层的标识，decoding_width为解码能力宽度要求指示信息，decoding_height为解码能力高度要求指示信息；规则M表示该属性必须出现，规则0..1表示该属性不出现或者只出现一个。
另一示例中，一个覆盖层描述字的格式定义如表6所示。
表6
Figure BDA0001816148000000102
其中，value为覆盖层的标识，OvelayInfo为覆盖层信息，decoding_width为解码能力宽度要求指示信息，decoding_height为解码能力高度要求指示信息；规则M表示该属性必须出现，规则1表示该属性只出现一个，规则0..1表示该属性不出现或者只出现一个。
需要说明的是，解码能力要求指示信息属性是可以不出现的，也就是，服务器可以不填写某些覆盖层的解码能力高度要求。MPD文件中如果包括M个覆盖层的覆盖层描述字，M大于或等于1；M个覆盖层中一个或多个覆盖层的覆盖层描述字包括解码能力要求指示信息。
示例性的，一个MPD文件中的解码能力要求指示信息可以表示为如下所示的形式：
Figure BDA0001816148000000111
如上所示，在DASH MPD的自适应集(AdaptationSet)里用覆盖层描述字描述了一个标识值为1的覆盖层，该覆盖层的解码能力要求为1920x1080。
S204、服务器发送MPD文件。
服务器发送MPD文件，MPD文件包括覆盖层的解码能力要求指示信息。示例性的，由图2所示的服务器的发送传输单元发送MPD文件。
S205、客户端接收MPD文件。
客户端接收MPD文件，MPD文件包括覆盖层的解码能力要求指示信息。客户端获取一个或多个覆盖层的解码能力要求指示信息。
S206、客户端根据解码能力要求指示信息处理覆盖层。
在一种实现方式中，客户端可以根据MPD文件获取一个或多个覆盖层。比如，客户端根据MPD文件中的覆盖层的标识确认服务器可以提供的覆盖层，并向服务器请求获取这些覆盖层。服务器向客户端发送客户端请求的覆盖层的码流数据。示例性的，覆盖层的码流数据可以是由服务器发送的覆盖层码流数据包；覆盖层的码流数据也可以是服务器发送的背景视频码流数据包中的一部分码流数据。
客户端根据MPD文件中的一个或多个覆盖层的解码能力要求指示信息处理获取到的一个或多个覆盖层。
在一种实现方式中，如果客户端的解码能力大于MPD文件中一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，客户端处理该覆盖层。比如，客户端的解码能力为4K；MPD文件中包括两个覆盖层的解码能力要求指示信息，其中一个覆盖层的解码能力要求是1K，另一个覆盖层的解码能力要求是2K；客户端确定其解码能力大于这两个覆盖层的解码能力要求，则客户端可以解码这两个覆盖层的码流数据。
需要说明的是，在MPD文件中，解码能力要求指示信息可以不出现，客户端可以不考虑该覆盖层的解码能力要求。
进一步的，客户端可以结合覆盖层的优先级和解码能力要求选择处理的覆盖层。在一种实现方式中，如果客户端的解码能力小于MPD文件中一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，客户端不能解码该一个或多个覆盖层，示例性的，其为客户端的处理资源不足的一种情况，客户端可以根据一个或多个覆盖层的优先级选择优先处理的覆盖层进行处理，其中，客户端的解码能力大于或者等于优先处理的覆盖层的解码能力要求指示信息指示的解码能力要求的和。需要说明的是，一个覆盖层的解码能力要求指示信息指示的解码能力要求的和为该一个覆盖层的解码能力要求指示信息指示的解码能力要求自身。示例性的，客户端的解码能力为4K；MPD文件中包括三个覆盖层的解码能力要求指示信息，其中覆盖层1的解码能力要求是1K，覆盖层2的解码能力要求是2K，覆盖层3的解码能力要求是2K；客户端确定其解码能力小于这三个覆盖层的解码能力要求之和，客户端可以根据这三个覆盖层的优先级选择优先进行处理的覆盖层。比如，覆盖层的优先级的值越小，该覆盖层的优先级越高；覆盖层1的优先级的值为1，覆盖层2的优先级的值为2，覆盖层3的优先级的值为1，则覆盖层1和覆盖层3的优先级高于覆盖层2的优先级；客户端选择处理覆盖层1和覆盖层3。
本申请实施例提供的传输媒体数据的方法，在MPD文件中包括了覆盖层的解码能力要求指示信息，客户端可以根据解码能力要求指示信息指示的覆盖层的解码能力要求和客户端的解码能力，确定是否处理覆盖层。
上述主要从服务器和客户端交互的角度对本申请实施例提供的方案进行了介绍。可以理解的是，服务器和客户端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对服务器和客户端进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面以采用对应各个功能划分各个功能模块为例进行说明。
图5为本发明实施例提供的客户端500的示意性框图，客户端500包括：
接收模块501，用于接收媒体呈现描述MPD文件，MPD文件包括优先级指示信息；其中，优先级指示信息用于指示一个或多个覆盖层的优先级。
处理模块502，用于根据优先级指示信息处理一个或多个覆盖层。
作为一个实施例，处理模块502具体用于：在客户端的处理资源不足的条件下，根据客户端的处理资源所支持处理的覆盖层个数，按照一个或多个覆盖层的优先级从高到低的顺序处理该个数的覆盖层。
作为一个实施例，优先级指示信息为MPD文件中的覆盖层描述字的属性信息。
作为一个实施例，覆盖层描述字的属性信息还包括覆盖层的标识。
作为一个实施例，优先级指示信息包括一个优先级值，一个优先级值用于指示一个或多个覆盖层的优先级。
作为一个实施例，一个或多个覆盖层为M个覆盖层，优先级指示信息包括M个优先级值，M个优先级值用于指示M个覆盖层的优先级，M为正整数。
作为一个实施例，M个优先级值中的第n个值用于指示M个覆盖层中的第n个覆盖层的优先级，n为小于或者等于M的正整数。
作为一个实施例，覆盖层描述字位于MPD文件的自适应集中。
应理解，本发明实施例中的处理模块502可以由处理器或处理器相关电路组件实现，接收模块501可以由收发器或收发器相关电路组件实现。
图6为本发明实施例提供的服务器600的示意性框图，服务器600包括：
处理模块601，用于确定一个或多个覆盖层的优先级。
发送模块602，用于发送媒体呈现描述MPD文件，MPD文件包括优先级指示信息；其中，优先级指示信息用于指示一个或多个覆盖层的优先级。
作为一个实施例，优先级指示信息为MPD文件中的一个或多个覆盖层的覆盖层描述字的属性信息。
作为一个实施例，覆盖层描述字的属性信息还包括一个或多个覆盖层的标识。
作为一个实施例，优先级指示信息包括一个优先级值，一个优先级值用于指示一个或多个覆盖层的优先级。
作为一个实施例，一个或多个覆盖层为M个覆盖层，优先级指示信息包括M个优先级值，M个优先级值用于指示M个覆盖层的优先级，M为正整数。
应理解，本发明实施例中的处理模块601可以由处理器或处理器相关电路组件实现，发送模块602可以由收发器或收发器相关电路组件实现。
图7为本发明实施例提供的客户端700的示意性框图，客户端700包括：
接收模块701，用于接收媒体呈现描述MPD文件，MPD文件包括覆盖层的解码能力要求指示信息；解码能力要求指示信息用于指示解码覆盖层所需的解码能力的要求。
处理模块702，用于根据覆盖层的解码能力要求指示信息处理覆盖层。
其中，所需的解码能力包括所需要支持的图像分辨率。
作为一个实施例，解码能力要求指示信息包括解码能力宽度要求指示信息和解码能力高度要求指示信息；解码能力宽度要求指示信息用于指示解码覆盖层所需要支持的图像分辨率的宽度，解码能力高度要求指示信息用于指示解码覆盖层所需要支持的图像分辨率的高度；其中，所需要支持的图像分辨率为所需要支持的图像分辨率的宽度与所需要支持的图像分辨率的高度的乘积。
作为一个实施例，覆盖层的解码能力要求指示信息为MPD文件中的覆盖层的覆盖层描述字的属性信息。
作为一个实施例，覆盖层描述字的属性信息还包括覆盖层的标识。
作为一个实施例，覆盖层描述字位于MPD文件的自适应集中。
作为一个实施例，该覆盖层包括一个或多个覆盖层，处理模块702具体用于：如果客户端的解码能力大于一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，处理该覆盖层。
作为一个实施例，MPD文件包括优先级指示信息；其中，优先级指示信息用于指示一个或多个覆盖层的优先级；处理模块702具体用于：如果客户端的解码能力小于一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，根据一个或多个覆盖层的优先级选择优先处理的覆盖层进行处理，客户端的解码能力大于或者等于优先处理的覆盖层的解码能力要求指示信息指示的解码能力要求的和。
应理解，本发明实施例中的处理模块702可以由处理器或处理器相关电路组件实现，接收模块701可以由收发器或收发器相关电路组件实现。
图8为本发明实施例提供的服务器800的示意性框图，服务器800包括：
处理模块801，用于确定覆盖层的解码能力要求.
发送模块802，用于发送媒体呈现描述MPD文件，MPD文件包括覆盖层的解码能力要求指示信息；解码能力要求指示信息用于指示解码覆盖层所需的解码能力的要求。
其中，所需的解码能力包括所需要支持的图像分辨率。
作为一个实施例，解码能力要求指示信息包括解码能力宽度要求指示信息和解码能力高度要求指示信息；解码能力宽度要求指示信息用于指示解码覆盖层所需要支持的图像分辨率的宽度，解码能力高度要求指示信息用于指示解码覆盖层所需要支持的图像分辨率的高度；其中，所需要支持的图像分辨率为需要支持的图像分辨率的宽度与所需要支持的图像分辨率的高度的乘积。
作为一个实施例，覆盖层的解码能力要求指示信息为MPD文件中的覆盖层的覆盖层描述字的属性信息。
作为一个实施例，覆盖层描述字的属性信息还包括覆盖层的标识。
应理解，本发明实施例中的处理模块801可以由处理器或处理器相关电路组件实现，发送模块802可以由收发器或收发器相关电路组件实现。
图9是本申请实施例的传输媒体数据的装置的硬件结构示意图。图9所示的装置900可以视为是一种计算机设备，装置900可以作为本申请实施例的客户端500、服务器600、客户端700或服务器800的一种实现方式，也可以作为本申请实施例的传输媒体数据的方法的一种实现方式，装置900包括处理器910、存储器920、输入/输出接口930和总线950，还可以包括通信接口940。其中，处理器910、存储器920、输入/输出接口930和通信接口940通过总线950实现彼此之间的通信连接。
处理器910可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的客户端或者服务器中的模块所需执行的功能，或者执行本申请方法实施例的传输媒体数据的方法。处理器910可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器910中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器910可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器920，处理器910读取存储器920中的信息，结合其硬件完成本申请实施例的客户端或者服务器中包括的模块所需执行的功能，或者执行本申请方法实施例的传输媒体数据的方法。
存储器920可以是只读存储器(read Only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器920可以存储操作系统以及其他应用程序。在通过软件或者固件来实现本申请实施例的客户端或者服务器中包括的模块所需执行的功能，或者执行本申请方法实施例的传输媒体数据的方法时，用于实现本申请实施例提供的技术方案的程序代码保存在存储器920中，并由处理器910来执行客户端或者服务器中包括的模块所需执行的操作，或者执行本申请方法实施例提供的传输媒体数据的方法。
输入/输出接口930用于接收输入的数据和信息，输出操作结果等数据。
通信接口940使用例如但不限于收发器一类的收发装置，来实现装置900与其他设备或通信网络之间的通信。可以作为处理装置中的获取模块或者发送模块。
总线950可包括在装置900各个部件(例如处理器910、存储器920、输入/输出接口930和通信接口940)之间传送信息的通路。
应注意，尽管图9所示的装置900仅仅示出了处理器910、存储器920、输入/输出接口930、通信接口940以及总线950，但是在具体实现过程中，本领域的技术人员应当明白，装置900还包括实现正常运行所必须的其他器件，例如还可以包括显示器，用于显示要播放的视频数据。同时，根据具体需要，本领域的技术人员应当明白，装置900还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当明白，装置900也可仅仅包括实现本申请实施例所必须的器件，而不必包括图9中所示的全部器件。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。、
上述任一种设备或装置的技术效果可以参考对应方法实施例的技术效果，此处不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (50)

1.一种传输媒体数据的方法，其特征在于，包括：
客户端接收媒体呈现描述MPD文件，所述MPD文件包括优先级指示信息；其中，所述优先级指示信息用于指示一个或多个覆盖层的优先级；
所述客户端根据所述优先级指示信息处理所述一个或多个覆盖层。
2.根据权利要求1所述的方法，其特征在于，所述客户端根据所述优先级指示信息处理一个或多个覆盖层包括：
在所述客户端的处理资源不足的条件下，根据所述客户端的处理资源所支持处理的覆盖层个数，按照所述一个或多个覆盖层的优先级从高到低的顺序处理所述个数的覆盖层。
3.根据权利要求1或2所述的方法，其特征在于，所述优先级指示信息为所述MPD文件中的覆盖层描述字的属性信息。
4.根据权利要求3所述的方法，其特征在于，
所述覆盖层描述字的属性信息还包括一个或多个覆盖层的标识。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述优先级指示信息包括一个优先级值，所述一个优先级值用于指示所述一个或多个覆盖层的优先级。
6.根据权利要求1-4任意一项所述的方法，其特征在于，所述一个或多个覆盖层为M个覆盖层，所述优先级指示信息包括M个优先级值，所述M个优先级值用于指示所述M个覆盖层的优先级，M为正整数。
7.根据权利要求6所述的方法，其特征在于，所述M个优先级值中的第n个值用于指示所述M个覆盖层中的第n个覆盖层的优先级，n为小于或者等于M的正整数。
8.一种传输媒体数据的方法，其特征在于，包括：
服务器确定一个或多个覆盖层的优先级；
所述服务器发送媒体呈现描述MPD文件，所述MPD文件包括优先级指示信息；其中，所述优先级指示信息用于指示所述一个或多个覆盖层的优先级。
9.根据权利要求8所述的方法，其特征在于，所述优先级指示信息为所述MPD文件中的所述一个或多个覆盖层的覆盖层描述字的属性信息。
10.根据权利要求9所述的方法，其特征在于，
所述覆盖层描述字的属性信息还包括所述一个或多个覆盖层的标识。
11.根据权利要求8-10任意一项所述的方法，其特征在于，所述优先级指示信息包括一个优先级值，所述一个优先级值用于指示所述一个或多个覆盖层的优先级。
12.根据权利要求8-10任意一项所述的方法，其特征在于，所述一个或多个覆盖层为M个覆盖层，所述优先级指示信息包括M个优先级值，所述M个优先级值用于指示所述M个覆盖层的优先级，M为正整数。
13.一种传输媒体数据的方法，其特征在于，包括：
客户端接收媒体呈现描述MPD文件，所述MPD文件包括覆盖层的解码能力要求指示信息；所述解码能力要求指示信息用于指示解码所述覆盖层所需的解码能力的要求；
所述客户端根据所述覆盖层的解码能力要求指示信息处理所述覆盖层。
14.根据权利要求13所述的方法，其特征在于，所述所需的解码能力包括所需要支持的图像分辨率。
15.根据权利要求14所述的方法，其特征在于，所述解码能力要求指示信息包括解码能力宽度要求指示信息和解码能力高度要求指示信息；所述解码能力宽度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的宽度，所述解码能力高度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的高度；其中，所述所需要支持的图像分辨率为所需要支持的图像分辨率的宽度与所需要支持的图像分辨率的高度的乘积。
16.根据权利要求13-15任意一项所述的方法，其特征在于，
覆盖层的解码能力要求指示信息为所述MPD文件中的所述覆盖层的覆盖层描述字的属性信息。
17.根据权利要求16所述的方法，其特征在于，
所述覆盖层描述字的属性信息还包括覆盖层的标识。
18.根据权利要求16或17所述的方法，其特征在于，所述覆盖层描述字位于所述MPD文件的自适应集中。
19.根据权利要求13-18任意一项所述的方法，其特征在于，所述覆盖层包括一个或多个覆盖层，所述客户端根据所述覆盖层的解码能力要求指示信息处理所述覆盖层包括：
如果所述客户端的解码能力大于所述一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，所述客户端处理所述覆盖层。
20.根据权利要求13-19任意一项所述的方法，其特征在于，所述MPD文件包括优先级指示信息；其中，所述优先级指示信息用于指示一个或多个覆盖层的优先级；
所述客户端根据所述覆盖层的解码能力要求指示信息处理覆盖层包括：
如果所述客户端的解码能力小于所述一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，所述客户端根据所述一个或多个覆盖层的优先级选择优先处理的覆盖层进行处理，所述客户端的解码能力大于或者等于所述优先处理的覆盖层的解码能力要求指示信息指示的解码能力要求的和。
21.一种传输媒体数据的方法，其特征在于，包括：
服务器确定覆盖层的解码能力要求；
所述服务器发送媒体呈现描述MPD文件，所述MPD文件包括覆盖层的解码能力要求指示信息；所述解码能力要求指示信息用于指示解码所述覆盖层所需的解码能力的要求。
22.根据权利要求20所述的方法，其特征在于，所述所需的解码能力包括所需要支持的图像分辨率。
23.根据权利要求22所述的方法，其特征在于，所述解码能力要求指示信息包括解码能力宽度要求指示信息和解码能力高度要求指示信息；所述解码能力宽度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的宽度，所述解码能力高度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的高度；其中，所述所需要支持的图像分辨率为需要支持的图像分辨率的宽度与所需要支持的图像分辨率的高度的乘积。
24.根据权利要求21-23任意一项所述的方法，其特征在于，所述覆盖层的解码能力要求指示信息为所述MPD文件中的所述覆盖层的覆盖层描述字的属性信息。
25.根据权利要求24所述的方法，其特征在于，
所述覆盖层描述字的属性信息还包括覆盖层的标识。
26.一种客户端，其特征在于，包括：
接收模块，用于接收媒体呈现描述MPD文件，所述MPD文件包括优先级指示信息；其中，所述优先级指示信息用于指示一个或多个覆盖层的优先级；
处理模块，用于根据所述优先级指示信息处理所述一个或多个覆盖层。
27.根据权利要求26所述的客户端，其特征在于，所述处理模块具体用于：
在所述客户端的处理资源不足的条件下，根据所述客户端的处理资源所支持处理的覆盖层个数，按照所述一个或多个覆盖层的优先级从高到低的顺序处理所述个数的覆盖层。
28.根据权利要求26或27所述的客户端，其特征在于，所述优先级指示信息为所述MPD文件中的覆盖层描述字的属性信息。
29.根据权利要求28所述的客户端，其特征在于，
所述覆盖层描述字的属性信息还包括一个或多个覆盖层的标识。
30.根据权利要求26-29任意一项所述的客户端，其特征在于，所述优先级指示信息包括一个优先级值，所述一个优先级值用于指示所述一个或多个覆盖层的优先级。
31.根据权利要求26-29任意一项所述的客户端，其特征在于，所述一个或多个覆盖层为M个覆盖层，所述优先级指示信息包括M个优先级值，所述M个优先级值用于指示所述M个覆盖层的优先级，M为正整数。
32.根据权利要求31所述的客户端，其特征在于，所述M个优先级值中的第n个值用于指示所述M个覆盖层中的第n个覆盖层的优先级，n为小于或者等于M的正整数。
33.一种服务器，其特征在于，包括：
处理模块，用于确定一个或多个覆盖层的优先级；
发送模块，用于发送媒体呈现描述MPD文件，所述MPD文件包括优先级指示信息；其中，所述优先级指示信息用于指示所述一个或多个覆盖层的优先级。
34.根据权利要求33所述的服务器，其特征在于，所述优先级指示信息为所述MPD文件中的所述一个或多个覆盖层的覆盖层描述字的属性信息。
35.根据权利要求34所述的服务器，其特征在于，所述覆盖层描述字的属性信息还包括所述一个或多个覆盖层的标识。
36.根据权利要求33-35任意一项所述的服务器，其特征在于，所述优先级指示信息包括一个优先级值，所述一个优先级值用于指示所述一个或多个覆盖层的优先级。
37.根据权利要求33-35任意一项所述的服务器，其特征在于，所述一个或多个覆盖层为M个覆盖层，所述优先级指示信息包括M个优先级值，所述M个优先级值用于指示所述M个覆盖层的优先级，M为正整数。
38.一种客户端，其特征在于，包括：
接收模块，用于接收媒体呈现描述MPD文件，所述MPD文件包括覆盖层的解码能力要求指示信息；所述解码能力要求指示信息用于指示解码所述覆盖层所需的解码能力的要求；
处理模块，用于根据所述覆盖层的解码能力要求指示信息处理所述覆盖层。
39.根据权利要求38所述的客户端，其特征在于，所述所需的解码能力包括所需要支持的图像分辨率。
40.根据权利要求39所述的客户端，其特征在于，所述解码能力要求指示信息包括解码能力宽度要求指示信息和解码能力高度要求指示信息；所述解码能力宽度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的宽度，所述解码能力高度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的高度；其中，所述所需要支持的图像分辨率为所需要支持的图像分辨率的宽度与所需要支持的图像分辨率的高度的乘积。
41.根据权利要求38-40任意一项所述的客户端，其特征在于，覆盖层的解码能力要求指示信息为所述MPD文件中的所述覆盖层的覆盖层描述字的属性信息。
42.根据权利要求41所述的客户端，其特征在于，所述覆盖层描述字的属性信息还包括覆盖层的标识。
43.根据权利要求41或42所述的客户端，其特征在于，所述覆盖层描述字位于所述MPD文件的自适应集中。
44.根据权利要求38-43任意一项所述的客户端，其特征在于，所述覆盖层包括一个或多个覆盖层，
所述处理模块具体用于：
如果所述客户端的解码能力大于所述一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，处理所述覆盖层。
45.根据权利要求38-44任意一项所述的客户端，其特征在于，所述MPD文件包括优先级指示信息；其中，所述优先级指示信息用于指示一个或多个覆盖层的优先级；
所述处理模块具体用于：
如果所述客户端的解码能力小于所述一个或多个覆盖层的解码能力要求指示信息指示的解码能力要求的和，根据所述一个或多个覆盖层的优先级选择优先处理的覆盖层进行处理，所述客户端的解码能力大于或者等于所述优先处理的覆盖层的解码能力要求指示信息指示的解码能力要求的和。
46.一种服务器，其特征在于，包括：
处理模块，用于确定覆盖层的解码能力要求；
发送模块，用于发送媒体呈现描述MPD文件，所述MPD文件包括覆盖层的解码能力要求指示信息；所述解码能力要求指示信息用于指示解码所述覆盖层所需的解码能力的要求。
47.根据权利要求46所述的服务器，其特征在于，所述所需的解码能力包括所需要支持的图像分辨率。
48.根据权利要求47所述的服务器，其特征在于，所述解码能力要求指示信息包括解码能力宽度要求指示信息和解码能力高度要求指示信息；所述解码能力宽度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的宽度，所述解码能力高度要求指示信息用于指示解码所述覆盖层所需要支持的图像分辨率的高度；其中，所述所需要支持的图像分辨率为需要支持的图像分辨率的宽度与所需要支持的图像分辨率的高度的乘积。
49.根据权利要求46-48任意一项所述的服务器，其特征在于，所述覆盖层的解码能力要求指示信息为所述MPD文件中的所述覆盖层的覆盖层描述字的属性信息。
50.根据权利要求49所述的服务器，其特征在于，所述覆盖层描述字的属性信息还包括覆盖层的标识。
CN201811142720.6A 2018-09-28 2018-09-28 传输媒体数据的方法、客户端和服务器 Active CN110971564B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110328919.3A CN113206826B (zh) 2018-09-28 2018-09-28 传输媒体数据的方法、客户端和服务器
CN201811142720.6A CN110971564B (zh) 2018-09-28 2018-09-28 传输媒体数据的方法、客户端和服务器
PCT/CN2019/108761 WO2020063924A1 (zh) 2018-09-28 2019-09-27 传输媒体数据的方法、客户端和服务器
EP19865840.3A EP3860120B1 (en) 2018-09-28 2019-09-27 Method for transmitting media data, and client and server
US17/213,736 US11418567B2 (en) 2018-09-28 2021-03-26 Media data transmission method, client, and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811142720.6A CN110971564B (zh) 2018-09-28 2018-09-28 传输媒体数据的方法、客户端和服务器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110328919.3A Division CN113206826B (zh) 2018-09-28 2018-09-28 传输媒体数据的方法、客户端和服务器

Publications (2)

Publication Number Publication Date
CN110971564A true CN110971564A (zh) 2020-04-07
CN110971564B CN110971564B (zh) 2021-03-30

Family

ID=69952453

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110328919.3A Active CN113206826B (zh) 2018-09-28 2018-09-28 传输媒体数据的方法、客户端和服务器
CN201811142720.6A Active CN110971564B (zh) 2018-09-28 2018-09-28 传输媒体数据的方法、客户端和服务器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110328919.3A Active CN113206826B (zh) 2018-09-28 2018-09-28 传输媒体数据的方法、客户端和服务器

Country Status (4)

Country Link
US (1) US11418567B2 (zh)
EP (1) EP3860120B1 (zh)
CN (2) CN113206826B (zh)
WO (1) WO2020063924A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079781A (zh) * 2020-08-18 2022-02-22 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及存储介质
CN114554243A (zh) * 2020-11-26 2022-05-27 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
CN116048617A (zh) * 2022-08-16 2023-05-02 荣耀终端有限公司 信息获取方法、装置、芯片、电子设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230345073A1 (en) * 2022-03-16 2023-10-26 Meta Platforms Technologies, Llc Systems and methods for providing auxiliary manifests for media items

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719563B2 (en) * 2003-12-11 2010-05-18 Angus Richards VTV system
CN106688219A (zh) * 2014-09-05 2017-05-17 高通股份有限公司 对用于无线通信系统中的视频流式传输的叠加内容的同步和控制
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN107251521A (zh) * 2015-01-07 2017-10-13 三星电子株式会社 用于在通信系统中发送和接收媒体信息的方法和装置
CN111133763A (zh) * 2017-09-26 2020-05-08 Lg 电子株式会社 360视频系统中的叠加处理方法及其设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456015B2 (en) * 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
CN102469072A (zh) * 2010-11-08 2012-05-23 华为技术有限公司 流媒体服务方法、系统及客户端
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
KR20140040151A (ko) * 2011-06-21 2014-04-02 엘지전자 주식회사 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
US9357275B2 (en) * 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
US9160801B1 (en) * 2012-10-01 2015-10-13 Maritime Telecommunications Network Inc Local event overlays to global social media network
WO2015007795A1 (en) * 2013-07-16 2015-01-22 Bitmovin Gmbh Apparatus and method for cloud assisted adaptive streaming
EP2973228B1 (en) * 2013-07-26 2019-08-28 Huawei Technologies Co., Ltd. Spatial adaptation in adaptive streaming
US9674544B2 (en) * 2013-11-25 2017-06-06 Qualcomm Incorporated POC value design for multi-layer video coding
US20150163564A1 (en) * 2013-12-10 2015-06-11 Aimee-Michelle Degolyer Content distribution/consumption with tertiary content
JP6358460B2 (ja) * 2014-04-04 2018-07-18 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
JP6508206B2 (ja) * 2014-07-01 2019-05-08 ソニー株式会社 情報処理装置および方法
EP3092780B1 (en) * 2014-07-03 2020-04-29 Huawei Technologies Co., Ltd. Signaling and handling of forensic marking for adaptive streaming
US9645878B2 (en) * 2014-07-09 2017-05-09 Qualcomm Incorporated Error handling for files exchanged over a network
US10917669B2 (en) * 2015-09-07 2021-02-09 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US20170094288A1 (en) * 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
EP3466076A1 (en) * 2016-05-26 2019-04-10 VID SCALE, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
CN108574881B (zh) * 2017-03-07 2020-08-25 华为技术有限公司 一种投影类型推荐方法、服务器及客户端
EP3804335A4 (en) * 2018-06-01 2022-03-09 Nokia Technologies Oy METHOD AND APPARATUS FOR SIGNALING USER INTERACTIONS ON AN OVERLAY AND GROUPING OF OVERLAYS TO THE BACKGROUND FOR OMNIDIRECTIONAL CONTENT
WO2019235849A1 (ko) * 2018-06-06 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
US10931930B2 (en) * 2018-07-06 2021-02-23 Mediatek Singapore Pte. Ltd. Methods and apparatus for immersive media content overlays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719563B2 (en) * 2003-12-11 2010-05-18 Angus Richards VTV system
CN106688219A (zh) * 2014-09-05 2017-05-17 高通股份有限公司 对用于无线通信系统中的视频流式传输的叠加内容的同步和控制
CN107251521A (zh) * 2015-01-07 2017-10-13 三星电子株式会社 用于在通信系统中发送和接收媒体信息的方法和装置
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN111133763A (zh) * 2017-09-26 2020-05-08 Lg 电子株式会社 360视频系统中的叠加处理方法及其设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079781A (zh) * 2020-08-18 2022-02-22 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及存储介质
CN114079781B (zh) * 2020-08-18 2023-08-22 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及存储介质
CN114554243A (zh) * 2020-11-26 2022-05-27 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
CN114554243B (zh) * 2020-11-26 2023-06-20 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
CN116048617A (zh) * 2022-08-16 2023-05-02 荣耀终端有限公司 信息获取方法、装置、芯片、电子设备及介质
CN116048617B (zh) * 2022-08-16 2024-05-24 荣耀终端有限公司 信息获取方法、装置、芯片、电子设备及介质

Also Published As

Publication number Publication date
US20210218792A1 (en) 2021-07-15
US11418567B2 (en) 2022-08-16
EP3860120A4 (en) 2021-08-25
CN113206826A (zh) 2021-08-03
EP3860120B1 (en) 2023-04-26
WO2020063924A1 (zh) 2020-04-02
CN113206826B (zh) 2022-10-04
EP3860120A1 (en) 2021-08-04
CN110971564B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN110971564B (zh) 传输媒体数据的方法、客户端和服务器
RU2716156C1 (ru) Способ и устройство для составления всенаправленного изображения в выходной формат макета
US11902350B2 (en) Video processing method and apparatus
US11032571B2 (en) Image processing method, terminal, and server
US10404991B2 (en) Method of displaying a region of interest in a video stream
CN108271044B (zh) 一种信息的处理方法及装置
US10897646B2 (en) Video stream transmission method and related device and system
US20210105313A1 (en) Methods and apparatus for signaling a region in spatially grouped immersive media data tracks
US20210112236A1 (en) Method, apparatus and stream for volumetric video format
CN113453046B (zh) 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
CN109587478B (zh) 一种媒体信息的处理方法及装置
US11659206B2 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
WO2018177373A1 (en) Method and apparatus for signaling spherical region information in isobmff
JP2021510281A (ja) ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器
EP3547703A1 (en) Method, apparatus and stream for volumetric video format
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
CN112771878A (zh) 处理媒体数据的方法、客户端和服务器
JP2020516133A (ja) 仮想現実アプリケーションに対して最も関心のある領域に関連付けられた情報をシグナリングするためのシステム及び方法
WO2020063850A1 (zh) 一种处理媒体数据的方法、终端及服务器
CN116781913A (zh) 点云媒体的编解码方法及相关产品
CN114080799A (zh) 处理体数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant