CN107005497A - Mmt中媒体数据的低延迟消费的信令和操作的方法和装置 - Google Patents

Abstract

提供了用于至少一个基站与用户设备之间的无线通信的方法和装置，该用户设备包括收发器和处理电路。收发器被配置为接收包括具有报头的控制消息和与多媒体内容的片段有关的有效载荷的分组。报头包括指示控制消息是否为低延迟消费消息的消息标识符、控制器消息的长度以及控制消息的版本。处理电路被配置为基于消息标识符来确定控制消息是否为低延迟消费消息。处理电路还被配置为响应于控制消息为低延迟消费消息、在接收多媒体内容的片段的报头之前，基于有效载荷和控制消息来配置分组。

Description

MMT中媒体数据的低延迟消费的信令和操作的方法和装置

技术领域

本申请通常涉及传送(transmission)系统中的媒体数据递送(delivery)，并且更具体地，涉及运动图像专家组(MPEG)媒体传输(MMT)协议(MMTP)去封装缓冲器的信令(signaling)和操作。

背景技术

MMT是以下数字容器标准或格式：其规定了用于异构IP网络环境上的多媒体服务的编码媒体数据的递送的技术。所递送的编码媒体数据包括以下两者：视听媒体数据，其需要在指定的时间对特定单元的数据的同步解码和呈现，即，时控数据；以及其他类型的数据，其基于服务的上下文或用户的交互在任意时间解码和呈现，即，非时控数据。

根据下述假定来设计MMT：将使用诸如实时传输协议(RTP)、传输控制协议(TCP)、用户数据报协议(UDP)等的互联网协议(IP)，通过基于分组的递送网络来递送编码媒体数据。还考虑到不同的递送环境的特性来设计MMT。

发明内容

技术问题

本公开提供了MMTP去封装缓冲器的信令和操作。

技术方案

在第一实施例中，提供了一种用于在至少一个基站与包括收发器和处理电路的用户设备之间的无线通信的装置。收发器可操作为通过向至少一个基站传送射频信号并且通过从至少一个基站接收射频信号来与至少一个基站通信。收发器被配置为接收包括具有报头的控制消息和与多媒体内容的片段有关的有效载荷的分组。报头包括指示控制消息是否为低延迟消费消息的消息标识符、控制消息的长度以及控制消息的版本。处理电路被配置为基于消息标识符来确定控制消息是否为低延迟消费消息。处理电路还被配置为响应于控制消息为低延迟消费消息、在接收多媒体内容的片段的报头之前，基于有效载荷和控制消息来配置分组。

在第二实施例中，提供了一种用于至少一个基站与用户设备之间的无线通信的方法。该方法包括接收包括具有报头的控制消息和与多媒体内容的片段有关的有效载荷的分组。报头包括指示控制消息是否为低延迟消费消息的消息标识符、控制消息的长度以及控制消息的版本。该方法还包括基于消息标识符来确定控制消息是否为低延迟消费消息。该方法还包括响应于控制消息为低延迟消费消息、在接收多媒体内容的片段的报头之前，基于有效载荷和控制消息来配置分组。

在第三实施例中，提供了一种用于至少一个基站与包括收发器和处理电路的用户设备之间的无线通信的系统。收发器可操作为通过向至少一个基站传送射频信号并且通过从至少一个基站接收射频信号来与至少一个基站通信。收发器被配置为接收包括具有报头的控制消息和与多媒体内容的片段有关的有效载荷的分组。报头包括指示控制消息是否为低延迟消费消息的消息标识符、控制器消息的长度以及控制消息的版本。处理电路被配置为基于消息标识符来确定控制消息是否为低延迟消费消息。处理电路还被配置为响应于控制消息为低延迟消费消息、在接收多媒体内容的片段的报头之前，基于有效载荷和控制消息来配置分组。

本发明的有利效果

根据附图、说明书和权利要求书，对于本领域技术人员其他技术特征将是容易意识到的。

附图说明

为了更加全面的理解本公开及其优点，现在结合附图参考下面的描述，在附图中：

图1示出了在其中可以实施本公开的各种实施例的示例通信系统；

图2和图3示出了根据本公开的通信系统中的示例设备；

图4示出了根据本公开的MMTP数据传输环境中的MMTP输入/输出的示例框图；

图5示出了根据本公开用于模拟接收器侧的接收器行为并且用于估计缓冲器延迟和大小需求的示例接收器缓冲器模型的框图；

图6示出了根据本公开用于通过客户端设备来管理所接收到的数据的处理；以及

图7示出了根据本公开用于通过服务器来指示呈现时间的处理。

具体实施方式

在进行下面的详细描述之前，陈述贯穿本专利文献所使用的特定的词语和短语的定义可能是有利的。术语“耦合”及其衍生词指的是两个或更多个元件之间的任何的直接通信或间接通信，无论这些元件是否彼此物理接触。术语“传送”、“接收”和“通信”及其衍生词包含直接通信和间接通信两者。术语“包括”和“包含”及其衍生词意味着包括但是不限于。术语“或”是包含性的，意味着和/或。短语“与…相关联”及其衍生词意味着包括、被包括在…内、与…互联、包含、被包含在…内、连接到…或与…连接、耦合到…或与…耦合、与…可通信、与…协作、并置、或接近于、绑定到或与…绑定、具有、具有…的属性、具有…的关系或具有与…的关系等等。术语“控制器”意味着控制至少一个操作的任何设备、系统或其一部分。这样的控制器可以在硬件或者硬件与软件和/或固件的组合中实施。与任何特定控制器相关联的功能可以被集中或分布，无论本地地还是远程地。短语“…中的至少一个”当与项的列表一起使用时，意味着可以使用所列举的项中的一个或多个的不同组合并且可能需要列表中的仅一个项。例如，“A、B和C中的至少一个”包括下面的组合中的任何一个：A、B、C、“A和B”、“A和C”、“B和C”以及“A和B和C”。

此外，以下描述的各种功能可以通过一个或多个计算机程序来实施或支持，计算机程序中的每个由计算机可读程序代码形成并且在计算机可读介质中被具体化。术语“应用”和“程序”指的是针对合适的计算机可读程序代码中的实施方式所适配的一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码以及可运行代码。短语“计算机可读介质”包括能够通过计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动、压缩盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂态”计算机可读介质排除传输暂时的电信号或其他信号的有线、无线、光学或其他通信链路。非暂态计算机可读介质包括其中可以永久地存储数据的媒介以及其中数据可以被存储并且稍后被重写的媒介，诸如可重写光学盘或可擦除存储器设备。

贯穿本专利文献提供了对于其他特定词语和短语的定义。本领域普通技术人员应当理解，在许多——如果不是大部分——实例中，这样的定义适用于这样所定义的词语和短语的之前的使用以及将来的使用。

在本专利文献中，下面讨论的图1至图7以及被用来描述本公开的原理的各种实施例仅以例示的方式并且不应当以任何方式被解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何合适地布置的无线通信系统中实施。

在下述文档和标准描述中讨论了MMT编码和媒体递送：ISO/IEC JTC 1/SC29/WG11，High efficiency coding and media delivery in heterogeneous environments-Part 1:MPEG Media Transport(MMT)，July 2012(ISO/IEC JTC 1/SC29/WG11，异构环境中的高效编码和媒体递送-部分1：MPEG媒体传输(MMT)，2012年7月)，其以此方式如同在本文中完整地陈述那样并入本公开。为了在异构IP网络环境上的编码媒体数据的高校的和有效的递送，MMT提供了：逻辑模型，用于构建由针对混搭式应用的各种组件所构成的内容；数据结构，传达关于用于递送分层处理——诸如分组化和匹配——的编码媒体数据的信息；分组化方法和分组结构，用于递送对于在TCP或UDP上所使用的特定类型的媒体或编码方法不可知的媒体内容，包括混合递送；用于管理媒体内容的呈现和递送的信令消息的格式；以及要被跨越分层进行交换以促进跨层通信的消息的格式。

MMT定义了三个功能区域，包括封装、递送以及信令。封装功能区域定义了要通过MMT兼容实体处理的媒体内容的逻辑结构、MMT封包以及数据单位的格式。MMT封包规定了包括媒体内容的组成以及媒体内容之间的关系，以提供自适应递送所需要的信息。数据单位的格式被定义为将要被存储或要被输送的编码媒体封装为递送协议的有效载荷，并且在存储与输送之间容易地转换。递送功能区域定义了应用层协议和有效载荷的格式。与用于多媒体的递送的传统应用层协议相比，应用层协议针对MMT封包的递送提供增强的特征，包括复用。有效载荷格式被定义为输送对特定媒体类型或编码方法不可知的编码媒体数据。信令功能区域定义了用于管理MMT封包的递送和消费的消息的格式。用于消费管理的消息被用于信号发送MMT封包的结构，并且用于递送管理的消息被用于信号发送有效载荷格式的结构和协议的配置。

MMT定义了用于诸如音频、视频的时间连续多媒体以及诸如小工具、文件等的其他静态内容的递送的新的框架。MMT规定了用于向接收实体递送MMT封包的协议(即，MMTP)。MMTP信号发送MMTP封包的传送时间作为协议报头的一部分。该时间使得接收实体能够通过检查每个传入的MMT分组的传送时间和接收时间来执行去抖动。

本公开的实施例认识到并且考虑到MMT规范使得能够进行ISOBMFF的低延迟传送但是未提供用于低延迟消费的适当的信息。

图1示出了在其中可以实施本公开的各种实施例的示例通信系统100。图1中所示的通信系统100的实施例仅用于例示。可以使用通信系统100的其他实施例而不背离本公开的范围。

如图1中所示，系统100包括网络102，其促进系统100中的各种组件之间的通信。例如，网络102可以在网络地址之间传达互联网协议(IP)分组、帧中继帧、异步传输模式(ATM)小区或其他信息。网络102还可以是包括广播网络——诸如线缆和卫星通信链路——的异构网络。网络102可以包括一个或多个局域网(LAN)：城域网(MAN)；广域网(WAN)；诸如互联网的全球网络的全部或一部分；或者在一个或多个位置处的任何其他的通信系统。

网络102促进至少一个服务器104与各种客户端设备106至115之间的通信。每个服务器104包括可以为一个或多个客户端设备提供计算服务的任何合适的计算或处理设备。每个服务器104例如可以包括一个或多个处理设备、存储指令和数据的一个或多个存储器以及促进网络102上的通信的一个或多个网络接口。

每个客户端设备106至115表示任何合适的计算或处理设备，其经由网络102与至少一个服务器或其他计算设备(一个或多个)进行交互。在此示例中，客户端设备106至115包括桌面型计算机106、移动电话或智能电话108、个人数字助理(PDA)110、膝上型计算机112、平板式计算机114以及机顶盒和/或电视机115。然而，在通信系统100中可以使用任何其他或额外的客户端设备。

在此示例中，一些客户端设备108至114与网络102间接地通信。例如，客户端设备108至110经由一个或多个基站116——诸如，蜂窝式基站或e节点B——进行通信。另外，客户端设备112至115经由一个或多个无线接入点118——诸如，IEEE 802.11无线接入点——进行通信。注意，这些仅出于例示，并且每个客户端设备可以与网络102直接地通信或经由任何合适的中间的设备(一个或多个)或网络(一个或多个)与网络102间接地通信。

如以下更详细地描述地，网络102使用MMTP来促进例如从服务器104到客户端设备106至115的媒体数据——诸如，图像、视频和/或音频——的通信。假设还考虑到不同的递送环境的特性来设计MMT，服务器104可以使用MMTP经由网络向客户端设备106至115广播或流传送媒体数据。额外地，服务器104可以与媒体数据一起或与媒体数据分离地经由消息提供缓冲器去除模式信令，以指示MMTP去封装缓冲器操作并且管理MMTP去封装缓冲器。

尽管图1示出了通信系统100的一个示例，但是可以对图1进行各种改变。例如，系统100可以以任何合适的布置包括任何数量的每个组件。通常，计算和通信系统具有多种广泛配置，并且图1不将本公开的范围限制到任何具体的配置。虽然图1示出了在其中可以使用在本专利文献中所公开的各种特征的一个操作环境，但是可以在任何其他合适的系统中使用这些特征。

图2和图3示出了根据本公开的计算系统中的示例设备。具体地，图2示出了示例服务器200，而图3示出了示例客户端设备300。服务器200可以表示图1中的服务器104，而客户端设备300可以表示图1中的客户端设备106至115中的一个或多个。

如在图2中所示地，服务器200包括总线系统205，其支持至少一个控制器210、至少一个存储设备215、至少一个通信单元220以及至少一个输入/输出(I/O)单元225之间的通信。

控制器210运行可以被加载到存储器230中的指令。控制器210可以以任何合适的布置包括任何合适的数量和类型的处理器或其他设备。示例类型的控制器210包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路以及分立电路。

存储器230和永久存储装置235是存储设备215的示例，其表示能够存储并且促进信息(诸如，数据、程序代码和/或暂时的或者永久的其他合适的信息)的取回的任何结构(一个或多个)。存储器230可以表示随机存储器或者任何其他合适的易失性或非易失性存储设备(一个或多个)。永久存储装置235可以包含支持数据的长期存储的一个或多个组件或设备，诸如只读存储器、硬驱、闪速存储器或光盘。

通信单元220支持与其他系统或设备的通信。例如，通信单元220可以包括促进网络102上的通信的网络接口卡或无线收发器。通信单元220可以支持通过任何合适的物理或无线通信链路(一个或多个)进行的通信。

I/O单元225允许数据的输入和输出。例如，I/O单元225可以为通过键盘、鼠标、键区、触摸屏或其他合适的输入设备进行的用户输入提供连接。I/O单元225还可以将输出发送到显示器、打印机或其他合适的输出设备。

注意，虽然图2被描述为表示图1的服务器104，但是在客户端设备106至115中的一个或多个中可以使用相同或相似的结构。例如，膝上型或桌面型计算机可以具有与图2中所示的结构相同或相似的结构。

如以下更详细地描述地，服务器200与媒体数据一起或与媒体数据分离地经由消息发送媒体数据和/或缓冲器去除模式信令，以指示MMTP去封装缓冲器操作并且管理MMTP去封装缓冲器。在一个示例中，服务器200可以是用于经由IP网络广播媒体数据的广播实体。

如图3中所示，客户端设备300包括天线305、收发器310、传送(TX)处理电路315、麦克风320以及接收(RX)处理电路325。客户端设备300还包括扬声器330、控制器340、输入/输出(I/O)接口(IF)345、键区350、显示器355以及存储器360。存储器360包括操作系统(OS)361和一个或多个应用363。

收发器310从天线305接收由系统中的另一个组件所传送的传入RF信号。收发器310下转换传入RF信号，以生成中间频率(IF)或基带信号。IF或基带信号被发送到RX处理电路325，其通过滤波、解码、和/或数字化基带或IF信号来生成处理后的基带信号。RX处理电路325向扬声器330(诸如，对于语音数据)或向控制器340传送处理后的基带信号以用于进一步处理(诸如，对于web浏览数据)。

TX处理电路315接收来自麦克风320的模拟或数字语音数据，或者来自控制器340的其他传出基带数据(诸如web数据、电子邮件或交互式视频游戏数据)。TX处理电路315编码、复用和/或数字化传出基带数据以生成处理后的基带或IF信号。收发器310从TX处理电路315接收传出的处理后的基带或IF信号，并且将基带或IF信号上转换为经由天线305传送的RF信号。

控制器340可以包括一个或多个处理器或其他处理设备，并且运行存储在存储器360中的基本操作系统361以便控制客户端设备300的总体操作。例如，控制器340可以根据熟知的原理来控制通过收发器310、RX处理电路325以及TX处理电路315进行的正向信道信号的接收和反向信道信号的传送。在一些实施例中，控制器340包括至少一个微处理器或微控制器。

控制器340还能够运行驻留在存储器360中的其他处理和程序。控制器340可以根据运行中的处理的要求将数据移动到存储器360中或移动出存储器360。在一些实施例中，控制器340被配置为基于操作系统361或响应于从外部设备或运营商接收到的信号来运行应用363。控制器340还耦合到I/O接口345，其为客户端设备300提供了连接到诸如膝上型计算机和手持式计算机的其他设备的能力。I/O接口345是这些配件与控制器340之间的通信路径。

控制器340还耦合到键区350和显示器355。客户端设备300的操作者可以使用键区350来将数据输入到客户端设备300中。显示器355可以是能够渲染诸如来自网站的文字和/或至少有限的图片的液晶显示器或其他显示器。

存储器360耦合到控制器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一部分可以包括闪速存储器或其他只读存储器(ROM)。

如以下更详细地描述地，客户端设备300接收低延迟消费(LDC)消息。例如，客户端设备300可以根据LDC接收并且处理媒体数据。在一个示例中，客户端设备300可以是经由IP网络接收广播媒体数据的移动设备。

尽管图2和图3示出了计算系统中的设备的示例，但是可以对图2和图3进行各种改变。例如，图2和图3中的各种组件可以被组合、进一步细分或被省略，并且额外的组件可以根据特定需要被添加。作为特定示例，控制器340可以被划分成多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。另外，虽然图3示出客户端设备300被配置为移动电话或智能电话，但是客户端设备可以被配置为操作为其他类型的移动或固定设备，例如，包括但是不限于，机顶盒、电视以及媒体流传送设备。另外，当具有计算和通信网络时，客户端设备和服务器可以具有各种广泛的配置，并且图2和图3不将本公开限制到任何特定的客户端设备或服务器。

图4示出了根据本公开的MMTP数据传输环境400中的MMTP输入/输出的示例框图。在该示意性示例中，发送实体405——例如，诸如图2中的服务器200的服务器——根据MMTP、经由传送介质向接收实体410——例如，诸如图3中的客户端设备300的客户端设备——发送媒体数据。在发送实体405处根据MMTP来处理媒体数据415。例如，发送实体405可以执行用于作为MMT处理单元(MPU)或MMT分割单元(MFU)(例如，MPU的分割)的媒体数据的封装、编码、递送和信号发送。然后，处理后的媒体数据根据MMTP被发送(例如，作为分组)到接收实体410以用于处理(例如，去封装、解码等)。然后，在接收实体410处被处理的媒体数据作为MPU和/或MFU被向上传递到上层编程(例如，应用层程序，诸如媒体层)，以用于在完成媒体数据的递送视觉和/或听觉显示设备上向用户进行呈现。

图5示出了根据本公开用于模拟接收器侧的接收器行为并且用于估计缓冲器延迟和大小要求的示例接收器缓冲器模型500的框图。在本公开的各种实施例中，发送实体405——诸如媒体递送服务器(或其他MMT感知节点)——计算、确定和/或识别用于点到多点传送系统中的媒体数据递送的固定的端到端延迟。例如，发送实体405可以利用模式500来确定在接收实体410的接收器中关于接收约束对分组流所执行的媒体数据处理的效果。例如，发送实体405可以利用模型来确定需要的缓冲延迟和需要的缓冲器大小，并且将该信息传达到接收媒体数据的实体。

在该示意性示例中，FEC解码缓冲器505是用于估计与FEC解码相关联的延迟和/或缓冲器大小要求的模型。FEC解码对于许多应用是典型的，其中，对于从信道错误中恢复或者当网络拥塞可能导致分组丢弃或过多延迟时，低层传送可能不是足够的。为了执行FEC解码，接收实体410使用缓冲器，其中，对传入分组进行存储直到足够的源(“S”)和修复数据(“P”校验数据)可用于执行FEC解码为止。

在该示意性实施例中，发送实体405使用FEC解码缓冲器505的模型来确定接收实体410关于FEC解码将要采取的、用于估计与FEC解码相关联的延迟的动作。换言之，发送实体405使用FEC解码缓冲器505的模型来预测接收实体410所采取的用于估计FEC解码延迟的动作。通过发送实体405进行的FEC解码缓冲器505的该建模在FEC解码缓冲器505被假定为初始地为空的情况下开始。接下来，针对具有传送时间戳ts的每个传入分组i，如果buffer_occupancy+packet_size<max_buffer_size，则接收实体410使用FEC解码缓冲器505对分组i进行缓冲。否则，接收实体410丢弃分组i，因为其不符合缓冲器模型。然后，接收实体410确定FEC是否被应用到分组i。如果FEC被应用到分组i，则接收实体410确定分组i所属的源块j，确定源块j的第一分组的插入时间t，在时间t+FEC_buffer_time处将源块j的所有分组(如果需要，则在FEC校正之后)移动到去抖动滤波器，以及丢弃修复分组。发送实体405利用FEC_buffer_time作为从源块的第一分组的接收起直到尝试FEC解码为止的、对于FEC解码所需要的缓冲器时间。通常基于FEC块大小来计算该时间。

去抖动缓冲器510是由发送实体所使用的、用于估计与分组的去抖动——即，分组的延迟抖动的去除——相关联的延迟和/或缓冲器大小要求的模型。去抖动缓冲器根本上确保MMP分组经历了从源到MMTP协议堆栈输出的固定的传送延迟，假定为最大传送延迟。接收实体410可以丢弃经历大于最大传送延迟的传送延迟的数据单位，因为其非常晚。

通过发送实体405进行的去抖动缓冲器510的该建模在去抖动缓冲器被假定为初始地为空的情况下开始。然后，随着分组到达，接收实体410将MMTP分组插入到去抖动缓冲器510。然后，接收实体410在时间ts+Δ处去除MMTP分组，其中，ts是MMTP分组的传送时间戳而Δ是针对媒体数据所信号发送的固定的端到端延迟。在应用去抖动之后，正确地到达(或通过FEC/重新传送恢复)的所有MMTP分组将经历相同的端到端延迟。

MMTP去封装缓冲器515是由发送实体所使用的、用于估计在将输出传递到上层之前与MMTP处理相关联的延迟和/或缓冲器大小要求的模型。MMTP处理器的输出可以是MFU有效载荷(在低延迟操作中)、完整的电影片段或完整的MPU。依赖于其大小，MPU可以被分割为更小的分组，或者可以被聚集为更大的分组。然后，作为MMTP处理的一部分，对分组执行去封装(MMTP分组和有效载荷报头的去除)以及任何需要的去分割/去聚集。该过程可能需要一些缓冲延迟——被称为去封装延迟——以当MPU被分割为多个MMTP分组时执行组装。然而，在该示意性实施例中，去封装延迟可以不被当作固定的端到端延迟的一部分，并且可以通过将MPU整体地分割为多个MMTP分组来确保用于由编码媒体层进行的消费的MPU的可用性，而与去封装延迟无关。虽然被发送实体405用作模型，但是缓冲器505、510以及515中的每个可以例如被实施在接收实体的存储器中，诸如客户端设备300的存储器360中。

在本公开的各种实施例中，MMTP去封装缓冲器515可以如下地操作。MMTP去封装缓冲器515，当初始地为空时，在通过去抖动缓冲器510执行了去抖动之后接收MMTP分组。对于输送聚集的有效载荷的MMTP分组，接收实体410去除分组和有效载荷报头，并且提取每个单独的数据单元。对于输送被分割的有效载荷的MMTP分组，分组被保持在缓冲器中直到正确地接收所有相对应的片段为止，或者直到接收到不属于同一分割数据单位的分组为止。如以下更详细地讨论地，依赖于客户端的操作模式，如果恢复了完整的MPU、电影片段或单个MFU，则发送实体405向诸如呈现层的上层转发重新构建后的数据，以用于向用户进行显示。

如以上所讨论地，LDC定义了在接收诸如电影片段报头的元数据之前用于多个采样的呈现次序。本公开的实施例进一步提供了用于信号发送计算在开始从MMTP去封装缓冲器515去除数据之前每个采样的呈现时间所使用的和/或所需要的信息的消息。

因此，本公开的实施例提供了低延迟消费(LDC)消息，其提供了在接收到诸如电影片段报头的元数据之前由客户端对媒体数据进行解码和呈现所需要的信息。该消息指示每个采样的持续时间固定，如通过追踪扩展框(Track Extend Box)中的default_sample_duration所信号发送地，并且跨越资产编码依赖关系结构是固定的。当使用此消息时，MPU的第一采样的解码时间的值比MPU的第一采样的呈现时间小了fixed_presentation_time_offset与sample_composition_time_offset_value的最大值的和，所配对的sample_composition_time_offset_sign为“1”。

以下表格1提供了用于LDC消息的示例语法。

表格1

[Table 1]

在该示意性示例中，“message_id”指示LDC消息的标识符，并且“Version(版本)”指示LDC消息的版本。例如，MMT接收实体(例如，客户端设备300)可以使用此字段来检查所接收到的LDC消息的版本。此外，“length(长度)”以字节来指示从下一字段的第一字节起到LDC消息的最后一个字节所计数的LDC消息的长度。对于此字段，值“0”可能不是有效的。接下来，“base_presentaion_time_offset”以微秒提供了关于解码时间与呈现时间之间的时间差异的信息。每个采样的呈现时间可以以此值大于解码时间。这可以不包括由于对解码后的媒体数据重新排序所引发的采样的解码时间与呈现时间之间的任何差异。

额外地，“coding_dependency_structure_flag”提供了解码顺序与采样的呈现顺序彼此不同的指示。如果此标志被设置为“0”，则解码顺序应当与采样的呈现顺序相同。如果此标志被设置为“1”，则解码顺序应当与采样的呈现顺序不同，并且在此消息中应当提供详细的合成时间偏移以用于客户端计算合适的解码时间和采样的呈现时间。此外，“period_of_intra_coded_sample”提供了两个独立地编码的采样之间的采样的数量。

图6示出了根据本公开用于通过客户端设备来管理所接收到的数据的处理600。例如，可以通过图4中的接收实体410来执行在图6中所描绘的处理。还可以通过图3中的客户端设备300来实施处理。

在客户端设备从缓冲器接收到关于数据的多个采样中的每个采样的呈现时间的信息的消息的情况下，开始处理(操作610)。例如，在操作610中，客户端设备从在客户端设备处的缓冲器接收包括关于数据的多个采样中的每个采样的呈现时间的信息的消息。该消息可以是LDC消息、可以利用其他MMT信令消息被包括和/或可以被包括在到客户端设备的流传送媒体内容的开始处。一个示例中，该缓冲器是图5中的MMTP去封装缓冲器515。在接收到该消息的时间附近，例如，在接收到该消息之后，客户端设备可以开始接收与该消息相关联的媒体数据传送。也可以在开始通过客户端设备接收媒体数据传送之后接收该消息。

然后，客户端设备计算多个采样中的每个采样的呈现时间(操作620)。例如，在操作620中，LDC消息可以包括呈现时间偏移的值、呈现时间偏移的符号、基本呈现时间偏移、独立地编码的采样之间的采样的数量、编码依赖关系结构标识等。

在示例实施例中，编码依赖关系结构标识指示采样的编码是否为与呈现顺序相同的顺序。呈现顺序是采样针对显示而被呈现的顺序。如果编码顺序与呈现顺序相同，则采样可以按照与它们被解码的顺序相同的顺序被去除。数据的采样可以代表帧。

在另一个示例实施例中，呈现时间可以通过将基本呈现时间偏移与正的或负的呈现时间偏移相加来计算。符号指示呈现时间偏移是正还是负，并且值指示呈现时间偏移的值。可以以微秒、毫秒或另外的类型的时间段来表示值。例如，如果基本呈现时间偏移是t+40，并且对于采样的呈现时间偏移是t+10，则对于该采样的呈现时间为t+50。

之后，客户端设备基于呈现时间从缓冲器中去除数据，并且将重新构建后的数据传递到上层(操作630)。例如，在操作630中，客户端设备可以基于呈现时间(例如，呈现时间偏移加上基本呈现时间偏移)去除数据。客户端设备将重新构建后的数据传递到上层，诸如呈现层，以用于在显示器上对用户进行呈现。

图7示出了根据本公开用于通过服务器来指示呈现顺序的处理700。例如，可以通过图4中的发送实体405来执行在图7中所描绘的处理。还可以通过图2中的服务器200来实施处理。

在服务器生成包括关于所接收到的数据的呈现顺序的信息的消息情况下，开始处理(操作710)。例如，在操作710中，消息可以包括每个采样的呈现时间。例如，服务器可以包括与数据的每个采样有关的值和符号。服务器还可以将指示基本呈现时间偏移的信息包括在消息中。

之后，服务器向客户端设备发送消息(操作720)。例如，在操作720中，服务器向客户端设备发送消息以信号发送从客户端设备的MMTP去封装缓冲器去除数据的操作和管理。在这些示例中，服务器可以与向客户端发送媒体数据的服务器是相同的服务器或是不同的服务器。

尽管图6和图7分别地示出了用于通过客户端设备管理所接收到的数据和通过服务器指示呈现顺序的处理的示例，但是可以对图6和图7进行各种改变。例如，虽然被示出为一系列步骤，但是每个图中的各个步骤可以重叠、并行地发生、以不同的次序发生或发生多次。

尽管已经参考示例性实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。旨在使得本公开包含这样的改变和修改，只要其落入在所附权利要求书的范围内即可。

本申请中的描述的任何部分不应当被错误地认为暗示任何特定的元件、步骤或功能是在权利要求范围中必须被包括的必要元素。本专利的主题的范围仅通过权利要求书来定义。

Claims (15)

1.一种用于与至少一个基站无线通信的用户设备，包括：

收发器，被配置为通过向所述至少一个基站传送射频信号并且通过从所述至少一个基站接收射频信号来与所述至少一个基站通信，并且被配置为接收包括具有报头的控制消息和与多媒体内容的片段有关的有效载荷的分组，

其中，所述报头包括：

指示控制消息是否为低延迟消费消息的消息标识符，

控制器消息的长度，和

控制消息的版本；以及

处理电路，被配置为基于消息标识符来确定控制消息是否为低延迟消费消息，并且被配置为响应于控制消息为低延迟消费消息、在接收多媒体内容的片段的报头之前，基于有效载荷和控制消息来配置分组。

2.根据权利要求1所述的用户设备，其中，所述有效载荷包括：

编码依赖关系结构标志，指示分组的解码顺序与呈现顺序是否相同；

基本呈现时间偏移，指示用于呈现多媒体内容的片段的基本偏移；

两个帧内编码的采样之间的时段；

用于每个片段的采样呈现时间偏移的符号；以及

用于每个片段的采样呈现时间偏移的值。

3.根据权利要求2所述的用户设备，其中，所述处理电路进一步被配置为：

响应于指示分组的解码顺序与呈现顺序相同的编码依赖关系结构标志，基于基本呈现时间偏移来配置分组。

4.根据权利要求2所述的用户设备，其中，所述处理电路进一步被配置为：

响应于指示分组的解码顺序与呈现顺序不同的编码依赖关系结构标志，基于用于每个片段的采样呈现时间偏移、符号和值来配置分组。

5.根据权利要求1所述的用户设备，其中，所述处理电路进一步被配置为：

响应于控制消息不是低延迟消费消息，顺次地配置分组。

6.根据权利要求1所述的用户设备，其中，所述报头进一步包括：

扩展信息，包括与控制消息有效载荷有关的配置信息。

7.根据权利要求2所述的用户设备，其中，基于用于每个片段的采样呈现时间偏移、符号和根据版本的值来配置分组。

8.一种用于与至少一个基站无线通信的方法，包括：

接收包括具有报头的控制消息和与多媒体内容的片段有关的有效载荷的分组，其中，所述报头包括：

指示控制消息是否为低延迟消费消息的消息标识符，

控制器消息的长度，和

控制消息的版本；

基于消息标识符来确定控制消息是否为低延迟消费消息；以及

响应于控制消息为低延迟消费消息、在接收多媒体内容的片段的报头之前，基于有效载荷和控制消息来配置分组。

9.根据权利要求8所述的方法，其中，所述有效载荷包括：

编码依赖关系结构标志，指示分组的解码顺序与呈现顺序是否相同；

基本呈现时间偏移，指示用于呈现多媒体内容的片段的基本偏移；

两个帧内编码的采样之间的时段；

用于每个片段的采样呈现时间偏移的符号；以及

用于每个片段的采样呈现时间偏移的值。

10.根据权利要求9所述的方法，进一步包括：

响应于指示分组的解码顺序与呈现顺序相同的编码依赖关系结构标志，基于基本呈现时间偏移来配置分组。

11.根据权利要求9所述的方法，进一步包括：

响应于指示分组的解码顺序与呈现顺序不同的编码依赖关系结构标志，基于用于每个片段的采样呈现时间偏移、符号和值来配置分组。

12.根据权利要求8所述的方法，进一步包括：

响应于控制消息不是低延迟消费消息，顺次地配置分组。

13.根据权利要求8所述的方法，其中，所述报头进一步包括：

扩展信息，包括与控制消息有效载荷有关的配置信息。

14.根据权利要求9所述的方法，其中，基于用于每个片段的采样呈现时间偏移、符号和根据版本的值来配置分组。

15.一种系统，所述系统包括：

用于与至少一个基站的无线通信的用户设备，所述用户设备包括：

收发器，被配置为通过向所述至少一个基站传送射频信号并且通过从所述至少一个基站接收射频信号来与所述至少一个基站通信，并且被配置为接收包括具有报头的控制消息和与多媒体内容的片段有关的有效载荷的分组，

其中，所述报头包括：

指示控制消息是否为低延迟消费消息的消息标识符，

控制器消息的长度，和

控制消息的版本；以及

处理电路，被配置为基于消息标识符来确定控制消息是否为低延迟消费消息，并且被配置为响应于控制消息为低延迟消费消息、在接收多媒体内容的片段的报头之前，基于有效载荷和控制消息来配置分组。