CN109314792A - 内容分发网络中的mpeg媒体传输集成的方法和设备 - Google Patents

内容分发网络中的mpeg媒体传输集成的方法和设备 Download PDF

Info

Publication number
CN109314792A
CN109314792A CN201780032031.7A CN201780032031A CN109314792A CN 109314792 A CN109314792 A CN 109314792A CN 201780032031 A CN201780032031 A CN 201780032031A CN 109314792 A CN109314792 A CN 109314792A
Authority
CN
China
Prior art keywords
mmt
server
serviced component
media
http
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780032031.7A
Other languages
English (en)
Other versions
CN109314792B (zh
Inventor
伊麦德·布瓦吉吉
朴勍模
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109314792A publication Critical patent/CN109314792A/zh
Application granted granted Critical
Publication of CN109314792B publication Critical patent/CN109314792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/148—Migration or transfer of sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种用户设备(UE)包括通信单元和处理器。通信单元与服务器通信。处理器将包括UE支持运动图片专家组(MPEG)媒体传输(MMT)的指示的超文本传送协议(HTTP)流会话请求发射到服务器并且接收包括服务器支持MMT的指示的、对MMT服务组件的描述。处理器还将UE迁移到MMT流会话，从MMT服务组件中选择至少一个服务组件，将选择消息发射到服务器，并且接收对应于所选择的至少一个服务组件的媒体。

Description

内容分发网络中的MPEG媒体传输集成的方法和设备
技术领域
本公开大体上涉及媒体呈现。更具体地说，本公开涉及用于将内容分发网络中的流内容转换为MPEG媒体传输流会话的方法和设备。
背景技术
经由因特网的媒体传递当今很大程度上依赖于超文本传送协议(HTTP)，因为HTTP易于通过网络地址转换(NAT)和防火墙，HTTP流不需要特殊硬件或软件并能够由任何HTTP服务器服务，并且HTTP流能够通过现有内容分发网络(CDN)来分发。
然而，HTTP流由于所使用的协议的性质而遭受延迟和同步问题。HTTP被设计用于传递文件，并且TCP被设计用于可靠数据传递。两个协议均不适合于媒体的低延迟传递，因为TCP遭受位速率波动并且所提供的可靠性并不总是为流所需的。
在一些情况下，HTTP流可以含有经过加密的虚拟现实(VR)内容。为了生成VR内容，必须在所有方向上捕获真实世界环境，从而得到对应于观看球面的全向视频。头戴式显示器(HMD)具有以低时延跟踪头部运动并且将视口(即，用户当前看见的区)调整到用户正面向的方向的能力。立体VR还向每只眼睛呈现单独视图以触发深度感知。视频编码标准不被设计为压缩球形视频。球形视频必须被投影或映射到一个或多个矩形平面以用于压缩和传递。这些投影需要在对内容进行解码和解密之后执行，这将需要VR渲染器能够访问未加密的媒体数据。然而，通常禁止访问未压缩且未加密的媒体数据以确保内容不被非法复制。
发明内容
解决方案
本公开提供一种用于将HTTP流会话转换为MMT流会话的方法和设备。
在第一实施例中，一种用户设备(UE)包括通信单元和处理器。通信单元与服务器通信。处理器将包括对UE支持运动图片专家组(MPEG)媒体传输(MMT)的指示的超文本传送协议(HTTP)流会话请求发射到服务器，并且接收包括服务器支持MMT的指示的、对MMT服务组件的描述。处理器还将UE迁移到MMT流会话，从MMT服务组件中选择至少一个服务组件，将选择消息发射到服务器，并且接收对应于所选择的至少一个服务组件的媒体。
在第二实施例中，一种用于在用户设备(UE)上再现从服务器接收的媒体的方法包括：将包括对UE支持运动图片专家组(MPEG)媒体传输(MMT)的指示的超文本传送协议(HTTP)流会话请求发射到服务器，并且接收包括服务器支持MMT的指示的、对MMT服务组件的描述。所述方法还包括将UE迁移到MMT流会话，从MMT服务组件中选择至少一个服务组件，将选择消息发射到服务器，并且接收对应于所选择的至少一个服务组件的媒体。
在第三实施例中，一种服务器包括通信单元和处理器。通信单元与用户设备(UE)通信。处理器从UE接收超文本传送协议(HTTP)流会话请求并且通过根据HTTP清单(manifest)生成MMT服务组件来将对应于HTTP流会话请求的内容转换为运动图片专家组(MPEG)媒体传输(MMT)流会话。处理器还将对MMT服务组件的描述发射到UE，从UE接收包括来自MMT服务组件中的至少一个服务组件的选择消息，并且将对应于所述至少一个服务组件的媒体发射到UE。
本领域的技术人员可以从附图、以下描述和所附权利要求书容易明白其它技术特征。
在做出以下具体实施方式之前，陈述贯穿本专利文献使用的某些字词和短语的定义可能是有利的。术语“结合”及其派生词指代两个或更多个元件之间的任何直接或间接通信，而不管那些元件是否彼此物理接触。术语“发射”、“接收”和“通信”以及其派生词涵盖直接和间接通信两者。术语“包括”和“包含”以及其派生词意指包括但不限于。术语“或”为包括性的，意指和/或。短语“与……相关联”以及其派生词意指包括、包括在……内、与……互连、含有、包含在……内、连接到或与……连接、结合到或与……结合、能够与……通信、与……协作、交错、并置、接近于、绑定到或与……绑定、具有、具有……的性质、与……具有关系或具有与……的关系等等。术语“控制器”意指控制至少一个操作的任何装置、系统或其部分。此类控制器可以用硬件或硬件与软件的组合和/或固件来实施。与任何特定控制器相关联的功能性可以为集中式或分布式的，无论本地还是远程。短语“……中的至少一者”在与项目列表一起使用时意指可以使用所列举的项目中的一者或多者的不同组合，并且可能需要所述列表中的仅一个项目。例如，“A、B和C中的至少一者”包括以下组合中的任一者：A；B；C；A和B；A和C；B和C；以及A和B和C。
此外，下文所述的各种功能能够由一个或多个计算机程序实施或支持，其每一者由计算机可读程序代码形成并且嵌入到计算机可读媒体中。术语“应用程序”和“程序”指代适于以合适计算机可读程序代码实施的一个或多个计算机程序、软件组件、指令集、程序、函数、对象、类、实例、相关数据或其部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读媒体”包括能够由计算机存取的任何类型的媒体，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、压缩光盘(CD)、数字视频光盘(DVD)或任何其它类型的存储器。“非暂态”计算机可读媒体不包括传输暂态电信号或其它信号的有线、无线、光学或其它通信链路。非暂态计算机可读媒体包括能够永久地存储数据的媒体以及能够存储并且稍后重写数据的媒体，诸如可再写光盘或可擦除存储器装置。
贯穿本专利文献提供其它某些字词和短语的定义。本领域的普通技术人员应当理解，在许多情况(如果不是大多数情况的话)下，此类定义适用于此类所定义的字词和短语的先前以及将来使用。
附图说明
为了更完整地理解本公开，现在参看结合附图所作的以下描述，在附图中：
图1示出根据本公开的示例性计算系统；
图2和图3示出根据本公开的计算系统中的示例性装置；
图4示出根据本公开的MPEG媒体传输(MMT)的示例性功能区域；
图5示出根据本公开的用于转换流会话的示例性方法；
图6示出根据本公开的用于转换流会话的示例性信号流图；
图7示出根据本公开的MMT映射消息的示例性语法；
图8示出根据本公开的示例性内容选择消息；
图9示出根据本公开的加密媒体扩展的示例性架构；以及
图10示出根据本公开的示例性信号流图。
具体实施方式
下文论述的图1至图10以及本专利文献中用于描述本发明的原理的各种实施例仅用作说明而不应以任何方式解释为限制本公开的范围。本领域的技术人员将理解，本公开的原理可以在任何适当布置的装置或系统中实施。
图1示出根据本公开的示例性计算系统100。图1所示的计算系统100的实施例仅用于说明目的。能够在不脱离本公开的范围的情况下使用计算系统100的其它实施例。
如图1所示，系统100包括网络102，其促进系统100中的各种组件之间的通信。例如，网络102可以在网络地址之间传送因特网协议(IP)数据包、帧中继帧、异步传送模式(ATM)单元或其它信息。网络102可以包括一个或多个局域网(LAN)、城域网(MAN)、广域网(WAN)、全球网(诸如因特网)的全部或部分或者位于一个或多个位置处的任何一个或多个其它通信系统。
网络102促进至少一个服务器104与多个客户端装置106至114之间的通信。服务器104包括任何合适的计算或处理装置，其能够为一个或多个客户端装置提供计算服务。例如，服务器104能够包括一个或多个处理装置、存储指令和数据的一个或多个存储器以及促进经由网络102进行通信的一个或多个网络接口。
如下文将论述，所述至少一个服务器104是能够向客户端装置106至114中的一者或多者提供内容的内容分发网络(CDN)的一部分。所述内容可以在超文本传送协议(HTTP)流会话或运动图片专家组(MPEG)媒体传输(MMT)会话中提供。
每个客户端装置106至114表示经由网络102与至少一个服务器或其它计算装置交互的任何合适计算或处理装置。在这个示例中，客户端装置106至114包括台式计算机106、移动电话或智能电话108、个人数字助理(PDA)110、膝上型计算机112以及平板计算机114。然而，任何其它或额外客户端装置能够在计算系统100中使用。
在这个示例中，一些客户端装置108至114与网络102间接通信。例如，客户端装置108至110经由一个或多个基站116(诸如蜂窝基站或eNodeB)进行通信。另外，客户端装置112至114经由一个或多个无线接入点118(诸如IEEE 802.11无线接入点)进行通信。请注意，这些仅用于说明目的并且每个客户端装置能够与网络102直接通信或者经由任何合适中间装置或网络来与网络102间接通信。
如下文更详细地描述，客户端装置106至114可以用于访问服务器104上的内容。
虽然图1示出了计算系统100的一个示例，但可以对图1做出各种改变。例如，系统100能够包括呈任何合适布置的每个组件的任何数目。一般来说，计算和通信系统呈广泛多种配置，并且图1不将本公开的范围限于任何特定配置。尽管图1示出了能够使用本专利文献所公开的各种特征的一个操作环境，但这些特征能够在任何其它合适系统中使用。
图2和图3示出根据本公开的计算系统中的示例性装置。明确地说，
图2示出示例性服务器200，并且图3示出示例性客户端装置300。服务器200能够表示图1中的服务器104，并且客户端装置300能够表示图1中的客户端装置106至114中的一者或多者。
如图2所示，服务器200包括总线系统205，其支持至少一个处理装置210、至少一个存储装置215、至少一个通信单元220和至少一个输入/输出(I/O)单元225之间的通信。
处理装置210执行可以被加载到存储器230中的指令。处理装置210可以包括呈任何合适布置的任何合适数目和类型的处理器或其它装置。示例性类型的处理装置210包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器230和永久存储装置235是存储装置215的示例，其表示能够存储并且便于检索信息(诸如在临时或永久基础上的数据、程序代码和/或其它合适信息)的任何结构。存储器230可以表示随机存取存储器或者任何其它合适的易失性或非易失性存储装置。永久存储装置235可以含有支持长期存储数据的一个或多个组件或装置，诸如只读存储器、硬盘驱动器、闪存存储器或光盘。
通信单元220支持与其它系统或装置的通信。例如，通信单元220能够包括促进经由网络102进行通信的网络接口卡或无线收发器。通信单元220可以支持通过任何合适物理或无线通信链路的通信。
I/O单元225允许数据的输入和输出。例如，I/O单元225可以提供连接以用于通过键盘、鼠标、小键盘、触摸屏或其它合适输入装置的用户输入。I/O单元225还可以将输出发送到显示器、打印机或其它合适输出装置。
请注意，尽管图2被描述为表示图1的服务器104，但能够在客户端装置106至114中的一者或多者中使用相同或相似结构。例如，膝上型或台式计算机能够具有与图2所示的结构相同或相似的结构。
如图3所示，客户端装置300包括天线305、通信单元310、发射(TX)处理电路315、麦克风320以及接收(RX)处理电路325。客户端装置300还包括扬声器330、处理器340、输入/输出(I/O)接口(IF)345、输入350、显示器355以及存储器360。存储器360包括操作系统(OS)程序361和一个或多个应用程序362。
通信单元310从天线305接收由系统中的另一个组件发射的传入RF信号。通信单元310对传入RF信号进行下变频转换以生成中频(IF)或基带信号。IF或基带信号被发送到RX处理电路325，其通过对基带或IF信号进行滤波、解码和/或数字化来生成经过处理的基带信号。RX处理电路325将经过处理的基带信号发射到扬声器330(诸如针对语音数据)或发射到处理器340用于进一步处理(诸如针对网络浏览数据)。
TX处理电路315接收来自麦克风320的模拟或数字语音数据或者来自处理器340的其它传出基带数据(诸如网络数据、电子邮件或交互式视频游戏数据)。TX处理电路315对传出基带数据进行编码、多路复用和/或数字化以生成经过处理的基带或IF信号。通信单元310从TX处理电路315接收传出的经过处理的基带或IF信号并且将基带或IF信号上变频转换为经由天线305发射的RF信号。
处理器340能够包括一个或多个处理器或其它处理装置，并且执行存储器360中所存储的OS程序361以控制客户端装置300的全部操作。例如，处理器340能够根据众所周知的原理控制通信单元310、RX处理电路325和TX处理电路315的前向信道信号接收和反向信道信号发射。在一些实施例中，处理器340包括至少一个微处理器或微控制器。
处理器340还能够执行驻留在存储器360中的其它进程和程序。处理器340能够根据执行进程所需要将数据移进或移出存储器360。在一些实施例中，处理器340被配置为基于OS程序361或响应于从外部装置或操作者接收的信号来执行应用程序362。处理器340还结合到I/O接口345，其向客户端装置300提供连接到其它装置(诸如膝上型计算机和手持式计算机)的能力。I/O接口345是这些附件与处理器340之间的通信路径。
处理器340还结合到输入350和显示器355。客户端装置300的操作者能够使用输入350来将数据输入到客户端装置300中。例如，输入350可以是触摸屏、按钮和/或小键盘。显示器355可以是能够渲染文本和/或至少有限图形(诸如来自网站)的液晶显示器或其它显示器。
存储器360结合到处理器340。存储器360的一部分能够包括随机存取存储器(RAM)，并且存储器360的另一部分能够包括闪存存储器或其它只读存储器(ROM)。
如下文更详细地描述，客户端装置300可以从服务器105接收呈现信息(诸如HTML5文本和一个或多个CI文本)以再现呈现。
虽然图2和图3示出了计算系统中的装置的示例，但可以对图2和图3做出各种改变。例如，图2和图3中的各种组件能够被组合、进一步细分或省略，并且能够根据特定需要添加额外组件。作为特定示例，处理器340能够被划分成多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。另外，尽管图3示出了被配置为移动电话或智能电话的客户端装置300，但是客户端装置能够被配置为作为其它类型的移动或静止装置进行操作。另外，正如计算和通信网络，客户端装置和服务器能够呈广泛多种配置，并且图2和图3不将本公开限于任何特定客户端装置或服务器。
图4示出根据本公开的MPEG媒体传输(MMT)的示例性功能区域。MMT提供含有非常适合传递定时和不定时媒体数据的MPEG媒体传输协议(MMTP)、信令框架和前向错误连接(FEC)框架的基于IP的解决方案。MMT提供将多个媒体服务简单多路复用为单个MMTP流以及简单提取媒体服务和媒体组件。每个媒体组件由设置数据包序列号空间范围的唯一数据包id标识。提取或添加新组件不需要重新处理MMTP流。与其它媒体传递方案相比，MMT还提供低延迟传递，从而优化媒体容器的传输。
如图4所示，MMT的功能区域包括封装功能402、传递功能404以及信令功能406。封装功能定义媒体内容的逻辑结构、MMT包以及待由MMT顺从实体处理的数据单元的格式。MMT包包括包含媒体内容的组件以及它们之间的关系的描述，以向底层传递层提供用于自适应操作的必要信息。数据单元的格式被定义为封装经过编码的媒体以被存储或作为传递协议的有效负荷进行载送并且容易地在其之间转换。
传递功能404定义应用层协议和有效负荷的格式。与用于传递多媒体的常规应用层协议(包括多路复用)相比，所述应用层协议提供用于传递经过编码的媒体数据的增强型特征。有效负荷格式被定义为携载与特定媒体类型或编码方法无关的经过编码的媒体数据。
信令功能406定义消息的格式以管理MMT包的传递和消费。用于消费管理的消息用于发信号通知MMT包的结构，并且用于传递管理的消息用于发信号通知有效负荷格式的结构和协议的配置。
图5示出根据本公开的用于转换流会话的示例性方法500。将在参考图2的服务器200和图3的客户端装置300的同时论述图5。
如图5所示，在操作502中，服务器200从客户端装置300接收用于超文本传送协议(HTTP)流清单文件的请求。服务器200确定客户端装置300是否能够支持MMT(504)。如果客户端装置300不支持MMT，则作为HTTP流会话从服务器200向客户端装置300提供内容(506)。
如果客户端装置300支持MMT，则方法500前进到操作508，其中将HTTP会话迁移到MMTP会话。在一个实施例中，经由WebSockets执行MMTP会话。在成功迁移到MMTP之后，服务器200将发送MMT映射消息，其提供HTTP流会话的清单中所描述的表示(representation)与对应MMTP子流之间的映射(510)。客户端装置300可以接着选择用于接收的所述表示的子集以及媒体时间线上的用于开始重放的开始时间并且将所述选择提供到服务器200(512)。服务器200接着将所选择的表示的流片段转换为MMTP流，并且将发信号通知流片段的边界和特性以供在客户端装置300处容易重构会话以确保MMT保持与HTTP流会话完全兼容(514)。
图6示出根据本公开的用于转换流会话的客户端装置602与服务器604之间的示例性信号流。客户端装置602可以表示图3的客户端装置300，并且服务器604可以表示图2的服务器200。如图6所示，客户端装置602发送HTTP会话请求(606)，所述HTTP会话请求可以包括客户端装置602能够支持MMT的指示。客户端装置602接收对服务器604也支持MMT的确认(608)。服务器604将HTTP清单的内容转换为对MMT会话内容的描述(610)，并且作为MMT映射消息将MMT会话内容中的MMT服务组件的描述发射到客户端装置602(612)。客户端装置602接收MMT服务组件的描述并且选择其想要流处理的组件并指示时间范围(614)。客户端装置602接着发射选择消息(616)并且在所选择的时间范围期间开始流处理所选择的服务组件(618)。由客户端装置显示所选择的服务组件。
图7示出根据本公开的MMT映射消息的示例性语法。如图7所示，MMT映射消息包括指示映射消息的标识的message_id。Version指示映射消息的版本，并且Length指示以字节计的映射消息的长度，从下一个字段的开始计数到映射消息的最后一个字节。time_period_count指示将作为这个会话的一部分供应的呈现(presentation)的数目。可以在实况会话的情况下动态地更新呈现列表。service_component_count指示当前呈现中的选择集合的数目。alternative_asset_count switching指示当前选择集合中的切换集合的数目。packet_id标识载送所述表示的MMTP子流，并且bandwidth_requirement提供当前表示的带宽要求。mime_type用于描述当前切换集合的MIME类型。如果切换集合内的表示的编码不同，则应当发信号通知具有最高编解码器要求的轨道的MIME类型。
图8示出根据本公开的示例性内容选择消息。如图8所示，内容选择消息包括指示内容选择消息的标识的message_id。Version指示内容选择消息的版本，并且Length指示以字节计的内容选择消息的长度，从下一个字段的开始计数到内容选择消息的最后一个字节。start_time是呈现开始时间，在该呈现开始时间处MMT接收实体请求发送实体开始传递，并且subflow_count指示MMT接收实体(客户端装置300)正在这个选择消息中请求的MMTP子流的数目。packet_id提供MMTP接收实体正在请求的packet_id。
在一些实施例中，可以对表示进行加密。图9示出根据本公开的加密媒体扩展(EME)900的示例性架构。EME提供使得应用程序能够与内容保护系统交互以允许重放加密音频和视频的应用程序接口(API)。如图9所示，EME 900包括内容解密模块(CDM)902，其为客户端装置执行内容解密。其在可信环境904中运行并且将经过解密的帧传到安全解码器。EME被开发作为对媒体源扩展的一组扩展并且在常规重放检测到媒体被加密时调用。在从许可服务器906检索许可之后，应用程序908使用含有一个或多个密钥及其对应密钥ID的许可数据更新MediaKeySession(媒体秘钥会话)对象910。
例如，在一个实施例中，应用程序908尝试播放具有一个或多个加密流的媒体。用户代理(未示出)辨识到媒体被加密，并且将加密事件连同关于加密的从媒体获得的元数据一起发送到应用程序908。如果MediaKeys对象尚未与媒体元素相关联，则应用程序908通过使用navigator.requestMediaKeySystemAccess()检查什么密钥系统可用，来选择可用密钥系统并且接着经由MediaKeySystemAccess对象针对可用密钥系统创建MediaKeys对象。应用程序908将独立得到用于许可服务器906的URL。MediaKeys对象表示可用于针对音频或视频元素解密媒体的所有密钥。MediaKeys对象还表示CDM实例并且提供对CDM 902的访问，具体地说用于创建密钥会话，所述密钥会话用于从许可服务器获得密钥。一旦已经创建MediaKeys对象，应用程序908便会使用setMediaKeys()将其指派给媒体元素，所述setMediaKeys()使MediaKeys对象与HTMLMediaElement相关联，使得其密钥能够用于内容的解密。
应用程序908通过对MediaKeys调用createSession()来创建MediaKeySession。这创建MediaKeySession对象910，其表示许可及其密钥的寿命。应用程序908还通过对MediaKeySession调用generateRequest()通过将在加密处理程序中获得的媒体数据传到CDM 902来生成许可请求。CDM 902发送指示用于从许可服务器获取密钥的请求的事件。MediaKeySession对象910接收消息事件，并且应用程序908将消息发送到许可服务器906以获得具有所需密钥的许可。应用程序908从许可服务器906接收响应并且使用MediaKeySession的update()方法将数据传到CDM 902。CDM 902使用许可中的密钥对媒体进行解密。可以使用有效密钥，其来自与媒体元素相关联的MediaKeys内的任何会话。CDM902将访问由密钥ID索引的密钥和政策。
图10示出根据本公开的用于在EME架构中对内容进行解密的示例性信号流图。如图10所示，将指示内容被加密的消息发射到API 1002(1008)。API获取许可并且将许可传到CDM 1004(1010)。API 1002还将初始纹理提供到CDM 1004(1012)。CDM接着调用API功能(1014)以初始化图形库(GL)，诸如OpenGL或WebGL，用于渲染媒体，诸如VR视频。CDM 1004接着对每个视频帧进行解码(1016)。针对每个经过解码的视频帧，CDM 1004在CDM 1004中调用API功能1002以向最当前视频帧设置全局纹理(1018)，并且提供纹理化参考(1020)。API1002基于VR几何形状和纹理映射/投影格式并且使用来自先前操作的绑定纹理来执行纹理化操作(1022)。在所述帧的纹理映射之后，CDM 1004调用API 1002以释放并且丢弃所述纹理。将所执行的纹理提供到GPU 1006(1024)。
在一个实施例中，OpenGL环境的初始化将初始化OpenGL上下文并且分配将安全地呈现内容的HTML画布。在另一个实施例中，这个功能调用将返回待用于进行渲染的WebGL上下文参考。
在又一个实施例中，用于设置纹理的API调用可以将纹理绑定到所分配的WebGL上下文，例如通过调用bindTexture，并且接着随后使用tex2DImage WebGL功能将当前帧加载到GPU 1006中作为所述纹理的一部分(1026)。
在另一个实施例中，用于释放纹理的API调用可以使用空值或可能使用另一个纹理参考引起对WebGL bindTexture功能的调用。还可以做出对deleteTexture的调用。
在另一个实施例中，可以在加密密钥获取程序期间向CDM 1004告知所需的WebGL渲染。
虽然已经使用示例性实施例描述了本公开，但可以向本领域的技术人员建议各种改变和修改。本公开旨在涵盖落入所附权利要求书的范围内的此类改变和修改。

Claims (15)

1.一种用户设备(UE)，包括：
通信单元，配置为与服务器通信；以及
处理器，结合到所述通信单元，所述处理器配置为：
将超文本传送协议(HTTP)流会话请求发射到所述服务器，所述HTTP流会话请求包括所述UE支持运动图片专家组(MPEG)媒体传输(MMT)的指示；
接收对MMT服务组件的描述，所述描述包括所述服务器支持MMT的指示；
将所述UE迁移到MMT流会话；
从所述MMT服务组件中选择至少一个服务组件；
将选择消息发射到所述服务器；以及
接收对应于所选择的至少一个服务组件的媒体。
2.根据权利要求1所述的UE，其中所述选择消息包括用于所述所选择的至少一个服务组件的开始时间。
3.根据权利要求1所述的UE，其中对MMT服务组件的描述包括MMT映射消息。
4.根据权利要求3所述的UE，其中所述MMT映射消息包括time_period_count、starttime、service_component_count或alternative_asset count中的至少一者。
5.根据权利要求1所述的UE，其中所述选择消息包括MMT协议(MMTP)_subflow_count。
6.根据权利要求1所述的UE，其中所述处理器配置为针对所述所选择的至少一个服务组件的选择时间范围。
7.根据权利要求1所述的UE，进一步包括显示器，所述显示器配置为显示对应于所述所选择的至少一个服务组件的媒体。
8.一种用于在用户设备(UE)上再现从服务器接收的媒体的方法，所述方法包括：
将超文本传送协议(HTTP)流会话请求发射到所述服务器，所述HTTP流会话请求包括所述UE支持运动图片专家组(MPEG)媒体传输(MMT)的指示；
接收对MMT服务组件的描述，所述描述包括所述服务器支持MMT的指示；
将所述UE迁移到MMT流会话；
从所述MMT服务组件中选择至少一个服务组件；
将选择消息发射到所述服务器；以及
接收对应于所选择的至少一个服务组件的媒体。
9.根据权利要求8所述的方法，进一步包括针对所述所选择的至少一个服务组件的选择时间范围。
10.一种服务器，包括：
通信单元，配置为与用户设备(UE)通信；以及
处理器，结合到所述通信单元，所述处理器配置为：
从所述UE接收超文本传送协议(HTTP)流会话请求；
通过根据HTTP清单生成MMT服务组件来将对应于所述HTTP流会话请求的内容转换为运动图片专家组(MPEG)媒体传输(MMT)流会话；
将对所述MMT服务组件的描述发射到所述UE；
从所述UE接收选择消息，所述选择消息包括来自所述MMT服务组件中的至少一个服务组件；以及
将对应于所述至少一个服务组件的媒体发射到所述UE。
11.根据权利要求10所述的服务器，其中所述选择消息包括用于所述至少一个服务组件的开始时间。
12.根据权利要求10所述的服务器，其中对所述MMT服务组件的描述包括MMT映射消息。
13.根据权利要求12所述的服务器，其中所述MMT映射消息包括time_period_count、start time、service_component_count或alternative_asset count中的至少一者。
14.根据权利要求10所述的服务器，其中所述选择消息包括MMT协议(MMTP)_subflow_count。
15.根据权利要求10所述的服务器，其中当所述超文本传送协议(HTTP)流会话请求不包括所述UE支持MMT的指示时，所述服务器使用HTTP发射所述媒体。
CN201780032031.7A 2016-05-25 2017-05-25 内容分发网络中的mpeg媒体传输集成的方法和设备 Active CN109314792B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662341340P 2016-05-25 2016-05-25
US62/341,340 2016-05-25
US201662343982P 2016-06-01 2016-06-01
US62/343,982 2016-06-01
US15/603,244 US10917477B2 (en) 2016-05-25 2017-05-23 Method and apparatus for MMT integration in CDN
US15/603,244 2017-05-23
PCT/KR2017/005472 WO2017204579A1 (en) 2016-05-25 2017-05-25 Method and apparatus for mpeg media transport integration in content distribution networks

Publications (2)

Publication Number Publication Date
CN109314792A true CN109314792A (zh) 2019-02-05
CN109314792B CN109314792B (zh) 2021-05-25

Family

ID=60412411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780032031.7A Active CN109314792B (zh) 2016-05-25 2017-05-25 内容分发网络中的mpeg媒体传输集成的方法和设备

Country Status (4)

Country Link
US (1) US10917477B2 (zh)
KR (1) KR102299615B1 (zh)
CN (1) CN109314792B (zh)
WO (1) WO2017204579A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545024A (zh) * 2019-03-15 2021-10-22 腾讯美国有限责任公司 在运动图像专家组基于网络的媒体处理中用于包络描述符的方法和装置
CN113557747A (zh) * 2019-03-18 2021-10-26 腾讯美国有限责任公司 使用动态网络接口的可互操作的基于云的媒体处理

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
US20190223746A1 (en) * 2018-01-25 2019-07-25 NeuroSteer Ltd. Systems and Methods for Analyzing Brain Activity and Applications Pertaining to Augmented Reality

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812666A (zh) * 2009-11-13 2012-12-05 三星电子株式会社 提供和接收数据的方法和装置
WO2013077697A1 (ko) * 2011-11-25 2013-05-30 (주)휴맥스 Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
KR20130119887A (ko) * 2012-04-24 2013-11-01 한국전자통신연구원 Mmt 기반 미디어 전송을 위한 세션 초기 설정 방법
CN104350760A (zh) * 2012-05-10 2015-02-11 数码士控股有限公司 通过mmt包格式扩展的混合传输方法
CN104471913A (zh) * 2012-07-13 2015-03-25 华为技术有限公司 指示和处理内容传输和传送中的内容加密和权限管理
CN105103144A (zh) * 2013-03-15 2015-11-25 美光科技公司 用于存储器的自适应控制的设备及方法
CN105191323A (zh) * 2013-04-19 2015-12-23 三星电子株式会社 用于在多媒体传输系统中发送媒体数据的方法和装置
WO2016003247A1 (ko) * 2014-07-04 2016-01-07 삼성전자 주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
CN105308916A (zh) * 2013-04-18 2016-02-03 三星电子株式会社 多媒体传输网络中用于控制媒体传递的方法和装置
CN105491394A (zh) * 2014-09-17 2016-04-13 北京三星通信技术研究有限公司 发送mmt包的方法及装置、接收mmt包的方法
WO2016076623A1 (ko) * 2014-11-12 2016-05-19 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR20110105710A (ko) 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
EP2784954A4 (en) 2011-11-25 2015-05-27 Humax Holdings Co Ltd METHOD FOR CONNECTING MMT MEDIA AND DASH MEDIA
KR101501344B1 (ko) * 2012-05-02 2015-03-10 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
US9807452B2 (en) 2013-10-07 2017-10-31 Samsung Electronics Co., Ltd. Practical delivery of high quality video using dynamic adaptive hypertext transport protocol (HTTP) streaming (DASH) without using HTTP in a broadcast network
US11310302B2 (en) 2014-01-09 2022-04-19 Samsung Electronics Co., Ltd. Method and apparatus for streaming dash content over broadcast channels
WO2016129904A1 (ko) * 2015-02-10 2016-08-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US20160373498A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Media-timed web interactions

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812666A (zh) * 2009-11-13 2012-12-05 三星电子株式会社 提供和接收数据的方法和装置
WO2013077697A1 (ko) * 2011-11-25 2013-05-30 (주)휴맥스 Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
KR20130119887A (ko) * 2012-04-24 2013-11-01 한국전자통신연구원 Mmt 기반 미디어 전송을 위한 세션 초기 설정 방법
CN104350760A (zh) * 2012-05-10 2015-02-11 数码士控股有限公司 通过mmt包格式扩展的混合传输方法
CN104471913A (zh) * 2012-07-13 2015-03-25 华为技术有限公司 指示和处理内容传输和传送中的内容加密和权限管理
CN105103144A (zh) * 2013-03-15 2015-11-25 美光科技公司 用于存储器的自适应控制的设备及方法
CN105308916A (zh) * 2013-04-18 2016-02-03 三星电子株式会社 多媒体传输网络中用于控制媒体传递的方法和装置
CN105191323A (zh) * 2013-04-19 2015-12-23 三星电子株式会社 用于在多媒体传输系统中发送媒体数据的方法和装置
WO2016003247A1 (ko) * 2014-07-04 2016-01-07 삼성전자 주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
CN105491394A (zh) * 2014-09-17 2016-04-13 北京三星通信技术研究有限公司 发送mmt包的方法及装置、接收mmt包的方法
WO2016076623A1 (ko) * 2014-11-12 2016-05-19 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GERARD FERNANDO: "《MMT: The Next-Generation Media》", 《ZTE COMMUNICATIONS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545024A (zh) * 2019-03-15 2021-10-22 腾讯美国有限责任公司 在运动图像专家组基于网络的媒体处理中用于包络描述符的方法和装置
CN113545024B (zh) * 2019-03-15 2023-01-06 腾讯美国有限责任公司 在运动图像专家组基于网络的媒体处理中用于包络描述符的方法和装置
CN113557747A (zh) * 2019-03-18 2021-10-26 腾讯美国有限责任公司 使用动态网络接口的可互操作的基于云的媒体处理

Also Published As

Publication number Publication date
CN109314792B (zh) 2021-05-25
US10917477B2 (en) 2021-02-09
KR20190003729A (ko) 2019-01-09
US20170346906A1 (en) 2017-11-30
WO2017204579A1 (en) 2017-11-30
KR102299615B1 (ko) 2021-09-10

Similar Documents

Publication Publication Date Title
CN109891850B (zh) 用于减少360度视区自适应流媒体延迟的方法和装置
ES2266456T3 (es) Protocolo de aplicacion de television digital para television interactiva.
ES2577531T3 (es) Pasarela de servicio para televisión interactiva
US9264478B2 (en) Home cloud with virtualized input and output roaming over network
JP6339012B2 (ja) 層状の信号品質階層の再構成データの送信
US20090327917A1 (en) Sharing of information over a communication network
CN109314792A (zh) 内容分发网络中的mpeg媒体传输集成的方法和设备
JP5850833B2 (ja) 通信システムにおけるユーザインターフェースを送受信する装置及び方法
CN106664435B (zh) 用于高效对等辅助流式传输的高速缓存清单
CN104918072A (zh) 低延时实况视频流传输
CN106303674B (zh) 数据传输方法、装置和智能电视系统
EP3267331B1 (en) Method and apparatus for cloud streaming service
US9749202B1 (en) Remote session preview management
CN111698537B (zh) 多媒体数据的处理方法、装置、设备以及存储介质
US20180069760A1 (en) Fog Local Processing and Relaying for Mitigating Latency and Bandwidth Bottlenecks in AR/VR Streaming
JP2010531512A (ja) レーザコンテンツを使用して場面を構成するための方法及び装置
CN109521956A (zh) 一种基于区块链的云存储方法、装置、设备及存储介质
Kim et al. Cloud‐based gaming service platform supporting multiple devices
CN113926185A (zh) 一种数据处理方法、装置、设备及存储介质
CN109547839A (zh) 直播内容的动态预览处理方法及装置、介质、电子设备
CN108076139A (zh) 用于云流送服务的方法和设备
Chen et al. Optimized viewport‐adaptive 360‐degree video streaming
CN115918095A (zh) 用于视图优化的360度虚拟现实视频流的系统及方法
Kitson Mobile Media: Making It a Reality: Two prototype apps reveal the challenges in delivering mobile media services.
Seo et al. Low latency streaming for path-walking VR systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant