CN104904233B - 用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置 - Google Patents

用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置 Download PDF

Info

Publication number
CN104904233B
CN104904233B CN201380062645.1A CN201380062645A CN104904233B CN 104904233 B CN104904233 B CN 104904233B CN 201380062645 A CN201380062645 A CN 201380062645A CN 104904233 B CN104904233 B CN 104904233B
Authority
CN
China
Prior art keywords
mmt
data
media
mfu
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380062645.1A
Other languages
English (en)
Other versions
CN104904233A (zh
Inventor
I.鲍阿齐齐
林荣权
K.P.布哈特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201910011920.6A priority Critical patent/CN110086762B/zh
Priority to CN201910012226.6A priority patent/CN109905781B/zh
Publication of CN104904233A publication Critical patent/CN104904233A/zh
Application granted granted Critical
Publication of CN104904233B publication Critical patent/CN104904233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Abstract

一种装置包括被配置为接收运动图像专家组(MPEG)媒体传输(MMT)容器的接收路径电路和被配置为使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元(MFU)在MMT容器中的位置的处理设备。另一装置包括被配置为传送MMT容器的传送路径电路和被配置为使用在MMT容器内的提示轨道来标识一个或多个MFU在MMT容器中的位置的处理设备。

Description

用于封装国际标准化组织基媒体文件中的运动图像专家组媒 体传输资源的方法和装置
技术领域
本公开一般涉及传递用于封装国际标准化组织(ISO)基媒体文件(Base MediaFile)中的运动图像专家组(MPEG)媒体传输(MMT)资源(asset)的媒体内容的方法和装置。
背景技术
运动图像专家组(MPEG)媒体传输(MMT)规定了用于通过异类网际协议(IP)网络环境来递送用于多媒体服务的编码的媒体数据的技术。所递送的编码的媒体数据包括以下两者：(i)其数据单元具有固有时间线的视听媒体数据(即，定时的数据)；以及(ii)它们的数据单元当中不具有固有时间线的其它类型的数据(即，非定时的数据)。
发明内容
技术问题
MMT是在编码的媒体数据使用诸如实时传输协议(RTP)、传送控制协议(TCP)以及用户数据报协议(UDP)之类的网际协议通过基于分组的递送网络来递送的假设下而设计的。
技术方案
本公开提供用于封装国际标准化组织(ISO)基媒体文件中的运动图像专家组(MPEG)媒体传输(MMT)资源的方法和装置。
在第一实施例中，一种装置包括被配置为接收MMT容器(container)的接收路径电路。该装置还包括被配置为使用在MMT容器内的提示轨道(hint track)来标识一个或多个媒体片段单元(media fragment unit，MFU)在MMT容器中的位置的处理设备。
在第二实施例中，一种装置包括被配置为传送MMT容器的传送路径电路。该装置还包括被配置为使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元(MFU)在MMT容器中的位置的处理设备。
在第三实施例中，一种方法包括接收MMT容器。该方法还包括使用在MMT容器内的提示轨道来标识一个或多个媒体片段单元(MFU)在MMT容器中的位置。
在第四实施例中，一种方法包括接收MMT容器的MFU，标识遗失的MFU，适当地标记它们或调整元数据以供正确的处理。
从以下图、描述和权利要求中，其它技术特征可以被本领域技术人员容易地理解。
在进行下面的详细描述之前，阐述某些贯穿本专利文档使用的词汇和短语的定义会是有利的：术语“包括”和“包含”以及其变型意味着没有限制的包含。术语“或”是包含性的，意味着和/或。短语“与……相关联”以及其变型可以意味着包括、包括在……内、与……互连、包含、包含在……内、连接到或与……连接、耦合到或与……耦合、可与……通信、与……协作、交织、并列、靠近、绑定到或与……绑定、具有、有……的性质、具有与……的关系等。术语“控制器”意味着控制至少一个操作的任何设备、系统或它们的部分，并且这样的设备可以以硬件、或者硬件与软件/固件的组合来实施。应当注意，与任何特定的控制器相关联的功能可以是集中化的或分布式的，无论是本地还是远程。短语“……中的至少一个”，当与一列项目一起使用时，意味着可以使用一个或多个列出的项目的不同的组合，并且可能只需要列表中的一个项目。例如，“A、B和C中的至少一个”包括任何以下组合：A、B、C、A和B、A和C、B和C、以及A和B和C。贯穿本专利文档提供了某些词汇和短语的定义，并且本领域普通技术人员应当理解，在许多实例中(如果不是大多数实例的话)，这样的定义适用于这些定义的词汇和短语在先前以及在将来的使用。
附图说明
为了更全面地理解本公开及其优点，现在结合附图参考以下描述，在附图中同样的参考标号表示同样的部分：
图1图示了根据本公开的通过异类网络到多样的客户端的示例可伸缩(scalable)视频递送；
图2图示了根据本公开的示例MMT设备；
图3图示了根据本公开的由运动图像专家组(MPEG)媒体传输(MMT)提供的示例功能；
图4图示了根据本公开的示例MMT封装；
图5图示了根据本公开的具有定时的媒体的样本级别(sample level)提示轨道和样本级别媒体轨道的示例MMT封装；
图6图示了根据本公开的不包括定时的媒体的媒体的示例MMT封装；以及
图7图示了根据本公开的用于接收媒体片段单元(MFU)的示例方法。
具体实施方式
下面讨论的图1到图7以及用来在本专利文档中描述本公开的原理的各个实施例只是作为例示，而不应以任何方式被解释为限制本公开的范围。本领域技术人员理解，本公开的原理可以在任何适当的设备或系统中实施。
图1图示了根据本公开的通过异类网络到多样的客户端的示例可伸缩视频递送。图1中所示的实施例只是用于例示。其它实施例可以被使用，而不脱离本公开的范围。
异类网络102包括向MMT客户端106-114供应媒体内容(诸如图像、音频以及视频内容)的运动图像专家组(MPEG)媒体传输(MMT)服务器104。MMT服务器104和MMT客户端106-114代表MMT设备，并且可以如图2中所示地实施或以任何其它适当的方式实施。MMT服务器104可以经由异类网络102向MMT客户端106-114发送全分辨率视频流116。MMT客户端106-114基于到异类网络102的连接的类型和MMT客户端的类型(等等)，以一个或多个比特率118-126以及一个或多个分辨率130-138接收视频流116中的一些或全部。到异类网络102的连接的类型和比特率可以包括高速骨干网连接128、每秒1000兆位(Mbps)连接118、每秒312千比特(kbps)连接120、1Mbps连接122、4Mbps连接124、2Mbps连接126等等。分辨率130-138可以包括以60赫兹的1080逐行(1080p)(1080p@60hz)130、以10Hz的四分之一通用中间格式(QCIF)132、以24Hz的标准清晰度(standard definition，SD)134、以60Hz的720逐行(720p)136、以30Hz的720p 138等等。客户端106-114的类型可以包括桌上型计算机106、移动电话108、个人数字助理(PDA)110、膝上型计算机112以及平板114。
媒体内容，也称为MMT资源，通过MMT容器经由一个或多个MFU从MMT服务器104发送到MMT客户端106-114。MMT资源可以被MMT客户端106-114消费，即使是在并不是全部MFU都被MMT客户端106-114接收到时。MMT容器标识已经接收到和还没有接收到的MFU，从而MMT客户端106-114可以呈现(render)已经接收到的MFU，而不能呈现还没有接收到的MFU。
图2图示了根据本公开的示例MMT设备202。图2中所示的MMT设备202的实施例只是用于例示。MMT设备的其它实施例也可以被使用，而不脱离本公开的范围。
MMT设备202包括天线205、射频(RF)收发器210、传送(TX)处理电路215、麦克风220和接收(RX)处理电路225。MMT设备202还包括扬声器230、处理单元240、输入/输出(I/O)接口(IF)245、键盘250、显示器255和存储器260。MMT设备202可以包括任何数量的这些组件中的每一个。
处理单元240包括被配置为运行指令的处理电路，所述指令诸如存储在存储器260中或存储在处理单元240的内部的指令。存储器260包括基本操作系统(OS)程序261和一个或多个应用262。MMT设备202可以代表使用MMT的任何适当的设备，诸如MMT客户端106-114或MMT服务器104。在特定的实施例中，MMT设备202代表移动电话、智能电话、个人数字助理或平板计算机。MMT设备202经由MMT发送、接收、或显示媒体内容。
在无线网络中，RF收发器210从天线205接收由基站或其它设备传送的进入的(incoming)RF信号。RF收发器210下变频进入的RF信号以产生中频(IF)或基带信号。IF或基带信号被发送给RX处理电路225，RX处理电路225产生经处理的基带信号(诸如通过过滤、解码、和/或数字化基带或IF信号)。RX处理电路225可以将经处理的基带信号提供给扬声器230(对于声音数据来说)或提供给处理单元240以供进一步的处理(诸如对于网络浏览或其它数据来说)。
TX处理电路215从麦克风220接收模拟或数字声音数据，或者从处理单元240接收其它发出的(outgoing)基带数据(诸如网络数据、电子邮件或交互式视频游戏数据)。TX处理电路215编码、复用和/或数字化发出的基带数据以产生经处理的基带或IF信号。RF收发器210从TX处理电路215接收发出的经处理的基带或IF信号，并且将基带或IF信号上变频到经由天线205传送的RF信号。
在一些实施例中，处理单元240包括具体体现在一个或多个分离的设备中的中央处理单元(CPU)242和图形处理单元(GPU)244。在一些实施例中，CPU 242和GPU 244被实施为布置在一个或多个印刷电路板上的一个或多个集成电路。存储器260耦合到处理单元240。在一些实施例中，存储器260的一部分代表随机存取存储器(RAM)，而存储器260的另一部分代表用作只读存储器(ROM)的闪速存储器。
在一些实施例中，存储器260是存储经由MMT传递媒体内容的程序指令的计算机可读介质。当该程序指令由处理单元240运行时，程序指令使得处理单元240、CPU 242、和GPU244中的一个或多个运行依据本公开的实施例的各种功能和程序。
处理单元240运行存储在存储器260中的基本OS程序，以便控制MMT设备202的总体操作。例如，处理单元240可以依据公知的原理控制RF收发器210、RX处理电路225和TX处理电路215，以控制前向信道信号的接收和反向信道信号的传送。
处理单元240还能够运行驻留在存储器260中的其它过程和程序，诸如用于经由提示轨道标识MFU位置的操作，如下面更详细地描述的。处理单元240还可以按照运行过程所要求的将数据移动到存储器260内或从存储器260中移出。在一些实施例中，处理单元240被配置为运行多个应用262。处理单元240可以基于OS程序261或响应于从基站接收的信号来操作应用262。处理单元240耦合到I/O接口245，I/O接口245为MMT设备202提供了连接到其它设备的能力，其它设备诸如膝上型计算机、手持式计算机以及服务器计算机。I/O接口245是这些配件与处理单元240之间的通信路径。
处理单元240还可选地耦合到键盘250和显示单元255。MMT设备202的操作者使用键盘250来将数据输入到MMT设备202中。显示器255可以是液晶显示器、发光二极管(LED)显示器或能够呈现来自网站的文本和/或至少有限的图形的其它显示器。替换实施例可以使用其它类型的输入/输出设备和显示器。
为了通过异类网际协议(IP)网络环境高效且有效地递送编码的媒体数据，MMT提供以下元素：
-构建由用于混聚(mash-up)应用的各种组件组成的内容的逻辑模型；
-传达关于用于诸如分组和自适应的递送层处理的编码的媒体数据的信息的数据的结构；
-递送对于通过包括混合递送的TCP或UDP使用的媒体的特定类型或编码方法不可知的媒体内容的分组方法和分组的结构；
-用于管理媒体内容的展示和递送的信令消息的格式；
-用于管理媒体内容的展示和递送的信令消息的格式；
-将要跨层交换以促进跨层通信的信息的格式。
图3图示了根据本公开的由MMT提供的示例功能。图3中所示的实施例只是用于例示。其它实施例可以被使用，而不脱离本公开的范围。
由MMT提供的功能被分类成三个功能区域，即，封装层302、递送层304和信令层306。封装层302定义媒体内容的逻辑结构、MMT封包(package)以及将由兼容MMT的实体处理的数据单元的格式。MMT封包包括一个或多个组件，这些组件具有媒体内容和对组件之间的关系的描述，以向在下面的递送层304提供信息以供自适应操作。数据单元的格式被定义为封装将作为递送协议的有效载荷存储或携载的并且在不同的递送协议之间容易转换的媒体内容的编码的媒体数据。
递送层304定义应用层协议和有效载荷的格式。与用于递送媒体内容(也称为“多媒体”)的传统的应用层协议相比，该应用层协议提供了用于递送编码的媒体数据的增强的特征，诸如复用。有效载荷格式被定义为独立于特定的媒体类型或编码方法地携载编码的媒体数据。
信令层306定义了用于管理MMT封包的递送和消费的消息的格式。用于消费管理的消息被用来发信号告知(signal)MMT封包的结构。用于递送管理的消息被用来发信号告知有效载荷格式的结构和协议的配置。
封装层302定义了国际标准化组织(ISO)基媒体文件格式(ISOBMFF)内的MMT封包的逻辑结构和实例化以供分布式存储和通过网络实体的自适应递送。这里，MMT封包定义了聚合媒体内容(即，MMT资源)的编码的媒体数据和用于递送层处理的信息的逻辑实体。MMT资源定义携载编码的媒体数据的逻辑结构。MMT资源可以以相同的MMT资源标识(ID)来共同引用数个媒体处理单元(Media Processing Unit，MPU)。
可以由直接连接到MMT客户端的实体个别消费的任何类型的数据是单独的MMT资源。这不仅包括可以由单个媒体编解码器解码的编码的媒体数据，而且包括已经被复用的其它类型的数据。MPU根据在下面的递送层分组(packet)大小的约束，诸如在MPU中携载的数据的小片段的边界和大小，提供关于用于自适应分组的媒体数据的信息。这样的小片段被称为媒体片段单元(MFU)。这使得在下面的递送层实体能够自适应地基于递送层304的最大传送单元的大小来动态地分组化MPU。MFU携载小片段的编码的媒体数据(这样的片段可以被独立地解码或丢弃)，诸如先进视频编码(AVC)位流的网络抽象层(NAL)单元。
以ISOBMFF实例化的MMT封装格式包括用于正确地捕获MMT封包的逻辑结构以及实现MMT目标和利益的若干特征，其包括：
-MMT封装尽可能多地重复使用ISOBMFF并且ISOBMFF从存储MMT封包的文件中解析和访问/提取媒体数据的向后兼容性；
-即使在遗失MFU的情况下也能正确地恢复初始结构的抗错鲁棒性；
-由上层和递送实体独立地有效定位和寻址MPU而无需MPU的具体位置的外部寻址；
-对用于定时的数据和非定时的数据存储和递送的统一结构的支持；
-易于访问MPU和MFU以易于提取供自适应的分组化的递送的MPU元数据和MFU，并且使得能够在存储格式和递送格式之间的容易地转换，其中理想的是存储格式等于递送格式；
-对于诸如MPEG-2传输流(TS)之类的传统数据格式的封装的支持；以及
-低冗余。
前述MMT设计具有若干已知的问题，包括：
-对于流中的每个MFU存在MFU“框”，这导致了大量的MFU框和非常高的开销(诸如100字节的MFU框大小和1000字节的NAL大小，从而导致10％的开销)；
-MFU框引用其中的媒体数据，从而限制了经由递送层分组化媒体内容的方式的灵活性；
-存储格式不同于递送格式，并且递送格式并未被清楚地定义；以及
-非定时的媒体数据以向后不兼容的方式存储。
此外，IOSBMFF不提供MMT的各种特征，包括：
-独立地寻址或消费电影片段；
-如果在分组化的递送期间存在遗失的部分或分组，则正确地解析和消费电影片段；以及
-用于支持适应于在下面的递送网络的最大传输单元(MTU)的大小的分组化的提示轨道的一般用途。
本公开的实施例通过定义用于MFU结构的提示轨道来将MMT内容封装在ISOBMFF中。每个MFU在MMT的提示轨道的提示样本中被描述。MMT提示轨道的提示样本对应于用来递送MFU的MFU标头。MMT提示样本携载关于相应的媒体数据的位置的信息。MMT设备使用这个信息以及MFU序号、MPU序号和资源标识符来在正确地标识由于递送遗失的MFU的同时，恢复初始的MMT资源结构。
在一些实施例中，MMT提示样本等于MMT片段单元标头，如联系图4所示和讨论的。一些实施例还可以具有在每个样本的基础上交织的MMT提示轨道样本和MMT媒体轨道样本，诸如当每个MFU是一个样本并且在提示轨道和媒体轨道两者中每个组块(chunk)都包括一个样本时，如联系图5和图6所示和讨论的。
图4图示了根据本公开的示例MMT封装。图4中所示的实施例只是为了例示。其它实施例可以被使用，而不脱离本公开的范围。
如图4中所示，MMT资源(mast)402和MPU框(mmpu)404通过单独的框来划界。这些框促进了外部可寻址性。这里示出的存储格式不同于递送格式，并且MMT服务器使用MMT提示轨道406在分组操作期间将存储格式转换为递送格式。MMT服务器存储定时的媒体作为ISOBMFF的轨道，其包含单个的媒体轨道408。MMT服务器在ISOBMFF中存储非定时的媒体作为元数据的一部分。
ISOBMFF的媒体轨道408以完全向后兼容的方式经由“moov”框410来索引(index)。MPU框404在文件的结尾或在随后的MPU的开始之前结束，以含蓄地指示MPU的边界，并且允许更灵活地编辑、记录以及增加生成直播内容。在一些实施例中，ISOBMFF的媒体轨道408通过“moof”框(诸如图5中的moof框502)来索引。
MMT提示轨道406在将存储的MMT资源402转换为分组化的媒体流时引导递送层实体，诸如MMT服务器104或MMT客户端106-114。分组化的媒体流由MMT服务器使用MMT协议(MMTP)作为递送协议递送到MMT客户端。
MMT提示轨道408向生成递送分组的实体(诸如，MMT服务器104)提供用于自适应的分组和递送决定的MPU的MFU的位置信息。分组和递送决定包括统计地复用和丢弃一些MFU以应对即时的网络拥塞。在MMT容器内的MMT资源的媒体数据与MMT提示样本一起被提取以生成MMT分组。然后一个或多个MFU可以被用来构建单个的MMTP分组。因此，存储格式并不完全与递送格式相同，这要求能够在运行时提取和封装媒体数据的主动网络实体构建MMTP分组。媒体数据可以以ISOBMFF兼容的实体可解析媒体数据的方式存储。
MMT提示轨道406将关于MFU的信息提供给用于生成MMT分组的网络实体。如果不要求用于递送的MPU的进一步的片段化，则提示轨道406可以被完全省略。
在一些实施例中，MMT提示轨道(诸如提示轨道406)是在“mmth”的样本描述中具有输入格式的提示轨道，并且可以被定义为例如：
以上所示的样本描述格式只是为了例示。其它实施例可以被使用，而不脱离本公开的范围。以上样本描述格式的语义包括：
-has_mfus_flag指示MPU是否提供关于MFU的信息，当MPU不提供关于MFU的信息时，提示轨道是否提供完整的MPU以使得由提示轨道标识的每个MFU可以具有单个的样本，以及每个提示样本是否指代当MPU提供关于MFU的信息时的MFU；以及
-is_timed：指示由这个轨道提示的媒体是定时的还是不是定时的。
每个媒体样本被分配给一个或多个MFU。MMT提示轨道的每个样本可以生成可使用以下语法的一个或多个MFU：
以上所示的样本格式只是为了例示。其它实施例可以被使用，而不脱离本公开的范围。以上样本格式的语法包括：
-sequence_number是分配给这个MFU的序号；
-trackrefindex是从其中提取MFU数据的媒体轨道的标识；
-samplenumber是分配给从其中提取这个MFU的样本的序号；
-item_ID是指构建这个用于非定时的媒体数据的MFU的项目；
-offset给出了媒体数据的偏移，并且偏移基础是包含样本的“mdat”框的开始；
-length给出了以字节为单位的MFU的长度；以及
-mfu_lost_flag指示MFU是否已经丢失，诸如相应的媒体数据是否遗失。
图5图示了根据本公开的具有定时的媒体的样本级别提示轨道和样本级别媒体轨道的示例MMT封装。图5中所示的实施例只是为了例示。其它实施例可以被使用，而不脱离本公开的范围。
在用于样本递送的基于样本的交织中，递送格式对应于MMT有效载荷格式，并且包括MFU标头和MFU媒体数据。MFU标头是提示样本的复本，其促进了MMTP有效载荷和分组的创建。
在图5中，提示轨道504和媒体轨道506在MMT容器508的“moof”框502的内部按样本级别交织。这导致每个组块的一个样本和直接的分组过程。MMT容器508还包括“mast”框510、“moov”框512、“mmpu”框514、“moof”框502和518以及“mdat”框516和520。moof框502和518包括MMT提示轨道504和522以及媒体轨道506和524。mdat框516和520包括一个或多个MFU 522。MFU 522包括MFU标头524和有效载荷526。每个MFU标头524包括MFU序号，并且可选地包括mfu_lost_flag。
图6图示了根据本公开的不包括定时的媒体的媒体的示例MMT封装。图6中所示的实施例只是为了例示。其它实施例可以被使用，而不脱离本公开的范围。
在图6中，提示轨道602在MMT容器606的“moov”框604内。MMT容器606包括“mast”框610、“moov”框604、“mmpu”框614、“meta”框632以及“mdat”框620。moov框604包括MMT提示轨道602。meta框632包括“hdlr”框602、“iloc”框630以及“iinf”框628。mdat框620包括一个或多个MFU 622，每个MFU 622包括MFU标头624和有效载荷626。
图7图示了根据本公开的用于接收MFU的示例方法。在图7中描绘的过程可以以任何适当的方式来实施，诸如由MMT服务器104、MMT客户端106-114中的处理电路、或其它设备实施。
在块702中，MMT设备，诸如MMT服务器104或客户端106-114，接收MMT容器的MFU。该MFU是用来传递包含在MMT容器中的媒体内容的一个或多个MFU之一。在块704中，MMT设备将MFU拆分为MFU标头和MFU媒体数据。在块706中，MMT设备使用MPU元数据和来自MFU标头的MFU序号来定位MMT容器中的MFU提示样本。在一些实施例中，MMT设备解析对应于MFU提示样本的MFU标头。
在块708中，MMT设备确定MMT容器的媒体内容是否包括定时的媒体。如果媒体内容包括定时的媒体，则过程继续到块710。如果媒体内容不包括定时的媒体，则过程继续到块712。在块710中，MMT设备使用MPU元数据和MFU样本信息来定位MMT容器中的来自接收到的MFU的MFU媒体数据。然后过程继续到块714。在块712中，MMT设备使用MPU元数据和项目标识符来定位MMT容器中的媒体数据。然后过程继续到块714。
在块714中，MMT设备在MMT容器中标记MPU元数据中的遗失的MFU。在一些实施例中，遗失的MFU经由对于MMT容器的“mdat”框内的每个MFU使用mfu_lost_flag值来标记。
如果MMT资源包括定时的媒体，则MMT设备在处理期间将MMT提示样本放置在MMT容器内的正确位置。所述放置基于MFU序号，其被转化为提示样本中的样本号。MMT设备还使用样本和MFU标头中的偏移信息与媒体轨道的样本表一起(诸如“stco”、“stsz”和“stsc”表或“trun”表)来定位在MMT容器中的媒体数据的位置。如果在递送期间存在任何遗失的MFU，则MMT容器中的相应的区域保持为空。在这样做时，MMT设备可以安全地定位被正确接收的MFU的数据，而跳过由于递送遗失的MFU。
虽然各种特征已经在图中示出并在以上进行了描述，但是可以对图做出各种改变。例如，图中示出的组件的大小、形状、安排以及布局只是为了例示。每个组件可以具有任何适当的大小、形状以及维度，并且多个组件可以具有任何适当的安排和布局。而且，图中的各种组件可以被组合、进一步细分、或者省略，并且另外的组件可以根据特定的需求而被添加。另外，设备或系统中的每个组件可以使用用于执行所描述的(多个)功能的任何适当的(多个)结构来实施。此外，虽然图7图示了各种系列的步骤，但是图7中的各种步骤可以重叠、并行发生、多次发生、或者以不同次序发生。
虽然本公开已经描述了某些实施例和通常关联的方法，但是这些实施例和方法的变更和置换对于本领域技术人员来说将是清楚的。因此，对示例实施的以上描述并不定义或限制本公开。其它改变、替换以及变更也是可能的，而不脱离如所附权利要求所定义的本公开的精神和范围。

Claims (8)

1.一种用于传送多媒体系统中的媒体内容的方法，该方法包括：
识别包括至少一个子单元的数据单元，所述至少一个子单元是基于所述数据单元生成的，所述至少一个子单元通过所述媒体内容的媒体数据被识别；
配置用于所述媒体数据的传送的有效载荷，所述有效载荷包括一个或多个子单元的数据；以及
传送所配置的有效载荷，
其中，所述有效载荷包括子单元的数据所属的样本的样本号以及指示所述样本中的子单元的数据的位置的偏移信息；并且
其中，所述数据单元包括所述样本的数据。
2.如权利要求1所述的方法，其中，所述有效载荷还包括指示以字节为单位的与所述子单元相对应的长度的信息。
3.如权利要求1所述的方法，其中，所述数据单元是视频或音频信号被处理的单元，以及视频信号或音频信号被独立解码的单元。
4.如权利要求1所述的方法，其中，所述偏移信息指示所述数据单元中的子单元的开始位置。
5.一种用于传送多媒体系统中的媒体内容的装置，所述装置包括：
传送器，被配置为通过网络传送数据；以及
控制器，被配置为控制识别包括至少一个子单元的数据单元，所述至少一个子单元是基于所述数据单元生成的，所述至少一个子单元通过所述媒体内容的媒体数据被识别，并且控制配置用于所述媒体数据的传送的有效载荷，所述有效载荷包括一个或多个子单元的数据，以及传送所配置的有效载荷，
其中，所述有效载荷包括子单元的数据所属的样本的样本号以及指示所述样本中的子单元的数据的位置的偏移信息；并且
其中，所述数据单元包括所述样本的数据。
6.如权利要求5所述的装置，其中，所述有效载荷还包括指示以字节为单位的与所述子单元相对应的长度的信息。
7.如权利要求5所述的装置，其中，所述数据单元是视频或音频信号被处理的单元，以及视频信号或音频信号被独立解码的单元。
8.如权利要求5所述的装置，其中，所述偏移信息指示所述数据单元中的子单元的开始位置。
CN201380062645.1A 2012-11-29 2013-11-28 用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置 Active CN104904233B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910011920.6A CN110086762B (zh) 2012-11-29 2013-11-28 在多媒体系统中传送分组的方法和装置
CN201910012226.6A CN109905781B (zh) 2012-11-29 2013-11-28 在多媒体系统中接收分组的方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261731360P 2012-11-29 2012-11-29
US61/731,360 2012-11-29
US14/091,243 US11290510B2 (en) 2012-11-29 2013-11-26 Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
US14/091,243 2013-11-26
PCT/KR2013/010932 WO2014084643A1 (en) 2012-11-29 2013-11-28 Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910012226.6A Division CN109905781B (zh) 2012-11-29 2013-11-28 在多媒体系统中接收分组的方法和装置
CN201910011920.6A Division CN110086762B (zh) 2012-11-29 2013-11-28 在多媒体系统中传送分组的方法和装置

Publications (2)

Publication Number Publication Date
CN104904233A CN104904233A (zh) 2015-09-09
CN104904233B true CN104904233B (zh) 2019-02-01

Family

ID=50774271

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910011920.6A Active CN110086762B (zh) 2012-11-29 2013-11-28 在多媒体系统中传送分组的方法和装置
CN201910012226.6A Active CN109905781B (zh) 2012-11-29 2013-11-28 在多媒体系统中接收分组的方法和装置
CN201380062645.1A Active CN104904233B (zh) 2012-11-29 2013-11-28 用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910011920.6A Active CN110086762B (zh) 2012-11-29 2013-11-28 在多媒体系统中传送分组的方法和装置
CN201910012226.6A Active CN109905781B (zh) 2012-11-29 2013-11-28 在多媒体系统中接收分组的方法和装置

Country Status (20)

Country Link
US (2) US11290510B2 (zh)
EP (3) EP2926564B1 (zh)
JP (5) JP6302903B2 (zh)
KR (1) KR101484903B1 (zh)
CN (3) CN110086762B (zh)
AU (1) AU2013352767B2 (zh)
CA (2) CA2893122C (zh)
DK (2) DK3955581T3 (zh)
ES (3) ES2964165T3 (zh)
FI (1) FI3955581T3 (zh)
HR (1) HRP20231610T1 (zh)
HU (1) HUE051645T2 (zh)
LT (1) LT3955581T (zh)
MX (1) MX342928B (zh)
PL (2) PL3955581T3 (zh)
PT (2) PT2926564T (zh)
RS (1) RS64927B1 (zh)
RU (2) RU2657175C2 (zh)
SI (1) SI3955581T1 (zh)
WO (1) WO2014084643A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015503281A (ja) * 2011-11-23 2015-01-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置
US10547884B2 (en) 2014-06-24 2020-01-28 Samsung Electronics Co., Ltd. Technique for transmitting and receiving system time information in broadcasting system
WO2016021144A1 (ja) * 2014-08-04 2016-02-11 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
JP6681580B2 (ja) * 2014-08-04 2020-04-15 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
CN113099291A (zh) * 2014-09-12 2021-07-09 索尼公司 发送设备、发送方法、接收设备和接收方法
WO2016048090A1 (ko) * 2014-09-25 2016-03-31 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
EP3232673A4 (en) * 2014-12-10 2018-06-27 Sony Corporation Transmitting device and transmitting method, and receiving device and receiving method
HUE056171T2 (hu) * 2014-12-29 2022-01-28 Sony Group Corp Adókészülék, adási eljárás, vevõkészülék és vételi eljárás
KR102174325B1 (ko) * 2015-02-13 2020-11-04 에스케이텔레콤 주식회사 네트워크 적응형 컨텐츠 제공을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 네트워크 적응형 컨텐츠 제공 장치
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
CN112866754A (zh) * 2015-09-07 2021-05-28 Lg 电子株式会社 广播信号发送设备和方法以及广播信号接收设备和方法
JP6834967B2 (ja) * 2015-10-09 2021-02-24 ソニー株式会社 情報処理装置および情報処理方法
US10116576B2 (en) 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
JP6786324B2 (ja) * 2016-09-20 2020-11-18 株式会社東芝 多重化装置及び多重化方法
US11197040B2 (en) * 2016-10-17 2021-12-07 Mediatek Inc. Deriving and signaling a region or viewport in streaming media
US11303495B2 (en) * 2017-06-16 2022-04-12 Apple Inc. Configurability and signaling for half-tone shift
JP7391963B2 (ja) * 2018-12-10 2023-12-05 ノキア テクノロジーズ オーユー コンテナファイルフォーマットで情報をシグナリングするための装置及び方法
KR102651074B1 (ko) * 2020-04-28 2024-03-26 한국전력공사 V-pcc 비트스트림 기반 3차원 영상 제공 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101647280A (zh) * 2007-01-26 2010-02-10 Lg电子株式会社 用于构建文件格式的方法和用于处理包括具有该文件格式的文件的数字广播信号的装置及其方法
CN101682718A (zh) * 2007-04-04 2010-03-24 韩国电子通信研究院 基于iso基本媒体文件格式的mpeg-2传输流的存储/回放方法和设备
CN101711483A (zh) * 2007-06-07 2010-05-19 升级芯片技术公司 用于立体图像编码数据文件的格式

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188301A (ja) 1997-09-02 1999-03-30 Matsushita Electric Ind Co Ltd 低ビットレートマルチメディア通信方法
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US7184548B2 (en) 2001-05-04 2007-02-27 Hewlett-Packard Development Company, L.P. Encoding and decoding methods for secure scalable streaming and related systems
US6990202B2 (en) 2001-10-04 2006-01-24 Hewlett-Packard Development Company, L.P. Packetizing devices for secure scalable data streaming
US8214655B2 (en) 2002-03-29 2012-07-03 Kabushiki Kaisha Toshiba Data structure of multimedia file format, encrypting method and device thereof, and decrypting method and device thereof
JP3748437B2 (ja) 2002-03-29 2006-02-22 株式会社東芝 マルチメディア・ファイルのデータ構造、その暗号化方法並びに装置及びその暗号化復号方法及び装置
JP2008047250A (ja) 2006-08-18 2008-02-28 Matsushita Electric Ind Co Ltd デマルチプレクサ
EP2145270B1 (en) 2007-05-04 2016-08-17 Nokia Technologies Oy Media stream recording into a reception hint track of a multimedia container file
CN101325684B (zh) 2007-06-14 2010-10-06 中兴通讯股份有限公司 基于移动多媒体广播的加密控制信息传输方法及系统
WO2009003685A1 (en) 2007-07-02 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for storing and reading a file having a media data container and a metadata container
KR101429767B1 (ko) 2007-09-21 2014-08-19 삼성전자주식회사 전자 서비스 가이드를 송수신하기 위한 방법 및 디지털방송 시스템
EP2215842A2 (en) 2007-12-03 2010-08-11 Nokia Corporation Systems and methods for storage of notification messages in iso base media file format
EP2218225A1 (en) * 2007-12-11 2010-08-18 Siemens Aktiengesellschaft Method for data transmission in a mesh mode of a wireless communication network
US20100153395A1 (en) 2008-07-16 2010-06-17 Nokia Corporation Method and Apparatus For Track and Track Subset Grouping
US8045463B2 (en) * 2008-07-30 2011-10-25 Microsoft Corporation Path estimation in a wireless mesh network
US20100183033A1 (en) * 2009-01-20 2010-07-22 Nokia Corporation Method and apparatus for encapsulation of scalable media
US8719309B2 (en) * 2009-04-14 2014-05-06 Apple Inc. Method and apparatus for media data transmission
WO2011056252A1 (en) * 2009-11-03 2011-05-12 Qualcomm Incorporated Method and apparatus for the multimode terminal in idle mode operation in cdma 1xrtt and frame asynchronous td-scdma networks
KR101777348B1 (ko) 2010-02-23 2017-09-11 삼성전자주식회사 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
KR20110105710A (ko) * 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
KR20110117033A (ko) 2010-04-20 2011-10-26 삼성전자주식회사 미디어 데이터를 송수신하기 위한 인터페이스 장치 및 방법
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
KR101739272B1 (ko) 2011-01-18 2017-05-24 삼성전자주식회사 멀티미디어 스트리밍 시스템에서 컨텐트의 저장 및 재생을 위한 장치 및 방법
KR20120083820A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 컨텐츠 전송 시스템에서 컨텐츠 전송 방법 및 장치
KR20120084237A (ko) 2011-01-19 2012-07-27 삼성전자주식회사 엠엠티(ｍｍｔ)에서 엠엠티 인캡슐레이터를 전송하는 방법
KR20120084234A (ko) 2011-01-19 2012-07-27 삼성전자주식회사 Ｍｐｅｇ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ（ｍｍｔ）에서 ｍｍｔ ａｕ를 전송하는 방법
KR20120100799A (ko) 2011-03-04 2012-09-12 한국전자통신연구원 미디어 데이터의 제공을 위한 인터페이스 및 미디어 데이터 제공 방법
KR101803970B1 (ko) 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
KR20120119790A (ko) 2011-04-22 2012-10-31 삼성전자주식회사 미디어 데이터 전송 방법 및 장치와 미디어 데이터 수신 방법 및 장치
US9319721B2 (en) * 2011-10-13 2016-04-19 Electronics And Telecommunications Research Institute Method of configuring and transmitting an MMT transport packet
US20130094594A1 (en) * 2011-10-13 2013-04-18 Electronics And Telecommunications Research Institute Method for configuring and transmitting m-unit
US10958915B2 (en) * 2012-01-30 2021-03-23 Qualcomm Incorporated Method of coding video and storing video content
KR20130108198A (ko) * 2012-03-23 2013-10-02 (주)휴맥스 Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
US8812839B2 (en) * 2012-07-31 2014-08-19 Adobe Systems Incorporated System and method for local generation of streaming content with a hint track

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101647280A (zh) * 2007-01-26 2010-02-10 Lg电子株式会社 用于构建文件格式的方法和用于处理包括具有该文件格式的文件的数字广播信号的装置及其方法
CN101682718A (zh) * 2007-04-04 2010-03-24 韩国电子通信研究院 基于iso基本媒体文件格式的mpeg-2传输流的存储/回放方法和设备
CN101711483A (zh) * 2007-06-07 2010-05-19 升级芯片技术公司 用于立体图像编码数据文件的格式

Also Published As

Publication number Publication date
DK3955581T3 (da) 2023-12-18
JP6989681B2 (ja) 2022-01-05
CA3133608A1 (en) 2014-06-05
WO2014084643A1 (en) 2014-06-05
RS64927B1 (sr) 2023-12-29
MX342928B (es) 2016-10-19
CN110086762A (zh) 2019-08-02
HUE051645T2 (hu) 2021-03-01
MX2015006835A (es) 2015-09-16
AU2013352767A1 (en) 2015-07-16
JP2016184955A (ja) 2016-10-20
US20140149545A1 (en) 2014-05-29
PL3955581T3 (pl) 2024-03-04
CN109905781B (zh) 2021-08-13
KR101484903B1 (ko) 2015-01-21
EP3713192B1 (en) 2021-09-29
CA2893122C (en) 2021-11-23
JP6437953B2 (ja) 2018-12-12
RU2764459C2 (ru) 2022-01-17
CA3133608C (en) 2024-01-09
JP6302903B2 (ja) 2018-03-28
SI3955581T1 (sl) 2024-01-31
CA2893122A1 (en) 2014-06-05
JP2019220992A (ja) 2019-12-26
RU2657175C2 (ru) 2018-06-08
JP2021016202A (ja) 2021-02-12
FI3955581T3 (fi) 2023-12-13
KR20140135265A (ko) 2014-11-25
EP3955581B1 (en) 2023-10-18
ES2964165T3 (es) 2024-04-04
EP2926564B1 (en) 2020-05-06
EP2926564A4 (en) 2016-08-03
US11716370B2 (en) 2023-08-01
CN109905781A (zh) 2019-06-18
RU2018116842A3 (zh) 2021-06-23
US11290510B2 (en) 2022-03-29
HRP20231610T1 (hr) 2024-03-15
CN104904233A (zh) 2015-09-09
AU2013352767A2 (en) 2015-08-27
CN110086762B (zh) 2021-11-26
PL2926564T3 (pl) 2020-11-02
PT3955581T (pt) 2023-12-12
JP6591648B2 (ja) 2019-10-16
RU2018116842A (ru) 2018-10-24
US20220217193A1 (en) 2022-07-07
ES2902581T3 (es) 2022-03-29
RU2015125573A (ru) 2017-01-10
EP2926564A1 (en) 2015-10-07
LT3955581T (lt) 2023-12-11
ES2804552T3 (es) 2021-02-08
AU2013352767B2 (en) 2017-06-01
PT2926564T (pt) 2020-07-24
EP3955581A1 (en) 2022-02-16
EP3713192A1 (en) 2020-09-23
JP2015530006A (ja) 2015-10-08
DK2926564T3 (da) 2020-06-15
JP2019047514A (ja) 2019-03-22
JP6797988B2 (ja) 2020-12-09

Similar Documents

Publication Publication Date Title
CN104904233B (zh) 用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置
CN105830451B (zh) 用于内容分发的方法和装置
CN103581699B (zh) 视频播放方法、流媒体服务器及流媒体播放系统
RU2750337C2 (ru) Способ и устройство для передачи медиаданных в мультимедийной транспортной системе
CN104303507A (zh) 用于多媒体传输系统的收发数据的方法和装置
CN108200447A (zh) 直播数据传输方法、装置、电子设备、服务器及存储介质
CN108174239A (zh) 一种视频传输方法及设备
WO2015105376A1 (en) Methods and apparatus for universal presentation timeline alignment
CN103959796B (zh) 数字视频码流的解码方法拼接方法和装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant