CN110447234A - 作为分隔符及可寻址资源标识符的区段类型 - Google Patents

作为分隔符及可寻址资源标识符的区段类型 Download PDF

Info

Publication number
CN110447234A
CN110447234A CN201880020635.4A CN201880020635A CN110447234A CN 110447234 A CN110447234 A CN 110447234A CN 201880020635 A CN201880020635 A CN 201880020635A CN 110447234 A CN110447234 A CN 110447234A
Authority
CN
China
Prior art keywords
cmaf
value
segment
styp
header
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880020635.4A
Other languages
English (en)
Other versions
CN110447234B (zh
Inventor
托马斯·斯托克哈默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110447234A publication Critical patent/CN110447234A/zh
Application granted granted Critical
Publication of CN110447234B publication Critical patent/CN110447234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种用于处理媒体数据的实例装置，其经配置以进行以下操作：剖析包含所述媒体数据的位流，所述位流是根据共同媒体应用格式CMAF而格式化；在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型FTYP值；确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始；及处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段。所述装置可另外经配置以进行以下操作：检测所述位流中的一或多个区段类型STYP值；确定所述一或多个STYP值中的每一者对应于所述CMAF片段中的相应者的开始；及处理从所述对应STYP值开始的所述CMAF片段中的每一者。

Description

作为分隔符及可寻址资源标识符的区段类型
本申请案主张2017年4月4日申请的美国临时申请案第62/481,594号的权利，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及媒体数据的存储及输送。
背景技术
数字媒体能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话、视频电话会议装置等等。数字视频装置实施视频压缩技术，例如描述于由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4、Part 10、高级视频译码(AVC)、ITU-T H.265(还参考高效率视频译码(HEVC))及此类标准的扩展所定义的标准中的那些技术，从而更为有效地传输及接收数字视频信息。
在媒体数据已被编码之后，可将媒体数据包化以用于传输或存储。可以将媒体数据汇编成符合多种标准中的任一者的视频文件，所述标准是例如国际标准化组织(ISO)基本媒体文件格式及其扩展，例如AVC。
发明内容
一般来说，本发明描述使用数据类型(例如区段类型及/或文件类型)作为分隔符、类型指示符及递送指示符的技术。这些技术可允许以灵活简单方式使用这些数据类型以提供这些指示中的任一者或全部。以此方式，所产生内容可用于不同递送及/或消耗环境中，并且允许如下文更详细地所论述的包装。
在一个实例中，一种处理媒体数据的方法包含：由实施于电路系统中的处理器剖析根据共同媒体应用格式(CMAF)而格式化的包含数据的位流；由所述处理器及在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型(FTYP)值；由所述处理器确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始；及由所述处理器处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段。
在另一实例中，一种用于处理媒体数据的装置包含：存储器，其用于存储媒体数据；及一或多个处理器，其实施于电路系统中且经配置以进行以下操作：剖析包含所述媒体数据的位流，所述位流是根据共同媒体应用格式(CMAF)而格式化；在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型(FTYP)值；确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始；及处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段。
在另一实例中，一种用于处理媒体数据的装置包含：用于剖析根据共同媒体应用格式(CMAF)而格式化的包含数据的位流的装置；用于在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型(FTYP)值的装置；用于确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始的装置；及用于处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段的装置。
在另一实例中，一种计算机可读存储媒体(其可为非暂时性)在其上存储有指令，所述指令在执行时致使处理器进行以下操作：剖析根据共同媒体应用格式(CMAF)而格式化的包含数据的位流；在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型(FTYP)值；确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始；及处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段。
在另一实例中，一种产生包含媒体数据的位流的方法包含：由实施于电路系统中的处理器产生CMAF播放轨文件的共同媒体应用格式(CMAF)标头；由所述处理器设定指示所述CMAF标头的开始的所述CMAF标头的文件类型(FTYP)值的值；由所述处理器在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中封装媒体数据的一或多个样本；及由所述处理器产生包含所述CMAF标头及所述CMAF播放轨文件的位流，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
在另一实例中，一种用于产生包含媒体数据的位流的装置包含：存储器，其经配置以存储媒体数据；及一或多个处理器，其实施于电路系统中且经配置以进行以下操作：由实施于电路系统中的处理器产生所述媒体数据的CMAF播放轨文件的共同媒体应用格式(CMAF)标头；设定指示所述CMAF标头的开始的所述CMAF标头的文件类型(FTYP)值的值；在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中封装所述媒体数据的一或多个样本；及产生包含所述CMAF标头及所述CMAF播放轨文件的位流，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
在另一实例中，一种用于产生包含媒体数据的位流的装置包含：用于产生CMAF播放轨文件的共同媒体应用格式(CMAF)标头的装置；用于设定指示所述CMAF标头的开始的所述CMAF标头的文件类型(FTYP)值的值的装置；用于在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中封装媒体数据的一或多个样本的装置；及用于产生包含所述CMAF标头及所述CMAF播放轨文件的位流的装置，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
在另一实例中，一种计算机可读存储媒体(其可为非暂时性)在其上存储有指令，所述指令在执行时致使处理器进行以下操作：产生CMAF播放轨文件的共同媒体应用格式(CMAF)标头；设定指示所述CMAF标头的开始的所述CMAF标头的文件类型(FTYP)值的值；在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中封装媒体数据的一或多个样本；及产生包含所述CMAF标头及所述CMAF播放轨文件的位流，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
在以下附图及具体实施方式中阐述一或多个实例的细节。其它特征、目标及优点将从具体实施方式及附图以及权利要求书显而易见。
附图说明
图1为绘示实施用于经由网络而流式处理媒体数据的技术的实例系统的框图。
图2为更详细地绘示图1的检索单元的组件的实例集合的框图。
图3为绘示实例多媒体内容的元素的概念图。
图4为绘示实例视频文件的元素的框图，所述实例视频文件可对应于表示的区段。
图5为绘示实例共同媒体应用格式(CMAF)片段的概念图。
图6为绘示实例CMAF播放轨的概念图。
图7为绘示实例CMAF区段的概念图。
图8A及8B为绘示实例CMAF区块的概念图。
图9为绘示根据本发明的技术的实例系统的概念图。
图10为绘示在使用HTML-5API的WAVE应用程序内的在平台、内容及应用程序之间的实例分解的概念图，平台、内容及应用程序中的每一者可使用根据本发明的技术的数据。
图11为绘示实例方框序列及CMAF区块的容纳的概念图。
图12为绘示根据本发明的技术产生位流的实例方法的流程图。
图13为绘示根据本发明的技术处理媒体数据的方法的实例的流程图。
具体实施方式
一般来说，本发明描述使用数据类型(例如区段类型及/或文件类型)作为分隔符、类型指示符及递送指示符的技术。
HTTP动态自适应流式处理(DASH)描述使用区段作为媒体数据(例如具有唯一统一资源定位符(URL)的文件)的可递送容器。区段具有由“区段类型”或“styp”语法元素描述的类型。文件也具有由“文件类型”或“ftyp”语法元素描述的文件类型。这些语法元素可形成根据例如ISO基本媒体文件格式(ISO BMFF)或ISO BMFF的扩展的文件格式信息的部分。
符合ISO BMFF或ISO BMFF的扩展的文件可进一步包含根据共同媒体应用格式(CMAF)而格式化的媒体数据。CMAF内容用于不同阶段：在内容准备阶段、在递送层级，及在内容消耗阶段(例如用于至接收装置的接口，例如媒体源扩展(MSE)接口)。
一般来说，在无清单文件(例如DASH媒体呈现描述(MPD))的情况下识别CMAF数据结构。在内容准备之后，分隔符通常包含于字节流/文件中以识别CMAF数据结构。在递送层级处，经递送对象的类型应是可识别的。对于回放引擎的接口(例如MSE)，数据结构可经识别以用于提取，例如允许回放及跨越不同CMAF播放轨切换。一般来说，CMAF数据结构的识别应是简单的，且遵循CMAF结构。
本发明的技术可应用于符合根据以下各者中的任一者封装的视频数据的视频文件：ISO基本媒体文件格式、可伸缩视频译码(SVC)文件格式、高级视频译码(AVC)文件格式、第三代合作伙伴计划(3GPP)文件格式及/或多视图视频译码(MVC)文件格式或其它类似视频文件格式。
在HTTP流式处理中，频繁使用的操作包含HEAD、GET及部分GET。HEAD操作检索与给定统一资源定位符(URL)或统一资源名称(URN)相关联的文件的标头，但不检索与URL或URN相关联的有效负载。GET操作检索与给定URL或URN相关联的整个文件。部分GET操作接收字节范围作为输入参数且检索文件的连续数目个字节，其中字节的数目对应于所接收字节范围。因此，可提供电影片段以用于HTTP流式处理，这是因为部分GET操作能够得到一或多个个别电影片段。在电影片段中，可能存在不同播放轨的若干播放轨片段。在HTTP流式处理中，媒体呈现可为客户端可存取的数据的结构化集合。客户端可请求及下载媒体数据信息以向用户呈现流式处理服务。
在使用HTTP流式处理来流式处理3GPP数据的实例中，可能存在多媒体内容的视频及/或音频数据的多个表示。如下文所阐释，不同表示可对应于不同译码特性(例如视频译码标准的不同配置文件或层级)、不同译码标准或译码标准的扩展(例如多视图及/或可伸缩扩展)或不同位速率。这些表示的清单可在媒体呈现描述(MPD)数据结构中定义。媒体呈现可对应于HTTP流式处理客户端装置可存取的数据的结构化集合。HTTP流式处理客户端装置可请求及下载媒体数据信息以向客户端装置的用户呈现流式处理服务。媒体呈现可在MPD数据结构中描述，MPD数据结构可包含MPD的更新。
媒体呈现可含有一或多个周期的序列。每一周期可延长，直到下一周期开始为止，或在最后一个周期的情况下，直到媒体呈现结束为止。每一周期可含有针对同一媒体内容的一或多个表示。表示可为音频、视频、计时文本或其它此类数据的数个替代经编码版本中的一者。表示可因编码类型而异(例如对于视频数据，因位速率、分辨率及/或编码解码器而异，及对于音频数据，因位速率、语言及/或编码解码器而异)。术语表示可用以是指经编码音频或视频数据的对应于多媒体内容的特定周期且以特定方式编码的部分。
特定周期的表示可指派至由MPD中的属性(其指示表示所属的适配集)指示的群组。同一适配集中的表示通常被视为彼此的替代，这是因为客户端装置可在这些表示之间动态地且顺畅地切换，例如执行宽带适配。举例来说，特定周期的视频数据的每一表示可指派至同一适配集，使得可选择所述表示中的任一者进行解码以呈现对应周期的多媒体内容的媒体数据(例如视频数据或音频数据)。在一些实例中，一个周期内的媒体内容可由来自群组0(如果存在)的一个表示来表示，或由来自每一非零群组的至多一个表示的组合来表示。周期的每一表示的时序数据可相对于所述周期的开始时间来表达。
表示可包含一或多个区段。每一表示可包含初始化区段，或表示的每一区段可自初始化。当存在时，初始化区段可含有用于存取表示的初始化信息。大体来说，初始化区段不含有媒体数据。区段可由标识符唯一地参考，标识符是例如统一资源定位符(URL)、统一资源名称(URN)或统一资源标识符(URI)。MPD可为每一区段提供标识符。在一些实例中，MPD还可提供呈范围属性的形式的字节范围，所述范围属性可对应于可由URL、URN或URI存取的文件内的区段的数据。
可选择不同表示以用于大体上同时检索不同类型的媒体数据。举例来说，客户端装置可选择音频表示、视频表示及计时文本表示，从所述表示检索区段。在一些实例中，客户端装置可选择特定适配集以用于执行带宽适配。即，客户端装置可选择包含视频表示的适配集、包含音频表示的适配集及/或包含计时文本的适配集。替代地，客户端装置可选择用于特定类型媒体(例如视频)的适配集，且直接选择用于其它类型的媒体(例如音频及/或计时文本)的表示。
图1为绘示实施用于经由网络而流式处理媒体数据的技术的实例系统10的框图。在此实例中，系统10包含内容准备装置20、服务器装置60及客户端装置40。客户端装置40及服务器装置60通过网络74以通信方式耦合，网络74可包括互联网。在一些实例中，内容准备装置20与服务器装置60也可通过网络74或另一网络耦合，或可直接以通信方式耦合。在一些实例中，内容准备装置20及服务器装置60可包括同一装置。
在图1的实例中，内容准备装置20包括音频源22及视频源24。音频源22可包括例如麦克风，其产生表示将由音频编码器26编码的所捕获音频数据的电信号。替代地，音频源22可包括存储媒体(其存储先前记录的音频数据)、音频数据产生器(例如计算机化合成器)或任何其它音频数据源。视频源24可包括：视频相机，其产生将由视频编码器28编码的视频数据；存储媒体，其编码有先前记录的视频数据；视频数据产生单元，例如计算机图形源；或任何其它视频数据源。内容准备装置20未必在所有实例中均以通信方式耦合至服务器装置60，而可将多媒体内容存储至由服务器装置60读取的单独媒体。
原始音频及视频数据可包括模拟或数字数据。模拟数据在由音频编码器26及/或视频编码器28编码之前可被数字化。音频源22可在说话参与者说话时从说话参与者获得音频数据，且视频源24可同时获得说话参与者的视频数据。在其它实例中，音频源22可包括包括所存储的音频数据的计算机可读存储媒体，且视频源24可包括包括所存储的视频数据的计算机可读存储媒体。以此方式，本发明中所描述的技术可应用于实况、流式处理、实时音频及视频数据或经存档、预先记录的音频及视频数据。
对应于视频帧的音频帧通常为含有由音频源22捕获(或产生)的音频数据的音频帧，音频数据同时伴随含于视频帧内的由视频源24捕获(或产生)的视频数据。举例来说，当说话参与者通常通过说话而产生音频数据时，音频源22捕获音频数据，且视频源24同时(即，在音频源22正捕获音频数据的同时)捕获说话参与者的视频数据。因此，音频帧可在时间上对应于一或多个特定视频帧。因此，对应于视频帧的音频帧大体上对应于同时捕获到音频数据及视频数据且音频帧及视频帧分别包括同时捕获到的音频数据及视频数据的情形。
在一些实例中，音频编码器26可对每一经编码音频帧中表示记录经编码音频帧的音频数据的时间的时间戳进行编码，且类似地，视频编码器28可对每一经编码视频帧中表示记录经编码视频帧的视频数据的时间的时间戳进行编码。在这些实例中，对应于视频帧的音频帧可包括：包括时间戳的音频帧及包括同一时间戳的视频帧。内容准备装置20可包含内部时钟，音频编码器26及/或视频编码器28可根据所述内部时钟产生时间戳，或音频源22及视频源24可使用所述内部时钟以分别使音频数据及视频数据与时间戳相关联。
在一些实例中，音频源22可向音频编码器26发送对应于记录音频数据的时间的数据，且视频源24可向视频编码器28发送对应于记录视频数据的时间的数据。在一些实例中，音频编码器26可对经编码音频数据中的序列标识符进行编码以指示经编码音频数据的相对时间排序，但未必指示记录音频数据的绝对时间，且类似地，视频编码器28还可使用序列标识符来指示经编码视频数据的相对时间排序。类似地，在一些实例中，序列标识符可映射或以其它方式与时间戳相关。
音频编码器26通常产生经编码音频数据的流，而视频编码器28产生经编码视频数据的流。每一个别数据流(不论音频还是视频)可被称作基本流。基本流为表示的单一经数字译码(可能经压缩)分量。举例来说，表示的经译码视频或音频部分可为基本流。基本流可在被封装于视频文件内之前被转换成包化基本流(PES)。在相同表示内，可使用流ID来区分属于一个基本流的PES数据包与属于其它基本流的PES数据包。基本流的数据的基本单元为包化基本流(PES)数据包。因此，经译码视频数据通常对应于基本视频流。类似地，音频数据对应于一或多个相应基本流。
许多视频译码标准(例如ITU-T H.264/AVC及即将来临的高效视频译码(HEVC)标准)界定无误差位流的语法、语义及解码过程，所述无误差位流中的任一者符合特定配置文件或层级。视频译码标准通常并不指定编码器，但编码器具有保证所产生的位流对于解码器来说是标准相容的任务。在视频译码标准的上下文中，“配置文件”对应于算法、特征或工具及施加至算法、特征或工具的限制的子集。如例如H.264标准所定义，“配置文件”为由H.264标准指定的整个位流语法的子集。“层级”对应于解码器资源消耗，例如解码器存储器及计算的限制，所述限制与图片分辨率、位速率及块处理速率相关。配置文件可用profile_idc(配置文件指示符)值被用信号发送，而层级可用level_idc(层级指示符)值被用信号发送。
举例来说，H.264标准认为，在由给定配置文件的语法所强加的界限内，仍然可能需要编码器及解码器的性能有较大变化，这取决于位流中的语法元素(例如经解码图片的指定大小)所取的值。H.264标准进一步认为，在许多应用中，实施能够处理特定配置文件内的语法的所有假设使用的解码器既不实际又不经济。因此，H.264标准将“层级”定义为强加于位流中的语法元素的值的约束的指定集。这些约束可为对值的简单限制。替代地，这些约束可呈对值的算术组合(例如图片宽度乘以图片高度乘以每秒解码的图片数目)的约束的形式。H.264标准进一步规定，个别实施方案对于每一所支持配置文件可支持不同层级。
符合配置文件的解码器一般支持配置文件中所定义的所有特征。举例来说，作为译码特征，B图片译码在H.264/AVC的基线配置文件不被支持，但在H.264/AVC的其它配置文件中被支持。符合层级的解码器应能够对不需要超出所述层级中所定义的限制的资源的任何位流进行解码。配置文件及层级的定义可对可解释性有帮助。举例来说，在视频传输期间，可针对整个传输会话协商及同意一对配置文件定义及层级定义。更具体地说，在H.264/AVC中，层级可定义对于需要处理的宏块的数目、经解码图片缓冲器(DPB)大小、经译码图片缓冲器(CPB)大小、竖直运动向量范围、每两个连续MB的运动向量的最大数目及B块是否可具有小于8×8像素的子宏块分区的限制。以此方式，解码器可确定解码器是否能够适当地对位流进行解码。
在图1的实例中，内容准备装置20的封装单元30从视频编码器28接收包括经译码视频数据的基本流且从音频编码器26接收包括经译码音频数据的基本流。在一些实例中，视频编码器28及音频编码器26可各自包含用于从经编码数据形成PES数据包的包化器。在其它实例中，视频编码器28及音频编码器26可各自与用于从经编码数据形成PES数据包的相应包化器介接。在另外其它实例中，封装单元30可包含用于从经编码音频及视频数据形成PES数据包的包化器。
视频编码器28可以多种方式对多媒体内容的视频数据进行编码，从而以各种位速率且以各种特性产生多媒体内容的不同表示，所述特性是例如像素分辨率、帧速率、对各种译码标准的符合性、对各种译码标准的各种配置文件及/或配置文件层级的符合性、具有一或多个视图的表示(例如对于二维或三维回放)或其它此类特性。如本发明中所使用，表示可包括音频数据、视频数据、文本数据(例如用于隐藏式字幕)或其它此类数据中的一者。表示可包含例如音频基本流或视频基本流的基本流。每一PES数据包可包含stream_id，所述stream_id识别PES数据包所属的基本流。封装单元30负责将基本流汇编成各种表示的视频文件(例如区段)。
封装单元30从音频编码器26及视频编码器28接收表示的基本流的PES数据包且从所述PES数据包形成对应网络抽象层(NAL)单元。译码视频区段可经组织成NAL单元，其提供“网络友好”视频表示寻址应用程序，例如视频电话、存储、广播或流式处理。NAL单元可分类为视频译码层(VCL)NAL单元及非VCL NAL单元。VCL单元可含有核心压缩引擎，且可包含块、宏块及/或切片层级数据。其它NAL单元可为非VCL NAL单元。在一些实例中，一个时间实例中的经译码图片(通常呈现为初级经译码图片)可含于存取单元中，所述存取单元可包含一或多个NAL单元。
非VCL NAL单元可尤其包含参数集NAL单元及SEI NAL单元。参数集可含有序列层级标头信息(在序列参数集(SPS)中)及不频繁改变的图片层级标头信息(在图片参数集(PPS)中)。对于参数集(例如PPS及SPS)，不频繁改变的信息不需要关于每一序列或图片重复，因此可改进译码效率。此外，使用参数集可实现重要标头信息的带外传输，从而避免对于用于抗误码的冗余传输的需要。在带外传输实例中，参数集NAL单元可在与其它NAL单元(例如SEI NAL单元)不同的信道上传输。
补充增强信息(SEI)可含有对于对来自VCL NAL单元的经译码图片样本进行解码并非必需的信息，但可辅助与解码、显示、抗误码及其它目的相关的过程。SEI消息可含于非VCL NAL单元中。SEI消息为一些标准规范的标准化部分，且因此对于标准相容的解码器实施并非始终是必选的。SEI消息可为序列层级SEI消息或图片层级SEI消息。某一序列层级信息可含于SEI消息中，例如SVC的实例中的可伸缩性信息SEI消息，及MVC中的视图可伸缩性信息SEI消息。这些实例SEI消息可传达关于例如操作点的提取及操作点的特性的信息。另外，封装单元30可形成清单文件，例如描述表示的特性的媒体呈现描述符(MPD)。封装单元30可根据可扩展标记语言(XML)来格式化MPD。
封装单元30可向输出接口32提供多媒体内容的一或多个表示的数据以及清单文件(例如MPD)。输出接口32可包括网络接口或用于对存储媒体进行写入的接口，例如通用串行总线(USB)接口、CD或DVD写入器或刻录机、至磁性或闪速存储媒体的接口，或用于存储或传输媒体数据的其它接口。封装单元30可向输出接口32提供多媒体内容的表示中的每一者的数据，所述输出接口可经由网络传输或存储媒体向服务器装置60发送所述数据。在图1的实例中，服务器装置60包含存储各种多媒体内容64的存储媒体62，每一多媒体内容64包含相应清单文件66及一或多个表示68A至68N(表示68)。在一些实例中，输出接口32还可将数据直接发送至网络74。
在一些实例中，表示68可分成若干适配集。即，表示68的各种子集可包含相应共同特性集合，例如编码解码器、配置文件及层级、分辨率、视图数目、区段的文件格式、可识别将与将解码及呈现的表示及/或音频数据(例如由扬声器发出)一起显示的文本的语言或其它特性的文本类型信息、可描述适配集中的表示的场景的相机角度或真实世界相机视角的相机角度信息、描述对于特定观众的内容适合性的分级信息，或其类似信息。
清单文件66可包含指示对应于特定适配集的表示68的子集以及所述适配集的共同特性的数据。清单文件66还可包含表示适配集的个别表示的个别特性(例如位速率)的数据。以此方式，适配集可提供简化的网络带宽适配。适配集中的表示可使用清单文件66的适配集元素的子代元素来指示。
服务器装置60包含请求处理单元70及网络接口72。在一些实例中，服务器装置60可包含多个网络接口。此外，服务器装置60的特征中的任一者或全部可在内容递送网络的其它装置(例如路由器、网桥、代理装置、交换机或其它装置)上实施。在一些实例中，内容递送网络的中间装置可高速缓冲存储多媒体内容64的数据，且包含大体上符合服务器装置60的那些组件的组件。一般来说，网络接口72经配置以经由网络74发送及接收数据。
请求处理单元70经配置以从客户端装置(例如客户端装置40)接收对存储媒体62的数据的网络请求。举例来说，请求处理单元70可实施超文本传送协议(HTTP)版本1.1，如RFC 2616中R.Fielding等人于1999年6月在网络工作小组的IETF的“Hypertext TransferProtocol-HTTP/1.1”中所描述。即，请求处理单元70可经配置以接收HTTP GET或部分GET请求，且响应于所述请求而提供多媒体内容64的数据。请求可例如使用区段的URL来指定表示68中的一者的区段。在一些实例中，所述请求还可指定区段的一或多个字节范围，从而包括部分GET请求。请求处理单元70可经进一步配置以服务于HTTP HEAD请求以提供表示68中的一者的区段的标头数据。在任何情况下，请求处理单元70可经配置以处理所述请求以向请求装置(例如客户端装置40)提供所请求的数据。
另外或替代地，请求处理单元70可经配置以经由例如eMBMS的广播或多播协议递送媒体数据。内容准备装置20可以与所描述的方式大体上相同的方式创建DASH区段及/或子区段，但服务器装置60可使用eMBMS或另一广播或多播网络传送协议来递送这些区段或子区段。举例来说，请求处理单元70可经配置以从客户端装置40接收多播群组加入请求。即，服务器装置60可向客户端装置(包含客户端装置40)公告与多播群组相关联的互联网协议(IP)地址，其与特定媒体内容(例如实况事件的广播)相关联。客户端装置40又可提交加入多播群组的请求。此请求可遍及网络74(例如构成网络74的路由器)传播，使得促使所述路由器将去往与多播群组相关联的IP地址的业务引导至预订的客户端装置(例如客户端装置40)。
如图1的实例中所绘示，多媒体内容64包含清单文件66，所述清单文件66可对应于媒体呈现描述(MPD)。清单文件66可含有不同替代表示68(例如具有不同质量的视频服务)的描述，且所述描述可包含例如编码解码器信息、配置文件值、层级值、位速率及表示68的其它描述性特性。客户端装置40可检索媒体呈现的MPD以确定如何存取表示68的区段。
具体地说，检索单元52可检索客户端装置40的配置数据(未展示)以确定视频解码器48的解码能力及视频输出44的显现能力。配置数据还可包含由客户端装置40的用户选择的语言偏好中的任一者或全部、对应于由客户端装置40的用户设定的深度偏好的一或多个相机视角及/或由客户端装置40的用户选择的分级偏好。举例来说，检索单元52可包括网页浏览器或媒体客户端，其经配置以提交HTTP GET及部分GET请求。检索单元52可对应于由客户端装置40的一或多个处理器或处理单元(未展示)执行的软件指令。在一些实例中，关于检索单元52所描述的功能性的全部或部分可在硬件或硬件、软件及/或固件的组合中实施，其中可提供必需的硬件以执行软件或固件的指令。
检索单元52可将客户端装置40的解码及显现能力与由清单文件66的信息所指示的表示68的特性进行比较。检索单元52可最初检索清单文件66的至少一部分以确定表示68的特性。举例来说，检索单元52可请求描述一或多个适配集的特性的清单文件66的一部分。检索单元52可选择具有客户端装置40的译码及显现能力可满足的特性的表示68的子集(例如适配集)。检索单元52可接着确定适配集中的表示的位速率，确定网络带宽的当前可用量，且从具有网络带宽可满足的位速率的表示中的一者检索区段。
一般来说，较高位速率表示可产生较高质量的视频回放，而较低位速率表示可在可用网络带宽减少时提供足够质量的视频回放。因此，当可用网络带宽相对高时，检索单元52可从相对高位速率的表示检索数据，而当可用网络带宽较低时，检索单元52可从相对低位速率的表示检索数据。以此方式，客户端装置40可经由网络74流式处理传输多媒体数据，同时还适应网络74的改变的网络带宽可用性。
另外或替代地，检索单元52可经配置以根据例如eMBMS或IP多播的广播或多播网络协议来接收数据。在这些实例中，检索单元52可提交加入与特定媒体内容相关联的多播网络群组的请求。在加入多播群组之后，检索单元52可在另外请求未发出至服务器装置60或内容准备装置20的情况下接收多播群组的数据。检索单元52可提交当不再需要多播群组的数据时离开多播群组的请求，例如停止回放或将信道改变至不同多播群组。
网络接口54可接收经选定表示的区段的数据且将所述数据提供至检索单元52，检索单元52又可将所述区段提供至解封装单元50。解封装单元50可将视频文件的元素解封装成组成性PES流，解包化所述PES流以检索经编码数据，且取决于经编码数据为音频流还是视频流的部分(例如如由流的PES数据包标头所指示)而将经编码数据发送至音频解码器46或视频解码器48。音频解码器46解码经编码音频数据，且将经解码音频数据发送至音频输出42，而视频解码器48解码经编码视频数据，且将经解码视频数据发送至视频输出44，经解码视频数据可包含流的多个视图。
视频编码器28、视频解码器48、音频编码器26、音频解码器46、封装单元30、检索单元52及解封装单元50各自可实施为适用的多种合适处理电路系统中的任一者，合适处理电路系统是例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路系统、软件、硬件、固件或其任何组合。视频编码器28及视频解码器48中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可经集成为组合式视频编码器/解码器(CODEC)的部分。同样地，音频编码器26及音频解码器46中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可经集成为组合式CODEC的部分。包含视频编码器28、视频解码器48、音频编码器26、音频解码器46、封装单元30、检索单元52及/或解封装单元50的设备可包括集成电路、微处理器及/或无线通信装置，例如蜂窝电话。
客户端装置40、服务器装置60及/或内容准备装置20可经配置以根据本发明的技术操作。出于实例的目的，本发明关于客户端装置40及服务器装置60描述这些技术。然而，应理解，替代服务器装置60(或除此之外)，内容准备装置20可经配置以执行这些技术。
封装单元30可形成NAL单元，所述NAL单元包括识别NAL所属的节目的标头，以及有效负载，例如音频数据、视频数据或描述NAL单元对应于的输送或节目流的数据。举例来说，在H.264/AVC中，NAL单元包含1字节标头及不同大小的有效负载。在有效负载中包含视频数据的NAL单元可包括各种粒度层级的视频数据。举例来说，NAL单元可包括视频数据块、多个块、视频数据的切片或视频数据的整个图片。封装单元30可从视频编码器28接收呈基本流的PES数据包的形式的经编码视频数据。封装单元30可使每一基本流与对应程序相关联。
封装单元30还可汇编来自多个NAL单元的存取单元。一般来说，存取单元可包括用于表示视频数据的帧以及对应于所述帧的音频数据(当此音频数据可用时)的一或多个NAL单元。存取单元通常包含一个输出时间实例的所有NAL单元，例如一个时间实例的所有音频及视频数据。举例来说，如果每一视图具有20帧每秒(fps)的帧速率，那么每一时间实例可对应于0.05秒的时间间隔。在此时间间隔期间，可同时显现相同存取单元(相同时间实例)的所有视图的特定帧。在一个实例中，存取单元可包括一个时间实例中的经译码图片，其可呈现为初级经译码图片。
因此，存取单元可包括共同时间实例的所有音频帧及视频帧，例如对应于时间X的所有视图。本发明也将特定视图的经编码图片称为“视图分量”。即，视图分量可包括在特定时间针对特定视图的经编码图片(或帧)。因此，存取单元可被定义为包括共同时间实例的所有视图分量。存取单元的解码次序未必需要与输出或显示次序相同。
媒体呈现可包含媒体呈现描述(MPD)，所述媒体呈现描述可含有不同替代表示(例如具有不同质量的视频服务)的描述，且所述描述可包含例如编码解码器信息、配置文件值及层级值。MPD为清单文件(例如清单文件66)的一个实例。客户端装置40可检索媒体呈现的MPD以确定如何存取各种呈现的电影片段。电影片段可位于视频文件的电影片段方框(moof方框)中。
清单文件66(其可包括例如MPD)可公告表示68的区段的可用性。即，MPD可包含指示表示68中的一者的第一区段变得可用时的挂钟时间的信息，以及指示表示68内的区段的持续时间的信息。以此方式，客户端装置40的检索单元52可基于开始时间以及在特定区段之前的区段的持续时间而确定何时每一区段可用。
在封装单元30已基于所接收的数据将NAL单元及/或存取单元汇编成视频文件之后，封装单元30将视频文件传递至输出接口32以用于输出。在一些实例中，封装单元30可将视频文件存储在本地，或经由输出接口32而将视频文件发送至远程服务器，而非将视频文件直接发送至客户端装置40。输出接口32可包括例如发射器、收发器、用于写入数据至计算机可读媒体的装置，例如光盘驱动器、磁性媒体驱动器(例如软盘驱动器)、通用串行总线(USB)端口、网络接口或其它输出接口。输出接口32将视频文件输出至计算机可读媒体，例如传输信号、磁性媒体、光学媒体、存储器、闪存驱动器或其它计算机可读媒体。
网络接口54可经由网络74接收NAL单元或存取单元，且经由检索单元52将NAL单元或存取单元提供至解封装单元50。解封装单元50可将视频文件的元素解封装成组成性PES流，解包化所述PES流以检索经编码数据，且取决于经编码数据为音频流还是视频流的部分(例如如由流的PES数据包标头所指示)而将经编码数据发送至音频解码器46或视频解码器48。音频解码器46解码经编码音频数据，且将经解码音频数据发送至音频输出42，而视频解码器48解码经编码视频数据，且将经解码视频数据发送至视频输出44，经解码视频数据可包含流的多个视图。
根据本发明的技术，封装单元30可出于多种目的而使用单一类型的信号发送，例如内容准备阶段、递送层级及/或内容消耗阶段中的任一者或全部。同样地，检索单元52可出于这些目的中的任一者或全部而使用此单一类型的信号发送。
在一个实例中，单一类型的信号发送为包含充当一或多个CMAF播放轨的标识符的值的文件类型(ftyp)方框。因此，封装单元30可设定ftyp方框的值，且检索单元52可读取ftyp方框的值。另外，请求处理单元70也可读取ftyp方框的值。这些组件可在内容准备、递送及/或内容消耗中的任一者或全部期间使用ftyp方框的值。
另外或替代地，单一类型的信号发送可为包含充当一或多个CMAF播放轨的标识符的值的区段类型(styp)方框。styp方框可充当用以识别CMAF片段及/或区块的边界的分隔符、用于CMAF数据结构的标识符、用于DASH区段(或用于其它网络流式处理技术的区段)的标识符，及/或充当用于处理需求的标识符。因此，封装单元30可指定用于表示CMAF片段及/或区段的区块的边界中的任一者或全部、用于区段的CMAF数据结构的标识符、用于DASH区段的标识符及/或用于区段的媒体数据的处理需求的标识符的区段的一或多个styp方框的值。一般来说，styp方框是任选的且可或可不使用，以避免具有后向兼容性及额外负担的问题。
以下表1表示根据本发明的技术的类型值的实例“品牌”，包含每一品牌类型的位置及实例符合性需求：
表1
以下表2至6表示可根据本发明的技术使用的额外实例数据结构：
表2—CMAF播放轨文件
NL 0 格式需求 规范 需求 描述
CMAF标头 1 CMAF CMAF 7.2 CMAF标头
sidx 0/1 区段索引
CMAF片段 CMAF播放轨的全部 CMAF CMAF CMAF片段
表3—CMAF标头
NL 0 格式需求 ISOBMFF CMAF约束 描述
ftyp 1 [ISOBMFF]4.3 CMAF7.2 文件类型及兼容性cmfc
moov 1 [ISOBMFF]8.2.1 用于功能元数据的容器
表4—CMAF区段
表5—CMAF片段
表6—CMAF区块
关于递送及消耗，在一些实例中，ftyp及styp提供类型的兼容性的指示及可如何使用类型的指示。方框可在对象的开始处，且因此易于发现并剖析(例如由检索单元52及/或解封装单元50)。多个兼容性类型可用于用信号发送不同类型。方框的类型还可暴露为使用配置文件参数的互联网媒体类型，且例如用于HTTP情况(例如用于DASH流式处理或其它HTTP流式处理技术)。这可实现不同分布模式。
关于使用类型作为分隔符，类型值可定界片段中的区块、定界区段及播放轨文件中的片段，及/或定界范围以提供适当解释。分隔符(例如类型值)还可表示类型，以便使接收元件(例如检索单元52及/或解封装单元50)确定包含于区块、片段、区段、播放轨文件等等中的数据(例如媒体数据)的类型。无后续字段的索引是必要的，且因此这些技术可支持实时处理。
图2为更详细地绘示图1的检索单元52的组件的实例集合的框图。在此实例中，检索单元52包含eMBMS中间件单元100、DASH客户端110及媒体应用程序112。
在图2的实例中，eMBMS中间件单元100进一步包含eMBMS接收单元106、高速缓冲存储器104及服务器单元102。在此实例中，eMBMS接收单元106经配置以经由eMBMS接收数据，例如根据T.Paila等人在“FLUTE—File Delivery over Unidirectional Transport”(网络工作小组，RFC 6726，2012年11月)中所描述的单向传送文件递送(FLUTE)，可于http://tools.ietf.org/html/rfc6726获得。即，eMBMS接收单元106可经由广播而从例如服务器装置60(其可充当BM-SC)接收文件。
当eMBMS中间件单元100接收到文件的数据时，eMBMS中间件单元可将所接收的数据存储于高速缓冲存储器104中。高速缓冲存储器104可包括计算机可读存储媒体，例如闪速存储器、硬盘、RAM或任何其它合适的存储媒体。
本地服务器单元102可充当DASH客户端110的服务器。举例来说，本地服务器单元102可将MPD文件或其它清单文件提供至DASH客户端110。本地服务器单元102可公告MPD文件中的区段的可用性时间，以及可检索所述区段的超链接。这些超链接可包含对应于客户端装置40的本地主机地址前缀(例如IPv4的127.0.0.1)。以此方式，DASH客户端110可使用HTTP GET或部分GET请求向本地服务器单元102请求区段。举例来说，对于可从链接http://127.0.0.1/rep1/seg3获得的区段，DASH客户端110可构造包含针对http://127.0.0.1/rep1/seg3的请求的HTTP GET请求，且将请求提交至本地服务器单元102。本地服务器单元102可从高速缓冲存储器104检索所请求的数据且响应于这些请求而将数据提供至DASH客户端110。
图3为绘示实例多媒体内容120的元素的概念图。多媒体内容120可对应于多媒体内容64(图1)，或对应于存储于存储媒体62中的另一多媒体内容。在图3的实例中，多媒体内容120包含媒体呈现描述(MPD)122及多个表示124A至124N(表示124)。表示124A包含任选标头数据126及区段128A至128N(区段128)，而表示124N包含任选标头数据130及区段132A至132N(区段132)。为了方便起见，使用字母N来指定表示124中的每一者中的最后一个电影片段。在一些实例中，表示124之间可存在不同数目的电影片段。
MPD 122可包括与表示124分离的数据结构。MPD 122可对应于图1的清单文件66。同样地，表示124可对应于图2的表示68。一般来说，MPD 122可包含通常描述表示124的特性的数据，例如译码及显现特性、适配集、MPD 122所对应的配置文件、文本类型信息、相机角度信息、分级信息、特技模式信息(例如指示包含时间子序列的表示的信息)及/或用于检索远程周期(例如用于在回放期间将针对性广告插入至媒体内容中)的信息。
标头数据126(当存在时)可描述区段128的特性，例如随机存取点(RAP，其也被称作流存取点(SAP))的时间位置、区段128中的哪一者包含随机存取点、与区段128内的随机存取点的字节偏移、区段128的统一资源定位符(URL)，或区段128的其它方面。标头数据130(当存在时)可描述区段132的类似特性。另外或替代地，这些特性可完全包含于MPD 122内。
区段128、132包含一或多个经译码视频样本，其中的每一者可包含视频数据的帧或切片。区段128的经译码视频样本中的每一者可具有类似特性，例如高度、宽度及带宽要求。此类特性可由MPD 122的数据描述，尽管此数据在图3的实例中未绘示。MPD122可包含如3GPP规范所描述的特性，并且添加了本发明中所描述的用信号发送的信息中的任一者或全部。
区段128、132中的每一者可与唯一统一资源定位符(URL)相关联。因此，区段128、132中的每一者可使用流式处理网络协议(例如DASH)来独立地检索。以此方式，例如客户端装置40的目的地装置可使用HTTP GET请求来检索区段128或132。在一些实例中，客户端装置40可使用HTTP部分GET请求来检索区段128或132的特定字节范围。
图4为绘示实例视频文件150的元素的框图，所述实例视频文件可对应于表示的区段，例如图3的区段114、124中的一者。区段128、132中的每一者可包含大体上符合图4的实例中所绘示的数据的布置的数据。视频文件150可据称为封装区段。如上所述，根据ISO基本媒体文件格式及其扩展的视频文件将数据存储于一系列对象(被称为“方框”)中。在图4的实例中，视频文件150包含文件类型(FTYP)方框152、电影(MOOV)方框154、区段索引(sidx)方框162、电影片段(MOOF)方框164及电影片段随机存取(MFRA)方框166。尽管图4表示视频文件的实例，但应理解，根据ISO基本媒体文件格式及其扩展，其它媒体文件可包含其它类型的媒体数据(例如音频数据、计时文本数据等等)，其在结构上类似于媒体文件150的数据。
文件类型(FTYP)方框152通常描述视频文件150的文件类型。文件类型方框152可包含识别描述视频文件150的最佳用途的规范的数据。文件类型方框152可替代地放置在MOOV方框154、电影片段方框164及/或MFRA方框166之前。
在一些实例中，区段(例如视频文件150)可包含在FTYP方框152之前的MPD更新方框(未展示)。MPD更新方框可包含指示对应于包含视频文件150的表示的MPD将被更新的信息，以及用于更新MPD的信息。举例来说，MPD更新方框可提供将用以更新MPD的资源的URI或URL。作为另一实例，MPD更新方框可包含用于更新MPD的数据。在一些实例中，MPD更新方框可紧接在视频文件150的区段类型(STYP)方框(未展示)之后，其中STYP方框可定义视频文件150的区段类型。在下文更详细地论述的图7提供关于MPD更新方框的额外信息。
在图4的实例中，MOOV方框154包含电影标头(MVHD)方框156、播放轨(TRAK)方框158及一或多个电影扩展(MVEX)方框160。一般来说，MVHD方框156可描述视频文件150的一般特性。举例来说，MVHD方框156可包含描述视频文件150何时最初创建、视频文件150何时经最后修改、视频文件150的时间刻度、视频文件150的回放持续时间的数据，或通常描述视频文件150的其它数据。
TRAK方框158可包含视频文件150的播放轨的数据。TRAK方框158可包含播放轨标头(TKHD)方框，其描述对应于TRAK方框158的播放轨的特性。在一些实例中，TRAK方框158可包含经译码视频图片，而在其它实例中，播放轨的经译码视频图片可包含于电影片段164中，其可由TRAK方框158及/或sidx方框162的数据参考。
在一些实例中，视频文件150可包含一个以上播放轨。因此，MOOV方框154可包含数个TRAK方框，其等于视频文件150中的播放轨的数目。TRAK方框158可描述视频文件150的对应播放轨的特性。举例来说，TRAK方框158可描述对应播放轨的时间及/或空间信息。当封装单元30(图3)包含视频文件(例如视频文件150)中的参数集播放轨时，类似于MOOV方框154的TRAK方框158的TRAK方框可描述参数集播放轨的特性。封装单元30可在描述参数集播放轨的TRAK方框内用信号发送序列层级SEI消息存在于参数集播放轨中。
MVEX方框160可描述对应电影片段164的特性，例如用信号发送视频文件150除了包含于MOOV方框154(如果存在)内的视频数据之外还包含电影片段164。在流式处理视频数据的上下文中，经译码视频图片可包含于电影片段164中而非包含于MOOV方框154中。因此，所有经译码视频样本可包含于电影片段164中，而非包含于MOOV方框154中。
MOOV方框154可包含数个MVEX方框160，其等于视频文件150中的电影片段164的数目。MVEX方框160中的每一者可描述电影片段164中的对应电影片段的特性。举例来说，每一MVEX方框可包含电影扩展标头方框(MEHD)方框，其描述电影片段164中的对应电影片段的时间持续时间。
如上文所指出，封装单元30可存储视频样本中的序列数据集，其并不包含实际经译码视频数据。视频样本可大体上对应于存取单元，其为特定时间实例下的经译码图片的表示。在AVC的上下文中，经译码图片包含一或多个VCL NAL单元及其它相关联非VCL NAL单元(例如SEI消息)，所述VCL NAL单元含有用以构造存取单元的所有像素的信息。因此，封装单元30可包含电影片段164中的一者中的序列数据集，其可包含序列层级SEI消息。封装单元30可进一步用信号发送存在于电影片段164中的一者中的序列数据集及/或序列层级SEI消息存在于对应于电影片段164中的一者的MVEX方框160中的一者内。
SIDX方框162为视频文件150的任选元素。即，符合3GPP文件格式或其它此类文件格式的视频文件未必包含SIDX方框162。根据3GPP文件格式的实例，SIDX方框可用以识别区段(例如含于视频文件150内的区段)的子区段。3GPP文件格式将子区段定义为“具有一或多个对应媒体数据方框及含有由电影片段方框引用的数据的媒体数据方框的一或多个连续电影片段方框的自含式集合，必须跟在电影片段方框之后，并在含有关于同一播放轨的信息的下一个电影片段方框之前”。3GPP文件格式还指示SIDX方框“含有对由方框记录的(子)区段的子区段参考的序列。所参考的子区段在呈现时间上邻接。类似地，由区段索引方框参考的字节始终在区段内邻接。所参考大小给出所参考材料中的字节的数目的计数”。
SIDX方框162通常提供表示包含于视频文件150中的区段的一或多个子区段的信息。举例来说，此信息可包含子区段开始及/或结束的回放时间、子区段的字节偏移、子区段是否包含(例如开始于)流存取点(SAP)、SAP的类型(例如SAP为瞬时解码器刷新(IDR)图片、清洁随机存取(CRA)图片、断链存取(BLA)图片等等)、在子区段中SAP的位置(就回放时间及/或字节偏移来说)等等。
电影片段164可包含一或多个经译码视频图片。在一些实例中，电影片段164可包含一或多个图片群组(GOP)，其中的每一者可包含数个经译码视频图片，例如帧或图片。另外，如上文所描述，在一些实例中，电影片段164可包含序列数据集。电影片段164中的每一者可包含电影片段标头方框(MFHD，图4中未展示)。MFHD方框可描述对应电影片段的特性，例如电影片段的序列号。电影片段164可按序列号次序包含于视频文件150中。在一些实例中，电影片段164中的一或多者可例如根据如上文所论述的表3放在CMAF标头之前。此外，CMAF区段可包含一或多个CMAF片段，其中的每一者可包含一或多个任选方框、电影片段方框及媒体数据方框。
MFRA方框166可描述视频文件150的电影片段164内的随机存取点。这可辅助执行特技模式，例如执行对由视频文件150封装的区段内的特定时间位置(即，回放时间)的寻找。在一些实例中，MFRA方框166通常是任选的且无需包含于视频文件中。同样地，客户端装置(例如客户端装置40)未必需要参考MFRA方框166来对视频文件150的视频数据进行正确解码及显示。MFRA方框166可包含数个播放轨片段随机存取(TFRA)方框(未展示)，其等于视频文件150的播放轨的数目，或在一些实例中等于视频文件150的媒体播放轨(例如非暗示播放轨)的数目。
在一些实例中，电影片段164可包含一或多个流存取点(SAP)，例如IDR图片。同样地，MFRA方框166可提供对SAP在视频文件150内的位置的指示。因此，视频文件150的时间子序列可由视频文件150的SAP形成。时间子序列还可包含其它图片，例如取决于SAP的P帧及/或B帧。时间子序列的帧及/或切片可布置于区段内，使得时间子序列的取决于子序列的其它帧/切片的帧/切片可被恰当地解码。举例来说，在数据的层次布置中，用于其它数据的预测的数据也可包含于时间子序列中。
图5为绘示实例CMAF片段200的概念图。图5的CMAF片段200可对应于图4的电影片段164中的一者。CMAF片段200可符合上述表5。CMAF片段(例如CMAF片段200)可为通过CMAF编码、CMAF递送及CMAF播放器处置的最小切换单元。
在图5的实例中，CMAF片段200包含零或多个任选方框202、电影片段(moof)方框204及媒体数据(mdat)方框206。任选方框202是用虚线勾勒以指示任选方框202是任选的。图5的任选方框202可包含区段类型方框、制作者参考时间方框及/或DASH事件消息方框中的无一者、任一者或全部。
MDAT方框206包含随机存取媒体样本208A至208C(随机存取媒体样本208)，其可对应于一或多个经译码视频流(CVS)。MDAT方框206的第一样本(例如序数第一样本)(例如随机存取媒体样本208A)的解码时间210可由可包含于moof方框204中的播放轨片段解码时间(tfdt)方框指示。具体地说，tfdt方框可包含于moof方框204的播放轨片段(traf)方框中，且可指示播放轨片段基本媒体解码时间。
在一些实例中，例如CMAF片段200的CMAF片段符合以下约束：
1.与相关联CMAF标头组合的每一CMAF片段在其被独立地存取时应含有将被解码、解密及显示的足够元数据。除了所指定CMAF播放轨及媒体配置文件约束之外，如果CMAF片段在运用其相关联CMAF标头处理时不能被解码，那么CMAF播放轨是非符合性。举例来说，如果样本群组及样本群组描述用以用信号发送加密密钥变化，那么SampleGroupDescriptionBox及SampleToGroupBox需要存在于TrackFragmentBox中以使CMAF片段可随机存取及解密。
2.CMAF片段MovieFragmentBox可放在其它方框(包含一或多个SegmentTypeBox、ProducerReferenceTimeBox及/或DASHEventMessageBox)之前。(对于关于事件消息的更多信息，参见ISO/IEC 23000-19的7.4.5及附录E)。
3.CMAF播放轨中的每一CMAF片段应具有至少一秒的持续时间，其中播放轨的第一及最后片段可能例外。
图6为绘示实例CMAF播放轨220的概念图。在此实例中，CMAF播放轨220包含CMAF标头222及CMAF片段230A、230B(CMAF片段230)。CMAF片段230中的每一者包含零或多个任选方框、moof方框及mdat方框的相应集合。举例来说，CMAF片段230A包含任选方框224A、moof方框226A及mdat方框228A，而CMAF片段230B包含任选方框224B、moof方框226B及mdat方框228B。以此方式，CMAF片段230中的每一者可通常包含类似于图5的CMAF片段200的元素的元素。图6的CMAF播放轨220可包含于视频文件(例如图4的视频文件150)内，其中CMAF标头222可对应于图4的ftyp方框152及moov方框154，且CMAF片段230可在图4的电影片段164的开头处开始。CMAF播放轨200通常可符合上述表2。
根据本发明的技术，CMAF标头222可在NL 0处包含ftyp值，如上文所论述并如表3的实例中所示。即，图1的内容准备装置20可至少部分地设定ftyp值以指示CMAF标头222的开始。同样地，图1的客户端装置40(例如图1的检索单元52)可通过剖析包含CMAF播放轨220的位流及检测ftyp值而确定CMAF标头222的位置。作为响应，检索单元52可确定CMAF片段230在CMAF标头222之后(例如图4的ftyp方框152及moov方框154)，潜在地还在一或多个介入sidx方框(例如sidx方框162(图4))之后。
此外，CMAF片段230中的每一者可包含表示CMAF片段230是对应于例如对应moof方框226A、226B(moof方框226)中的仅仅CMAF片段、CMAF区段还是CMAF区块的styp值。因此，检索单元52可根据相应moof方框226中的相应CMAF片段的styp的值确定CMAF片段230中的一者是仅仅CMAF片段、CMAF区块还是CMAF区段。
举例来说，内容准备装置20(图1)可指派“cmfl”的值至CMAF片段230中的对应一者的moof方框226中的一者的styp元素以指示CMAF片段230中的一者包含CMAF区块，指派“cmff”的值以指示CMAF片段230中的一者仅仅为CMAF片段，或指派“cmfs”的值以指示CMAF片段230中的一者包含于CMAF区段中。同样地，检索单元52可确定当moof方框226中的一者的styp元素具有“cmfl”的值时CMAF片段230中的一者包含CMAF区块，当moof方框226中的一者的styp元素具有“cmff”的值时CMAF片段仅仅为CMAF片段，或当moof方框226中的一者的styp元素具有“cmfs”的值时CMAF片段包含于CMAF区段中。
图7为绘示实例CMAF区段240的概念图。图7的CMAF区段240可在CMAF标头之后(例如如图6中所示)包含于CMAF播放轨文件内。CMAF区段240可符合上述表4。
在图7的实例中，CMAF区段240包含两个实例CMAF片段250A、250B(CMAF片段250)。CMAF片段250中的每一者包含零或多个任选方框、moof方框及mdat方框的相应集合。举例来说，CMAF片段250A包含任选方框244A、moof方框246A及mdat方框248A，而CMAF片段250B包含任选方框244B、moof方框246B及mdat方框248B。以此方式，CMAF片段250中的每一者可通常包含类似于图5的CMAF片段200的元素的元素。图7的CMAF区段240可包含于视频文件(例如图4的视频文件150)内，其中CMAF片段250可在图4的电影片段164的开头处开始。
根据本发明的技术，内容准备装置20(图1)可指派“cmfs”的值至CMAF片段250A的moof方框246A的styp值以指示CMAF片段250A包含于CMAF区段240内并表示CMAF区段240的开始。同样地，图1的检索单元52可响应于确定CMAF片段250A的moof方框246A的styp值具有“cmfs”的值而确定CMAF片段250A表示CMAF区段240的开始。
图8A及8B为绘示实例CMAF片段及CMAF区块的概念图。具体地说，图8A绘示仅仅CMAF片段260的实例。即，CMAF片段260包含moof方框262、mdat方框264，及经译码视频序列样本266A至266L(经译码视频序列样本266)。图8B绘示包含CMAF区块272A至272D(CMAF区块272)的CMAF片段270的实例。CMAF区块272中的每一者可符合上述表6。即，在此实例中，CMAF区块272中的每一者包含相应moof方框274A至274D(moof方框274)、mdat方框276A至276D(mdat方框276)，及相应经译码视频序列样本278A至278L(经译码视频序列样本276)。
如所示，CMAF区块272可包含于CMAF片段270(如上文所论述，其可包含于CMAF播放轨及/或CMAF区段内)内。在一个实例中，CMAF区块为通过CMAF编码、CMAF递送及CMAF播放器处置的最小原子单元。通过将CMAF片段270分成CMAF区块272，例如如图8B中所示，经译码视频序列样本278的媒体数据可比图8A的经译码视频序列样本266的媒体数据更频繁地输出。即，图1的内容准备装置20例如可在相应编码器输出时间280A至280D(编码器输出时间280)输出CMAF区块272中的每一者。相比之下，内容准备装置20可在编码器输出时间268输出整个CMAF片段260。以此方式，使用CMAF区块(例如CMAF区块272)可减小用于流式处理服务的输送媒体数据的时延。
CMAF区块272可根据本发明的技术标记为具有在相应moof方框274中的“cmfl”的styp值。即，内容准备装置20可指定相应moof方框274中的“cmfl”的值。同样地，检索单元52可基于相应moof方框274中的“cmfl”的值确定CMAF片段270包含CMAF区块272。检索单元52还可通过剖析CMAF片段270及检测相应moof方框274的styp值的“cmfl”的值而确定CMAF区块272中的每一者的开始。
在一些实例中，CMAF区块可符合以下约束：
1.CMAF片段应包含各自含有一个MovieFragmentBox(接着含有其参考的样本的一或多个MediaDataBox)的一或多个ISO基本媒体区段[ISOBMFF、8.16]。
2.CMAF片段应含有如ISO/IEC 23000-19的7.5.14中所指定约束的MovieFragmentHeaderBox。
3.每一TrackFragmentBox应含有一个TrackFragmentBaseMediaDecodeTimeBox。
4.CMAF片段中的所有媒体样本应由TrackRunBox中的相对于MovieFragmentBox的第一字节的字节偏移寻址(参见[ISOBMFF]8.8.4)。
5.CMAF区块MovieFragmentBox可放在其它方框(包含SegmentTypeBox、一或多个ProducerReferenceTimeBox及/或DASHEventMessageBox)之前。(对于关于事件消息的更多信息，参见7.4.5及附录E)。
图9为绘示根据本发明的技术的实例系统300的概念图。在此实例中，系统300分成四个逻辑部分：清单部分、内容提供部分、递送部分，及平台及播放器部分。清单部分及内容提供部分通常可对应于图1的内容准备装置20，递送部分可对应于图1的服务器装置60，且平台及播放器部分可对应于图1的客户端装置40。
在图9的实例中，系统300的清单部分包含DASH MPD 302、HTTP实况流式处理(HLS)M3U8播放列表304及应用程序306。DASH MPD 302参考CMAF内容308，其包含于系统300的内容提供部分中。CMAF内容308经提供至内容递送网络(CDN)310，其提供广播及/或多播服务作为系统300的递送部分的部分。系统300的平台及播放器部分的各种平台及播放器可从CDN 310接收媒体数据，例如独立HTTP实况流式处理(HLS)播放器312、用于接收HLS作为HTML-5视频标签的装置314、独立DASH播放器316、用于接收DASH作为HTML-5视频标签的装置318，及/或HTML-5基于MSE类型3播放器320。本发明的技术通常可支持一种类型的信号发送用于根据这些实例使用情况中的任一者或全部配置的装置。
图10为绘示在使用HTML-5应用程序编程接口(API)338的WAVE应用程序336内的在平台332、内容334及应用程序336之间的实例分解330的概念图，平台、内容及应用中的每一者可使用根据本发明的技术的数据。WAVE装置平台334可具有可经由HTML-5API 338存取用于应用程序336的一组能力及详细编码解码器能力。WAVE内容332可在WAVE应用程序336内的WAVE装置平台334上播放。WAVE应用程序336可使用WAVE平台装置334的能力用于媒体服务。
图11为绘示实例方框序列及CMAF区块350的容纳的概念图。在此实例中，下部方框指示在上方方框中的容纳。即，CMAF区块包含区段类型(‘styp’)方框352、制作者参考时间(‘prft’)事件(‘emsg’)354、电影片段(‘moof’)方框356，及媒体数据(‘mdat’)方框。Moof方框356又包含电影片段标头(‘mfhd’)方框360、保护特定标头(‘pssh’)方框362，及播放轨片段(‘traf’)方框364。含于如图11中所示的traf方框364中的方框的序列为一个实例。在此实例中，方框364包含播放轨片段标头(‘tfhd’)方框370、播放轨片段运行(‘trun’)方框372、样本加密(‘senc’)方框374、样本辅助信息大小(‘saiz’)方框376、样本辅助信息偏移(‘saio’)方框378、样本至群组(‘sbgp’)方框380，及样本群组描述(‘sgpd’)方框382。用虚线轮廓展示的方框(例如styp方框352、prtf emsg 354及pssh方框362)可为任选的。在一些实例中，当使用加密时有条件地要求如底部行中所示的traf方框364的特定方框。
在一个实例中，含有CMAF片段的初始样本的任一CMAF区块或CMAF片段将符合CMAF区段品牌‘cmff’且所述品牌应在‘styp’中被用信号发送。
CMAF标头、CMAF片段及CMAF区块可被包装并称为用于存储及递送的CMAF可寻址媒体对象，如CMAF媒体对象模型的章节6.7中所描述。每一CMAF可寻址媒体对象可被外部规范(例如MPEG DASH)称为资源。
CMAF标头、CMAF区块及CMAF片段可通过简单变换方式用为CMAF可寻址资源，所述简单变换方式是例如：
●直接，
●通过串接CMAF片段及作为CMAF区段发送，及/或
●通过串接CMAF标头与所有CMAF片段，可能添加SegmentIndexBox。
在CMAF片段模式中，CMAF标头可用为可寻址对象。在此模式中，CMAF片段可直接用为CMAF可寻址媒体对象。
在CMAF区段模式中，CMAF区段可如上文(例如关于表4及图7)所论述而使用。CMAF区段可经定义为含有按呈现次序的一或多个完整CMAF片段的CMAF可寻址媒体对象。在一些实例中：
1.CMAF区段可含有按解码次序定序的分成多个电影片段的每一CMAF片段的样本。
2.CMAF区段可包含在每一CMAF片段的第一MovieFragmentBox之前的SegmentTypeBox。SegmentTypeBox可包含CMAF区段品牌‘cmfs’，及在CMAF播放轨的CMAF标头的FileTypeBox中列出的任何compatible_brands。
在CMAF区块模式中，CMAF标头可用为可寻址对象。在此模式中，每一CMAF片段可包含于一或多个CMAF区块中。CMAF区块可直接用为CMAF可寻址媒体对象。初始CMAF可包含两个CMAF区段品牌(‘cmff’及cmfl’)，以用信号发送与CMAF片段的初始部分以及CMAF区块的兼容性。非初始CMAF区块可包含CMAF区段品牌‘cmfl’以用信号发送与此区段格式的兼容性。
CMAF播放轨文件可为经定义为存储为ISO BMFF文件中的单一播放轨的CMAF播放轨的CMAF可寻址媒体对象，其中第一CMAF片段baseMediaDecodeTime等于零。CMAF标头及所有CMAF片段可包含于单一CMAF播放轨文件中。在一些实例中，CMAF播放轨文件符合以下约束：
1.额外方框(例如SegmentIndexBoxes)可存在于CMAF标头与第一CMAF片段之间。
2.如果SegmentIndexBoxes存在，那么SegmentIndexBox中参考的每一subsegment应为含于CMAF播放轨文件中的单一CMAF片段。
3.含于CMAF片段中的Emsg及prtf方框维持于播放轨文件中。如果emsg或prtf经维持用于CMAF片段，那么SegmentIndexBox应参考CMAF片段的开始，即，prtf或任一emsg的较早者。
4.视频CMAF播放轨文件可含有偏移编辑列表以通过减去通过使用使用正组成偏移值的v0 TrackRunBox添加的任一组成延迟，而将第一呈现样本的最早呈现时间调整至为零的baseMediaDecodeTime以将视频帧从解码次序重排序至呈现次序。参见ISO/IEC23000-19的7.5.12。
5.使用负组成偏移的v1 TrackRunBox可用于将每一CMAF片段中的最早呈现的视频样本的组成时间调整成其BaseMediaDecodeTime，且将CMAF播放轨文件中的最早视频样本调整成零，而不使用偏移编辑列表。
图12为绘示根据本发明的技术产生位流的实例方法的流程图。关于内容准备装置20(图1)阐释图12的方法。然而，应理解，其它装置可经配置以执行此方法或类似方法。举例来说，服务器装置60可执行图12的方法的一些或所有步骤。
最初，音频编码器26及视频编码器28(图1)编码媒体数据(例如分别为音频数据或视频数据)，以形成媒体数据的经编码样本。封装单元30(图1)接着接收媒体数据的经编码样本并根据本发明的技术产生包含根据CMAF而格式化的经编码样本的位流。具体地说，封装单元30产生CMAF播放轨文件的CMAF标头(400)。封装单元30可根据上述表3产生CMAF标头。举例来说，封装单元30可设定在CMAF标头的开始处的CMAF标头的文件类型(ftyp)值(402)。封装单元30还可产生CMAF标头的电影(moov)方框，例如包含图4的moov方框154的元素。
封装单元30接着可在相应CMAF片段中封装经编码媒体样本(404)。在各种实例中，CMAF片段可对应于仅仅CMAF片段、包含于CMAF区段中的CMAF片段或包含CMAF区块的CMAF片段。因此，封装单元30可设定在CMAF片段的开始处的区段类型(styp)值，以指示CMAF片段的开始及CMAF片段的类型(例如仅仅CMAF片段、CMAF区段或CMAF区块)。如上文所提及，值“cmfs”可表示CMAF区段，值“cmff”可表示仅仅CMAF片段，且值“cmfl”可表示CMAF区块。封装单元30可设定CMAF片段的相应moof方框中的styp值。
封装单元30接着可产生包含CMAF标头及CMAF片段的位流(408)，并将所述位流发送至客户端装置(410)，例如客户端装置40(图1)。在一些实例中，内容准备装置20可将位流发送至服务器装置60，服务器装置60接着可将位流发送至客户端装置40。
以此方式，图12的方法表示产生位流的方法的实例，所述方法包含：由实施于电路系统中的处理器产生CMAF播放轨文件的共同媒体应用格式(CMAF)标头；由所述处理器设定指示所述CMAF标头的开始的所述CMAF标头的文件类型(FTYP)值的值；由所述处理器在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中封装媒体数据的一或多个样本；及由所述处理器产生包含所述CMAF标头及所述CMAF播放轨文件的位流，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
图13为绘示根据本发明的技术处理媒体数据的方法的实例的流程图。关于图1的客户端装置40阐释图13的方法。然而，应理解，其它装置可经配置以执行根据本发明的技术的此方法或类似方法。
最初，客户端装置40的检索单元52(图1)剖析包含CMAF播放轨文件的位流(420)。应理解，检索单元52最初可向例如服务器装置60或内容准备装置20(图1)请求位流。当剖析位流时，检索单元52可检测CMAF播放轨文件的文件类型(ftyp)值(422)。如上述表3中所示，ftyp值可在CMAF播放轨文件的CMAF标头的开始处。因此，检索单元52可确定CMAF标头以ftyp值开始(424)。检索单元52可进一步确定CMAF标头的其余部分(例如moov方框)在ftyp值之后。
因此，检索单元52可确定CMAF播放轨文件的一或多个CMAF片段在CMAF标头(及任何sidx方框(如果存在)，例如如上述表2中及图4中所示)之后。具体地说，检索单元52可继续剖析在CMAF标头之后的位流并检测在CMAF标头之后的一或多个区段类型(styp)值(426)。检索单元52可检测CMAF片段的相应moof方框中的styp值。根据本发明的技术，检索单元52可确定styp值中的每一者表示对应CMAF片段的开始。此外，检索单元52可从相应styp值确定CMAF片段的类型。如上文所论述，在一些实例中，用于styp的值“cmfs”可表示CMAF区段，用于styp的值“cmff”可表示仅仅CMAF片段，且用于styp的值“cmfl”可表示CMAF区块。
因此，检索单元52可根据styp值处理在相应styp值处开始的对应CMAF片段(428)。举例来说，检索单元52可确定是否仅仅CMAF片段在styp值之后，是否一或多个CMAF片段将被预期作为CMAF区段的部分(例如如图7中所示)，或CMAF片段是否包含一或多个CMAF区块(例如如图8B中所示)。
以此方式，图13的方法表示处理媒体数据的方法的实例，所述方法包含：由实施于电路系统中的处理器剖析根据共同媒体应用格式(CMAF)而格式化的包含数据的位流；由所述处理器及在所述剖析期间检测用于所述位流的CMAF播放轨文件的文件类型(FTYP)值；由所述处理器确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始；及由所述处理器处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体(其包含例如根据通信协议促进计算机程序从一处传送至另一处的任何媒体)。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置、闪速存储器，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性有形存储媒体。如本文中所使用的磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由一或多个处理器执行指令，所述一或多个处理器是例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路系统。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能可提供于经配置以供编码及解码或并入于经组合编码解码器中的专用硬件及/或软件模块内。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于多种装置或设备中，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。更确切地说，如上文所描述，各种单元可与合适的软件及/或固件一起组合于编码解码器硬件单元中或由互操作性硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。
各种实例已予以描述。这些及其它实例在所附权利要求书的范围内。

Claims (44)

1.一种处理媒体数据的方法，所述方法包括：
由实施于电路系统中的处理器剖析根据共同媒体应用格式CMAF而格式化的包含数据的位流；
由所述处理器及在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型FTYP值；
由所述处理器确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始；及
由所述处理器处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段。
2.根据权利要求1所述的方法，其中处理所述一或多个CMAF片段包括：
检测所述位流中的一或多个区段类型STYP值；
确定所述一或多个STYP值中的每一者对应于所述CMAF片段中的相应者的开始；及
处理从所述对应STYP值开始的所述CMAF片段中的每一者。
3.根据权利要求2所述的方法，其进一步包括：
确定所述CMAF片段中的对应者的所述STYP值中的至少一者具有指示所述CMAF片段中的所述对应者包含CMAF区块的值；及
响应于确定所述STYP值中的所述至少一者具有指示所述CMAF片段中的所述对应者包含所述CMAF区块的所述值而处理所述CMAF区块。
4.根据权利要求述3所的方法，其中所述STYP值中的所述至少一者的所述值包括“cmfl”。
5.根据权利要求2所述的方法，其进一步包括：
确定所述CMAF片段中的对应者的所述STYP值中的至少一者具有指示所述CMAF片段中的所述对应者包含于所述CMAF播放轨文件的CMAF区段中的值；及
响应于确定所述STYP值中的所述至少一者具有指示所述CMAF片段中的所述对应者包含于所述CMAF区段中的所述值而处理所述CMAF区段。
6.根据权利要求5所述的方法，其中所述STYP值中的所述至少一者的所述值包括“cmfs”。
7.根据权利要求5所述的方法，其中处理所述CMAF区段包括处理包含于所述CMAF区段中的一或多个CMAF片段。
8.根据权利要求2所述的方法，其进一步包括：
确定所述STYP值中的至少一者包括“cmff”；及
响应于确定所述STYP值中的所述至少一者包括“cmff”，将紧随所述STYP值中的所述至少一者的所述位流的数据处理为对应于所述CMAF片段中的所述对应者的样本。
9.根据权利要求1所述的方法，其中处理所述一或多个CMAF片段包括响应于检测到所述FTYP值而确定在所述CMAF标头之后的数据表示所述一或多个CMAF片段。
10.一种用于处理媒体数据的装置，所述装置包括：
存储器，其用于存储媒体数据；及
一或多个处理器，其实施于电路系统中且经配置以进行以下操作：
剖析包含所述媒体数据的位流，所述位流是根据共同媒体应用格式CMAF而格式化；
在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型FTYP值；
确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始；及
处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段。
11.根据权利要求10所述的装置，其中为了处理所述一或多个CMAF片段，所述一或多个处理器经配置以进行以下操作：
检测所述位流中的一或多个区段类型STYP值；
确定所述一或多个STYP值中的每一者对应于所述CMAF片段中的相应者的开始；及
处理从所述对应STYP值开始的所述CMAF片段中的每一者。
12.根据权利要求11所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：
确定所述CMAF片段中的对应者的所述STYP值中的至少一者具有指示所述CMAF片段中的所述对应者包含CMAF区块的值；及
响应于确定所述STYP值中的所述至少一者具有指示所述CMAF片段中的所述对应者包含所述CMAF区块的所述值而处理所述CMAF区块。
13.根据权利要求12所述的装置，其中所述STYP值中的所述至少一者的所述值包括“cmfl”。
14.根据权利要求11所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：
确定所述CMAF片段中的对应者的所述STYP值中的至少一者具有指示所述CMAF片段中的所述对应者包含于所述CMAF播放轨文件的CMAF区段中的值；及
响应于确定所述STYP值中的所述至少一者具有指示所述CMAF片段中的所述对应者包含于所述CMAF区段中的所述值而处理所述CMAF区段。
15.根据权利要求14所述的装置，其中所述STYP值中的所述至少一者的所述值包括“cmfs”。
16.根据权利要求14所述的装置，其中所述一或多个处理器经配置以处理包含于所述CMAF区段中的一或多个CMAF片段。
17.根据权利要求11所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：
确定所述STYP值中的至少一者包括“cmff”；及
响应于确定所述STYP值中的所述至少一者包括“cmff”，将紧随所述STYP值中的所述至少一者的所述位流的数据处理为对应于所述CMAF片段中的所述对应者的样本。
18.根据权利要求10所述的装置，其中所述一或多个处理器经配置以响应于检测到所述FTYP值而确定在所述CMAF标头之后的数据表示所述一或多个CMAF片段。
19.一种用于处理媒体数据的装置，所述装置包括：
用于剖析根据共同媒体应用格式CMAF而格式化的包含数据的位流的装置；
用于在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型FTYP值的装置；
用于确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始的装置；及
用于处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段的装置。
20.根据权利要求19所述的装置，其中所述用于处理所述一或多个CMAF片段的装置包括：
用于检测所述位流中的一或多个区段类型STYP值的装置；
用于确定所述一或多个STYP值中的每一者对应于所述CMAF片段中的相应者的开始的装置；及
用于处理从所述对应STYP值开始的所述CMAF片段中的每一者的装置。
21.根据权利要求20所述的装置，其中所述用于处理所述CMAF片段中的每一者的装置包括：
用于当所述一或多个CMAF片段中的第一CMAF片段的对应STYP值具有“cmfs”的值时将所述第一CMAF片段处理为包含于相应CMAF区段中的装置；
用于当所述一或多个CMAF片段中的第二CMAF片段的对应STYP值具有“cmff”的值时处理所述第二CMAF片段的样本的装置；及
用于当所述一或多个CMAF片段中的第三CMAF片段的对应STYP值具有“cmfl”的值时将所述第三CMAF片段处理为包含相应CMAF区块的装置。
22.一种计算机可读存储媒体，其上存储有指令，所述指令在执行时致使处理器进行以下操作：
剖析根据共同媒体应用格式CMAF而格式化的包含数据的位流；
在所述剖析期间检测所述位流的CMAF播放轨文件的文件类型FTYP值；
确定所述CMAF播放轨文件的CMAF标头以所述FTYP值开始；及
处理在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段。
23.根据权利要求22所述的计算机可读存储媒体，其中致使所述处理器处理所述一或多个CMAF片段的所述指令包括致使所述处理器进行以下操作的指令：
检测所述位流中的一或多个区段类型STYP值；
确定所述一或多个STYP值中的每一者对应于所述CMAF片段中的相应者的开始；及
处理从所述对应STYP值开始的所述CMAF片段中的每一者。
24.根据权利要求23所述的计算机可读存储媒体，其中致使所述处理器处理所述CMAF片段中的每一者的所述指令包括致使所述处理器进行以下操作的指令：
当所述一或多个CMAF片段中的第一CMAF片段的对应STYP值具有“cmfs”的值时将所述第一CMAF片段处理为包含于相应CMAF区段中；
当所述一或多个CMAF片段中的第二CMAF片段的对应STYP值具有“cmff”的值时处理所述第二CMAF片段的样本；及
当所述一或多个CMAF片段中的第三CMAF片段的对应STYP值具有“cmfl”的值时将所述第三CMAF片段处理为包含相应CMAF区块。
25.一种产生包含媒体数据的位流的方法，所述方法包括：
由实施于电路系统中的处理器产生CMAF播放轨文件的共同媒体应用格式CMAF标头；
由所述处理器设定指示所述CMAF标头的开始的所述CMAF标头的文件类型FTYP值的值；
由所述处理器将媒体数据的一或多个样本封装于在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中；及
由所述处理器产生包含所述CMAF标头及所述CMAF播放轨文件的位流，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
26.根据权利要求25所述的方法，其进一步包括：
确定所述CMAF片段中的每一者的类型；及
根据对应经确定类型而设定所述CMAF片段中的每一者的区段类型STYP值，所述STYP值以所述对应CMAF片段开始。
27.根据权利要求26所述的方法，
其中确定类型包括确定所述CMAF片段中的至少一者包含CMAF区块；及
将用于所述CMAF片段中的所述至少一者的所述STYP值设定成指示所述CMAF片段中的所述至少一者包含所述CMAF区块的值。
28.根据权利要求27所述的方法，其中设定所述STYP值包括将所述STYP值设定成“cmfl”。
29.根据权利要求26所述的方法，
其中确定类型包括确定所述CMAF片段中的至少一者仅仅包括CMAF片段；及
将用于所述CMAF片段中的所述至少一者的所述STYP值设定成指示所述CMAF片段中的所述至少一者仅仅包括所述CMAF片段的值。
30.根据权利要求29所述的方法，其中设定所述STYP值包括将所述STYP值设定成“cmff”。
31.根据权利要求26所述的方法，
其中确定类型包括确定所述CMAF片段中的至少一者包含于CMAF区段中；及
将用于所述CMAF片段中的所述至少一者的所述STYP值设定成指示所述CMAF片段中的所述至少一者包含于所述CMAF区段中的值。
32.根据权利要求31所述的方法，其中设定所述STYP值包括将所述STYP值设定成“cmfs”。
33.一种产生包含媒体数据的位流的装置，所述装置包括：
存储器，其经配置以存储媒体数据；及
一或多个处理器，其实施于电路系统中且经配置以进行以下操作：
由实施于电路系统中的处理器产生所述媒体数据的CMAF播放轨文件的共同媒体应用格式CMAF标头；
设定指示所述CMAF标头的开始的所述CMAF标头的文件类型FTYP值的值；
在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中封装所述媒体数据的一或多个样本；及
产生包含所述CMAF标头及所述CMAF播放轨文件的位流，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
34.根据权利要求33所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：
确定所述CMAF片段中的每一者的类型；及
根据对应经确定类型而设定所述CMAF片段中的每一者的区段类型STYP值，所述STYP值以所述对应CMAF片段开始。
35.根据权利要求34所述的装置，其中所述一或多个处理器经配置以进行以下操作：
确定所述CMAF片段中的至少一者包含CMAF区块；及
将用于所述CMAF片段中的所述至少一者的所述STYP值设定成指示所述CMAF片段中的所述至少一者包含所述CMAF区块的值。
36.根据权利要求35所述的装置，其中所述一或多个处理器经配置以将用于所述CMAF片段中的所述至少一者的所述STYP值设定成“cmfl”。
37.根据权利要求34所述的装置，其中所述一或多个处理器经配置以进行以下操作：
确定所述CMAF片段中的至少一者仅仅包括CMAF片段；及
将用于所述CMAF片段中的所述至少一者的所述STYP值设定成指示所述CMAF片段中的所述至少一者仅仅包括所述CMAF片段的值。
38.根据权利要求37所述的装置，其中所述一或多个处理器经配置以将用于所述CMAF片段中的所述至少一者的所述STYP值设定成“cmff”。
39.根据权利要求34所述的装置，其中所述一或多个处理器经配置以进行以下操作：
确定所述CMAF片段中的至少一者包含于CMAF区段中；及
将用于所述CMAF片段中的所述至少一者的所述STYP值设定成指示所述CMAF片段中的所述至少一者包含于所述CMAF区段中的值。
40.根据权利要求34所述的装置，其中所述一或多个处理器经配置以将用于所述CMAF片段中的所述至少一者的所述STYP值设定成“cmfs”。
41.一种产生包含媒体数据的位流的装置，所述装置包括：
用于产生CMAF播放轨文件的共同媒体应用格式CMAF标头的装置；
用于设定指示所述CMAF标头的开始的所述CMAF标头的文件类型FTYP值的值的装置；
用于在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中封装媒体数据的一或多个样本的装置；及
用于产生包含所述CMAF标头及所述CMAF播放轨文件的位流的装置，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
42.根据权利要求41所述的装置，其进一步包括：
用于确定所述CMAF片段中的每一者的类型的装置；及
用于根据对应经确定类型而设定所述CMAF片段中的每一者的区段类型STYP值的装置，所述STYP值以所述对应CMAF片段开始。
43.一种计算机可读存储媒体，其上存储有指令，所述指令在执行时致使处理器进行以下操作：
产生CMAF播放轨文件的共同媒体应用格式CMAF标头；
设定指示所述CMAF标头的开始的所述CMAF标头的文件类型FTYP值的值；
在所述CMAF播放轨文件的所述CMAF标头之后的一或多个CMAF片段中封装媒体数据的一或多个样本；及
产生包含所述CMAF标头及所述CMAF播放轨文件的位流，所述一或多个CMAF片段在所述CMAF播放轨文件中的所述CMAF标头之后。
44.根据权利要求43所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：
确定所述CMAF片段中的每一者的类型；及
根据对应经确定类型而设定所述CMAF片段中的每一者的区段类型STYP值，所述STYP值以所述对应CMAF片段开始。
CN201880020635.4A 2017-04-04 2018-04-03 用于处理媒体数据及产生位流的方法、装置及存储媒体 Active CN110447234B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762481594P 2017-04-04 2017-04-04
US62/481,594 2017-04-04
US15/943,399 US10924822B2 (en) 2017-04-04 2018-04-02 Segment types as delimiters and addressable resource identifiers
US15/943,399 2018-04-02
PCT/US2018/025868 WO2018187318A1 (en) 2017-04-04 2018-04-03 Segment types as delimiters and addressable resource identifiers

Publications (2)

Publication Number Publication Date
CN110447234A true CN110447234A (zh) 2019-11-12
CN110447234B CN110447234B (zh) 2021-12-17

Family

ID=63670215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880020635.4A Active CN110447234B (zh) 2017-04-04 2018-04-03 用于处理媒体数据及产生位流的方法、装置及存储媒体

Country Status (7)

Country Link
US (4) US10924822B2 (zh)
EP (1) EP3607754A1 (zh)
CN (1) CN110447234B (zh)
BR (1) BR112019020629A2 (zh)
SG (1) SG11201907668PA (zh)
TW (1) TW201842785A (zh)
WO (1) WO2018187318A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115398924A (zh) * 2021-01-06 2022-11-25 腾讯美国有限责任公司 用于媒体流传输的方法和设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924822B2 (en) 2017-04-04 2021-02-16 Qualcomm Incorporated Segment types as delimiters and addressable resource identifiers
US11695817B2 (en) * 2019-03-20 2023-07-04 Qualcomm Incorporated Methods and apparatus to facilitate using a streaming manifest including a profile indication
CN112399189B (zh) * 2019-08-19 2022-05-17 腾讯科技（深圳）有限公司 延时输出控制方法、装置、系统、设备及介质
WO2021099363A2 (en) * 2019-11-20 2021-05-27 Dolby International Ab Methods and devices for personalizing audio content
EP4066508A1 (en) * 2019-11-28 2022-10-05 Dolby International AB Methods and devices for providing personalized audio to a user
US11546406B2 (en) * 2020-04-13 2023-01-03 Tencent America LLC Media systems and methods including mixed event message tracks
WO2021251886A1 (en) * 2020-06-09 2021-12-16 Telefonaktiebolaget Lm Ericsson (Publ) Providing semantic information with encoded image data
US11765444B2 (en) * 2020-07-01 2023-09-19 Qualcomm Incorporated Streaming media data including an addressable resource index track
EP4009649A1 (en) * 2020-12-03 2022-06-08 Anevia Method for media stream processing and apparatus for implementing the same
EP4009650A1 (en) * 2020-12-03 2022-06-08 Anevia Method for media stream processing and apparatus for implementing the same
US11784787B2 (en) * 2022-02-01 2023-10-10 Synamedia Limited Streaming with low latency encryption ready packaging
US11750865B1 (en) * 2022-04-08 2023-09-05 CodeShop, B.V. Method and system for synchronization of adaptive streaming transcoder and packager outputs
US20230412669A1 (en) * 2022-06-15 2023-12-21 Microsoft Technology Licensing, Llc Self-driven adaptive upload
WO2024006291A1 (en) * 2022-06-29 2024-01-04 Bytedance, Inc. Edrap in dash based on ari track
US20240022792A1 (en) * 2022-07-12 2024-01-18 Tencent America LLC Method for bandwidth switching by cmaf and dash clients using addressable resource index tracks and events

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080320100A1 (en) * 2007-06-22 2008-12-25 Batson James D Determining playability of media files with minimal downloading
CN101647280A (zh) * 2007-01-26 2010-02-10 Lg电子株式会社 用于构建文件格式的方法和用于处理包括具有该文件格式的文件的数字广播信号的装置及其方法
CN101971639A (zh) * 2008-02-05 2011-02-09 三星电子株式会社 用于生成和显示媒体文件的装置和方法
CN102232298A (zh) * 2011-04-07 2011-11-02 华为技术有限公司 媒体内容的传输处理方法、装置与系统
CN103314579A (zh) * 2011-01-18 2013-09-18 三星电子株式会社 用于在多媒体流传输系统中存储和播放内容的装置及方法
US20160127798A1 (en) * 2013-05-22 2016-05-05 Sony Corporation Content supply device, content supply method, program, and content supply system
CN105723718A (zh) * 2014-01-03 2016-06-29 Lg电子株式会社 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009002115A2 (en) * 2007-06-26 2008-12-31 Lg Electronics Inc. Media file format based on, method and apparatus for reproducing the same, and apparatus for generating the same
WO2010123248A2 (ko) 2009-04-20 2010-10-28 엘지전자 주식회사 P2p 전송 방식에 의한 iptv 스트리밍 서비스를 전송하는 방법 및 p2p 전송 방식에 의한 iptv 스트리밍 서비스를 수신하는 방법.
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
US9042449B2 (en) * 2011-09-29 2015-05-26 Avvasi Inc. Systems and methods for dynamic transcoding of indexed media file formats
WO2014111547A1 (en) * 2013-01-18 2014-07-24 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating partitioned timed media data
GB2516826B (en) 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
US20170055025A1 (en) * 2014-04-30 2017-02-23 Lg Electronics Inc. Broadcast transmission apparatus, broadcast reception apparatus, operation method of the broadcast transmission apparatus and operation method of the broadcast reception apparatus
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
US10291561B2 (en) * 2015-02-09 2019-05-14 Nokia Technologies Oy Apparatus, a method and a computer program for image coding and decoding
US10270823B2 (en) 2015-02-10 2019-04-23 Qualcomm Incorporated Low latency video streaming
JP6868802B2 (ja) * 2015-08-03 2021-05-12 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
US10306308B2 (en) * 2015-12-15 2019-05-28 Telefonaktiebolaget Lm Ericsson (Publ) System and method for media delivery using common mezzanine distribution format
US10136146B1 (en) * 2016-03-23 2018-11-20 Amazon Technologies, Inc. Metadata optimizations for encoding of media content
US20180103271A1 (en) 2016-10-10 2018-04-12 Qualcomm Incorporated Systems and methods for signaling missing or corrupted video data
US11290755B2 (en) 2017-01-10 2022-03-29 Qualcomm Incorporated Signaling data for prefetching support for streaming media data
US10999605B2 (en) 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
US11457290B2 (en) * 2017-02-24 2022-09-27 Telefonaktiebolaget Lm Ericsson (Publ) System and method for watermarking of media segments using sample variants for normalized encryption (SVNE)
US10924822B2 (en) 2017-04-04 2021-02-16 Qualcomm Incorporated Segment types as delimiters and addressable resource identifiers

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101647280A (zh) * 2007-01-26 2010-02-10 Lg电子株式会社 用于构建文件格式的方法和用于处理包括具有该文件格式的文件的数字广播信号的装置及其方法
US20080320100A1 (en) * 2007-06-22 2008-12-25 Batson James D Determining playability of media files with minimal downloading
CN101971639A (zh) * 2008-02-05 2011-02-09 三星电子株式会社 用于生成和显示媒体文件的装置和方法
CN103314579A (zh) * 2011-01-18 2013-09-18 三星电子株式会社 用于在多媒体流传输系统中存储和播放内容的装置及方法
CN102232298A (zh) * 2011-04-07 2011-11-02 华为技术有限公司 媒体内容的传输处理方法、装置与系统
US20140032777A1 (en) * 2011-04-07 2014-01-30 Huawei Technologies Co., Ltd. Method, apparatus, and system for transmitting and processing media content
US20160127798A1 (en) * 2013-05-22 2016-05-05 Sony Corporation Content supply device, content supply method, program, and content supply system
CN105723718A (zh) * 2014-01-03 2016-06-29 Lg电子株式会社 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QUALCOMM INCORPORATED: "S4-100713 "CR 26.244-0033 rev 2 Corrections for 3GP File Format to support Adaptive Streaming (Release 9)"", 《3GPP TSG_SA\WG4_CODEC》 *
THOMAS STOCKHAMMER: "DASH and CMAF:Referencing Common Segment Formats", 《117.MPEG MEETING》 *
WAQAR ZIA等人: "CMAF Conformance Checks", 《118.MPEG MEETING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115398924A (zh) * 2021-01-06 2022-11-25 腾讯美国有限责任公司 用于媒体流传输的方法和设备

Also Published As

Publication number Publication date
SG11201907668PA (en) 2019-10-30
WO2018187318A1 (en) 2018-10-11
US11924526B2 (en) 2024-03-05
US20220116691A1 (en) 2022-04-14
US20180288500A1 (en) 2018-10-04
US10924822B2 (en) 2021-02-16
US11223883B2 (en) 2022-01-11
EP3607754A1 (en) 2020-02-12
TW201842785A (zh) 2018-12-01
CN110447234B (zh) 2021-12-17
US20230328337A1 (en) 2023-10-12
US11706502B2 (en) 2023-07-18
US20210127182A1 (en) 2021-04-29
BR112019020629A2 (pt) 2020-04-22

Similar Documents

Publication Publication Date Title
CN110447234A (zh) 作为分隔符及可寻址资源标识符的区段类型
TWI774744B (zh) 在使用mime類型參數之網路視頻串流中發信重要視頻資訊
CN109155865A (zh) 在图像中的最感兴趣的区域的先进信号传送
CN103765914B (zh) 经译码视频数据的网络流式传输
CN110089122A (zh) 对于用于流式处理媒体数据的预取支持的数据发信
US9645878B2 (en) Error handling for files exchanged over a network
CN109076229A (zh) 在图片中最感兴趣的区域
CN109076238A (zh) 通过http在动态自适应流式传输中用信号传送虚拟现实视频
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
CN107743703A (zh) DASH客户端QoE度量的中间件分发
CN109479158A (zh) 检索及存取用于媒体流式处理的段区块
CN110870282B (zh) 使用网络内容的文件轨处理媒体数据
CN108141455A (zh) 用于媒体数据的流式发射的期限信令
KR20140057659A (ko) 다중 소스들로부터의 멀티미디어 데이터의 스트리밍
CN105744295A (zh) 提供用于串流传输视频数据的序列数据集
KR102434300B1 (ko) 샘플 엔트리들 및 랜덤 액세스
CN109644282A (zh) 用于媒体数据流式处理的补充增强信息轨迹的系统级发信
CN109076264A (zh) 样本条目和随机存取
CN110870323B (zh) 使用全向媒体格式处理媒体数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40009764

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant