CN100419748C - Supporting advanced coding formats in media files - Google Patents

Supporting advanced coding formats in media files Download PDF

Info

Publication number
CN100419748C
CN100419748C CN 03815202 CN03815202A CN100419748C CN 100419748 C CN100419748 C CN 100419748C CN 03815202 CN03815202 CN 03815202 CN 03815202 A CN03815202 A CN 03815202A CN 100419748 C CN100419748 C CN 100419748C
Authority
CN
China
Prior art keywords
sei
data
Prior art date
Application number
CN 03815202
Other languages
Chinese (zh)
Other versions
CN1666195A (en
Inventor
M·Z·维沙拉姆
A·塔巴塔拜
T·沃尔克
Original Assignee
索尼电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US37665202P priority Critical
Priority to US37665102P priority
Priority to US60/376,651 priority
Priority to US60/376,652 priority
Priority to US10/371,464 priority patent/US20030163477A1/en
Priority to US10/371,464 priority
Priority to US10/425,685 priority
Priority to US10/425,685 priority patent/US20040006575A1/en
Application filed by 索尼电子有限公司 filed Critical 索尼电子有限公司
Publication of CN1666195A publication Critical patent/CN1666195A/en
Application granted granted Critical
Publication of CN100419748C publication Critical patent/CN100419748C/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Abstract

识别与多媒体数据有关的一个或多个描述(图1),并将其包含在与多媒体数据相关的补充增强信息(SEI)中(图24)。 Identifying the multimedia data relating to one or more descriptive (FIG. 1), and which comprises (FIG. 24) associated with the multimedia data in a Supplemental Enhancement Information (SEI). 因此,包含一个或多个描述的SEI被传送给解码系统,以便可选地用于所述多媒体数据的解码(图2)。 Accordingly, the description comprising one or more SEI transmitted to the decoding system, to optionally decode multimedia data (FIG. 2) for the.

Description

一种计算方法和采用该方法的装置和系统相关申请本申请与2002年4月29日提交的序号为60376651以及2002年4月29日提交的序号为60/376652的美囯临时专利申请有关并要求其权益,将它们通过引用结合于此。 A Calculation Method and apparatus and system using the method of application related to this application Serial No. 2002, filed April 29, 2002 was 60,376,651 and April 29 filed US provisional patent application 60/376652 and the relevant requirements their interests, they are incorporated herein by reference. 本申请还与2003年2月21日提交的序号为10/371464的美囯专利申请有关。 No. This application is also submitted February 21, 2003 is related to US Patent Application 10/371464.

技术领域 FIELD

一般来说,本发明涉及多々某体文件格式的视听内容的存储和检索, 具体来说,涉及与ISO媒体文件格式兼容的文件格式。 In general, the present invention relates to storage and retrieval of audiovisual content in a plurality 々 File Formats, specifically, to be compatible with the ISO media file format file format. 著作权声明/许可本专利文档的公开的一部分包含受到著作权保护的资料。 COPYRIGHT NOTICE / part of the disclosure of this patent document contains licensing information subject to copyright protection. 著作权所有者不反对任何人传真复制本专利文档或专利公开,因为它出现在专利和商标局专利文件或记录中,但在其它方面仍保留所有著作权。 The copyright owner has no objection to the facsimile reproduction by anyone of the patent document or the patent disclosure, as it appears in the Patent and Trademark Office patent file or records, but reserves all copyrights in other ways. 以下声明适用于以下所述以及与此相关的附图中的软件和数据: Copyright© 2001, Sony Electronics, Inc.,版权所有,不得翻印。 The following statement applies to the following and the figures associated with this software and data: Copyright © 2001, Sony Electronics, Inc., copyright may not be reproduced. 背景技术随着对网络、多i某体、数据库和其它数字容量的迅速增长的需求, 已经开发了许多多^某体编码及存储方案。 BACKGROUND With the rapid growth in demand for network, more than a body i, database and other digital capacity, and has developed a number of multi-^ a body coding and storage solutions. 用于对视听数据进行编码和存储的众所周知的文件格式之一是Apple Computer Inc开发的QuickTime®文件格式。 One of the well-known file format for audiovisual data encoding and storage is developed by Apple Computer Inc QuickTime® file format. QuickTime文件格式用作创建囯际标准化组织(ISO)多媒体文件格式、ISO/正C 14496-12、信息技术-视听对象的编码-第12部分:ISO媒体文件格式(又称作ISO文件格式)的起点,ISO媒体文件格式又用作两个标准文件格式的模板:(l)用于活动图像专家组开发的MPEG-4文件格式,称作MP4(ISO/正C 14496-14,信息技术一视听对象的编码一笫14部分:MP4文件格式);以及(2)JPEG 2000的文件格式(ISO/正C 15444-1),由联合图像专家组(JPEG)开发。 QuickTime file format used to create the International Organization for Standardization (ISO) Multimedia file format, ISO / n-C 14496-12, Information technology - coding of audio-visual objects - Part 12: ISO Media File Format (also known as the ISO file format) the starting point , ISO media file format template and as two standard file formats: (l) for the MPEG-4 file format developed by Moving picture Experts Group, known as MP4 (ISO / n-C 14496-14, information technology - a viewing target encoding a portion of Zi 14: MP4 file format); and (2) JPEG 2000 file format (ISO / n-C 15444-1), (JPEG) developed by the joint Photographic Experts Group. ISO媒体文件格式由称作盒(又称作原子或对象)的面向对象的结构组成。 Object-oriented structure of the ISO media file format called a cartridge (also known as atoms or objects) composition. 两个重要的顶层盒包^Hf某体数据或元数据。 The two important top-level body PACKER ^ Hf a data or metadata. 大部分盒描述了提供关于实际々某体数据的说明、结构和时间信息的元数据的分层结构。 Most cartridge described provide a description of a body 々 actual data, the hierarchical structure of metadata structure and time information. 盒的这个集合包含在称作电影盒的盒中。 This set contained in the cartridge film cartridge called a cassette. 媒体数据本身可位于々某体数据盒中或外部。 々 media data itself may be located in the body of a box or external data. 提供关于特定4某体数据的信息的元数据盒的集合分级结构称作轨道。 Set of hierarchical structure provides information about a particular member 4 data cartridge metadata track is referred to. 主要元数据为电影对象。 The main movie metadata objects. 电影盒包括轨道盒,它描述短暂呈现的媒体数据。 Movie box includes track box, which describes a brief presentation of the media data. 用于轨道的媒体数据可以是各种类型的(例如视频数据、音频数据、二进制^f各式屏幕表示(BIFS)等)。 The data for the media track may be of various types (e.g. video data, audio data, binary ^ f represents a variety of screen (the BIFS), etc.). 各轨道还分为若千样本(又称作存取单元或图片)。 If the tracks is also divided into one thousand samples (also known as access units or pictures). 样本表示在特定时间点的i某体数据单元。 I represents the volume data of a sample at a particular point in time unit. 样本元数据包含在样本盒集合中。 Metadata sample contained in the sample collection cassette. 各轨道盒包含样本表盒元数据盒,它包含提供各样本的时间、以字节表示的样本大小等的盒。 Each track box contains a sample table box metadata box, comprising providing a time of each sample, the sample size in bytes of the cartridge. 样本是可表示定时、位置及其它元数据信息的最小数据实体。 Sample is a timing, location, and other metadata information minimum data entities. 样本可分组为包含连续样本集合的组块。 Sample blocks may be grouped into groups comprising a set of successive samples. 组块可以是不同大小的,并且包含不同大小的样本。 Chunks can be of different sizes, and containing samples of different sizes. 最近,MPEG的视频小组和囯际电信联盟(ITU)的视频编码专家组(VCEG)开始作为联合视频组(JVT)合作开发新的视频编码/解码(编解码器)标准,称作ITU建议H.264或MPEG-4第10部分,"高级视频编解码器(AVC)或JVT编解码器"。 Recently, MPEG video group and ITU (ITU) Video Coding Experts Group (VCEG) started as the Joint Video Team (the JVT) to develop a new video coding / decoding (codec) standard referred to as ITU Recommendation H. 264 or MPEG-4, part 10, "advanced video codec (AVC) or JVT codec." 这些术语及其缩写,如H.264、 JVT 和AVC,在这里可交替使用。 The terms and abbreviations, such as H.264, JVT, and the AVC, may be used interchangeably herein. JVT编解码器设计区分两个不同的概念层,视频编码层(VCL)和网络提取层(NAL)。 JVT codec design distinguished two different conceptual layers, a Video Coding Layer (VCL) and network abstraction layer (NAL). VCL包含编解码器的编码相关部分,例如运动补偿、 系数的变换编码以及熵编码。 VCL contains the coding related part of the codec, for example, transform coding and entropy coding motion compensation coefficient. VCL的输出是一些条,其中的每个包含一系列宏块及相关标题信息。 VCL output of some strips, each of which comprises a series of macroblocks and associated header information. NAL从用于携带VCL数据的传输层的详细信息中提取VCL。 VCL NAL extract VCL from the details for carrying data transport layer. 它定义条级以上的信息的传输无关的一般表示。 It defines independent transmission of information than bar-level general representation. NAL定义视频编解码器本身与外部世界之间的接口。 NAL defined interface between the video codec itself and the outside world. 在内部,NAL使用NAL包。 Internally, using NAL NAL packet. NAL包含有指明净荷类型的类型字段加上净荷中的位组。 NAL contains information that identifies the type of the payload type field bit group plus payload. 单条内的数据可进一步分为不同的数据分区。 Data within a single data can be further divided into different partitions. 在许多现有的视频编码格式中,编码流数据包括各种标题,其中包含控制解码过程的参数。 In many existing video coding formats, the coded stream data includes various header, wherein the control parameter comprises a decoding process. 例如,MPEG-2视频标准包括序列标题、 增强图像组(GOP)以及对应那些项的视频数据之前的图像标题。 For example, MPEG-2 video standard includes sequence headers, enhanced group of pictures (GOP) and those corresponding to prior picture header data of the video item. 在JVT 中,对VCL数据解码所需的信息被分组为参数集。 In JVT, the information needed to decode VCL data is grouped into parameter sets. 各参数集被赋予一个标识符,该标识符随后被用作条中的参考。 Each set of parameters is assigned an identifier, which identifier is then used as a reference bar. 不是在流内(带内)发送参数集,而是可在流外(带外)发送。 Not in the stream (in-band) set of transmission parameters, but may be sent out of the stream (band). 现有的文件格式没有提供存储与编码i某体数据相关的参数集的工地链接、使得可以有效地检索及传送参数集的方法.在ISO々某体文件格式中,不经过剖析i某体数据即可存取的最小单位是样本,即AVC中的完整图片.在许多编码格式中,样本还可分为称作子样本(又称作样本段或存取单元段)的更小单元。 Existing file format does not provide storing a set of coding parameters i associated with the volume data link site, so that the method can be efficiently retrieved and transmitted parameter set. ISO々 in a file format in the body, without passing through a volume data analysis i is the minimum unit of access to the sample, i.e. the complete picture in AVC. in many encoding format, referred to the sample can be divided into sub-sample (also referred to as sample access unit segment or segments) of the smaller units. 在AVC的情况下,子样本对应于条。 In the case of AVC, sub-samples corresponding to the strip. 但是,现有的文件格式不支持存取样本的子部分。 However, the existing file format does not support the sub-sample of partial access. 对于需要灵活地把存储在文件中的数据组成数据包供流式传输的系统,缺乏存取子样本的能力阻碍了JVTi某体数据的灵活分包以便流式传输。 The need for flexibility in storing the data in the file into packets for streaming system, lack the ability to hinder access to sub-sample sub JVTi ​​a flexible member so as streaming data. 现有存储格式的另一个限制必须处理具有不同带宽的已存储流之间随着流式传输J泉体数据时变化的网络条件而进行的交换。 Another limitation of the conventional storage format must be exchanged between the stored process streams having different bandwidths as network conditions change during streaming Stephen J volume data carried out. 在典型的流式传输情况中,关键要求之一是随着变化的网络条件来缩放压缩数据的比特率。 In a typical case of streaming, as one of the key requirements is to scale the network conditions change the bit rate of the compressed data. 这通常通过对具有不同带宽以及典型网络条件的质量设定的多个流进行编码、并将其存储在一个或多个文件中来实现。 This is usually performed by encoding a plurality of streams of different bandwidths and having quality of a typical set of network conditions, and in one or more files stored achieved. 然后, 服务器可响应网络条件在这些预先编码的流之间进行交换。 Then, the server can respond to network conditions are exchanged between the pre-encoded streams. 在现有的文件格式中,流之间的交换只有在不依赖先前样本来重构的样本上才是可行的。 In the conventional file format, only exchange between streams without depending on the previous sample to the reconstructed samples is feasible. 这些样本称作I帧。 These samples are referred to as an I frame. 目前没有在依赖先前样本来重构的那些样本(即与供参考的多个样本相关的p帧或B帧)上对流间交换提供任何支持。 In those samples not currently rely on the previous sample to the reconstructed (i.e., associated with a plurality of reference samples for p or B frames) between the convective exchange offer any support. AVC标准提供一种称为交换图像(称作SI图像和SP图像)的工具来实现流间有效交换、随机存取和错误复原以及其它功能。 AVC standard provides a tool called exchange image (referred to as SI and SP picture image) to achieve effective exchange of inter-stream, the random access and error recovery, and other functions. 交换图像是一种特殊的图像,它的重构值完全等于它预期要交换到的图像。 Swap image is a special image, which is exactly equal to the value of the reconstructed image that is expected to be exchanged. 交换图像可使用与用于预测它们所匹配的图像的那些图像不同的参考图像,从而提供比利用I帧更有效的编码。 The image may be exchanged for those images using a prediction image that they match the different reference images, thereby providing a more efficient encoding I-frame utilization ratio. 为了有效地使用存储在文件中的交换图像,必须知道哪些图像集是等效的,还必须知道哪些图像被用于预测。 To effectively use the image stored in the file exchange, it is necessary to know which set of images are equivalent, but must also know which image is used for prediction. 现有的文件格式不提供这个信息,因此这个信息必须通过剖析编码流来提取,这是低效且緩慢的。 Existing file format does not provide this information, so this information must be extracted by the coded stream analysis, which is inefficient and slow. 因此,需要增强存储方法,以便应付新出现的视频编码标准所提供的新功能,以及解决那些存储方法的现有限制。 Therefore, the need to enhance the storage method, in order to cope with the new video coding standard features offered by emerging, as well as to address existing limitations of those storage methods. 发明内容与多々某体数据有关的一个或多个描述被识别,并被包含在与多媒体数据相关的补充增强信息(SEI)中。 SUMMARY body data relating to a plurality 々 one or more descriptors are identified, and are included in the multimedia data associated with the supplemental enhancement information (SEI) in. 随后,把包含这些描述的SEI传送给解码系统,以便可选地用于多J?某体数据的解码中。 Subsequently, the SEI contains these descriptions is transmitted to the decoding system, to optionally for multi J? Decoding a volume data. 本发明旨在克服以上所论述的现有技术的缺点,以满足对网络、 多i某体、数据库和其它数字容量的迅速增长的需求。 The present invention aims to overcome the prior art drawbacks discussed above, to meet the needs for rapid growth of networks, a multi-i thereof, database and other digital capacity of. 根据本发明,提供了一种计算方法,包括:识别与多々某体数据有关的一个或多个描述,所述一个或多个描述包括描述符和描述方案,其中所述描述符描述所述多々某体数据表现的视听内容中的语法和语义特征,而所述描述方案指定所述描述符之间的结构和语义关系;以及把所述一个或多个描迷包含在与所述多々某体数据相关的补充增强信息中,包含所述一个或多个描述的SEI随后^皮传送到解码系统,以便可选地用于所述多i某体数据的解码,其中所述SEI和所述多i某体数据在分开的轨道传送到解码系统,而所述分开的轨道的定时信息用来同步所述分开的轨道。 According to the present invention, there is provided a calculating method, comprising: identifying associated data over one or more body 々 a description, the description includes the one or more descriptors and description schemes, wherein the plurality of the descriptors describe 々 a body audiovisual content data expressed in the syntax and semantics features, and the description scheme specifies the structure and semantics of the relationships between symbols description; and the description of the one or more fans comprising a body with a plurality 々 supplemental enhancement information related data includes one or more of the described transdermal ^ SEI then transmitted to a decoding system for decoding the plurality optionally i for a volume data, and wherein said plurality of said SEI i transmitted in a separate volume data track to the decoding system, the timing information is used to track the separate synchronizing the separate track. 8根据本发明,还提供了一种装置,包括:存储器;媒体文件创建器,形成包含多媒体数据的第一文件,所述媒体文件创建器包括存储在所述存储器中的指令;以及元数据文件创建器,识别与多々某体数据有关的一个或多个描述, 所述一个或多个描述包括描述符和描述方案,其中所述描述符描述所述多媒体数据表现的视听内容中的语法和语义特征,而所述描述方案指定所述描述符之间的结构和语义关系,以及把所述一个或多个描述包含在与所述多媒体数据相关的补充增强信息中,包含所述一个或多个描述的所述SEI随后被传送到解码系统,以便可选地用于所述多々某体数据的解码,其中所述SEI和所述多々某体数据在分开的轨道传送到解码系统,而所迷分开的轨道的定时信息用来同步所述分开的轨道, 所述元数据文件创建器包括存储在所述存储器中的 8 according to the present invention, there is provided an apparatus, comprising: a memory; a media file creator, file comprises forming a first multimedia data, the media file creator including instructions stored in the memory; and a metadata file creator, identifying a plurality 々 body data related to one or more of description, the description includes the one or more descriptors and description schemes, wherein the audiovisual content descriptor describes the performance of the multimedia data in the syntax and semantics wherein, while the described embodiment specifies the structure and semantics of the relationship between the description of the character, and said one or more descriptors contained in the supplemental enhancement information associated with the multimedia data, comprising one or more the SEI description is then transferred to a decoding system, for decoding said to optionally 々 a plurality of volume data, wherein said plurality 々 SEI and the body data to a decoding system in a separate track, and the fans separate timing track information for synchronizing the separate track, the metadata comprises a file created in the storage memory 令。 Order. 根据本发明,还提供了一种装置,包括:处理器;用于配置所述处理器识别与多々某体数据有关的一个或多个描述的部件,所述一个或多个描迷包括描迷符和描述方案,其中所述描述符描述所述多i某体数据表现的视听内容中的语法和语义特征,而所述描述方案指定所述描述符之间的结构和语义关系;以及用于把所述一个或多个描述包含在与所述多媒体数据相关的补充增强信息中的部件,包含所述一个或多个描述的所述SEI随后被传送到解码系统,以便可选地用于所述多4某体数据的解码,其中所述SEI 和所述多媒体数据在分开的轨道传送到解码系统,而所述分开的轨道的定时信息用来同步所述分开的轨道。 According to the present invention, there is provided an apparatus, comprising: a processor; and for configuring the processor to identify a plurality 々 body data relating to one or more of the components described, the description of the one or more fans comprising fans description and description schemes, wherein the plurality descriptor describing the syntax and semantic features of the audiovisual content of a body in the performance data i, and the description scheme specifies the structure and semantics of the relationships between descriptors; and means for the SEI said member comprising one or more described in the supplemental enhancement information associated with the multimedia data, comprising one or more of the described system is then transmitted to the decoding, it is used to optionally 4 a decoding said plurality of volume data, wherein said SEI and transmitting the multimedia data to a decoding system in a separate track, and timing information for said separate track synchronizing the separate track. 根据本发明,还提供了一种系统,包括:存储器;以及连^t妄到所述存储器的至少一个处理器,所述至少一个处理器执行指令集,从而使所述至少一个处理器识别与多i某体数据有关的一个或多个描述,所述一个或多个描述对所述多^某体数据的语法和语义进行描述,所述一个或多个描述包括描述符和描述方案,其中所述描述符描述所述多媒体数据表现的视听内容中的语法和语义特征,而所述描述方案指定所述描述符之间的结构和语义关系,以及把所述一个或多个描述包含在与所述多媒体数据相关的补充增强信息中,包含所述一个或多个描述的所述SEI随后一皮传送到解码系统, 以便可选地用于所述多4某体数据的解码,其中所迷SEI和所述多媒体数据在分开的轨道传送到解码系统,而所述分开的轨道的定时信息用来同步所述分开的轨道。 According to the present invention, there is provided a system, comprising: a memory; ^ t jump and connected to the at least one processor, the memory, the at least one processor instruction set, such that the at least one processor to identify the i a plurality of volume data relating to one or more of description, the description of one or more of the plurality of the syntax and semantics of a ^ volume data will be described, the description includes the one or more descriptors and description schemes, wherein the descriptor describes the syntax and semantic features of the audiovisual content of the multimedia data in the performance, and the description scheme specifies the structure and semantics of the relationships between descriptors, and said one or more descriptors contained in the related to the multimedia data in the supplemental enhancement information containing the one or more subsequent description of the SEI to the decoding a transdermal delivery system, used to optionally the volume data of a plurality of decoding 4, wherein the fan SEI and transmitting the multimedia data in a separate track to the decoding system, the timing information is used to track the separate synchronizing the separate track. 附图说明在附图中,通过举例而不是限定的方式对本发明进行说明,各附图中类似的参考标号表示类似的元件,附图中: 图1是编码系统的一个实施例的框图; 图2是解码系统的一个实施例的框图; 图3是适合实施本发明的计算机环境的框图; 图4是在编码系统中存储子样本元数据的方法的流程图; 图5是在解码系统中利用子样本元数据的方法的流程图; 图6说明具有子样本的扩展MP4媒体流模型; 图7A-7K说明用于存储子样本元数据的示范数据结构; 图8是在编码系统中存储参数集元数据的方法的流程图; 图9是在解码系统中利用参数集元数据的方法的流程图; 图10A-10E说明用于存储参数集元数据的示范数据结构; 图ll说明示范的增强图像组(GOP); 图12是在编码系统中存储序列元数据的方法的流程图; 图13是在解码系统中利用序列元数据的方法的流程图; 图 In the drawings, not by way of limitation of the present invention is illustrated by way of example, with reference to the drawings in which like numerals represent like elements and wherein: FIG 1 is a block diagram of one embodiment of an encoding system; FIG. 2 is a block diagram of one embodiment of a decoding system; FIG. 3 is a computer environment suitable for implementing the block diagram of the present invention; FIG. 4 is a flowchart of a method of storing the metadata in the sub-sample encoding system; FIG. 5 is utilized in the decoding system flowchart of a method subsample metadata; Figure 6 illustrates the extended MP4 media stream model with sub-samples;-7K 7A illustrates an exemplary data structure for storing a sub-sample metadata; Figure 8 is a set of parameters stored in a coding system 9 is a flowchart using the parameter set metadata at the decoding system process;; flowchart of a method metadata-10E 10A illustrates an exemplary data structure for storing parameter set metadata; Figure ll described exemplary enhanced image group (the GOP); FIG. 12 is a flowchart of a method of storing the metadata in the sequence encoding system; FIG. 13 is a flowchart of sequence metadata at the decoding system method; FIG. 14A-14E说明用于存储序列元数据的示范数据结构; 图15A和15B说明用于比特流交换的交换样本集的使用;图15C是用于确定要执行两个比特流之间交换的点的方法的一个实施例的流程图;图16是在编码系统中存储交换样本元数据的方法的流程图; 图17是在解码系统中利用交换样本元数据的方法的流程图; 图18说明用于存储交换样本元数据的示范数据结构; 图19A和19B说明实现比特流的随机存取入口点的交换样本集的使用;图19C是用于确定样本的随机存取点的方法的一个实施例的流程图;图20A和20B说明实现错误恢复的交换样本集的使用; 图20C是用于实现发送样本时的错误恢复的方法的一个实施例的流程图;图21和22说明根据本发明的一些实施例的参数集元数据的存储;以及图23-26说明根据本发明的一些实施例的补充增强信息(SEI)的存储。 14A-14E illustrate exemplary data structures for storing metadata sequence; 15A and 15B illustrate a bitstream switching exchange using sample sets; FIG. 15C is to be performed for determining a point of exchange between the two bit streams a flowchart of a method embodiment; FIG. 16 is a flowchart of a method of exchanging the samples stored in the metadata encoding system; FIG. 17 is a flowchart of a method of exchanging samples using the metadata in the decoding system; FIG. 18 illustrates an storing exemplary data structure of metadata exchanged sample; Figures 19A and 19B illustrate the use of the exchange sets of samples to achieve bitstream random access entry point; FIG. 19C is an embodiment of a method for determining a random access point of a sample flowchart; Figure 20A and 20B illustrate the use of the exchange to achieve error recovery sets of samples; FIG. 20C is a flowchart of an embodiment of a method for implementing error recovery of the transmitted sample; FIGS. 21 and 22 illustrate the present invention in accordance with some Example storing parameter set metadata embodiment; and FIGS. 23-26 described enhancement information (SEI) according to add some embodiments of the present invention is stored. 具体实施方式在本发明的实施例的以下详细说明中,参照附图,图中类似的参考标号表示相似的元件,图中以举例说明的方式给出可实施本发明的具体实施例。 DETAILED DESCRIPTION In the following detailed description of embodiments of the present invention, with reference to the drawings, like reference numerals in FIG denote like elements, FIG embodiment to be given by way of illustration a specific example embodiment of the present invention. 对这些实施例进行了详细描述,足以使本领域的技术人员能够实施本发明,并且要理解,可采用其它买施例,在不背离本发明范围的前提下可进行逻辑、机械、电气、功能及其它变更。 These embodiments have been described in detail sufficient to enable those skilled in the art to practice the invention, and to be understood that other embodiments buy, without departing from the scope of the present invention may be logical, mechanical, electrical, functional and other changes. 因此, 以下详细说明不是限制性的,本发明的范围仅由所附权利要求来定义。 The following detailed description is not restrictive, the scope of the present invention is only defined by the appended claims. 概述以本发明的操作的概述开始,图1说明编码系统100的一个实施例。 Overview of operation begins with an overview of the present invention, FIG. 1 illustrates one embodiment of encoding system 100. 编码系统100包括i某体编码器104、元数据生成器106和文件创建器108。 I encoding system 100 comprises a coder 104, a metadata generator 106 and a file creator 108. 媒体编码器104接收媒体数据,其中可包含视频数据(例如从自然源视频场景创建的视频对象以及其它外部视频对象)、音频数据(例如从自然源音频场景创建的音频对象以及其它外部音频对象)、合成对象或以上各项的任何组合。 Media encoder 104 receives media data, which may include video data (e.g., video objects created from a natural source video scene and other external video objects), audio data (e.g., audio objects created from a natural source audio scene and other external audio objects) , synthetic objects, or any combination of the above. 媒体编码器104可由许多单个编码器组成或者包括子编码器以处理各种i某体数据。 Media encoder 104 may be composed of a number of individual encoders or include a sub-encoder in order to deal a body of data i. 々某体编码器104对媒体数据进行编码,并将它传递给元数据生成器106。 A body 々 encoder 104 encodes the media data and passes it to the metadata generator 106. 元数据生成器106 根据媒体文件格式产生提供关于媒体数据的信息的元数据。 Metadata generator 106 generates information about the metadata of media data according to the media file format. 媒体文件格式可来源于ISO媒体文件格式(或它的任何衍生物,如MPEG-4、 JPEG 2000等)、QuickTime或其它任何J?某体文件格式,并且还包括一些附加数据结构。 May be derived from a media file format ISO media file format (or any of its derivatives, such as MPEG-4, JPEG 2000, etc.), QuickTime, or any other J? A File Formats, and further includes additional data structures. 在一个实施例中,附加数据结构被定义为存储与媒体数据内子样本有关的元数据。 In one embodiment, additional data structures are defined as metadata relating to the storage sub-sample of the media data. 在另一个实施例中,附加数据结构被定义为存储把i某体数据的若干部分(如样本或子样本)与包含以传统方式存储在4某体数据中的解码信息的对应参数集链接的元数据。 Embodiment, additional data structures are defined as the i memory portions (e.g., sub-sample or samples) of a volume data set comprising link parameters corresponds to a conventional decoding information stored in a volume data 4 In another embodiment metadata. 在又一个实施例中,附加数据结构坤支定义为存储与元数据中各种样本组有关的元数据,它们是根据媒体数据中样本之间的相关性来创建的。 In yet another embodiment, the additional data is defined as a branched structure Kun metadata storage metadata related to the various sample groups, which is based on a correlation between samples in the media data to create. 在又一个实施例中,附加数据结构被定义为存储与媒体数据相关的交换样本集有关的元数据。 In yet another embodiment, additional data structures are defined to store metadata associated with the media data sample sets relating to the exchange. 交换样本集表示具有相同解码值、但可能与不同样本相关的一组样本。 It represents a set of samples having the same exchange decoded value, but may be associated with a set of samples of different samples. 在又一些实施例中,在所使用的文件格式中定义附加数据结构的各种组合。 In still other embodiments, various combinations of additional data structures defined in a file format used in the. 下面更详细地描述这些附加数据结构及其功能性。 The following additional data structures and functionality described in more detail. 文件创建器108负责存储编码i某体数据和元数据。 File creator 108 is responsible for storing the coded i a body data and metadata. 在一个实施例中,编码媒体数据及相关元数据(例如子样本元数据、参数集元数据、 组样本元数据或交换样本元数据)存^l在同一个文件中。 In one embodiment, the encoded media data and associated metadata (e.g. sub-sample metadata, the parameter set metadata, metadata set of sample or sample exchange metadata) ^ l stored in the same file. 这个文件的结构由i某体文件格式来定义。 The structure of this document is defined by a File Formats i. 在另一个实施例中,全部或一部分类型的元数据与々某体数据分开存储。 In another embodiment, all or a portion of metadata type a body 々 data separately. 例如,参数集元数据可与媒体数据分开存储。 For example, the parameter set metadata may be stored separately from the media data. 明确地说,文件创建器108可包括:i某体数据文件创建器114,形成具有编码媒体数据的文件;元数据文件创建器112,形成具有元数据的文件;以及同步器116,使媒体数据与对应的元数据同步。 In particular, file creator 108 may include: i a volume data file creating unit 114, document with encoded media data; metadata file creator 112, document having metadata; and a synchronization unit 116, so that media data synchronized with the corresponding metadata. 下面更详细地述述分开的元数据的存储以及它与々某体数据的同步。 Described in more detail below synchronous separate said metadata storage, and it 々 a volume data. 在一个实施例中,元数据文件创建器112负责存储与媒体数据相关的补充增强信息(SEI)消息,作为与媒体数据分开的元数据。 In one embodiment, the metadata file creator 112 is responsible for storing the media data associated supplemental enhancement information (SEI) message, as metadata of the media data separately. SEI消息表示用于々某体数据解码中的可选数据。 SEI message indicates data for decoding a selectable 々 body. 解码器不一定使用SEI数据, 因为没有它也不会妨碍解码操作。 SEI data do not necessarily use the decoder, because without it does not interfere with the decoding operation. 在一个实施例中,SEI消息用来包^4某体数据的描述。 In one embodiment, SEI message is used to describe ^ 4 of a packet volume data. 描述是根据MPEG-7标准来定义的,并且由描述符和描述方案组成。 Description The MPEG-7 standard is defined, and by the composition of descriptors and description schemes. 描述符表示视听内容的特征,并且定义各特征表示的语法和语义。 Feature descriptor indicates audiovisual content, and defines the syntax and semantics of each feature representation. 描述符的实例包括色彩描述符、紋理描述符、运动描述符等。 Examples of descriptors include color descriptor, a texture descriptor, motion descriptor like. 描述方案(DS)指定其成分之间关系的结构和语义。 Description Scheme (DS) specifies the structure and semantics of the relationships between its components. 这些成分可以是描述符和描述方案两者。 These components may both be described and description schemes. 描述的使用改进了经过解码的媒体数据的搜索和查看。 Using the described improved search and view media data decoded. 由于SEI消息的可选性,因此把描述包含在SEI 消息中不会负面影响解码操作,因为解码器不一定要使用SEI消息, 除非它具有允许这样使用的能力和特定配置。 Since the optional SEI message, and therefore the description does not adversely affect the decoding operation comprising the SEI message, because the decoder does not have to use the SEI message, unless it has the ability to allow for such particular configuration and use. 下面更详细地论述SEI 消息作为元数据存储。 Discussed in more detail below SEI message is stored as metadata. 文件创建器108建立的文件可提供在信道110上以便存储或传输。 Files created file creator 108 may be provided for the storage or transmission channel 110. 图2说明解码系统200的一个实施例。 Figure 2 illustrates one embodiment of a decoding system 200. 解码系统200包括元数据提取器204、媒体数据流处理器206、媒体解码器210、合成器212以及呈现器214。 The decoding system 200 includes a metadata extractor 204, a media data stream processor 206, a media decoder 210, a synthesizer 212, and renderer 214. 解码系统200可驻留在客户机装置中,以及可用于本地重放。 The decoding system 200 may reside in the client device, as well as for local playback. 或者,解码系统200可用于流式传输数据,以及具有通过网络(例如因特网)208相互通信的服务器部分和客户机部分。 Alternatively, the decoding system 200 may be used for streaming data, and each having a server portion and a client portion communicating over the network (e.g. the Internet) 208. 服务器部分可包括元数据提取器204和々某体数据流处理器206。 Server portion may include the metadata extractor 204 and a body 々 data stream processor 206. 客户机部分可包^fe^某体解码器210、合成器212和呈现器214.元数据提取器204负责从存储在数据库216或者通过网络(例如从编码系统IOO)接收的文件中提取元数据。 The client portion may be coated ^ fe ^ a bank decoder 210, a synthesizer 212, and renderer 214. The metadata extractor 204 is responsible for the data stored in the database 216 or from a network (e.g., from the encoding system IOO) extract metadata file received . 文件可包含、也可不包含与正被提取的元数据相关的媒体数据。 File may contain or may not contain metadata being associated with the extracted media data. 从该文件中提取的元数据包含一个或多个上述附加数据结构。 Extracted from the metadata file comprises one or more of the additional data structures. 提取的元数据被传递^^某体数据流处理器206,它还接收相关的编码纟某体数据。 Extracted metadata is passed a body ^^ data stream processor 206, which also receives the encoded data related to a Si body. 纟某体数据流处理器206釆用元数据来形成待发送到媒体解码器210的媒体数据流。 Si of a data stream processor body 206 is formed to preclude the use of meta data to be sent to the media decoder 210 of the media data stream. 在一个实施例中,媒体数据流处理器206 采用有关子样本的元数据来查找媒体数据中子样本的位置(例如用于分包)。 In one embodiment, the media data stream processor 206 uses metadata about the sub-media data samples to find the position of the neutron samples (e.g., for sub). 在另一个实施例中,i某体数据流处理器206采用有关参数集的元数据把々某体数据的若千部分链接到其对应的参数集。 Embodiment, i is set using the parameters of a body metadata stream processor 206 if one thousand 々 a portion of the volume data linked to its corresponding parameter set in another embodiment. 在又一个实施例中,々某体数据流处理器206采用元数据内定义各种样本组的元数据来访问具体组中的样本(例如,通过丟弃包含没有其它样本与之相关的样本的组、以便响应传输条件而降低传输比特率,实现可缩放性)。 In yet another embodiment, a body 々 data stream processor 206 uses metadata defined in the various sample set metadata to access specific groups of samples (e.g., by dropping a sample containing no other associated sample group, in response to the transmission condition to reduce the transmission bit rate, to achieve scalability). 在又一个实施例中,々某体数据流处理器206采用定义交换样本集的元数据来查找具有与预期要交换的样本相同的解码值、但不依靠所得样本将与其相关的样本的交换样本(例如允许交换到P帧或B帧上具有不同比特率的流)。 In yet another embodiment, a body 々 data stream processor 206 uses metadata definition exchanged sample sets to find the sample having the same decoding value intended to be exchanged, but does not rely on the resulting sample to exchange the sample correlation samples (e.g., to allow the exchange of the P or B frames having different bit rates of flow). 一旦媒体数据流形成,它直接地(例如对于本地重放)或者通过网络208(例如对于流式传输数据)发送到々某体解码器210,用于解码。 Once the media data stream is formed, it is directly (e.g., for local playback) (e.g., for streaming data) sent via the network 208 or to a body 々 decoder 210 for decoding. 合成器212接收媒体解码器210的输出,并合成将由呈现器214呈现在用户显示装置上的场景。 Synthesizer 212 receives a media decoder output 210 and 214 synthesized on the scene presented by the display renderer device user. 图3的以下描述用于提供适合实现本发明的计算机硬件和其它工作邻件的概况,但并非意在限定可适用的环境。 The following description of FIG. 3 for providing computer hardware suitable for implementing the present invention and other operating profiles ortho member, but not intended to limit the applicable environments. 图3说明适合用作图1的元数据生成器106和/或文件创建器108或者图2的元数据提取器204和/或々某体数据流处理器206的计算机系统的一个实施例。 3 illustrates suitable for use as a metadata generator 106 and / or the document 1 creates a metadata extractor 108 of FIG. 2 or 204 and / or a body 々 data stream processor 206. The computer system embodiment. 计算机系统340包括与系统总线365耦合的处理器350、存储器355和输/v/输出功能360。 The computer system 340 includes a processor 365 coupled to system bus 350, memory 355 and input / v / output function 360. 存储器355配置成存储指令,这些指令在由处理器350执行时执行本文所述的方法。 A memory configured to store instructions 355, these instructions are executed according to the methods described herein when executed by the processor 350. 输入/输出360还包含各种计算机可读+某体,其中包括可由处理器350存取的任何类型的存储装置。 Input / output 360 also contains a variety of computer readable + body, including any type of storage device accessible by the processor 350. 本领域的技术人员马上会意识到,术语"计算机可读媒体"还包含对数据信号编码的载波。 Those skilled in the art will immediately appreciate that the term "computer-readable medium" also includes a carrier signal of the encoded data. 还会理解,系统340通过在存储器355中执行的操作系统软件来控制。 It will also be understood that the system 340 is controlled by operating system software executing in memory 355. 输7v/输出及相关媒体360存储用于操作系统以及本发明的方法的计算机可执行指令。 Input 7v / output and related media 360 store the computer for operating the system and method of the present invention is executable instructions. 图1和图2中所示的元数据生成器106、文件创建器108、元数据提取器204以及媒体数据流处理器206的每一个可以是耦合到处理器350的独立组件,或者可包含在处理器350执行的计算机可执行指令中。 1 and FIG metadata generator shown in 2106, the file creator 108, the metadata extractor may each be a separate component coupled to processor 204 and 350 of the media data stream processor 206, or may be included in the processor 350 performs a computer-executable instructions. 在一个实施例中,计算机系统340可以是ISP(因特网服务提供商)的一部分或者通过输7v/输出360与ISP耦合,从而通过因特网发送或接收4某体数椐。 In one embodiment, the computer system 340 or may be input by 7v / output portion 360 is coupled to the ISP ISP (Internet Service Provider) to send or receive a body 4 through the Internet number noted. 显然,本发明不限于因特网接入以及基于因特网的站点;还设想了直接耦合的以及专用的网络。 Obviously, the present invention is not limited to Internet access and Internet-based sites; direct coupling is also contemplated, and a dedicated network. 可以理解,计算机系统340是具有不同体系结构的许多可能的计算机系统的一个实例。 It will be appreciated, the computer system 340 is one example of many possible computer systems having different architectures of. 典型的计算机系统通常至少包括处理器、存储器以及把存储器耦合到处理器的总线。 A typical computer system will usually include at least a processor, memory, and a memory coupled to the processor bus. 本领域的技术人员将会知道, 本发明可采用其它计算机系统配置来实施,其中包括多处理器系统、 小型计算机、大型计算机等等。 Those skilled in the art will appreciate that the present invention may be implemented in other computer system configurations, including multiprocessor systems, minicomputers, mainframe computers, and the like. 本发明还可在分布式计算环境中实施, 在这些环境中,任务由通过通信网络链接的远程处理装置来执行.子样本可存取性图4和图5说明存储和片全索子样本元数据的过程,这些过程分别由编码系统100和解码系统200执行。 In a distributed computing environment further embodiment of the present invention, in these environments where tasks are performed by remote processing devices that are linked through a communications network. Subsamples accessibility Figures 4 and 5 illustrate the cable storage and sub-sample the whole sheet element process data, these processes are performed by the encoding system 100 and decoding system 200. 这些过程可通过可包括硬件(例如电路、专用逻辑等)、软件(例如运行于通用计算机系统或专用机器) 或者它们两者的组合的处理逻辑来执行。 These processes may include, by hardware (e.g., circuitry, dedicated logic, etc.), software (such as run on a general purpose computer system or a dedicated machine), or a combination of both, the processing logic is performed. 对于软件实现的过程,流程图的描述使本领域的技术人员能够开发这类程序,其中包含在适当配置的计算机中执行这些过程的指令(计算机的处理器从包括存储器在内的计算机可读i某体中执行这些指令)。 For software-implemented processes, the description of the flowchart enable any person skilled in the art to develop such programs, including instructions which perform these processes suitably arranged computer (processor of a computer from a computer-readable memory including i including these instructions are executed in a body). 计算机可执行指令可使用计算机编程语言来编写,或者可包含在固件逻辑中。 Computer executable instructions may be written in a computer programming language or may be embodied in firmware logic. 如果以符合公认标准的编程语言编写,则这些指令可在各种硬件平台上执行以及用于与各种操作系统接口。 If written in a programming language conforming to a recognized standard, these instructions can be executed on a variety of hardware platforms and a variety of operating systems and interfaces. 另外,本发明的实施例没有参照任何特定编程语言来描述。 Further, embodiments of the present invention is not described with reference to any particular programming language. 应当理解,各种编程语言可用来实现本文所述的理论。 It should be appreciated that a variety of programming languages ​​may be used to implement the teachings described herein. 此外, 本领域常以釆取动作或产生结果的形式讲述一种或另一种形式的软件(如程序、过程、进程、应用程序、模块、逻辑...)。 Moreover, the present art is often about one or another form of software (e.g., program, procedure, process, application, module, logic ...) to preclude taking an action or produce a result form. 这些表达方式只是讲述计算机执行软件使得计算机的处理器执行动作或产生结果的一种简化方式。 These expressions are simply tells the computer to execute computer software such a simplified manner a processor to perform an action or produce a result. 应当理解,或多或少的操作可结合到图4和图5所述的过程中,而没有背离本发明的范围,本文所示及所述的框的安排不是意味着任何特定顺序。 It should be appreciated that more or fewer operations may be incorporated into the process of FIG. 4 and FIG. 5 are, without departing from the scope of the invention, and the arrangement of blocks shown and described herein is not imply any particular order. 图4是用于在编码系统100中创建子样本元数据的方法400的一个实施例的流程图。 FIG 4 is a way to create sub-sample in the metadata 100 for the encoding system 400 of a flowchart of an embodiment. 首先,方法400以接收具有编码々某体数据的文件的处理逻辑开始(处理框402)。 First, a method for processing logic 400 receives the encoded file having a data body of 々 (processing block 402). 随后,处理逻辑提取标识i某体数据中子样本的边界的信息(处理框404)。 Subsequently, information of the boundary data sample neutron extraction processing logic identifies a body I (processing block 404). 根据所用的文件格式,可附加时间属性的数据流的最小单元称作样本(由ISO媒体文件格式或QuickTime定义)、存取单元(由MPEG-4定义)或者图像(由JVT定义)等。 The file format used, the smallest unit of data streams can be referred samples additional time attributes (or QuickTime format defined by the ISO media file), the access unit (as defined by the MPEG-4) or an image (defined by the JVT) and the like. 子样本表示低于样本级的数据流的连续部分。 Subsample data stream represents less than a continuous portion of the sample stage. 子样本的定义取决于编码格式, 但一般来说,子样本是可作为独立实体解码的样本的有意义的子单元, 或者作为子单元的组合以得到样本的部分重构.子样本也可称作存取单元段。 Subsamples defined depending on the coding format, but in general, as a sub-sample is a sample of the decoded independent entities meaningful sub-unit, or as a combination of partial reconfiguration sub-unit to obtain a sample. Subsamples can also be referred as access unit sections. 子样本通常表示样本的数据流的分割,使得各子样本与同一样本中的其它子样本具有极少或没有相关性。 Subsample generally represents a data stream divided samples, so that each sub-sample the other sub-samples with the same sample of little or no relevance. 例如,在JVT中,子样本为NAL包。 For example, in the JVT, as subsample NAL packet. 同样,对于MPEG-4视频,子样本为视频包。 Similarly, for MPEG-4 video, sub-video packet samples. 在一个实施例中,编码系统100在如上所述的JVT定义的网络提取层工作。 In one embodiment, the encoder system 100 extracts the JVT Working layer defined above network. JVT媒体数据流由一系列NAL包组成,其中各NAL包(又称作NAL单元)包含标题部分和净荷部分。 JVT media data stream package composed of a series of NAL, NAL wherein each packet (also called NAL unit) comprising a header portion and a payload portion. 一种NAL包用来包含各条的编码VCL数据或者条的单个数据分区。 One kind of package to contain a single NAL pieces of encoded data partition or strip VCL data. 另外,NAL包可以是包含SEI消息的信息包。 In addition, NAL packet may be a packet containing information SEI message. 在JVT中,子样本可以是具有标题和净荷的完整NAL包。 In the JVT, the sample may be a complete sub-NAL packet having a header and payload. 在处理框406,处理逻辑建立定义i某体数据中的子样本的子样本元数据。 At processing block 406, processing logic to establish a sub-sample is defined metadata subsamples a volume data i. 在一个实施例中,子样本元数据被组织成预定数据结构的集合(例如盒的集合)。 In one embodiment, the sub-sample metadata is organized into a set (e.g., set box) the predetermined data structure. 预定数据结构的集合可包括包含关于各子样本大小的信息的数据结构、包含关于各样本中子样本总数的信息的数据结构、包含描述各子样本(例如什么被定义为子样本)的信息的数据结构、 包含关于各组块中子样本总数的信息的数据结构、包含关于各子样本的优先级的信息的数据结构、或者包含有关子样本的数据的其它任何数据结构。 A set of predetermined data structure may include a data structure containing information about the size of each sub-sample, the data structure containing information about the total number of samples on each sample to neutrons, each sub-sample description contains information (e.g., what is defined as a sub-sample) of any other data structure the data structure, a data structure containing information about the total number of samples in each chunk on the neutron, the data structure includes priority information on each sub-sample, or the sample contains data about the child. 随后,在一个实施例中,处理逻辑确定任何数据结构是否包含重复的数据序列(判定框408)。 Then, in one embodiment, processing logic determines whether any data structures containing repeating data sequence (decision block 408). 如果这个判定为肯定,则处理逻辑把各重复的数据序列转换为序列出现的参考以及重复序列出现的次数(处理框410)。 If this determination is affirmative, the processing logic converts each repeated sequence of data and the number of the reference sequence occurs (processing block 410) repeats occur. 然后,在处理框412,处理逻辑利用特定々某体文件格式(例如JVT 文件格式)把子样本元数据包含到与媒体数据相关的文件中。 Then, at processing block 412, processing logic using a specific 々 File Formats (e.g. JVT file format) to the sub-sample contains metadata file associated with media data. 根据媒体文件格式,子样本元数据可与样本元数据一起存储(例如子样本数据结构可包含在包含样本数据结构的样本表盒中)或者与样本元数据分开存储。 The media file format, the sub-sample metadata may be stored with the metadata sample (e.g. sub-sample data structures may be contained in the sample table box containing sample data structure) or sample the metadata stored separately. 图5是用于在解码系统200中使用子样本元数据的方法500的一个实施例的流程图.首先,方法500以接收与编码i某体数据相关的文件的处理逻辑开始(处理框502)。 FIG 5 is a method for using a sub-sample in the metadata 200 of a decoding system 500 of the flow diagram of the embodiment. First, the processing logic (processing block 502) method 500 for receiving a member i encoding data related documents . 该文件可从(本地或外部)数据库、编码系统100或者从网络上的其它任何装置接收.该文件包括定义i某体数据中的子样本的子样本元数据。 The documents are available (local or external) database, the encoding system 100, or received from any other device on the network. The file includes metadata defining a sub sample subsamples a volume data I. 随后,处理逻辑从文件中提取子样本元数据(处理框504)。 Subsequently, processing logic subsample extracted metadata (processing block 504) from a file. 如上所述,子样本元数据可存储在数据结构集合(例如盒集合)中。 As described above, the sub-sample metadata may be stored in a set of data structures (e.g., set box) in. 此外,在处理框506,处理逻辑利用已提取的元数据来识别编码媒体数据中的子样本(存储在相同文件或不同文件中),以及把各种子样本组成包以便发送到々某体解码器,从而实现々某体数据的灵活分包, 以便流式传输(例如为了支持错误复原、缩放性等)。 Further, at processing block 506, processing logic using the extracted metadata to identify sub-sample (stored in the same file or different files) in the encoded media data, sample composition, and the various sub-packets for transmission to a decoding thereof 々 device, thereby achieving a sub-volume data 々 flexible to streaming (e.g., to support error recovery, scalability, etc.). 下面参照扩展ISO纟某体文件格式(称作扩展MP4)来描述示范子样本元数据结构。 Referring expansion of a Si body ISO file format (called extended MP4) described exemplary subsample metadata structure. 本领域的技术人员十分清楚,其它媒体文件格式可以容易地扩展,以便结合用来存储子样本元数据的类似数据结构。 Those skilled in the art is apparent, other media file formats may be readily extended to similar data structure used to store the combined sub-sample metadata. 图6说明具有子样本的扩展MP4媒体流模型。 6 illustrates a flow model with extended MP4 media subsamples. 呈现数据(例如包含同步音频和视频的呈现)由影片602表示。 Presentation data (e.g. comprising synchronizing audio and video presentation) represented by the film 602. 影片602包含一组轨道604。 602 604 film contains a set of tracks. 各轨道604表示i某体数据流。 Each rail member 604 represents a data stream i. 各媒体数据流被分为样本606。 Each media data stream is divided into 606 samples. 各样本606表示特定时间点的i某体数据单元。 606 of each sample i represents a volume data point in a particular time unit. 样本606还^^皮分为子样本608。 Sample 606 is also divided into sub-samples 608 ^^ skin. 在JVT标准中,子样本608可表示NAL包或单元,例如图像的17单个条、具有多个数据分区的条的一个数据分区、带内参数集或者SEI信息包。 In the JVT standard, a sub-sample 608 may represent a NAL packet or cell, for example a single strip 17 of an image having a plurality of data partitions in a data partitioning strip, band or the parameter set SEI packet. 或者,子样本606可表示样本的其它任何结构化元素,例如表示媒体中空间或时间区域的编码数据。 Alternatively, the sub-sample 606 may represent any other structural elements of the sample, for example, media data encoding spatial or temporal region of FIG. 在一个实施例中,根据某种结构或语义标准的编码i某体数据的任何分区可作为子样本来处理。 In one embodiment, any partition or semantic structure according to some standard encoding a member i may be treated as a data sub-samples. 当电影段用来提供关于各样本的持续时间和大小的信息、指定各样本的恶化优先级以及其它样本信息时,轨道扩展盒用来标识轨道段中的样本。 When the film segment used to provide information about the duration and size of each sample, each sample of deterioration designated priority samples and other information, a track extension box for sample identification track section. 恶化优先级定义样本的重要性,即定义样本的缺少(例如因其在传输过程中丢失)会如何影响影片质量。 Priority Defines the importance of deterioration of samples, namely the lack of definition of the sample (for example, because of their loss during transmission) can affect film quality. 在一个实施例中,轨道扩展盒被扩展为包含关于轨道段盒中的子样本的缺省信息。 In one embodiment, the track is extended to a default extension box contains information on sub-samples of the track section box. 这个信息可包括例如子样本大小以及子样本描述的参考.轨道可被分为若干段。 This information may include a reference sample and a sub-sub-sample size is described, for example, The track can be divided into several sections. 各段可包含样本的零或多个连续游程。 Each segment may contain zero or more consecutive sample runs. 轨道段游程盒标识轨道段中的样本,提供关于轨道段中的各样本的持续时间和大小的信息以及与轨道段中存储的样本有关的其它信息。 Sample run cassette identifying rail segment track segment, provides additional information about the sample size and duration information of each sample in the track segments and the track segment associated storage. 轨道段标题盒标识用于轨道段游程盒中的缺省数据值。 The title track segment cassettes for the default data value of the track identification section of the cartridge run. 在一个实施例中,的信息。 In one embodiment, the information, the. 轨道段游程盒中的扩展信息可包括例如存储在轨道段中的各样本的子样本数量、各子样本的大小、子样本描述的参考以及标志集。 Extended runs track segment information may include a reference box flag set and the number of sub-samples of each sample stored in the track segments, each sub-sample size, e.g. subsample described. 标志集表明轨道段是否在样本或子样本的组块中存储媒体数据,子样本数据是否在轨道段游程盒中存在,以及各子样本是否具有在轨道段游程盒中存在的大小数据和/或描述参考数据。 Flag set indicates whether the track section stored media data chunk sample or subsamples of whether the sub-sample data in the track segment run cassette exists, and each subsample whether the track segment run cassette present in the size of the data and / or description of reference data. 轨道段标题盒中的扩充信息可包含例如表明各子样本是否具有存在的大小数据和/或描述参考数据的标志的缺省值。 Track segment header extension information may comprise, for example, box indicate whether each sub-sample has a default value of the size of the presence of data and / or described with reference to a flag data. 图7A-7L说明用于存储子样本元数据的示范数据结构。 FIGS. 7A-7L illustrates an exemplary data structure for storing subsample metadata. 参照图7A,包含ISO媒体文件格式所定义的样本元数据盒的样本表盒700被扩展为包含子样本存取盒,例如子样本大小盒702、子样本描述关联盒704、子样本到样本盒706以及子样本描述盒708。 7A, the sample comprises a sample table box metadata ISO media file format as defined in the cartridge 700 comprises a cartridge access is extended to sub-sample, for example, the sub-sample size box 702, associated sub-sample description box 704, a sub-sample to sample cartridge 706 and a sub-sample description box 708. 在一个实施例中,子样本存取盒还包括子样本到組块盒和优先级盒.在一个实施例中,子样本存取盒的使用是可选的。 In one embodiment, the cassette further comprising subsample access to a sub-sample cartridge block and a priority cartridge. In one embodiment, a subsample access cassette is optional. 参照图7B,样本710可以例如可分为例如条712的条、例如分区714的数据分区以及例如ROI(关注的区域)716的ROI。 7B, the sample 710 may be divided into, for example, such as Articles 712, e.g. ROI data partition 714 and, for example partition (region of interest) ROI is 716. 这些实例中的每个表示样本到子样本的不同分割种类。 Each of these examples represents a different kind of samples divided into subsamples. 单个样本内的子样本可具有不同的大小。 Subsample within a single sample may have different sizes. 子样本大小盒718包含指定子样本大小盒718的版本的版本字段、指定缺省子样本大小的子样本大小字段、提供轨道中子样本数量的子样本计数字段以及指定各子样本大小的条目大小字段。 Subsample size cassette 718 containing the specified version of the sub-sample size cassette version field 718, specifies the default size of the sub-sample sub-field sample size, number of tracks to provide neutron count field and a sample sub-samples of each sub-sample size specified entry size field. 如果子样本大小字段设置为0,则子样本具有不同大小,它们存储在子样本大小表720中。 If the sub-sample size field is set to 0, the sub-samples with different sizes, they are stored in the sub-sample size table 720. 如杲子样本大小字段没有设置为0,则它指定恒定的子样本大小,指明子样本大小表720为空的。 As Gao subsample size field is not set to 0, it specifies a constant sub-sample size, sample size specified in the sub-table 720 is empty. 表720可具有32位的固定大小或者用于表示子样本大小的变长字段。 Table 720 may have a fixed size or a 32-bit variable-length field for indicating the sub-sample size. 如杲该字段为可变长度的,则子样本表包含以字节数表示子样本大小字段的长度的字段.参照图7C,子样本到样本盒722包含指定子样本到样本盒722的版本的版本字段以及提供表723中条目数量的条目计数字段。 As Gao This field is variable length, the sub-sample table contains a length in bytes of the sub-sample field size of the field. 7C, the sub-sample to sample cartridge 722 contain the specified sample to sample cartridge 722 version version field 723 and the number of entries in the table entry count field is provided. 子样本到样本表中的各条目包含提供共享每个样本相同数量的子样本的样本游程中的第一样本的索引的笫一样本字段以及提供样本游程内各样本中子样本数量的每个样本的子样本字段。 To subsample each entry includes providing a sample table index Zi shared each sample of the sub-samples of the same number of samples in a first run of samples and providing each field as the present number of samples within each sample run neutron Sample subsample field samples. 表723可用于通过计算游程中的样本数量、把此数量与适当的每样本的子样本相乘、并把所有游程的结果相加,得到轨道中的子样本总数。 Table 723 may be used to calculate the number of samples by the runs, the number of this sub-sample multiplied by the appropriate per sample, and the results of all runs are added to give the total number of subsamples track. 在其它实施例中,子样本可分组为组块而不是样本。 In other embodiments, the sample may be grouped into sub-blocks rather than a group of samples. 然后,子样本到组块盒用来标识组块中的子样本。 Then, the sub-sample to sub-sample cartridge block identifier chunk.子样本到组块盒存储关于共享相同数量的子样本的组块游程中的第一组块的索引、各组块中的子样本数量以及子样本描述的索引的信息。子样本到组块盒可用来查找包含特定子样本的组块、组块中子样本的位置以及这个子样本的描述。在一个实施例中,当子样本分组为组块时,子样本到样本盒722不存在。同样,当子样本分组为样本时,子样本到组块盒不存在。如上所述,子样本存取盒可包括指定各子样本的恶化优先级的优19先级盒。恶化优先级定义子样本的重要性,即定义子样本的缺少(例如因其在传输过程中丟失)会如何影响解码々某体数据的质量。优先级盒的大小由轨道中的子样本数量来定义,如可从子样本到样本盒722或者子样本到组块盒确定。参照图7D,子样本描述关联盒724包括指定子样本描述关联盒724的版本的版本字段、指明所描述的子样本的类型(例如NAL包、关注的区域等)的描述类型标识符以及提供表726中的条目数量的条目计数字段。表726中的各条目包括表明子样本描述ID的子样本描述类型标识符字段以及提供共享相同子样本描述ID的子样本游程中的第一子样本的索引的第一子样本字段。子样本描述类型标识符控制子样本描述ID字段的使用。也就是说,根据描述类型标识符中指定的类型,子样本描述ID字段本身可指定直接对ED本身中的子样本描述编码的描述ID,或者子样本描述ID 字段可用作不同表(即以下描述的子样本描述表)的索引?例如,如果描述类型标识符指明JVT描述,则子样本描述ID字段可包含指定JVT 子样本特性的代码。在这种情况下,子样本描述ID字段可以是32位字段,其中8个最低有效位用作位掩码以便表示子样本中存在预定数据分区,以及较高的24位用来表示NAL包类型或用于以后的扩展.参照图7E,子样本描述盒728包括指定子样本描述盒728的版本的版本字段、提供表730中条目数量的条目计数字段、提供子样本描述字段(该字段用于提供关于子样本特征的信息)的描述类型的描述类型标识符字段、以及包含一个或多个子样本描述条目730的表.子样本描述类型标识与描述信息有关的类型,并对应于子样本描述关联表724中的相同字段。表730中的各条目包含子样本描述条目,其中具有关于与此描述条目相关的子样本的特征的信息。描述条目的信息和格式取决于描述类型字段。例如,当描述类型为参数集时,则各描述条目将包含参数集的值。描述信息可涉及参数集信息、与ROI有关的信息或者表现子样本的特征所需的其它任何信息。对于参数集,子样本描述关联表724表明与各子样本相关的参数集。在这种情况下,子样本描述ID对应于参数集标识符。同样,子样本可表示以下不同的受关注区。把子样本定义为一个或多个编码宏块,然后再使用子样本描述关联表来表示视频帧或图像的编码宏块分割到不同区域。例如,某个帧中的编码宏块可分为具有两个子样本描述ID(即1和2的子样本描述ID)的前景和背景宏块,分别表明到前景和背景区域的分配。图7F说明不同类型的子样本。子样本可表示没有分区的条732、 具有多个数据分区的条734、条内标题736、条中部的数据分区738、 条的最后数据分区740、 SEI信息包742等。这些子样本类型中的每个可与图7G所示的8位掩码744的特定值相关。 8位掩码可组成32位子样本描述ID字段的8个最低有效位,如上所述。图7H说明具有等于"jvtd"的描述类型标识符釣子样本描述关联盒724。表726包括存储图7G所示的值的32位子样本描述ID字段。图7H-7K说明子样本描述关联表中的数据的压縮。参照图71,未压缩表726包括重复序列748的子样本描述ID的序列750。在压缩表746中,重复序列750已经压缩成序列748的参考以及此序列出现的次数。在图7J所示的一个实施例中,序列出现可通过利用它的最高有效位作为序列标志754的游程、它的随后23位作为出现索引756以及它的较低有效位作为出现长度758,被编码在子样本描述ID字段中。如果标志754设置为1,则它表明这个条目为重复序列的出现。否则, 这个条目为子样本描述ID。出现索引756为序列的第一次出现的子样本描述关联盒724中的索引,以及长度758表明重复序列出现的长度。在图7K所示的另一个实施例中,重复序列出现表760用来表示重复的序列出现。子样本描述id字^a的最高有效位-故用作序列标志762的游程,表明该条目在属于子样本描述关联盒724的组成部分的重复序列出现表760中是条目的子样本描述ID还^f列索引764。重复序列出现表760包括指定重复序列中的第一项的子样本描述关联盒724中索引的出现索引字段以及指定重复序列的长度的长度字段。参数集在某些々某体格式、如JVT中,包^^H某体数据正确解码所需的关4定控制值的"标题"信息与编码数据的其余部分分开/分离,并存储在参数集中。然后,不是在流中把这些控制值与编码数据混合在一起, 而是编码数据可利用例如唯一标识符等机制来引用必要的参数集。这个方法使高级编码参数的传输与编码数据分离。同时,它还通过共享作为参数集的控制值的公共集合来减少冗余度。为了支持使用参数集的已存储媒体流的有效传输,发送者或播放者必须能够迅速把编码数据链接到对应的参数,以便知道必须传送或访问参数集的时间和位置。本发明的一个实施例通过以4某体文件格式存储指定参数集与媒体数据的对应部分之间关联的数据作为参数集元数据来提供这种功能。图8和图9说明存储和检索参数集元数据的过程,它们分别由编码系统100和解码系统200执行。这些过程可通过可包括硬件(例如电路、专用逻辑等)、软件(例如运行于通用计算机系统或专用机器上)或者它们两者的组合的处理逻辑来执行。图8是用于在编码系统100中创建参数集元数据的方法800的一个实施例的流程图。首先,方法800以接收具有编码^某体数据的文件的处理逻辑开始(处理框802)。该文件包括指定如何对^某体数据的各部分解码的编码参数集。随后,处理逻辑检查称作参数集的编码参数集与々某体数据的对应部分之间的关系(处理框804),以及创建定义参数集以及它们与媒体数据部分的关联的参数集元数据(处理框806)。媒体数据部分可由样本或子样本表示。在一个实施例中,参数集元数据^皮组织成预定数据结构集合(例如盒集合)。预定数据结构集合可包括包含关于参数集的描述信息的数据结构以及包含定义样本与对应参数集之间关联的信息的数据结构。在一个实施例中,预定数据结构集合还包括包含定义子样本与对应参数集之间关联的信息的数据结构。包含子样本与参数集关联信息的数据结构可以忽略、也可以不忽略包含样本与参数集关联信息的数据结构。随后,在一个实施例中,处理逻辑确定任何参数集数据结构是否包含重复的数据序列(判定框808)。如果这个判定为肯定,则处理逻辑理框810)。之后,在处理框812,处理逻辑利用特定々某体文件格式(例如JVT 文件格式)把参数集元数据包舍到与媒体数据相关的文件中。根据媒体文件格式,参数集元数据可与轨道元数据和/或样本元数据一起被存储(例如,包含关于参数集的描述信息的数据结构可包含在轨道盒中,以及包含关联信息的数据结构可包含在样本表盒中)或者与轨道元数据和/或样本元数据分开存储。图9是用于在解码系统200中使用参数集元数据的方法900的一个实施例的流程图。首先,方法900以接收与编码媒体数据相关的文件的处理逻辑开始(处理框902)。该文件可从(本地或外部)数据库、编码系统100或者从网络上的其它任何装置接收。该文件包括定义媒体数据的参数集以及参数集与J?某体数据的对应部分(例如对应样本或子样本)之间关联的参数集元数据.随后,处理逻辑从文件中提取参数集元数据(处理框904)。如上所述,参数集元数据可存储在数据结构集合(例如盒集合)中。此外,在处理框906,处理逻辑利用所提取的元数据来确定哪个参数集与特定媒体数据部分(例如样本或子样本)相关。然后,这个信息可用来控制媒体数据部分及对应参数集的传送时间。也就是说,要用于对特定样本或子样本解码的参数集必须在包含样本或子样本的数据包之前被发送,或者与包含样本或子样本的数据包一起发送。因此,参数集元数据的使用使参数集能够在更可靠的信道上独立传送,减少导致i某体流部分丟失的错误或数据丟失的可能性。下面参照扩展ISO媒体文件格式(称作扩展ISO)来描述示范参数集元数据结构。但是,应当指出,其它媒体文件格式可以扩展为结合用于存储参数集元数据的各种数据结构。图10A-10E说明用于存储参数集元数据的示范数据结构。参照图10A,包含ISO文件格式定义的轨道元数据盒的轨道盒1002被扩展为包括参数集描述盒1004。另外,包含ISO文件格式定义的样本元数据盒的样本表盒1006被扩展为包括样本到参数集盒1008。在一个实施例中,样本表盒1006包括子样本到参数集盒,它可忽略样本到参数集盒1008,下面会更详细的论述。在一个实施例中,参数集元数据盒1004和1008是强制性的.在另一个实施例中,只有参数集描述盒1004是强制性的。在又一个实施例中,所有参数集元数据盒都是可选的。参照图IOB,参数集描述盒1010包含指定参数集描述盒1010的版本的版本字段、提供表1012中的条目数量的参数集描述计数字段以及包舍参数集本身的条目的参数集条目字段。参数集可以从样本级或子样本级引用。参照图IOC,样本到参数集盒1014从样本级提供对参数集的引用。样本到参数集盒1014包括指定样本到参数集盒1014的版本的版本字段、指定缺省参数集ID的缺省参数集E)字段以及提供表1016中的条目数量的条目计数字段。表1016中的各条目包含提供共享相同参数集的样本的游程中的第一样本的索引的第一样本字段以及指定参数集描述盒1010的索引的参数集索引。如果缺省参数集ED等于O,则样本具有不同的参数集,它们存储在表1016中。否则,使用恒定参数集,并且之后没有任何阵列。在一个实施例中,通过把各重复序列转换为原始序列的参考以及此序列出现的次数来压缩表1016中的数据,如以上结合子样本描述关联表的更详细"i仑述。参数集可通过定义参数集与子样本之间关联而从子样本级引用。 在一个实施例中,利用上述子样本描述关联盒来定义参数集与子样本之间的关联.图10D说明子样本描述关联盒1018,其中具有引用参数集的描述类型标识符(例如描述类型标识符等于"pars")。根据这个描述类型标识符,表1020中的子样本描述ID指明参数集描述盒1010中的索引。在一个实施例中,当存在具有引用参数集的描述类型标识符的子样本描述关联盒1018时,它忽略样本到参数集盒1014。参数集可在创建参数集的时间与参数集用于对々某体数据的相应部分解码的时间之间变化。如果这种变化出现,则解码系统200接收指出对参数集的改变的参数 新包。参数集元数据包含标识参数集在更新之前和更新之后的状态的数据。参照图IOE,参数集描述盒IOIO包括在时间to创建的原始参数集1022的条目以及响应在时间t!接收的参数更新包1026而创建的更新参数集1024的条目。子样本描述关联盒1018把两个参数集与对应的子样本相关。样本组当轨道内的样本可具有样本到表示i某体数据中的高级结构的序列(可能不连续)的各种逻辑分组(分区)时,现行文件;f各式不4是供用于表示和存储这些分组的方便机制。例如,高级编码格式、如JVT把单轨道内的样本根据其彼此相关性组织为若干组。这些组(本文中称作序列或样本组)在网络条件需要时可用来标识可任意处理的样本链,从而支持时间缩放性。以某种文件格式存储定义样本组的元数据使媒体的发送者能够方便有效地实现上述功能。样本组的一个实例是其帧间相关性 许它们与其它样本无关地被解码的样本集。在JVT中,这种样本组称作增强图像组(增强GOP)。 在增强GOP中,样本可分为子序列。各子序列包含彼此相关的样本集, 并且可作为一个单元来处理。另外,增强GOP的样本可以按照分层方式构造为若干层,使得上层中的样本仅根据下层的样本来预测,从而允许最高层的样本可在不影响对其它样本解码的能力时净皮处理。包含与其它任何层中样本不相关的样本的最低层称作基层。除基层以外的其它任何层称作增强层.图11说明一个示范增强GOP,其中,样本分为两层、即基层1102和增强层1104以及两个子序列1106和1108。两个子序列1106和1108 可4皮此无关地^皮丢弃。图12和图13说明存储和检索样本组元数据的过程,它们分别由编码系统100和解码系统200执行。这些过程可通过可包括硬件(例如电路、专用逻辑等)、软件(例如运行于通用计算机系统或专用机器上) 或者它们两者的组合的处理逻辑来执行。图12是用于在编码系统100中创建样本组元数据的方法1200的一个实施例的流程图。首先,方法1200以接收具有编码々某体数据的文件的处理逻辑开始(处理框1202)。 々某体数据的轨道内的样本具有某些彼此相关性。例如,轨道可包括:I帧,与其它任何样本不相关;P帧, 与单个先前样本相关;以及B帧,与包括I帧、P帧和B帧的任何组合的两个先前样本有关。根据它们的彼此相关性,轨道中的样本在逻辑上可组合成样本组(例如增强GOP、层、子序列等)。随后,处理逻辑检查媒体数据以识别各轨道中的样本组(处理框1204),创建描述样本组并定义各样本组中包含哪些样本的样本组元数据(处理框1206)。在一个实施例中,样本组元数据-陂组织成预定数据结构集合(例如盒集合)。预定数据结构集合可包括包含关于各样本组的描述信息的数据结构、包含标识各样本组中包含的样本的信息的数据结构、包含描述子序列的信息的数据结构以及包含描迷层的信息的数据结构。随后,在一个实施例中,处理逻辑确定任何样本组数据结构是否包含重复的数据序列(判定框1208)。如果这个判定为肯定,则处理逻辑把各重复的数据序列转换为序列出现的参考以及序列出现的次数(处理框1210)。之后,在处理框1212,处理逻辑利用特定々某体文件格式(例如JVT 文件格式)把样本组元数据包含到与i某体数据相关的文件中.根据媒体26文件格式,样本组元数据可与样本元数据一起存储(例如样本组数据结构可包含在样本表盒中)或者与样本元数据分开存储。图13是用于在解码系统200中使用样本组元数据的方法1300的一个实施例的流程图。首先,方法1300以接收与编码々某体数据相关的文件的处理逻辑开始(处理框1302)。该文件可从(本地或外部)数据库、 编码系统100或者从网络上的其它任何装置接收。该文件包括定义媒体数据中的样本组的样本组元数据。随后,处理逻辑从文件中提取样本组元数据(处理框1304)。如上所述,样本组元数据可存储在数据结构集合(例如盒集合)中.此外,在处理框1306,处理逻辑利用所提取的样本组元数据来识别可在不影响对其它样本解码的能力的前提下处理的样本链。在一个实施例中,这个信息可用来存取特定样本组中的样本,以及响应网络容量的变化而确定哪些样本可纟皮丟弃。在其它实施例中,样本组元数据用来过滤样本,使得轨道中只有一部分样本被处理或呈现。因此,样本组元数据有助于对样本的选择性存取以及缩放性。下面参照扩展ISO》某体文件格式(称作扩展MP4)来描述示范样本组元数据结构。但是,应当指出,其它媒体文件格式可以经过扩展, 以结合用来存储样本组元数据的各种数据结构。图14A-14E说明用于存储样本组元数据的示范数据结构;参照图14A,包含MP4定义的样本元数据盒的样本表盒1400被扩展为包括样本组盒1402和样本组描述盒1404。在一个实施例中, 样本组元数据盒1402和1404是可选的。在一个实施例(未示出)中,样本表盒1400包括其它可选样本组元数据盒,例如子序列描述条目盒和层描述条目盒。参照图14B,样本组盒1406用来查找特定样本组中包含的样本集. 允许样本组盒1406的多个示例对应于不同类型的样本组(例如增强GOP、子序列、层、参数集等)。样本组盒1406包含指定样本组盒1406 的版本的版本字段、提供表1408中条目数量的条目计数字段、标识样本组的类型的样本组标识符字段、提供相同样本组中包含的样本的游程中的第一样本的索引的第一样本字段、以及指定样本组描述盒的索引的样本组描述索引。参照图14C,样本组描述盒1410提供关于样本组的特征的信息。样本组描述盒1410包含指定样本组描述盒1410的版本的版本字段、 提供表1412中的条目数量的条目计数字段、标识样本组的类型的样本组标识符字段、以及提供样本组描述符的样本组描述字段。参照图14D,说明用于层("layr,,)样本组类型的样本组盒1416 的使用。样本1到11根据样本的彼此相关性分为三层。在层O(基层), 样本(样本l、 6和11)仅彼此相关,但与其它任何层中的样本不相关。 在层l,样本(样本2、 5、 7、 IO)与下层(即层O)中的样本以及与这个层1中的样本相关。在层2,样本(样本3、 4、 8、 9)与下层(即层0和1) 中的样本以及与这个层2中的样本相关。因此,层2的样本可在没有影响对来自下层0和1的样本解码的能力的情况下^1处理。样本组盒1416中的数据说明样本与层之间的上述关联。如图所示,这个数据包含重复层才莫式1414,它可通过把各重复层模式转换为原始层模式的参考以及该模式出现的次数来压缩,如以上更详细的论述。参照图14E,说明用于子序列("sseq")样本组类型的样本组盒1418 的使用。样本1到11根据样本的彼此相关性被分为四个子序列。除层0上的子序列0之外的每个子序列包括没有其它子序列与其相关的样本。因此,子序列中的样本在需要时可作为一个单元来处理。样本组盒1418中的数据说明样本与子序列之间的关联。这个数据允i午在对应子序列开始时对样本的随机存取。在一个实施例中,子序列描述条目盒用来描述GOP中的样本的各子序列。子序列描述条目盒提供与子序列标识符数据、平均比特率数据、平均帧速率数据、参考标号数据以及包含关于参考数据的信息的阵列有关的相关性信息。相关性信息标识用作此条目中描述的子序列的参考的子序列.子序列标识符数据提供此条目中描述的子序列的标识符。平均比特率数据包含此子序列的平均比特率(例如以位或秒为单位).在一个实施例中,平均比特率的计算考虑净荷和净荷标题。在一个实施例中,如果平均比特率未定义,则平均比特率等于零。平均帧速率数据包含条目的子序列的帧中的平均帧速率。在一个实施例中,如果平均帧速率未定义,则平均帧速率等于零。? 1用数量数据提供条目的子序列中的直接引用子序列的数量。引用数据的阵列提供引用子序列的标识信息。在一个实施例中,附加层描述条目盒用来提供层信息。层描述条目盒提供层的数量、层的平均比特率以及平均帧速率。对于基层,层的数量可等于零,对于各增强层,可为一或更多。当平均比特率未定义时,平均比特率可等于零,当平均帧速率未定义时,平均帧速率可等于零。流交换在典型的流式传输情况中,关4走要求之一是响应变化的网络条件而缩放压缩数据的比特率。实现这个目的的最简便方法是对于典型网络条件采用不同比特率和质量设定对多个流进行编码。然后,服务器可响应网络条件在这些预先编码的流之间转换。 JVT标准提供一种新图像类型、称作交换图像,它允许一个图像完全一致地被重构为另一个,而不需要这两个图像使用相同的帧用于预测。具体来说,JVT提供两种交换图像:SI图像,象I帧一样,与其它任何图像无关地编码;以及SP图像,参考其它图像进行编码。交的流之间的交换,从而提供错误复原,以及实现例如快进和快退等特技模式。但是,为了在实现流交换、错误复原、特技模式及其它功能时有效地使用JVT交换图像,播放者必须知道存储i某体数据中哪些样本具有一些备选表示以及它们的相关性是什么。现有文件格式不提供这种能力。本发明的一个实施例通过定义交换样本集来解决上述限制。交换样本集表示一组样本,它们的解码值相同,但可能使用不同的参考样本。参考样本是用来预测另一个样本的值的样本。交换样本集的各成员称作交换样本。图15A说明比特流交换的交换样本集的使用。参照图15A,流1和流2是具有不同质量和比特率参数的相同内容的两种编码。样本S12为SP图像,没有出现在任一个流中,它用来实现从流1到流2的交换(交换有方向性)。样本S12和S2包含在交换样本集中。 Sl和S12都根据轨道1中的样本P12预测,S2根据轨道2 中的样本P22预测。虽然样本S12和S2使用不同的参考样本,但它们的解码值是相同的。因此,从流1到流2的交换(在流1中的样本Sl 以及流2中的S2)可经由交换样本S12来得到。图16和图17说明存储和检索交换样本元数据的过程,它们分别由编码系统100和解码系统200执行。这些过程可通过可包括硬件(例如电路、专用逻辑等)、软件(例如运行于通用计算机系统或专用机器上)或者它们两者的组合的处理逻辑来执行。图16是用于在编码系统100中创建交换样本元数据的方法1600 的一个实施例的流程图。首先,方法1600以4矣收具有编码媒体数据的文件的处理逻辑开始(处理框1602)。文件包括i某体数据的一个或多个备选编码(例如对于典型网络条件的不同带宽和质量设定)。备选编码包括一个或多个交换图像。这些图像可包含在备选媒体数据流内部或者作为实现例如错误复原或特技才莫式等特殊功能的独立实体。用于创建这些轨道和交换图像的方法不是本发明指定的,本领域的技术人员非常清楚各种可能性。例如,交换样本在每对轨道之间的定期(例如每隔1秒);故置包含备选编码。随后,处理逻辑检查文件以创建包含具有相同解码值但使用不同参考样本的那些样本的交换样本集(处理框1604),以及创建定义i某体数据的交换样本集并描述交换样本集内的样本的交换样本元数据(处理框1606)。在一个实施例中,交换样本元数据被组织成一种预定数据结构,例如包含嵌套表集合的表盒。随后,在一个实施例中,处理逻辑确定交换样本元数据结构是否包含重复的数据序列(判定框1608)。如果这个判定为肯定,则处理逻(处理框1610)。之后,在处理框1612,处理逻辑利用特定i某体文件格式(例如JVT 文件格式)把交换样本元数据包含到与媒体数据相关的文件中。在一个实施例中,交换样本元数据可存储在为流交换指定的独立轨道中。在另一个实施例中,交换样本元数据与样本元数据一起存储(例如序列数据结构可包含在样本表盒中)。图17是用于在解码系统200中^f吏用交换样本元数据的方法1700 的一个实施例的流程图。首先,方法1700以接收与编码々某体数据相关的文件的处理逻辑开始(处理框1702).该文件可从(本地或外部)数据库、编码系统100或者从网络上的其它任何装置接收。该文件包括定义与媒体数据相关的交换样本集的交换样本元数据。随后,处理逻辑从文件中提取交换样本元数据(处理框1704)。如上所述,交换样本元数据可存储在一种数据结构、例如包含嵌套表集合的表盒中。此外,在处理框1706,处理逻辑利用所提取的元数据来查找包含特定样本的交换样本集以及从交换样本集中选择备选样本。然后,具有与原始样本相同的解码值的备选样本可用于响应变化的网络条件而在两个不同编码的比特流之间交换,从而提供到比特流中的随机存取入口点,以及帮助错误复原等。下面参照扩展ISO媒体文件格式(称作扩展MP4)来描述示范交换样本元数据结构。但是,应当指出,其它媒体文件格式可以扩展为结合用于存储交换样本元数据的各种数据结构。图18说明用于存储交换样本元数据的示范数据结构。示范数据结构为包含嵌套表集合的交换样本表盒的形式。表1802中的每个条目标识一个交换样本集。每个交换样本集包括一组交换样本,它们的重构客观上相同(或感觉上相同),但它们可根据可能在、也可能不在与交换样本相同的轨道(流)中的不同参考样本来预测。表1802中的每个条目链接到对应的表1804.表1804标识包含在交换样本集中的各交换样本。表1804中的每个条目还链接到对应的表1806,表1806定义交换样本的位置(即它的轨道和样本号)、包含交换样本所用的参考样本的轨道、交换样本所用的参考样本的总数以及交换样本所用的每个参考样本。如图15A所示,在一个实施例中,交换样本元数据可用于在同样内容的不同编码形式之间进行交换。在MP4中,各备选编码作为独立MP4轨道来存储,以及轨道标题中的"备选组"表明它是特定内容的备选编码。图15B说明包含定义由根据图15A的样本S2和S12组成的交换样本集1502的元数据的表。图15C是用于确定要执行两个比特流之间交换的点的方法1510 的一个实施例的流程图。假定要从流1到流2执行交换,则方法1510 以搜索交换样本元数据开始,查找包含具有流l的参考轨道的交换样本以及具有流2的交换样本轨道的交换样本的所有交换样本集(处理框1512)。随后,评估所得交换样本集,以选择其中具有流l的参考轨道的交换样本的所有参考样本均可用的交换样本集(处理框1514)。例如, 如果具有流1的参考轨道的交换样本为P帧,则交换之前的一个样本要求是可用的。此外,所选交换样本集中的样本用来确定交换点(处理框1516)。也就是说,交换点被认为紧接具有流l的参考轨道的交换样本的最高参考样本之后,经由具有流1的参考轨道的交换样本,到达紧接具有流2的交换样本轨道的交换样本的样本。在另一个实施例中,交换样本元数据可用来实现到比特流中的随机存取入口点,如图19A-19C所示。参照图19A和19B,交换样本1902由样本S2和S12组成。 S2为根据P22预测的P帧,在普通流重放过程中使用。 S12用作随机存取点(例如用于剪接)。一旦S12被解码,流重放继续进行P24的解码, 好象P24是在S2之后被解码一样。图19C是用于确定样本(例如轨道T上的样本S)的随机存取点的方法1910的一个实施例的流程图。方法1910以:後索交换样本元数据从而查找包含具有交换样本轨道T的交换样本的所有交换样本集开始(处理框1912)。随后,评估所得交换样本集,以选择其中具有交换样本轨道T的交换样本为在解码顺序中在样本S之前的最接近样本的交换样本集(处理框1914)。此外,从用于样本S的随机存取点的所选交换样本集中选择具有交换样本轨道T的交换样本以外的交换样本(样本SS)(处理框1916)。在流重放过程中,把样本SS而不是样本S解码(之后跟随样本SS的条目中指定的任何参考样本的解码)。在又一个实施例中,交换样本元数据可用来帮助错误复原,如图20A-20C所示。参照图20A和20B,交换样本2002由样本S2、 S12和S22组成. 样本S2根据样本P4来预测。样本S12根据样本Sl预测。如果在样本P2与P4之间出现错误,则交换样本S12而不是S2可被解码。流式传输则从样本P6照常继续进行。如果错误也影响到样本Sl,则交换样本S22而不是样本S2可被解码,然后流式传输从样本P6照常继续进行。图20C是用于帮助发送样本(例如样本S)时的错误恢复的方法2010的一个实施例的流程图。方法2010以搜索交换样本元数据从而换样本集开始(处理框2012)。随后,评估所得交换样本集,以选择具有最接近样本S且其参考样本已知(经由反馈或其它某个信息源)为正确的交换样本SS的交换样本集(处理框2014)。此外,交换样本SS而33不是样本S被发送(处理框2016)。参数集和补充增强信息的存储如上所述,某种元数据、如参数集元数据可与相关媒体数据分开存储。图21说明根据本发明的一个实施例的参数集元数据的独立存储。参照图21, i,体数据存储在视频轨道2102中,以及参数集元数据存储在独立的参数轨道2104中,它可被标记为"不活动"以表明它没有存储i某体数据。定时信息2106提供视频轨道2102与参数轨道2104 之间的同步。在一个实施例中,定时信息存储在视频轨道2102和参数集轨道2104的每一个的样本表盒中。在一个实施例中,各参数集由一个参数集样本表示,如果々某体样本的定时信息等于参数集样本的定时信息,则实现同步。在另一个实施例中,对象描述符(OD)消息被用来包含参数集元数据。根据MPEG-4标准,对象描述符表示一个或多个基本流描述符, 它们提供与单个对象(i某体对象或画面描述)有关的流的配置或其它信息。对象描述符消息在对象描述符流中发送。如图22所示,参数集作为对象描述符消息2204被包含到对象描述符流2202中。对象描述符流2202与携带媒体数据的视频基本流同步。下面更详细地论述SEI的存储。在一个实施例中,SEI数据与媒体数据一起存储在基本流中。图23说明与媒体数据一起直接嵌入基本流数据2303的SEI消息2304.在另一个实施例中,SEI消息作为样本存储在独立的SEI轨道中。图24和25说明4艮据本发明的一些实施例的SEI消息在独立轨道中的存储。参照图24,媒体数据存储在视频轨道2402中,SEI消息存储在独立的SEI轨道2404中作为样本。定时信息2406提供视频轨道2402与SEI轨道2404之间的同步。参照图25,媒体数据存储在视频轨道2502中,SEI消息存储在对象内容信息(OCI)轨道2504中。定时信息2506提供视频轨道2502与OCI轨道2504之间的同步。根据MPEG-4标准,OCI轨道2504被指定为存储常用于提供关于画面事件的文^描述信息的OCI数据。各SEI 消息存储在OCI轨道2504中,作为对象描述符。在一个实施例中, 通常指定OCI轨道中存储的数据类型的OCI描述符元素字段用来携带SEI消息。在又一个实施例中,SEI数据作为元数据与々某体数据分开存储。图26说明根据本发明的一个实施例的SEI数据作为元数据存储。参照图26, ISO i某体文件格式定义的用户数据盒2602用来存储SEI消息。明确地说,各SEI消息存储在轨道或电影盒中包含的用户数据盒2602中的SEI用户数据盒2604中。在一个实施例中,包含在SEI消息中的元数据包^4某体数据的描述。这些描述可表示MPEG-7标准所定义的描述符和描述方案。在一个实施例中,SEI消息支持包含基于XML的数据、如基于XML的描述。另外,SEI消息支持不同类型的增强信息的登记。例如,SEI消息可支持匿名用户数据而不需要登记新类型。这种数据可设计为专用于特定应用或机构。在一个实施例中,在比特流环境中由指定起始码指明SEI的存在。在一个实施例中,解码器提供SEI消息中描述的任一个或全部增强功能的能力通过外部手l爻(例如建议H.245或SDP)来发信号通知。不提供增强功能的解码器可以只是丢弃SEI消息。在一个实施例中,利用SEI消息的净荷标题中的指定字段来提供媒体数据(例如视频编码层数据)与包含媒体数据的描述的SEI消息的同步,下面将会更详细地论述。在一个实施例中,网络适配层支持在基础传输系统中传送补充增强信息消息的方法。网络适配可允许用于发出SEI消息的带内(与视频编码层相同的传输流中)或者带外方法。在一个实施例中,MPEG-7元数据包含到SEI消息中是通过把SEI 用作MPEG-7元数据的传递层来实现的。具体来说,SEI消息封装表示一个或多个描述段的MPEG-7系统存取单元(段)。 MPEG-7存取单元与》某体数据的同步可利用SEI消息的净荷标题中的指定字段来提供。在另一个实施例中,MPEG-7元数据包含到SEI消息中是通过允许描述单元在SEI消息中以文本或二进制编码形式发送来实现的。描述单元可以是单个MPEG-7描述符或描述方案,并且可用来表示来自完整描述的部分信息。例如,以下给出可缩放色彩描述符的XML语法:<Mpeg7>〈DescriptionUnit xsi:type="ScalableColorType" numOfCoeff="16"numOffiitplanesDiscarded="0"> <Coef£>l 234567890123456 </Coefb> </DescriptionUnit> </Mpeg7>描述符或描述方案示例可通过SEI消息标题与媒体数据的对应部分(例如子样本、样本、段等)相关,下面将更详细地论述。这个实施例允许例如单帧的二进制或文本编码色彩描述符作为SEI消息来发送。利用SEI消息,可提供视频编码流的隐式描述。隐式描述是视频编码流的完整描述,其中隐含了描述单元。隐式描述可具有以下形式:<Mpeg7>="ContcntEiitityType"><MultiraediaContentxsi:type="VideoType"><Video><Creationiofoimation> <Crcatioli>4itl^ Woridcup Soccer々Title></Creation> <yCreationlnfbrmation> <McdiaTimc><McdiaTimePoint>TOO:00:00</MediaTira6Point><MediaDuration>PTlM30S</MediaDwatio </MediaTimO<VisualDescriptor xsi:typc-"GoFGoPColorType" aggrcgation="Avemgc"><ScalabIcCobr numOfCoeff="16" DumOfBitplanesDiscarded="0"><Coef& 123 4 567 8 9 0 1 2 3 4 5 6</ScalableColor> </VisualDescriptor></Vidco> </MuWniediaCoiitent > </DcscripUon> </Mpeg7>在一个实施例中,提供SEI的修订格式以支持描述包含到SEI消息中。明确地说,SEI表示为一组SEI消息。在一个实施例中,SEI被封装为数据的组块。各SEI组块可包含一个或多个SEI消息。各SEI 消息包含SEI标题和SEI净荷。 SEI标题以自SEI组块的第一字节或自前一个SEI消息之后的第一字节的字节对准位置开始。净荷紧接SEI 标题,在SEI标题之后的字节处开始。 SEI标题包括消息类型、媒体数据部分(例如子样本、样本和段) 的可选标识符以及净荷长度。 SEI标题的语法可如下所示:aligned(8)SupplementalEnhancementlnformationaligned unsigned int(13) MessageType;aligned unsigned int(2} MessageScope if(MessageScope==0)//Message is related to a sample unsigned int(16) SampleE);else//Reservedaligned unsigned int(16) PayloadLength; aligned unsigned int(8) Payload[PayloadLength];MessageType字段表示净荷中的消息类型。示范SEI消息类型代码在表l中规定如下:<table>table see original document page 38</table><table>table see original document page 0</table>PayloadLength字段以字节数为单位指定SEI消息的长度。 SEI标题还包括表明这个SEI消息是否与特定样本相关的样本同步标志以及表明这个SEI消息是否与特定子样本相关的子样本同步标志(如果子样本同步标志^皮设置,则样本同步标志也^皮设置)。 SEI净荷还包括指定这个消息相关的样本的可选样本标识符字段以及指定消息相关的子样本的可选子样本标识符字^R。样本标识符字段仅在设置了样本同步标志时才存在。同样,子样本标识符字段仅在设置了子样本同步标志时才存在。样本标识符和子样本标识符字段允许SEI消息与媒体数据的同步。在一个实施例中,各SEI消息在SEI消息描述符中发送。 SEI描迷符^皮封装到包含一个或多个SEI消息的SEI单元中。 SEI消息单元的语法如下:aligned(8) class SEIMessageUnitSEIMessageDescriptor descriptor[O. .255];SEI消息描述符的语法如下:abstract expandable(2**16-l) aligned(8) class SEIMessageDescriptor :tag unsigned int(16)unsigned int(16) type=tag;类型字段表示SEI消息的类型。示范SEI消息类型在表2中提供,如下所示:<table>table see original document page 40</table>表2下面更详细地描迷表2所示的各种类型的SEI消息。 SEIXMLDescriptor类型指的是一种描述符,它封装可能包含例如完整XML文档或者来自更大文档的XML段的基于XML的数据。 SEIXMLDescriptor的i吾法如下:class SEIXMLDescriptor: SEIMessageDescriptoi(SEIXMLDescriptorTag)unsigned int(8) xmDataD;SEIMetadataDescriptor类型指的是包含元数据的描述符。 SEIMetadataDescriptor的i吾法长口下:class SEMetadataDescr^>tor 二SEMessageDescriptoi(SEIXMIDesa^)torTag)unsigned int(8) metadataFormat; unsigned int(8) metadataContent口;metadataFormat字段标识元数据的格式。元数据格式的示范值在表3中说明如下:值 描述0x00-0x0F 保留0x10 ISO 15938(MPEG-7)定义0xll-0x3F 保留0x40棚0xFF 注册机构定义表3值0x10标识MPEG-7定义的数据。从0x40直到OxFF的范围中的值可用于对专用格式的使用发出信号。 metadataContent字羊史包含metadataFormat字l爻指定的才备式的元数据的表示。 SEIMetadataRefDescriptor类型表示指定指向元数据的位置的URL41的描述符。 SEIMetadataRefDescriptor的语法如下:class SEIMetadataRefDescriptor: SEEMessageDescriptor(SEIMetdataRefDescriptorTag)bit(8) URLString口;URLString字段包含指向元数据的位置的UTF-8编码的URL。 SEITextDescriptor类型表示包含描述视频内容或与其有关的文本的描述符。 SEITextDescriptor的语法如下:Qass SBDVfessageDescr^)tor:SEIMessageDesa^)toi(SEIXMLDesaiptarTag)unsigned int(24) languageCode; unsigned int(8) text口;languageCode字段包含以下文本字段的语言的语言代码.文本字段包合UTF-8编码的文本数据。 SEIURIDescriptor类型表示包含与视频内容有关的统一资源标识符(URI)的描述符。 SEIURIDescriptor的语法如下:class SEIURIDescriptor 二SEDVfessageDescr^tor(SEIURIDescr^toiTag)unsigned int(16) uriStringP; uriString字段包含视频内容的URLSEIOCIDescriptor类型涉及包含表示对象内容信息(OCI)描述符的SEI消息的描述符。 SEIOCIDescriptor的语法如下:class SEIOODesaiptor 二SEMessageDescr^ptoi(SEIOCIDescriptorTag)OCI一DescriptDr ociDescr;ociDescr字段包含OCI描述符。 SEIStartSegmentDescriptor类型涉及表明段起始的描述符,它则可在其它SEI消息中被引用。段起始与此SEI描述符所应用的某个层(例如样本组、段、才羊本或子样本)相关。 SEIStartSegmentDescriptor的语法^口下:class SEIStartSegmentDescriptor :SEIMessageDescriptor(SEIStartSegmentDescriptorTag)unsigned int(32) segmentED;segmentDD字段表示该段的这个流内的唯一二进制标识符。这个值可用来引用其它SEI消息中的段。 SE正ndSegmentDescriptor类型涉及表明段结束的描述符。必须存在包含相同segmentID值的在前SEIStartSegment消息。如果出现不匹配,则解码器必须忽略这个消息。段结束与此SEI描述符所应用的某个层(例如样本组、段、样本或子样本)相关。 SEIStartSegmentDescriptor 的i吾法3。下:class SE正ndsegmentDescriptor :SEIMessageDescriptor(SE正ndSegmentDescriptorTag)unsigned int(32) segmentID;segmentID字段表示该段的这个流中的唯一二进制标识符.这个值可用来引用其它SEI消息中的段。已经描述了视听元数据的存储和检索。虽然本文已经说明和描述了具体实施例,但本领域的技术人员会了解,适合用于实现相同目的的任何配置均可取代所述具体实施例。本申请意在涵盖本发明的任何寸'务改或变更。

Claims (18)

1. 一种计算方法,包括:识别与多媒体数据有关的一个或多个描述,所述一个或多个描述包括描述符和描述方案,其中所述描述符描述所述多》某体数据表现的视听内容中的语法和语义特征,而所述描述方案指定所述描述符之间的结构和语义关系;以及把所述一个或多个描述包含在与所述多媒体数据相关的补充增强信息中,包含所述一个或多个描述的SEI随后一皮传送到解码系统, 以便可选地用于所述多i某体数据的解码,其中所述SEI和所述多i某体数据在分开的轨道传送到解码系统,而所述分开的轨道的定时信息用来同步所述分开的轨道。 1. A computing method, comprising: identifying a plurality of multimedia data or a related description, the description includes the one or more descriptors and description schemes, wherein the plurality of the descriptors describe "a body of data show the syntax and semantic features of the audiovisual content, and the description scheme specifies the structure and semantics of the relationships between descriptors; and said one or more descriptors contained in the supplemental enhancement information associated with the multimedia data, SEI then a sheath comprising one or more of the described system is transferred to the decoder, for decoding said to optionally i a plurality of volume data, wherein said track in a separate SEI i and a plurality of said data body transmitted to the decoding system, the timing information is used to track the separate synchronizing the separate track.
2. 如权利要求1所述的方法,其特征在于:所述SEI作为元数据与所述多i某体数据分开存储。 2. The method according to claim 1, wherein: said metadata SEI as a member of the plurality of data i stored separately.
3. 如权利要求2所述的方法,其特征在于:所述SEI元数据包括多个SEI消息。 The method according to claim 2, wherein: the metadata comprises a plurality of SEI SEI message.
4. 如权利要求3所述的方法,其特征在于:所述多个SEI消息中的每一个作为盒存储在电影盒的轨道中。 4. The method according to claim 3, wherein: each of said plurality of storing a cartridge in the SEI message of the track in the film cartridge.
5. 如权利要求2所述的方法,其特征在于: 所述多i某体数据存储在视频轨道中;以及所述SEI元数据存储在SEI轨道中。 5. The method according to claim 2, wherein: said plurality i of a volume data stored in the video track; SEI and the SEI metadata stored in the track.
6. 如权利要求5所述的方法,其特征在于还包括: 使所述SEI轨道与所述视频轨道同步。 The method as claimed in claim 5, characterized in that further comprises: the track and the video track SEI synchronization.
7. 如权利要求6所述的方法,其特征在于:所述SEI轨道在样本中包含多个SEI消息。 7. The method according to claim 6, wherein: the track includes a plurality of SEI SEI messages in the sample.
8. 如权利要求2所述的方法,其特征在于还包括: 在视频基本流中传送所述多媒体数据;以及在对象内容信息(OCI)流中传送所述SEI元数据。 8. The method according to claim 2, characterized by further comprising: transmitting the multimedia data in the video elementary stream; and transmitting the metadata in the SEI target content information (OCI) stream.
9. 如权利要求8所述的方法,其特征在于:所述多个SEI消息中的每一个在OCI流中作为OCI描述符来发送。 9. The method according to claim 8, wherein: said plurality of each of a SEI message OCI descriptor stream as transmitted in OCI.
10. 如权利要求1所述的方法,其特征在于: 一个或多个描述中的每一个是描述符和描述符方案中的任一项。 10. The method according to claim 1, wherein: the one or more of each of which is described in any one of the descriptor and descriptor scheme.
11. 如权利要求3所述的方法,其特征在于,所述多个SEI消息中的每一个包括净荷标题,其中具有把所述多个SEI消息中每一个与所述多媒体数据的对应部分相关联的数据。 11. The method according to claim 3, wherein each of said plurality includes a payload header SEI message, having a corresponding portion of the plurality of the SEI message in each of the multimedia data associated data.
12. 如权利要求11所述的方法,其特征在于:所述多+某体数据的对应部分是样本、子样本和样本组中的任一项。 12. The method according to claim 11, wherein: said plurality of data + a corresponding portion of a body is a sample, and any one of the sub-sample in the sample set.
13. 如权利要求1所述的方法,其特征在于:把一个或多个描述包含到所述SEI中包括把MPEG-7系统存取单元封装到多个SEI消息其中之一中。 13. The method according to claim 1, wherein: the one or more descriptive included in the package comprising the SEI MPEG-7 system access unit to which one of a plurality of SEI messages.
14. 如权利要求1所述的方法,其特征在于还包括:在多个SEI消息其中之一中传送所述一个或多个描述中的每一个。 14. The method according to claim 1, characterized by further comprising: transmitting each of the one or more described in the SEI message wherein one of the plurality of.
15. 如权利要求14所述的方法,其特征在于:所述一个或多个描述中的每一个以文本或二进制编码。 15. The method according to claim 14, wherein: in each of the one or more text or binary encoded description.
16. —种装置,包括: 存储器;媒体文件创建器,形成包含多媒体数据的第一文件,所述媒体文件创建器包括存储在所述存储器中的指令;以及元数据文件创建器,识别与多i某体数据有关的一个或多个描述, 所述一个或多个描述包括描述符和描述方案,其中所述描述符描述所述多i某体数据表现的视听内容中的语法和语义特征,而所述描述方案指定所述描述符之间的结构和语义关系,以及把所述一个或多个描述包含在与所述多媒体数据相关的补充增强信息中,包含所述一个或多个描述的所述SEI随后净支传送到解码系统,以便可选地用于所述多媒体数据的解码,其中所述SEI和所述多媒体数据在分开的轨道传送到解码系统,而所述分开的轨道的定时信息用来同步所述分开的轨道,所述元数据文件创建器包括存储在所述存储器中的指令。 16. - species apparatus, comprising: a memory; a media file creator, file comprises forming a first multimedia data, the media file creator including instructions stored in the memory; and a metadata file creator, and multiple recognition i a body data related to one or more descriptions of the one or more descriptors include descriptors and description schemes, wherein the plurality of the syntax and semantics described i wherein the audiovisual content of a body of the performance data in the descriptor, the specified structure and semantics of the embodiment described the relationship between the descriptor, and said one or more descriptors contained in the supplemental enhancement information associated with the multimedia data, comprising one or more of the described Timing SEI the net is then transmitted to a decoding system, branched, alternatively to decode the multimedia data for which the SEI and transmitting the multimedia data to a decoding system in a separate track, and said separate rail information is used to synchronize the separate track, the metadata file creator including instructions stored in the memory.
17. —种装置,包括: 处理器;用于配置所述处理器识别与多媒体数据有关的一个或多个描述的部件,所述一个或多个描述包括描述符和描述方案,其中所述描述符描述所述多媒体数据表现的视听内容中的语法和语义特征,而所述描述方案指定所述描述符之间的结构和语义关系;以及用于把所述一个或多个描述包含在与所述多i某体数据相关的补充增强信息中的部件,包含所述一个或多个描述的所述SEI随后被传送到解码系统,以便可选地用于所述多媒体数据的解码,其中所述SEI和所述多i某体数据在分开的轨道传送到解码系统,而所迷分开的轨道的定时信息用来同步所述分开的轨道。 17. - species apparatus, comprising: a processor; means for configuring the processor to identify the multimedia data relating to one or more descriptive of the one or more descriptors include descriptors and description schemes, wherein the description audiovisual content descriptor of the multimedia data in the performance characteristics of the syntax and semantics, and said description structure and semantics of the relationships between the specified scheme descriptor; and means for containing said one or more descriptive with the a plurality i of said body data related supplemental enhancement information component, comprising one or more of the said SEI described subsequently transmitted to the decoding system, to optionally decode the multimedia data, wherein said SEI and the multi-volume data transmission in a i a separate track to the decoding system, separate fans and timing information for synchronizing the tracks separate track.
18. —种系统,包括: 存储器;以及连接到所述存储器的至少一个处理器,所述至少一个处理器执行指令集,从而使所述至少一个处理器识别与多媒体数据有关的一个或多个描述,所述一个或多个描述对所述多J?某体数据的语法和语义进行描述,所述一个或多个描述包括描述符和描述方案,其中所述描述符描述所述多媒体数据表现的视听内容中的语法和语义特征,而所述描述方案指定所述描述符之间的结构和语义关系,以及把所述一个或多个描述包含在与所述多媒体数据相关的补充增强信息中,包含所述一个或多个描迷的所述SEI随后净皮传送到解码系统,以便可选地用于所述多々某体数据的解码,其中所述SEI和所述多媒体数据在分开的轨道传送到解码系统,而所迷分开的轨道的定时信息用来同步所述分开的轨道。 18. - kind of system, comprising: a memory; and at least one processor coupled to the memory, the at least one processor instruction set, such that the at least one associated processor identifying a plurality of multimedia data or description, the description of one or more of the plurality of J? a volume data syntax and semantics are described, the description includes the one or more descriptors and description schemes, wherein the descriptors describe the performance of the multimedia data audiovisual content syntax and semantic features, and the description scheme specifies the structure and semantics of the relationships between the operators described, and the description includes the one or more supplemental data associated with the multimedia information enhancement the SEI containing the one or more fans described subsequently net transdermal delivery system to the decoding, to optionally 々 for decoding the plurality of data of a body, in a separate track wherein the multimedia data and the SEI transmitted to the decoding system, separate fans and timing information for synchronizing the tracks separate track.
CN 03815202 2002-02-25 2003-04-29 Supporting advanced coding formats in media files CN100419748C (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US37665202P true 2002-04-29 2002-04-29
US37665102P true 2002-04-29 2002-04-29
US60/376,651 2002-04-29
US60/376,652 2002-04-29
US10/371,464 US20030163477A1 (en) 2002-02-25 2003-02-21 Method and apparatus for supporting advanced coding formats in media files
US10/371,464 2003-02-21
US10/425,685 2003-04-28
US10/425,685 US20040006575A1 (en) 2002-04-29 2003-04-28 Method and apparatus for supporting advanced coding formats in media files

Publications (2)

Publication Number Publication Date
CN1666195A CN1666195A (en) 2005-09-07
CN100419748C true CN100419748C (en) 2008-09-17

Family

ID=29554444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 03815202 CN100419748C (en) 2002-02-25 2003-04-29 Supporting advanced coding formats in media files

Country Status (8)

Country Link
EP (1) EP1500002A1 (en)
JP (1) JP2006505024A (en)
KR (1) KR20040106414A (en)
CN (1) CN100419748C (en)
AU (1) AU2003237120B2 (en)
DE (1) DE10392598T5 (en)
GB (1) GB2403835B (en)
WO (1) WO2003098475A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246773A (en) * 2012-04-25 2014-12-24 高通股份有限公司 Identifying parameter sets in video files

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
WO2005086625A2 (en) 2004-02-10 2005-09-22 Thomson Licensing Storage of advanced video coding (avc) parameter sets in avc file format
US8315307B2 (en) 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
KR100729224B1 (en) 2004-10-13 2007-06-19 강원대학교산학협력단 Exteneded Multimedia File Structure and Multimedia File Producting Method and Multimedia File Executing Method
TW200638335A (en) * 2005-04-13 2006-11-01 Dolby Lab Licensing Corp Audio metadata verification
CA2604203A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
AU2007230602B2 (en) 2006-03-27 2012-01-12 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
CN101411080B (en) * 2006-03-27 2013-05-01 维德约股份有限公司 System and method for management of scalability information in scalable video and audio coding systems using control messages
US8184153B2 (en) * 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
NZ566935A (en) 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
FR2894739A1 (en) * 2005-12-12 2007-06-15 Thomson Licensing Sa coding method, DECODING METHOD, encoding device and decoding device of video data
BRPI0710236A2 (en) * 2006-05-03 2011-08-09 Ericsson Telefon Ab L M method and apparatus for the reconstruction of media, computer program product, apparatus to create a representation of media data object randÈmico access point, and representation and document or media container
CN101507281B (en) 2006-07-12 2013-06-05 诺基亚公司 Signaling of region-of-interest scalability information in media files
EP2041974A4 (en) * 2006-07-12 2014-09-24 Lg Electronics Inc Method and apparatus for encoding/decoding signal
AU2012202346B2 (en) * 2006-08-24 2014-07-24 Provenance Asset Group Llc System and method for indicating track relationships in media files
US8365060B2 (en) 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
CA2661578C (en) 2006-08-24 2014-06-17 Nokia Corporation System and method for indicating track relationships in media files
WO2008046243A1 (en) * 2006-10-16 2008-04-24 Thomson Licensing Method and device for encoding a data stream, method and device for decoding a data stream, video indexing system and image retrieval system
EP2095641A2 (en) * 2006-11-14 2009-09-02 QUALCOMM Incorporated Systems and methods for channel switching
EP2098077A2 (en) 2006-11-15 2009-09-09 QUALCOMM Incorporated Systems and methods for applications using channel switch frames
CN101193321B (en) * 2006-11-27 2012-02-22 汤姆森许可贸易公司 Encoding device, decoding device, recording device, audio / video data transmission system
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
WO2008102323A2 (en) * 2007-02-23 2008-08-28 Nokia Corporation Backward-compatible characterization of aggregated media data units
EP1983755A1 (en) 2007-04-17 2008-10-22 Thomson Licensing Method to transmit video data in a data stream and associated metadata
KR101813848B1 (en) 2007-04-18 2017-12-29 돌비 인터네셔널 에이비 Coding systems
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
DE102007045741A1 (en) * 2007-06-27 2009-01-08 Siemens Ag Method and apparatus for encoding and decoding multimedia data
KR101451239B1 (en) 2007-08-13 2014-10-15 삼성전자 주식회사 Method for creating and accessing media metadata in media file format and apparatus thereof
CA2695645C (en) * 2007-08-20 2017-05-23 Nokia Corporation Segmented metadata and indexes for streamed multimedia data
JP5587779B2 (en) * 2007-09-19 2014-09-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン Apparatus and method for reading and storing a file having a media data container and a metadata container
KR101394154B1 (en) * 2007-10-16 2014-05-14 삼성전자주식회사 Method and apparatus for encoding media data and metadata thereof
US8081635B2 (en) 2008-10-08 2011-12-20 Motorola Solutions, Inc. Reconstruction of errored media streams in a communication system
US20120011270A1 (en) * 2009-04-09 2012-01-12 Clinton Priddle Methods and arrangements for creating and handling media files
KR101290467B1 (en) * 2009-09-22 2013-07-26 퀄컴 인코포레이티드 Multi-track video coding methods and apparatus using an extractor that references two or more non-consecutive nal units
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
JP5996439B2 (en) 2010-02-19 2016-09-21 テレフオンアクチーボラゲット エルエム エリクソン(パブル) Method and apparatus for the representation switching in Http Streaming
CN103098485A (en) * 2010-06-14 2013-05-08 汤姆森特许公司 Method and apparatus for encapsulating coded multi-component video
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
WO2012030120A2 (en) * 2010-08-31 2012-03-08 ㈜휴맥스 Methods of transmitting and receiving a media information file for http streaming
EP2625867A1 (en) 2010-10-05 2013-08-14 Telefonaktiebolaget L M Ericsson (publ) A client, a content creator entity and methods thereof for media streaming
KR20120138604A (en) 2011-06-14 2012-12-26 삼성전자주식회사 Method and apparatus for transmitting/receiving hybrid media content in a multimedia system
US20150063466A1 (en) * 2012-04-06 2015-03-05 Sony Corporation Decoding device and decoding method, and encoding device and encoding method
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
KR101484843B1 (en) 2013-04-19 2015-01-20 삼성전자주식회사 A method and apparatus for transmitting a media transport packet in a multimedia transport system
CN105409235A (en) * 2013-07-19 2016-03-16 索尼公司 File generation device and method, and content reproduction device and method
US10129566B2 (en) * 2015-03-16 2018-11-13 Microsoft Technology Licensing, Llc Standard-guided video decoding performance enhancements
US9979983B2 (en) 2015-03-16 2018-05-22 Microsoft Technology Licensing, Llc Application- or context-guided video decoding performance enhancements
GB2560921A (en) * 2017-03-27 2018-10-03 Canon Kk Method and apparatus for encoding media data comprising generated content
US20190020915A1 (en) * 2017-07-13 2019-01-17 Qualcomm Incorporated Processing media data using file tracks for web content

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864682A (en) * 1995-07-14 1999-01-26 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706493A (en) * 1995-04-19 1998-01-06 Sheppard, Ii; Charles Bradford Enhanced electronic encyclopedia
US6453355B1 (en) * 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6426778B1 (en) * 1998-04-03 2002-07-30 Avid Technology, Inc. System and method for providing interactive components in motion video
WO2000043910A1 (en) * 1999-01-22 2000-07-27 Kent Ridge Digital Labs Method and apparatus for indexing and retrieving images using visual keywords
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
GB2387287B (en) * 2002-04-05 2006-03-15 Snell & Wilcox Limited Video compression transcoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864682A (en) * 1995-07-14 1999-01-26 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H.26L over IP and H.324 Framework. Stephan Wenger,Thomas Stockhammer.ITU - Telecommunications Standardization Sector. 2001 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246773A (en) * 2012-04-25 2014-12-24 高通股份有限公司 Identifying parameter sets in video files
CN104246773B (en) * 2012-04-25 2018-09-14 高通股份有限公司 Set of parameters identifying the video file

Also Published As

Publication number Publication date
KR20040106414A (en) 2004-12-17
CN1666195A (en) 2005-09-07
JP2006505024A (en) 2006-02-09
EP1500002A1 (en) 2005-01-26
AU2003237120A1 (en) 2003-12-02
WO2003098475A1 (en) 2003-11-27
GB2403835A (en) 2005-01-12
GB0424069D0 (en) 2004-12-01
GB2403835B (en) 2005-11-23
AU2003237120B2 (en) 2008-10-09
DE10392598T5 (en) 2005-05-19

Similar Documents

Publication Publication Date Title
RU2571375C2 (en) Trick modes for network streaming of coded video data
KR100607784B1 (en) Method and apparatus for media data transmission
KR101311015B1 (en) Method and apparatus for media data transmission
KR100431110B1 (en) Method and apparatus for media data transmission
US8019885B2 (en) Discontinuous download of media files
US8918533B2 (en) Video switching for streaming video data
CN102714624B (en) A method and apparatus for adaptive streaming using segmented
US8930562B2 (en) Arranging sub-track fragments for streaming video data
RU2492587C2 (en) Apparatus and method for storing and reading file, having media data storage and metadata storage
AU761202B2 (en) Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
CA2257578C (en) System and method for processing object-based audiovisual information
US9185439B2 (en) Signaling data for multiplexing video components
JP6345827B2 (en) To provide a sequence data set for streaming video data
JP4726096B2 (en) System and method for coupling with generation and interface bit stream representing the Mpeg coded audio-visual objects
EP2478703B1 (en) Multi-track video coding methods and apparatus using an extractor that references two or more non-consecutive nal units
KR101242472B1 (en) Method and apparatus for track and track subset grouping
US20100049865A1 (en) Decoding Order Recovery in Session Multiplexing
US7139470B2 (en) Navigation for MPEG streams
US20030061369A1 (en) Processing of multimedia data
US9485546B2 (en) Signaling video samples for trick mode video representations
US20110116772A1 (en) Method and apparatus for providing trick play service
KR100556826B1 (en) System and Method of Internet Broadcasting for MPEG4 based Stereoscopic Video
US9852219B2 (en) Segmented metadata and indexes for streamed multimedia data
Amon et al. File format for scalable video coding
KR101786050B1 (en) Method and apparatus for transmitting and receiving of data

Legal Events

Date Code Title Description
C06 Publication
C10 Request of examination as to substance
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1082564

Country of ref document: HK

C14 Granted
C17 Cessation of patent right
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1082564

Country of ref document: HK