CN102648629B - 补充处理信息的提供 - Google Patents

补充处理信息的提供 Download PDF

Info

Publication number
CN102648629B
CN102648629B CN201080057965.4A CN201080057965A CN102648629B CN 102648629 B CN102648629 B CN 102648629B CN 201080057965 A CN201080057965 A CN 201080057965A CN 102648629 B CN102648629 B CN 102648629B
Authority
CN
China
Prior art keywords
media
identifier
media content
pseudo
process information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080057965.4A
Other languages
English (en)
Other versions
CN102648629A (zh
Inventor
P.弗勒德
C.普里德勒
巫壮飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Priority to CN201510124970.7A priority Critical patent/CN104661115B/zh
Publication of CN102648629A publication Critical patent/CN102648629A/zh
Application granted granted Critical
Publication of CN102648629B publication Critical patent/CN102648629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

定义用于处理解码的媒体内容的解码后指示的补充处理信息(52,54)在文件(1)中与用于将媒体内容编码的媒体编解码器的伪标识符共同组织在一起。所述共同组织触发不认识伪标识符的遗留媒体终端(210)中止媒体内容的解码,但使得认识伪标识符的媒体终端(200)能够将媒体内容解码,由此使得能够使用补充处理信息(52,54)进行解码的媒体内容的解码后处理。所述共同组织由此阻止不能使用补充处理信息的遗留媒体终端(210)将媒体内容解码和在媒体呈现中描绘媒体内容。

Description

补充处理信息的提供
技术领域
实施例一般涉及媒体内容处理,并且具体地说,涉及提供结合媒体内容处理有用的补充处理信息。
背景技术
H.264/MPEG-4第10部分或高级视频编码(AVC)是最新技术发展视频编码标准。它是混合编解码器,其取得消除帧之间和一个帧内的冗余的优点。编码过程的输出是视频编码层(VCL)数据,该数据在传送或存储前进一步封装到网络抽象层(NAL)单元中。
补充增强信息(SEI)被提供以帮助与诸如显示等解码后有关的过程。SEI消息的示例包括定义滤后提示和色调映射(tone mapping)。SEI消息以它们对于解码过程非强制的此类方式来设计。符合的解码器能够丢弃它们不理解的SEI消息。SEI消息今天被封装到NAL单元中,就好像VCL数据一样,但不影响解码。
根据现有技术,必须借助于媒体终端显示能力的特定知识形成文件,以保证正确的回放(playback)。通过增强信息(即,在解码循环外)添加的新显示特征不能以后向兼容的方式进行。此方面的一个示例是已添加到H.264视频以帮助在三维(3D)显示装置上描绘(render)解码图片的空间交织帧SEI消息。这些SEI消息派生自使用诸如H.264等现有二维(2D)编解码器来编码3D内容的工作。此方面的一个示例是SEI消息描述偶数帧分配到左视图、并且奇数帧分配到右视图的情况。
SEI消息在涉及到解码时以可丢弃的方式来设计。然而,重要的是媒体终端能够将此信息正确地解释以用于诸如3D描绘等解码外的事物。不具有理解这些SEI消息的能力的遗留媒体终端将简单地忽略它们,并且在2D显示上描绘解码图片,导致显著的显示伪像(artifact),例如,对于上述示例的每帧在左和右视图之间的跳跃。
此外,今天媒体终端需要解码视频比特流以便发现是否及哪些类型的增强信息是必需的。对于本地重放和传送,这均是问题。例如,某人可具有不可完全显示的电影,并且媒体终端将只发现在涉及未知SEI消息时它不能正确显示该电影。在另一情况下,在涉及媒体传送时,使比特流变瘦的一种简单、快速的方法是删除所有SEI消息,因为解码不要求这些消息。这能够导致对描绘重要的SEI消息变少。
因此,在技术领域内,存在对有效处理诸如SEI数据等补充处理信息以便解决或至少减轻现有技术的问题的一般需要。
发明内容
使得能够以有效方式提供补充处理信息是一般目的。
此目的和其它目的通过本文中公开的实施例而得以满足。
简要地说,实施例的一方面涉及一种提供与编码媒体内容有关或相关联的补充处理信息的方法。该方法涉及提供用于将媒体内容编码的媒体编解码器的伪标识符。还提供补充处理信息。补充处理信息定义用于处理通过将编码媒体内容解码而可获得的解码的媒体内容的解码后指示。伪标识符和补充处理信息被共同组织在文件中,以便触发不认识伪标识符的遗留媒体终端中止编码媒体内容的解码。对应地,文件中伪标识符和补充处理信息的共同组织使得认识伪标识符的媒体终端能够使用媒体编解码器将媒体内容解码,并且使得能够使用补充处理信息进行解码媒体内容的解码后处理。
另一方面涉及一种用于提供补充处理信息的装置。该装置包括用于提供媒体编解码器的伪标识符的标识符提供器。信息提供器在该装置中被实现以提供定义解码后指示的补充处理信息。该装置还包括用于在文件中以触发不认识伪标识符的遗留媒体终端中止编码媒体内容的解码的此类方式来共同组织伪标识符和补充处理信息的文件组织器。然而,认识伪标识符的媒体终端将能够使用媒体编解码器将编码媒体内容解码,并且基于补充处理信息进一步处理解码后的媒体内容。
实施例的又一方面涉及一种处理媒体内容的方法。该方法涉及接收包括伪标识符和补充处理信息的文件。如果不认识从文件检索的伪标识符,则中止编码媒体内容的解码,因此,将不向用户呈现媒体内容。然而,如果认识伪标识符,则基于在伪标识符的基础上检索的媒体编解码器的编解码器标识符来选择用于将编码媒体内容解码的媒体编解码器。随后,使用选定媒体编解码器将编码媒体内容解码。从文件检索的补充处理信息用于处理解码的媒体内容,以获得适合描绘的形式中的媒体内容,从而为用户提供媒体呈现。
作为实施例的又一方面,公开了一种媒体终端。该媒体终端包括用于接收带有伪标识符和补充处理信息的文件的接收器。媒体终端的解码控制器配置成调查伪标识符并确定媒体终端是否可认识伪标识符。如果不认识伪标识符,则解码控制器控制解码器中止或停止编码媒体内容的解码。如果转而认识伪标识符,则解码控制器基于在伪标识符基础上检索的编解码器标识符,选择要用于将编码媒体内容解码的媒体编解码器。随后,解码器配置成使用选定媒体编解码器将编码媒体内容解码以产生解码的媒体内容。此解码的媒体内容由内容处理器基于从文件检索的补充处理信息进行处理,以获得适合描绘的形式中的媒体内容。
实施例因此提供了有效的方式来提供要结合媒体内容的解码后处理以用于获得使得能够向用户正确描绘和呈现的形式中的媒体内容的补充处理信息。不理解并因此不能使用补充处理信息的遗留媒体终端被阻止描绘未经任何解码后处理的媒体内容,转而中止解码。通过使用伪标识符而不是真实编解码器标识符作为媒体编解码器标识符来触发解码的中止。遗留媒体终端因此被禁止描绘媒体内容。这是重要的,因为描绘将否则导致用户可感知的视觉和/或音频伪像(由于缺乏使用补充处理信息的能力的遗留媒体终端未使用补充处理信息进行媒体内容的解码后处理)。
附图说明
通过参考与附图一起进行的以下描述,可最好地理解本发明及其另外的目的和优点,其中:
图1是示出根据一实施例的提供补充处理信息的方法的流程图;
图2是根据现有技术和根据一实施例的媒体内容处理的比较;
图3是示出图1中的共同组织步骤的一实施例的流程图;
图4是根据一实施例的媒体容器文件的示意概图;
图5是根据一实施例的样本条目盒(sample entry box)的示意概图;
图6是在媒体轨道的样本条目盒中组织补充处理信息的一实施例的示意概图;
图7是能够实现实施例所在的通信网络的概图;
图8是根据一实施例的用于提供补充处理信息的装置的示意框图;
图9是根据一实施例的处理媒体内容的方法的流程图;
图10是根据一实施例的图9中方法的另外步骤的流程图;
图11是根据另一实施例的图9中方法的另外步骤的流程图;
图12是根据一实施例的媒体终端的示意框图;以及 
图13是示出图1中的共同组织步骤的另一实施例的流程图。
具体实施方式
在图形各处,相同的引用标号用于类似或对应的元素。
实施例一般涉及媒体内容处理,并且具体地说,涉及能够由媒体终端和播放器用于处理和/或描绘解码的媒体内容的补充处理信息的提供和使用。
实施例提供传递此类补充处理信息到媒体终端的有效方式。补充处理信息的传递允许认识补充处理信息的媒体终端检索它并在描绘之前或期间将它用于处理媒体内容。然而,补充处理信息有利地以不认识补充处理信息的遗留媒体终端将不描绘媒体内容的此类方式来传递。这是优选的,因为此类媒体内容描绘将导致用户感知的视觉和/或音频伪像,而遗留媒体终端将不进行基于任何补充处理信息的解码后处理。
补充处理信息(SPI)或也如本领域中所称的补充增强信息(SEI)定义媒体终端和播放器能够用于处理补充处理信息相关联的解码媒体内容的解码后指示。这些解码后指示因此能够向媒体终端提供有关它们应如何处理数据以便在媒体会话期间提供媒体内容的正确描绘的信息和指示。在省略基于补充处理信息的解码媒体内容的处理从而阻止媒体终端描绘媒体内容方面,补充处理信息对于媒体终端是强制的,或者媒体终端能够描绘媒体内容但结果媒体呈现将具有用户将感知的几处或多或少严重的视觉和/或音频伪像。在不要求描绘媒体内容方面,补充处理信息也能够是可选的,但可能通过增大媒体呈现的视觉和/或音频效应或通过有利于媒体呈现中的定位(seeking)操作而将增强描绘。
例如,AVC指定能够用于改进AVC比特流的VCL的解码和描绘的SEI消息。此信息以它对于解码过程非强制的此类方式来设计,即,SEI包含不是对解码VCI所必需的信息,并且能够被符合的解码器丢弃。
虽然SEI对于解码过程不是至关重要的,但它可为随后描绘过程指定要求动作。一个示例是指示视频序列的编码帧/字段由形成立体视图的图片对组成的立体视频信息SEI消息。更近的示例是空间交织帧“棋盘”SEI消息。它通知解码器输出的解码图片包含由多个不同的空间交织帧组成的帧的样本及如何为显示目的而将样本适当解交织。
如果遗留媒体终端尝试解码和描绘包含这些SEI消息的AVC比特流而不理解其含意,则它将丢弃它们并将比特流解码而不知道未经进一步解交织则解码的图片无意义。直接输出到2D显示,结果将充满伪像,并且肯定不是内容提供商所希望的。
AVC文件格式在基于ISO基本媒体文件格式的例如MP4和3GP的文件格式中定义AVC的存储。此类文件中包含的AVC比特流可包括可对解码过程有用的SEI消息。然而,在能够包括的SEI消息的类型上没有约束,并且当前没有通知播放器AVC比特流可包含解码数据的适当描绘所要求的SEI的信令机制。即使播放器解析AVC比特流并且查找SEI消息,它也不能分辨任何检测到的SEI消息是否在解码循环外强加动作(除非它认识它们及它们的含意)。丢弃似乎无害,但未知的SEI因此能够导致意外的结果。因此,根据现有技术,必须借助于媒体终端显示能力的特定知识形成文件,以保证正确的回放。今天,通过诸如在解码循环外的SEI消息等补充处理信息添加的新显示特征不能以后向兼容的方式进行。
如本文中公开的媒体内容涉及能够传递到媒体终端以用于其中的解码和描绘从而向用户提供媒体呈现的媒体数据。媒体内容因此能够是在显示屏幕上播放和呈现的视频内容或数据。备选或附加的是,媒体内容能够是被回放并且能够由使用扬声器的用户收听的音频内容或数据。
图1是根据一实施例的提供与编码媒体内容有关的补充处理信息的方法的流程图。该方法从步骤S1开始,在该步骤中,提供媒体编解码器的伪标识符。媒体编解码器定义用于将相关媒体内容编码的媒体编码器。步骤S1提供编伪标识符而不是解码器的真实编解码器标识符。伪标识符应在本文中解释为用于编解码器标识符的别名。伪标识符还被选择成由一些媒体终端可认识并能够解释,但在本文中表示为遗留媒体终端的其它媒体终端不认识且不能解释。
下一步骤S2提供补充处理信息,在图中缩写为SPI。补充处理信息定义用于处理通过将与补充处理信息相关联的编码媒体内容解码而可获得的解码媒体内容的解码后指示。
伪标识符和补充处理信息在步骤S3中以触发不认识伪标识符的遗留媒体终端中止解码或阻止编码媒体内容的解码的此类方式被共同组织在文件中。因此,伪标识符优选触发遗留媒体终端中止媒体内容的解码,并由此不描绘任何媒体内容。然而,文件中的共同组织还以它使得认识伪标识符的媒体终端能够使用由媒体编解码器定义的媒体解码器将编码媒体内容解码、并且使用补充处理信息将解码媒体内容进行解码后处理的此类方式来进行。
因此,在步骤S1中文件中伪标识符和补充处理信息的共同组织将阻止遗留媒体终端将编码媒体内容解码,或者在媒体终端检索到伪标识符时触发它中止编码媒体内容的解码。对于此的原因是遗留媒体终端不认识且因此不能使用补充处理信息。这意味着即使遗留媒体终端能够将编码媒体内容解码,它也不能使用补充处理信息正确地执行解码媒体内容的解码后处理。这将导致问题,实施例通过在描绘能够由遗留媒体终端启动前使用伪标识符触发解码的中止来解决该问题。
图2示意示出此概念。在此说明性示例中,为视频内容提供有在要求补充处理信息以便使得能够向用户正确描绘和显示视频数据方面的限制。例如,对于立体声或3D描绘,补充处理信息能够定义编码视频数据或内容的哪些视频帧对应于左视图,以及哪些视频帧对应于右视图。补充信息随后能够定义视频内容的每个奇数帧表示第一(左或右)视图,而视频内容的每个偶数帧表示第二(右或左)视图。根据现有技术,旧终端(即遗留媒体终端)将正确解码编码媒体内容。然而,由于它不认识补充处理信息,因此,它将简单地忽略该信息。由于遗留媒体终端不知道不同视图的视频帧的特定交织,因此,这将导致视频内容的不正确回放或描绘,在每帧的左右视图之间出现跳跃。媒体呈现因此将对观看用户极无吸引力,并且将由于在每帧的视图跳跃而充满视觉伪像。
在现有技术中,即使遗留媒体终端不认识为了获得正确媒体呈现所需要的补充处理信息,解码和媒体描绘也在遗留媒体终端中进行。
根据实施例,伪标识符及文件中伪标识符和补充处理信息的共同组织通过触发不认识伪标识符的那些遗留媒体终端中止或停止对编码媒体内容的解码,解决了与现有技术有关的此问题。这意味着媒体内容优选从不在遗留媒体终端被描绘,并且用户能够转而得知其媒体终端不支持当前媒体内容的描绘。
此概念在图2右侧示意示出。因此,在遗留媒体终端(即图中的旧终端)接收带有伪标识符和补充处理信息的文件时,遗留媒体终端检索到伪标识符。媒体终端随后断定它不认识伪标识符并因此停止媒体内容的解码。
在一特定实施例中,一些另外或外部信息可能与文件在一起提供以增强媒体终端的自我意识。此类元信息例如能够是通知媒体终端其解码器过时而不能解码比特流并且需要一些更新的链接。这在图中进一步示出,其中,媒体终端能够搜索编解码器更新以便有效地处理文件,认识伪标识符和使用补充处理信息处理解码的媒体内容。媒体终端由此能够配置成从一些预配置的外部源请求支持或更新。
伪标识符因此能够视为用于向将不认识补充处理信息的遗留媒体终端隐藏媒体编解码器的真实编解码器标识符的部件。编解码器标识符的隐藏由此阻止遗留移动终端解码并由此描绘媒体内容。
伪标识符和补充处理信息的共同组织优选地以仅在媒体终端认识并能够解释伪标识符时它才将从文件检索补充处理信息的此类方式来执行。这有效地阻止遗留媒体终端尝试检索和解释它们不认识的补充处理信息。
现在将结合不同的特定实现示例,进一步描述实施例。
图3是根据特定实施例示出图1中的共同组织步骤的流程图。该方法从图1的步骤S2继续。下一步骤S10生成并提供媒体容器文件。媒体容器文件能够视为完整的输入包,其除媒体内容本身外,优选包括媒体终端执行媒体内容的解码和描绘要求的信息和指示。ISO基本媒体文件格式能够有利地用作媒体容器文件的文件格式,包括在ISO基本媒体文件格式上派生的或基于ISO基本媒体文件格式的各种存储格式,例如AVC文件格式。AVC文件格式又指定如何在例如MP4和3GP文件格式等从ISO基本媒体文件格式派生的各种文件格式中携带H.264 (MPEG-4 AVC)。
步骤S10中生成的媒体容器文件包括定义媒体内容的至少一个媒体轨道和包括编码媒体内容的至少一个媒体内容容器或盒。图4中示出此类媒体容器文件1的示例。媒体容器文件1在此示例中包括用于在媒体呈现期间要描绘的每个媒体内容的相应媒体轨道20、30。因此,第一媒体轨道20定义视频内容,并且第二媒体轨道30定义对应的音频内容。媒体轨道20、30优选在电影(“moov”)容器或盒10中被组织,该容器是用于与媒体内容有关的元数据的容器。该图还示出媒体数据(“mdat”)容器或盒40,该容器是用于媒体呈现的实际元数据的容器。
图2中方法的下一步骤S11提供媒体容器文件中的样本条目盒。此样本条目盒定义伪标识符。此类样本条目盒的示例能够如下所示:
class AVCSampleEntry ( ) extends VisualSampleEntry ('resv') { 
RestrictedSchemeInfoBox ( );
AVCConfigurationBox config;
MPEG4BitRateBox ( ); // 可选
MPEG4ExtensionDescriptionBox ( ); // 可选
}
或更为普通的是:
class RestrictedSampleEntry ( ) extends SampleEntry ('resv') { 
RestrictedSchemeInfoBox ( );
ConfigurationBox config; 
}
VisualSampleEntry和AVCSampleEntry定义媒体内容是视频内容。样本条目盒以它具有虚拟基:SampleEntry (format) extends Box (format)的此类方式来设计。“format”字段中的内容未被定义,并且留给其派生的条目为它指派值。例如,在视频情况下,我们具有VisualSampleEntry (codingname) extends SampleEntry (codingname)。在本情况中,“codingname”对应于表示伪标识符的“resv”。因此,本实施例不定义用于编码媒体内容的特定和媒体编解码器,如“avc1”,而是将媒体编解码器的编解码器标识符替代为伪标识符“resv”。
在步骤S12中,补充处理信息盒在样本条目盒中被提供。补充处理信息盒包括适用于媒体内容的补充处理信息。根据各种实施例,此补充处理信息盒能够布置在媒体容器文件中。在第一实施例中,补充处理信息盒直接在样本条目盒中被提供。样本条目盒随后能够扩展为如下所示,其中,SeiInformationBox对应于补充处理信息盒:
class AVCSampleEntry ( ) extends VisualSampleEntry ('resv') { 
RestrictedSchemeInfoBox ( );
AVCConfigurationBox config;
SeiInformationBox seiinfo;
MPEG4BitRateBox ( ); // 可选
MPEG4ExtensionDescriptionBox ( ); // 可选
}
在一备选实施例中,补充处理信息盒在受限制的方案信息盒中更深处被提供,而不是直接在样本条目盒中被提供。受限制的方案信息盒因而能够定义为:
aligned(8) class RestrictedSchemeInfoBox (fmt) extends Box ('rinf') {
OriginalFormatBox (fmt) original_format;
SchemeTypeBox scheme_type_box; // 可选
SchemeInformationBox info; 
}
在此类情况下,补充处理信息盒能够包含在方案信息盒中。在一特定实施例中,补充处理信息盒在方案信息盒中的包括能够取决于使用“aSEI”(即,AVC SEI)作为方案类型。
在任一情况下,在一特定实施例中,补充处理信息盒能够定义为:
aligned (8) class SeiInformationBox extends Box ('seii') {
unsigned int(8) numRequiredSEIs;
for (i=0; i<numRequiredSEIs; i++) {
unsigned int(8) requiredSEI_ID;
unsigned int(8) numNotRequiredSEIs; 
for (i=0; i<numNotRequiredSEIs; i++) { 
unsigned int(8) NotrequiredSEI_ID; 
]
因此,在此特定实施例中,补充处理信息能够划分成在媒体内容的解码后处理期间媒体终端必须使用的强制补充处理信息(requiredSEI_ID)和可选补充处理信息(NotrequiredSEI_ID)。后者是非强制的,但如果被移动终端采用,则一般将改进或增强媒体内容的媒体呈现或描绘。numRequiredSEIs和numNotRequiredSEIs定义媒体容器文件中存在的并且与特定媒体内容有关的强制的和可选的补充处理信息版本的数量。requiredSEI_ID采用诸如SEI消息等媒体流中存在的并且文件作者或创建者认为是正确描绘或回放所必需的补充处理信息消息的值“payloadType”。NotrequiredSEI_ID对应地采用文件作者不认为是正确描绘所必需的补充处理信息消息(SEI消息)的值“payloadType”。
补充处理信息盒因此优选只包括能够与特定媒体内容结合使用的补充处理信息消息的相应标识符。这些标识符所引用的特定补充处理信息消息随后能够在媒体容器文件中的其它地方被提供,这在本文中被进一步描述。
图3的下一步骤S13在样本条目盒中提供媒体格式盒。媒体格式盒包括媒体编解码器的编解码器标识符。
在一特定实施例中,原来的样本条目类型(即,编解码器标识符)被包含在表示媒体格式盒的OriginalFormatBox中。OriginalFormatBox随后能够被包含在上述RestrictedSchemeInfoBox内:
aligned (8) class OriginalFormatBox (codingname) extends Box ('frma') {
unsigned int(32) data_format; //来自未变换的样本条目的值,如data_format = 'avc1'; 
因此,在上述示例中,“data_format”表示真实媒体编解码器标识符,并且能够根据特定媒体编解码器而采用诸如“avc1”、“mp4v”等各种值。
图5示意示出能够用于定义伪标识符、编解码器标识符和补充处理信息的各种容器或盒。在此特定实施例中,样本条目盒80将诸如“avc1”等其传统四字符码替代为图中表示“受限视频”的“resv”所代表的伪标识符。在此示例中,除其它之外,样本条目盒80又包括图中示为“rinf”的受限方案信息盒70。受限方案信息盒70包括带有诸如“avc1”等编解码器标识符62的原来的格式盒60(在图中示为“frma”)。在一特定实施例中,受限方案信息盒70也包括图中示为“seii”的补充处理信息盒50。补充处理信息盒50包括或列出要求的或强制的补充处理信息消息的标识符52和非要求的或可选的补充处理信息消息的标识符54。
图6是表示媒体容器文件的媒体轨道20的图形。此图示出媒体轨道20能够划分成多个样本条目盒80,其中,每个此类样本条目盒80与媒体容器文件的媒体内容盒中包含的编码媒体内容的相应部分相关联。在此类情况下,补充处理信息50能够如前面所提及的在样本条目盒80中存在。在一特定实施例中,在与编码媒体内容的前面部分相关联的样本条目盒中提供定义适用于编码媒体内容的后面部分的解码后指示的补充处理信息50。编码内容的此前面部分因而具有在编码媒体内容的后面部分的解码时间之前的解码时间。因此,定义与媒体内容部分k、k+1、k+2有关的解码后指示的补充处理信息50在与媒体内容部分k-1、k、k+1有关的样本条目盒80中被提供。在此类情况下,在相关媒体内容版本已由媒体终端解码时,媒体终端将有时间识别和提供补充处理信息及其定义的解码后指示。因此,将减少解码和解码后处理有关的任何延迟。
然而,在大多数实施例中,一般在传送媒体数据容器中存在的实际数据前一起发送样本条目盒80和媒体轨道20。因此,对于这些实施例,一般无需提供与媒体内容部分k-1有关的样本条目盒80中的定义与媒体内容k有关的解码后指示的补充处理信息50。形成鲜明对比的是,补充处理信息50转而能够在与媒体内容部分k有关的样本条目盒中被提供。
补充处理信息定义的实际解码后指示能够在实际比特流中被提供。因此,能够将诸如SEI消息等解码后指示封装在NAL单元中,并随后使其位于比特流中的深处,其中,它们由媒体数据盒来包含。实际解码后指示能够位于的另一位置是在某一特殊盒中,例如,仅形成比特流中实际解码后指示的副本的ViewScalabilityInfoSEIBox。
媒体容器文件的其它实施例能够替代传统样本条目,如AVC样本条目(以使得遗留媒体终端将不能将它解码的方式)。新样本条目随后以类似于原来的语法的方式来定义,但添加了补充处理信息盒。在此类情况下,此新的样本条目将对应于媒体编解码器的伪标识符。例如,对于带有限制的AVC,样本条目盒和伪标识符能够地示为“avcr”:
class AVCRestrictionsSampleEntry ( ) extends VisualSampleEntry ('avcr') { 
AVCConfigurationBox config; 
SeiInformationBox seiinfo; 
MPEG4BitRateBox ( ); // 可选
MPEG4ExtensionDescriptorsBox ( ); // 可选
在仍有的另一实施例中,定义AVCDecoderConfigurationRecord的新版本,并因此在AVCDEcoderConfigurationRecord中使用用于configurationVersion的新值。这样做使得不能使用补充处理信息的遗留媒体终端将不能解码文件。
在可选情况下,AVCDecoderConfigurationRecord的新定义也包含有关要求的和/或可选的补充处理信息的信息。下面示出此语法的示例:
aligned(8) class AVCDecoderConfigurationRecord { 
unsigned int(8) configurationVersion = 2;
unsigned int(8) AVCProfileIndication;
unsigned int(8) profile_compatibility; 
unsigned int(8) AVCLevelIndication; 
bit(6) reserved = '111111'b; 
unsigned int(2) lengthSizeMinusOne; 
bit(3) reserved = '111'b; 
unsigned int(5) numOfSequenceParameterSets; 
for (i=0; i< numOfSequenceParameterSets; i++) { 
unsigned int(16) sequenceParameterSetLength;
bit(8*sequenceParameterSetLength) sequenceParameterSetNALUnit;
}
unsigned int(8) numOfPictureParameterSets;
for (i=0; i< numOfPictureParameterSets; i++) {
unsigned int(16) pictureParameterSetLength; 
bit(8*pictureParameterSetLength) pictureParameterSetNALUnit; 
}
unsigned int(8) numRequiredSEIs;
for (i=0; i<numRequiredSEIs; i++) {
unsigned int(8) requiredSEI_ID;
}
unsigned int(8) numNotRequiredSEIs; 
for (i=0; i<numNotRequiredSEIs; i++) { 
unsigned int(8) NotrequiredSEI_ID; 
}
在一备选实施例中,伪标识符和补充处理信息被共同组织在其中的文件不必是媒体容器文件。图13示出此实施例。该方法从图1的步骤S2继续。下一步骤S50涉及生成会话描述协议(SDP)文件,并且将伪标识符和补充处理信息共同组织为SDP文件中的不同属性行。如本领域中已知的,实时传输协议(Real-Transport Protocol, RTP)被设计用于实时数据传送。不同的有效负载格式被定义以用于不同媒体编解码器,并且这些格式调节分组化规则。边信息一般也在SDP文件中在发送器与接收器之间被发送,以便双方通过建立SDP供应/应答模型而知道正在传送的媒体内容的状态。
SDP文件随后能够修改为具有包括伪标识符的第一属性行和包括补充处理信息的第二属性行。不能利用补充处理信息进行媒体内容的解码后处理的遗留媒体终端将不认识从SDP文件检索的伪标识符。由此停止并阻止媒体内容的解码。
在一特定实施例中,伪标识符用作一种新类型的品牌(brand)名称,而不是旧品牌名,如将H264替代为H264-RES,这表示带有限制的H.264。此外,定义新的流属性参数,指明应用了哪些限制。这些流属性参数对应于能够指定为要求/非要求SEI消息的补充处理信息。下面给出了示例:
m = video 20000 RTP/AVP 97
a = rtpmap:97 H264-RES/90000
a = fmtp:97 sprop-requiredSEI-ID ? {ID1},{ID2}; sprop-NotrequiredSEI-ID={ID3},{ID4},{ID5}; 
在遗留媒体终端接收器接收上述SDP供应时,伪标识符H264-RES停止错误解码,因为遗留媒体终端将提前拒绝此供应。仅认识H264-RES的媒体终端将接受该供应,并因此能够通过补充处理信息正确解码和描绘媒体内容。这些媒体终端因此将映射和转换伪标识符H264-RES到编解码器标识符,即,H264。这意味着这些媒体终端已配置成理解伪标识符并进行要求的标识符映射或转换。
上述内容中公开的实施例主要通过H.264/AVC例示。然而,这应只视为说明性而非限制性示例。例如,除其它之外,带有诸如可伸缩视频编码(Scalable Video Coding, SVC)和多视图视频编码(Multiview Video Coding, MVC)等H.264/AVC的扩展的等效实施例通过以类似的方式扩展其特定配置记录和/或样本条目类型,以十分类似的方式来工作。
实施例因此使得能够通过媒体终端检测补充处理信息的存在而不检查比特流。形成鲜明对比的是,如上所例示的,调查媒体容器文件或SDP文件或供应的相关部分已足够。补充处理信息将只由能够解释和使用补充处理信息的那些媒体终端进一步有利地看到。遗留媒体终端因此将不尝试显示在描绘前将具有要求的另外后处理的解码比特流。
图7是其中能够实现实施例的通信网络的一部分的示意概图。通信网络除其它之外,由借助于基站310或网络节点提供通信服务到移动终端200、210和其它用户装置的基于无线电的通信网络来例示。该通信网络也包括用于提供媒体内容到诸如移动终端200、210等一个或多个请求媒体终端的此类基站310中实现的或者连接到此类基站310的媒体服务器300。该图示出用于提供补充处理信息的装置100的一个可能实现实施例,其在图中示为SPI提供装置。此装置100配置成生成如本文中公开的包括伪标识符和补充处理信息的文件1。文件1随后借助于连接的基站310传送到移动终端200、210。在图中,移动终端210能够表示遗留移动终端,而移动终端200指示认识伪标识符并能够使用补充处理信息的媒体终端。
装置100不必一定在媒体服务器300中实现,而是能够备选地在通信网络的另一网络节点中实现。在多个此类网络节点中的分布式实现也是可能的,并且在实施例的范围内。
图8是根据一实施例的用于提供补充处理信息的装置100的示意框图。装置100包括配置成提供用于将媒体内容编码的媒体编解码器的伪标识符的标识符提供器110。信息提供器130配置成提供表示用于处理通过将编码媒体内容解码而可获得的解码媒体内容的解码后指示的补充处理信息。装置100也包括配置成将来自标识符提供器110的伪标识符和来自信息提供器130的补充处理信息共同组织在文件中的文件组织器120。如已公开的,文件中的共同组织由文件组织器120进行,以便它触发不认识伪标识符的遗留媒体终端中止编码内容的解码。然而,共同组织使得认识伪标识符的媒体终端能够使用媒体编解码器将编码媒体内容解码,并能够使用补充处理信息进行解码媒体内容的解码后处理。
信息提供器130能够提供表示用于处理解码媒体内容的强制的解码后指示的要求的补充处理信息和表示用于处理解码媒体内容的可选解码后指示的非要求的补充处理信息。
在一特定实施例中,文件组织器120配置成生成包括定义媒体内容的至少一个媒体轨道和包括编码媒体内容的至少一个媒体内容盒的媒体容器文件。标识符提供器110随后能够在媒体容器文件中提供样本条目盒。如前面所述,样本条目盒定义伪标识符,并包括含编解码器标识符的媒体格式盒。信息提供器130优选地在样本条目盒中提供包括补充处理信息的补充处理信息盒。在一特定实施例中,信息提供器130在与具有在编码媒体内容部分k的解码时间之前的解码时间的前面的编码媒体内容部分k-1相关联的样本条目盒中提供定义适用于媒体内容部分k的解码后指示的补充处理信息。在另一实施例中,信息提供器130在与媒体内容部分k相关联的样本条目盒中提供定义适用于媒体内容部分k的解码后指示的补充处理信息。
在一备选实施例中,文件组织器120配置成生成包括来自标识符提供器110的伪标识符作为第一属性行、并且来自信息提供器130的补充处理信息作为第二属性行的SDP文件。
装置100的单元110到130可被实现或提供为硬件或硬件和软件的组合。在基于软件的实现的情况下,实现装置100或其一部分的计算机程序产品包括在通用或专用计算机、处理器或微处理器上运行的软件或计算机程序。所述软件包括图8所示的计算机程序代码元素或软件代码部分。所述程序可整体或部分被存储在诸如磁盘、CD-ROM、DVD盘、USB存储器、硬盘、磁光存储器等一个或多个适合的非暂时性计算机可读媒体或数据存储部件之上或之中、RAM或易失性存储器中、ROM或闪速存储器中(作为固件)、或数据服务器上。
装置100能够有利地在如图7所示的媒体服务器300中实现,或结合其实现。
图9是根据一实施例的示出处理媒体终端中媒体内容的方法的流程图。该方法从步骤S20开始,在该步骤中接收包括伪标识符和补充处理信息的文件。下一步骤S21验证图中缩写为PID的伪标识符是否是可认识的。如果伪标识符是不可认识的,则该方法继续到步骤S22,在该步骤中,中止或阻止媒体内容的解码。如上述内容中讨论的,编码媒体内容能够与伪标识符和补充处理信息在相同的文件中被提供,或者被分开地提供(在步骤S20中或另一(未公开的)步骤中)。如果伪标识符转而是可认识的,则该方法从步骤S21继续到步骤S23。此步骤S23基于在伪标识符的基础上检索的编解码器标识符,选择用于将媒体内容解码的媒体编解码器。下一步骤S24使用选定媒体编解码器将媒体内容解码。在步骤S25中,基于补充处理信息来处理解码媒体内容,以便获得适合诸如显示或回放等描绘的形式中的媒体内容。
该方法随后能够结束。备选的是,媒体内容能够划分成不同的媒体内容部分,其中,补充处理信息能够与不同的此类媒体部分相关联并适用于不同的此类媒体部分。在此类情况下,为每个此类媒体内容部分重复进行步骤S24和S25。
图10是根据一实施例的示出图9中方法的另外步骤的流程图。该方法从图9的步骤S20继续,该步骤涉及接收包括定义媒体内容的至少一个媒体轨道、包括编码媒体内容的至少一个媒体内容盒和至少一个样本条目盒的媒体容器文件。样本条目盒定义伪标识符并包括带有补充处理信息的补充处理信息盒和带有编解码器标识符的媒体格式盒。
下一步骤S30从样本条目盒来检索伪标识符,并且在图9的步骤S21中调查伪标识符是否是可认识的。如果这为真,则该方法继续到步骤S31,在该步骤中,从媒体格式盒来检索编解码器标识符。该方法随后继续到图9的步骤S23,在该步骤中,基于检索的编解码器标识符而选择媒体编解码器。
图11是根据另一实施例的示出图9中方法的另外步骤的流程图。该方法从图9的步骤S20继续,该步骤涉及接收包括含伪标识符的第一属性行和含补充处理信息的第二属性行的SDP文件。下一步骤S40读取SDP文件中的第一属性行以识别伪标识符。该方法随后继续到图9中的步骤S21以调查伪标识符是否是可认识的。如果这为真,则该方法继续到步骤S41。步骤S41将伪标识符映射或转换到编解码器标识符。该方法随后继续到图9的步骤S23,在该步骤中,基于映射的编解码器标识符来选择媒体编解码器。
如果补充处理信息定义允许识别哪些视频帧属于立体声或3D描绘的左视图、而哪些视频帧属于其右视图的解码后指示,则图9中的处理步骤能够包括基于补充处理信息来识别对应于左视图的编码视频数据的视频帧和对应于右视图的视频帧。
图12是根据一实施例的媒体终端200的示意框图。媒体终端200由图中的移动终端来例示。然而,这应只视为说明性示例。媒体终端能够是具有解码和描绘能力的任何实体或装置或多个装置的聚合。单个此类装置能够是移动终端,如移动电话或膝上型计算机、计算机、用于电视的机顶盒或任何其它媒体处理装置。解码和描绘功能能够存在于不同装置中,这些装置因而能够相互进行有线或无线通信。媒体终端因此也涵盖此类分布式实现实施例。
移动终端200包括图中由收发器(TX/RX)例示的接收器210。接收器210配置成接收包括伪标识符和补充处理信息的文件。解码控制器220配置成从文件来检索伪标识符并验证伪标识符是否是可认识的。如果解码控制器220不认识它,则解码控制器220控制解码器230中止编码媒体内容的解码,或者停止解码器230启动解码过程。如果解码控制器220转而认识伪标识符,则它选择由解码器230用于将媒体内容解码的媒体编解码器235。此编解码器选择基于解码控制器220使用伪标识符所确定的编解码器标识符来进行。
随后,解码器230使用选定媒体编解码器235将编码媒体内容解码以获得解码的媒体内容。解码的媒体内容由内容处理器240基于从文件检索的补充处理信息进行进一步处理,以获得适合描绘的形式中的媒体内容。媒体终端200随后能够具有媒体播放器(未示出),该播放器描绘处理过的媒体内容以便在显示屏幕250上显示。备选或附加的是,媒体播放器能够在媒体终端200的扬声器(未示出)上回放音频内容。
在一特定实施例中,接收器210接收带有定义媒体内容的至少一个媒体轨道、包括媒体内容且优选包括由补充处理信息定义的解码后指示的至少一个媒体内容盒的媒体容器文件。至少一个样本条目盒也被包括在媒体容器文件中,并定义伪标识符,以及包括带有补充处理信息的补充处理信息盒和带有编解码器标识符的媒体格式盒。在此类情况下,媒体终端200优选地包括配置成从样本条目盒来检索伪标识符的标识符提供器225。如果伪标识符可由解码控制器220认识,则标识符提供器225优选地也从媒体格式盒来检索编解码器标识符。
在一备选实施例中,接收器210接收包括含伪标识符的第一属性行和含补充处理信息的第二属性行的SDP文件。标识符提供器225随后配置成读取第一属性行以检索伪标识符,并随后如果伪标识符可由解码控制器220认识,则使用媒体终端200中存储的预配置映射数据,将伪标识符映射到媒体编解码器235的编解码器标识符。此类预配置的映射数据能够是包括解码控制器220认识的伪标识符和匹配的编解码器标识符的列表。
移动终端200的单元210到240可被实现或提供为硬件或硬件和软件的组合。在基于软件的实现的情况下,实现移动终端200或其一部分的计算机程序产品包括通用或专用计算机、处理器或微处理器上运行的软件或计算机程序。所述软件包括图12所示的计算机程序代码元素或软件代码部分。所述程序可整体或部分被存储在诸如磁盘、CD-ROM、DVD盘、USB存储器、硬盘、磁光存储器等一个或多个适合的非暂时性计算机可读媒体或数据存储部件之上或之中、RAM或易失性存储器中、ROM或闪速存储器中(作为固件)、或数据服务器上。
上述实施例要理解为本发明的少数几个说明性示例。本领域的技术人员将理解,在不脱离本发明范围的情况下,可对实施例进行各种修改、组合和更改。具体地说,不同实施例中的不同部分解决方案能在技术上可能的其它配置中被组合。然而,本发明的范围由随附权利要求来定义。

Claims (16)

1. 一种提供与编码的媒体内容有关的补充处理信息(52,54)的方法,所述方法包括:
提供(S1)用于编码所述媒体内容的媒体编解码器的伪标识符;
提供(S2)定义解码后指示的补充处理信息(52,54),所述解码后指示用于处理通过解码所述编码的媒体内容而可获得的解码的媒体内容;以及 
将所述伪标识符和所述补充处理信息(52,54)共同组织(S3)在文件(1)中以触发不认识所述伪标识符的遗留媒体终端(210)中止所述编码的媒体内容的解码,以及使得认识所述伪标识符的媒体终端(200)能够使用所述媒体编解码器来解码所述编码的媒体内容和使用所述补充处理信息(52,54)进行所述解码的媒体内容的解码后处理,
其中共同组织(S3)所述伪标识符和所述补充处理信息包括:
生成(S10)媒体容器文件(1),所述媒体容器文件包括定义所述媒体内容的至少一个媒体轨道(20)和包括所述编码的媒体内容的至少一个媒体数据盒(40);
在所述媒体容器文件(1)中提供(S11)定义所述伪标识符的样本条目盒(80);
在所述样本条目盒(80)中提供(S12)包括所述补充处理信息(52,54)的补充处理信息盒(50);以及 
在所述样本条目盒(80)中提供(S13)包括所述媒体编解码器的编解码器标识符(62)的媒体格式盒(60)。
2. 如权利要求1所述的方法,其中所述媒体轨道(20)包括多个样本条目盒(80),所述多个样本条目盒各自与所述至少一个媒体数据盒(40)中包含的所述编码的媒体内容的相应部分相关联,其中提供(S12)所述补充处理信息盒(50)包括在样本条目盒(50)中提供(S12)定义适用于所述编码的媒体内容的后面部分的解码后指示的补充处理信息盒(50),所述样本条目盒(50)与具有在所述编码的媒体内容的所述后面部分的解码时间之前的解码时间的所述编码的媒体内容的前面部分相关联。
3. 如权利要求1所述的方法,其中共同组织(S3)所述伪标识符和所述补充处理信息(52,54)包括生成(S50)会话描述协议文件,所述会话描述协议文件包括含所述伪标识符的第一属性行和含所述补充处理信息的第二属性行。
4. 如权利要求1到3的任一项所述的方法,其中提供(S2)所述补充处理信息(52,54)包括提供(S2)表示用于处理所述解码的媒体内容的强制解码后指示的补充处理信息(52)和表示用于处理所述解码的媒体内容的可选解码后指示的补充处理信息(54)的至少之一。
5. 如权利要求1到3的任一项所述的方法,其中所述编码的媒体内容包括编码的视频数据,并且提供(S2)所述补充处理信息(52,54)包括提供(S2)表示解码后指示的、对于所述视频数据的三维描绘定义所述编码的视频数据的哪些视频帧对应于左视图和所述编码的视频数据的哪些视频帧对应于右视图的补充处理信息。
6. 一种用于提供与编码的媒体内容有关的补充处理信息(52,54)的装置(100),所述装置(100)包括:
标识符提供器(110),配置成提供用于编码所述媒体内容的媒体编解码器的伪标识符;
信息提供器(130),配置成提供定义解码后指示的补充处理信息(52,54),所述解码后指示用于处理通过解码所述编码的媒体内容而可获得的解码的媒体内容;以及 
文件组织器(120),配置成将所述标识符提供器(110)提供的所述伪标识符和所述信息提供器(130)提供的所述补充处理信息(52,54)共同组织在文件(1)中,以触发不认识所述伪标识符的遗留媒体终端(210)中止所述编码的媒体内容的解码,并使得认识所述伪标识符的媒体终端(200)能够使用所述媒体编解码器来解码所述编码的媒体内容,并使用所述补充处理信息(52,54)进行所述解码的媒体内容的解码后处理,
其中
所述文件组织器(120)配置成生成包括定义所述媒体内容的至少一个媒体轨道(20)和包括所述编码的媒体内容的至少一个媒体数据盒(40)的媒体容器文件(1);
所述标识符提供器(110)配置成在所述媒体容器文件(1)中提供定义所述伪标识符的样本条目盒(80),并且在所述样本条目盒(80)中提供包括所述媒体编解码器的编解码器标识符(62)的媒体格式盒(60);以及 
所述信息提供器(130)配置成在所述样本条目盒(80)中提供包括所述补充处理信息(52,54)的补充处理信息盒(50)。
7. 如权利要求6所述的装置,其中所述媒体轨道(20)包括多个样本条目盒(80),所述多个样本条目盒各自与所述至少一个媒体数据盒(40)中包含的所述编码的媒体内容的相应部分相关联,其中所述信息提供器(130)配置成在样本条目盒(50)中提供定义适用于所述编码的媒体内容的后面部分的解码后指示的补充处理信息盒(50),所述样本条目盒(50)与具有在所述编码的媒体内容的所述后面部分的解码时间之前的解码时间的所述编码的媒体内容的前面部分相关联。
8. 如权利要求6所述的装置,其中所述文件组织器(120)配置成生成会话描述协议文件,所述会话描述协议文件包括含所述伪标识符的第一属性行和含所述补充处理信息(52,54)的第二属性行。
9. 如权利要求6到8的任一项所述的装置,其中所述信息提供器(130)配置成提供表示用于处理所述解码的媒体内容的强制解码后指示的补充处理信息(52)和表示用于处理所述解码的媒体内容的可选解码后指示的补充处理信息(54)的至少之一。
10. 一种媒体服务器(300),包括如权利要求6到9的任一项所述的用于提供补充处理信息(52,54)的装置(100)。
11. 一种网络节点(310),包括如权利要求10所述的媒体服务器(300)。
12. 一种处理媒体内容的方法,包括:
接收(S20)包括用于编码所述媒体内容的媒体编解码器的伪标识符和定义用于处理所述媒体内容的解码后指示的补充处理信息(52,54)的文件(1);
如果从所述文件(1)检索的所述伪标识符是不可认识的,则中止(S22)所述媒体内容的编码版本的解码;
如果从所述文件(1)检索的所述伪标识符是可认识的,则基于在所述伪标识符基础上检索的媒体编解码器(235)的编解码器标识符(62)来选择(S23)用于解码所述媒体内容的所述编码版本的所述媒体编解码器(235);
如果从所述文件(1)检索的所述伪标识符是可认识的,则使用所述选择的媒体编解码器(235)来解码(S24)所述媒体内容的所述编码版本;以及 
如果从所述文件(1)检索的所述伪标识符是可认识的,则基于从所述文件(1)检索的所述补充处理信息(52,54)来处理(S25)所述媒体内容以获得适合描绘的形式中的所述媒体内容,
其中接收(S20)所述文件(1)包括接收(S20)媒体容器文件(1),所述媒体容器文件包括定义所述媒体内容的至少一个媒体轨道(20)、包括所述媒体内容的所述编码版本的至少一个媒体数据盒(40)以及定义所述伪标识符并包括含所述补充处理信息(52,54)的补充处理信息盒(50)和含所述编解码器标识符(62)的媒体格式盒(60)的样本条目盒(80),所述方法还包括:
从所述样本条目盒(80)来检索(S30)所述伪标识符;以及 
如果从所述文件(1)检索的所述伪标识符是可认识的,则从所述媒体格式盒(60)来检索(S31)所述编解码器标识符(62)。
13. 如权利要求12所述的方法,其中接收(S20)所述文件(1)包括接收(S20)会话描述协议文件,所述会话描述协议文件包括含所述伪标识符的第一属性行和含所述补充处理信息(52,54)的第二属性行,所述方法还包括:
读取(S40)所述会话描述文件中的所述第一属性行以检索所述伪标识符;以及 
如果从所述文件(1)检索的所述伪标识符是可认识的,则映射(S41)所述伪标识符到所述编解码器标识符(62)。
14. 如权利要求12到13的任一项所述的方法,其中所述媒体内容是视频数据,并且处理(S25)所述媒体内容包括:如果从所述文件(1)检索的所述伪标识符是可认识的,并基于所述补充处理信息(52,54),则对于所述视频数据的三维描绘,识别所述编码的视频数据的哪些视频帧对应于左视图和所述编码的视频数据的哪些视频帧对应于右视图。
15. 一种媒体终端(200),包括:
接收器(210),配置成接收包括用于编码媒体内容的媒体编解码器的伪标识符和定义用于处理所述媒体内容的解码后指示的补充处理信息(52,54)的文件(1);
解码控制器(220),配置成如果从所述文件(1)检索的所述伪标识符是不可认识的,则中止所述媒体内容的编码版本的解码,并且如果从所述文件(1)检索的所述伪标识符是可认识的,则基于在所述伪标识符基础上检索的媒体编解码器(235)的编解码器标识符(62)来选择用于解码所述媒体内容的所述编码版本的所述媒体编解码器(235);
解码器(220),配置成如果从所述文件(1)检索的所述伪标识符是可认识的,则使用所述解码控制器(220)所选择的所述媒体编解码器(235)来解码所述媒体内容的所述编码版本;以及 
内容处理器(240),配置成如果从所述文件(1)检索的所述伪标识符是可认识的,则基于从所述文件(1)检索的所述补充处理信息(52,54)来处理所述媒体内容以获得适合描绘的形式中的所述媒体内容,
其中所述接收器(210)配置成接收媒体容器文件(1),所述媒体容器文件包括定义所述媒体内容的至少一个媒体轨道(20)、包括所述媒体内容的所述编码版本的至少一个媒体数据盒(40)以及定义所述伪标识符并包括含所述补充处理信息(52,54)的补充处理信息盒(50)和含所述编解码器标识符(62)的媒体格式盒(60)的样本条目盒(80),所述媒体终端(200)还包括配置成从所述样本条目盒(80)检索所述伪标识符并且如果从所述文件(1)检索的所述伪标识符是可认识的则从所述媒体格式盒(60)检索所述编解码器标识符(62)的标识符提供器(225)。
16. 如权利要求15所述的媒体终端,其中所述接收器(210)配置成接收会话描述协议文件,所述会话描述协议文件包括含所述伪标识符的第一属性行和含所述补充处理信息的第二属性行,所述媒体终端(100)还包括配置成读取所述会话描述文件中的所述第一属性行以检索所述伪标识符并且如果从所述文件(1)检索的所述伪标识符是可认识的则映射所述伪标识符到所述编解码器标识符(62)的标识符提供器(225)。
CN201080057965.4A 2009-10-20 2010-10-18 补充处理信息的提供 Active CN102648629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510124970.7A CN104661115B (zh) 2009-10-20 2010-10-18 用于提供补充处理信息的方法和设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US25312809P 2009-10-20 2009-10-20
US61/253128 2009-10-20
PCT/SE2010/051119 WO2011049517A1 (en) 2009-10-20 2010-10-18 Provision of supplemental processing information

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510124970.7A Division CN104661115B (zh) 2009-10-20 2010-10-18 用于提供补充处理信息的方法和设备

Publications (2)

Publication Number Publication Date
CN102648629A CN102648629A (zh) 2012-08-22
CN102648629B true CN102648629B (zh) 2015-05-06

Family

ID=43900546

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510124970.7A Active CN104661115B (zh) 2009-10-20 2010-10-18 用于提供补充处理信息的方法和设备
CN201080057965.4A Active CN102648629B (zh) 2009-10-20 2010-10-18 补充处理信息的提供

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510124970.7A Active CN104661115B (zh) 2009-10-20 2010-10-18 用于提供补充处理信息的方法和设备

Country Status (18)

Country Link
US (3) US9609368B2 (zh)
EP (2) EP3346711A1 (zh)
JP (1) JP2013509084A (zh)
CN (2) CN104661115B (zh)
AU (1) AU2010308600B2 (zh)
BR (1) BR112012009148B1 (zh)
CA (1) CA2778064C (zh)
DK (1) DK2491720T3 (zh)
ES (1) ES2671520T3 (zh)
HU (1) HUE037388T2 (zh)
IN (1) IN2012DN03081A (zh)
MX (1) MX2012004534A (zh)
NO (1) NO2491720T3 (zh)
NZ (1) NZ599303A (zh)
PL (1) PL2491720T3 (zh)
RU (1) RU2540804C2 (zh)
WO (1) WO2011049517A1 (zh)
ZA (1) ZA201202647B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291580B (zh) * 2011-07-28 2013-03-20 南京联慧通信技术有限公司 基于Android系统的视频传输方法
JP6126096B2 (ja) 2011-08-29 2017-05-10 シンセイ、インコーポレイテッド エンドポイントから別のエンドポイントへウイルス性コピーをするためのコンテナ型ソフトウェア
US9584793B2 (en) * 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
US9607330B2 (en) 2012-06-21 2017-03-28 Cinsay, Inc. Peer-assisted shopping
US10789631B2 (en) 2012-06-21 2020-09-29 Aibuy, Inc. Apparatus and method for peer-assisted e-commerce shopping
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
US9161039B2 (en) 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
GB2542282B (en) 2013-10-22 2018-08-01 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data in a server
US10028002B2 (en) * 2013-12-16 2018-07-17 Samsung Electronics Co., Ltd. Server device for sharing contents, client device, and method for sharing contents
US9716900B2 (en) * 2014-06-20 2017-07-25 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (SEI) messages
US11386409B2 (en) * 2016-03-04 2022-07-12 Sertintyone Corporation Systems and methods for media codecs and containers
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10536721B2 (en) * 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10999605B2 (en) * 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
US10805650B2 (en) * 2017-03-27 2020-10-13 Qualcomm Incorporated Signaling important video information in network video streaming using mime type parameters
US10735806B2 (en) * 2018-09-07 2020-08-04 Disney Enterprises, Inc. Configuration for detecting hardware-based or software-based decoding of video content

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1524859A2 (en) * 2003-10-16 2005-04-20 Sharp Kabushiki Kaisha System and method for three-dimensional video coding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4183587B2 (ja) 2003-09-12 2008-11-19 シャープ株式会社 画像記録装置
JP2005167584A (ja) * 2003-12-02 2005-06-23 Matsushita Electric Ind Co Ltd Mp4ファイルフォーマットのメディア・ストリームを保護する装置
US7689051B2 (en) 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
CN100433159C (zh) * 2004-09-23 2008-11-12 北京凯诚高清电子技术有限公司 多制式信息记录介质,信息记录及播放的方法和装置
US8046479B2 (en) 2006-11-07 2011-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Media channel management
US8463019B2 (en) 2007-07-19 2013-06-11 JVC Kenwood Corporation Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method
RU2477883C2 (ru) 2007-08-20 2013-03-20 Нокиа Корпорейшн Сегментированные метаданные и индексы для потоковых мультимедийных данных
US8400497B2 (en) 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
US8171541B2 (en) * 2007-12-18 2012-05-01 Nokia Corporation Enabling provider network inter-working with mobile access
WO2009099307A1 (en) * 2008-02-05 2009-08-13 Samsung Electronics Co., Ltd Apparatus and method for generating and displaying media files
CN105025309A (zh) * 2009-06-16 2015-11-04 Lg电子株式会社 广播发射机及其3d视频数据处理方法
CN104717479B (zh) * 2009-10-13 2017-05-03 Lg电子株式会社 广播接收机及其3d广播数据处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1524859A2 (en) * 2003-10-16 2005-04-20 Sharp Kabushiki Kaisha System and method for three-dimensional video coding

Also Published As

Publication number Publication date
BR112012009148B1 (pt) 2021-05-25
DK2491720T3 (en) 2018-06-06
IN2012DN03081A (zh) 2015-07-31
JP2013509084A (ja) 2013-03-07
CN102648629A (zh) 2012-08-22
RU2012120698A (ru) 2013-12-10
US20180352244A1 (en) 2018-12-06
AU2010308600A1 (en) 2012-05-17
PL2491720T3 (pl) 2018-08-31
EP2491720A1 (en) 2012-08-29
WO2011049517A1 (en) 2011-04-28
MX2012004534A (es) 2012-06-08
ES2671520T3 (es) 2018-06-06
AU2010308600B2 (en) 2014-09-25
US9609368B2 (en) 2017-03-28
ZA201202647B (en) 2013-06-26
EP3346711A1 (en) 2018-07-11
BR112012009148A2 (pt) 2017-08-08
HUE037388T2 (hu) 2018-08-28
EP2491720B1 (en) 2018-03-07
CN104661115B (zh) 2020-08-04
NZ599303A (en) 2014-06-27
CN104661115A (zh) 2015-05-27
US20120201521A1 (en) 2012-08-09
EP2491720A4 (en) 2013-12-11
US10397595B2 (en) 2019-08-27
US20170201762A1 (en) 2017-07-13
CA2778064A1 (en) 2011-04-28
CA2778064C (en) 2019-06-04
US10085036B2 (en) 2018-09-25
RU2540804C2 (ru) 2015-02-10
NO2491720T3 (zh) 2018-08-04

Similar Documents

Publication Publication Date Title
CN102648629B (zh) 补充处理信息的提供
JP6333226B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5542912B2 (ja) メディア・コンテナ・ファイル管理
CN104394487B (zh) 基于文件格式生成和再现自适应流的方法和装置
KR101575138B1 (ko) 무선 3d 스트리밍 서버
CN103369467B (zh) 在通信网络中信号传递三维视频信息
CN112019881B (zh) 视听内容项数据流
CN102378020A (zh) 接收装置和接收方法
KR20150012206A (ko) 3차원 콘텐츠의 부호화 방법 및 장치
KR100979445B1 (ko) Dmb 기반의 3차원 데이터 서비스 제공 방법과 그 수신 방법
TW201909647A (zh) 增強區域取向包封及視埠獨立高效視頻寫碼媒體資料檔
KR20110117568A (ko) 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant