CN101416149A

CN101416149A - 以高级视频编解码器文件格式支持保真度范围扩展

Info

Publication number: CN101416149A
Application number: CNA2005800441450A
Authority: CN
Inventors: M·Z·维沙拉姆; A·塔巴塔拜
Original assignee: Sony Electronics Inc
Current assignee: Sony Electronics Inc
Priority date: 2004-10-21
Filing date: 2005-10-21
Publication date: 2009-04-22

Abstract

创建一个参数集以为一部分多媒体数据规定色度格式、亮度比特深度和色度比特深度。该参数集被编码到与该多媒体数据相关的元数据文件中。如果解码器配置记录包含与该参数集对应的字段，该参数集被从元数据文件提取出来。另一方面，用与该参数集对应的字段产生解码器配置记录。

Description

以高级视频编解码器文件格式支持保真度范围扩展

相关申请

本申请与2003年2月21日提交的美国专利申请10/371,434、10/371,438、10/371,464以及10/371,927以及2003年4月28日提交的10/425,291和10/425,685号有关，所有这些专利都被授予与本发明相同的受让人。

技术领域

本发明一般涉及多媒体文件格式的视听内容的存储和检索(retrieval)，尤其涉及与ISO媒体文件格式兼容的文件格式。

版权公告/许可

背景技术

紧随着对网络、多媒体、数据库和其它数字本领的需求的快速增长，已经出现了很多多媒体编码和存储方案。Apple Computer Inc(苹果计算机公司)开发的文件格式是用于编码和存储视听数据的众所周知的文件格式之一。QuickTime文件格式被用作创建国际标准化组织(ISO，International Organization for Standardization)多媒体文件格式(ISO/IEC 14496-12，Information Technology-Coding of audio-visual objects-Par 12：ISO媒体文件格式，也被称为ISO文件格式)的起点。ISO文件格式接着被用作两个标准文件格式的模板：(1)由运动图像专家组(MPEG，Moving Picture ExpertsGroup)开发的MPEG-4文件格式，称为MP4(ISO/IEC 14496-14，Information Technology-Coding of audio-visual objects-Part14：MP4 File System)；和(2)由联合摄影专家组(JPEG，JointPhotographic Experts Group)开发的用于JPEG 2000的文件格式(ISO/IEC 15444-1)。

ISO媒体文件格式是分层的数据结构。该数据结构包含提供了与实际的媒体数据有关的说明信息、结构信息和时间信息的元数据。媒体数据自身可以位于该数据结构中，或位于相同文件中，或者位于元数据外部的不同文件中。每个元数据流被称为一个轨道(track)。这个轨道中的元数据包含提供了对位于外部的媒体数据的引用的结构信息。

由元数据轨迹引用的媒体数据可以是多种类型，例如视频数据、音频数据、二进制格式屏幕显示(BIFS)等。位于外部的媒体数据被分成采样(也称为存取单元或图片)。一个采样代表位于特定时间点的一个媒体数据单元并且是能够用时间、位置和其它元数据信息表示的最小数据实体。每个元数据轨道由此包含提供了与所引用的媒体数据的类型有关的信息的各种采样记录和说明，随后是它们的时间、位置及大小信息。

后来，MPEG的视频组和国际电信联盟(ITU，InternationalTelecommunication Union)视频编码专家组(VCEG，Video CodingExperts Group)开始作为联合视频组(JVT，Joint Video Team)共同工作以开发新的视频编码/解码(CODEC)标准。新标准被称为ITU建议H.264或MPEG-4-Part 10，高级视频编解码器(AVC，Advanced VideoCodec)。AVC文件格式中定义的封闭方法可以用来存储由这些规范产生的编码过的视频数据。

JVT编解码器设计区别在两个不同的概念层之间，视频编码层(VCL，Video Coding Layer)和网络提取层(NAL，Network AbstractionLayer)。CVL包含CODEC的编码相关部分，例如运动补偿、系数的转换编码以及熵编码。VCL的输出是片(Slice)，每片包含一系列视频宏块以及相关的头信息。NAL从用来携带VCL数据的传输层的细节提取出VCL。NAL规定了对信息的通用的和传输独立的表示，并且规定了视频编解码自身和外部世界之间的接口。JVT编解码设计规定了一组NAL单元，每个单元包含不同类型的数据。

在很多现有的视频编码格式中，编码过的流数据包括各种不同类型的头(header)，这些头包含控制解码过程的参数。例如，MPEG-2视频标准包括序列头、增强图形组(GOP，Enhanced Group of Pictures)、以及图片头，它们都位于与之相对应的视频数据之前。在JVT中，编码VCL数据需要的信息被分成了参数集，JVT规定了将参数集传输到解码器的NAL单元。参数集NAL单元可以在与视频NAL单元相同的流中(带内)或在不同的流中(带外)被发送。

最初采用的H.264建议/AVC规范规定了被称为简档(profile)的三个基本参数集：基准(baseline)、主体(main)和扩展(extended)。这些简档只支持每个采样8比特的视频采样以及电视、DVD、流视频等消费类视频中使用的色度格式YUV 4:2:0。接着又创建了被共同称为保真度扩展(FRExt，Fidelity Range Extension)的若干新简档以提供对专业视频格式的存储和管理。FRExt规定了更高的比特深度编码，包括10比特和12比特视频采样，以及额外的色度采样格式，例如YUV4:2:2和4:4:4。另外，除了前面支持的YCbCr(yellow，chroma-blue，chroma-red，即黄、蓝色度、红色度)之外，FRExt还规定了额外的色彩空间，例如国际照明委员会(CIE，International Commission onIllumination)XYZ和RGB(red，green，blue，即红绿蓝)色彩空间。

尽管JVT组将保真度范围扩展采纳到了它们的规范中，但H.264/AVC规范自身并没有规定如何修改现有的AVC文件格式以引入与扩展相关的新参数。

发明内容

创建一个参数集以为多媒体数据的一部分指定色度格式、亮度(luma)比特深度以及色度比特深度。该参数集被编码成与该多媒体数据相关的元数据文件。如果解码器配置记录包含与该参数集对应的字段，则该参数集被从元数据文件提取出来。另一方面，解码器配置记录用与该参数集对应的字段产生。

附图说明

将在附图里的图中通过例子而不是限制来说明本发明，在附图中相似的引用编号指代相似的元件，附图中：

图1是编码系统的一个实施例的结构图；

图2是解码系统的一个实施例的结构图；

图3是适用于实践本发明的计算机环境的结构图；

图4是用于在编码系统上存储参数集元数据的方法的流程图；

图5是用于在解码系统上利用参数集元数据的方法的流程图。

具体实施方式

在下面对本发明的实施例的详细说明中，参考了附图，在附图中相似的引用代表相似的元素，并且在附图中通过图解详细说明了可以实践本发明的具体实施例。以足够的细节说明了这些实施例以使本领域的技术人员能够实践本发明，并且将会理解在不偏离本发明的范围的前提下可以利用其它实施例并且进行逻辑上、机械上、电子上、功能上的变化以及其它变化。因此，下而的详细说明不应被看作是限制目的，本发明的范围只由所附权利要求定义。

为了支持AVC规范中提出的保真度范围扩展，将AVC文件格式中的解码器配置记录扩展成为一部分多媒体数据规定色度格式、亮度比特深度以及色度比特深度。与FRExt简档相关的参数集被编码成与多媒体数据相关的元数据文件。如果解码器配置记录包含与FRExt数据的存在相对应的字段，则该参数集被从元数据文件中提取出来。

从本发明的操作概述开始，图1示出了产生参数集元数据的编码系统100的一个实施例。该编码系统100包括媒体编码器104、元数据发生器106和文件生成器108。媒体编码器104接收可能包括视频数据(如从自然的源视频场景和其它外部视频对象产生的视频对象)、音频数据(如从自然的源音频场景和其它外部音频对象产生的音频对象)、合成对象或上述任意组合的媒体数据。媒体编码器104可以由多个独立的编码器组成或包括子编码器以处理各种不同类型的媒体数据。媒体编码器104对媒体数据编码并将其传送到元数据发生器106。元数据发生器106产生提供与媒体数据有关信息的元数据。对AVC来说，元数据被格式化为参数集NAL单元。

文件生成器108将元数据存储在一个文件中，该文件的结构由媒体文件格式定义。媒体文件格式可以规定元数据在带内或是全部或部分在带外存储。编码后的媒体数据被元数据文件中包含的引用链接到带外元数据(例如，通过URL)。由文件生成器108产生的文件在信道110上得到，用于存储或传输。

图2示出了提取参数集元数据的解码系统200的一个实施例。解码系统200包括元数据提取器204、媒体数据流处理器206、媒体解码器210、组合器(compositor)212和再现器(renderer)214。解码系统200可以位于客户机设备，并且可以用于本地重放。或者，解码系统200可以用于流式数据(streaming data)，服务器部分和客户机部分通过网络(如Internet)208彼此通信。服务器部分可以包括元数据提取器204和媒体数据流处理器206。客户机部分可以包括媒体解码器210、组合器212以及再现器214。

元数据提取器204负责从存储在数据库216中的或在网络上(如从编码系统100)接收到的文件中提取元数据。解码器配置记录规定了元数据提取器204能够处理的元数据。不能识别的任何其它元数据都被忽略。

提取出的元数据被传送到媒体数据流处理器206，媒体数据流处理器206还接收相关的编码后的媒体数据。媒体数据流处理器206使用元数据形成要发送到媒体解码器210的媒体数据流。

一旦媒体数据流形成，它就被直接(如对本地重放)或通过网络208(如对流式数据)发送到媒体解码器210进行解码。组合器212接收到媒体解码器210的输出并组成一个场景，该场景随后被再现器214再现在用户显示设备上。

元数据在它被创建时与它被用来解码媒体数据的相应部分时之间可能会发生变化。如果发生这样的变化，解码系统200接收到指定该变化的元数据更新分组。在应用该更新之前和之后的元数据状态被保存在元数据中。

下面对图3的说明是为了提供对适合实现本发明的计算机硬件和其它操作部件的概述，而不是为了限制适用环境。图3示出了适合用作图1的元数据发生器106和/或文件生成器108或者图2的元数据提取器204和/或媒体数据流处理器206的计算机系统的一个实施例。

计算机系统340包括与系统总线365耦合的处理器350、存储器355和输入/输出系统360。存储器355用来存储在被处理器350执行时执行这里所说明的方法的指令。输入/输出360还包括各种类型的机器可读介质，包括能够由处理器350存取的任意类型的存储设备。本领域的技术人员将马上认识到术语“机器可读介质/媒介)还包括编码数据信号的载波。还将认识到系统340由在存储器355中执行的操作系统软件控制。输入/输出和相关介质360存储用于操作系统和本发明的方法的计算机可执行指令。图1和图2中所示元数据发生器106、文件生成器108、元数据提取器204和媒体数据流处理器206中的每一个都可以是与处理器350耦合的独立部件，或者被实现在由处理器350执行的计算机可读指令中。在一个实施例中，计算机系统340可以是ISP(InternetService Provider，网络服务提供商)的一部分或通过输入/输出360与之耦合以在Internet上发送或接收媒体数据。显然本发明并不仅限于Internet访问和基于Internet web的站点；直接耦合与私有网络也有可能。

将会认识到计算机系统340是有不同体系结构的很多可能的计算机系统的一个例子。典型的计算机系统通常至少包括处理器、存储器、以及连接存储器和处理器的总线。本领域的技术人员将马上认识到可以用其它计算机系统配置实践本发明，包括多处理器系统、小型计算机、大型计算机、等等。还可以在分布式计算环境中实践本发明，在分布式计算环境中，任务由通过通信网络链接的远程处理设备执行。

图4和图5示出了分别由编码系统100和解码系统200执行的存储和检索参数集元数据的过程。这些过程可以由包括硬件(如电路、专用逻辑等)、软件(如运行在通用计算机系统或专用机器上)或软硬件组合的处理逻辑执行。对于软件实现的过程，对流程图的说明使得本领域的技术人员能够开发出包括在适当配置的计算机上运行这些过程的指令的程序(计算机的处理器执行来自计算机可读介质-包括存储器-的指令)。计算机可执行指令可以用计算机编程语言编写或者在固件逻辑中实现。如果用符合公认标准的编程语言编写，这些指令能够在多种硬件平台上执行并且用于与多种操作系统接口。另外，本发明的实施例没有参考任何特定的编程语言进行说明。将会认识到可以使用多种编程语言实现这里所说明的教义。此外，通常在本领域中将软件说成是以这样或那样的形式(例如程序、进程、过程、应用程序、模块、逻辑......)执行一个动作或产生一个结果。这样的表达仅仅是对软件由计算机执行软件导致计算机的处理器执行一个动作或产生一个结果的简称。将会认识到可以在图4和图5所示过程中加入更多或更少的操作，只要不偏离本发明的范围，并且这里所示和说明的模块的排列并不意味着任何特定的顺序。

图4是用于在编码系统100产生参数集元数据的方法400的一个实施例的流程图。块402的处理逻辑接收具有编码后的媒体数据的文件，该文件包括编码参数的集合，该编码参数集合指定了如何解码媒体数据各部分。该处理逻辑检查编码参数集合与媒体数据的相应部分之间的关系(模块404)，并产生规定参数集合以及它们与媒体数据部分的关联的元数据(模块406)。

在一个实施例中，参数集元数据被组织成一组预定义的数据结构。该组预定义的数据结构可以包括包含与参数集有关的说明性信息的数据结构、和包含规定了媒体数据部分和相应的参数集之间的关联的信息的数据结构。

在一个实施例中，该处理逻辑判定是否有任何参数集合数据结构包含重复的数据序列(块408)。如果这个判定为真，该处理逻辑将每个重复的数据序列转换成该序列出现的次数和序列出现的引用(块410)。这种类型的参数集被称为序列参数集。

在块412，该处理逻辑使用特定的媒体文件格式(如AVC文件格式)将参数集元数据引入到与媒体数据相关的文件中。根据媒体文件格式，参数集元数据可以在带内或带外。

图5是用于在解码系统200利用参数集元数据的方法500的一个实施例的流程图。在块502，处理逻辑接收到与编码后的媒体数据相关的文件。该文件可以是从数据库(本地或外部)、编码系统100、或从网络上的任意其它设备接收到的。该文件包括为相应的媒体数据定义参数集的参数集元数据。块504的处理逻辑从该文件提取出参数集元数据。

在块506，处理逻辑使用提取出的元数据判定哪个参数集与特定的媒体数据部分相关。参数集中的信息控制媒体数据部分和相应的参数集的解码和传输时间。

响应JVT保真度范围扩展(FRExt)简档的采用，JVT组已经创建了色度格式和比特深度参数以将FRExt引入现有的AVC序列参数集中。如果视频采样为扩展色度格式(如YUV 4:2:2或4:4:4)其中之一中，当执行方法400的块406直到410时，色度格式指示符″chroma_format_idc″被图1的元数据发生器106包括在相应的序列参数集中。″chroma_format_idc″参数相对于亮度(光度)采样规定了色度(色调和饱和度)采样并且其取值范围为0到3。10和12比特视频采样的存在由两个额外参数表示，bit_depth_luma_minus8规定亮度采样的比特深度，bit_depth_chroma_minus8规定色度采样的比特深度。根据下列公式，bit_depth_luma_minus8和bit_depth_chroma_minus8参数的取值范围为从0到4：

BitDePth＝8+bit_depth_luma_minus8 (1)

BitDepth＝8+bit_depth_chroma_minus8 (2)

因而，0值对应于8比特的比特深度，值4对应于12比特的比特深度。

对于能够处理由保真度范围扩展规定的媒体格式的解码器来说，需要对AVC文件格式的AVC解码器配置记录进行相应的变化。在一个实施例中，通过添加下列字段对类AVCDecoderConfigurationRecord进行修改：

bit(6)reserved＝′111111′b；

unsigned int(2)chroma_format；

bit(5)reserved＝′11111′b；

unsigned int(3)bit_depth_luma_minus8；

bit(5)reserved＝′11111′b；

unsigned int(3)bit_depth_chroma_minus8；

其中chroma_format字段包含由参数chroma_format_idc规定的色度格式指示符。其它两个字段包含相应的亮度和色度参数值。

假定图2的解码器210能够解码扩展格式的视频，修改后的解码器配置记录在它执行方法500的块505时控制由元数据提取器204对新FRExt参数的提取。

已经说明了对视听元数据的存储和获取。尽管这里已经根据AVC文件格式展示并说明了具体的实施例，但本领域的技术人员将会认识到可以用任何打算实现相同目的的装置代替所示具体实施例。本申请意图覆盖本发明的任何自适应或变化。

Claims

1、一种计算机化的方法，包括：

为多媒体数据的一部分产生参数集，其中该参数集包括为多媒体数据的该部分规定色度格式、亮度比特深度和色度比特深度的参数；并

将该参数集编码到与该多媒体数据相关的元数据文件中。

2、权利要求1的方法，其中多媒体数据的该部分包括用色度格式和比特深度编码的视频采样。

3、权利要求1的方法，其中产生所述参数集包括：

产生包含与该参数集有关的说明性信息的第一数据结构，和包含定义该参数集合和多媒体数据的所述部分之间的关联的信息的第二数据结构。

4、权利要求1的方法，还包括：

接收该元数据文件；并

从该元数据文件提取出该参数集，其中如果解码器配置记录不包含相应的字段，就忽略所述色度格式和比特深度参数。

5、一种计算机化的方法，包括：

接收与多媒体数据的一部分相关的元数据文件，该元数据文件包括为多媒体数据的该部分规定色度格式、亮度比特深度和色度比特深度的参数集；并

从该元数据文件提取出该参数集，其中如果解码器配置记录不包括相应的字段就忽略色度格式和比特深度参数。

6、权利要求5的方法，其中多媒体数据的该部分包括用色度格式和比特深度编码的视频采样。

7、一种计算机化的方法，包括：

为多媒体数据产生解码器配置记录，该记录包含与色度格式、亮度比特深度和色度比特深度参数对应的元数据条目。

8、权利要求7的方法，还包括：

将解码器配置记录插入解码器中，该解码器处理用由所述参数指定的色度格式和比特深度编码的多媒体数据。

9、一种机器可读介质，其所具有的可执行指令使处理器执行一方法，该方法包括：

将该参数集编码到与该多媒体数据相关的元数据文件中。

10、权利要求9的机器可读介质，其中多媒体数据的该部分包括用色度格式和比特深度编码的视频采样。

11、权利要求9的机器可读介质，其中产生该参数集包括：

产生包含与该参数集有关的说明性信息的第一数据结构，和包含规定该参数集和多媒体数据的所述部分之间的关联的信息的第二数据结构。

12、权利要求9的机器可读介质，其中所述方法还包括：

接收该元数据文件；并

从该元数据文件提取出该参数集，其中如果解码器配置记录不包含相应的字段，就忽略色度格式和比特深度参数。

13、一种机器可读介质，其所具有的可执行指令使处理器执行一方法，该方法包括：

14、权利要求13的计算机可读介质，其中多媒体数据的该部分包括用色度格式和比特深度编码的视频采样。

15、一种计算机可读介质，其所具有的可执行指令使得处理器执行包括以下步骤的方法：

16、一种系统，包括：

通过总线与存储器耦合的处理器；和

由处理器从存储器执行的过程，使得处理器为多媒体数据的一部分产生参数集，其中该参数集包括为多媒体数据的该部分规定色度格式、亮度比特深度和色度比特深度的参数，并且将该参数集编码到与该多媒体数据相关的元数据文件中。

17、权利要求16的系统，其中多媒体数据的该部分包括用色度格式和比特深度编码的视频采样。

18、权利要求16的系统，其中产生该参数集包括：

产生包含与该参数集有关的说明性信息的第一数据结构，和包含定义该参数集和多媒体数据的所述部分之间的关联的信息的第二数据结构。

19、权利要求16的系统，其中该过程还使处理器接收该元数据文件；并从该元数据文件提取出该参数集，其中如果解码器配置记录不包含相应的字段，就忽略色度格式和比特深度参数。

20、一种系统，包括：

通过总线与存储器耦合的处理器；和

由该处理器从存储器执行的一过程，使得该处理器接收与多媒体数据的一部分相关的元数据文件，该元数据文件包括为多媒体数据的所述部分规定色度格式、亮度比特深度和色度比特深度的参数集；并

21、权利要求20的系统，其中多媒体数据的所述部分包括用色度格式和比特深度编码的视频采样。

22、一种系统，包括：

通过总线与存储器耦合的处理器；

由该处理器从存储器执行的一过程，使得该处理器为多媒体数据产生解码器配置记录，该记录包括与色度格式、亮度比特深度和色度比特深度参数对应的元数据条目。