CN101120593A

CN101120593A - 可扩展性信息的编码、存储和信号发送

Info

Publication number: CN101120593A
Application number: CNA2006800047478A
Authority: CN
Inventors: 王业奎; M·安尼克塞拉
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2005-04-13
Filing date: 2006-04-10
Publication date: 2008-02-06
Also published as: EP1869891A1; CA2604203A1; RU2377736C2; JP2008536420A; KR20080006609A; WO2006108917A1; RU2007141755A; US20140307802A1; US8774266B2; TW200704191A; EP1869891A4; US9332254B2; MX2007012564A; US20060256851A1

Abstract

一种用于对可扩展数据流进行编码、解码、存储和传送以包括具有不同编码特性的层的方法和设备。该方法包括：生成可扩展数据流的一个或多个层，其中编码特性包括下列中至少其一：精粒度可扩展性信息；感兴趣区域可扩展性信息；子样本可扩展层信息；解码依赖性信息；以及初始参数设定；并且信号发送具有特性化编码特性的所述层，使得其可由解码器读取而无需对整个层进行解码。此外，一种对可扩展比特流的编码、解码、存储和传送的方法，其中存在至少两个可扩展性层，每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如精粒度可扩展性信息；感兴趣区域可扩展性信息；子样本可扩展层信息；解码依赖性信息；以及初始参数设定；并且其中针对不同于整个流的至少一个层来信号发送该至少一个特性的集合，其中信号发送该至少一个特性的集合可以是在可扩展比特流中、包含可扩展比特流的文件格式容器中、或用于传输和控制可扩展比特流的至少一个层的传输或控制协议中。

Description

可扩展性信息的编码、存储和信号发送

技术领域

本发明针对一种编码器、解码器、设备、方法、数据记录、模块、计算机程序产品以及系统，用于对包括至少两个扩展性层的可扩展数据流进行数据编码、解码、存储和传送。

背景技术

多媒体应用包括本地回放、流传送或点播的、交谈性和广播/组播服务。协同性对于每个多媒体应用的快速部署以及大规模市场形成非常重要。为了实现较高的协同性，规定了不同的标准。

涉及多媒体应用的技术包括但不限于媒体编码、存储和传送。媒体类型包括语音、音频、图像、视频、图形以及时间文本。已经为不同技术规定了不同标准。视频编码标准包括：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ISO/IEC MPEG-4Visual、ITU-T H.264or ISO/IEC MPEG-4AVC(在此文档中缩写为AVC、AVC/H.264或H.264/AVC)以及可能的未来标准，例如ISO/IEC MPEG-21SVC、中国AVS、ITU-T H.265、以及ISO/IECMPEG 3DAV。

可用的媒体文件格式标准包括ISO文件格式(ISO/IEC 14496-12)、MPEG-4文件格式(ISO/IEC14496-14)、AVC文件格式(ISO/IEC14496-15)以及3GPP文件格式(3GPP TS 16.244)。

3GPP TS 26.140规定3GPP系统中多媒体消息服务(MMS)的媒体类型、格式和编解码器。3GPP TS 26.234规定3GPP系统中分组交换流传送服务(PSS)的协议和编解码器。正进行的3GPP TS 26.346规定了3GPP系统中多媒体广播/组播服务(MBMS)的协议和编解码器。

典型的音频和视频编码标准规定“配置”和“水平”。“配置”是该标准的算法特征的子集，而“水平”是对编码参数的一组限制，其对解码器资源消耗施加了一组限制。所指示的配置和水平可用于发送媒体流的特性以及发送媒体解码器的能力。

通过配置和水平的组合，解码器能够判断其是否能够在不经过尝试解码的情况下对流进行解码，但如果解码器不能对该流进行解码，则这可能会使解码器冲突、低于实时地操作和/或由于缓冲器溢出而丢弃数据。每一对配置和水平都形成“协同点”。

某些编码标准允许创建可扩展比特流。通过仅对可扩展比特流的特定部分进行解码，可以产生有意义的解码后的表示。可扩展比特流可用于流传送服务器中预编码单播流的速率自适应，并用于将单一比特流传送至具有不同能力和/或不同网络条件的终端。可扩展视频编码的其他使用情况的列表可以在2005年1月中国香港第71届MPEG会议的ISO/IEC JTC1 SC29WG11(MPEG)输出文档N6880“Applications and Requirements for Scalable Video Coding”中找到。

可扩展编码技术包括常规的分层可扩展编码技术和精粒度可扩展编码。这些技术的回顾可以在2001年3月的作者为Weiping Li的下列文章中找到：″Overview of fine granularity scalability in MPEG-4video standard，″IEEE Transactions on Circuits and Systems for VideoTechnology，vol.11，no.3，pp.301-317。

对于在采用具备宽范围处理能力的解码器的系统中使用的很多多媒体应用以及服务而言，可扩展视频编码是期望的特征。已经提出了若干种类型的视频可扩展性方案，例如时间、空间和品质可扩展性。这些所提出的类型包括基础层和增强层。基础层是对视频流进行解码所需的最少量数据，而增强层是提供增强型视频信号所需的附加数据。

对H.264/AVC的可扩展延伸的工作草稿当前支持对多个可扩展层进行编码。该工作草稿在下列文档中进行了描述：JVT-N020，″Scalable video coding-working draft 1，″14th meeting，Hong Kong，Jan2005，并且也称为MPEG文档w6901，″Working Draft 1.0 of14496-10：200x/AMD1 Scalable Video Coding，″Hong Kong meeting，January 2005。在该多个可扩展层的编码中，在比特流中发送的变量DependencyID用于指示不同可扩展层的编码依赖性。

可扩展比特流包含至少两个可扩展层，基础层以及一个或多个增强层。如果一个可扩展比特流包含一个以上的可扩展层，则其具有相同数量的备选用于解码和回放。每个层都是解码备选。层0，基础层，是第一解码备选。层1，第一增强层，是第二解码备选。这种模式通过后继层而继续。通常，较低的层包含在较高的层中。例如层0包含在层1中，而层1包含在层2中。

每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如精粒度可扩展性(FGS)信息、感兴趣区域(ROI)可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定。

在先前的系统中，不可能以比特流自身的形式、以文本格式或通过传输协议来发送针对可扩展比特流的特定层的下列可扩展信息：精粒度可扩展性(FGS)信息；感兴趣区域(ROI)可扩展性信息；子样本或子图片可扩展层信息；解码依赖性信息；以及初始参数设定。

发明内容

本发明允许对可扩展比特流进行编码、解码、存储以及传送，其中存在至少两个可扩展性层，并且每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定，并且其中，该至少一个特性的集合针对不同于整个流的至少一个层而被发送，其中所述至少一个特性的集合的信号发送可以是在所述可扩展比特流中、在包含所述可扩展比特流的文件格式容器(container)中、或在用于传送或控制所述可扩展比特流的至少一个层的传输或控制协议中。利用本发明，通过检验该比特流，服务器或客户端不需要分析流的每个层的FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定，从而降低计算复杂度。对于不能够从该比特流中分析层特性的设备，例如当要求ROI信息但该信息不可用时，利用本发明，包含设备子单元以便支持该能力就得到了避免。

本发明的一个示例性实施方式公开了一种方法和设备，用于对可扩展数据流进行编码以包括具有不同编码特性的层。该方法包括：生成可扩展数据流的一个层或多个层，其中所述层的特征在于与可扩展数据流的编码特性不同的编码特性，以及利用该特性化编码特性来信号发送该层，使得它们可由解码器读取而无需对整个层进行解码。

本发明的另一示例性实施方式公开了一种方法和设备，用于对可扩展比特流进行编码，其中存在至少两个可扩展性层，并且每个层的特征在于至少一个特性的集合，例如FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定，这些参数可以与整个流的有所不同，并且其中，该至少一个特性的集合针对不同于整个流的至少一个层而被信号发送，其中在所述可扩展比特流中信号发送该至少一个特性的集合。该方法包括：生成可扩展比特流以包含在至少两个层中，每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定，并且针对不同于整个流的至少一个层而在所述可扩展比特流中信号发送所述至少一个特性的集合，使得所述至少一个特性的集合是可读的而无需分析所述至少一个特性的集合，或者尝试对所述可扩展比特流的层进行解码而无需知道是否该设备具有对该层进行解码的能力，这可能会引起设备冲突。

本发明的另一示例性实施方式公开了一种方法和设备，用于分析可扩展比特流，其中存在至少两个可扩展性层，并且每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定。该方法包括：分析所述至少一个特性的集合，使得所述至少一个特性的集合可以在所述可扩展比特流中、在包含所述可扩展比特流的文件格式容器中、或在用于传送或控制所述可扩展比特流的至少一个层的传输或控制协议中进行信号发送。

本发明的另一示例性实施方式公开了一种方法和设备，用于对可扩展比特流进行转换，其中存在至少两个可扩展性层并且每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定，并且其中，该至少一个特性的集合针对不同于整个流的至少一个层而被信号发送，其中所述至少一个特性的集合的信号发送可以是在所述可扩展比特流中、在包含所述可扩展比特流的文件格式容器中、或在用于传送或控制所述可扩展比特流的至少一个层的传输或控制协议中。该方法包括：创建非可扩展比特流，其包含所述可扩展比特流的基础层；创建第二可扩展比特流，其包含所述可扩展比特流的增强层。

本发明的另一示例性实施方式公开了一种方法和设备，用于对可扩展比特流进行解码，其中存在至少两个可扩展性层并且每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定，并且其中，该至少一个特性的集合针对不同于整个流的至少一个层而被信号发送，其中所述至少一个特性的集合的信号发送可以是在所述可扩展比特流中、在包含所述可扩展比特流的文件格式容器中、或在用于传送或控制所述可扩展比特流的至少一个层的传输或控制协议中。该设备包括：第一组件，用于接收所述可扩展比特流；第二组件，用于识别所述可扩展比特流中的至少一个层，并读取所述至少一个层的所述至少一个特性的集合；第三组件，用于根据所述至少一个特性的集合来确定解码器是否能够对所述至少一个层进行解码；以及第四组件，用于如果所述第三组件确定所述解码器能够对所述至少一个层进行解码，则对所述至少一个层进行解码。

本发明的另一示例性实施方式公开了一种方法和设备，用于存储可扩展数据流，其中存在至少两个可扩展性层，并且每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定。该方法包括：如果未在所述可扩展比特流中信号发送所述至少一个特性，则分析该至少一个特性；将所述至少一个特性以及具有或不具有比特流中所述至少一个特性的所述可扩展比特流存储到根据文件格式规范的文件格式容器中。

本发明的另一示例性实施方式公开了一种方法和设备，用于传送可扩展比特流的至少一个层，其中存在至少两个可扩展性层并且每个层的特征在于可以是不同于整个流的特性的至少一个特性的集合，例如FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定，并且其中，该至少一个特性的集合针对不同于整个流的至少一个层而被信号发送，其中所述至少一个特性的集合的信号发送可以是在所述可扩展比特流中或在包含所述可扩展比特流的文件格式容器中。该设备包括：第一组件，用于形成关于可用层的当前信息或用于对至少一个接收器的集合进行解码和回放的备选，其中所述接收器可以划分为至少一个接收器群组，每个接收器群组包括至少一个接收器；第二组件，用于从所述可用层中决定至少一个层，以根据关于接收器或接收器群组的请求和/或信息服务于接收器或接收器群组；以及第三组件，用于传送和控制所述至少一个层至所述接收器或接收器群组。

相比于早期设计，所提议的设计更加完整，这是由于附加地包括了下列可扩展性信息类型：感兴趣区域(ROI)可扩展性信息；缓冲器信息；精粒度可扩展性(FGS)信息；子样本可扩展层信息；解码依赖性信息以及初始参数设定。

从随后详细描述中，本发明的其他特性和优点将对本领域技术人员变得清楚明了。然而应该理解的是，该详细描述和具体示例尽管指示了本发明的优选实施方式，但仅以示意而非限制性的方式给出。在本发明范围内可以做出很多改变和修改，而不偏离其实质，并且本发明包括所有的此类修改。

附图说明

当参考随后的详细描述以及附图时，本发明的前述优点和特性将变得清楚明了，其中：

图1是示意了可以应用本发明的系统的示图；

图2是示意了本发明示例性实施方式的针对可扩展比特流的至少一个特性信息的集合的信号发送的示图；

图3是示意了本发明示例性实施方式中编码设备的示图；

图4是示意了本发明示例性实施方式中转换器设备的示图；以及

图5是示意了本发明示例性实施方式中解码器设备的示图。

具体实施方式

在示例性实施方式中，本发明通过针对可扩展比特流的一个层来信号发送与整个系统的特性有所不同的至少一个特性的集合而解决上述问题，所述特性例如是FGS信息、ROI可扩展性信息、子样本可扩展层信息、解码依赖性信息以及初始参数设定。所述至少一个特性的集合的信号发送可以是在所述可扩展比特流中、在包含所述可扩展比特流的文件格式容器中、或在用于传送或控制所述可扩展比特流的至少一个层的传输或控制协议中。

涉及多媒体应用的技术包括但不限于媒体编码、存储和传输。媒体类型包括语音、音频、图像、视频、图形以及时间文本。尽管在这里描述视频编码作为本发明的示例应用，但本发明并不限于此。本领域技术人员将认识到本发明可应用于所有媒体类型而不仅仅是视频。

图2示意了本发明示例性实施方式中针对可扩展比特流200的每个层的至少一个特性信息的集合的信号发送。可扩展比特流的每个层的特征在于针对该层而发送的至少一个特性信息的集合，从而允许选择一个层以根据该至少一个特性信息的集合来解码或传输。这些特征可以存储在报头204中。多个层202表示可扩展比特流中的多个层。

在本发明使用的第一示例中，对可扩展比特流进行编码并存储在流发送服务器中。每个层的至少一个特性信息的集合，例如精粒度可扩展性信息、感兴趣区域可扩展性信息、子样本或子图片可扩展层信息、解码依赖性信息以及初始参数设定，可以在所存储的文件中被信号发送。当描述可用会话的时候，服务器可以为每个层或同一文件中可扩展比特流的备选创建SDP(会话描述协议)描述，从而流发送客户端可以得出是否存在理想层的结论并选择理想层以根据SDP描述来进行流发送回放。如果服务器对接收器能力没有预先的了解，则有利的是从同一内容创建多个SDP描述，这些描述则被称为备选。然后客户端可以拾取最佳地适合其能力的描述。

在本发明使用的第二示例中，诸如在第一示例中描述的流被组播或广播到多个终端。该组播/广播服务器可以宣告所有的可用层或解码以及回放备选，其中的每一个的特征在于精粒度可扩展性信息、感兴趣区域可扩展性信息、子样本或子图片可扩展层信息、解码依赖性信息以及初始参数设定的组合。然后，客户端可以从广播/组播会话宣告中获知是否有针对它的理想层，并选择该理想层用于回放。

在本发明使用的第三示例中，对于本地回放应用，即使不能对整个发送的流进行解码，仍然可以对部分流进行解码并享用该部分流。

图3是示意了本发明示例性实施方式中编码设备的示图。编码设备304接收原始数据流302。通过编码器304的可扩展数据编码器306对数据流进行编码并生成一个或多个层。然后这些层通过信号发送组件308进行发送。某些层已经通过可扩展数据编码器306进行了发送并且该信号发送组件将针对这种情况进行检查。编码特性指示的数据流310从编码器304输出，从而允许接收设备(MMSC或解码器)读取信号以确定数据流的层的编码特性。

图4是示意了本发明示例性实施方式中转换器设备的示图。该转换器设备404在接收器406处接收可扩展数据流402。接收器406还读取与所接收数据流的层相关联的编码特性指示符。编码特性比较器410将编码特性指示符与数据流的目的网络或解码设备的已知能力进行比较。通过该比较，确定目的地设备将能够对什么层进行解码。然后在数据流修改器412中修改该数据流从而使得该数据流可由目的地设备进行解码。这可以包括从数据流中去除在元件410中确定的不能被目的地设备解码的层。然后该修改后数据流由传送器414进行传送。该修改后数据流416从目的地为接收设备(MMSC或解码器)的转换器404中输出。

图5是示意了本发明示例性实施方式中解码器的示图。该解码设备504在接收器506处接收编码特性指示的数据流502。编码特性识别器510指示所接收数据流中的一个或多个层以及它们相应的编码特性。基于至少一个层的编码特性，解码器能力检验器512确定该解码器是否能够对该层进行解码。如果能够，则其允许解码组件514继续对数据流的那层进行解码。如果不能，则其防止解码组件514企图对该层进行解码，从而避免解码器的潜在冲突。在图中示出的解码后的数据流516从解码器514中输出。

数据流中的信号发送

优选地，在图片序列或图片组(GOP)水平中发送层特征，例如通过序列或GOP报头、序列参数设置、补充性增强信息(SEI)消息、用户数据和其它序列水平语法。

在JSVM 1.0(JVT-N023)中，可扩展性信息SEI被规定为帮助比特流提取器来分析该比特流的可扩展性特性。当SEI在JSVM 1.0中时其对于JSVM参考软件中的当前SVC实现而言可能太特别。在下文中，提出了针对可扩展性信息SEI的新语法，并且该语法支持随后的系统水平操作而无需解析和分析成任何编码的片段NAL单元(仅有的例外为基于子图片可扩展层的感兴趣区域可扩展性)：

-文件格式编辑器，用于将可扩展性信息元数据写入文件；

-流发送服务器，用于将所有可能的可扩展表达点提供给接收器；

-比特流提取器，用于提取任何期望的可扩展表达点；以及

-可知媒体网元(media-aware network element)(例如网关)，用于决定对于期望的可扩展表达点来说将要抛弃哪些NAL单元(因此将不进行传送)。

新语法示出在表1中并且进行如下描述。当然，对于本领域技术人员而言很明显的是，其他方式的信号发送也是可行的，并且本发明并不限于具体的信号发送方法。类目(在表1中表示为C)规定了将片段数据划分为至少三个片段数据划分，并且描述符规定了对每个语法元素的解析处理。该类目和描述符在上述文档“WorkingDraft 1.0 of 14496-10：200x/AMD1 Scalable Video Coding”中进行了描述。

scalability_info(payloadSize){	C	Descrlptor
scalability_info(payloadSize){	C	Descrlptor	num_layers_minus1	5	ue(v)
for(i＝0；i＜＝num_layers_minus1；i++){			num_layers_minus1	5	ue(v)
for(i＝0；i＜＝num_layers_minus1；i++){			fgs_layer_flag[i]	5	u(1)
sub_pic_layer_flag[i]	5	u(1)	fgs_layer_flag[i]	5	u(1)
sub_pic_layer_flag[i]	5	u(1)	sub_region_layer_flag[i]	5	u(1)
profile_level_info_present_flag[i]	5	u(1)	sub_region_layer_flag[i]	5	u(1)
profile_level_info_present_flag[i]	5	u(1)	decoding_dependency_info_present_flag[i]	5	u(1)
bitrate_info_present_flag[i]	5	u(1)	decoding_dependency_info_present_flag[i]	5	u(1)
bitrate_info_present_flag[i]	5	u(1)	frm_rate_info_present_flag[i]	5	u(1)
frm_size_info_present_flag[i]	5	u(1)	frm_rate_info_present_flag[i]	5	u(1)
frm_size_info_present_flag[i]	5	u(1)	layer_dependency_info_present_flag[i]	5	u(1)
init_parameter_sets_info_present_flag[i]	5	u(1)	layer_dependency_info_present_flag[i]	5	u(1)
init_parameter_sets_info_present_flag[i]	5	u(1)	if(profile_level_info_present_flag[i]){
layer_profile_idc[i]	5	u(8)	if(profile_level_info_present_flag[i]){
layer_profile_idc[i]	5	u(8)	layer_constraint_set0_flag[i]	5	u(1)
layer_constraint_set1_flag[i]	5	u(1)	layer_constraint_set0_flag[i]	5	u(1)
layer_constraint_set1_flag[i]	5	u(1)	layer_constraint_set2_flag[i]	5	u(1)
layer_constraint_set3_flag[i]	5	u(1)	layer_constraint_set2_flag[i]	5	u(1)
layer_constraint_set3_flag[i]	5	u(1)	reserved_zero_4bits/equal to 0/	5	u(4)
layer_level_idc[i]	5	u(8)	reserved_zero_4bits/equal to 0/	5	u(4)
layer_level_idc[i]	5	u(8)	}
if(decoding_dependency_info_present_flag[i]){			}
if(decoding_dependency_info_present_flag[i]){			dependency_id[i]	5	u(3)
temporal_level[i]	5	u(3)	dependency_id[i]	5	u(3)
temporal_level[i]	5	u(3)	}
if(bitrate_info_present_flag[i]){			}
if(bitrate_info_present_flag[i]){			avg_bitrate[i]	5	u(16)
max_bitrate[i]	5	u(16)	avg_bitrate[i]	5	u(16)
max_bitrate[i]	5	u(16)	}
if(frm_rate_info_present_flag[i]){			}
if(frm_rate_info_present_flag[i]){			constant_frm_rate_idc[i]	5	u(2)
avg_frm_rate[i]	5	u(16)	constant_frm_rate_idc[i]	5	u(2)
avg_frm_rate[i]	5	u(16)	}
if(frm_size_info_present_flag[i]){			}
if(frm_size_info_present_flag[i]){			frm_width_in_mbs_minus1[i]	5	ue(v)
frm_height_in_mbs_minus1[i]	5	ue(v)	frm_width_in_mbs_minus1[i]	5	ue(v)
frm_height_in_mbs_minus1[i]	5	ue(v)	}

if(sub_region_layer_flag[i]){
if(sub_region_layer_flag[i]){			horizontal_effset[i]	5	u(16)
verticial_offset[i]	5	u(16)	horizontal_effset[i]	5	u(16)
verticial_offset[i]	5	u(16)	region_width[i]	5	u(16)
region_height[i]	5	u(16)	region_width[i]	5	u(16)
region_height[i]	5	u(16)	}
If(layer_depdendency_info_present_flag[i]){			}
If(layer_depdendency_info_present_flag[i]){			num_directly_dependent_layers[i]	5	ue(v)
for(j＝0；j＜num_directly_dependent_layers[i]；j++			num_directly_dependent_layers[i]	5	ue(v)
for(j＝0；j＜num_directly_dependent_layers[i]；j++			directly_dependent_layer_id_delta[i][j]	5	ue(v)
}			directly_dependent_layer_id_delta[i][j]	5	ue(v)
}			If(init_parameter_sets_info_present_flag[i]){
num_init_seq_parameter_set_minus1[i]	5	ue(v)	If(init_parameter_sets_info_present_flag[i]){
num_init_seq_parameter_set_minus1[i]	5	ue(v)	for(j＝0；j＜＝num_seq_parameter_set_minus1[i]；j++)
init_seq_parameter_set_id_delta[i][j]	5	e(v)	for(j＝0；j＜＝num_seq_parameter_set_minus1[i]；j++)
init_seq_parameter_set_id_delta[i][j]	5	e(v)	num_init_pic_parameter_set_minus1[i]	5	ue(v)
for(j＝0；j＜＝num_pic_parameter_set_minus1[i]；j++)			num_init_pic_parameter_set_minus1[i]	5	ue(v)
for(j＝0；j＜＝num_pic_parameter_set_minus1[i]；j++)			int_pic_parameter_set_id_delta[i][j]	5	ue(v)
}			int_pic_parameter_set_id_delta[i][j]	5	ue(v)
}			}

表1

语义被进行如下规定。当存在的时候，此SEI消息将出现在IDR访问单元中。该消息的语义有效直到同一类型的下一SEI消息为止。

num_layers_minus1加1指示比特流所支持的可扩展层或者表达点的数量。num_layers_minus1的值的范围在0-255之间，0和255也包含在内。

每个可扩展层与层ID相关联。该层ID被如下指派。较大的层ID值指示较高的层。值0指示最低的层。层的解码和表达独立于任何较高的层但可以依赖于较低的层。因此，最低的层可以独立地进行解码和表达，解码和表达层1可以依赖于层0，解码和表达层2可以依赖于层0和层1，等等。可扩展层的表示要求可扩展层本身以及可扩展层直接或间接依赖的所有较低层的存在。在下文中，可扩展层和该可扩展层直接或间接依赖的所有较低层统一称为可扩展层表示。

每个编码图片到可扩展层的映射可以通过子序列信息SEI消息来发送。

fgs_layer_flag[i]等于1指示的是层ID等于1的可扩展层是精粒度可扩展(FGS)层。值0指示的是可扩展层不是FGS层。FGS层的编码的片段NAL单元可以在任何字节对准的位置处进行截断。

由于NAL单元报头和FGS片段的片段报头的截断和传送并不提升品质，所以可能需要在比特流和/或在文件格式两者中包括NAL单元报头以及每个FGS片段的片段报头的大小以及针对每个FGS层的最小有意义(meaningful)比特速率，以便不可知媒体网元进行FGS。

sub_pic_layer_flag[i]等于1指示的是层ID等于i的可扩展层包括子图片，每个子图片包括访问单元的编码片段的子集。值0指示的是可扩展层包括整个访问单元。

编码图片的每个子图片对可扩展层的映射可以通过子图片层信息SEI消息进行发送。

sub_region_layer_flag[i]等于1指示的是层ID等于i的可扩展层表示整个比特流所表示的整个区域的子区域。值0指示的是可扩展层表示整个比特流所表示的整个区域。

profile_level_info_present_flag[i]等于1指示的是，在SEI消息中存在针对层ID等于i的可扩展层的配置和水平信息。值0指示的是在SEI消息中不存在针对层ID等于i的可扩展层的配置和水平信息。

decoding_dependency_info_present_flag[i]等于1指示的是在SEI消息中存在针对层ID等于i的可扩展层的解码依赖性信息。值0指示的是在SEI消息中不存在针对层ID等于i的可扩展层的解码依赖性信息。

bitrate_info_present_flag[i]等于1指示的是在SEI消息中存在针对层ID等于i的可扩展层_的比特速率信息。值0指示的是SEI消息中不存在针对层ID等于i的可扩展层的比特速率信息。

frm_rate_info_present_flag[i]等于1指示的是在SEI消息中存在针对层ID等于i的可扩展层的帧速率信息。值0指示的是在SEI消息中不存在针对层ID等于i的可扩展层的帧速率信息。

frm_size_info_present_flag[i]等于1指示的是在SEI消息中存在针对层ID等于i的可扩展层的帧大小信息。值0指示的是在SEI消息中不存在针对层ID等于i的可扩展层的帧大小信息。

layer_dependency_info_present_flag[i]等于1指示的是在SEI消息中存在针对层ID等于i的可扩展层的层依赖性信息。值0指示的是在SEI消息中不存在针对层ID等于i的可扩展层的层依赖性信息。

init_parameter_sets_info_present_flag[i]等于1指示的是在SEI消息中存在针对层ID等于i的可扩展层的初始参数设定信息。值0指示的是在SEI消息中不存在针对层ID等于i的可扩展层的初始参数设定信息。

初始参数设定指的是可以在会话的开始处进行传送的那些参数设定。

消息成分layer_profile_idc[i]、layer_constraint_set0_flag[i]、layer_constraint_set1_flag[i]、layer_constraint_set2_flag[i]、layer_constraint_set3_flag[i]和layer_level_idc[i]指示的是层ID等于i的可扩展层的表示的比特流的配置和水平一致性(compliancy)。layer_profile_idc[i]、layer_constraint_set0_flag[i]、layer_constraint_set1_flag[i]、layer_constraint_set2_flag[i]、layer_constraintset3_flag[i]以及layer_level_idc[i]的语义分别与profile_idc、constraint_set0_flag、constraint_set1_flag、constraint_set2_flag、constraint_set2_flag和level_idc的语义一致，除非在这里目标比特流是可扩展层表示的比特流。

dependency_id[i]和temporal_level[i]分别等于层ID等于i的可扩展层中NAL单元中的DependencyId和TemproalLevel。

avg_bitrate[i]指示的是层ID等于i的可扩展层的表示的比特流以每秒千比特为单位的平均比特速率。当accurate_statistics_flag等于1的时候，avg_bitrate[i]的语义与在子序列层特征SEI消息中的average_bit_rate的语义一致，除非在这里目标比特流是可扩展层表示的比特流。

在访问单元去除时间的任何一个一秒钟时间窗口中，max_bitrate[i]指示的是层ID等于i的可扩展层的表示的比特流以每秒千比特为单位的最大比特速率。

constant_frm_rate_idc[i]指示的是层ID等于i的可扩展层的表示的帧速率是否是恒定的。如果下面规定的avg_frm_rate的值是恒定的，无论可扩展表示的哪个时间部分用于计算，则该帧速率是恒定的，否则该帧速率是非恒定的。值0表示非恒定的帧速率。值1表示恒定的帧速率，值2表示的是不确定该帧速率恒定与否。constantFrameRate的数值范围是0-2，其中包括0和2。

avg_frm_rate[i]指示的是层ID等于i的可扩展层的表示的帧速率以帧每秒为单位的平均帧速率。当accurate_statistics_flag等于1的时候，avg_frm_rate[i]的语义与在子序列层特征SEI消息中的average_frame_rate的语义一致，除非在这里目标比特流是可扩展层表示的比特流。

frm_width_in_mbs_minus1[i]加上1指示的是层ID等于i的可扩展层的表示中的编码帧以宏块为单位的最大宽度。

frm_height_in_mbs_minus1[i]加上1指示的是层ID等于i的可扩展层的表示中的编码帧以宏块为单位的最大高度。

horizontal_offset[i]和verticial_offset[i]分别给出由层ID等于i的可扩展层的表示所表示的矩形区域左上像素相对于整个比特流所表示的整个区域的左上像素的水平偏移和垂直偏移。单位是以最高空间解析度度量的luma样本。

region_width[i]和region_height[i]分别给出了由层ID等于i的可扩展层的表示所表示的矩形区域的宽度和高度，单位是以最高空间解析度度量的luma样本。

num_directly_dependent_layers[i]指示的是层ID等于i的可扩展层所直接依赖的可扩展层的数量。num_directly_dependent_layers的值在范围0-255之间，其中包括0和255。

directly_dependent_layer_id_delta[i][j]指示的是层ID等于i的可扩展层直接依赖的第j个可扩展层的层ID与i之间的差异。直接依赖的可扩展层的层ID等于(directly_dependent_layer_id_delta+i)。

num_init_seq_parameter_set_minus1[i]加1指示的是用于对层ID等于i的可扩展层的表示进行解码的初始序列参数设定的数量。

init_seq_parametet_set_id_delta[i][j]指示的是：如果j等于0，其指示对层ID等于i的可扩展层的表示进行解码的第j个初始序列参数设定的seq_parameter_set_id的值。如果j大于0，则init_seq_parameter_set_id_delta[i][j]指示的是第j个初始序列参数设定的seq_parameter_set_id的值与第(j-1)个初始序列参数设定的seq_parameter_set_id的值之间的差。初始序列参数设定在逻辑上以seq_parameter_set_id值的升序排列。

使用子序列信息SEI消息来发送访问单元对可扩展层的映射。在子序列信息SEI消息中的sub_seq_layer_num指示的是当前访问单元所属的可扩展层的层ID。

为了将子图片映射到可扩展层，如表2中所示定义新的SEI消息。

该设计非常简单，但需要解析为图片参数设定和片段以识别片段是否属于运动受限的片段群组设定。可替换地，可以设计子图片水平SEI来发送层ID。

sub_pic_layer_info(payloadSize){	C	描述符
sub_pic_layer_info(payloadSize){	C	描述符	layer_id	5	ue(v)
}			layer_id	5	ue(v)

表2

当存在的时候，此SEI消息将出现在包含运动受限片段群组设定SEI消息的同一SEI有效载荷中，并立刻以解码次序接续(succeed)运动受限片段群组设定SEI消息。由运动受限片段群组设定SEI消息所标识的该片段群组设定称为子图片层信息SEI消息的关联片段群组设定。

layer_id指示的是关联片段群组设定中编码片段NAL单元所属的可扩展层的层ID。

又例如，通过使用序列参数设定和NAL单元报头或片段报头的随后方法可以实现对信号发送的支持。

以文件格式的信号发送

由于下列任意一种原因，在比特流中可能不存在信号发送信息：1)信号发送得不到编码技术或标准的支持；2)信号发送得到支持但并不存在；3)文件格式规范不允许在包含于文件格式容器中的比特流中包括一些信息，例如AVC文件格式规范不允许在存储于媒体轨迹中的数据流中包括三种类型的子序列SEI消息。

因此，以文件格式对信息的信号发送进行支持是非常重要的。实际上，即使信息以比特流的形式是可用的，使信息以文件格式可用对于认识媒体编码格式的服务器来说也是有帮助的。

下面，可扩展性结构的设计方式为可用于所有类型的可扩展视频流，因此可以被认为是对ISO基本媒体文件格式的扩展。出于文件识别的目的，标志‘svc1’可用于指示该扩展用于文件中。

为了支持信号发送，ISO文件应当包含grouping_type等于scif的零个或一个SampleToGroupBox(每个轨迹)的示例。该SampleToGroupBox示例将每个样本映射到一个或多个可扩展层。针对每个可扩展层的可扩展性信息存储在相应的样本群组描述条目(ScalabilityInfoEntry)中，该样本群组描述条目包含在群组类型‘scif’的SampleGroupDescriptionBox中。可扩展性信息包括层ID、配置和水平、比特速率、帧速率、缓冲器参数以及依赖性信息。

而且，每个可扩展层与层ID相关联。该层ID按如下进行分配。较大的层ID值指示较高的层。值0指示最低的层。层的解码和表达独立于任何较高的层但可以依赖于较低的层。因此，最低的层可以被独立地解码和表达，而层1的表达和解码依赖于层0，层2的表达和解码可以依赖于层0和1，等等。可扩展层的表示要求可扩展层自身以及该扩展层直接或间接依赖的较低层的存在。在下文中，可扩展层和该扩展层直接或间接依赖的所有较低层统一称为可扩展层表示。

ISO基础媒体文件格式的扩展的语法可以如下。ScalabilityInfoEntry包括ProfileLevelBox、BitRateBox、FrameRateBox、FrameSizeBox、RectRegionBox、BufferingBox和LayerDependencyBox.。这些框(Box)的定义如表3和表4所示：

Box Types：′pflv′，′bitr′，′frmr′，′fmsz′，′rrgn′，′buff′，′ldep′

Container：ScalableLayerEntry or other data structures

Mandatory：No

Quantity：0 or 1

表3

ProfileLevelBox包含可扩展层表示与之适应的配置和水平，BitRateBox包含比特速率信息，FrameRateBox包含帧速率信息，FrameSizeBox包含空间解析度信息，BufferingBox包含缓冲器信息，LayerDependencyBox包含可扩展层所依赖的那些层。在这些框中，BufferingBox是摘要框，从ISO基础媒体文件格式中推导出的文件格式将根据视频编码标准所规定的缓冲模型来定义缓冲器信息数据结构。对于特定的可扩展层，如果任意的可选框不存在，则上述信息与最高可扩展层相同。

class ProfileLevelBox extends Box(′pflv′){

unsigned int (16)profileIdc；

unsigned int (16)levelIdc；

unsigned int(32)reserved＝0；

}

class BitRateBox extends Box(′bitr′){

unsigned int(32)avgBitrate；

unsigned int(32)maxBitrate；

}

class FrameRateBox extends Box(′frmr′){

unsigned int(2)constantFrameRate；

unsigned int(6)reserved ＝0；

unsigned int(16)frameRate；

}

class FrameSizeBox extends Box(′fmsz′){

unsigned int(16)frm_width；

unsigned int(16)frm_height；

}

class RectRegionBox extends Box(′rrgn′){

unsigned int(16)horizontal_offset；

unsigned int(16)vertical_offset；

unsigned int(16)region__width；

unsigned int(16)region_height；

}

abstract class BufferingBox extends Box(′buff′)(

}

class LayerDependencyBox extends Box(′ldep′){

unsigned int(8)entry_count；

for(i＝0；i＜entry_count；i++){

unsigned int(8)dependencyLayerId；

}

class ScalableLayerEntry()extends VisualSampleGroupEntry(′scif′)

{

unsigned int(8)layerId；

unsigned int(1)IsFgsLayer；

uns igned int(1)IsSubsampleLayer；

unsigned int(6)reserved ＝0；

ProfileLevelBox()； //optional

BitRateBox()； //optional

FrameRateBox()； //optional

FrameSizeBox()； //optional

RectRegionBox()； //optional

BufferingBox()； //optional

LayerDependencyBox()； //optional

}

表4

语义如下。LayerId给出下列信息所描述的可扩展层的标识符。

IsFgsLayer等于1指示的是可扩展层是精粒度可扩展(FGS)层，其比特流数据单元可以在任意字节对准的位置处被截断。值0指示的是可扩展层不是FGS层。

IsSubsampleLayer等于1指示的是可扩展层仅由映射到该层的样本的子样本而形成。在子样本信息框中信号发送该层中包含的子样本的有关信息。值0指示的是可扩展层由映射到该层的样本来形成。

ProfileIdc和levelIdc分别规定了配置和水平，可扩展层表示的比特流是与其适应的。

avgBitrate给出了可扩展层表示的比特速率以比特/秒为单位的平均比特速率。

maxBitrate给出了一秒钟的任意时间窗口中可扩展层表示的比特速率以比特/秒为单位的最大比特速率。

constantFrameRate指示的是可扩展层表示的帧速率是否恒定。如果下面规定的FrameRate的值是恒定的，无论可扩展层表示的哪个时间部分用于计算，则该帧速率是恒定的，否则该帧速率是非恒定的。值0表示非恒定的帧速率，值1表示恒定的帧速率，值2表示的是不确定该帧速率恒定与否。constantFrameRate的值的范围是0-2，其中包括0和2。

frameRate给出了以帧/(256秒)为单位的平均帧速率。在计算中将可扩展层表示中的所有NAL单元纳入了考虑。在下文中，C是可扩展层表示中帧的数量，t₁是按照表达次序的可扩展层表示中第一图片的表达时间戳，而t₂是按照表达次序的可扩展层表示中最后图片的表达时间戳。然后，假设t₁≠t₂，则frameRate计算如下：frameRate＝round(C*256÷(t₂-t₁))。如果t₁＝t₂，则frameRate将是0。值0指示的是未规定的帧速率。

frm_width和frm_height分别给出了可扩展层表示的视频帧的、以luma样本为单位的最大宽度和高度。术语“帧”的解释方式和SVC编码规范中的相同。

horizontal_offset和vertical_offset分别给出了由可扩展层表示所表示的矩形区域左上像素相对于由最高可扩展层表示所表示的整个区域的左上像素以luma样本为单位的垂直和水平偏移。

region_width和region_height分别给出了由可扩展层表示所表示的矩形区域的宽度和高度，单位是由最高可扩展层表示所表示的整个区域的相同度量的luma样本。

entry_count给出了下表中条目的数量。

dependencyLayerId给出了当前可扩展层直接或间接依赖的可扩展层的layerId。该dependencyLayerId的值将小于当前可扩展层的layerId。当前可扩展层的表示要求dependencyLayer所指示的可扩展层的存在。

在表5中表达了子样本信息框的语法：

aligned(8)class SubSampleInformationBox

extends FullBox(′subs′，version，0){

unsigned int(32)entry_count；

int i，j；

for(i＝0；i＜entry_count；i++){

unsigned int(32)sample_count；

unsigned int(16)subsample_count；

if(subsample_count＞0){

for(j＝0；j＜subsample_count；j++){

if(version＝＝1)

{

unsigned int(32)subsampie_size；

}

else

{

unsigned int(16)subsample_size；

}

unsigned int(8)subsample_priority；

unsigned int(8)discardable；

unsigned int(32)reserved＝0；

}

表5

在示例实施方式中，32比特预留字段的前8比特用于信号发送子样本所属的可扩展层标识符，即上述最后的语法元素被划分为两个语法元素，如表6所示。

…

unsigned int(8)layerId；

unsigned int(24)reserved＝0；

…

表6

类似的方法也应用于支持其他文件格式的信号发送。如果在ISO文件格式中得到支持，则其自然在推导出的文件格式(例如MPEG-4文件格式、AVC文件格式和3GPP文件格式)中得到支持。

本发明人已经开发了从ISO基础媒体文件格式中推导而来的下列SVC文件格式(AVC FF Amd.2)：

在ISO基础媒体文件格式中样本定义如下：

在无暗示(non-hint)轨迹中，样本是单个视频帧、视频帧的时间连续系列或音频的时间连续压缩部分。在暗示轨迹中，样本定义一个或多个流发送包的格式。在轨迹中没有两个样本可以共享同一时间戳。

在可扩展视频中，特别是对于空间和品质的可扩展性，关于在轨迹中没有两个样本可以共享同一时间戳的上述限制不再适用，因为一个以上的图片(例如基础层图片和空间增强层图片)可以共享同一时间戳。如果这些图片在同一样本中形成，则对于服务器而言进行可扩展截断是很不方便的，因为总是需要解析为样本。

在SVC WD 1.0中，图片的定义如下：

从一组具有一致值的图片次序计数和DependencyId的NAL单元中解码出图片。相应的NAL单元将包括用于图片的所有宏块的片段NAL单元以及可能还包括渐进修正(progressive refinement)片段NAL单元。

根据上述定义，渐进修正片段(即FGS片段)处于与相应的基础层相同的图片中。如果FGS片段和相应的基础层在同一样本中形成，则对于服务器而言进行可扩展截断是很不方便的，因为即使对于非FGS操作而言也需要解析为样本。因此，在示例实施方式中，每个FGS增强面或相应的基础层被分离为其自己的图片。

子样本被定义为一个样本中一个或多个连续的NAL单元。

ProfileLevelBox中预留字段的前8个比特用于包含配置兼容性信息，从而语法如下：

class ProfileLevelBox extends Box(′pflv′){

unsigned int(i6)profileIdc；

unsigned int(16)levelIdc；

unsigned int(8)profile_compatibility；

unsigned int(24)reserved ＝0；

表7

Profile_compatibility是这样的字节，即：其定义与序列参数设定中profile_idc和level_idc之间发生的字节的定义相同，如SVC视频规范所定义。

下列可扩展性信息类型专用于SVC编码格式：

-DependencyId和TemporalLevel

-所用的初始参数设定

-缓冲器信息

为了存储该信息，可以定义一些新的框以包含该信息，并在需要的时候将它们放置在ScalabilityInfoEntry中。

Box Types：′ddep′，′ipms′，′sbuf′

Container：ScalableLayerEntry or other data structures

Mandatory：No

Quantity：0 or 1

class DecodingDependencyInfoBox extends Box(′ddep′){

unsigned int(3)dependency_id；

unsigned int(3)temporal_level；

unsigned int(2)reserved ＝0；

}

class InitialParameterSetBox extends Box(′ipms′){

unsigned int(5)numOfSequenceParameterSets；

unsigned int(3)reserved ＝0；

for (i＝0；i＜numOfSequenceParameterSets；i++){

unsigned int(16)sequenceParameterSetLength；

bit(8＊sequenceParameterSetLength)sequenceParameterSetNALUnit；

}

unsigned int(8)numOfPictureParameterSets；

for (i＝0；i＜numOfPictureParameterSets；i++){

unsigned int(16)pictureParameterSetLength；

bit(8＊pictureParameterSetLength)pictureParameterSetNALUnit；

}

class SvcBufferingBox extends BufferingBox(′sbuf′){

unsigned int(16)operation_point_count

for (i ＝0；i＜operation_point_count；i++){

unsigned int (32)tx_byte_rate

unsigned int (32)cpb_size

unsigned int (32)dpb_size

unsigned int (32)init_cpb_delay

unsigned int (32)init_dpb_delay

}

表8

语义如下：

dependency_id和temporal_level分别给出了SVC视频规范中定义的DependencyId和TemporalLevel的可扩展层的值。

numOfSequenceParameterSets指示的是用作序列参数设定的初始设定的序列参数设定的数量，以对可扩展层表示进行解码。

sequenceParameterSetLength指示的是在SVC视频规范中定义的序列参数设定NAL单元的字节长度。

sequenceParameterSetNALUnit包含SVC视频规范所定义的序列参数设定NAL单元。序列参数设定将以具有允许的间隙的参数设定标识符的升序发生。

numOfPictureParameterSets指示的是用作图片参数设定的初始设定的图片参数设定的数量，以对可扩展层表示进行解码。

pictureParameterSetLength指示的是SVC视频规范中定义的图片参数设定NAL单元的字节长度。

pictureParameterSetNALUnit包含SVC视频规范所定义的图片参数设定NAL单元。图片参数设定将以具有允许的间隙的参数设定标识符的升序发生。

operation_point_count规定了操作点的数量。SVC HRD参数的值针对每个操作点而被单独规定。operation_point_count的值将大于0。

tx_byte_rate指示的是对SVC HRD的编码图片缓冲器(CPB)的输入字节速率(单位为字节每秒)。可扩展层表示的比特流受到BitRate值的限制，该BitRate值等于8*SVC视频规范中所规定的针对NALHRD参数的tx_byte_rate的值。对于VCL HRD参数，BitRate的值等于tx_byte_rate*40/6。tx_byte_rate的值将大于0。

cpb_size给出了编码的图片缓冲器以字节为单位的所需大小。可扩展层表示的比特流受到CpbSize值的限制，该CbpSize值对于SVC视频规范中规定的针对NAL HRD参数等于cpb_size*8。对于VCLHRD参数，CpbSize的值等于cpb_size*40/6。

dpb_size给出了解码的图片缓冲器以字节为单位的所需大小。可扩展层表示的比特流受到max_dec_frame_buffering值的限制，该值等于Min(16，Floor(post_dec_buf_size)/(PicWidthMbs*FrameHeightInMbs*256*ChromaFormatFactor)))，如SVC视频规范所规定。

同一操作点的tx_byte_rate，cpb_size和dpb_size值的至少一个设定将遵循可扩展层表示的比特流的配置和水平所设定的限制。

init_cpb_delay给出了第一访问单元的第一比特的预解码器缓冲器中的到达时间与第一访问单元的预编码器缓冲器中的移除时间之间的所需延迟。其以90kHz时钟为单位。可扩展层表示的比特流受到第一访问单元从编码的图片缓冲器(CPB)中标称移除时间值tr，n(0)的限制，其中：tr，n(0)等于SVC视频规范中所规定的init_cpb_delay。

init_dpb_delay给出了在第一解码的图片的后置解码器缓冲器中的到达时间与从第一解码的图片的后置解码器缓冲器中的输出时间之间的所要求的延迟。其以90kHz时钟为单位。针对输出次序等于init_dpb_delay的第一解码的图片，可扩展层表示的比特流受到dpb_output_delay的值的限制，其中init_dpb_delay如在假设时钟周期变量tc等于1/90000的SVC视频规范所规定。

下面，给出以文件格式或比特流来存储可扩展性信息的一些动机。

在单个轨迹中包括所有层而不是针对这些层使用单独的轨迹是优选的，因为如果不这样的话，对于一个可扩展流而言可能会有数百个轨迹。

将样本/图片映射到可扩展层是分组概念。该样本群组设计提供了一种良好的方式来信号发送映射信息以及可扩展层的可扩展性层信息。

在很多应用中，可扩展层的可扩展性信息的某些部分与整个基本流或最高可扩展层完全相同。通过在不同的可选框中将可扩展性信息归类和信号发送，那些信息部分不需要进行冗余存储。此外，以下列方式使用框是很灵活的：即如果需要更多的可扩展性信息，则通过在样本群组描述条目中产生新框而可以很好地将这些信息包括进来。

假设流发送服务器已经存储了配置P和水平L的可扩展流，流的可扩展层可以是配置P1和L1，适合于L1@P1的解码器的实现要求比适合于L@P的解码器简单。如果该服务器将要把视频内容馈送到具有适合于L1@P1的解码器的客户端，则该服务器必须检查该流是否存在适合于L1@P1的可扩展层，例如通过运行假设参考解码器，这对流发送服务器施加了附加的实现和计算复杂性。针对每个可扩展层使得配置和水平信息得以信号发送支持了上述具有更简化的服务器实现的应用。

对于比特速率、时间和空间可扩展性而言自然需要比特速率、帧速率和帧大小信息。该区域信息可用于支持如N6880中所要求的感兴趣区域(ROI)可扩展性。

对不同可扩展层表示进行解码要求不同的缓冲器大小和缓冲延迟。缓冲器信息的存在使得可扩展层表示的接收器/解码器能够分配较少的存储器用于解码或能够具有较短的初始延迟，这两者均有助于改进最终用户的体验。

尽管已知对于特定的可扩展层表示而言不需要所有的较高层，但默认情况下并不知道不需要哪些较低层。层依赖性信息使得流发送服务器能够在不分析流的情况下不发送不必要的较低层，这要求复杂的实现。

为了支持精粒度可扩展性。该信息指示该可扩展层是否是精粒度可扩展(FGS)层，其比特流数据单元可以在任何字节对准的位置处截断。

可以使用AVC中常规的编码技术(即，并非新的SVC扩展)来实现ROI可扩展性，例如通过使用运动受限的片段群组设定。然而，要求在于(在N6880的第4部分中)SVC文件格式应当与AVC文件格式向后兼容。为了满足该要求并同时支持ROI可扩展性，需要子样本信息，因为基础层(ROI区域)和增强层(其余区域)必须处于相同样本中。因此，子图片层可用于此目的。

解码依赖性信息包含在可扩展扩展层NAL单元的NAL单元报头中。在某些应用中，期望的是让可知媒体网元或接收器知道可以抛弃哪些可扩展层的信息。为了帮助可知媒体网元或接收器抛弃不必要的NAL单元，需要解码依赖性信息和可扩展层标识符之间的映射。

由于可扩展层表示可以不使用整个流的所有初始参数设定是事实，所以传送所有的那些参数设定会引起传输带宽浪费和较长的初始设定延迟，特别是由于通常初始参数设定在带外进行可靠的传输，这意味着使用了接收应答并且可以使用重新传输。针对每个可扩展层表示的初始参数设定的信号发送解决了此问题。对于服务器而言还可以通过分析比特流来获取该信息。然而，这要求服务器是可知媒体的并且进行即时(on-the-fly)的比特流分析。

在传输和控制协议中的信号发送

在单播流发送例如3GPP PSS中，服务器可以通过多个SDP描述，其中每个SDP描述包含一个或多个备选，或通过包含多个备选的一个SDP描述，并基于可扩展性信息来创建用于同一流的多个备选。接收终端选择一个备选或不选择。如果选择了一个备选，则服务器知道将要传送哪些层。

在组播/广播应用中，可以有具有不同能力和/或处于不同网络状况的接收终端，其结果是流的不同备选对于不同的接收终端是理想的。在此情况下，可能的是将接收器划分为不同的组播/广播群组，并且每个群组中的接收器共享相同的备选。使用该方法，对每个接收终端可用的带宽可以得到有效利用。

对于其中所有接收器共享同一备选的组播/广播群组而言，类似于单播情况，从服务器传送相关的层。

然而，如果有一个以上的组播/广播群组，则服务器应当通过服务宣告来表达什么备选是可用的，从而每个接收器可以选择一个备选的服务来订制。这例如可以通过以类似于单播情况下的方式使用SDP来实现。

还可能的是，在一个特定的组播/广播群组中，传送具有多个层的一个备选，同时接收器选择解码其中的一个层并抛弃其余数据。使用该方法，用于发送设备的可用带宽可以得到有效利用，因为传送了较少的流。在此情况下，利用相同的组播/广播群组，服务器不需要知道不同接收终端的不同优选项。然而，对于服务器而言，仍然有必要通过服务器宣告来表达备选信息，从而该接收器可以得出其是否能够对任意备选进行解码的结论。

上述的两个方法可一起应用。亦即，可以具有多个组播/广播群组。在某些群组中，所有的接收器可以解码相同的备选，而在其他群组中，某些接收器可以抛弃某些接收到的比特流层。该结合的方法可用于全局地优化服务器中可用带宽的效率以及接收器中可用带宽的效率两者。

如上所述，本发明范围内的实施方式包括程序产品，该程序产品包括计算机可读介质，用于携带或具有存储于其上的计算机可执行指令或数据结构。此计算机可读介质可以是任何能够被通用计算机或专用计算机访问的可用介质。例如，此计算机可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备，或任何其他能够用于以计算机可执行指令或数据结构的方式携带或存储期望的程序代码并且可以由通用计算机或专用计算机访问的介质。当通过网络或其他通信连接(有线、无线或有线或无线的组合)来传输或提供信息到计算机的时候，计算机适当地将该连接视为计算机可读介质。因此，任何此类连接可以被适当地称为计算机可读介质。以上的组合可以包括在计算机可读介质的范围之中。计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。

可以应用本发明的系统的示例在图1中示出。该系统包括传送服务器101，其具有例如存储介质102，该存储介质102包含文件103，该文件103包含根据本发明进行编码的媒体流。文件103作为一个或多个信号被传送至例如移动通信网络的网络104。在网络104中，可以具有网关105，其例如在MMSC 107的控制下接收文件103并将其转发到例如网络的基站106。接收器108可以接收一个或多个信号并对可扩展性信息以及一个或多个信号中包括的一些其他信息进行解码。

本发明以方法步骤地一般上下文来进行描述，其在一个实施方式中可以通过包括可由联网环境中的计算机执行的计算机可执行指令(例如程序代码)的程序产品来实现。通常，程序模块包括例程、程序、对象、组件、数据结构等等，它们执行特定的任务或实现特定的抽象数据类型。与数据结构相关联的计算机可执行指令以及程序模块表示用于执行此处所述方法步骤的程序代码的示例。此可执行指令或相关数据结构的特定序列表示用于实现此步骤中所述功能的相应动作。

本发明的软件和web实现可以通过具有基于规则逻辑和其他逻辑的标准编程技术来完成，以完成各种数据库搜索步骤、相关步骤、比较步骤以及决定步骤。还需要注意的是，这里所使用的以及权利要求中的单词“组件”和“模块”旨在包括使用一行或多行软件代码的实现，和/或硬件实现，和/或用于接收手动输入的设备。

已经就示意和描述的目的而给出了本发明实施方式的以上描述。并不旨在于穷尽或将本发明限制在所公开的精确形式，并且，着眼于上述教导的修改和变化也是可行的，或者可以从本发明的实践中获取。所选择和描述的实施方式旨在解释本发明的原理及其实际应用，以使得本领域技术人员能够在各种实施方式中利用本发明并具有各种适合于预期的特定使用的修改。例如，本发明实施方式的描述大多针对时间上的可扩展性进行了表达。然而，其适用于各种类型的可扩展性，例如空间可扩展性、计算可扩展性、品质(信噪比)可扩展性。此外，很多传输协议可应用于本发明。传输协议的一些非限制性示例是会话描述协议(SDP)、实时流发送协议(RTSP)以及会话发起协议(SIP)。

Claims

1.一种用于对可扩展数据流进行编码以包括具有不同编码特性的层的方法，所述方法包括：

生成所述可扩展数据流的至少一个层，其中所述至少一个层的特征在于编码特性，其中所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定，并且

信号发送具有所述特性化编码特性的所述至少一个层，使得其可由解码器读取而无需对整个层进行解码。

2.根据权利要求1所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的方法，其中，所述信号发送在所述可扩展数据流的比特流中执行。

3.根据权利要求1所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的方法，其中，所述信号发送在能够存储所述可扩展数据流的文件格式中执行。

4.根据权利要求1所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的方法，其中，所述信号发送至少根据下表形成：

scalability_info(payloadSize){ num_layers_minus1 for(i＝0；i＜＝num_layers_minus1；i++){ fgs_layer_flag[i] sub_pic_layer_flag[i] sub_region_layer_flag[i] profile_level_info_present_flag[i] decoding_dependency_info_present_flag[i] bitrate_info_present_flag[i] frm_rate_info_present_flag[i] frm_size_info_present_flag[i] layer_dependency_info_present_flag[i] Init_parameter_sets_info_present_flag[i] if(profile_level_info_present_flag[i]){ layer_profile_idc[i] layer_constraint_set0_flag[i] layer_constraint_set1_flag[i] layer_constraint_set2_flag[i] layer_constraint_set3_flag[i] reserved_zero_4bits/*equal to 0 */ layer_level_idc[i] } if(decoding_dependency_info_present_flag[i]){ deoendency_id[i] temporal_level[i] } if(bitrate_info_present_flag[i]){ avg_bitrate[i] max_bitrate[i] } if(frm_rate_info_present_flag[i]){ constant_frm_rate_idc[i] avg_frm_rate[i] } if(frm_size_info_present_flag[i]){ frm_width_in_mbs_minus1[i] frm_height_in_mbs_minus1[i] } if(sub_region_layer_flag[i]){ horizontal_offset[i] verticial_offset[i] region_width[i] region_height[i] } If(layer_depdendency_info_present_flag[i]{ num_directly_dependent_layers[i] for(j＝0；j＜num_directly_dependent_layers[i]；j++) directly_dependent_layer_id_delta[i][j] } If(init_parameter_sets_info_present_flag[i]){ num_init_seq_parameter_set_minus1[i] for(j＝0；j＜＝num_seq_parameter_set_minus1[i]；j++) init_seq_parameter_set_id_delta[i][j] num_init_pic_parameter_set_minus1[i] for(j＝0；i＜＝num_pic_parameter_set_minus1[i]；j++) init_pic_parameter_set_id_delta[i][j] } }

5.根据权利要求1所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的方法，其中，所述信号发送在能够传送所述可扩展数据流的传输协议中执行。

6.根据权利要求5所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的方法，其中，所述传输协议是下列的群组之一：会话描述协议(SDP)、实时流发送协议(RTSP)以及会话发起协议(SIP)。

7.一种用于对包括具有编码特性的至少一个层的可扩展数据流进行编码的方法，所述方法包括：

接收所述可扩展数据流的至少一个层，其中，所述至少一个层的特征在于编码特性，其中，所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定，并且

信号发送具有所述特性化编码特性的所述至少一个层，使得其可由解码器读取而无需对整个层进行解码，其中所述方法进一步包括：

-检查至少一个层的所述编码特性；

-在所述检查的基础上确定对该层进行解码是否可行；如果确定该解码是可行的；则

-对所述至少一个层进行解码。

8.根据权利要求7所述的用于对包括具有编码特性的至少一个层的可扩展数据流进行编码的方法，所述信号发送已经在所述可扩展数据流的数据流中执行，其中，所述检查包括检查所述比特流。

9.根据权利要求7所述的用于对包括具有编码特性的至少一个层的可扩展数据流进行编码的方法，所述信号发送已经在能够存储所述可扩展数据流的文件格式中执行，其中，所述检查包括检查所述存储的可扩展数据流。

10.根据权利要求7所述的用于对包括具有编码特性的至少一个层的可扩展数据流进行编码的方法，其中，所述信号发送至少包括根据下列语法形成的数据：

scalability_info(payloadSize){ num_layers_minus1 for(i＝0；i＜＝num_layers_minus1；i++){ fgs_layer_flag[i] sub_pic_layer_flag[i] sub_region_layer_flag[i] profile_level_info_present_flag[i] decoding_dependency_info_present_flag[i] bitrate_info_present_flag[i] frm_rate_info_present_flag[i] frm_size_info_present_flag[i] layer_dependency_info_present_flag[i] init_parameter_sets_info_present_flag[i] if(profile_level_info_present_flag[i]){ layer_profile_idc[i] layer_constraint_set0_flag[i] layer_constraint_set1_flag[i] layer_constraint_set2_flag[i] layer_constraint_set3_flag[i] reserved_zero_4bits/*equal to 0 */ layer_level_idc[i] } if(dccoxding_dependency_info_present_flag[i]){ dependency_id[i] temporal_level[i] } if(bitrate_info_present_flag[i]){ avg_bitrate[i] max_bitrate[i] } if(frm_rate_info_present_flag[i]){ constant_frm_rate_idc[i] avg_frm_rate[i] } if(frm_size_info_present_flag[i]){ frm_width_in_mbs_minus1[i] frm_height_in_mbs_minus1[i] } if(sub_region_layer_flag[i]){ horizontal_offset[i] verticial_offset[i] region_width[i] region_height[i] } If(layer_depdendency_info_present_flag[i]){ num_directly_dependent_layers[i] for(j＝0；j＜num_directly_dependent_layers[i]；j++) directly_dependent_layer_id_delta[i][j] } If(init_parameter_sets_info_present_flag[i]){ num_init_sep_parameter_set_minus1[i]

for(j＝0；j＜＝num_seq_parameter_set_minus1[i]；j++) init_seq_parameter_set_id_delta[i][j] num_init_pic_parameter_set_minus1[i] for(j＝0；j＜＝num_pic_parameter_set_minus1[i]；j++) init_pic_parameter_set_id_delta[i][j] } }

11.根据权利要求7所述的用于对包括具有编码特性的至少一个层的可扩展数据流进行编码的方法，其中，所述信号发送在能够传送所述可扩展数据流的传输协议中执行。

12.根据权利要求11所述的用于对包括具有编码特性的至少一个层的可扩展数据流进行编码的方法，其中，所述传输协议是下列的群组之一：会话描述协议(SDP)、实时流发送协议(RTSP)以及会话发起协议(SIP)。

13.根据权利要求11所述的用于对包括具有编码特性的至少一个层的可扩展数据流进行编码的方法，所述信号发送包括缓冲器信息，其中所述方法包括：

-检查所述缓冲器信息以确定将要为解码而分配的存储器数量；以及

-分配该确定的存储器数量。

14.一种用于对可扩展数据流进行编码以包括具有不同编码特性的层的编码器，所述编码器包括：

第一组件，用于生成所述可扩展数据流的至少一个层，其中所述至少一个层的特征在于编码特性，其中所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；以及

第二组件，用于信号发送具有所述特性化编码特性的所述层，使得其可由解码器读取而无需对整个层进行解码。

15.根据权利要求14所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的编码器，其中，所述第二组件被配置为使得所述信号发送在所述可扩展数据流的比特流中执行。

16.根据权利要求14所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的编码器，其中，所述第二组件被配置为使得所述信号发送在能够存储所述可扩展数据流的文件格式中执行。

17.根据权利要求14所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的编码器，其中，所述第二组件被配置为使得所述信号发送在能够传送所述可扩展数据流的传输协议中执行。

18.根据权利要求14所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的编码器，其中，所述数据流包括视频数据。

19.一种用于对包括具有不同编码特性的层的可扩展数据流进行解码的解码器，所述解码器包括：

第一组件，用于接收所述可扩展数据流；

第二组件，用于识别所述可扩展数据流中的至少一个层，并读取与所述层相关联的其编码特性的指示，其中，所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

第三组件，用于确定所述解码器是否能够基于所述编码特性来解码所述层；以及

第四组件，用于如果所述第三组件确定所述解码器能够基于所述编码特性来解码所述层，则对所述层进行解码。

20.根据权利要求19所述的用于对包括具有不同编码特性的层的可扩展数据流进行解码的解码器，其中，所述数据流包括视频数据。

21.一种用于实现可扩展数据流的数据结构，包括：

第一数据层，具有第一编码特性，其中所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

第一指示，与所述第一层相关联，以识别所述第一编码特性；

第二数据层，具有第二编码特性；以及

第二指示，与所述第二层相关联，以识别所述第二编码特性。

22.根据权利要求21所述的用于实现可扩展数据流的数据结构，其中，所述第一指示与所述可扩展数据流的比特流相关联。

23.根据权利要求21所述的用于实现可扩展数据流的数据结构，其中，所述第一指示与能够存储所述可扩展数据流的文件格式相关联。

24.根据权利要求21所述的用于实现可扩展数据流的数据结构，其中，所述第一指示与能够传送所述可扩展数据流的传输协议相关联。

25.根据权利要求21所述的用于实现可扩展数据流的数据结构，其中，所述可扩展数据流包括视频数据。

26.一种用于对可扩展数据流进行编码以包括具有不同编码特性的层的程序产品，所述程序产品包括机器可读程序代码，用于在执行的时候使一个或多个设备执行下列步骤：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；并且

27.根据权利要求26所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的程序产品，其中，所述信号发送在所述可扩展数据流的比特流中执行。

28.根据权利要求26所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的程序产品，其中，所述信号发送在能够存储所述可扩展数据流的文件格式中执行。

29.根据权利要求26所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的程序产品，其中，所述信号发送在能够传送所述可扩展数据流的传输协议中执行。

30.根据权利要求26所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的程序产品，其中，所述数据流包括视频数据。

31.一种用于对可扩展数据流进行编码以包括具有不同编码特性的层的设备，所述设备包括：

用于生成所述可扩展数据流的至少一个层的装置，其中所述至少一个层的特征在于编码特性，该编码特性不同于所述可扩展数据流的编码特性，其中所述至少一个层的所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；以及

用于信号发送具有所述特性化编码特性的所述层的装置，使得其可由解码器读取而无需对整个层进行解码。

32.根据权利要求31所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的设备，其中，所述信号发送在所述可扩展数据流的比特流中执行。

33.根据权利要求31所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的设备，其中，所述信号发送在所述可扩展数据流的文件格式中执行。

34.根据权利要求31所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的设备，其中，所述信号发送在所述可扩展数据流的传输协议中执行。

35.根据权利要求31所述的用于对可扩展数据流进行编码以包括具有不同编码特性的层的设备，其中，所述数据流包括视频数据。

36.一种用于修改包括层的可扩展数据流以便于进行解码的转换器，所述转换器包括：

第一组件，用于接收所述数据流并读取与所述数据流的层相关联的编码特性指示符，其中，所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；以及

第二组件，用于将所述编码特性指示符与目的地解码器的能力进行比较，以确定该目的地解码器可对哪些层进行解码；

第三组件，用于修改所述数据流使得可由该目的地解码器进行解码；以及

第四组件，用于将所述修改后的数据流传送至该目的地解码器。

37.根据权利要求36所述的用于修改包括层的可扩展数据流以便于进行解码的转换器，其中，所述第三组件被配置为移除不可由该目的地解码器解码的所述数据流的层。

38.根据权利要求1所述的方法，其中，所述至少一个层是增强层。

39.根据权利要求14所述的编码器，其中，所述至少一个层是增强层。

40.根据权利要求19所述的解码器，其中，所述至少一个层是增强层。

41.根据权利要求21所述的数据结构，其中，所述至少一个层是增强层。

42.根据权利要求26所述的程序产品，其中，所述至少一个层是增强层。

43.根据权利要求31所述的设备，其中，所述至少一个层是增强层。

44.根据权利要求37所述的转换器，其中，所述至少一个层是增强层。

45.一种用于对包括具有不同编码特性的层的可扩展数据流进行编码的编码器，所述编码器包括：

用于生成所述可扩展数据流的至少一个层的装置，其中所述至少一个层的特征在于编码特性，其中所述编码特性包括下列中至少其

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；以及

用于信号发送具有所述特性化编码特性的所述层，使得其可由解码器读取而无需对整个层进行解码的装置。

46.一种用于在解码器中对可扩展数据流进行解码的方法，所述数据流包括具有不同编码特性的层，所述方法包括：

接收所述可扩展数据流；

识别所述可扩展数据流中的至少一个层，并读取与所述层相关联的其编码特性的指示，其中，所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

确定所述解码器是否能够基于所述编码特性来解码所述层；以及

如果确定所述解码器能够基于所述编码特性来解码所述层，则对所述层进行解码。

47.一种对包括具有不同编码特性的层的可扩展数据流进行解码的解码器，所述设备包括：

用于接收所述可扩展数据流的装置；

用于识别所述可扩展数据流中的至少一个层，并读取与所述层相关联的其编码特性的指示的装置，其中，所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

用于确定所述解码器是否能够基于所述编码特性来解码所述层的装置；以及

用于如果所述第三组件确定所述解码器能够基于所述编码特性来解码所述层，则对所述层进行解码的装置。

48.一种包括解码器的设备，该解码器用于对包括具有不同编码特性的层的可扩展数据流进行解码，所述设备包括：

接收器，适用于接收所述可扩展数据流；

识别器，适用于识别所述可扩展数据流中的至少一个层，并读取与所述层相关联的其编码特性的指示，其中，所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；以及

确定器，适用于确定所述解码器是否能够基于所述编码特性来解码所述层；其中，所述解码器适用于如果所述确定器确定所述解码器能够基于所述编码特性来解码所述层，则对所述层进行解码。

49.一种用于将可扩展数据流传送到接收器的系统，所述系统包括：

编码器，用于对可扩展数据流进行编码以包括具有不同编码特性的层，所述编码器包括：

第一组件，用于生成所述可扩展数据流的至少一个层，其中

所述至少一个层的特征在于编码特性，其中所述编码特性包括

下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；以及

第二组件，用于信号发送具有所述特性化编码特性的所述

层，使得其可由解码器读取而无需对整个层进行解码；

解码器，用于对包括具有不同编码特性的层的可扩展数据流进行解码，所述解码器包括：

第五组件，用于接收所述可扩展数据流；

第六组件，用于识别所述可扩展数据流中的至少一个层，并读取与所述层相关联的其编码特性的指示，其中，所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

第七组件，用于确定所述解码器是否能够基于所述编码特性来解码所述层；以及

第八组件，用于如果所述第七组件确定所述解码器能够基于所述编码特性来解码所述层，则对所述层进行解码。

50.一种用于在解码器中对可扩展数据流进行解码的程序产品，所述数据流包括具有不同编码特性的层，所述程序产品包括机器可读程序代码，用于在执行的时候使一个或多个设备执行下列步骤：

接收所述可扩展数据流；

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

51.一种用于对可扩展数据流进行编码以包括具有不同编码特性的层的模块，所述模块包括：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；以及

52.一种用于对包括具有不同编码特性的层的可扩展数据进行解码的解码器模块，所述模块包括：

第一组件，用于接收所述可扩展数据流；

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

53.一种用于对可扩展层数据流进行编码以包括具有不同编码特性并对可扩展数据流进行解码的方法，其中，所述编码包括：

生成所述可扩展数据流的至少一个层，其中所述至少一个

层的特征在于编码特性，其中所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定，以及

信号发送具有所述特性化编码特性的所述至少一个层，使得其可由解码器读取而无需对整个层进行解码；以及所述解码包括：

接收所述可扩展数据流的至少一个层，其中所述至少一个层的特征在于编码特性，其中所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；以及

信号发送具有所述特性化编码特性的所述至少一个层，使得其可由解码器读取而无需对整个层进行解码；

其中，所述方法进一步包括：

检查至少一个层的所述编码特性；

在所述检查的基础上确定对该层进行解码是否可行；如果确定所述解码是可行的，则

对所述至少一个层进行解码。

54.一种具有编码器的设备，该编码器用于对可扩展数据流进行编码以包括具有不同编码特性的层，所述编码器包括：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定，以及

第二组件，用于信号发送具有所述特性化编码特性的所述至少一个层，使得其可由解码器读取而无需对整个层进行解码。

55.一种具有解码器的设备，该解码器用于对包括具有不同编码特性的层的可扩展数据流进行解码，所述解码器包括：

第一组件，用于接收所述可扩展数据流；

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

56.一种包括可扩展数据流的信号，该可扩展数据流包括至少一个层，其中所述至少一个层的特征在于编码特性，其中所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定；

具有所述特性化编码特性的所述至少一个层的形式为：其可由解码器进行读取而无需对整个层进行解码。

57.一种具有记录于其上的信号的载体，所述信号包括可扩展数据流，该可扩展数据流包括至少一个层，其中所述至少一个层的特征在于编码特性，其中所述编码特性包括下列中至少其一：

-精粒度可扩展性信息；

-感兴趣区域(ROI)可扩展性信息；

-子样本可扩展层信息；

-解码依赖性信息；以及

-初始参数设定，以及