CN101213841A

CN101213841A - 可缩放视频编码中的编码依赖指示

Info

Publication number: CN101213841A
Application number: CNA2006800230755A
Authority: CN
Inventors: 王业奎; 鲍亦亮
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2005-07-13
Filing date: 2006-07-05
Publication date: 2008-07-02
Also published as: EP1902585A4; BRPI0614204A2; JP2008544615A; TW200715868A; EP1902585A1; KR20080027338A; US20070014346A1; MY141344A; EP1902585B1; CN104661025A; KR100950720B1; MX2008000569A; WO2007006855A1

Abstract

一种对包括基础层和至少一个增强层的可缩放视频数据流编码和解码的方法。对可缩放数据流编码，其中该数据流在层的时间位置包括至少一个非必需画面，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面解码无需所述非必需画面；以及在可缩放视频数据流中用信号发送至少一个非必需画面的信息。在解码阶段中，对用信号发送的信息解码，而在不对所述非必需画面解码的情况下在所述时间位置和按照解码顺序继所述时间位置之后对在非必需画面以上的层中的画面解码。

Description

可缩放视频编码中的编码依赖指示

技术领域

本发明涉及可缩放视频编码并且具体地涉及在可缩放视频编码中指示编码依赖。

背景技术

一些视频编码系统利用这样的可缩放编码，其中可以去除视频序列的一些单元或者单元组而不影响视频序列其它部分的重建。可缩放视频编码对于在利用具有宽范围处理能力的解码器的系统中使用的许多多媒体应用和服务而言是合乎需要的特征。可缩放位流可以例如用于在流服务器中预编码单播流的速率适配以及用于将单个位流发送到具有不同能力和/或具有不同网络条件的终端。

通常通过将图像帧分组成多个分级层来实施可缩放性。编码成基础层图像帧的图像帧基本上仅包括在接收端对视频信息解码所必需的图像帧。可以在基础层之上确定一个或者多个增强层，各增强层较下层而言改进了解码视频的质量。然而，可以通过仅对可缩放位流的某些部分解码来产生有意义的解码表示。

增强层可以增强时间分辨率(即帧速率)、空间分辨率或者仅增强质量。在一些情况下，可以在某一位置、甚至是任意位置截取增强层的数据，由此具有一些附加数据的各截取位置代表了越发增强的视觉质量。这样的可缩放性称为细颗粒化(颗粒度)可缩放性(FGS)。与FGS对照而言，没有提供细颗粒化可缩放性的质量增强层所提供的可缩放性称为粗颗粒化可缩放性(CGS)。

在可缩放视频编码领域中的当前开发项目之一是以后将称为ITU-T H.264视频编码标准(也称为ISO/IEC MPEG-4 AVC)的可缩放扩展的可缩放视频编码(SVC)标准。根据SVC标准草案，在空间或者CGS增强层中的编码画面包括对层间预测基础的指示。层间预测包括对如下三个参数中一个或者多个参数的预测：编码模式、运动信息和采样残留。对层间预测的使用可以显著地改进增强层的编码效率。层间预测总是来自下层，即在对下层解码时从不需要高层。

在可缩放视频位流中，对于增强层画面，针对层间预测而选择来自任一个的画面。因而，如果视频流包括多个可缩放层，则它可能包括在对整个上层进行解码和回放时不需要的中间层上的画面。这样的画面称为非必需画面(用于对整个上层进行的解码)。

然而，现有技术的可缩放视频方法具有严重缺点，即在对非必需画面进行解码之前没有用以指示这样的依赖信息的手段。因而，解码器必须对非必须画面进行解码，这在计算量方面有所浪费，以及必须缓存对应的解码画面，这在存储器消耗方面有所浪费。可选地，如果在特定时间位置的非必需画面为非参考画面，则解码器可以等待画面到达在需要回放的可缩放层的该时间位置、然后解析依赖信息。然而，这一点造成端到端延迟增加，这是实时视觉应用所无法接受的。

发明内容

现在发明了一种改进方法和实施该方法的技术设备，通过该方法和设备可以在非必需画面的解码之前向解码器指示它们。本发明的各种方面包括编码和解码方法、编码器、解码器、视频编码设备、视频解码设备、用于执行编码和解码的计算机程序以及数据结构，这些方面的特征如下所述。公开了本发明的各种实施例。

根据第一方面，根据本发明的方法是基于对包括基础层和至少一个增强层的可缩放视频数据流进行编码的思想，其中可缩放数据流在层的时间位置包括至少一个非必需画面，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面进行的解码无需所述非必需画面；以及在可缩放视频数据流中用信号发送至少一个非必需画面的信息。

根据一个实施例，一个或者多个增强层包括一个或者多个空间增强层、质量增强层或者细颗粒度可缩放(FGS)增强层。

根据一个实施例，在所述可缩放数据流的部分内执行所述信号发送。

根据一个实施例，在补充增强信息(SEI)消息中执行所述信号发送。

根据第二方面，提供一种对包括基础层和至少一个增强层的可缩放视频数据流进行解码的方法，该方法包括：对与可缩放数据流一起接收的信号发送信息进行解码，所述信号发送信息包括与在层的时间位置的至少一个非必需画面有关的信息；以及在不对非必需画面进行解码的情况下在所述时间位置和按照解码顺序继所述时间位置之后对在非必需画面以上的层中的画面进行解码。

根据本发明的布置提供了显著优点。与可缩放视频流相结合地用信号发送的非必需画面的指示信息使解码器能够在解码之前确定非必需画面，由此避免了对非必需画面的任何不必要的解码和缓存。这减少了解码过程的计算负荷和存储器消耗。另外，根据本发明的布置实现了维持最小的端到端延迟。

本发明的更多方面包括布置用以实现上述方法的发明步骤的各种装置。

附图说明

在下文中将参照附图更具体地描述本发明的各种实施例，在附图中：

图1示出了H.264设计的概念结构；

图2示出了可缩放视频流的编码依赖分级的例子；

图3示出了可缩放视频流的编码依赖分级的另一例子；

图4示出了涉及到FGS层的可缩放视频流的编码依赖分级的例子；

图5示出了作为图4依赖分级的一种变形的可缩放视频流的编码依赖分级的例子；

图6示出了可缩放视频流的编码依赖分级的另一个例子；

图7示出了根据一实施例的编码设备的简化框图；

图8示出了根据一实施例的解码设备的简化框图；

图9示出了根据一优选实施例的移动通信设备的框图；

图10示出了本发明所应用的视频通信系统。

具体实施方式

本发明适用于所有使用可缩放视频编码的视频编码方法。视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或者ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)。此外，针对新的视频编码标准也正在付诸努力。其中之一是将变为H.264/AVC的可缩放扩展的可缩放视频编码(SVC)标准。当前正在JVT之下开发SVC标准，JVT是由ITU-T VCEG和ISO/IEC MPEG形成的联合视频团队。第二项努力是由中国音频视频编码标准工作组(AVS)组织的对中国视频编码标准的开发。

下文是以H.264视频编码为例对本发明的示例性说明。将以认为满足于理解本发明及其优选实施例的细节程度来描述H.264编码。至于对实施H.264的更具体描述可参见H.264标准，该标准的最新规范在2005年1月18-21日中国香港第14届JVT会议的N050d1“Draft of Version 4 of H.264/AVC”中有描述。

根据图1，H.264/AVC区分视频编码层(VCL)和网络抽象层(NAL)这两个不同的概念层。VCL和NAL是H.264/AVC标准的部分。VCL指定了编码视频信号的高效表示。H.264/AVC的NAL定义了在视频编码器本身与外界之间的接口。它在NAL单元上进行操作，这些NAL单元对多数现有网络的基于分组的方式给予支持。在NAL解码器接口，假设以解码顺序递送NAL单元而分组要么被正确地接收、被丢失或者如果净荷包含位错误则可以提高NAL单元报头中的错误标志。后一特征不是该标准的部分，因为该标志可以用于不同目的。然而，它提供一种用以通过整个网络用信号发送错误指示的方式。此外，对于将由责任标准化实体指定的不同传送协议而言需要接口规范。用于比如H.320、MPEG-2系统和RTP/IP这样的不同传送系统的NAL单元的准确传送和封装也在H.264/AVC标准化的范围以外。NAL解码器接口在该标准中有规范定义，而在VCL与NAL之间的接口是概念上的并且有助于描述和分离VCL和NAL的任务。

H.264/AVC的可缩放扩展(SVC)的工作草案实现了对多个可缩放层的编码。最新草案在2005年4月南韩釜山第15界JVT会议的JVT-O2002附录S“Scalable video coding-working draft 2”中有所描述。在对多个可缩放层的这一编码中，在位流中用信号发送的变量依赖_id用来指示不同可缩放层的编码依赖。

可缩放位流包含基础层和一个或者多个增强层这至少两个可缩放层。如果一个可缩放位流包含多个可缩放层，则它具有相同数目的解码和回放选择。各层是一种解码选择。第0层即基础层是第一解码选择。第1层即第一增强层是第二解码选择，等等。这一模式延续到后续层。通常，在高层中包含下层。例如，第0层包含于第1层，而第1层包含于第2层。

下层中的画面可能在对整个上层的解码和回放中不是必需的。这样的画面称为非必需画面(对于解码整个上层而言)。

在SVC编码中以及在其它可缩放视频编码方法中的重大缺点在于没有用以在对非必需画面进行解码之前向解码器指示非必需画面的手段。对非必需画面进行的解码造成不必要的计算负荷而缓存非必需解码画面不必要地保留存储器空间。在位流中用信号发送的依赖_id变量仅用来指示不同可缩放层的编码依赖但不指示非必需画面。只能在这样的情形中确定非必需画面时使用依赖_id变量，即解码器等待画面到达在为回放而选择的可缩放层中的特定时间位置，然后解码器在依赖_id已经被解析或者解码之后获得依赖_id变量中包含的依赖信息。然而，这造成相当大的端到端延迟，这对于比如视频电话或者视频会议这样的实时低延时视频应用而言是无法接受的。

现在根据本发明的一个方面，形成包括至少两层的可缩放视频流，其中创建了对至少一层进行的解码而言所不需要的非必需画面的指示。与可缩放视频流相结合地用信号发送该非必需画面的指示信息，使得解码器可以在对非必需画面进行的解码之前确定它们并且由此可以避免对非必需画面的解码和缓存。

可以在可缩放视频流的位流中用信号发送非必需画面的指示信息。H.264/AVC标准包括用于对视频序列的解码和显示进行辅助的称为补充增强信息(SEI)的信号发送机制。SEI消息与视频数据内容同步地传送。在H.264/AVC标准的附录D中定义了多个SEI消息：JVT-N050d1，“Draft of Version 4 of H.264/AVC”。

根据一个优选实施例，使用新的SEI消息来传送对非必需画面信息的指示，在SEI该消息中为指示非必需画面信息而定义新的字段。

根据一个优选实施例，根据如下语法和语义在SEI消息中传达非必需画面的信息：

层间依赖信息SEI消息语法

层间依赖信息(净荷大小){	C	描述符
层间依赖信息(净荷大小){	C	描述符	信息条目数目减1	5	ue(v)
for(i＝0；i＜＝信息条目数目减1；i++){			信息条目数目减1	5	ue(v)
for(i＝0；i＜＝信息条目数目减1；i++){			条目依赖_id[i]	5	u(3)
非必需画面数目减1[i]	5	ue(v)	条目依赖_id[i]	5	u(3)
非必需画面数目减1[i]	5	ue(v)	for(j＝0；j＜＝非必需画面数目减1[i]；j++){
非必需画面依赖_id[i][j]	5	u(3)	for(j＝0；j＜＝非必需画面数目减1[i]；j++){
非必需画面依赖_id[i][j]	5	u(3)	非必需画面质量级别[i][j]	5	u(2)
}			非必需画面质量级别[i][j]	5	u(2)
}			}
}			}

在这一SEI消息中传达的信息涉及访问单元，该访问单元包括所有可缩放层在同一时间位置的编码分片和编码分片数据分割。这一SEI消息在存在时应当出现在对应访问单元的任何编码分片NAL单元或者编码分片数据分割NAL单元之前。这一SEI消息的语义可以如下：

信息条目数目减1加1指示了随后信息单元的数目。

条目依赖_id[i]指示了其非必需画面的信息通过随后语法元素来描述的目标画面的依赖id值。目标画面的质量级别(质量级别)值总是为零。这归因于如下事实：质量级别大于0的画面是FGS画面，该FGS画面的预测间参考源总是固定的。因此，非必需画面的信息与如下画面相同，该画面具有与FGS画面相同的依赖_id值和等于0的质量级别。目标画面的非必需画面在对编码视频序列中的任何其它画面进行解码时也是不需要的并且具有与目标画面相同的依赖_id值和质量级别值。

非必需画面数目减1[i]加1指示了用于如下目标画面的明示地用信号发送的非必需画面的数目，该目标画面具有等于条目依赖_id[i]的依赖_id值和等于0的质量级别值。除了明示地用信号发送的非必需画面之外，也可以有如下指定的那样导出的附加非必需画面。

非必需画面依赖_id[i][j]指示了为如下目标画面而明示地用信号发送的第j非必需画面的依赖_id值，该目标画面具有等于条目依赖_id[i]的依赖_id值和等于0的质量级别值。

非必需画面质量级别[i][j]指示了为依赖_id值等于条目依赖_id[i]而质量级别值等于0的目标画面而明示地用信号发送的第j非必需画面的质量级别值。此外，依赖_id等于非必需画面依赖_id[i][j]而质量级别大于非必需画面质量级别[i][j]的那些画面也是用于同一目标画面的非必需画面。

利用以下例子进一步说明上述SEI消息和语义的实施。先假设视频流包括基础层0、CGS层1和空间层2这三层，而它们具有同一帧速率。在图2中示出了层间预测依赖分级，其中箭头指示了指向所至的对象将指向所来的对象用于层间预测参考，而图中各层右边的值对代表依赖_id和质量级别的值。在这一例子中，在CGS层_1上的画面将基础层0用于层间预测。另外，在空间层2上的画面将基础层0(即不是邻近于它的CGS层1)用于层间预测。因而，CGS层1画面(依赖_id＝1，质量级别＝0)是用于对空间层2画面解码的非必需画面。

然后假设所示CGS层1画面在按照解码顺序继所示空间层2之后对任何空间层2的画面进行的解码中也是不需要的，根据上述SEI语法和语义，就图2的例子而言用信号发送的值将是：

信息条目数目减1＝0

{

条目依赖_id[0]＝2

非必需画面数目减1[0]＝0

{

非必需画面依赖_id[0][0]＝1

非必需画面质量级别[0][0]＝0

}

另外，也有可能空间层2中的画面将基础层0用于层间预测，而在同一时间位置，CGS层1中的画面完全不使用层间预测，如图3的依赖分级中所示。因而，CGS层1画面(依赖_id＝1，质量级别＝0)是对空间层2画面进行解码的非必需画面，而基础层0画面(依赖_id＝0，质量级别＝0)是对CGS层1画面进行解码的非必需画面。

同样，假设所述CGS层画面1是在按照解码顺序继所示空间层2画面之后对任何空间层2画面进行解码中不需要的，而所示基础层0画面是在按照解码顺序继所示CGS层1画面之后对任何CGS层1画面进行解码中不需要的，就图3的例子而言用信号发送的值将是：。

信息条目数目减1＝1

{

条目依赖_id[0]＝1

非必需画面数目减1[0]＝0

{

非必需画面依赖_id[0][0]＝0

非必需画面质量级别[0][0]＝0

}

条目依赖_id[0]＝2

非必需画面数目减1[0]＝0

{

非必需画面依赖_id[0][0]＝1

非必需画面质量级别[0][0]＝0

}

当涉及到FGS层时，用于编码模式和运动信息的层间预测可以来自于与用于采样残留的层间预测不同的基础层。在图4中示出了这一点的例子，其中对于空间层2画面，用于编码模式和运动信息的层间预测来自于CGS层1画面，而用于采样残留的层间预测来自于FGS层1_0画面。因而，FGS层1_1画面(依赖_id＝1，质量级别＝2)是对空间层2画面进行解码的非必需画面。同样假设所示FGS层1_1画面在按照解码顺序继所示空间层2画面之后对任何空间层2画面进行的解码中也是不需要的，就图4的例子而言用信号发送的值将是：

信息条目数目减1＝0

{

条目依赖_id[0]＝2

非必需画面数目减1[0]＝0

{

非必需画面依赖_id[0][0]＝1

非必需画面质量级别[0][0]＝2

}

图5图示了图4的依赖分级的变形。这里，针对空间层2的层间预测的所有方面，即编码模式、运动信息和采样残留来自于CGS层1画面。因而，FGS层10画面(依赖_id＝1，质量级别＝1)和FGS层1_1画面(依赖_id＝1，质量级别＝2)是对空间层2画面进行解码的非必需画面。同样，假设FGS层1_0和FGS层1_1在按照解码顺序继所示空间层2画面之后对任何空间层2画面进行的解码中都不是需要的，就图5的例子而言用信号发送的值将是：

信息条目数目减1＝0

{

条目依赖_id[0]＝2

非必需画面数目减1[0]＝0

{

非必需画面依赖_id[0][0]＝1

非必需画面质量级别[0][0]＝1

}

注意到这里只需指示FGS层1_0画面(依赖_id＝1，质量级别＝1)作为非必需画面，因为FGS层1_1画面仅依赖于FGS画面1_0画面，由此FGS层1_1画面显然也为非必需画面。

对于上述定义的SEI消息的语义的解释，有需要考虑的更多一些情形。如果回放所需要的层具有与在SE消息中的任何用信号发送的条目依赖_id[i]值不相等的依赖_id＝‘A’，则搜寻具有最大条目依赖_id[i]但是小于‘A’的第n条目依赖_id[i]。具有依赖_id＝‘A’的画面将具有与在第n条目中指定相同的非必需画面。如果没有条目依赖_id[i]小于‘A’的条目，则在用于具有依赖id＝‘A’的画面的对应访问单元中(即在与SEI消息相对应的时间位置)没有非必需画面。

如果具有依赖_id＝‘A’的画面不是用于具有依赖_id＝‘B’的画面的非必需画面，其中‘B’大于或者等于‘A’，则用于具有依赖_id＝“A”的画面的所有非必需画面也是用于具有依赖_id＝‘B’的画面的非必需画面。

在图6中给出了一个例子，其中视频流包括基础层0、CGS层1、空间层2、空间层3和空间层4这五层，而它们具有同一帧速率。CGS层1上的画面将基础层0用于层间预测。空间层2中的画面将基础层0(即不是邻近于它的CGS层1)用于层间预测。空间层3中的画面将空间层2用于层间预测。最后，空间层4中的画面仅将空间层2用于层间预测。因而，CGS层1画面(依赖_id＝1，质量级别＝0)是对空间层2画面进行解码的非必需画面，而空间层3画面(依赖id＝3，质量级别＝0)是对空间层4画面进行解码的非必需画面。根据上述规则，CGS层1画面也是对空间层3画面和空间层4画面进行解码的非必需画面，因为它们的依赖_id值(3和4)大于空间层2画面的依赖_id值(依赖id＝2)，而空间层2画面不是空间层3画面和空间层4画面的非必需画面。

同样假设在按照解码器顺序的随后访问单元中的层间依赖关系是相同的，而就图6的例子而言用信号发送的值将是：

信息条目数目减1＝0

{

条目依赖_id[0]＝2

非必需画面数目减1[0]＝0

{

非必需画面依赖_id[0][0]＝1

非必需画面质量级别[0][0]＝0

}

条目依赖_id[0]＝4

非必需画面数目减1[0]＝0

{

非必需画面依赖_id[0][0]＝3

非必需画面质量级别[0][0]＝0

}

图7图示了根据一个实施例的编码设备，其中编码设备700接收编码的原数据流702而编码器700的可缩放数据编码器704产生一个或者多个层。可缩放数据编码器704在对数据流进行编码的同时推断非必需画面，并且将非必需画面的指示信息插入到可以例如是访问单元组成器的消息形成单元706。编码的数据流708从编码器700输出，由此允许解码器在进行非必需画面的解码之前确定它们以及避免对非必需画面的不必要的解码和缓存。

图8图示了根据一个实施例的解码设备，其中解码设备800经由接收器804接收编码的数据流。在可以例如是访问单元分解器的消息变形单元806中从数据流提取非必需画面的指示信息。解码器808然后根据非必需画面的指示信息对编码数据流的所选层进行解码，使得不对非必需画面进行解码或者缓存。从解码器800输出解码的数据流810。

基于视频的通信系统特别是终端的不同部分可以包括用以实现多媒体流双向传送即流的发送和接收的这一性质允许编码器和解码器实施为包括编码器和解码器的功能的视频编码解码器。

要注意到在上述视频编码器、视频解码器和终端中本发明的功能单元可以优选地实施为软件、硬件或者二者的组合。本发明的编码和解码方法特别好地适合于实施为包括计算机可读命令的计算机软件，这些命令用于实现本发明的功能步骤。编码器和解码器可以优选地实施为在存储装置上存储并且可由计算机类的设备如个人计算机(PC)或者移动站(MS)执行的软件代码，该软件代码用于利用所述设备来实现编码/解码功能。这样的编码/解码功能所能够应用到的电子设备的其它例子是个人数字助理设备(PDA)、用于数字电视系统的机顶盒、游戏控制台、媒体播放器和电视机。

图9示出了根据本发明优选实施例的移动通信设备MS的框图。在移动通信设备中，主控单元MCU控制负责移动通信设备的各种功能的块：随机存取存储器RAM、射频部分RF、只读存储器ROM、视频编码解码器CODEC和用户接口UI。用户接口包括键盘KB、显示器DP、扬声器SP和麦克风MF。MCU是微处理器或者在可选实施例中是某一其它种类的处理器如数字信号处理器。有利地，MCU的操作指令已经预先存储于ROM存储器中。根据它的指令(即计算机程序)，MCU将RF块用于经由天线AER通过无线电路径发送和接收数据。视频编码解码器可以是基于硬件或者完全或者部分基于软件，在这种情况下CODEC包括用于根据需要控制MCU执行视频编码和解码功能的计算机程序。MCU使用RAM作为它的工作存储器。移动通信设备可以通过视频相机捕获运动视频、使用MCU、RAM和基于CODEC的软件对运动视频进行编码和打包。RF块然后用来与其它方交换编码的视频。

图10示出了视频通信系统100，该系统包括多个移动通信设备MS、移动电信网络110、因特网120、视频服务器130和连接到因特网的固定PC。视频服务器具有视频编码器并且可以提供随需视频流如天气预报或者新闻。

应当不言而喻，本发明不仅限于上文呈现的实施例，但是可以在所附权利要求的范围内修改本发明。

Claims

1.一种对包括基础层和至少一个增强层的可缩放视频数据流进行编码的方法，所述方法包括：

对在层的时间位置包括至少一个非必需画面的可缩放数据流进行编码，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面进行的解码无需所述非必需画面；以及

在所述可缩放视频数据流中用信号发送所述至少一个非必需画面的信息。

2.根据权利要求1所述的方法，其中所述一个或者多个增强层包括一个或者多个空间增强层、质量增强层或者细颗粒度可缩放(FGS)增强层。

3.根据权利要求1所述的方法，其中在所述可缩放数据流的部分内执行所述信号发送。

4.根据权利要求3所述的方法，其中在补充增强信息(SEI)消息中执行所述信号发送。

5.一种对包括基础层和至少一个增强层的可缩放视频数据流进行解码的方法，所述方法包括：

对与可缩放数据流一起接收的信号发送信息进行解码，所述信号发送信息包括与在层的时间位置的至少一个非必需画面有关的信息；以及

在不对所述非必需画面进行解码的情况下在所述时间位置和按照解码顺序继所述时间位置之后对在所述非必需画面以上的层中的画面进行解码。

6.根据权利要求5所述的方法，其中所述一个或者多个增强层包括一个或者多个空间增强层、质量增强层或者细颗粒度可缩放(FGS)增强层。

7.根据权利要求5所述的方法，其中在所述可缩放数据流的部分内接收所述信号发送信息。

8.根据权利要求7所述的方法，其中在补充增强信息(SEI)消息中接收所述信号发送信息。

9.一种用于对包括基础层和至少一个增强层的可缩放视频数据流进行编码的视频编码器，所述视频编码器包括：

用于对在层的时间位置包括至少一个非必需画面的可缩放数据流进行编码的装置，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面进行的解码无需所述非必需画面；以及

用于在所述可缩放视频数据流中包括所述至少一个非必需画面的信息的装置。

10.根据权利要求9所述的视频编码器，其中所述至少一个非必需画面的信息被布置用以在所述可缩放数据流的部分内用信号来发送。

11.根据权利要求10所述的视频编码器，其中所述至少一个非必需画面的信息被布置用以在补充增强信息(SEI)消息中用信号来发送。

12.一种用于对包括基础层和至少一个增强层的可缩放视频数据流进行解码的视频解码器，所述视频解码器包括：

用于对与可缩放数据流一起接收的信号发送信息进行解码的装置，所述信号发送信息包括与在层的时间位置的至少一个非必需画面有关的信息；以及

用于在不对所述非必需画面进行解码的情况下在所述时间位置和按照解码顺序继所述时间位置之后对在所述非必需画面以上的层中的画面进行解码的装置。

13.根据权利要求12所述的视频解码器，其中所述信号发送信息被布置用以从所述可缩放数据流的部分来解码。

14.根据权利要求13所述的视频解码器，其中所述信号发送信息被布置用以从补充增强信息(SEI)消息来进行解码。

15.一种用于对包括基础层和至少一个增强层的可缩放视频数据流进行编码的电子设备，所述设备包括视频编码器，所述视频编码器包括：

16.一种用于对包括基础层和至少一个增强层的可缩放视频数据流进行解码的电子设备，所述设备包括视频解码器，所述视频解码器包括：

17.根据权利要求15所述的电子设备，其中所述电子设备是如下设备之一：移动电话、计算机、PDA设备、用于数字电视机系统的机顶盒、游戏控制台、媒体播放器或者电视机。

18.一种计算机程序产品，存储于计算机可读介质上并且可在数据处理设备中执行，用于对包括基础层和至少一个增强层的可缩放视频数据流进行编码，所述计算机程序产品包括：

用于对在层的时间位置包括至少一个非必需画面的可缩放数据流进行编码的计算机程序代码部分，其中在所述时间位置和按照解码顺序继所述时间位置之后对上层中的画面进行的解码无需所述非必需画面；以及

用于在所述可缩放视频数据流中包括所述至少一个非必需画面的信息的计算机程序代码部分。

19.一种计算机程序产品，存储于计算机可读介质上并且可在数据处理设备中执行，用于对包括基础层和至少一个增强层的可缩放视频数据流进行解码，所述计算机程序产品包括：

用于对与可缩放数据流一起接收的信号发送信息进行解码的计算机程序代码部分，所述信号发送信息包括与在层的时间位置的至少一个非必需画面有关的信息；以及

用于在不对所述非必需画面进行解码的情况下在所述时间位置和按照解码顺序继所述时间位置之后对在所述非必需画面以上的层中的画面进行解码的计算机程序代码部分。

20.一种实施可缩放视频数据流的数据结构，包括：

视频数据基础层；

至少一个视频数据增强层；

在层的时间位置的至少一个非必需画面，所述非必需画面对于在所述时间位置和按照解码顺序继所述时间位置之后对上层中的目标画面进行的解码而言是不需要的；以及

标识所述至少一个非必需画面的指示数据。

21.根据权利要求20所述的数据结构，其中所述指示数据包括：

至少一个目标画面的第一指示；

用于所述目标画面的至少一个非必需画面的第二指示；以及

所述至少一个非必需画面的质量级别的第三指示。

22.根据权利要求20所述的数据结构，其中所述指示数据与作为补充增强信息(SEI)消息的所述可缩放数据流的部分相关联。

23.根据权利要求16所述的电子设备，其中所述电子设备是如下设备之一：移动电话、计算机、PDA设备、用于数字电视机系统的机顶盒、游戏控制台、媒体播放器或者电视机。