CN101662683B - 空间可缩放视频解码方法和空间可缩放视频解码器 - Google Patents

Abstract

本发明提供了空间可缩放视频编码器和解码器、和用于可缩放视频编码和解码的相应方法。用于位流的空间可缩放视频解码的方法包含：根据位流首标中的语法字段，确定使用编码在位流中的运动向量还是使用运动向量除以缩放因子的商。

Description

空间可缩放视频解码方法和空间可缩放视频解码器

本申请是申请日为2006年3月20日、申请号为200680012355.6、发明名称为“空间可缩放视频编码和解码的切片自适应运动向量编码的方法和装置”的发明专利申请的分案申请。

交叉参考相关申请

本申请要求2005年4月14日提出和发明名称为“SLICE ADAPTIVEMOTION VECTOR CODING FOR SPATIAL SCALABLE VIDEO CODEC”的美国临时专利申请第60/671,257号的权益，特此全文引用，以供参考。

技术领域

本发明一般涉及视频编码器和解码器，尤其涉及用于空间可缩放(scalable)视频编码和解码的切片自适应(slice adaptive)运动向量编码的方法和装置。

背景技术

人们希望可缩放视频编码方案可以不招致同时联播编码的位速率损失地支持不同的应用和解码器要求。对于应用运动估计和补偿消除时间冗余的许多现有可缩放编码方案，用于编码运动向量的现有技术措施存在一些缺陷。一般说来，使用两种方法编码运动向量：不可缩放运动向量编码和可缩放运动向量编码。在不可缩放运动向量编码方案中，以最高增强层的精度编码运动向量和将运动向量存储在基本层中。然后，对于较低层，需要下取样运动向量。在可缩放运动向量编码方案中，在每个较高层上编码较低层运动向量的提炼部分，以便编码运动向量代表那个较高层的运动向量精度。对于总位速率编码效率，不可缩放运动向量编码比可缩放运动向量编码具有更好效率，但是，不可缩放运动向量编码将运动向量的所有位都放在基本层中。因此，如果要求位速率可缩放性，不可缩放运动向量编码可以伤害基本层质量。由于不可缩放运动向量编码需要较低层的下取样，可以引起基本层不是标准顺从的问题。一些解码器可能无法支持这样的特征。另一方面，如果像在广播视频应用中那样，不要求位速率可缩放性，而是要求复杂性和总位速率编码效率，不可缩放运动向量编码可以具有更好的编码效率。

在MPEG-2和MPEG-4标准的可缩放性轮廓下，可缩放性的许多不同方法已得到广泛研究和标准化，包括SNR可缩放性、空间可缩放性、时间可缩放性、和细粒可缩放性。可缩放编码中的大多数工作都是针对低分辨率层具有有限带宽的位速率可缩放性的。如图1所示，典型空间可缩放性系统用附图标记100概括表示。该系统100包括接收视频序列的复杂性可缩放视频编码器110。复杂性可缩放视频编码器110的第一输出端在信号通信中与低带宽网络120和与多路复用器130的第一输入端连接。复杂性可缩放视频编码器110的第二输出端在信号通信中与多路复用器130的第二输入端连接。低带宽网络120在信号通信中与低分辨率解码器140的输入端连接。多路复用器130的输出端在信号通信中与高带宽网络150的输入端连接。高带宽网络150的输出端在信号通信中与多路分用器160的输入端连接。多路分用器160的第一输出端在信号通信中与高分辨率解码器170的第一输入端连接，和多路分用器160的第二输出端在信号通信中与高分辨率解码器170的第二输入端连接。低分辨率解码器140的输出端可用作系统100基本层位流的输出端，和高分辨率解码器170的输出端可用作系统100可缩放位流的输出端。

由于在编码器和解码器复杂性方面增加相当多，和由于可缩放编码器的效率通常远低于不可缩放编码器的编码效率，可缩放编码在实际中还没有被广泛采用。

空间可缩放编码器和解码器通常要求高分辨率可缩放编码器/解码器提供除在常规高分辨率编码器和解码器中给出的之外的附加功能。在MPEG-2空间可缩放编码器中，从低分辨率参考画面中或从高低分辨率参考画面中判定是否进行预测。MPEG-2空间可缩放解码器必须能够从低分辨率参考画面或高低分辨率参考画面中预测。MPEG-2空间可缩放编码器/解码器需要两组参考画面存储器，一组用于低分辨率画面，另一种用于高分辨率画面。图2示出了根据现有技术、支持两个层的低复杂性空间可缩放编码器200的方块图。图3示出了根据现有技术、支持两个层的低复杂性空间可缩放编码器300的方块图。

转到图2，支持两个层的空间可缩放视频编码器用附图标记200概括表示。视频编码器200包括接收高分辨率输入视频序列的下取样器210。下取样器210在信号通信中与低分辨率不可缩放编码器212耦合，低分辨率不可缩放编码器212在信号通信中又与低分辨率帧存储器214耦合。低分辨率不可缩放编码器212输出低分辨率位流，和在信号通信中进一步与低分辨率不可缩放解码器220耦合。

低分辨率不可缩放解码器220在信号通信中与上取样器230耦合，上取样器230在信号通信中又与可缩放高分辨率编码器240耦合。可缩放高分辨率编码器240还接收高分辨率输入视频序列，在信号通信中与高分辨率帧存储器250耦合，和输出高分辨率可缩放位流。低分辨率不可缩放编码器212的输出端和可缩放高分辨率编码器240的输出端可用作空间可缩放视频编码器200的输出端。

因此，高分辨率输入视频序列被低复杂性编码器200接收和下取样，生成低分辨率视频序列。利用不可缩放低分辨率视频压缩编码器编码低分辨率视频序列，生成低分辨率位流。利用不可缩放低分辨率视频压缩解码器解码低分辨率位流。这种功能可以在编码器内部执行。解码低分辨率位流被上取样，作为两个输入之一提供给可缩放高分辨率编码器。可缩放高分辨率编码器编码该视频，生成高分辨率可缩放位流。

转到图3，支持两个层的空间可缩放视频解码器用附图标记300概括表示。视频解码器300包括接收低分辨率位流的低分辨率解码器360，低分辨率解码器360在信号通信中与低分辨率帧存储器362耦合，和输出低分辨率视频序列。低分辨率解码器360在信号通信中进一步与上取样器370耦合，上取样器370在信号通信中又与可缩放高分辨率解码器380耦合。

可缩放高分辨率解码器380在信号通信中进一步与高分辨率帧存储器390耦合。可缩放高分辨率解码器380接收高分辨率可缩放位流和输出高分辨率视频序列。低分辨率解码器360的输出端和可缩放高分辨率解码器380的输出端可用作空间可缩放视频解码器300的输出端。

因此，低复杂性解码器300接收高分辨率可缩放位流和低分辨率位流。利用使用低分辨率帧存储器的不可缩放低分辨率视频压缩解码器解码低分辨率位流。解码低分辨率视频被上取样，然后输入高分辨率可缩放解码器中。高分辨率可缩放解码器使用一组高分辨率帧存储器，和生成高分辨率输出视频序列。

转到图4，不可缩放视频编码器用附图标记400概括表示。到视频编码器400的输入端在信号通信中与求和接点410的非反相输入端连接。求和接点410的输出端在信号通信中与变换器/量化器420连接。变换器/量化器420的输出端在信号通信中与熵编码器440连接。熵编码器440的输出端可用作编码器400的输出端。

变换器/量化器420的输出端在信号通信中进一步与逆变换器/量化器450连接。逆变换器/量化器450的输出端在信号通信中与解块滤波器460的输入端连接。解块滤波器460的输出端在信号通信中与参考画面存储器470连接。参考画面存储器470的第一输出端在信号通信中与运动估计器480的第一输入端连接。到编码器400的输入端在信号通信中进一步与运动估计器480的第二输入端连接。运动估计器480的输出端在信号通信中与运动补偿器490的第一输入端连接。参考画面存储器470的第二输出端在信号通信中与运动补偿器490的第二输入端连接。运动补偿器490的输出端在信号通信中与求和接点410的反相输入端连接。

转到图5，不可缩放视频解码器用附图标记500概括表示。视频解码器500包括接收视频序列的熵解码器510。熵解码器510的第一输出端在信号通信中与逆量化器/变换器520的输入端连接。逆量化器/变换器520的输出端在信号通信中与求和接点540的第一输入端连接。

求和接点540的输出端在信号通信中与解块滤波器590连接。解块滤波器590的输出端在信号通信中与参考画面存储器550连接。参考画面存储器550在信号通信中与运动补偿器560的第一输入端连接。运动补偿器560的输出端在信号通信中与求和接点540的第二输入端连接。熵解码器510的第二输出端在信号通信中与运动补偿器560的第二输入端连接。解块滤波器590的输出端可用作视频解码器500的输出端。

人们建议，将H.264/MPEG AVC推广到使用降低分辨率更新(RRU)模式。RRU模式通过在进行全分辨率画面的运动估计和补偿的同时，减少要编码的残余宏块(MB)的数量提高低位速率的编码效率。转到图6，降低分辨率更新(RRU)视频编码器用附图标记600概括表示。到视频编码器600的输入端在信号通信中与求和接点610的非反相输入端连接。求和接点610的输出端在信号通信中与下取样器612的输入端连接。变换器/量化器620的输入端在信号通信中与下取样器612的输出端或与求和接点610的输出端连接。变换器/量化器620的输出端在信号通信中与熵编码器640连接。熵编码器640的输出端可用作视频编码器600的输出端。

变换器/量化器620的输出端在信号通信中进一步与逆变换器/量化器620的输入端连接。逆变换器/量化器620的输出端在信号通信中与上取样器655的输入端连接。解块滤波器660的输入端在信号通信中与逆变换器/量化器620的输出端或与与上取样器655的输出端连接。解块滤波器660的输出端在信号通信中与参考画面存储器670的输入端连接。参考画面存储器670的第一输出端在信号通信中与运动估计器680的第一输入端连接。到编码器600的输入端在信号通信中进一步与运动估计器680的第二输入端连接。运动估计器680的输出端在信号通信中与运动补偿器690的第一输入端连接。参考画面存储器670的第二输出端在信号通信中与运动补偿器690的第二输入端连接。运动补偿器690的输出端在信号通信中与求和接点610的反相输入端连接。

转到图7，降低分辨率更新(RRU)视频解码器用附图标记700概括表示。视频解码器700包括接收视频序列的熵解码器710。熵解码器710的输出端在信号通信中与逆量化器/变换器720的输入端连接。逆量化器/变换器720的输出端在信号通信中与上取样器722的输入端连接。上取样器722的输出端在信号通信中与求和接点740的第一输入端连接。

求和接点740的输出端在信号通信中与解块滤波器790连接。解块滤波器790的输出端在信号通信中与全分辨率参考画面存储器750的输入端连接。解块滤波器790的输出端还可用作视频解码器700的输出端。全分辨率参考画面存储器750的输出端在信号通信中与运动补偿器760连接，运动补偿器760在信号通信中与求和接点740的第二输入端连接。

人们建议，利用RRU概念设计复杂性可缩放编解码器。这里为支持两种不同层次的解码器复杂性和分辨率的系统提供了一个例子。低分辨率解码器具有较小的显示尺寸和具有非常严格的解码器复杂性约束。全分辨率解码器具有较大的显示尺寸和较不严格但仍然重要解码器复杂性约束。广播或多播系统发送两种位流，即，位速率BR_base的基本层和位速率BR_enhan-的增强层。两种位流可以多路复用一起，以单种传输流发送。转到图8，复杂性可缩放性广播系统用附图标记800概括表示。系统800包括复杂性可缩放视频编码器810。复杂性可缩放视频编码器810的第一输出端在信号通信中与多路复用器820的第一输入端连接。复杂性可缩放视频编码器810的第二输出端在信号通信中与多路复用器820的第二输入端连接。多路复用器320的输出端在信号通信中与网络830连接。网络830的输出端在信号通信中与第一多路分用器840的输入端和与第二多路分用器860的输入端连接。第一多路分用器840的输出端在信号通信中与低分辨率解码器850的输入端连接。第二多路分用器860的第一输出端在信号通信中与全分辨率解码器870的第一输入端连接。第二多路分用器860的第二输出端在信号通信中与全分辨率解码器870的第二输入端连接。低分辨率解码器850的输出端可用作系统800基本层位流的输出端，和全分辨率解码器870的输出端可用作系统800可缩放位流的输出端。

低分辨率解码器850只处理基本层位流，而全分辨率解码器870处理基本层位流和增强层位流两者。RRU用在可以在解码器上以不同复杂性解码成低分辨率和高分辨率序列两者的基本层中。增强层位流包括加入利用全分辨率运动补偿完成、解码基本层位流的结果中的全分辨率误差信号。增强层的位速率可以结束在比基本层的位速率低的位速率上，这不同于基本层位速率与增强层位速率相比通常较小的典型空间可缩放性情况。全分辨率误差信号未必每个编码宏块或切片/画面都发送。

发明内容

现有技术的这些和其它缺点和不足可以通过本发明解决，本发明的目的在于提供用于空间可缩放视频编码和解码的切片自适应运动向量编码的方法和装置。

根据本发明的一个方面，提供了用于空间可缩放视频编码的方法。该方法包括逐个切片地在运动向量的可缩放编码和不可缩放编码之间选择。

根据本发明的另一个方面，提供了空间可缩放视频编码器。该空间可缩放视频编码器包括逐个切片地进行运动向量的可缩放编码和不可缩放编码之间的选择的编码器。

根据本发明的又一个方面，提供了用于位流的空间可缩放视频解码的方法。该方法包括根据位流首标中的语法字段，确定使用编码在位流中的运动向量还是使用运动向量除以缩放因子的商。

根据本发明的再一个方面，提供了用于解码位流的空间可缩放视频解码器。该可缩放视频解码器包括根据位流首标中的语法字段，确定使用编码在位流中的运动向量还是使用运动向量除以缩放因子的商的解码器。

通过结合附图对本发明的示范性实施例进行如下详细描述，本发明的这些和其它方面、特征和优点将变得显而易见。

附图说明

本发明可以按照如下示范性图形得到更好理解，其中：

图1示出了根据现有技术的典型空间可缩放性系统的方块图；

图2示出了根据现有技术、支持两个层的空间可缩放编码器的方块图；

图3示出了根据现有技术、支持两个层的空间可缩放解码器的方块图；

图4示出了根据现有技术、在H.264/MPEG AVC标准下使用的常规不可缩放视频编码器的方块图；

图5示出了根据现有技术、在H.264/MPEGAVC标准下使用的常规不可缩放视频解码器的方块图；

图6示出了根据现有技术的降低分辨率更新(RRU)视频编码器的方块图；

图7示出了根据现有技术的降低分辨率更新(RRU)视频解码器的方块图；

图8示出了根据现有技术的复杂性可缩放性广播系统的方块图；

图9示出了按照本原理实施例的可以应用本原理的示范性低分辨率复杂性可缩放视频解码器的方块图；

图10示出了按照本原理实施例的可以应用本原理的示范性高分辨率复杂性可缩放视频解码器的方块图；

图11示出了按照本原理实施例的可以应用本原理的示范性复杂性可缩放视频编码器的方块图；

图12示出了有关按照本原理示范性实施例的复杂性可缩放性的图形；

图13示出了按照本原理的空间可缩放视频编码器的自适应运动向量编码的一种示范性方法的流程图；

图14示出了按照本原理的空间可缩放视频编码器的自适应运动向量编码的另一种示范性方法的流程图；

图15示出了按照本原理的空间可缩放视频编码器的自适应运动向量编码的又一种示范性方法的流程图；

图16A示出了按照本原理的空间可缩放视频解码器的分析切片首标的示范性方法的流程图；和

图16B示出了按照本原理的空间可缩放视频解码器的运动向量解码的示范性方法的流程图。

具体实施方式

本发明的目的在于提供用于空间可缩放视频编码和解码的切片自适应运动向量编码的方法和装置。也就是说，在运动向量的可缩放编码和不可缩放编码之间进行切片自适应选择。应该认识到，这里使用的“运动向量的可缩放编码”指的是在每个较高层上编码较低层运动向量的提炼部分，以便编码运动向量代表那个较高层的运动向量精度。

应该认识到，切片自适应选择可以基于包括(但不局限于)基本层兼容性、位速率可缩放性、总位速率编码效率和复杂性的考虑。在已知这里提供的本原理的教义的情况下，这些和其它考虑也可以在保持本原理范围的同时按照本原理实现。

在应用运动估计和补偿消除时间冗余的大多数可缩放视频编码方案中，应该对为运动向量编码采取的措施给予适当考虑。按照本原理，提供了允许在空间可缩放视频编码器和/或解码器的不可缩放运动向量和可缩放运动向量之间作出自适应选择的方法和装置。这里公开的方法和装置可以为总位速率编码效率、位速率或复杂性可缩放和解码器要求提供更好的折衷。

本描述例示了本发明的原理。应该认识到，本领域的普通技术人员能够设计出尽管这里未明确描述或示出，但体现本发明原理和包括在本发明的精神和范围内的各种各样布置。

这里叙述的所有例子和条件语言旨在帮助读者理解本发明人为推动技术进步而贡献的本发明的原理和概念，而不应该理解为局限于这样具体叙述的例子和条件。

此外，这里叙述本发明的原理、方面和实施例，以及本发明的特例的所有语句旨在包含它们的结构和功能两者的等效物。另外，这样的等效物旨在包括当前已知的等效物，以及未来开发的等效物，即，开发出来与结构无关地执行相同功能的任何单元。

因此，例如，本领域的普通技术人员应该认识到，这里给出的方块图代表体现本发明原理的例示性电路的概念图。类似地，应该认识到，任何流程图、作业图、状态转变图、伪代码等都代表基本上可以表示在计算机可读媒体中，因此可以由计算机或处理器执行，无论这样的计算机或处理器是否明确示出的进程。

如图所示的各种单元的功能可以通过与适当软件相联系使用专用硬件以及能够执行软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器，由单个共享处理器，或由其中一些可以共享的数个单独处理器提供。此外，明确地使用术语“处理器”或“控制器”不应该理解为唯一地指能够执行软件的硬件，也可以隐含地包括数字信号处理器(“DSP”)硬件、存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM ”)、和非易失性存储设备(不限于这些)。

也可以包括其它硬件，传统的和/或定制的。类似地，如图所示的开关只是概念性的。它们的功能可以通过操作程序逻辑、通过专用逻辑、通过程序逻辑和专用逻辑的相互作用，或甚至人工实现，正如从上下文中更准确理解的那样，具体的技术可由实现者选择。

在本发明的权利要求书中，表达成执行特定功能的工具的任何单元旨在包含执行那种功能的任何方式，包括a)执行那种功能的电路单元的组合或b)任何形式的软件，因此，包括与执行那种软件的适当电路结合执行那种功能的固件、微码等。如通过这样权利要求书定义的发明基于以权利要求书要求的方式将各种所述工具提供的功能组合和聚集在一起的事实。因此认为，可以提供那些功能的任何工具都等效于这里所示的那些。

如上所述，本原理的目的在于提供支持空间可缩放视频编码和/或解码的基于切片自适应判决运动向量(MV)编码的方法和装置。应该认识到，为了例示的目的，这里参照国际电信联盟的电信部分(ITU-T)H.264标准(下文称为“H.264标准”)描述按照本原理的方法和装置。但是，应该认识到，按照本原理的实现不只局限于H.264标准，因此，按照本原理，也可以应用其它视频编码和解码标准。也就是说，在已知这里提供的本原理的教义的情况下，本领域的普通技术人员可以在保持本原理范围的同时，设想出与H.264标准以及与其它视频编码和解码标准有关的本发明原理的应用。

转到图9，低分辨率复杂性可缩放视频解码器用附图标记900概括表示。视频解码器900包括接收视频序列的熵解码器910。熵解码器910的第一输出端在信号通信中与逆量化器/变换器920的输入端连接。逆量化器/变换器920的输出端在信号通信中与求和接点940的第一输入端连接。

求和接点940的输出端在信号通信中与解块滤波器990连接。解块滤波器990的输出端在信号通信中与参考画面存储器950的输入端连接。解块滤波器990的输出端也可用作视频解码器900的输出端。参考画面存储器950的输出端在信号通信中与运动补偿器960的第一输入端连接。运动补偿器960的输出端在信号通信中与求和接点940的第二输入端连接。熵解码器910的第二输出端在信号通信中与运动向量(MV)分辨率降低器999的输入端连接。MV分辨率降低器999的输出端在信号通信中与运动补偿器960的第二输入端连接。

在解码器900中，熵解码基本层位流。运动向量被缩放和四舍五入，将它们的精度降低成与低分辨率相对应。这种低分辨率可缩放解码器的复杂性与不可缩放解码器的复杂性非常类似，因为运动向量的缩放具有非常低的复杂性。如果将因子2用在低分辨率和全分辨率之间每维的分辨率比中，那么，视在系统中选择向上舍入还是向下舍入而定，可以只有右移或相加和右移地实现四舍五入。

转到图10，高分辨率复杂性可缩放视频解码器用附图标记1000概括表示。视频解码器1000包括接收基本层位流的第一熵解码器1005。第一熵解码器1005的输出端在信号通信中与第一逆量化器/变换器1010的输入端连接。第一逆量化器/变换器1010的输出端在信号通信中与上取样器1015的输入端连接。上取样器1015的输出端在信号通信中与第一求和接点1020的第一输入端连接。

第一求和接点1020的输出端在信号通信中与第二求和接点1025的第一输入端连接。全分辨率参考画面存储器1030的输出端在信号通信中与运动补偿器1035的第一输出端连接。熵解码器1005的第二输出端(输出运动向量(MV))在信号通信中与运动补偿器1035的第二输入端连接。运动补偿器1035的输出端在信号通信中与第一求和接点1020的第二输入端连接。

第二熵解码器1040的输入端用于接收增强层位流。第二熵解码器1040的输出端在信号通信中与第二逆量化器/变换器1045的输入端连接。第二逆量化器/变换器1045的输出端在信号通信中与第二求和接点1025的第二输入端连接。

到解块滤波器1050的输入端在信号通信中与第一求和接点1020的输出端或与第二求和接点1025的输出端连接。。解块滤波器1050的输出端在信号通信中与全分辨率参考画面存储器1030的输入端连接。解块滤波器1050的输出端也可用作视频解码器1000的输出端。

解码器1000对基本层位流操作的部分与RRU解码器类似。在熵解码以及逆量化和逆变换之后，上取样残余部分。将运动补偿应用于全分辨率参考画面形成全分辨率预测部分，并且将上取样残余部分加入预测部分中。如果在增强层位流中存在全分辨率误差信号，对它进行熵解码以及逆量化和变换，然后加入RRU重构信号中。然后应用解块滤波器。

转到图11，复杂性可缩放视频编码器用附图标记1100概括表示。到视频编码器1100的输入端在信号通信中与第一求和接点1105的非反相输入端连接。第一求和接点1105的输出端在信号通信中与下取样器1112的输入端连接。下取样器1112的输出端在信号通信中与第一变换器/量化器1115的输入端连接。第一变换器/量化器1115的输出端在信号通信中与第一熵编码器1120的输入端连接。第一熵编码器1120的输出端可用作编码器1100基本层位流的输出端。

第一变换器/量化器1115的输出端在信号通信中进一步与第一逆变换器/量化器1125的输入端连接。第一逆变换器/量化器1125的输出端在信号通信中与上取样器1155连接。上取样器1155的输出端在信号通信中与第二求和接点1160的反相输入端和与第三求和接点1165的第一非反相输入端连接。

到视频编码器1100的输入端在信号通信中进一步与第二求和接点1160的非反相输入端连接。第二求和接点1160的输出端在信号通信中与开关1162的输入端连接。开关1162的输出端在信号通信中与到第二变换器/量化器1170的输入端连接。第二变换器/量化器1170的输出端在信号通信中与第二熵编码器1175的输入端连接。第二熵编码器1175的输出端可用作编码器1100增强层位流的输出端。第二变换器/量化器1170的输出端在信号通信中进一步与第二逆变换器/量化器1180的输入端连接。第二逆变换器/量化器1180的输出端在信号通信中与第三求和接点1165的第二非反相输入端连接。

到视频编码器1100的输入端在信号通信中还进一步与运动估计器1185的第一输入端连接。运动估计器1185的输出端在信号通信中与运动补偿器1190的第一输入端连接。运动补偿器1190的输出端在信号通信中与第一求和接点1105的反相输入端连接。全分辨率参考画面存储器1192的第一输出端在信号通信中与运动估计器1185的第二输入端连接。全分辨率参考画面存储器1192的第二输出端在信号通信中与运动补偿器1190的第二输入端连接。全分辨率参考画面存储器1192的输入端在信号通信中与解块滤波器1195连接。解块滤波器1195的输入端在信号通信中与开关1191的输出端连接。开关1191的另一个输入端在信号通信中与第三求和接点165的输出端连接。

编码器1100试图优化全分辨率视频质量，而不是低分辨率视频质量。对全分辨率视频画面进行运动估计。在从输入画面中减去运动补偿预测部分之后，下取样预测残余部分。与RRU编解码器不同，将下取样应用于所有画面，以便低分辨率解码器可以总是含有要解码的画面。变换和量化、和熵编码下取样残余部分。这样就形成了基本层位流。应用逆量化器和逆变换器，然后将编码残余部分上取样回到全分辨率。编码器1100可以选择是否发送画面或切片的增强层全分辨率误差信号。一般说来，为所有I切片编码增强层全分辨率误差信号，并且，当全分辨率输入画面减去解码上取样画面时，可以根据误差信号的幅度可选地为P和B切片发送增强层全分辨率误差信号。如果要编码增强层全分辨率误差信号，从输入全分辨率画面中减去编码基本层上取样编码画面。然后，量化、变换和熵编码该差值，形成增强层位流。增强层位流可以看作只包含内部编码切片。因此，在这种基于RRU复杂性可缩放视频编码方案中，不可缩放编码运动向量。

转到图12，按照本发明原理的复杂性可缩放性用附图标记1200概括表示。复杂性可缩放性1200牵涉到基本层1210和增强层1220。牵涉的画面类型包括I画面1230、P画面1240、EI画面1250、EP画面1260、和EB画面1270。两层中的P画面1240从相同位流中但利用不同解码技术解码。

应该认识到，这里按照本发明原理针对编码和/或解码视频信号数据所述的方法，例如，图13、14、15、16A、和16B在这里被描述成例示本原理的各个示范性方面。但是，应该进一步认识到，为了清楚和简洁起见，可能省略了与编码和/或解码有关的一些已知和/或容易确定步骤。

转到图13，用于空间可缩放视频编码器的自适应运动向量编码的一种示范性方法用附图标记1300概括表示。开始块1305开始基本层编码，并且将控制传递给判决块1310。判决块1310根据，例如，应用和/或解码器准则(例如，要使用的粗粒(coarse)可缩放性)，逐个切片地确定是否利用不可缩放编码(或可缩放编码)编码运动向量。如果不是，那么将控制传递给功能块1315。否则，将控制传递给功能块1325。

功能块1315将P运动向量编码成可缩放的和将B运动向量编码成不可缩放的，并且将控制传递给功能块1320。功能块1320在P切片首标中等于0和在B切片首标中将non_scalable_mv_coding_fag设置成等于1。

功能块1325将P和B运动向量编码成不可缩放的，并且将控制传递给功能块1330。功能块1330在P和B切片首标两者中将non_scalable_mv_coding_flag设置成都等于1。

转到图14，用于空间可缩放视频编码器的自适应运动向量编码的另一种示范性方法用附图标记1400概括表示。开始块1405开始基本层编码，并且将控制传递给功能块1410。功能块1410进行速率失真(RD)判决，以确定可缩放编码还是不可缩放编码运动向量(MV)，并且将控制传递给判决块1415。判决块1415确定是否使用粗粒可缩放性。如果不是，那么，将控制传递给功能块1420。否则，将控制传递给功能块1425。

功能块1420在切片首标中将non_scalable_mv_coding_flag设置成等于0。功能块1425在切片首标中将non_scalable_mv_coding_flag设置成等于1。

转到图15，用于空间可缩放视频编码器的自适应运动向量编码的又一种示范性方法用附图标记1500概括表示。开始块1505开始基本层编码，并且将控制传递给功能块1510。功能块1510将基本层切片的运动向量编码成不可缩放的，并且将控制传递给功能块1515。功能块1515在切片首标中将non_scalable_mv_coding_flag设置成等于1。

转到图16A，用于空间可缩放视频解码器的运动向量解码的示范性方法用附图标记1600概括表示。图16A的方法1600涉及按照本原理分析切片首标。

开始块1605开始基本层解码，并将控制传递给判决块1610。判决块1610确定Profile_idc＝＝XX&&slicejype！＝I_SLICE&&slicejype ！＝SI_SLICE是否成立。如果是，那么，将控制传递给功能块1615。否则，将控制传递给功能块1620。

功能块1615分析non_scalable_mv_coding_flag，并且将控制传递给功能块1620。功能块1620分析切片首标的其它单元。

转到图16B，用于空间可缩放视频解码器的分析切片首标的示范性方法用附图标记1650概括表示。图16B的方法1650涉及按照本原理解码宏块运动向量。

开始块1655开始基本层解码，并且将控制传递给判决块1660。判决块1660确定non_scalable_mv_coding_flag是否等于1。如果是，那么，将控制传递给功能块1665。否则，将控制传递给功能块1670。

功能块1665用2缩放运动向量，以便

Mvl_0[mbPartldx][subMbPartldx]＝(mvl_0+1)＞＞1

Mvl_1[mbPartldx][subMbPartldx]＝(mvl_1+1)＞＞1，并且将控制传递给功能块1670。功能块1670继续解码宏块。

对于现有H.264标准，如与H.264切片首标有关的表1所示，加入一个语法单元non_scalable_mv_coding_flag。可以推测，在例如(但不局限于)H.264标准的未来轮廓下，可以支持参照表1所述的特征。按照本原理，编码器可以，例如，逐个切片地或逐个帧地根据，例如，向后兼容性和编码效率要求决定可缩放还是不可缩放编码运动向量。应该认识到，在已知这里提供的本原理的教义的情况下，也可应用其它基础和其它要求在保持本原理范围的同时，进行利用可缩放编码或不可缩放编码的编码运动向量之间的自适应选择。

表1

sllce_header(){	C	Descriptor
			first_mb_in_slice	2	ue(v)
slice_type	2	ue(v)
			pic_parameter_set_id	2	ue(v)
frame_num	2	u(v)
			/＊non-scalable mv coding parameters＊/
if(profile_idc＝＝XX&&slice_type！＝I_SLICE&&slice_typel＝SI_SLICE)
			{
non_scalable_mv_coding_flag	2	u(1)
			}
/＊end of non-scalable mv coding parameters＊/
			if(！frame_mbs_only_flag){
field_pic_flag	2	u(1)
			if(fleld_pic_flag)
bottom_field_flag	2	u(1)
			}
if(nal_unit_type＝＝5)
			idr_pic_id	2	ue(v)
if(pic_order_cnt_type＝＝0){
			pic_order_cnt_lsb	2	u(v)
if(pic_order_present_flag&&！field_plc_flag)
			delta_pic_order_cnt_bottom	2	se(v)
}
			if(pic_order_cnt_type＝＝1&&Idelta_pic_order_alwayszero_flag){

delta_pic_order_cnt[0]	2	se(v)
			if(pic_order_present_flag&&！field_pic_flag)
delta_pic_order_cnt[1]	2	se(v)
			}
if(redundant_pic_cnt_present_flag)
			redundant_pic_cnt	2	ue(v)
if(slice_type＝＝B)
			direct_spatial_mv_pred_flag	2	u(1)
if(slice_type＝＝P||slice_type＝＝SP||slice_type＝＝B){
			num_ref_idx_active_override_flag	2	u(1)
if(num_ref_idx_active_override_flag){
			num_ref_idx_l0_active_minus1	2	ue(v)
if(slice_type＝＝B)
			num_ref_idx_l1_active_minus1	2	ue(v)
}
			}
ref_pic_list_reordering()	2
			if((weighted_pred_flag&&(slice_type＝＝P||slice_type＝＝SP))||(weighted_bipred_idc＝＝1&&slice_type＝＝B))
pred_weight_table()	2
			if(nal_ref_idc！＝0)
dec_ref_pic_marking()	2
			if(entropy_coding_mode_flag&&slice_type！＝|&&slice_type！＝SI)
cabac_init_idc	2	ue(v)
			slice_qp_delta	2	se(v)
if(slice_type＝＝SP||slice_type＝＝SI){
			if(slice_type＝＝SP)

sp_for_switch_flag	2	u(1)
			slice_qs_delta	2	se(v)
}
			if(deblocking_filter_control_present_flag){
disable_deblocking_filter_idc	2	ue(v)
			if(disable_deblocking_filter_idc！＝1){
slice_alpha_c0_offset_div2	2	se(v)
			slice_beta_offset_div2	2	se(v)
}
			}
if(num_slice_groups_minus1＞0&&slice_group_map_type＞＝3&&slice_group_map_type＜＝5)
			slice_group_change_cycle	2	u(v)
}

当non_scalable_mv_coding_flag等于1时，这代表对于最高增强层，不可缩放编码运动向量(MV)。对于较低层，需要下取样MV，在假设两层空间可缩放性的情况下，这可以通过加1和右移1位实现。H.264标准下的相互预测处理公式修改成如下：

Mvl_0[mbPartldx][subMbPartldx]＝(mvl_0+1)＞＞1(8-112)

MVl_1[mbPartldx][subMbPartldx]＝(mvl_1+1)＞＞1(8-113)

当non_scalable_mv_coding_flag等于0时，这代表可缩放编码MV。在增强层中，将基本层MV上取样和用作预测因子，或将相同层中的相邻MV用作预测因子。

按照本原理，MV可以被最佳地编码成适合，例如，不同应用和解码器要求。

在按照本原理、下面也参照图13所述的一个例子中，如果对于解码器，希望基本层H.264兼容性，那么，可以根据可缩放性的粗粒度选择MV编码。如果对于基本层，只希望粗粒可缩放性或低帧速率，那么，解码器可以只解码I切片。然后，可以将不可缩放MV编码用于P和B切片两者。如果所需帧速率较高，那么，可以利用可缩放运动向量编码P切片和可以利用不可缩放运动向量编码B切片。

在按照本原理、下面也参照图14所述、希望位速率可缩放性的另一个例子中，编码器可以利用速率失真优化方法选择如何编码运动向量。如果解码器对于基本层解码，丢掉(drop)B切片，而编码器在基本层中编码P和B切片两者，那么，编码器可以将可缩放运动向量编码用于P切片，而将不可缩放运动向量编码用于B切片，以提高总编码效率。

在按照本原理、下面也参照图15所述、和目的在于复杂性可缩放编码的第三个例子中，由于总位速率编码效率和复杂性是所关心的，所以为P和B切片两者选择不可缩放运动向量编码，或将可缩放运动向量编码用于P切片，而将不可缩放运动向量编码用于B切片。可替代地，可以将可缩放运动向量编码用于P切片的一个子集，而将不可缩放运动向量编码用于其余P切片。第三个例子的一种可能实现显示在表2中。

表2例示了示范性运动向量编码。根据与上面第三个例子相对应的表2的例示性实施例，在基本层中，可缩放运动向量编码所有P画面，但在增强层中，不可缩放运动向量编码所有P画面。

表2

增强层

P

P

P

P

基本层

I

P

P

在按照本原理组合可缩放运动向量编码和不可缩放运动向量编码的另一种实现中，如果支持不止2层空间可缩放性，可缩放运动向量编码可以用于基本层，而不可缩放运动向量编码可以用于较高增强层。

现在对本发明的许多附带优点/特征的一些加以描述。例如，一个优点/特征是包括逐个切片地进行运动向量的可缩放编码和不可缩放编码之间的选择的编码器的空间可缩放视频编码器。另一个优点/特征是如上所述的空间可缩放视频编码器，其中，编码器根据预定应用和用于随后解码位流的解码器的至少一个的准则进行选择。此外，另一个优点/特征是如上所述的根据准则进行选择的空间可缩放视频编码器，其中，当解码器准则规定基本层顺从解码时，编码器根据基本层解码的解码器指定可缩放性细度水平进行选择。并且，另一个优点/特征是如上所述的根据解码器准则和基本层解码的解码器指定可缩放性细度水平进行选择的空间可缩放视频编码器，其中，编码器进行这样的选择，致使不可缩放编码P和B切片两者中的运动向量，或只不可缩放编码B切片中的运动向量，而可缩放编码P切片中的运动向量。此外，另一个优点/特征是如上所述的根据准则进行选择的空间可缩放视频编码器，其中，当解码器准则规定位速率可缩放性时，编码器利用速率失真优化方法进行选择。另外，另一个优点/特征是如上所述的根据准则和利用速率失真优化方法进行选择的空间可缩放视频编码器，其中，编码器进行这样的选择，致使当空间可缩放视频编码器在基本层中编码B切片和解码器被配置成丢掉B切片时，不可缩放编码B切片中的运动向量。此外，另一个优点/特征是如上所述的根据准则进行选择的空间可缩放视频编码器，其中，当空间可缩放视频编码器的编码准则包括总位速率编码效率和复杂性时，编码器进行这样的选择，致使不可缩放编码P和B切片两者中的运动向量，或只不可缩放编码B切片中的运动向量，而可缩放编码P切片中的运动向量。并且，另一个优点/特征是如上所述的根据准则进行选择的空间可缩放视频编码器，其中，当空间可缩放视频编码器支持不止2层空间可缩放性时，编码器进行这样的选择，致使将可缩放运动向量编码应用于基本层的运动向量，而将不可缩放运动向量编码应用于所有增强层的运动向量。此外，另一个优点/特征是如上所述的空间可缩放视频编码器，其中，编码器在切片首标中加入指示可缩放编码还是不可缩放编码切片中的运动向量的语法字段。另外，另一个优点/特征是解码位流的空间可缩放视频解码器，其中，空间可缩放视频解码器包括根据位流首标中的语法字段确定使用编码在位流中的运动向量还是使用运动向量除以缩放因子的商的解码器。

本领域的普通技术人员可以根据这里的教义容易地弄清本发明的这些和其它特征和优点。应该明白，本发明的教义可以以硬件、软件、固件、专用处理器或它们的组合的各种形式实现。

更可取的是，将本发明的教义实现成硬件和软件的组合。此外，该软件可以实现成有形地具体化在程序存储单元上的应用程序。该应用程序可以上载到包含任何适当结构的机器和由它执行。可取地，该机器在含有像一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)、和输入/输出“I/O”)接口那样的硬件的计算机平台上实现。该计算机平台还可以包括操作系统和微指令代码。这里所述的各种各样进程和功能可以是可由CPU执行的一部分微指令代码或一部分应用程序，或它们的任何组合。另外，像附加数据存储单元和打印单元那样的各种其它外围单元可以与计算机平台连接。

还应该明白，由于描绘在附图中的一些分系统部件和方法最好用软件实现，系统部件或进程功能块之间的实际连接可能随编程本发明的方式而不同。在已知这里的教义的情况下，本领域的普通技术人员能够设想出本发明的这些和类似实现或配置。

尽管这里参照附图描述了例示性实施例，但应该明白，本发明不局限于那些确切实施例，本领域的普通技术人员可以在不偏离本发明的范围或精神的前提下对它们作各种各样的改变和修改。所有这样的改变和修改都包括在如所附权利要求书限制的本发明的范围之内。

Claims (2)

1.一种用于位流的空间可缩放视频解码的方法，包含：

根据位流首标中的语法字段，确定使用编码在位流中的运动向量还是使用运动向量除以缩放因子的商，

其中，当语法字段表示不可缩放编码运动向量时确定使用运动向量除以缩放因子的商，而在语法字段表示可缩放编码运动向量时确定使用编码在位流中的运动向量。

2.一种用于解码位流的空间可缩放视频解码器，包含：

解码器(1000)，用于根据位流首标中的语法字段，确定使用编码在位流中的运动向量还是使用运动向量除以缩放因子的商，

其中，当语法字段表示不可缩放编码运动向量时确定使用运动向量除以缩放因子的商，而在语法字段表示可缩放编码运动向量时确定使用编码在位流中的运动向量。

Images