CN102113326A - 重叠块差异估计和补偿体系结构 - Google Patents

Abstract

描述了重叠块差异估计和补偿。通过重叠块差异补偿(OBDC)进行图像补偿包含确定在视频比特流中是否允许OBDC，以及确定对于与视频比特流中的第一宏块相邻的一个或多个宏块是否允许OBDC。该邻近宏块可被变换编码。如果在视频比特流中以及对于该一个或多个邻近宏块允许OBDC，则可对于具有与该一个或多个邻近宏块相邻的边缘的第一宏块的区域执行预测。可以因果地应用OBDC。可以在视图或层之间共享差异补偿参数或模式。可通过被因果应用的OBDC使用各种预测。

Description

重叠块差异估计和补偿体系结构

与相关申请的交叉引用

本申请要求提交于2008年8月4日的美国专利临时申请No.61/086,056的优先权，通过引用将其完整结合在此。

技术领域

本公开总体上地涉及视频技术。更特别地，本发明的实施例涉及重叠块差异(disparity)估计和补偿。

背景技术

如此处使用的，术语“图像特征”可指的是视场(field)中的一个或多个像元(例如，一个或多个像素)。如此处使用的，术语“源视场”可指的是可从中确定或得出关于图像特征的信息的视场。如此处使用的，术语“中间视场”可指的是在视频序列中在时间上在该源视场之后或之前的视场，其中可参考该源视场描述关于图像特征的信息。如此处使用的，术语“差异估计”可以指用于计算运动矢量或其它参数值的技术，可使用该运动矢量或其它参数值高效地预测、建模或描述例如视频序列的一个或多个视场之间的运动。差异估计的示例可以是运动估计。如此处使用的，术语“差异估计量”可指的是运动矢量或另一估计参数运动相关值。如此处使用的，术语“差异补偿”可指的是这样的技术，通过该技术可使用运动估计量或另一参数来计算源视场中的图像特征的位置的空间偏移，以描述视频序列的一个或多个中间视场中的图像特征的运动或某一参数。差异补偿可包含使用差异估计量来得出对当前样本和/或关注区域的预测的处理。差异模型可包括各种空间和/或时间偏移参数。差异补偿的一个例子可以是运动补偿。上述术语还可与各种视频编码概念和预测技术(例如，帧内预测和照度补偿)相结合使用。

附图说明

图1示出了没有OBDC的块运动补偿的示例的图。

图2是示出了示例性视频编码器的图。

图3是示出了示例性视频解码器的图。

图4A是示例性菱形OBDC或重叠分区运动补偿图案的图。

图4B是示例性正交形状OBDC或重叠分区运动补偿图案的图。

图4C是示例性圆形形状OBDC或重叠分区运动补偿图案的图。

图5示出了示例性预测块区域，其中使用基于多假设的运动补偿来预测不同区域。

图6示出了示例性OBDC实施例的图。

图7A-7C示出了重叠分区运动补偿的示例的图案的图。

图8A-8B示出了重叠分区运动补偿的示例的图案的图。

图9示出了示例性OBDC实施例的图。

图10A示出了使用水平预测的具有重叠考虑的帧内预测的图。

图10B示出了使用垂直预测的具有重叠考虑的帧内预测的示例的图。

图10C示出了使用对角线预测的具有重叠考虑的帧内预测的示例的图。

图11示出了在图片中自适应地利用OBDC的示例的图。

图12A-D示出了具有可变块大小的示例性OBDC实施例。

图13示出了具有螺旋宏块编码顺序的示例性OBDC实施例。

图14示出了具有随机宏块编码顺序的示例性OBDC实施例。

图15A-B示出了OBDC预测的形状取决于以前已编码的区域的示例的图。

图16示出了使用因果(causal)重叠进行预测的示例性处理的流程图。

图17示出了用于公开的OBDC技术的显示和/或图像处理设备的示例的系统图。

各个图中的类似的标号和标记可指示类似的元件。

具体实施方式

此处描述了关于重叠块差异估计和补偿的示例性实施例。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，应当明了，可在没有这些具体细节的情况下实现本发明的实施例。在其它情况下，公知的结构和设备被以框图的形式示出，以便避免不必要地使得本发明含混不清。

概述

在某些方面，某些实施例包括用于通过重叠块差异补偿(OBDC)进行图像运动补偿的方法的特征。该方法包括确定OBDC在视频比特流中是否被许可(enable)，以及确定OBDC对于与视频比特流中的第一宏块邻近的一个或多个宏块是否被许可。该一个或多个邻近宏块被变换编码。如果OBDC在视频比特流中以及对于该一个或多个邻近宏块被许可，该方法包含对于具有与该一个或多个邻近宏块相邻的边缘的第一宏块的区域进行预测。

这些和其它实施例可任选地包括下列特征中的一个或多个。确定OBDC对于视频比特流或一个或多个宏块是否被许可的步骤可包括如下步骤的任意组合：检测比特流或一个或多个宏块内的许可OBDC的信令指令；确定比特流或一个或多个宏块内的许可OBDC的语义或关系；确定许可OBDC的邻近块信息或运动矢量中的差别；或检测该一个或多个宏块与指向与OBDC编码相关联的参考图片的参考索引的关联性。该方法可包含应用编码顺序。应用该编码顺序的步骤可包括利用光栅扫描编码顺序、水平编码顺序、垂直编码顺序、任意编码顺序或Z字形编码顺序。该方法还可包含对OBDC预测应用另一种类型的预测的步骤。

这些和其它实施例还可任选地包括如下特征中的一个或多个。其它类型的预测可包括帧间预测、帧内预测、跨层预测、跨视图(view)预测、使用多假设的预测和/或具有对于一个或多个邻近宏块的依赖性的预测。其它类型的预测可包括具有重叠类型的预测、具有传播类型的预测、与未来宏块的信息无关的预测、或具有多个宏块大小或宏块边界的预测。重叠可包含第一宏块的区域的内部重叠或第一宏块的区域的外部重叠。区域的内部重叠可包含使用来自第一宏块的一个或多个像素的信息重叠该区域，并且区域的外部重叠可包含使用来自一个或多个邻近宏块的一个或多个区域的像素的信息重叠该区域。某些预测可包括具有预定方向上的传播的预测。宏块可形成方形图案、菱形图案或圆形图案，并且预测可对于该图案在一个或两个方向上延伸。宏块还可以形成正交形状以及具有N条边的多边形，并且该预测可在至少三个方向上延伸(例如，三维预测)。预测可以包括基于网格的预测，其中基于网格的预测可以用三角形形状表示。该方法可以包括从预测产生残差信息，其中残差信息可以包括对于第一宏块和一个或多个邻近宏块的信息，并且残差信息可以包括运动/差异信息。该方法可任选地包含对残差信息进行变换编码，量化经变换编码的残差信息，并且对量化信息进行熵编码。

这些和其它实施例还可任选地包括下列特征中的一个或多个。该方法可包含对残差解码，其中解码步骤可与来自视频比特流的图像中的未来宏块的信息无关。任何预测可包括滤波、插值、缩放或仿射投影中的一个或多个操作。该方法可包含在一个或多个视图或层之间共享和/或复制一个或多个差异补偿参数或模式。该方法可包括使用用于第一宏块的区域的预测的信息以执行对于另一邻近宏块的一个或多个区域的预测，其中该另一邻近宏块未被变换编码。执行预测的步骤可以包括对于可用于第一宏块的预测的方向的子集应用OBDC。对于一个或多个邻近宏块可存在经变换的残差信息，对于该一个或多个邻近宏块在视频比特流中以信号表明(signal)经变换的残差信息的存在。

在某些方面，某些实施例包括通过重叠块差异补偿对图像进行运动补偿的方法的特征，该方法包括确定OBDC在视频比特流中是否被许可的步骤，以及确定OBDC对于视频比特流内的第一宏块是否被许可的步骤。第一宏块被变换编码，并且第一宏块与一个或多个邻近宏块相邻。如果OBDC在视频比特流中以及对于第一宏块被许可，则该方法包括使用来自第一宏块的信息对该一个或多个邻近宏块的区域执行预测，其中该区域包括未变换编码的区域。

这些和其它实施例还可任选地包括下列特征中的一个或多个。与此方法相关联的信息可以包括运动矢量信息、纹理信息和/或与像素相关联的信息。确定OBDC对于视频比特流或第一宏块是否被许可的步骤包括下列步骤中的一个或多个：检测比特流或第一宏块内的许可OBDC的信令指令；确定比特流或第一宏块内的许可OBDC的语义或关系；确定许可OBDC的相邻块信息或运动矢量中的差别；或检测第一宏块与指向与OBDC编码相关联的参考图片的参考索引的关联性。

在某些方面，某些实施例包括通过重叠块差异补偿对图像进行差异补偿的方法的特征，该方法包括步骤：确定OBDC在视频信息的比特流中是否被许可，确定比特流内的第一宏块的第一区域，以及确定被变换编码并且与第一宏块相邻的一个或两个宏块中的一个或多个残差区域对于重叠预测是否许可。如果比特流许可OBDC并且一个或多个残差区域对于重叠预测被许可，该方法包含使用仅来自该一个或两个相邻宏块内的一个或多个残差区域的运动矢量预测第一宏块的第一区域中的像素，并且作为该第一区域内的像素与该一个或两个相邻宏块的一个区域的距离的函数给该像素加权。

这些和其它实施例还可任选地包括下列特征中的一个或多个。对像素的预测可以是因果预测。加权可以包括基于距离的加权平均。OBDC可包含与来自未来宏块的信息无关的第一宏块的残差的计算。“未来”宏块可指的是未来要被编码或处理的宏块(例如，未来编码宏块)。可替换地，可以独立于来自未来的或相邻的宏块的信息计算重叠运动补偿。第一区域可以与第一宏块的第一边界相邻。预测可以涉及帧内预测。帧内编码或帧内预测可以包括垂直预测、水平预测、对角线预测和/或帧间预测中的一个或多个，帧间预测可以包括单预测帧间预测、双预测帧间预测或多假设帧间预测，或帧内预测和帧间预测的组合。该方法可包含以一个或多个标记或语义来以信号表明该一个或多个相邻宏块。该方法还可包含预测一个或多个其它区域重的像素，并且组合第一区域的预测和对于该一个或多个区域的预测。预测可以包括用于宏块的编码模式，其中编码模式包括任意编码模式、螺旋编码模式、随机编码模式、水平编码模式、垂直编码模式或对角线编码模式。对于第一区域可组合一个或多个其它类型的预测。宏块可具有不同于相邻宏块之一的块划分的块划分。

这些和其它实施例还可任选地包括下列特征中的一个或多个。该方法可以包括预测图片内的其它区域的信息，其中该其它区域包括重叠宏块区域和非重叠宏块区域。一个或多个宏块可包括经变换的残差，对于经变换的残差，在视频比特流中以信号表明该经变换的残差中的至少一个的存在。该预测可与来自相邻宏块之一的另一类型的预测组合，其中该另一类型的预测可包含使用多假设的预测，或采用多个块大小或宏块划分类型的预测。该方法还可包含对该另一类型的预测应用加权。

在某些方面，某些实施例包括编码在计算机可读介质上的计算机程序产品的特征，所述计算机程序产品包括使得数据处理装置执行对于图像的重叠块差异估计和补偿的操作的指令。该操作包括，对于若干宏块，通过重叠该宏块的至少第一子集中的宏块的非全部的块边界对该至少第一子集执行OBDC预测，从而对该至少第一子集的OBDC预测是因果的。

这些和其它实施例可任选地包括下列特征中的一个或多个。该操作可以包括对宏块的第二子集执行OBDC预测，其包含通过重叠第二子集中的宏块的所有块边界来进行重叠，并且组合对于至少第一子集的OBDC预测和对于第二子集的OBDC预测。该操作可包含对宏块的第二子集执行不同于宏块的至少第一子集中的宏块的OBDC预测的一种运动预测，并且组合对于至少第一子集的OBDC预测和对于第二子集的该种预测。组合操作可包含将加权参数应用于对于至少第一子集的OBDC预测或对于第二子集的该种预测。其它操作可以包括对使用OBDC预测的宏块的至少第一子集应用加权；并且对OBDC预测应用预测模式。该预测模式可以包括内部预测、外部预测或内部和外部OBDC预测的组合。OBDC预测可以包括用于宏块的至少第一子集的编码模式，其中该编码模式可以包括任意编码模式、螺旋编码模式、水平编码模式、垂直编码模式或对角线编码模式。该指令还可以与包含计算与来自未来宏块的信息无关的第一宏块的残差的OBDC预测相关联。

在某些方面，某些实施例包括执行图像的运动估计的系统的特征。该系统包括显示图像数据的显示设备、存储用于图像数据处理的指令和图像数据的计算机可读介质、以及处理该指令和图像数据的数据处理设备，其中该指令使得该设备执行对于图像的重叠块差异估计。该操作包含，通过重叠宏块的至少第一子集中的宏块的非全部的块边界对该至少第一子集执行OBDC预测，从而对该至少第一子集的OBDC预测是因果的。

这些和其它实施例可任选地包括下列特征中的一个或多个。该指令可以包括对宏块的第二子集执行不同于宏块的至少第一子集中的宏块的OBDC预测的一种运动预测，并且组合对于至少第一子集的OBDC预测和对于第二子集的该种预测。该用于组合的指令可包含将对于至少第一子集的OBDC预测和对于宏块的第二子集的该种预测进行加权平均。该宏块可以包括具有各种形状或块大小划分的宏块。OBDC预测可被明确地或通过语义以信号表明来指示是否对宏块的至少第一子集中的宏块使用OBDC预测。宏块中的一个或多个可以包括经变换的残差，对于该经变换的残差，在视频比特流中以信号表明该经变换的残差中的至少一个的存在。

在某些方面，某些实施例包括用于视频的差异估计和差异补偿的系统的特征。该系统包括具有用于编码的一个或多个视频编码器组件的视频编码器，其对视频比特流的图像中的宏块的子集因果地执行重叠块差异估计和补偿。该一个或多个视频编码器组件包括确定一个或多个预测模式或预测参数的差异估计组件、以及利用差异估计组件信息以便利用对于宏块的子集的因果执行的OBDC来产生预测信息的差异补偿组件。该系统还包括具有一个或多个用于解码的组件的视频解码器，其中该一个或多个视频解码器组件可以执行熵解码、执行差异补偿、和/或利用该因果执行的OBDC产生残差信息。

这些和其它实施例可任选地包括下列特征中的一个或多个。该一个或多个视频解码器组件可被布置为串行或并行地执行熵解码、执行差异补偿和/或产生残差信息。

此处描述的方法或技术中的任一个还可被在系统、装置或设备、机器、计算机程序产品、软件、硬件或它们的任何组合中实现。例如，计算机程序产品可被有形地编码在计算机可读介质上，并且可以包括使得数据处理装置(例如，数据处理器)执行此处描述的方法中的任一个的一个或多个操作的指令。

重叠块差异补偿(OBDC)技术

公开的技术可以使用重叠块差异补偿(OBDC)和OBDC的变型、主要是重叠块运动补偿(OBMC)进行预测。可对一个或多个块(例如，宏块)或区域使用OBDC。块(或区域)中的OBDC可以再使用来自其它块(或块的重叠部分)的各种预测信息(例如尤其是运动矢量、参考索引(reference index)、照度改变参数、帧内预测方法)，从而可以使用与各重叠块(或区域)相关联的多个假设来预测重叠块(或区域)。公开的OBDC技术可被因果地应用，并且可与任意的和灵活的编码顺序(诸如垂直、水平和/或螺旋编码顺序)一起被采用。公开的OBDC技术可被明确地或通过语义以信号表明(例如，调用)，以指示是否将对于块或区域使用OBDC。还可以基于邻近块的信息以及它们与当前块和其的被以信号表明的差异参数的关系、和/或基于最小或最大差异或运动矢量的范围的信息来以信号表明OBDC。最小和最大矢量或运动矢量之间的差的信息可以基于图案或可以被自适应地改变。例如，如果块之间的运动矢量之间的差小，则可对于这些块自动推断出OBDC。在某些实施例中，可以存在动态OBDC权重产生，其中基于差异矢量(例如，运动和/或照度补偿参数)关系，对于各OBDC假设应用权重以便产生最终预测。

在某些实施例中，如果OBDC在视频比特流中被允许或以信号表明，可以执行对于比特流中的块的预测，如果OBDC对于那些邻近块也被允许或以信号表明，该预测对于邻近以前编码的块的该块的边缘的一个或多个区域利用OBDC。另外，如果OBDC对于比特流中的当前块被允许，则可以使用来自该块的信息(例如，运动矢量和/或照度补偿信息)以提供未编码区域的初始预测。

另外，可对运动矢量应用加权(例如，照度补偿、缩放参数)以指示将使用多少OBDC。加权可以基于运动矢量的语义改变。例如，类似的运动矢量可以具有类似的权重，并且不类似的运动矢量可以具有不类似的权重。

在某些系统实施例中，可以在OBDC的上下文中在系统中采用差异估计(例如，运动估计、帧间预测搜索、照度参数搜索等)、差异补偿和模式决策。在其它实施例中，OBDC可被用于编码和解码处理的并行化。在某些实施例中，块(例如，宏块)边界之间可存在较少的块度(blockiness)，并且变换和编码处理可以独立于尚未被编码的区域。在其它实施例中，可以采用各种类型的预测和OBDC技术以便以低的系统资源提供某一等级的编码质量。例如，OBDC可被与内部和/或外部OBDC预测的OBDC技术、具有各种块(例如，宏块)大小和光栅方向的OBDC、以及具有各种模式的OBDC一起使用。采用的OBDC可以是或不是基于块的OBDC实施例。在某些实施例中，OBDC技术可包含OBDC和非OBDC预测的组合。

视频压缩系统和标准(例如，ISO MPEG-I、MPEG-2、MPEG-4、MPEG-4 AVC/ITU-T H.264、H.261、H.263和VC-I)可依赖帧内和帧间编码以便实现压缩。在帧内编码中，可以使用空间预测方法。可缩放系统(例如，跨层预测)和多视图(例如，3D)系统(例如，跨视图预测)可类似于视图间预测系统。OBDC可被与这些类型的系统中的任一种一起使用，并且各个实施例中的这些系统中的任一种可预测或再使用来自其它层或视图的OBDC分区。

在帧间编码中，可以通过开发图片之间可能存在的时间相关性实现压缩。更具体地，可使用以前编码的图片作为未来图片的预测参考，并且可以采用运动和/或照度改变估计和补偿以确定和补偿这些图片之间的相似性。然后，在给定比特率约束的情况下，可以使用基于变换和量化的技术(例如，通过使用离散余弦变换(DCT)、其的变型诸如修改的DCT(mDCT)、其它傅立叶类变换或小波变换)对任何残差信息编码。在本公开中并且出于一般考虑，从一个或多个图片到另一个图片可能发生的任何类型的改变(例如，局部或全局平移、仿射或任意其它类型的运动、照度或焦点改变等)可被称为“差异”。在某些系统中(例如，H.264或VC-1)，解码处理还可以考虑后处理/解块操作，该后处理/解块操作试图减轻由于边界周围的运动估计不准确性和/或由于量化处理而可能在相邻分区之间引入的不连续性。

对于某些应用，还可能需要可缩放(例如，AVC的可缩放视频编码(SVC)扩展)或多视图视频编码解决方案(例如，AVC的多视图视频编码扩展)。这些系统可以使用类似的预测方法和帧间编码方法。这些系统可以将来自以前解码的图像的信息相加作为参考，所述解码的图像相应于以前的较低质量或分辨率的参考(例如，跨层预测)或不同视图(例如，跨视图预测)。这些参考可在使用之前任选地被预处理(例如，被滤波、增大规模或仿射变换投影)作为预测。在这些环境中的某些环境中，来自以前编码的视图的差异信息可被再次利用或使用以预测当前编码的图像的差异信息(例如，模式、参考索引、运动信息等)。

存在可以解决视频中的运动估计的若干种技术。某些运动估计技术包含“匹配”方法、诸如块匹配技术。对于这些匹配方法，通过实施在某些区域上的运动的参数建模，可施加对于运动域(motion field)的平滑性的约束，该区域在块匹配技术中可以是块或矩形区域，或更一般地为图像的任意形状的区域或片段。

块运动补偿(BMC)指一种用于帧间编码并且开发(exploit)可能存在于相邻帧之间的时间相关性的技术。这些技术考虑包括照度改变参数的运动参数，以根据以前的编码信息来预测块或区域。在某些编码系统中，可通过利用诸如小波或离散余旋变换的变换编码技术对预测处理的残差(误差)编码、随后进行量化和熵编码，来进一步提高该块的质量。BMC(和下面描述的OBDC)可用于例如滤波操作或不执行残差编码的其它操作。在某些标准和编解码器中，块可以具有不同大小，并且通常可能不重叠。

例如，图1示出了未采用OBDC的块运动补偿的例子的图。具体地，图1示出了对于不同块大小105使用非重叠预测的块运动补偿的图100。图100中的某些块110为第一大小，而其它块120为第二、不同的块大小。在图1所示的例子中，块110和120不重叠。

即使在许多情况下变换可能具有比预测块小的大小，块仍还可以与变换网格对齐。然而，在被称为重叠块运动或差异补偿技术(OBMC或OBDC)的其它技术中，可以使用重叠块。在OBDC中，图像可被分为若干重叠块。各块可与用于相应块的预测的差异参数(诸如运动矢量)相关联。假定块可以与多个其它块重叠，这样的重叠区域中的像素可以具有多个预测值，这些预测值可被以多假设方式组合以便产生最终预测。

图2示出了其中可使用OBDC的示例性视频编码器200的图。编码器200可以是针对另外被称为H.264的高级视频编码标准(AVC)的编码器。在编码器200中，输入视频202被发送到加法器216，加法器216将输入视频帧202和差异补偿(例如，运动/照度改变补偿和/或帧内预测)组件260的输出进行相加。加法器216的输出被耦合到变换组件204，随后到量化组件206。量化组件206的输出被耦合到可变长度编码(VLC)组件208和逆量化组件210。由VLC组件208产生比特流220，并且关于编码处理的信息、诸如对块、区域或图像编码所需的比特数以及由这种决策引入的失真被发送到环形滤波器266和其它组件。

差异补偿组件260可以在考虑了来自差异估计组件262的信息/决策的情况下产生预测信号。差异补偿例如可以是例如使用来自当前图片内的以前编码区域的用于预测的样本的帧内预测的形式、可包括对照度改变的考虑的运动补偿预测的形式，并且还可以考虑用于运动补偿的OBDC技术。差异估计组件262可执行这样的任务，该任务尤其可包括：(a)确定诸如帧间预测模式/分区、运动矢量、照度改变参数和/或帧内预测模式的适当的预测参数，(b)选择性地许可和禁用运动补偿块大小；(c)使用某些图片作为运动补偿参考；(d)调整联合双预测运动估计中的运动估计搜索范围和迭代数目，(e)考虑到某些预定条件或关于图像的信息，限制将要测试的编码模式的数目。假定已知将使用OBDC方法对视频编码，可进行差异估计，例如，该估计方法可以考虑搜索技术，所述搜索技术试图在考虑了将要使用的预测技术的情况下来优化性能。环形滤波器266可执行这样的任务，该任务尤其可包括：(a)调整环路内解块滤波器的参数；(b)关断解块滤波器。

逆变换组件212接收来自逆量化组件210的输入，并且向加法器226发送输出。加法器226接收来自逆变换组件212和差异补偿组件260的信号，并且将累加信号发送到环路滤波器266。图片参考存储器264接收来自环路滤波器266的输入，并且向差异补偿组件260和差异估计组件262发送输出。差异估计组件262还接收来自速率控制组件(未示出)的输入。环路滤波器266还接收来自速率控制组件的输入。输入视频202还被发送到差异补偿组件260和差异估计组件262的输入。

图3示出了示例性视频解码器300的图。解码器300可以是包括类似于H.264/MPEG-4 AVC标准的功能的解码器。解码器300接收比特流220，并且使用熵(可变长度)解码器305、一个或多个逆量化器330、一个或多个逆变换器335和差异补偿器310对该比特流解码。熵解码器305可以提取尤其包括诸如模式、运动矢量、照度改变参数、帧内预测模式的差异信息的头部信息、以及经量化和变换的残差数据两者。在考虑了310中的头部信息的情况下执行差异补偿、更具体地为信号的预测，而首先使用逆量化器330对残差数据进行去量化，然后使用逆变换器335对其进行逆变换。加法器355将逆变换355和差异补偿器310的输出相加，并且将相加结果发送到环路滤波器325。环路滤波器325的输出耦合到参考图片缓冲器320，其可用于存储参考用图片并且传递输出350。差异补偿块310内的预测可以利用OBDC技术。

图4A-4C示出了某些示例性的可用于OBDC的图案或重叠分区差异补偿图案。图4A是示例性的菱形OBDC或重叠分区差异补偿图案的图410。图4B是示例性的正交形状(例如，方形形状)OBDC或重叠分区差异补偿图案的图440。图4C是示例性的圆形OBDC或重叠分区差异补偿图案的图470。如图4A-C所示，OBDC技术可允许预测块或区域重叠，这导致通过多个差异参数(例如，运动矢量)同时预测若干像素。OBDC可以改进块边界的预测。

在某些实施例中，这些多个预测可以是例如基于像素的距离的加权平均，对于该距离将得出假设权重，它们被与相应于每个预测的一个或多个邻近块的中心比较。在其它实施例中，该距离可是两个运动矢量之间的距离(例如，|mv1-mv2|)。该处理可以预测块边界，减少残差影响，实现高效编码，并且减少可能在预测边界处出现的块度。

图4B示出了图案的最小复杂度。例如，以W×H定义图4B的方形图案的图440的中心区域445。图440的块大小为(2h+H)×(2w+W)。重叠区域可以是区域W×h 450，455，H×w 460，465，以及w×h 470，475，480，485。这些区域450，455，460，465，470，475，480，485可与其它图案重叠。

图5示出了图500中的示例性的被预测的块区域，其中使用基于多假设的运动补偿(例如，通过采用重叠块运动补偿，包括双预测运动补偿的使用)预测不同区域。在某些实施例中，例如，重叠块差异/运动补偿可被视为多假设运动补偿的一种实例，其中可以使用多个假设预测一像素。此编码结构中的预测块或区域被允许重叠，这导致通过多个运动矢量同时预测若干像素。例如，假定单个列预测，考虑到重叠块的矢量，区域514可以利用四个预测而区域516或518可以利用两个预测。这些多个预测可以是，例如，基于像素的距离的加权平均，对于该距离将得出假设权重，它们被与相应于每个预测的一个或多个邻近块的中心比较，或对于两个运动矢量之间的距离的加权平均。上述方法还可以考虑使用多个参考的多假设运动补偿和双预测运动补偿的扩展(例如，B编码图片或B片段)。

在图5中，例如，示出了块X510，并且其邻近块是块A-H 515-560。每个块具有大小W×H，并且在每个方向上以宽度w和高度h发生重叠。使用来自块A 515、B 520、D 530和X 510的运动矢量预测图500的区域P₀514中的像素，而仅使用来自块B 520和X 510的运动矢量预测区域P₁ 516中的像素。另外，对于每个区域中的每个像素考虑的加权可与该像素距用于其预测的每个OBDC块的中心的距离有关。例如，在图5中的属于区域P₃ 518的像素y₀ 533的情况下，其值可被预测为：

${\mathrm{value}}_{y_0}=w\left({\mathrm{dist}}_{y_0,D}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_D}\right)+w\left({\mathrm{dist}}_{y_0,X}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_X}\right)$ (等式1)

其中dist_y0，D和dist_y0，X分别是y₀533距块D 530和X 510的中心的距离，

和

分别是块D 530和X 510的运动和加权参数矢量，并且MCPValue( )和w( )分别是用于预测的运动补偿处理和加权的值。该表达式可被归纳为：

${\mathrm{value}}_{y_0}=\underset{k}{\mathrm{\Σ}}{w}_k\left({\mathrm{dist}}_{y_0,{\mathrm{block}}_k}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_{{\mathrm{block}}_k}}\right)$ (等式2)

其中k相应于块X 510附近的、包括X 510在内的所有块的索引。一般地，可通过对于块X510和所有其邻近块被以信号表明的运动矢量使用基于多假设的运动补偿来预测图5中的区域P₀-P₇。

在某些实施例中，可在考虑每个假设的运动矢量的值(或其它参数运动估计值)的情况下，对每个假设的预测样本应用加权(例如，缩放参数、照度补偿)，以指示是否应使用OBDC以及使用多少OBDC。可以基于与运动矢量相关联的语义、或例如除了运动矢量、照度参数、参考索引、帧内预测模式等之外的差异补偿参数，来调整加权。例如，类似的运动矢量可以具有类似权重，并且不同的运动矢量可具有不同权重。尤其在邻居具有不同类型的情况下(例如，为帧间预测或帧内预测的块的单个或多个列)的预测值的可用性也可影响加权参数。

MPEG-4视频编码标准(以及其它标准)中使用方形的、正交的或类似配置的区域，这或许部分是因为它们的简单性。在某些OBDC实施例中，例如，为了最佳性能，某些类型的OBDC方法可能需要所有重叠预测在编码器处被联合优化。某些OBDC实施例可能需要具有所有方向上的预测的块的信息。为了编码器在创建和编码(例如，使用变换、量化和熵编码、残差信号)之前首先综合整个预测或所有相关预测区域，在某些实施例中，可能需要来自相邻块的信息在创建预测之前已经可用。用于运动估计和模式决策的率失真优化技术的考虑可能需要考虑了邻接块的相关性的多个迭代或计算。因此，编码器可能必须配置为处理这些类型的计算。

类似地，在解码器处，某些技术可能是非因果的，并且可能需要来自所有重叠分区的预测在重构某一样本之前可用。由于数据相关性、存储器需求和相关操作，因此对于某些体系结构在执行中可考虑此非因果性。更具体地，预测信号可首先被产生，被存储在临时存储器内，并且等待直到残差信号可供最终重构使用。可替换地，解码器可以在执行任何操作之前等待所有可用的信息。

图6示出了使用所有方向上的重叠区域的示例性OBDC实施例的图600。块一般可被称为变换块610。块610被变换网格620分开，并且每个块可具有与相邻块重叠的区域630。在图6的实施例中，对于某个块(例如，X 645)的残差基于来自提供用于该区域的预测信息的所有块(例如，A-H 635-640)的信息被计算。在下面描述的某些实施例中，残差的计算可被约束在一个或两个方向上。在其它示例性实施例中，预测可在三维或更多维上被延伸(例如，三维预测)。

例如，在某些实施例中，假定一光栅扫描顺序(例如，左-右以及上-下)，左侧和/或上侧的区域被考虑用于执行OBDC(例如，图7A-图7C)。该处理可以将残差产生处理从经运动补偿的块的中心移到其左上角。此因果性可允许立刻计算残差而不需要任何未来块的任何知识，这可促进优化。例如，可以使用诸如拉格朗日优化的率失真优化技术。另外，熵解码、运动补偿和残差样本的产生可以并行执行，这可高效地使用存储器或产生样本。

图7A-7C示出了用于重叠分区运动补偿的例子的图案的图。图7A-图7C的图710、740、770分别示出了用于使用因果重叠区域(并且假定一种光栅扫描顺序)的OBDC或重叠分区差异补偿的示例图案。图7A示出了用于示例性菱形图案的图710，其中处理延伸到图案的右侧和底部。图7B示出了用于示例性的块/方形图案的图740，其中处理延伸到图案的右侧和底部。图7C示出了用于示例性圆形图案的图770，其中处理延伸到图案的右侧和底部。在图710、740和770的每一个中，对于执行OBDC考虑左侧和上部的区域。

图8A-8B的图示出了采用不同OBDC图案的OBDC。例如，图8A的图示出了示例性的被削减的菱形图案810。图8B的图示出了示例性的块图案850。块可被使用任何方法从大小W×H在右侧和底部方向上水平延伸w个像素以及垂直延伸h个像素，其中W表示块的宽度，并且H表示块的高度。这些延伸可以相应于与未来块的重叠区域。在编码系统中，对于大小为W×H的原始块，考虑对于该块得出的运动信息以及从与此区域重叠的其的邻近分区得出的运动信息，可执行运动补偿，并且产生残差信息。残差可然后被变换编码、量化和熵编码。残差可在不需要来自图像内的未来块的信息的情况下被解码。例如，图8B中的区域P₀ 854、P₁ 858、P₂ 856和P₃ 852中的样本可被预测为：

${\mathrm{value}}_{y\∈P_0}=w\left({\mathrm{dist}}_{y\∈P_0,A}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_A}\right)+w\left({\mathrm{dist}}_{y\∈P_0,B}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_B}\right)$

$+w\left({\mathrm{dist}}_{y\∈P_0,D}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_D}\right)+w\left({\mathrm{dist}}_{y\∈P_0,X}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_X}\right)$

(等式2)

${\mathrm{value}}_{y\∈P_1}=w\left({\mathrm{dist}}_{y\∈P_1,B}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_B}\right)+w\left({\mathrm{dist}}_{y\∈P_1,X}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_X}\right)$

(等式3)

${\mathrm{value}}_{y\∈P_2}=w\left({\mathrm{dist}}_{y\∈P_2,B}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_B}\right)+w\left({\mathrm{dist}}_{y\∈P_2,C}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_C}\right)$

$+w\left({\mathrm{dist}}_{y\∈P_0,X}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_X}\right)$

(等式4)

${\mathrm{value}}_{y\∈P_3}=w\left({\mathrm{dist}}_{y\∈P_3,A}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_A}\right)+w\left({\mathrm{dist}}_{y\∈P_3,X}\right)\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_X}\right)$

(等式5)

在已经得出相邻区域的运动之后，构造区域P₄ 860、P₅ 862、P₆ 864和P₇ 866的预测。除了在单列预测的情况下使用单个运动矢量

的P₂ 856、P₄ 860、P₅ 862、P₆ 864和P₇ 866之外，区域P₀ 854、P₁ 858、P₂ 856、P₃ 852以及来自X 870的其它区域的预测在产生对于当前块的残差误差时被考虑。这种概念可被延伸用于对于每个分区具有两个运动矢量的双预测(例如，在B编码图片中使用的)以及多假设预测。

图9示出了使用因果重叠区域的示例性OBDC实施例的图。图9示出了可消除对“未来的”或邻近的块的依赖性的例子。例如，考虑块的左边界和上边界上的重叠。以一个样本预测较亮区域(如图所示)。较暗区域(例如，重叠区域)具有来自两个或四个样本的预测。

某些实施例可支持包括帧内预测的帧内编码。例如，可使用考虑了来自邻近区域的已经可用和重构的样本的各种技术来预测块的像素。作为例子，可以使用来自左侧邻近块的第一列样本(水平预测)、上方邻近块的最后一行的样本(垂直预测)或使用这样的样本的各种组合来预测块。在预测之后，残差信号可被计算、变换、量化和熵编码。对于每个块，可提供定义将用于当前块的帧内预测方法的信号。

在某些实施例中，可在不使用变换的情况下对块编码。如果对于一个块(例如，对于被跳过的块或对于不存在经变换的残差的块)跳过变换编码，则其可被认为被变换编码(或者出于重构目的可被完全地表示)。在这些方面，对于一个或多个这样的相邻块存在经变换的残差，即对于这些相邻块在比特流中以信号表明经变换的残差的存在。在某些实施例中，变换可与残差信息相联系，并且如果不存在残差信息，则可能不包含变换。

采用如与上文对于帧间预测描述的技术类似的技术，如例如参考图10A-图10C所描述的，某些实施例可使用重叠块差异补偿用于预测帧内区域。

图10A示出了使用水平预测的具有重叠考虑的帧间预测的图1010。图10B示出了使用垂直预测的具有重叠考虑的帧间预测的图1040。图10C示出了使用对角线预测的具有重叠考虑的帧间预测的图1070。在图10A-C中，预测模式对于每个图可不同，并且OBDC可用于空间边界。

例如，在图10B中，使用预定的帧间预测机制预测大小为(W+w)×(H+h)的块、例如Pred_A。在预测之后，大小为W×H的左上区域的残差被计算、变换并且其系数被量化。对该信息应用逆处理以产生重构的残差，该残差然后被与左上区域的预测相加。然后，预测下一个大小为(W+w)×(H+h)的区域、例如Pred_B。但是，最初的w×(H+h)个像素的预测还受其左侧邻居的原始预测影响并且可能被其增强。更具体地，这些样本的最终预测可通过考虑以前编码的和相邻的分区使用的预测以及这个块的编码模式指定的预测(例如，通过使用加权平均＝＞Pred_Final＝w_A×Pred_A+W_B×Pred_B)被产生。

在某些实施例中，相邻分区的预测方向与用于这些分区的预测样本无关地被考虑。使用这些方向，可产生对于重叠区域的多个预测。所述多个预测可被与对于宏块的被以信号表明的区域组合，以产生最终预测。

例如，假定对于块X，其左上邻近块使用DC预测，块X的上方和右上邻近块使用垂直预测，并且块X右侧的邻近块使用水平预测，而X以信号表明垂直预测。在这个例子中，可通过组合分别由这些方向中的每一个产生的预测样本并且然后对它们一起进行平均来产生预测样本。可使用相等权重进行平均，然而，还可给被从X直接预测的样本分配与所有其它预测样本的权重相比更大的权重(Wx)，对样本进行平均。在某些实施例中，Wx＝4×Wneighbor，其中Wneighbor表示用于邻居的权重。这种处理是具有低信令开销的多假设帧内预测方法。还可使用OBDC技术组合帧内和帧间预测。例如，取决于邻近分区所使用的预测方法，可使用帧间和帧内机制两者预测块内的一些像素。

在某些实施例中，可在相同图片中使用重叠和非重叠的预测块。可通过添加信号元素在比特流中将预测块以信号表明为重叠或非重叠，或可通过比特流中的语义或与其它块的关系得出预测块。例如，可通过使预测块与指向与OBDC编码相关联的参考图片的参考索引相关联，确定预测块是否使用重叠预测。对于不传输任何参数的某些模式(例如，H.264/AVC标准支持的SKIP或DIRECT模式)，可基于邻近分区做出是否使用OBDC的确定。例如，如果所有(或基本所有的或大部分的)分区使用OBDC，则OBDC也可被当前分区利用。否则，可使用正常预测。

在某些实施例中，如果给定方向上的邻居或如果在侧面或上方(或下方)的邻居利用OBDC，则对于当前块也使用OBDC。

图11示出了在图片中自适应地利用OBDC的例子的图1100。例如，图11示出了一个混合实施例，其具有上述用于其它块、没有预测传播的重叠预测块和不考虑OBDC的块的OBDC的因果变化。图11所示的不同类型的技术可以提供处理块边界的各种方式。例如，OBDC可被用于在邻近块之间具有小的差别的块。因此，OBDC可被用于与它们的邻近块略微不同的块，并且为在块边界之间存在较大差别的块使用其它技术。例如，如果在图像内的两个对象之间存在边界并且块边界中存在大的差别，则可出现这种状况。在这种示例状况中，可对于这些块边界阻止或禁用OBDC。在某些实施例中，还可在使用不同预测类型的分区之间的边界上禁用或约束OBDC。例如，如果当前块使用双预测，而其邻居之一使用单列预测，则可仅对于公共列预测考虑OBDC。如果块使用不同列，则然后可不考虑OBDC。

图11中的某些块可以具有区域的内部重叠和区域的外部重叠。内部重叠可包含在宏块内执行OBDC以及使用宏块的块划分。具有OBDC的外部重叠可包含使用邻近宏块的块划分。在某些实施例中，内部重叠可包含一个预测，而外部重叠可包含多个预测。图11具有变换块1120和重叠OBDC块1130。在某些实施例中，OBDC块1130可向着相应块的右侧和下侧延伸OBDC。图11还具有没有预测传播的重叠预测块1140。这些重叠预测块1140可利用来自邻近块的预测样本，并且可不将预测延伸到未来的块。某些块可没有OBDC(例如，不具有用于内部或外部像素的OBDC以及用于未来的像素的OBDC的块)。

在某些实施例中，可对如何使用重叠施加限制。例如，可对于块以信号表明块编码模式，根据该块编码模式使用来自以前编码的相邻分区的信息(诸如运动矢量(MV)和照度参数)执行重叠。可与当前分区的信息无关地以信号表明块编码。OBDC预测还可独立于来自其它分区的信息(例如，图11中的块A)。

在某些实施例中，另一类型的OBDC块模式可以信号表明在当前块(例如，图11中的块B)内部不考虑OBDC，以及不论它们的编码模式如何，以前编码的分区均不为当前块提供预测信息。这种类型的OBDC块模式可被允许，以将来自当前块的预测信息用于其它的、还未编码的邻近块。在图11中，可在相同上下文中引入附加的编码模式，如果被以信号表明，该模式阻止考虑用于预测的OBDC处理(例如，图11中的块C)。在非全部的块上选择性地使用OBDC可节省计算资源并提升效率。

图12A-D示出了具有可变预测块大小的示例性OBDC实施例。图12A示出了用于外部和内部块边缘的OBDC。图12B示出了用于外部块边缘的OBDC。图12C示出了在块的邻居可能包括重叠模式块的情况下使用的OBDC。图12D示出了用于重叠模式块的OBDC。这些可变块中的一些例如可具有等于4×4像素、8×8像素或16×16像素的块大小。

在图12A-图12D的块内，重叠的区域还可基于块大小改变，或该区域可对于不同块保持为相同。在区域不随着块的不同而改变的情况下，可避免附加控制。在某些实施例中，例如如图12B的图1225所示，可在宏块边界处使用OBDC以降低复杂性。在某些其它实施例中，对于已被使用某一大小(例如，图12C中小于16×16)的分区模式或某一预测模式(例如，帧内预测)预测的以前编码的邻居，可不发生基于OBDC的预测。在其它实施例中，在当前块自身为特定预测模式、例如不是16×16的情况下，可不使用OBDC(图12D)。

虽然在许多视频编码系统中通常可考虑光栅扫描编码，出于诸如针对编码效率、错误恢复等的各种原因还可以考虑不同的编码顺序。可延伸提出的OBDC方案以通过对尚未被变换编码的块应用重叠预测来支持这些情况。例如，通过利用来自这些N-1个块(或区域)的预测，可以使用OBDC预测块(或区域)N。可通过考虑此N-1块(或区域)集合中的哪些块(或区域)是块(或区域)N的相邻块(或区域)，进行对块(或区域)N的预测。另外，块(或区域)N可为所有其周围的、尚未被编码的块(或区域)提供预测信息。在某些实施例中，例如，可存在对于可遵从固定编码顺序(例如，光栅扫描、螺旋、z字形等)或任意编码顺序的N-1个块(或区域)使用OBDC的预测。

图13示出了具有基于螺旋的宏块编码顺序的示例性OBDC实施例。图13示出了变换块1320、变换网格1330、预测块1340和重叠区域1350。对于第一块1305，可在围绕该块所有方向上考虑OBDC。对于位于第一块1305右边的第二块1310，对于在右侧、上侧和下侧的尚未被编码的区域考虑OBDC。类似地，对于第三块1315，OBDC预测被延伸到在右侧、左侧和下侧的尚未被编码的区域。

图14示出了具有随机宏块编码顺序的示例性OBDC实施例。例如，图14示出了变换块1420、变换网格1430、预测块1440和重叠区域1450。图14示出了一种随机编码顺序，其中对于尚未编码的区域考虑OBDC预测。在这种情况下，预测块的形状和大小可以是动态的。OBDC形状可以是固定的，例如为矩形或类似配置，或可取决于邻近块是否已被编码而可变。

图15A-B示出了具有OBDC预测的形状取决于以前已编码的区域的示例的图1500、1550。在图15A中，以前编码的区域1520在块1540的左上方。在图15B中，以前编码的区域1570在块1590的上方和左上方。在某些实施例中，OBDC的形状可取决于邻近块的编码改变。

在某些实施例中，OBDC块的大小和形状、以及被施加给不同预测的权重可基于相邻分区的差异补偿参数(例如，运动矢量、参考索引或这些参考之间的时间距离或某些其它关系、和/或照度参数)。例如，可以根据下面的等式(3)计算OBDC块的特性和权重

${\mathrm{value}}_{y_0}=\underset{k}{\mathrm{\Σ}}{w}_k\left({\mathrm{dist}}_{y_0,{\mathrm{block}}_k}\right)\×f_k(\stackrel{\→}{{\mathrm{MV}}_{{\mathrm{block}}_k}},\stackrel{\→}{{\mathrm{MV}}_X})\×\mathrm{MCPvalue}\left(\stackrel{\→}{{\mathrm{MV}}_{{\mathrm{block}}_k}}\right)$ 等式(3)

其中函数

取决于X和其邻近块之间的运动和加权参数关系。

例如，块X和具有k_index 0的块的运动矢量的显著差别可也暗示块X和具有k_index 0的块显著不同。另外，两个或多个块的运动矢量的显著差别可暗示每个块的相应运动矢量可涉及(例如，基于)不同对象或其它图像特征的重大可能性。这可暗示在这些约束下OBDC的有用性可能是有限的。在某些实施例中，可以使用函数

在运动矢量显著(例如，相当)类似的情况下，例如，在运动矢量之间的差异低于一个阈值T：

的情况下，可考虑来自块block₀的预测具有更大的重要性，并且可以相应地增加块block₀的权重。在某些实施例中，可在编码器和解码器中预先定义这些关系和相关权重参数。在某些实施例中，可通过例如在序列或图片参数集合中定义并且以信号表明新参数、或通过视频编码解码器的片头，在比特流中以信号表明并且改变它们这些关系和权重参数。

图16示出了使用因果重叠进行预测的示例性处理1600的流程图。流程图中示出的示例性处理1600包含接收或访问视频信息的比特流(1610)。处理1600包含确定在视频比特流中是否允许或以信号表明OBDC(1620)，和/或确定对于比特流中的块的邻近块，是否也允许或以信号表明OBDC(1630)。如果在比特流和邻近块中允许并且以信号表明OBDC，可对于比特流中的一块执行预测，该预测对于该块的邻近先前被预先编码的块的边缘的一个或多个区域使用OBDC(1640)。另外，如果对于比特流中的块允许OBDC(1625)，则使用来自该块的信息(运动矢量信息)，以提供未编码区域的初始预测(1650)。

可基于例如此公开中描述的各种OBDC允许或信令技术(例如，通过比特流中的信令元素以信号表明、通过与比特流中的其它块的语义或关系以信号表明、通过指向参考图片的参考索引以信号表明、当块被预先编码时允许/许可OBDC等)中的一个或多个，对于块和/或邻近块允许或以信号表明OBDC。如本公开中描述的，图16的流程图还可用与各种编码顺序(例如，螺旋、垂直、水平、任意、光栅扫描、Z字形等)和/或其它预测技术(例如，帧间预测、帧内预测、使用多假设的预测、具有对于相邻块的各种依赖量和依赖类型的预测、具有各种类型的重叠的预测、具有各种类型的传播的预测、具有各种类型的块大小和块边界的预测等)一起使用。某些技术可与图16的流程图一起使用，以作为差异补偿参数(例如，尤其是运动矢量、照度改变参数)的函数因果地执行重叠差异补偿，以便给比特流提供运动和结构信息。

OBDC的概念还可被用于支持诸如可扩缩性或多视图功能性的功能性的编码解码器。在这些环境中，除了帧间和帧内预测机制外，预测还可以是跨层类型的预测(例如，来自当前图像的以前解码的较低质量或分辨率版本的预测)、或跨视图类型的预测(例如，来自属于不同视图的以前解码的图像的预测)。在用作预测之前，这些预测可在先已被修改以校正不同误差或已知差异。这些预测的修改可以包括滤波、插值/缩放和/或仿射投影。当从这些参考进行预测、同时可根据这些参考的特性改变对于每个块使用OBDC或不使用OBDC的条件时，也可使用OBDC。例如，在可缩放视频编码系统中，对于来自相同参考的以前的、较低质量的版本的预测，或对于多视图视频编码情况、来自比另一视图在空间上更近的视图的预测，可增加OBDC的权重参数。另外，还可考虑在层或视图之间共享差异补偿参数。例如，如果层或视图利用OBMD，更高层或不同视图可以拷贝相同OBMD参数用于其自己的预测，而不用以信号表明。

在此处公开的示例实施例中的一个或多个中，可存在如下这样的系统、方法或计算机程序产品，即在其中帧内编码和/或帧内预测包括垂直预测、水平预测或对角线预测的任何组合，并且可尤其采用模板匹配、频域方法和/或空间位移方法。帧间预测可以包括双预测帧间预测和/或多假设帧间预测。宏块可具有各种形状和图案(诸如正交图案、矩形图案、方形图案、菱形图案、圆形图案和/或具有边数N的多边形)。预测还可以包括基于网格的预测，其中基于网格的预测可具有三角形形状。

图17示出了示例性的系统模型。在一个或多个计算机1705A、1705B上可使用公开的技术。此处，一个或多个方法和/或算法和/或处理可通过计算机和/或视频显示器1720、传输、处理和回放系统实现或被在其中采用。此处描述的计算机可以是任何类型的计算机，可以是通用计算机或诸如工作站的某些专用计算机。计算机1705B可以是例如运行WindowsXP，Vista或Linux的基于Intel或AMD的计算机、或可以是Macintosh计算机。在某些实施例中，该计算机也可是手持计算机，诸如PDA 1715、蜂窝电话1715或膝上计算机1705A。所述计算机还可指用于数据、尤其是视频数据的图像记录或接收1725、1730、1735、处理、存储1740和分配的机器或机器的一部分。

可以用C或Python或Java、Brew或任何其它编程语言编写计算机和/或图形程序。程序可驻留在存储介质上，例如磁介质或光介质、例如计算机硬盘、诸如记忆棒或SD介质的可移动盘或介质、基于有线或无线网络的或基于蓝牙的网络附连存储器(NAS)、存储区域网络(SAN)或其它可移动介质。程序还可例如通过向本地机器发送通信的服务器或其它机器在网络1750上运行，该通信允许本地机器执行此处描述的操作。

虽然上面已经详细公开了一些实施例，但是还可以有其它实施例，并且发明人旨在将这些实施例包含在本说明书内。本说明书描述了实现更概括的目标的特定例子，该目标可被以另一种方式实现。本公开将是示例性的，并且权利要求书将覆盖本领域的普通技术人员可想到的任何修改或替换。

本说明书中描述的主题和功能操作的实施例可被以数字电子电路、或以计算机软件、固件或包括本说明书中公开的结构和其等同结构的硬件、或以它们中的一种或多种的组合实现。本说明书中描述的主题的实施例可被实现为一个或多个计算机程序产品，例如由数据处理装置执行的或控制数据处理装置的操作的在计算机可读介质上编码的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备1740、机器可读存储衬底、存储器设备、实现机器可读的被传播、处理的通信的物质的合成物、或它们中的一种或多种的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，作为例子包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括代码，所述代码创建用于所关心的计算机程序的运行环境，例如构成处理器固件、协议栈、图形系统、数据库管理系统、操作系统或它们中的一种或多种的组合的代码。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可被以包括被编译或解释的语言的任何形式的编程语言编写，并且其可被以任何形式部署，包括部署成孤立程序或部署为模块、组件、子例程或适用于计算环境的其它单元。计算机程序不必相应于文件系统中的文件。程序可被存储在保持其它程序或数据的文件的一部分(例如，标记语言文档中存储的一个或多个脚本)中、存储在专用于所关心的程序的单个文件中、或存储在多个相配合的文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可被部署为在一个计算机上执行，或在位于一个地点或分布在多个地点上并且通过通信网络互连的多个计算机上执行。

本说明书中描述和示出的处理和逻辑流和图可被以一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，以通过操作输入数据并且产生输出来执行功能。处理和逻辑流还可专用逻辑电路、例如FPGA(场可编程门阵列)或另一种可编程逻辑器件(PLD)诸如微控制器或ASIC(专用集成电路)执行，装置也可被实现为该专用逻辑电路。

适用于执行计算机程序的处理器作为例子包括通用和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。一般地，处理器可从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器器件。一般地，计算机还可以包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或被操作地耦合为从该大容量存储设备接收数据或向其传输数据或进行这两者操作。然而，计算机不必具有这些设备。另外，计算机可被嵌入另一种设备，例如，仅举几例，移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，作为例子包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)；磁盘(例如，内部硬盘或可移动盘)；磁光盘；和CD ROM和DVD-ROM盘。处理器和存储器可被专用逻辑电路补充或结合在其内。

为了提供与用户的交互，本说明书中描述的主题的某些实施例可被在这样的计算机上实现，该计算机具有用于向用户显示信息的显示设备(例如CRT(阴极射线管)、LCD(液晶显示器)或等离子显示监视器1720)，以及键盘和选择器(例如指点设备、鼠标或轨迹球)，用户可以使用这些设备给计算机提供输入。还可使用其它类型的设备与用户交互；例如，提供给用户的反馈可以是任何类型的感知反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可被以包括声学、语音或触觉输入的任何形式接收。

本说明书中描述的主题的某些实施例可在这样的计算系统内实现，该计算系统包括例如作为数据服务器的后端组件，或包括中间件组件、例如应用服务器，或包括前端组件，例如具有图形用户界面或网络浏览器的客户端计算机，用户可通过该图形用户界面或网络浏览器与本说明书中描述的主题的实施例交互，或包括一个或多个这样的后端、中间件或前端组件的任意组合。该系统的组件可被以数字数据通信的任何形式或媒介、例如通信网络互连。通信网络的例子包括局域网(“LAN”)和广域网(“WAN”)，例如Internet。

计算系统可以包括客户端和服务器。客户端和服务器可以彼此远离，并且通过通信网络交互。客户端和服务器关系可由于在相应计算机上运行的并且彼此具有客户端-服务器关系的计算机程序而产生。

虽然本公开包含许多细节，这些细节不应被解释为是对本发明的或可被权利要求保护的范围的限制，而是对本发明的特定实施例的具体特征的描述。在本说明书中在分开的实施例的上下文中描述的某些特征还可被组合地实现在单个实施例中。相反，在单个实施例的上下文中描述的各特征还可被分开地或以任何适当的子组合在多个实施例中实现。另外，虽然这些特征可在上文被描述为以某些组合发挥作用并且即使最初被同样地保护，但是所保护的组合中的一个或多个特征在某些情况下可被从该组合中切割开，并且所保护的组合可被针对子组合或子组合的变型。

类似地，虽然在图中以特定顺序示出操作，这不应被理解为需要以示出的特定顺序或以连续顺序执行这些操作，或执行所有示出的操作，以实现所希望的结果。在某些情况下，多任务和并行处理可能是有利的。另外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中需要这种分离，并且应当理解，所描述的程序组件和系统可通过被一起集成在单个软件或硬件产品中，或被打包在多个软件或硬件产品中。

术语“算法”可指的是实现此处描述的结果的步骤、方法、处理、方案、过程、操作、程序、指南、技术、序列和/或一组规则或指令。例如，算法可指的是用于硬件和/或软件视频处理器的一组视频处理指令。公开的算法可涉及视频，并且可在与视频有关的系统和/或以任何组合用于视频数据的处理、压缩、存储、传输、接收、测试、校准、显示和/或任何改进的任何设备、机器和/或制品中被产生、实现、关联和/或采用。

本发明的实施例可以涉及下面列举的一个或多个例子。

1.一种用于通过重叠块差异补偿(OBDC)进行图像的运动补偿的方法，该方法包括步骤：

确定视频比特流中是否许可OBDC；

确定对于视频比特流中的与第一宏块邻近的一个或多个宏块是否许可OBDC，其中所述一个或多个邻近宏块被变换编码；以及

如果在视频比特流中并且对于所述一个或多个邻近宏块许可OBDC，则对具有与所述一个或多个邻近宏块相邻的边缘的第一宏块的区域执行预测。

2.如列举的示例实施例1所述的方法，其中确定对于视频比特流或一个或多个宏块是否许可OBDC的步骤包括如下步骤的任何组合：检测比特流或一个或多个宏块中的许可OBDC的信令指令；确定比特流或一个或多个宏块中的许可OBDC的语义或关系；确定许可OBDC的邻近块信息或运动矢量中的差别；或检测一个或多个宏块与指向与OBDC编码相关联的参考图片的参考索引的关联。

3.如列举的示例实施例1所述的方法，还包括应用编码顺序的步骤。

4.如列举的示例实施例3所述的方法，其中应用编码顺序的步骤包括利用光栅扫描编码顺序、水平编码顺序、垂直编码顺序、任意编码顺序或Z字形编码顺序。

5.如列举的示例实施例1所述的方法，还包括对OBDC预测应用其它类型的预测的步骤。

6.如列举的示例实施例4所述的方法，其中其它类型的预测包括帧间预测、帧内预测、跨层预测、跨视图预测、使用多假设的预测或采用对于一个或多个邻近宏块的依赖性的预测。

7.如列举的示例实施例4所述的方法，其中其它类型的预测还包括具有一种重叠类型的预测、具有一种传播类型的预测、与未来宏块的信息无关的预测、或采用多个宏块大小或宏块边界的预测。

8.如列举的示例实施例4所述的方法，其中该种重叠类型包括第一宏块的区域的内部重叠或第一宏块的区域的外部重叠，其中区域的内部重叠包括使用来自第一宏块的一个或多个像素的信息重叠该区域，并且区域的外部重叠包括使用来自一个或多个邻近宏块的一个或多个区域的像素的信息重叠该区域。

9.如列举的示例实施例4所述的方法，其中具有一种传播类型的预测包括具有预定方向上的传播的预测。

10.如列举的示例实施例1所述的方法，其中宏块形成矩形图案、方形图案、菱形图案或圆形图案，并且其中，预测可对于所述图案在一个或两个方向上延伸。

11.如列举的示例实施例1所述的方法，其中宏块形成正交图案、或具有边数N的多边形。

12.如列举的示例实施例0所述的方法，其中预测包括基于网格的预测，其中基于网格的预测包括三角形形状。

13.如列举的示例实施例1所述的方法，其中预测在至少三个维度上延伸。

14.如列举的示例实施例1所述的方法，还包括以下步骤：

从预测产生残差信息，残差信息包括用于第一宏块和一个或多个邻近宏块的信息，其中残差信息包括运动信息；

对残差信息进行变换编码；

量化经变换编码的残差信息；和

对量化信息进行熵编码。

15.如列举的示例实施例7所述的方法，还包括对残差解码的步骤，其中解码步骤与来自视频比特流的图像中的未来宏块的信息无关。

16.如列举的示例实施例8所述的方法，其中任何预测包括滤波、插值、缩放或仿射投影中的一个或多个操作。

17.如列举的示例实施例0所述的方法，还包括在一个或多个视图或层之间共享一个或多个差异补偿参数或模式。

18.如列举的示例实施例0所述的方法，还包括在一个或多个视图或层之间复制一个或多个差异补偿参数或模式。

19.如列举的示例实施例1所述的方法，还包括如下步骤：使用用于第一宏块的区域的预测的信息，以执行对另一邻近宏块的一个或多个区域的预测，其中该另一邻近宏块未被变换编码。

20.如列举的示例实施例1所述的方法，其中执行预测的步骤包括对可用于第一宏块的预测的方向的子集应用OBDC。

21.如列举的示例实施例1所述的方法，其中对于一个或多个邻近宏块存在经变换的残差，在视频比特流中以信号表明对于所述一个或多个邻近宏块的经变换的残差的存在。

22.一种用于通过重叠块差异补偿(OBDC)进行图像的运动补偿的方法，该方法包括步骤：

确定视频比特流中是否许可OBDC；

确定对于视频比特流中的第一宏块是否许可OBDC，其中第一宏块被转换编码，并且其中第一宏块与一个或多个邻近宏块相邻；以及

如果在视频比特流中并且对于第一宏块许可OBDC，则使用来自第一宏块的信息对所述一个或多个邻近宏块的区域执行预测，其中所述区域包括未变换编码的区域。

23.如列举的示例实施例所述的方法，其中信息包括运动矢量信息、纹理信息或与像素相关联的信息。

24.如列举的示例实施例所述的方法，其中确定对于视频比特流或第一宏块是否许可OBDC的步骤包括一个或多个步骤，所述一个或多个步骤包含：检测比特流或第一宏块中的许可OBDC的信令指令；确定比特流或第一宏块中的许可OBDC的语义或关系；确定许可OBDC的邻近块信息或运动矢量中的差别；或检测第一宏块与指向与OBDC编码相关联的参考图片的参考索引的关联。

25.一种通过重叠块差异补偿(OBDC)进行图像的差异补偿的方法，该方法包括步骤：

确定视频信息的比特流中是否许可OBDC；

确定比特流内的第一宏块的第一区域；以及

确定被变换编码的并且与第一宏块相邻的一个或两个宏块中的一个或多个残差区域是否许可重叠预测；

如果比特流许可OBDC，并且一个或多个残差区域许可重叠预测，

使用仅来自所述一个或两个相邻宏块中的一个或多个残差区域的运动矢量，预测第一宏块的第一区域中的像素；以及

作为第一区域的像素与所述一个或两个相邻宏块的区域的距离的函数给第一区域中的像素加权。

26.如列举的示例实施例13所述的方法，其中对像素的预测包括因果预测。

27.如列举的示例实施例14所述的方法，其中加权包括基于距离的加权平均。

28.如列举的示例实施例13所述的方法，其中OBDC包括计算与来自未来的宏块的信息无关的第一宏块的残差。

29.如列举的示例实施例13所述的方法，其中第一区域邻近第一宏块的第一边界。

30.如列举的示例实施例13所述的方法，其中独立于来自未来的或相邻的宏块的信息计算重叠运动补偿。

31.如列举的示例实施例13所述的方法，其中预测步骤包括帧内编码或帧内预测。

32.如列举的示例实施例0所述的方法，其中帧内编码或帧内预测包括垂直预测、水平预测或对角线预测中的一个或多个。

33.如列举的示例实施例0所述的方法，其中帧内编码或帧间预测包括模板匹配、频域方法或空间位移方法。

34.如列举的示例实施例0所述的方法，其中帧间预测包括双预测或多假设帧间预测。

35.如列举的示例实施例0所述的方法，其中预测步骤包括帧内编码和帧间预测的组合。

36.如列举的示例实施例13所述的方法，还包括以一个或多个标记或语义来以信号表明所述一个或多个相邻宏块。

37.如列举的示例实施例13所述的方法，其中预测包含执行帧内预测和帧间预测。

38.如列举的示例实施例13所述的方法，还包括：

预测一个或多个其它区域中的像素；以及

组合第一区域的预测和对所述一个或多个区域的预测，其中预测包括用于宏块的编码模式，其中所述编码模式包括任意编码模式、螺旋编码模式、随机编码模式、水平编码模式、垂直编码模式或对角线编码模式。

39.如列举的示例实施例13所述的方法，还包括将一个或多个其它类型的预测组合到第一区域。

40.如列举的示例实施例13所述的方法，其中宏块包括具有与相邻宏块中的至少一个宏块中的分区的块分区大小不同的大小的块分区。

41.如列举的示例实施例13所述的方法，还包括预测图片内的其它区域的信息，所述其它区域包括重叠宏块区域和非重叠宏块区域。

42.如列举的示例实施例13所述的方法，其中一个或多个宏块包括经变换的残差，对于所述经变换的残差，在视频比特流中以信号表明所述经变换的残差中的至少一个的存在。

43.如列举的示例实施例13所述的方法，该方法还包括：

将所述预测与来自相邻宏块之一的其它类型的预测组合，其中其它类型的预测包括使用多假设的预测，或采用多个块大小或宏块分区类型的预测；以及

对其它类型的预测加权。

44.一种编码在计算机可读介质上的计算机程序产品，所述计算机程序产品包括使得数据处理装置执行用于图像的重叠块差异估计和补偿(OBDC)的操作的指令，所述操作包括：

对于多个宏块，通过重叠宏块的至少第一子集中的宏块的非全部的块边界，对宏块的至少第一子集执行OBDC预测，使得对至少第一子集的OBDC预测是因果性的。

45.如列举的示例实施例18所述的计算机程序产品，所述操作还包括：

执行对于宏块的第二子集的OBDC预测，所述OBDC预测包含通过重叠第二子集中的宏块的全部块边界来进行重叠；以及

组合对于至少第一子集的OBDC预测和对于第二子集的OBDC预测。

46.如列举的示例实施例18所述的计算机程序产品，所述操作还包括：

对于宏块的第二子集执行与宏块的至少第一子集中的宏块的OBDC预测不同的一种类型的运动预测；和

组合对于至少第一子集的OBDC预测和对于第二子集的该种类型的预测。

47.如列举的示例实施例所述的计算机程序产品，其中组合操作包括：

将加权参数应用于对于至少第一子集的OBDC预测或对于第二子集的该种类型的预测。

48.如列举的示例实施例23所述的计算机程序产品，所述操作还包括：

对使用OBDC预测的宏块的至少第一子集应用加权；以及

对OBDC预测应用预测模式，其中所述预测模式包括内部预测、外部预测或内部和外部OBDC预测的组合。

49.如列举的示例实施例23所述的计算机程序产品，其中OBDC预测包括用于宏块的至少第一子集的编码模式，其中该编码模式包括任意编码模式、螺旋编码模式、水平编码模式、垂直编码模式或对角线编码模式。

50.如列举的示例实施例所述的计算机程序产品，其中对于宏块的第二子集的该种类型的预测包括帧内预测或帧间预测。

51.如列举的示例实施例所述的计算机程序产品，其中帧内编码或帧内预测包括垂直预测、水平预测或对角线预测、模板匹配、频域方法或空间位移方法中的一个或多个。

52.如列举的示例实施例18所述的计算机程序产品，其中宏块形成正交图案、矩形图案、方形图案、菱形图案、圆形图案或具有多个边的多边形，并且其中预测在一个或多个维度上延伸。

53.如列举的示例实施例18所述的计算机程序产品，其中所述预测包括基于网格的预测，其中基于网格的预测包括三角形形状。

54.如列举的示例实施例18所述的计算机程序产品，还包括与OBDC预测相关联的指令，包括计算与来自未来的宏块的信息无关的第一宏块的残差。

55.一种执行图像的运动估计的系统，该系统包括：

显示图像数据的显示设备；

存储用于图像数据处理的指令和图像数据的计算机可读介质；和

能够处理所述指令和图像数据的数据处理设备，所述指令使得该设备执行图像的重叠块差异估计(OBDC)，所述操作包括：

对于多个宏块，通过重叠宏块的至少第一子集中的宏块的非全部的块边界，对宏块的至少第一子集执行OBDC预测，使得对至少第一子集的OBDC预测是因果性的。

56.如列举的示例实施例所述的系统，其中所述指令还包括：

对于宏块的第二子集执行与宏块的至少第一子集中的宏块的OBDC预测不同的一种类型的运动预测；和

组合对于至少第一子集的OBDC预测和对于第二子集的该种类型的预测。

57.如列举的示例实施例所述的系统，其中所述组合包括将对于至少第一子集的OBDC预测和对于宏块的第二子集的该种类型的预测进行加权平均。

58.如列举的示例实施例所述的系统，其中多个宏块包括各种大小的宏块、或具有分区的宏块，所述分区具有多种形状或大小。

59.如列举的示例实施例所述的系统，其中明确地或通过语义以信号表明OBDC预测，以指示是否将对宏块的至少第一子集中的宏块使用OBDC预测。

60.如列举的示例实施例所述的系统，其中一个或多个宏块包括经变换的残差，对于所述经变换的残差，在视频比特流中以信号表明所述经变换的残差中的至少一个的存在。

61.一种用于视频的差异估计和差异补偿的系统，该系统包括：

视频编码器，视频编码器包括用于编码的一个或多个视频编码器组件，其对视频比特流的图像中的宏块的子集因果地执行重叠块差异估计和补偿(OBDC)，所述一个或多个视频编码器组件包括：

差异估计组件，用于确定一个或多个预测模式或预测参数；以及

差异补偿组件，用于利用差异估计组件信息以利用对于宏块的子集被因果地执行的OBDC产生预测信息；以及

视频解码器，包括用于解码的一个或多个组件，所述一个或多个视频解码器组件利用被因果地执行的OBDC执行熵解码，执行差异补偿，并且产生残差信息。

62.如列举的示例实施例所述的系统，其中所述一个或多个视频解码器组件被布置为并行地执行熵解码，执行差异补偿和产生残差信息。

已经描述了本公开的特定示例实施例；其它实施例在下面的权利要求和其等同物的范围内。

Claims (24)

1.一种用于以重叠块差异补偿(OBDC)进行图像的运动补偿的方法，所述方法包括步骤：

确定视频比特流中是否许可OBDC；

确定对于下列中的至少一个是否许可OBDC：

视频比特流中的与第一宏块邻近的一个或多个宏块，其中一个或多个邻近宏块被变换编码；或

视频比特流中的第一宏块，其中第一宏块被变换编码，并且其中第一宏块与一个或多个邻近宏块相邻；以及

如果OBDC在视频比特流中并且对于下列中的一个或多个被许可：

所述一个或多个邻近宏块，则对具有与所述一个或多个邻近宏块相邻的边缘的第一宏块的区域执行预测；或者

对于第一宏块被许可，则使用来自第一宏块的信息对所述一个或多个邻近宏块的区域进行预测，其中所述区域包括非变换编码的区域。

2.如权利要求1所述的方法，其中确定对于视频比特流或一个或多个宏块是否许可OBDC的步骤包括以下步骤的任何组合：检测比特流或一个或多个宏块内的用于许可OBDC的信令指令；确定比特流或一个或多个宏块内的用于许可OBDC的语义或关系；确定许可OBDC的邻近块信息或运动矢量中的差别；或检测一个或多个宏块与指向与OBDC编码相关联的参考图片的参考索引的关联；或

其中确定对于视频流或第一宏块是否许可OBDC的步骤包括一个或多个步骤，包括：检测比特流或第一宏块内的用于许可OBDC的信令指令；确定比特流或第一宏块内的用于许可OBDC的语义或关系；确定许可OBDC的邻近块信息或运动矢量中的差别；或检测第一宏块与指向与OBDC编码相关联的参考图片的参考索引的关联。

3.如权利要求1所述的方法，还包括应用编码顺序的步骤，所述编码顺序包括利用光栅扫描编码顺序、水平编码顺序、垂直编码顺序、任意编码顺序或Z字形编码顺序中的一个或多个。

4.如权利要求1所述的方法，还包括应用下列中的一个或多个的步骤：帧间预测、帧内预测、跨层预测、跨视图预测、使用多假设的预测、采用对于一个或多个邻近宏块的依赖性的预测、采用一种类型的重叠的预测、采用一种类型的传播的预测、与未来宏块的信息无关的预测、或采用多个宏块大小或宏块边界的预测。

5.如权利要求4所述的方法，其中：

该种类型的重叠包括第一宏块的区域的内部重叠或第一宏块的区域的外部重叠，其中区域的内部重叠包括使用来自第一宏块的一个或多个像素的信息重叠该区域，并且区域的外部重叠包括使用来自一个或多个邻近宏块的一个或多个区域的像素的信息重叠该区域；或

采用一种类型的传播的预测包括采用预定方向上的传播的预测。

6.如权利要求1所述的方法，宏块形成下列中的至少一个：

矩形图案、方形图案、菱形图案或圆形图案，其中预测在图案的一个或两个方向上延伸；或

正交图案或具有N条边的多边形。

7.如权利要求1所述的方法，还包括步骤：

从预测产生残差信息，残差信息包括对于第一宏块以及一个或多个邻近宏块的信息，其中残差信息包括运动信息；

对残差信息进行变换编码；

量化经变换编码的残差信息；和

对经量化的信息进行熵编码。

8.如权利要求7所述的方法，还包括对残差解码的步骤，其中：

解码步骤与来自视频比特流的图像中的未来宏块的信息无关；或者

预测中的一个或多个包括滤波、插值、缩放或仿射投影中的一个或多个操作。

9.如权利要求8所述的方法，还包括下列中的一个或多个：

在一个或多个视图或层之间共享一个或多个差异补偿参数或模式；或

在一个或多个视图或层之间复制一个或多个差异补偿参数或模式。

10.如权利要求1所述的方法，还包括步骤：使用用于第一宏块的区域的预测的信息来执行其它邻近宏块的一个或多个区域的预测，其中该其它邻近宏块未被变换编码。

11.如权利要求1所述的方法，其中对于一个或多个邻近宏块存在一个或多个经变换的残差，对于所述一个或多个邻近宏块在视频比特流中以信号表明经变换的残差的存在。

12.如权利要求1所述的方法，其中信息包括运动矢量信息、纹理信息或与像素相关联的信息。

13.一种用于以重叠块差异补偿(OBDC)进行图像的差异补偿的方法，该方法包括步骤：

确定视频信息的比特流中是否许可OBDC；

确定比特流内的第一宏块的第一区域；以及

确定被变换编码的并且与第一宏块相邻的一个或两个宏块中的一个或多个残差区域是否许可重叠预测；

如果比特流许可OBDC并且一个或多个残差区域许可重叠预测，

使用仅来自一个或两个相邻宏块中的一个或多个残差区域的运动矢量，预测第一宏块的第一区域中的像素；以及

作为所述第一区域中的所述像素与所述一个或两个相邻宏块的区域的距离的函数对所述第一区域内的像素加权。

14.如权利要求13所述的方法，其中：

像素的预测包括因果预测；

OBDC包括计算与来自未来宏块的信息无关的第一宏块的残差；

第一区域邻近第一宏块的第一边界；

独立于来自未来的或相邻的宏块的信息计算重叠运动补偿；或

所述预测步骤包括帧内编码或帧内预测。

15.如权利要求14所述的方法，其中：

帧内编码或帧内预测包括垂直预测、水平预测、对角线预测、模板匹配、频域方法或空间位移方法中的一个或多个；

帧间预测包括双预测帧间预测或多假设帧间预测；或

预测步骤包括帧内编码和帧间预测的组合。

16.如权利要求15所述的方法，其中：

预测包含执行帧内预测和帧间预测；

宏块中的一个或多个包括具有与相邻宏块中的至少一个宏块中的分区的块分区大小不同的大小的块分区；或

宏块中的一个或多个包括经变换的残差，对于经变换的残差，在视频比特流中以信号表明所述经变换的残差中的至少一个的存在。

17.如权利要求15所述的方法，还包括下列中的至少一个：

以标记或语义中的一个或多个以信号表明一个或多个相邻宏块；或

对于第一区域组合一个或多个其它类型的预测；或者

预测图片内的其它区域的信息，所述其它区域包括重叠宏块区域和非重叠宏块区域；或

预测一个或多个其它区域内的像素；和

组合第一区域的预测和对一个或多个区域的预测，其中预测包括用于宏块的编码模式，其中编码模式包括任意编码模式、螺旋编码模式、随机编码模式、水平编码模式、垂直编码模式或对角线编码模式；或

组合所述预测与来自相邻宏块之一的其它类型的预测，其中其它类型的预测包括使用多假设的预测或采用多个块大小或宏块分区类型的预测中的至少一个；和

对其它类型的预测应用加权。

18.一种编码在计算机可读介质上的计算机程序产品，所述计算机程序产品包括使得数据处理装置执行权利要求1-17中所述的方法步骤中的任何步骤的操作的指令。

19.一种用于以重叠块差异补偿(OBDC)进行图像的运动补偿的系统，包括：

用于确定视频比特流中是否许可OBDC的装置；

用于确定对于下列中的至少一个是否许可OBDC的装置：

视频比特流中的与第一宏块邻近的一个或多个宏块，其中所述一个或多个邻近宏块被变换编码；或

视频比特流中的第一宏块，其中第一宏块被变换编码，并且其中第一宏块与一个或多个邻近宏块相邻；以及

用于如下操作的装置，即如果OBDC在视频比特流中并且对于下列中的一个或多个被许可：

所述一个或多个邻近宏块，则对具有与所述一个或多个邻近宏块相邻的边缘的第一宏块的区域执行预测；或者

对于第一宏块被许可，则使用来自第一宏块的信息对所述一个或多个邻近宏块的区域进行预测，其中所述区域包括非变换编码的区域。

20.一种用于以重叠块差异补偿(OBDC)进行图像的差异补偿的装置，包括：

用于确定视频信息的比特流中是否许可OBDC的装置；

用于确定比特流内的第一宏块的第一区域的装置；以及

用于确定被变换编码的并且与第一宏块相邻的一个或两个宏块中的一个或多个残差区域是否许可重叠预测的装置；

用于如果比特流许可OBDC并且一个或多个残差区域许可重叠预测的装置，

用于使用仅来自一个或两个相邻宏块中的一个或多个残差区域的运动矢量，预测第一宏块的第一区域中的像素的装置；以及

用于作为所述第一区域中的所述像素与所述一个或两个相邻宏块的区域的距离的函数对所述第一区域内的像素加权的装置。

21.一种执行图像的运动估计的装置，该装置包括：

显示图像数据的显示设备；

存储所述图像数据和用于图像数据处理的指令的计算机可读介质；和

能够处理所述指令和图像数据的数据处理设备，所述指令使得该设备执行图像的重叠块差异估计(OBDC)，所述操作包括：

对于多个宏块，通过重叠宏块的至少第一子集中的宏块的非全部块边界对宏块的至少第一子集执行OBDC预测，从而对至少第一子集的OBDC预测是因果性的。

22.一种用于视频的差异估计和差异补偿的系统，该系统包括：

视频编码器，包括用于编码的一个或多个视频编码器组件，其对视频比特流的图像中的宏块的子集因果地执行重叠块差异估计和补偿(OBDC)，所述一个或多个视频编码器组件包括：

差异估计组件，用于确定一个或多个预测模式或预测参数；以及

差异补偿组件，用于利用差异估计组件信息，以利用对于宏块的子集被因果地执行的OBDC产生预测信息；以及

包括用于解码的一个或多个组件的视频解码器，所述一个或多个视频解码器组件利用被因果地执行的OBDC执行熵解码，执行差异补偿，并且产生残差信息。

23.一种计算机化系统的应用，包括执行关于以重叠块差异补偿(OBDC)进行图像的运动补偿的处理步骤，所述处理步骤包括：

确定视频比特流中是否许可OBDC；

确定对于下列中的至少一个是否许可OBDC：

视频比特流中的与第一宏块邻近的一个或多个宏块，其中所述一个或多个邻近宏块被变换编码；或

视频比特流中的第一宏块，其中第一宏块被变换编码，并且其中第一宏块与一个或多个邻近宏块相邻；以及

如果OBDC在视频比特流中并且对于下列中的一个或多个被许可：

所述一个或多个邻近宏块，则对具有与所述一个或多个邻近宏块相邻的边缘的第一宏块的区域执行预测；或者

对于第一宏块被许可，则使用来自第一宏块的信息对所述一个或多个邻近宏块的区域进行预测，其中所述区域包括非变换编码的区域。

24.一种计算机化系统的应用，包括执行关于以重叠块差异补偿(OBDC)进行图像的差异补偿的处理步骤，该方法包括步骤：

确定视频信息的比特流中是否许可OBDC；

确定比特流内的第一宏块的第一区域；以及

确定被变换编码的并且与第一宏块相邻的一个或两个宏块中的一个或多个残差区域是否许可重叠预测；

如果比特流许可OBDC并且一个或多个残差区域许可重叠预测，

使用仅来自一个或两个相邻宏块中的一个或多个残差区域的运动矢量，预测第一宏块的第一区域中的像素；以及

作为所述第一区域中的所述像素与所述一个或两个相邻宏块的区域的距离的函数对所述第一区域内的像素加权。

Images