CN101268690A - 用于运动对象边界的适应性影响区域滤波器 - Google Patents

Abstract

一种执行适应性时间预测的方法包括：接收目标图像，其中对象在所述目标图像中的位置不同于对象在参考图像中的位置；使用所述对象的边界来生成不规则的目标图像运动向量模式；使用所述目标图像运动向量将所述目标图像划分成影响区域单元，其中每个影响区域单元包含所述目标图像运动向量中的唯一一个；以及通过将适应性影响区域滤波器应用到所述影响区域单元来生成所述目标图像的预测。

Description

用于运动对象边界的适应性影响区域滤波器

技术领域

本发明涉及视频压缩领域。

背景技术

时间预测滤波器(temporal prediction filter)在视频压缩过程中被用于从一组先前解码的参考图像(reference image)中预测出目标图像(targetimage)。时间预测过程在去除大量时间冗余时是有效的，其一般产生较高的编码效率。预测过程使用一组运动向量和对运动向量进行操作的滤波器来预测目标图像。

例如，预测方法将参考图像110划分成多个固定尺寸的块120，如图1所示。每个块具有相关的运动向量，用于描述该块相对于目标图像的运动。运动向量由图像110中的白点示出。时间预测滤波器使用相关的运动向量来对参考图像中的每个块执行简单的运动补偿技术，以预测该块在目标图像中的位置。因此，目标图像中的每个块通过使用单个运动向量根据参考图像中的块被估计出。但是，这种方法独立对待每个运动向量，并且不适应于图像特征。

传统的时间滤波器使用单个运动向量来预测相关块的位置或者依赖于针对规则的运动向量模式(pattern)定义的滤波器，这些传统时间滤波器需要规则分布的运动向量以执行时间预测。因此，它们无法使得预测过程适应于不规则的运动向量模式。存在对于可以使得滤波器的抽头(tap)和滤波器系数局部适应于不规则的运动向量模式的变化的滤波器的需求。还存在对于具有适应于对象边界(object boundary)和空间纹理(spatialtexture)的灵活性的时间滤波器的需求。

发明内容

执行适应性时间预测的方法包括：接收目标图像，其中对象在目标图像中的位置不同于该对象在参考图像中的位置；使用对象的边界来生成不规则的目标图像运动向量模式；使用这些目标图像运动向量将目标图像划分成影响区域单元，其中每个影响区域单元包含目标图像运动向量中的唯一一个；并且通过将适应性的影响区域滤波器应用到影响区域单元来生成目标图像的预测。

附图说明

本发明以示例方式示出，并且可以通过结合附图参考以下描述来更好地理解，其中：

图1示出被划分成多个固定尺寸的块的参考图像的示例。

图2A和2B示出用于运动对象边界的适应性时间滤波的示例。

图3A示出从目标图像中提取出的运动对象边界的示例。

图3B示出利用运动对象边界生成的不规则的运动向量模式的示例。

图4A示出用于生成不规则的运动向量模式的方法的示例。

图4B示出图4A的方法的中间结果的示例。

图5示出计算滤波器系数的方法的示例。

图6示出使滤波器适应于图像中的对象特征的方法的示例。

图7示出构造对象边界周围的AOI单元的示例。

图8示出用于运动对象的封闭区域(occluded region)的示例。

图9示出利用一个参考图像来预测封闭区域附近的像素的修改示例。

图10示出使用滤波器来预测目标图像中的像素的示例。

图11示出重新估计运动向量值以提高滤波器精确度的方法的示例。

图12示出用于利用适应性时间滤波器对视频数据图像(或帧、或场)进行编码的视频编码系统的示例。

图13示出在解码视频数据的图像(或帧、或图像)时使用滤波器的示例。

图14示出使用适应性影响区域滤波器的视频系统的示例。

具体实施方式

在以下描述中，参考构成说明书一部分的附图，附图中以图示方式示出可用来实施本发明的特定实施例。将会理解，在不脱离本发明的范围的情况下，其他实施例可被利用，并且结构改变可能发生。例如，本领域技术人员将会理解，用来描述各个实施例的术语场或帧或图像在参考视频数据使用时可以互换。

适应性影响区域(adaptive area of influence，AAOI)时间滤波器在预测目标图像时自动适应于不规则的运动向量模式、对象特征和空间纹理。AAOI滤波器在时域中作用于经运动补偿的信号，这不同于其他方法，其他方法试图直接对运动向量进行滤波(例如运动向量域中的三角滤波)。例如，由于AAOI滤波方法在时域中操作，因此更易修改以适应于对象和空间纹理。在一个实施例中，AAOI滤波器执行两级过程(two stageprocess)，以在像素预测期间耦合相邻的运动向量。第一级使得滤波器适应于不规则的运动向量采样模式、对象形状以及边界。第二级使得滤波器适应于图像的空间纹理。

适应性时间滤波过程的示例如图2A所示。在203，目标图像、一个或多个参考图像以及目标图像中运动对象的边界被接收。在210，利用运动对象边界，针对目标图像生成不规则的运动向量采样模式。在220，目标图像被划分成影响区域(AOI)单元，其中每个AOI单元具有一个运动向量作为其节点。在230，每个运动向量的初始值被估计。在240，适应性影响区域滤波器被应用到AOI单元，以生成目标图像的预测。在250，由滤波器产生的预测结果被用于重新估计运动向量的值，以便提高适应性滤波器的精确度。在260，在某些实施例中，该过程返回240以减小由适应性影响区域滤波器产生的预测误差。否则，过程在270结束。

实现图2A所示方法的逻辑器件的示例如图2B所示。该逻辑器件280包括接收目标图像和参考图像的接收器281。接收器281还接收来自目标图像的针对运动对象的边界的数据。生成器283使用针对运动对象的边界的数据来生成针对目标图像的不规则的运动向量采样模式。划分器285将目标图像划分成影响区域单元，每个影响区域单元包含运动向量之一。预测器287将适应性的影响区域滤波器应用到影响区域单元以生成对目标图像的预测。

图2A的元件现在将被更详细论述。在图2A的205处从目标图像提取出的运动对象边界的示例如图3A的块320所示。在块320中，黑色区域对应于目标图像310的背景区域。白色区域对应于相对于背景运动的人，并且灰色区域对应于目标图像的前景(foreground)区域，该前景区域也相对于背景呈现出运动。在图2A的210处利用运动对象边界生成的不规则的运动向量模式的示例如图3B的块330所示。图像330中的白点代表运动向量。对于这种适应性采样模式，运动向量沿着运动对象边界更集中，运动对象边界是难以从参考图像预测出的区域。较少量运动向量置于简单运动区域(例如背景区域)中。

在某些实施例中，不规则的运动向量模式是利用图4A所示方法在图2A的210处生成的。在410，运动向量被置于运动对象的质心。在420，利用某些参数将不规则的运动向量模式放置在对象边界周围，所述参数例如是沿着边界的切线的两个运动向量之间的距离d；沿着处于边界法向的路径，边界内的运动向量和边界外的运动向量之间的宽度w。内步幅(inside stride)istr确定边界内沿着法向路径的运动向量的数目；并且外步幅(outside stride)ostr确定边界外沿着法向路径的运动向量的数目。

所述参数可以根据沿边界的运动程度和边界的清晰程度而变化。例如，如果运动很复杂并且边界粗糙，则w和d的值减小，并且内步幅和外步幅的值增大，以将更多运动向量放置在该区域中。或者，如果对象的运动简单并且边界清晰，则需要的运动向量更少。因此，w和d的值增大，并且步幅值减小。结果是沿着运动对象边界的不规则的运动向量模式。

在430，运动对象被从目标图像中删除，从而保留背景区域。在440，从背景区域生成不规则的运动向量模式。在某些实施例中，固定数目的运动向量被应用到目标图像。可用于背景区域的运动向量的数目是将不规则的运动向量模式放置在边界周围之后的剩余数目。然后，在450，运动对象和背景区域与它们的不规则运动向量模式一起被组合。

图4A的方法的中间结果如图4B所示。在块412，运动向量414被放在对象内的位置上。例如，在某些实施例中，该运动向量被放在对象416的质心。在422，不规则模式的运动向量根据诸如d、w、istr和ostr之类的参数被放在对象416周围。距离d的示例被示出在运动向量423和425之间。宽度w被示出在运动向量423和427之间。运动向量428和429是值为2的内步幅参数的示例。值为1的外步幅参数ostr的示例如运动向量423所示。在块432中，对象416被从图像中去除，留下背景区域436。在块442中，针对背景区域生成不规则的运动向量模式。在块452中，不规则模式在目标图像中被组合。

返回图2A，在220，图像被划分成多个单元，称之为影响区域单元(AOI单元)。每个AOI单元具有一个运动向量作为其节点。被划分成AOI单元的图像的示例如图3B的340所示。每个AOI单元代表这样的区域，该区域受该单元内运动向量的影响比图像中任何其他运动向量的影响要强。由于针对每个运动向量生成一个AOI单元，因此AOI单元的尺寸可能与图像中的对象的特征(例如边界区域)相关。例如，对象之间的边界区域附近的AOI单元可能小于图像背景区域中的AOI单元。而且，AOI单元的形状可以局部修改以适应于对象边界的形状。用于生成AOI单元的方法的一个实施例是距离最近运动向量划分方法(例如Voronoi单元)。其他划分方法可被使用，例如块或三角方法。

返回图2A，在230，初始运动估计被执行，以确定每个AOI单元中的运动向量的初始值。初始运动估计将与运动向量相关联的AOI单元映射到参考图像中的相应单元，并测量两个单元之间的位移。该位移提供了每个运动向量的初始值。从而，初始值不会反映来自周围运动向量的任何影响，因为它是由这种单元对单元映射和位移测量来确定的。因此，特定运动向量的初始值独立于其他运动向量。

在240，适应性影响区域(AAOI)滤波器被应用到影响区域单元以对目标图像执行时间预测。该滤波器在时域被应用，以在给定运动向量值的集合和采样模式的情况下生成对目标图像的预测结果。AAOI滤波器使用由重叠区域的面积限定的滤波器系数和滤波器抽头来捕获与要预测的像素相邻的运动向量的相关性(relevance)。该适应性影响区域滤波器被应用到影响区域单元，以根据参考图像和运动向量的集合生成目标图像的时间预测。该滤波器具有以下结构。令{v_j}表示N个运动向量的集合，并且I(x)表示参考图像(先前解码的图像)。令S(x)表示围绕像素x的位置的运动向量的某个集合。该目标像素x的预测一般可以表示为：

$I^{\mathrm{pred}}\left(x\right)=\underset{i\∈S\left(x\right)}{\mathrm{\Σ}}{f}_i{I}^{\mathrm{ref}}(x+v_i)$

其中{f_i}是滤波器系数的集合，并且x+v_i是当运动向量v_i被应用到像素x时经运动补偿的像素。滤波器的支撑(support)或抽头由集合S(x)定义。抽头支撑S(x)和滤波器系数{f_i}一般是像素位置x及其相邻运动向量的函数。就是说，滤波器系数可以针对每个像素改变，这是因为运动向量分布在整幅图像中变化。因此，滤波器局部地适应于变化的运动向量模式。

在一个实施例中，滤波器系数{f_i}是利用图5所示方法来计算的。在第一级，定义自然抽头结构和滤波器权重，并且在第二级，使滤波器适应于图像的空间纹理。第一级生成AAOI滤波器，该AAOI滤波器可以适应于诸如不规则的采样模式之类的特征以及对象形状和边界。第二级允许AAOI滤波器在用于视频压缩的基于运动向量的时间预测过程期间适应于图像的空间纹理。

第一级开始于510，接收局部运动向量采样模式，其包含要预测的目标像素的邻域(neighborhood)中的运动向量。在520，在每个局部运动向量周围构造影响区域单元。目标像素的局部区域因此被划分成一组AOI单元。在530，为了内插像素，其被视为新节点，并且在其周围构造像素影响区域单元。然后，在540，与该像素影响区域单元重叠的每个相邻AOI单元的面积被确定。重叠面积限定自然抽头结构和滤波器权重。换言之，抽头结构由每个如下的运动向量i限定：该运动向量i的AOI单元与该像素区域单元的重叠面积A_i不为零。在抽头结构中每个运动向量的滤波器权重由量A_i/A限定。就是说，对于某个像素位置x：

S(x)＝{i|A_i＞0}

$f_i=\frac{A_i}{A}---\left(2\right)$

其中S(x)是像素x的邻域中的局部运动向量的集合，A_i是集合S(x)中运动向量i的AOI单元与像素影响单元的重叠面积，A是AOI单元与像素影响单元的总重叠面积，并且f_i是滤波器权重。

在550，使滤波器适应于图像特征，例如运动对象的对象边界。在某些实施例中，影响区域单元的形状改变以适应于运动对象的边界。通过限制运动向量区域单元和像素区域单元只包括属于相同对象的像素来使区域单元适应于图像中的对象边界。这种动作在要预测的像素周围生成经修改的AOI单元。因此，在一个实施例中，滤波器支撑和系数被表示为：

$S\left(x\right)=\left\{i\right|{\tilde{A}}_i>0\}$

$f_i=\frac{{\tilde{A}}_i}{\tilde{A}}---\left(3\right)$

其中

是由于对象边界针对运动向量i的经修改的AOI单元。每个经修改的AOI单元包括与要预测的像素处于同一运动层中的像素并且不包括其他运动层中的像素。在该第一级结束时，滤波器已经适应于不规则的运动向量模式和运动对象边界两者。

在生成针对图像中的每个像素的预测之后，滤波过程的第二级被执行。在第二级，在560，使滤波器适应于空间纹理。由于从AAOI滤波器的第一级输出的预测具有规则的采样数据模式形式，因此，在某些实施例中，最小二乘(LS)训练滤波器被用于第二级，以使得滤波器适应于空间纹理。在另一实施例中，空间适应过程可以在第一级直接修改AOI单元以仅仅包括具有相似空间纹理的那些像素。

图6示出在图5的550处使得滤波器适应于图像特征的方法的示例。在610，在运动对象边界周围修改滤波器。在620，利用对象边界和代表性运动向量来估计封闭区域。封闭区域是相对于参考图像被隐藏的区域。在630，如果过去的参考图像和未来的参考图像都可获得，则未来的参考图像被用于利用在610处生成的经修改的滤波器预测封闭区域。否则，如果只有一个参考图像可获得，则在640，在封闭区域周围修改滤波器。

更详细地参考610，滤波器根据分隔运动层的运动对象边界的存在被修改，以考虑与要预测的像素x在同一运动层的运动向量。而且，运动对象边界被用于改变用于预测像素x的AOI单元的形状。在某些实施例中，这是通过如下构造每个AOI单元来执行的：

T_i＝{x|x∈O_i，dist(x，x_i)＜dist(x，x_{j∈N，j≠i})}          (4)

其中，x是要预测的像素，x_i是N个运动向量的集合中的一个特定运动向量i的像素位置，并且O_i是对象针对运动向量i的运动层分配。针对运动向量i的AOI单元T_i是像素{x}的集合，从而使得像素x属于与运动向量i相同的运动层O_i，并且像素x和运动向量i之间的距离小于像素x和所有其他运动向量j，j＝1，...N，j≠i之间的距离。在利用式(4)构造出每个新的AOI单元T_i之后，利用运动对象边界修改其形状以根据式(3)产生滤波器权重。

构造对象边界周围的AOI单元并修改它们的形状的示例如图7所示。在710，局部节点模式被接收。局部节点模式包括一组运动向量(用圆圈表示)，它们位于需要被预测的像素x的邻域中。运动向量被编号，从(1)到(6)。在720，在运动向量周围构造影响区域单元。每个虚线代表AOI单元之间的边界。在730，在要预测的像素x周围构造用实线表示的像素影响区域单元。

在740，每个运动向量的AOI单元和像素的AOI单元之间的重叠面积被确定。例如，运动向量(1)的AOI单元与像素AOI单元的重叠面积为A₁。滤波器的抽头和滤波器权重由重叠面积确定。抽头结构由每个如下的运动向量i限定：该运动向量i的AOI单元与像素区域单元具有非零的重叠面积A_i。在该示例中，运动向量(4)的AOI单元没有与像素AOI单元重叠。因此，针对像素x的滤波器抽头结构是运动向量(1)、(2)、(3)、(5)和(6)。抽头结构中每个运动向量的滤波器权重由量A_i/A限定。例如，在此情况下，f₁＝A₁/A。

在750，使滤波器适应于图像特征，例如运动对象的对象边界751。运动对象的对象边界751分开运动层753和755。为了内插像素x，抽头结构被修改以包括与像素x处于同一运动层的运动向量。由于像素x处于运动层755，因此来自740的抽头结构被用式(4)修改以删除运动向量(3)和(5)，从而留下运动向量(1)、(2)和(6)作为抽头结构。

此外，在750，利用式(3)使滤波器权重适应于对象边界751的形状。在此示例中，沿着对象边界751的影响区域单元的形状改变以适应于运动对象的边界。对象边界751切割运动向量(2)的AOI单元。为了内插处于运动层755的像素x，运动向量(2)的AOI单元被重新定义以仅包括其原始单元中处于运动层755的那些像素。这在运动向量(2)周围生成经修改的AOI单元。运动向量(6)的AOI单元的形状也适应于对象边界751。运动向量(6)的AOI单元与对象边界751之间的区域处于运动层755。但是，该区域最初被包括在运动向量(5)的AOI单元中。由于运动向量(5)不再是滤波器的抽头结构的一部分，因此该区域中的像素现在变为运动向量(6)的AOI单元的一部分。经修改的重叠面积和

以及重叠面积A₁被用于生成经修改的滤波器的滤波器权重。

返回图6，在620，运动对象边界被用于估计封闭区域。封闭区域的示例如图8所示。利用过去的参考图像810预测目标图像820。运动对象805的边界从其在过去的参考图像810中的位置到其在目标图像820中的位置之间的位移构成封闭区域825。目标图像在封闭区域825中的部分被过去的参考图像810所覆盖。因此，利用过去的参考图像810预测目标图像820的封闭区域825中的像素的做法产生较差结果。为了改进预测，在图6的630，如果未来的参考图像可获得，则其被用于预测封闭区域中的像素。否则，在640，滤波器被再次修改。

更详细地参考640，如果有单个参考场可用于预测(例如图8的过去的参考图像810)，则对滤波器执行另一修改。该第二修改提高了在封闭区域中及其周围的预测的精确度。在封闭区域中的运动向量是不可靠的并且不连贯的，因为它们映射到参考图像中不与目标图像中的相应像素相关的像素。第二修改允许滤波器使用彼此具有某种连贯性(coherence)的运动向量节点。例如，当预测封闭区域附近的像素时，滤波器使用属于同一运动层的运动向量。

用于使用单个参考场预测封闭区域中的目标像素的修改仅使用最近的运动向量。为了预测封闭区域附近但在封闭区域外部的目标像素，修改限制影响区域单元以避免使用封闭区域中的像素。

一般而言，对于不属于封闭区域C的运动向量i，每个影响区域单元T_i被构造为：

$T_i=\left\{x\right|x\&Element;O_i,\mathrm{dist}(x,x_i)<\mathrm{dist}(x,x_{j\&Element;N,j\&NotEqual;i}),x\&NotElement;C\}---\left(5\right)$

其中，x是要预测的像素，x_i是N个运动向量的集合中的一个特定运动向量i的像素位置，并且O_i是对象针对运动向量i的运动层分配。运动向量i的影响区域单元T_i是所有像素的集合{x}，从而使得像素x属于与运动向量i相同的运动层；像素x和运动向量i之间的距离小于像素x和所有其他运动向量j，j＝1，...N，j≠i之间的距离；并且像素x不在封闭区域C中。对于处在封闭区域C中的运动向量，不构造影响区域单元。取而代之，利用最近的运动向量来预测该区域中的目标像素以执行运动补偿。

利用一个参考图像预测封闭区域中或附近的像素的修改的示例如图9所示。AOI单元已被修改为适应于运动对象边界，如910所示。封闭区域在920示出。对滤波器的第二修改在930处示出，其中运动向量(3)的AOI单元已被减小以删除与封闭区域重叠的部分。处于封闭区域中的运动向量(5)的AOI单元已被从滤波器删除。运动向量(4)的AOI单元已被扩展以包括运动向量(5)的前AOI单元的处于封闭区域外的部分。为了预测封闭区域附近的像素，例如940所示像素x，利用式(3)确定滤波器权重，如950所示。为了预测封闭区域内的像素，例如940所示像素x，具有滤波器权重1的最近运动向量被用于形成单抽头滤波器。在此情况下，最近运动向量为(5)。

适应性滤波过程生成在时域中限定的基于区域的滤波器，其在时间预测过程期间耦合相邻的运动向量。该滤波器自然地适应于运动图像中不均匀或不规则的运动向量采样模式、对象形状和边界以及空间纹理。图10示出240(图2A)的更多细节，在240，滤波器被用于预测目标图像中的像素x。参考图像1010中的像素被用于预测目标图像1020中的像素。参考像素由参考图像1010中的实线圆圈表示，而要预测的目标像素由目标图像1020中的虚线圆圈表示。

滤波器利用局部运动向量v₁到v₅的抽头结构形成对目标图像1020中的像素x的预测。这些运动向量对于像素x是局部的，因为它们各自的AOI单元中的每一个与像素x的AOI单元的至少一部分重叠。抽头结构中的每个运动向量{v_i}映射到参考图像1010中的图像数据{I_i}。适应性时间预测滤波器利用滤波器权重{f_i}调整参考数据{I_i}以预测像素x。在一个实施例中，预测滤波器使用抽头结构和滤波器权重来根据下式生成预测：

预测＝I₁*f₁+I₂*f₂+I₃*f₃+I₄*f₄+I₅*f₅

其中滤波器抽头由局部运动向量定义，滤波器系数{f_i}利用式(3)确定。

在初始预测之后，该过程重新估计运动向量的值，如图2A的块250所示，以提高滤波器的精确度。在一个实施例中，重新估计是利用图11所示方法来执行的。在1110，造成AAOI滤波器的最大预测误差的运动向量被识别出。然后，在1120，识别出的运动向量的值被改变，直到AAOI滤波器的预测误差被减小或最小化。在1130，随后利用改变的值更新运动向量的值。在1140，如果误差减小已经饱和，则过程结束。否则，过程返回1110，直到预测误差减小饱和为止。然后，在某些实施例中，针对图像中的所有运动向量重复图2A的过程。

在一个实施例中，AAOI滤波器被用于编码视频数据的图像(或帧、或场)的视频编码系统所使用，如图12所示。在1210，编码器接收输入视频数据(例如输入目标图像)和与输入目标图像相关的数据，例如针对目标图像中的运动对象的边界的数据。在编码过程期间，编码器可获得一组包含与目标图像相关的解码图像数据的参考图像，并且在解码过程期间，解码器也可获得这组参考图像。在1220，编码器生成与目标图像相关联的运动向量的采样或分布。就是说，在给定N个运动向量的情况下，这N个运动向量被置于目标图像中。运动向量的位置一般适应于图像内容中的运动区域，从而产生不规则的运动向量模式，如图3B所示。在1230，采样模式信息(例如代表模式的比特)被发送到解码器。很多方法可被用于生成适应性采样模式。

在1240，时间预测滤波过程被应用到不规则的运动采样模式。该适应性滤波过程使用运动向量、不规则的采样模式和参考图像来生成目标图像的预测。在1250，运动向量值被编码并被发送到解码器。在1260，生成残差(residual)，该残差是目标图像的实际目标数据减去来自适应性滤波过程的预测误差。在1270，残差被编码，并且在1280，残差被发送到解码器。

在另一实施例中，AAOI滤波器被用于解码视频数据的图像(或帧，或图像)，如图13所示。在1310，经编码的残差被接收。在1320，解码器对接收的编码残差进行解码。在1330，解码器接收采样模式信息，参考图像和运动向量值。然后，在1340，解码器应用适应性时间滤波器过程以生成时间预测。在1350，通过将解码的残差添加到时间预测而生成经解码的目标图像。

图14示出使用适应性影响区域滤波器的系统的示例。数字视频照相机1410捕获电子形式的图像，并利用压缩设备1420对图像进行处理，压缩设备1420在压缩和编码过程期间使用该适应性影响区域滤波器。经编码的图像通过电子传输介质1430被发送到数字重放设备1440。图像通过解码设备1450被解码，解码设备1450在解码过程期间使用该滤波器。照相机1410例如是包括本发明的实施例的各种图像处理装置(例如其他图像捕获设备、图像编辑器、图像处理器、个人和商业计算平台等等)。类似地，解码设备1450例如是解码图像数据的各种设备。

虽然就特定系统环境中的实施例描述了本发明，但是本领域技术人员将会意识到，本发明经过修改可以在其他不同的硬件和软件环境中实施，它们均落在所附权利要求书的精神和范围内。

Claims (16)

1.一种方法，包括：

接收目标图像，其中对象在所述目标图像中的位置不同于所述对象在参考图像中的位置；

使用所述对象的边界来生成不规则的目标图像运动向量模式；

使用所述目标图像运动向量将所述目标图像划分成影响区域单元，其中每个影响区域单元包含所述目标图像运动向量中的唯一一个；以及

通过将适应性影响区域滤波器应用到所述影响区域单元来生成所述目标图像的预测。

2.如权利要求1所述的方法，其中使用所述对象的边界来生成不规则的目标图像运动向量模式的步骤包括：

将运动向量放置在所述对象内；以及

使用与所述边界相关联的至少一个参数来与所述边界相关地分布运动向量。

3.如权利要求1所述的方法，其中应用所述适应性影响区域滤波器的步骤包括：

修改针对所述边界附近的影响区域单元的滤波器；

使用经修改的滤波器来估计封闭区域；以及

使用不具有所述封闭区域的参考图像来预测所述目标图像。

4.如权利要求3所述的方法，其中修改针对所述边界附近的影响区域单元的滤波器的步骤包括：

将每个影响区域单元修改为包括与针对该影响区域单元的运动向量属于同一运动层的像素，从而使得：

T_i＝{x|x∈O_i，dist(x，x_i)＜dist(x，x_{j∈N，j≠i})}

其中，x是要预测的像素，x_i是N个运动向量的集合中的一个特定运动向量i的像素位置，O_i是对象针对运动向量i的运动层分配，T_i是针对所述特定运动向量i的影响区域单元并且集合j∈N，j≠i表示所有其他运动向量。

5.如权利要求3所述的方法，其中修改针对所述边界附近的影响区域单元的滤波器的步骤包括：

估计封闭区域；以及

在所述封闭区域周围修改所述滤波器。

6.如权利要求5所述的方法，其中在所述封闭区域周围修改所述滤波器的步骤包括：

针对所述封闭区域外部的每个运动向量，将针对该运动向量的影响区域单元修改为包括处于所述封闭区域外部的与该运动向量属于同一运动层的像素，从而使得：

$T_i=\left\{x\right|x\&Element;O_i,\mathrm{dist}(x,x_i)<\mathrm{dist}(x,x_{j\&Element;N,j\&NotEqual;i}),x\&NotElement;C\}$

其中，x是要预测的像素，x_i是N个运动向量的集合中的一个特定运动向量i的像素位置，O_i是对象针对运动向量i的运动层分配，T_i是针对所述特定运动向量i的影响区域单元并且集合j∈N，j≠i表示所有其他运动向量，并且C表示所述封闭区域。

7.如权利要求5所述的方法，其中在所述封闭区域周围修改所述滤波器的步骤包括：

针对所述封闭区域外部的每个运动向量，将针对该运动向量的影响区域单元修改为包括处于所述封闭区域外部的与该运动向量属于同一运动层的像素；

针对所述封闭区域内的每个像素，使用滤波器权重为1的最近的运动向量来预测所述像素；并且

针对所述封闭区域外部的每个像素，使用所述经修改的影响区域单元来确定用于预测所述像素的滤波器权重。

8.一种装置，包括：

接收器，其接收目标图像，其中对象在所述目标图像中的位置不同于所述对象在参考图像中的位置；

生成器，其使用所述对象的边界来生成不规则的目标图像运动向量模式；

划分器，其使用所述目标图像运动向量将所述目标图像划分成影响区域单元，其中每个影响区域单元包含所述目标图像运动向量中的唯一一个；以及

预测器，其通过将适应性影响区域滤波器应用到所述影响区域单元来生成所述目标图像的预测。

9.如权利要求8所述的装置，其中所述生成器通过如下操作来使用所述对象的边界来生成不规则的目标图像运动向量模式：将运动向量放置在所述对象内，并且使用与所述边界相关联的至少一个参数来与所述边界相关地分布运动向量。

10.如权利要求8所述的装置，其中所述预测器通过如下操作来应用所述适应性影响区域滤波器：修改针对所述边界附近的影响区域单元的滤波器，使用经修改的滤波器来估计封闭区域，并且使用不具有所述封闭区域的参考图像来预测所述目标图像。

11.如权利要求10所述的装置，其中所述预测器通过如下操作来修改针对所述边界附近的影响区域单元的滤波器：在所述运动对象的边界周围修改所述滤波器，估计封闭区域，识别不具有所述封闭区域的参考图像，并且使用识别出的所述参考图像来预测所述目标图像。

12.如权利要求11所述的装置，其中所述预测器通过如下操作来修改针对所述边界附近的影响区域单元的滤波器：估计封闭区域，并且在所述封闭区域周围修改所述滤波器。

13.一种存储了计算机指令程序的计算机可读介质，当所述计算机指令程序被电子数据处理系统执行时，致使所述系统执行包括以下步骤的方法：

接收目标图像，其中对象在所述目标图像中的位置不同于所述对象在参考图像中的位置；

使用所述对象的边界来生成不规则的目标图像运动向量模式；

使用所述目标图像运动向量将所述目标图像划分成影响区域单元，其中每个影响区域单元包含所述目标图像运动向量中的唯一一个；以及

通过将适应性影响区域滤波器应用到所述影响区域单元来生成所述目标图像的预测。

14.如权利要求13所述的计算机可读介质，其中使用所述对象的边界来生成不规则的目标图像运动向量模式的步骤包括：

将运动向量放置在所述对象内；以及

使用与所述边界相关联的至少一个参数来与所述边界相关地分布运动向量。

15.如权利要求14所述的计算机可读介质，其中应用所述适应性影响区域滤波器的步骤包括：

修改针对所述边界附近的影响区域单元的滤波器；

使用经修改的滤波器来估计封闭区域；以及

使用不具有所述封闭区域的参考图像来预测所述目标图像。

16.如权利要求15所述的计算机可读介质，其中修改针对所述边界附近的影响区域单元的滤波器的步骤包括：

估计封闭区域；以及

在所述封闭区域周围修改所述滤波器。

Images