CN101268701B - 一种由电子处理器执行的方法以及由其实现的设备 - Google Patents

Abstract

一种确定运动矢量的值的方法，包括：接收目标图像的不规则布局的运动矢量，估计每个运动矢量的初始值，使用该运动矢量来生成自适应时间预测滤波器的抽头结构，以及使用该抽头结构来重估计每个运动矢量的值。

Description

一种由电子处理器执行的方法以及由其实现的设备

技术领域

本发明涉及视频压缩领域。 

背景技术

在视频压缩处理中使用时间预测滤波器(temporal prediction filter)、根据一组经预先解码的参考图像来预测目标图像。时间预测处理在去除大量的时间冗余度方面是很有效的，这一般会得到较高的编码效率。预测处理使用一组运动矢量和对该运动矢量进行操作的滤波器来预测目标图像。 

例如，如图1所示，预测方法将参考图像110分割成多个固定大小的块120。每一个块都具有关联运动矢量，用以描述该块相对于目标图像的运动。在图像110中，运动矢量用白点来示出。时间预测滤波器使用该关联运动矢量来对参考图像中的每一个块执行简单的运动补偿技术，以预测该块在目标图像中的位置。因此，目标图像中的每一个块是使用一个运动矢量、根据参考图像中的块来估计的。但是，这个方法独立地处理每一个运动矢量，并且对图像特征没有自适应性。 

使用一个运动矢量来预测关联块的位置或者依赖于针对规则运动矢量布局来限定的滤波器的传统时间滤波器需要规则分布的运动矢量来执行时间预测。因此，它们无法使预测处理适应运动矢量的不规则布局。需要这样一种滤波器，该滤波器能够针对运动矢量的不规则布局的变化而在本地调整其抽头和滤波器系数，并且还能够针对物体边界和空间纹理来灵活地进行调整。还需要一种有效且高效的运动估计过程，该过程能够使用时间滤波器、通过考虑相邻运动矢量的影响来估计每一个运动矢量值。 

发明内容

一种方法，包括：接收目标图像的不规则布局的运动矢量，估计每一个运动矢量的初始值，使用运动矢量来生成自适应时间预测滤波器的抽头结构，以及使用抽头结构来重估计每一个运动矢量的值。 

附图说明

本发明是通过示例的方式来说明的，并且通过参考以下说明并结合附图可以更好地理解本发明，在附图中： 

图1示出了传统的基于块的时间滤波器的示例； 

图2示出了自适应时间滤波过程的示例； 

图3和4示出了在自适应时间滤波过程中使用的不规则布局的运动矢量和影响单元范围的示例； 

图5A示出了利用自适应时间滤波器来执行的预测的示例； 

图5B示出了在自适应时间滤波过程中使用的运动矢量的总影响范围的示例； 

图6示出了可以在自适应时间滤波过程中使用的误差降低方法的示例； 

图7示出了利用自适应时间滤波器来执行的、根据多个参考图像来预测目标图像的示例； 

图8示出了可以在自适应时间滤波过程中使用的误差降低方法的另一个示例； 

图9示出了使用自适应时间滤波器的编码系统的示例； 

图10示出了使用自适应影响范围滤波器的解码系统的示例；以及 

图11示出了使用自适应影响范围滤波器的数字相机系统的示例。 

具体实施方式

在以下描述中，参考了形成本文的一部分的附图，该附图通过图示的方式示出了可以实施本发明的特定实施例。将会了解，在不脱离本发明的范围的情况下可以采用其它实施例并且可以进行结构改变。例如，本领域的技术人员将明白用于描述各个实施例的术语场、帧、图像在结合视频数 据使用时一般是可以互换的。 

对不规则布局的运动矢量应用自适应时间预测滤波器，以产生目标图像的预测。在一个实施例中，运动矢量的每一个估计是针对该不规则布局、相对于自适应时间滤波器的抽头结构来确定的。所述估计在两个阶段中进行。在第一阶段中，独立于滤波器抽头的结构来确定运动矢量的初始估计。在第二阶段中，在每一个运动矢量的值的重估计期间使用了抽头结构。应用于特定运动矢量的抽头结构是根据相邻运动矢量的本地布局来生成的，从而在该特定运动矢量的估计中包括它们的影响。在一些实施例中，使用自适应像素影响区域和自适应搜索窗来降低重估计处理的执行复杂度。重估计运动矢量的值可以使用非自适应或自适应的重估计过程来执行。非自适应的慢速重估计涉及在具有固定跨度的搜索窗中进行全面搜索以得到特定运动矢量的值。致使最大程度地降低预测误差的运动矢量的值被选择作为新值。 

自适应时间滤波过程的一个示例在图2中示出。在210中，针对图像来生成运动矢量的不规则采样布局。可以使用本领域技术人员已知的方法、按各种方式来进行这样的不规则布局。运动矢量的不规则布局的一个示例在图3的块310中示出。图像310中的白点表示运动矢量。对于这个自适应采样布局，运动矢量更加集中于很难根据参考图像来预测的区域(即，具有更加复杂的运动的图像区域，例如，接近移动边界的区域)中。在简单的运动区域(例如，图像背景区域)中放置较少的运动矢量。 

运动矢量的不规则布局的另一个示例在图4中示出。阴影圆圈表示运动矢量，而各个x表示将被预测的像素。像素420位于密集填充且不规则分布的运动矢量的本地邻域中，像素410位于具有准规则分布的运动矢量的本地邻域中，而像素430位于稀疏填充的运动矢量的本地邻域中。 

返回到图2，在220中，所述图像被分割成多个单元，称为具有影响的单元(AOI(are of influence)cell)，其中，注意，每一个AOI单元都具有一个运动矢量。例如，图3的图像310被分割成如块320所示的AOI单元。每一个AOI单元都表示这样一个区域，该区域受该单元内部的运动矢量的影响大于受图像中的其它运动矢量的影响。由于AOI单元是针对每 一个运动矢量来生成的，所以AOI单元的大小可能与图像中的物体的特征(例如，边界区域)相关。例如，接近物体之间的边界区域的AOI单元可能小于图像背景区域中的AOI单元。此外，可能对AOI单元的形状进行局部修改，以适应物体边界的形状。用于生成AOI单元的方法的一个实施例是距离最近运动矢量分割方法。也可以使用其它分割方法，例如，分块法或三角形法。 

如图2所示，在230中，执行初始运动估计以确定每一个AOI单元中的运动矢量的初始值。初始运动估计将与运动矢量相关联的AOI单元映射到参考图像中的相应单元，并测量两个单元之间的位移。这个位移提供了每一个运动矢量的初始值。因此，初始值并不反映任何来自周围运动矢量的影响，原因在于它是通过这种单元-单元映射和位移测量来确定的。因此，特定运动矢量的初始值独立于其它运动矢量。 

在图2中，在235中，生成自适应时间预测滤波器，用以使用运动矢量的不规则布局和影响单元的范围来预测目标图像中的像素。该滤波器具有以下结构。令{v_j}表示N个运动矢量的集合，并且令I(x)表示参考图像(预先经过解码的图像)。令S(x)表示在像素x的位置周围的某一运动矢量集合。该目标像素x的预测一般可以表示为： 

$I^{\mathrm{pred}}\left(x\right)=\underset{i\∈S\left(x\right)}{\mathrm{\Σ}}{f}_i{I}^{\mathrm{ref}}(x+v_i)$

其中，{f_i}是滤波器系数的集合，并且x+v_i是在运动矢量v_i被应用于像素x时的运动补偿像素。滤波器的支撑(support)或抽头用集合S(x)来定义。抽头支撑S(x)和滤波器系数{f_i}一般是像素位置x和其相邻运动矢量的函数。即，滤波器系数可以针对各个像素而变化，原因在于运动矢量的分布在整个图像中变化。因此，滤波器针对该变化的运动矢量布局而进行局部调整。 

在240中，对目标图像应用自适应时间预测滤波，以执行目标图像的时间预测。在时域中应用滤波，以生成被赋予了运动矢量值的集合和采样布局的目标图像的预测结果。滤波器使用由重叠区域的范围定义的滤波器抽头和滤波器系数来捕获与将被预测的像素相邻的运动矢量的关联性。这类预测滤波器的一个示例是在Marco Paniconi等人的、题为“ADAPTIVE  AREA OF INFLUENCE FILTER”的共同待决美国申请No.XX/XXX,XXX(代理人卷号为50U6045)中公开的影响范围滤波器，该申请与本申请是同时提出的，并且通过引用而结合于此；另一个示例是用于经运动补偿的信号的三角滤波器。 

应用滤波以生成时间预测的一个示例在图5A中示出。参考图像502中的像素被用于预测目标图像504中的像素。参考像素用参考图像502中的实线圆圈来表示，并且将被预测的目标像素用目标图像504中的虚线圆圈来表示。滤波器使用本地运动矢量V₁到V₅的抽头结构来形成目标图像504中的像素x的预测。这些运动矢量处于像素x的本地，原因在于它们各自的AOI单元中的每一个都与像素x的AOI单元的至少一部分相重叠。抽头结构中的各个运动矢量{v_i}被映射到参考图像502中的图像数据{I_i}。自适应时间预测滤波器利用滤波器权重{f_i}来调整参考数据{I_i}，从而预测像素x。 

在一个实施例中，预测滤波器使用抽头结构和滤波器权重、根据下式来生成预测：

预测＝I₁*f₁+I₂*f₂+I₃*f₃+I₄*f₄+I₅*f₅

其中，用本地运动矢量来定义的滤波器抽头和滤波器系数{f_i}是在滤波器被生成时确定的。 

返回到图2，在250中，由滤波器生成的预测结果被用于重估计运动矢量的值，从而提高自适应滤波器的精确度。在260中，如果需要降低预测误差，则该方法返回到240。否则，在270中处理结束。特定运动矢量的值的重估计被执行以反映其它运动矢量对该特定运动矢量的影响。特定AOI单元表示这样的像素的区域，该像素受到该单元内部的运动矢量的影响多于受到图像中的任何其它运动矢量的影响。 

但是，相邻AOI单元的运动矢量的影响延展到了所述特定AOI单元的多个部分中。例如，如图5B所示，目标图像510具有不规则布局的运动矢量(由黑色圆圈来示出)，以及将被预测的像素(由白色圆圈来示出)。在块520中，目标图像510被分割成AOI单元，AOI单元的边界用虚线来示出。块530示出了运动矢量532对目标图像中的像素的总体影响。一般而言，特定运动矢量的影响的总范围延展至其AOI单元之外，从 而影响在相邻AOI单元中的像素。例如，运动矢量532的影响的总范围(如虚线圆圈所示)延展到了相邻运动矢量531、533、534、535、536、537和538的AOI单元中的一些像素。 

运动矢量532的初始值是在没有考虑相邻运动矢量的影响的情况下确定的。因此，为了预测关联AOI单元中的像素的值，对运动矢量532的值进行重估计，以反映关联AOI单元内的相邻运动矢量的影响。运动矢量的重估计值被自适应时间预测滤波器用于预测目标图像中的像素的值。重估计的结果是，减小了运动矢量532的影响单元范围中的所有像素的预测误差。 

例如，图5B的块540示出了将被预测的目标像素542。在运动矢量532的AOI单元内部的目标像素542受到运动矢量532的影响最大。该目标像素还部分地受到相邻运动矢量534、536和538的影响。这四个运动矢量形成了自适应时间预测滤波器的抽头结构，其由围绕所述运动矢量的矩形来表示。相邻运动矢量对目标像素542的重叠影响被计算得到，以生成在该抽头结构中的、运动矢量的滤波器系数。每一个滤波器系数表示特定运动矢量对目标像素的相对影响。时间预测滤波器使用抽头结构和滤波器系数来生成目标像素542的预测。 

为了重估计特定运动矢量，通过确定该运动矢量的影响的总范围来考虑该运动矢量对相邻AOI单元中的像素的重叠影响，如在图5B的块530中所示出的。运动矢量的影响范围被定义成集合A^T _i： 

$A_i^T=\left\{x_j\right|{f_i}^j>T\}---\left(2\right)$

因此，对于特定的运动矢量i，影响范围是滤波器系数大于阈值T的各个像素{x_j}。运动矢量i的影响的总像素范围被定义为A_i ^T＝0。运动矢量的影响的主要范围用较大的阈值(例如，A_i ^T～0.5)来定义。 

影响的重叠范围的另一个示例使用滤波器系数和预测误差。在该示例中，影响的重叠范围是： 

$A_i^T=\left\{x_j\right|{f_i}^{j}e\left(x_j\right)>T\}---\left(3\right)$

其中，目标像素x的预测误差信号的幅度是： 

e(x)＝|I^target(x)-I^pred(x)| 

因此，对于特定运动矢量i，其影响范围是其滤波器系数和预测误差幅度之积大于阈值T的各个像素{x_j}。运动矢量i的影响的总像素范围被定义为A_i ^T＝0。该运动矢量的影响的主要范围使用较大阈值来定义，例如，A_i ^T～0.5。 

由于运动矢量i的存在而导致的平均预测误差是通过对该运动矢量的影响范围中的所有像素的误差求和来确定的，可得： 

$e_i^T=\underset{x\∈A_i^T}{\mathrm{\Σ}}{e}^2\left(x\right)---\left(4\right)$

其中，T控制了以上所论述的运动矢量的影响范围的大小。 

重估计过程的一个示例在图6中示出。在610中，运动矢量被根据它们的预测误差来分类。在列表顶部的运动矢量在被预测的图像中产生最大误差，并且在612中被选择以对其进行重估计。在615中，对所选择的运动矢量的影响的总范围进行计算，以得到A_i ^T＝0，其中，i表示被选择的运动矢量。在620中，对集合A_i ^T＝0中的所有像素的预测误差进行计算，以得到e_i ^T＝0。 

在630中，对搜索窗的跨度进行确定，该搜索窗的跨度被表示为{SW₁，SW₂}，其中，SW₁是用于运动矢量的x分量的搜索窗，而SW₂是用于运动矢量的y分量的搜索窗。在一个实施例中，搜索窗具有固定跨度，该固定跨度被系统设置为输入参数。例如，该搜索窗的跨度可以等于影响的范围。 

在640中，运动矢量的x分量(v^x _i)和y分量(v^y _i)在搜索窗的固定跨度内变化： 

$v_i^x-{\mathrm{SW}}_1,v_i^x-{\mathrm{SW}}_1+1,......,v_i^x+{\mathrm{SW}}_1-1,v_i^x+{\mathrm{SW}}_1$

$v_i^y-{\mathrm{SW}}_2,v_i^y-{\mathrm{SW}}_2+1,......,v_i^y+{\mathrm{SW}}_2-1,v_i^y+{\mathrm{SW}}_2$

在650中，使集合A_i ^T＝0中的像素的预测误差e_i ^T＝0进行最小化所选择的运动矢量的值被确定。在660中，利用在650中确定的值来更新运动矢量的值。在670中，如果需要对另一个运动矢量进行重估计，则处理返回到610。否则，处理在680结束。 

在一些实施例中，可以对图6的方法进行修改以执行自适应重估计。重估计处理中的大部分复杂度都来自为具有大影响范围的运动矢量识别最 佳值。但是，运动矢量的大影响范围通常源自在影响范围内的大幅度的连贯运动。对于具有低密度的运动矢量的图像区域(即，大AOI单元)，重估计处理可以通过下述方式来降低重估计运动矢量的复杂度，所述方式是(a)使用较小的搜索窗，(b)降低在计算预测误差时使用的影响范围，(c)使用分层搜索，或者(d)执行(a)、(b)和(c)的任意组合。 

对于具有高密度的运动矢量的图像区域，特定运动矢量的影响范围一般很小，并且运动通常更加不连贯。对于这些区域，各个运动矢量的值可以使用覆盖大部分(如果不是全部的话)的关联影响范围的搜索窗来进行重估计，而没有极大地增加执行重估计处理的计算复杂度。 

自适应方面可以如下所述地包括在图6的重估计处理中，在615中，处理使用滤波器系数的幅度和预测误差来缩小影响范围的大小，从而计算自适应影响范围。这可以增加处理的执行速度。例如，运动矢量的总影响范围A^T＝0可能涉及大量像素，其中的一些像素在运动矢量的值变化时对预测误差并没有很大的影响。为了降低复杂度，阈值T≠0被用于缩小运动矢量的影响范围。这个阈值还自适应于运动矢量的不规则分布。例如，可以设置默认阈值T₁≈0.1；对于具有较大影响范围A^T＝0＞C₁的运动矢量，该阈值可以增加到较大值，例如，T₂≈0.25。 

在另一个实施例中，在615中，处理使用空间活动(spatial activity)来计算自适应的影响范围。空间活动被限定在下述经过补偿的像素周围，所述经过补偿的像素在参考图像中被使用运动矢量的初始值来标识。被映射到参考图像内的低空间活动区域的像素一般对运动矢量的值具有较小的影响。高空间活动区域对运动矢量的值的选择起支配作用。在这个实施例中，针对影响范围A^T _i中的每一个像素来计算本地空间活动值。通过使用本地空间活动值在阈值C_sa之上的像素可以缩小各个运动矢量的影响范围，并因此缩小执行重估计的复杂度。 

在630中，自适应处理可以根据初始预测误差来调整搜索窗的跨度，而不是使用整个影响范围作为搜索窗。例如，具有较小的预测误差的运动矢量通常处在具有连贯动作和稀疏的运动矢量密度的图像区域中。对于这类运动矢量，没有必要大范围的搜索窗，原因在于该运动矢量的初始值总 是接近于最佳值。因此，可以将搜索窗的大小缩小α倍。 

可替代地，在630中，处理可以根据初始运动矢量的幅度来调整搜索窗。对于初始值非常小(例如， 

其中M是阈值幅度)的运动矢量，该运动矢量的重估计值可以预期也是很小(即，小于M)。因此，可以将搜索窗缩小β倍，而只轻微地降低了预测性能。 

在一些实施例中，自适应处理可以对具有大影响范围的运动矢量的重估计值执行粗-精搜索。例如，具有大影响范围的运动矢量通常对应于具有大量连贯动作的图像区域。对于这类运动矢量，可以在640中执行两步搜索过程。首先，使用T的较大值在搜索窗内粗步地改变运动矢量的值。然后，使用较小的T来精细地改变运动矢量的值。当影响范围的大小大于阈值C₂时可以应用这种粗-精搜索过程。 

在一些实施例中，可以将重估计过程与多个参考图像一起使用。对于多个参考图像，运动矢量除了运动矢量值之外还具有模式映射，如图7所示。例如，如果使用两个参考图像，则模式映射p是0、1、或1/2。当p_i＝0时，运动矢量m使用参考图像720来预测目标图像730。当p_i＝1时，运动矢量m使用参考图像710来预测目标图像730。当p_i＝1/2时，运动矢量m取根据每个参考图像的预测的平均。参考图像710和720的两个运动矢量集合分别被表示为 

在这个示例中，参考图2的240，式(1)的时间预测滤波器被扩展成包括两个参考图像： 

$I^{\mathrm{pred}}\left(x_j\right)=\underset{i\∈S_j\left(x_j\right)}{\mathrm{\Σ}}{f_i}^j((1-p_i){I_0}^{\mathrm{ref}1}(x_j+v_{i,0}^j)+p_i{I_1}^{\mathrm{ref}}(x_j+v_{i,1}^j))---\left(5\right)$

类似地，对于每一个运动向量存在两个预测误差的集合，{e_i，0，e_e，1}，其是针对p_i＝{0，1}、根据式(3)和(4)来分别获得的。用于预测图7所示的目标像素的滤波器是： 

I^pred＝f₁(0.5*I_1，0+0.5*I_1，1)+f₂I_2，0+f₃I_3，1+f₄I_4，0+f₅I_5，0

当使用多个参考图像时，重估计运动矢量值的步骤包括估计相对于时间预测滤波器的模式映射，以及改变两个运动向量的值。在确定一个运动矢量的最佳值和模式映射时，另一个运动矢量的值保持不变。这个处理被 重复以改变先前不变的值，并且固定住先前变化的值。对于首先改变哪个值的选择是使用运动矢量的预测误差来确定的。首先改变具有较大的预测误差的运动矢量。在另一个实施例中，同时对两个运动矢量集合和模式映射进行优化。可替代地，可以在多个阶段(而不仅仅是两个)中进行重估计处理，其中，处理在两个运动矢量集合之间交替，同时采用相应地缩小了的搜索窗以维持相同的复杂度。 

使用两个参考图像来重估计运动矢量值的方法的一个示例在图8中示出。针对特定运动矢量，在810中，计算在影响范围中的像素的两个预测误差集合，从而产生误差e_i，0，e_i，1。在815中，判断哪个误差较大。在这个示例中，假设e_i，0＜e_i，1(当e_i，1＜e_i，0时，在对换{0，1}的情况下遵循相同的过程。在820中，在具有较大误差 的运动矢量的影响范围中的搜索窗内，改变该运动矢量的模式映射和值。在825中选择最佳值 

及其相应的最佳模式映射pi。该最佳值最小化了使用式(5)来预测的图像的预测误差。在830中，改变另一个运动矢量 

的模式映射和值。在835中，选择 

的最佳者及其相应的最佳模式映射pi。在840中，如果另一个运动矢量需要进行重估计，则处理返回到810，否则处理在850结束。在一些实施例中，可以对搜索窗和影响范围进行调整以降低计算复杂度，如上所述。 

在一个实施例中，自适应时间预测滤波器被用于对视频数据的图像(或者帧，或场)进行编码的视频编码系统所使用，如图9所示。在910中，编码器接收输入目标图像。(在编码处理期间编码器可以得到一组参考图像，并且在解码处理期间解码器也可以得到该组参考图像，该组参考图像包含与目标图像相关的解码后的图像数据)。在920中，编码器生成与目标图像相关联的运动矢量的采样或者分布。即，假定有N个运动矢量，则这N个运动矢量被放置在目标图像中。运动矢量的位置一般针对图像内容中的运动范围而进行调整，从而产生例如如图3所示的运动矢量的不规则布局。在930中，采样布局信息(例如，用以表示该布局的比特)被发送给解码器。可以使用许多方法来生成自适应采样布局。 

在940中，时间预测滤波处理被应用于不规则运动采样布局。这个自 适应滤波处理使用运动矢量、不规则采样布局和参考图像来生成目标图像的预测。在950中，对运动矢量值进行编码并将其发送到解码器。在960中，生成余量，该余量是目标图像减去来自自适应滤波处理的预测误差而得到的实际目标数据。在970中，该余量被编码，并且在980中被发送到解码器。 

在另一个实施例中，自适应时间预测滤波器被用在视频数据的图像(或者帧，或图像)的解码中，如图10所示。在1010中，经过编码的余量被接收。在1020中，解码器对所接收的经过编码的余量进行解码。在1030中，解码器接收到采样布局信息、参考图像、以及运动图像值。然后，在1040中，解码器应用自适应时间滤波过程，以生成时间预测。在1050中，通过将解码后的余量与时间预测相加来生成解码后的目标图像。 

图11示出了使用自适应时间预测滤波器的系统的一个示例。数字摄像机1110捕获电形式的图像，并使用压缩设备1120来处理该图像，压缩设备1120在压缩和编码处理期间使用自适应影响范围滤波器。编码后的图像被经由电传输介质1130来发送到数字播放设备1140中。所述图像被解码设备1150解码，解码设备1150在解码处理期间使用所述滤波器。相机1110例示了包括本发明实施例的各种图像处理装置(例如，其它摄像设备、图像编辑器、图像处理器、个人和商业计算平台，等等)。同样地，解码设备1150例示了对图像数据进行解码的各种设备。 

虽然在特定系统环境中根据实施例来描述了本发明，但是本领域普通技术人员将会了解，在所附权利要求的精神和范围内，可以在其它和不同的硬件和软件环境中、在经过修改的情况下实施本发明。 

Claims (16)

1.一种由电子数据处理器执行的方法，包括：

接收目标图像的不规则布局的运动矢量；

估计每个所述运动矢量的初始值；

使用所述运动矢量来生成自适应时间预测滤波器的抽头结构；以及

使用所述抽头结构来重估计每个所述运动矢量的值，

其中，重估计所述运动矢量的值还包括：

确定所述运动矢量关于所述预测滤波器的影响范围；

确定所述影响范围中的每个像素的预测误差；

确定所述运动矢量的搜索窗；

将所述影响范围的大小与阈值进行比较；

如果所述影响范围的大小大于所述阈值，则在所述搜索窗内粗步改变所述运动矢量的值，以生成所述运动矢量的值的第一重估计；以及

精细地改变所述运动矢量的值的第一重估计，以生成所述运动矢量的值的第二重估计。

2.如权利要求1所述的方法，还包括：

使用所述运动矢量的值的第二重估计来生成所述目标图像的预测。

3.如权利要求1所述的方法，其中，确定所述运动矢量关于所述预测滤波器的影响范围包括：

通过选择对于所述运动矢量滤波器系数大于零的每个像素，来确定总影响范围。

4.如权利要求1所述的方法，其中，确定所述运动矢量的影响范围包括：

确定所述运动矢量的总影响范围；

针对所述总影响范围中的每个像素，将滤波器系数的大小和预测误差的大小之积与阈值进行比较；以及

如果所述滤波器系数和所述预测误差大小之积大于所述阈值，则缩小所述影响范围。

5.如权利要求1所述的方法，其中，确定所述搜索窗包括：

将所述搜索窗的初始跨度设置成所述影响范围的跨度；

将所述预测误差与阈值进行比较；以及

如果所述预测误差小于所述阈值，则缩小所述搜索窗的跨度。

6.如权利要求1所述的方法，其中，确定所述搜索窗包括：

将所述搜索窗的初始跨度设置成所述影响范围的跨度；

将所述运动矢量的初始值的大小与阈值进行比较；以及

如果所述运动矢量的初始值的大小小于所述阈值，则缩小所述搜索窗的跨度。

7.如权利要求1所述的方法，其中，重估计包括：

使用多个参考图像。

8.如权利要求7所述的方法，还包括：

针对每个参考图像，改变与所述参考图像相关联的运动矢量的值，并改变模式映射。

9.一种由电子数据处理器实现的设备，包括：

用于接收目标图像的不规则布局的运动矢量的装置；

用于估计每个所述运动矢量的初始值的装置；

用于使用所述运动矢量来生成自适应时间预测滤波器的抽头结构的装置；以及

用于使用所述抽头结构来重估计每个所述运动矢量的值的装置，

其中，用于重估计所述运动矢量的值的装置还包括：

用于确定所述运动矢量关于所述预测滤波器的影响范围的装置；

用于确定所述影响范围中的每个像素的预测误差的装置；

用于确定所述运动矢量的搜索窗的装置；

用于将所述影响范围的大小与阈值进行比较的装置；

用于如果所述影响范围的大小大于所述阈值，则在所述搜索窗内粗步改变所述运动矢量的值以生成所述运动矢量的值的第一重估计的装置；以及

用于精细地改变所述运动矢量的值的第一重估计以生成所述运动矢量的值的第二重估计的装置。

10.如权利要求9所述的设备，还包括：

用于使用所述运动矢量的值的第二重估计来生成所述目标图像的预测的装置。

11.如权利要求9所述的设备，其中，用于确定所述运动矢量关于所述预测滤波器的影响范围的装置包括：

用于通过选择对于所述运动矢量滤波器系数大于零的每个像素，来确定总影响范围的装置。

12.如权利要求9所述的设备，其中，用于确定所述运动矢量的影响范围的装置包括：

用于确定所述运动矢量的总影响范围的装置；

用于针对所述总影响范围中的每个像素，将滤波器系数的大小和预测误差的大小之积与阈值进行比较的装置；以及

用于如果所述滤波器系数和所述预测误差大小之积大于所述阈值，则缩小所述影响范围的装置。

13.如权利要求9所述的设备，其中，用于确定所述搜索窗的装置包括：

用于将所述搜索窗的初始跨度设置成所述影响范围的跨度的装置；

用于将所述预测误差与阈值进行比较的装置；以及

用于如果所述预测误差小于所述阈值，则缩小所述搜索窗的跨度的装置。

14.如权利要求9所述的设备，其中，用于确定所述搜索窗的装置包括：

用于将所述搜索窗的初始跨度设置成所述影响范围的跨度的装置；

用于将所述运动矢量的初始值的大小与阈值进行比较的装置；以及

用于如果所述运动矢量的初始值的大小小于所述阈值，则缩小所述搜索窗的跨度的装置。

15.如权利要求9所述的设备，其中，用于重估计的装置包括：

用于使用多个参考图像的装置。

16.如权利要求15所述的设备，还包括：

用于针对每个参考图像，改变与所述参考图像相关联的运动矢量的值，并改变模式映射的装置。

Images