CN1357133A

CN1357133A - 降低运动向量传输成本的运动估计方法

Info

Publication number: CN1357133A
Application number: CN99810649A
Authority: CN
Inventors: 克里斯托夫·舍旺斯; 皮埃尔·鲁埃洛; 多米尼克·托罗
Original assignee: Thomson Consumer Electronics SA
Current assignee: COLOR PRINTING TECHNOLOGY Co.; Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 1998-09-07
Filing date: 1999-09-06
Publication date: 2002-07-03
Anticipated expiration: 2019-09-06
Also published as: KR20010073031A; DE69904610D1; ATE230140T1; KR100649654B1; JP4443767B2; AU5973899A; EP1110176A2; US7408987B1; WO2000014682A3; EP1110176B1; CN1198245C; DE69904610T2; WO2000014682A2; JP2003521828A

Abstract

一种包括将视频图像分段为图像块对各图像块进行运动估计以获得运动矢量场的方法。其特征在于,该方法包括通过在属于矢量场的N个主向量中选择一个运动向量,对块重新指定向量的步骤。本申请涉及例如通过图像块匹配的运动估计。

Description

降低运动向量传输成本的运动估计方法

本发明涉及应用于MPEG视频编码的运动估计方法。

在视频编码过程中实现的大多数运动估计算法均使用“块匹配”技术。

图像被分段为N^*N大小的块，称为宏块，并且估计器搜索能使当前图像块与基准图像块之间的差值最小的向量。此差值通常指对亮度像素计算的MSE(均方差值)或MAE(平均绝对差值)。

由于该估计器是基于亮度的变化而不是基于此序列中的实际运动的，所以它提供不均匀运动区域。这必然会产生编码器的编码开销，并且由于编码过程通常是差分过程，所以会降低性能。

本发明的目标就是克服上述缺陷。

本发明的目的是提供一种运动估计方法，该方法包括将视频图像分段为图像块、对各图像块进行估计以获得运动矢量场，其特征在于，该方法包括通过从属于矢量场的N个主向量中选择一个运动向量以将向量重新指定到块的步骤。

根据一个特定实施例，对于主向量，检测二级区域最大值以便在选择其它主向量时不考虑它。

根据另一个实施例，在四个方向的各方向选择主向量。

根据本方法的特定实施例，根据相互移动图像的差值(DFD)选择重新指定向量。

本发明的特定特征包括，当与N个主向量有关的DFD大于与初始向量有关的DFD时采用零向量，或者当与N个主向量有关的DFD大于与初始向量有关的加权DFD时实际保持初始向量。

根据本方法的另一个实施例，根据对相互图像差值块(当前块一估计块)中的活动性(空间梯度)的计算，来选择重新指定向量。如果对应于N个主向量的活动性大于对应于初始向量的活动性，则采用零向量。如果对应于N个主向量的活动性大于对应于初始向量的加权活动性，则保持初始向量。

根据本方法的另一个特定实施例，对于各图像，从当前图像的矢量场与至少一个以前图像的矢量场之间选择主向量。

根据本发明，利用“块匹配”估计器计算的运动矢量场可以被均匀化。

通过以下参考附图和实例的说明，本发明的特征和优势将更加明显，其中：

图1示出运动向量的直方图；

图2示出区域最大值搜索滑窗；

图3示出中值滤波的实例；

图4示出被考虑的以前图像向量的实例；

图5示出在图像缩放期间的运动矢量场；

图6示出可以检测的各种运动；

利用有条件的重新指定方法，可以实现对矢量场的均质化作用。

利用估计器来计算并存储与序列图像有关的向量。

为了完成对此向量的处理过程，建立512^*512的二维直方图，在该直方图中，坐标代表数值(dx，dy)，它们是这些向量的水平分量和垂直分量。

在图1的左侧部分示出包含定位了运动向量的宏块的图像，在图1的右侧示出相应的直方图。主向量的选择

为了使运动区域更均匀，方法是采用特定数目的向量，用户将运动区域固定到第一位置。与不均匀运动比较，该数目较大。

第一种方案包括采用N个对应于视在最高频率的向量。

另一种可能性是规定算法在四个定向平面的各平面选择N/4个主向量。由于根据在此序列中对图像缩放的检测进行输出，所以作为一种选择，可以采用此方案。这是因为这种现象必然会产生矢量场在所有方向上的分布。

所设想的最后一个方案对区域最大值进行检测。这是因为，第一种方案的问题是可能会有几个相接近的最大值，这样与采用更少向量的方法相比并不具有太大优势。

因此扫描直方图，将出现在其它更主要主向量附近的N个主向量中的向量剔除。因此，通过查看直方图来检验两个最大值是否位于相同滑窗(例如3^*3大小的滑窗)内，来识别现存二级最大值。

图2示出这种用于搜索区域最大值的滑窗(参考编号1)，此滑窗以出现率为n、采用(dx，dy)的主向量为中心。选择被定位到宏块MB的向量、重新指定-DFD方法

一旦选取了主向量，就获得了将这些向量中的各向量重新指定到各MB的准则。由于运动估计器利用最小DFD(移动帧差值)准则来计算运动向量，所以当利用此准则发现已采用向量与待处理图像的宏块之间的最大可能相符性时，运动估计器似乎有用。

以其视在频率增加的顺序将向量排序后，对各MB计算与这些各向量有关的DFD。该计算过程可以被简化为下列公式：

Dfd (i, j) = Σ_{k = 0}^{N - 1} Σ_{l = 0}^{N - 1} | MBCurrent (i + k, j + 1) - MBReference (i + k + dy, j + 1 + dx) |

其中(i，j)为待处理的MB的坐标；N(＝16)为MB的大小；(dx，dy)为待检测的向量的分量，位于(-128；+127.5)。

在应用此公式之前，重要的是校验待检验的向量未指到基准图像外。如果没有合适的向量，则指定零向量。

因此，将对应于最小DFD的向量指定到各MB。

—梯度方法

此方法包括对包括预定基准图像和当前图像的“差值”图像的各MB查找对应于最小梯度的向量，最小梯度给出MB的局部活动性信息(水平梯度和垂直梯度)。

MB_grad ient = \underset{\underset{blocks}{4 luma}}{Σ} block_active

其中：

block_active = MAX ({MAX}_{i, j = 0}^{i = 6, j = 7} | x (i, j) - x (i + 1, j) | {MAX}_{i, j = 0}^{i = 7, j = 6} | x (i, j) - x (x, j + 1) |)

重新指定的改进

DFD/梯度准则

为了保持小尺寸对象的某种运动，确定了下列准则：

应用DFD方法后，如果对MB采用的向量产生的DFD大于加权初始DFD，则保持此初始向量。

同样，关于梯度方法，对相互图像差值之后获得的各MB，将通过重新指定获得的梯度与初始向量的梯度进行比较。如果加权初始梯度小于该新梯度，则保持初始向量。

对运动向量的滤波过程

为了使矢量场更均匀，还可以采用其它准则，即空间滤波或时间滤波。

—空间滤波

所采用的滤波器为二维3^*3中值滤波器：

以下将根据图3说明此原理，图3示出滤波前的图像(参考编号2)和滤波后的图像(参考编号3)。参考编号4所表示的向量为待处理的向量。

将上述MB分量的水平与垂直邻近值沿方向(dx，dy)排列，然后，取各分量的中值。接着，对于一个分量被滤波，或两个分量均被滤波，或两个分量均未被滤波的情况，对与各MB有关的各DFD进行比较。显然，由于初始DFD被加权，这样就可以选择对应于最小DFD的向量。

—时间滤波

在图像向量的重新指定过程中，时间相干性方法考虑到以前图像的运动区域；这是为了限制一个图像与另一个图像之间在运动过程中的不一致性实现的。

首先详细说明对前向向量(延后运动向量)进行时间滤波的原理。前向向量的空间时间域直方图

为了考虑各种直方图，第一步首先对向量进行定标，然后根据所处理的直方图计算所占的权重，权重是各直方图的位置函数。

因此，对于图4所示的P图像，可以将3倍权重的出现率、1倍权重的第一B向量(其振幅已乘3)的出现率以及2倍权重的第二B向量(其振幅已乘3/2)的出现率附加到初始向量直方图。

当出现匀速运动时，应与时间相干性有关，并且不会出现运动中止(场景改变)。

对于后向向量情况(预期运动向量)

有理由认为，如果存在从一个图像到下一个图像的匀速“前向”运动，则在“后向”向量与B图像有关的情况下，它们还存在。为了对后者进行滤波，请务必不要忘记后向向量是基于P和I的，P和I在现在讨论的B之后。因此，对于第一个B，可以认为其后向向量将是与第二个B有关的后向向量的二倍。在与第一个B有关的直方图中，利用系数2对后者的向量进行定标，并加入加权出现率。

均匀区域的检测

对诸如图像缩放的具有多个方向运动的序列重新指定N个向量的想法不切实。这是因为，在这种非常特定的情况下，仅采用N个主向量并不能方便地对包括多个向量的区域进行处理。

图5示出图像缩放期间的向量图。明显可以看到区域内的不一致性不能提供这种均匀性。

因此决定在第一位置对向量均匀分布、或者单向分布、或者向各方向分布(图像缩放)的区域进行检测。利用接近根据N个主向量计算的平均标准偏差的第一主向量的标准偏差来表示此检测。可以表示为：

如果σ1≤阈值^*σ平均值＝＞均匀区域存在

其中阈值由用户设定(例如，阈值＝1.34)。

图6a、图6b、图6c和图6d示出成功检测的运动类型实例。

当前，对存在(c)和(d)的情况下，目的是不使用此算法。应将这些情况与(a)和(b)的情况区分开。为了实现此目的，根据采用的N个向量，对dx和dy运动的平均值进行检验，并判别它们是否接近0。这是因为，与单向运动不同，如果将它们加入，会观察到图像缩放中的运动被消除。可以对dx、dy设置五个像素的最大差值。

对时间滤波的限制

如果运动中止，不必对直方图进行时间滤波很有用。因为，这样就可以：

●存储初始直方图或对P型图像指定的向量；

●在下一个P型图像P(t)上，对新“图像”向量进行比较。如

果它们与P(t-n)产生的对应向量差别太大，则保持初始向量。

选择主向量数

可以以这样的方式自动或动态判定必需的向量数，以致对于具有随机运动的各序列(例如体育序列)所具有的向量比对于具有匀速运动的序列(“串”)所具有的向量要多。

Claims

1.一种包括将图像分段为图像块、对各图像块进行运动估计以获得运动矢量场的运动估计方法，其特征在于，该方法包括通过从属于矢量场的N个主向量中选择一个运动向量将向量重新指定到块的步骤。

2.根据权利要求1所述的方法，其特征在于，对主向量检测二级区域最大值，以便在选择其它主向量时不再考虑它们。

3.根据权利要求1所述的方法，其特征在于，在四个方向的各方向选择主向量。

4.根据权利要求1所述的方法，其特征在于，根据相互移动图像的差值(DFD)选择重新指定向量。

5.根据权利要求4所述的方法，其特征在于，如果与N个主向量有关的DFD大于与初始主向量有关的DFD，则采用零向量。

6.根据权利要求4所述的方法，其特征在于，如果与N个主向量有关的DFD大于与初始向量有关的加权DFD，则保持初始向量。

7.根据权利要求1所述的方法，其特征在于，根据对相互图像差值块(当前块-估计块)计算的活动性(空间梯度)，选择重新指定向量。

8.根据权利要求7所述的方法，其特征在于，如果对应于N个主向量的活动性大于对应于初始向量的活动性，则采用零向量。

9.根据权利要求7所述的方法，其特征在于，如果对应于N个主向量的活动性大于对应于初始向量的加权活动性，自动保持初始向量。

10.根据权利要求4所述的方法，其特征在于，在计算DFD期间使用的向量分量为空间滤波分量。

11.根据权利要求7所述的方法，其特征在于，在计算空间梯度期间使用的向量分量为空间滤波分量。

12.根据权利要求1所述的方法，其特征在于，对于各图像，在当前图像的矢量场与至少一个以前图像的矢量场之间选择主向量。

13.根据权利要求12所述的方法，其特征在于，同时被定标的以前图像的向量被作为时间距离的函数加权。

14.根据权利要求12所述的方法，其特征在于，当检测到运动中止时，不考虑以前图像的向量。