CN1604653B - 差分编码方法 - Google Patents

Abstract

一种对当前块进行编码的方法，包括步骤：从候选块中选择预测块(2)，所述选择取决于位于B型图像中的当前图像块的共同位置的块和参考图像的块之间的差值D^B _drx，dry，由具有分配给相同位置的块并与分配给当前块且指定候选块的运动矢量Vp线性对应的、具有分量drx、dry的运动矢量来指定所述参考图像的块。应用涉及数据压缩、利用包括直接预测方式的视频编码标准的数字图像的传输，例如h263、MPEG4或h261标准。

Description

差分编码方法

技术领域

本发明涉及一种利用预测编码对图像块进行差分编码的方法和设备。更具体地，本发明涉及一种利用“直接”方式的编码方法或设备。如稍后所解释的，“直接”方式是利用运动补偿的双向预测方式，根据用于对后续的预测编码图像的相同位置的宏块进行编码的运动矢量的分量，获得其运动矢量的分量。

背景技术

该领域为视频压缩领域，更具体地，该领域是MPEG4部分2或部分10、H.263和H.26I型的视频编码领域。

在诸如MPEG型的数据压缩标准中，要编码的图像通常是帧内型和帧间型的图像，并且在帧间型的图像的情况下，利用P型的预测编码或利用B型的双向预测编码。这里采用了其广义上的术语图像，并且所述图像还涵盖了构成图像的视频对象平面，更众所周知的是名称VOP，代表视频对象平面。

通常，首先，激活在编码器中所包含的运动估计器，从而提取P型图像的运动字段。随后，在对该P图像进行编码之后，针对传统的前向、后向和双向预测方式，再次为每一个B图像调用运动估计器。在完成了每一个B图像的各种运动估计之后，通过根据在编码器中的有效标准，从包括“时间直接”方式的所有可用的方式中选择最佳方式，来进行该编码。例如在ISO/IEC 14496-2标准的段落7.6.9.5中所解释的该“时间直接”方式使用了最近解码后的P型图像中的共同位置的宏块的运动矢量，以进行B型图像中的宏块的双向预测。共同位置宏块是位于相同位置处的宏块，即，具有与P图像的当前宏块相同的垂直和水平索引。

图1示出了利用直接方式的运动预测。

按照显示的顺序示出了四个连续的图像，即，在重新排序之前，类型I或P的第一参考图像、类型B的第二和第三图像和类型P的第四参考图像。

针对P型的第四图像的参考符号为1的当前宏块MBp的预测是类型I或P的第一图像的参考符号为2的宏块。相应的运动矢量MVp参考符号为3。

与针对第二图像的宏块MBp相对应的共同位置的宏块参考符号为4。针对属于B图像的该宏块的直接型预测在第一图像中给出了第一宏块MBfw，在最后图像中给出了第二宏块MBbck，参考符号为5和6的这些宏块分别对应于在图中参考符号为7和8的前向运动矢量MV_F和后向运动矢量MV_B。

尽管在MPEG标准中，通常给宏块分配了运动矢量，但是该方法可以应用于简单的图像块，因此，此后，将不在图像块和宏块之间进行区分。

作为示例，通过按照如下公式使图像间差值的绝对值的和最小，在可以提取P图像的块的矢量的运动估计期间所使用的传统方法可以基于搜索窗中的块匹配技术，所述公式为：

${\mathrm{SAD}}_{\mathrm{dx},\mathrm{dy}}^P=\left(\underset{i,j=0}{\overset{i,j=L}{\mathrm{\Σ}}}\right|P_{\mathrm{cur}}(i,j)-{\mathrm{IP}}_{\mathrm{prev}}(i+\mathrm{dx},j+\mathrm{dy})\left|\right)$

${\mathrm{SAD}}_{\mathrm{Dx},\mathrm{Dy}}^P={\mathrm{Min}\left({\mathrm{SAD}}_{\mathrm{dx},\mathrm{dy}}^P\right)}_{\mathrm{dx},\mathrm{dy}=-N}^{\mathrm{dx},\mathrm{dy}=N}$

其中：

-i，j：在大小为L*L的块中所包含的像素的行和列索引，

-P_cur(i，j)：类型P的当前图像的块，

-IP_prev(i，j)：类型I或P的前一个(从时间的观点来看)图像的块，

-SAD_dx，dy ^P：型当前图像的块和I型或P型的前一个图像的位移为dx、dy的块的像素的亮度值之间的差值的绝对值的和(代表绝对差值的和的首字母缩写)。

-SAD_Dx，Dy ^P：在大小为2N+1、2N+1的搜索窗中并对应于位移Dx、Dy的图像块的集合上的SAD_dx，dy ^P的最小值。

对于所关心的B图像的共同位置的块，按照如下方式，利用MV_F和MV_B的矢量，根据直接方式来预测所述块，所述方式为：

$\mathrm{MB}{\mathrm{prd}}_{\mathrm{drc}}=\left(\frac{{\mathrm{MB}}_{\mathrm{bck}}+{\mathrm{MB}}_{\mathrm{fw}}}{2}\right),$ 即，块MB_bck和MB_fw，逐像素的和的一半，其中：

-按照后向预测方式，MB_bck＝P_next(x_bck，y_bck)。

从时间的观点来看，P_next(x_bck，y_bck)表示属于下一个P图像的预测块，其位置对应于以分量x_bck、y_bck为矢量位移的共同位置的块的位置。

-按照前向预测方式，MB_fw＝IP_prev(x_for，y_for)。

IP_prev(x_for，y_for)表示属于前一个I/P图像的预测块，其位置对应于以分量x_for、y_for为矢量位移的共同位置的块的位置。

-x_bck、y_bck，根据共同位置的块MB_p的矢量MV_p的分量获得的矢量MV_B的分量。

-x_for、y_for，根据共同位置的块MB_p的矢量MV_p的分量获得的矢量MV_F的分量。

分配给共同位置的块的运动矢量MV_B和MV_F是与运动矢量MV_p线性对应的矢量，分别指向P型的下一个图像和I型和P型的前一个图像，共同位置的块源自其中。

MBprd_drc是根据前向和后向预测块计算出的直接方式的B图像的预测块。

按照这样的方法，从时间的观点来看，执行P图像的块MB的运动估计和预测方式选择，与前一个B图像的内容无关。因此，该编码，即数据压缩，对于双向型的这些图像并不是最佳的。

发明内容

本发明的目的是缓解前述的缺陷。本发明的主题是一种根据第二参考图像中的预测图像块对第一参考图像中的当前图像块进行差分编码的方法，所述参考图像与其差分编码可以考虑这些参考图像的块的双向型或B型的一个或多个图像侧面相接，所述方法包括步骤：作为当前块和分配给当前块的、具有分量dx、dy的运动矢量Vp所指定的候选块之间的差值D^P _dx，dy的函数，从候选块中选择预测块，其特征在于所述选择还取决于B型图像中的当前图像块的共同位置的块和参考图像中的块之间的差值D^B _drx,dry，由分配给相同位置的块并与运动矢量Vp线性对应的、具有分量drx、dry的运动矢量来指定所述参考图像中的块。

根据特定的特征，具有分量drx、dry的运动矢量是在B型图像和第一参考图像之间的后向运动矢量、或者在B型图像和第二参考图像之间的前向运动矢量。

根据特定的特征，所述选择考虑了B型图像和第二参考图像之间与具有分量drx_fw，、dry_fw的线性对应的运动矢量相对应的差值D^B _{drxfw，dryfw}，以及B型图像和第一参考图像之间与具有分量drx_bck、dry_bck的运动矢量相对应的差值D^B _{drxbck，drybck}。

根据特定的特征，所述选择取决于B型第一图像B_o和参考图像之间与线性对应的运动矢量相对应的差值D^Bo _drx，dry，以及B型第二图像B₁和参考图像之间与线性对应的运动矢量相对应的差值D^B1 _drx，dry。

根据特定的特征，从候选块中选择的块对应于针对这些候选块计算的差值D^P _dx，dy、D^B _{drxfw，dryfw}，和D^B _{drxbck，drybck}的函数的最小值。

根据特定的实现，根据块的像素的亮度值之间的差值的绝对值的和(SAD)来计算差值。

本发明的优点涉及改进调节通过量的图像的质量、以及在恒定质量时的更低成本。在选择P图像的矢量期间，在多个类型的SAD之间的选择实质上增加了运动场的均匀性。

根据本发明的方法通过不仅考虑在位移矢量固有的图像间差值(SAD^P)，而且考虑由于位于两个I/P、P图像之间的每一个B型图像中的每一个共同位置的块的直接预测方式而造成的预测误差，在P图像块级进行运动估计。当选择P型图像的共同位置的块的运动矢量时，考虑了直接方式下的B型图像的块的编码成本。

在对B图像进行编码期间，该方法能够有利于直接方式，所述直接方式通常表示在编码成本上对于该类型的图像最为经济的方式。在一定的条件下，该直接方式可能会导致“跳跃(skipped)宏块”方式(例如，在ISO 13818-2标准的§7.6.6中所描述的)，这是与零残余相对应的编码方式，几乎为零成本。

附图说明

通过结合附图提供、并作为非限定性示例给出的以下描述，本发明的其他特征和优点将变得清楚明显，其中：

-图1示出了根据直接方式的块预测；

-图2示出了利用直接方式的图像B₀和图像B₁的块的预测。

具体实施方式

图2示出了P图像的当前块MB_p的预测，属于B型的图像、被称为B₀的第一图像、以及被称为B₁的第二图像的共同位置的块的直接类型的预测。

根据其是与第一图像B_o还是与第二图像B₁相关，先前所使用的术语标记为0或1。

因此，关于图像B_o，运动矢量7和8标记为MV_F ⁰和MV_B ⁰，并且分别表示参考图像I/P和P的预测块MB_fw ⁰，MB_bck ⁰。

对应于图像B1的运动矢量标记为MV_F ¹和MV_B ¹，并且分别表示参考图像I/P和P的预测块MB_fw ¹，MB_bck ¹。

在B型的两个图像位于参考图像I/P和P之间的情况下，根据SAD的计算，用于选择与P图像的块相对应的运动矢量MVp的可设想标准变为：

${\mathrm{SAD}}_{\mathrm{Dx},\mathrm{Dy}}={\mathrm{Min}({\mathrm{SAD}}_{\mathrm{dx},\mathrm{dy}}^P+{\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B0}+{\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B1})}_{\mathrm{dx},\mathrm{dy}=-N}^{\mathrm{dx},\mathrm{dy}=N}$

其中：

-SAD_dx，dy ^P，针对对于P图像的块位移为dx、dy的差值的绝对值的和，

-SAD_drx，dry ^B0，针对B₀的直接型预测方式的差值的绝对值的和。

-SAD_drx，dry ^B1，针对B₁的直接型预测方式的差值的绝对值的和。

该标准被称作基于多个SAD，从而使用于P图像的矢量选择基于考虑多个预测误差、在P图像的宏块的预测中固有的预测误差、以及与B图像的宏块相关的预测误差。

对于B型的第一图像B₀，在其中两个B图像位于两个I/P、P图像之间的图2所示的示例的框架内，具有分量drx、dry的矢量分别取与直接方式的前向和后向预测有关的值：

${\mathrm{drx}}_{\mathrm{fw}}^0=\mathrm{dx}/3$ ${\mathrm{dry}}_{\mathrm{fw}}^0=\mathrm{dy}/3$

${\mathrm{drx}}_{\mathrm{bck}}^0=-2\mathrm{dx}/3$ ${\mathrm{dry}}_{\mathrm{bck}}^0=-2\mathrm{dy}/3$

以及，

${\mathrm{MBprd}}_{\mathrm{drc}}^0=\left(\frac{{\mathrm{MB}}_{\mathrm{bck}}^0+{\mathrm{MB}}_{\mathrm{fw}}^0}{2}\right),$

其中：

-按照后向预测方式， ${\mathrm{MB}}_{\mathrm{bck}}^0=P_{\mathrm{next}}({\mathrm{drx}}_{\mathrm{bck}}^0,{\mathrm{dry}}_{\mathrm{bck}}^0).$

按照前向预测方式， ${\mathrm{MB}}_{\mathrm{fw}}^0=I/P_{\mathrm{prev}}({\mathrm{drx}}_{\mathrm{fw}}^0,{\mathrm{dry}}_{\mathrm{fw}}^0).$

于是，针对图像B_o的SAD的值为：

${\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{\mathrm{Bo}}=\left(\underset{i,j=0}{\overset{i,j=L}{\mathrm{\Σ}}}\right|B_{\mathrm{cur}}^o(i,j)-{\mathrm{MB}}_{{\mathrm{prd}}_{\mathrm{drc}}}^o(i,j)\left|\right)$

B_cur ^o(i，j)是与当前块MB_p相对应的图像B_o的共同位置的块4。

类似地，对于B型的第二图像B₁，利用以下矢量，通过直接方式来获得SAD_drx，dry ^B1的值：

${-\mathrm{drx}}_{\mathrm{fw}}^1=2\mathrm{dx}/3$ ${\mathrm{dry}}_{\mathrm{fw}}^1=2\mathrm{dy}/3$

${-\mathrm{drx}}_{\mathrm{bck}}^0=-\mathrm{dx}/3$ ${\mathrm{dry}}_{\mathrm{bck}}^1=-\mathrm{dy}/3$

${\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B1}=\left(\underset{i,j=0}{\overset{i,j=L}{\mathrm{\Σ}}}\right|B_{\mathrm{cur}}^1(i,j)-{\mathrm{MB}}_{{\mathrm{prd}}_{\mathrm{drc}}}^1(i,j)\left|\right)$

MB_cur ¹是与当前块MB_p1相对应的图像B₁的共同位置的块9。

能够示出本方法的上述示例提出了利用3个SAD的值来进行矢量Dx、Dy的选择；

${\mathrm{SAD}}_{\mathrm{Dx},\mathrm{Dy}}={\mathrm{Min}({\mathrm{SAD}}_{\mathrm{dx},\mathrm{dy}}^P+{\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B0}+{\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B1})}_{\mathrm{dx},\mathrm{dy}=-N}^{\mathrm{dx},\mathrm{dy}=N}$

其中，给每一个SAD赋予了相同的加权，即，1。

第一变体在于根据图像的类型，对SAD不同地进行加权，从而使所考虑的矢量主要与P图像相关：

${\mathrm{SAD}}_{\mathrm{Dx},\mathrm{Dy}}={\mathrm{Min}(\mathrm{\α}{.\mathrm{SAD}}_{\mathrm{dx},\mathrm{dy}}^P+\mathrm{\β}.({\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B0}+{\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B1}))}_{\mathrm{dx},\mathrm{dy}=-N}^{\mathrm{dx},\mathrm{dy}=N}$

α和β为加权系数，例如

α＝0.5

β＝(1-α)/(m-1)，其中m表示P图像的周期，即，

在两个P图像之间的图像周期或间隔的数量。对于m，图1和2的示例对应于值3。

第二变体在于：考虑在B图像中出现的瞬时对象的位移，并且可能需要与P和I/P图像的相应块不同的这些B图像的共同位置的块的运动。

在与参考图像侧面相接的三个B型图像的示例中，SAD的计算可以为：

${\mathrm{SAD}}_{\mathrm{Dx},\mathrm{Dy}}={\mathrm{Min}(\mathrm{\α}{\mathrm{SAD}}_{\mathrm{dx},\mathrm{dy}}^P+\mathrm{\βMedian}({\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B0},{\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B1},{\mathrm{SAD}}_{\mathrm{drx},\mathrm{dry}}^{B2}))}_{\mathrm{dx},\mathrm{dy}=-N}^{\mathrm{dx},\mathrm{dy}=N}$

，其中例如，β＝(1-α)

“Median”对应于中值函数，因此，舍弃了B型图像的SAD的极限值。

该标准基于以下事实：SAD^P必须较小，而且，能够搜索到使大多数SAD^B最小的矢量。目标在于：选择与P图像的宏块的较好预测和B图像的共同位置的宏块的较差程度的较好预测之间的折中相对应的矢量，并且该标准在于以下事实：舍弃属于不能够通过时间预测在B图像中预测的图像区的宏块，从而不偏离决策标准。在B图像内，之后，利用其他的编码方式，例如，帧内型的编码方式，对该不可预测区域进行编码。

如果仅存在2个B图像，则Medin函数可以由Min函数来代替，从而舍弃了最高的SAD^B。

上述示例和提出的变体与对应于SAD的值的块差值相关。其还与这些SAD的值的和相关。

当然，可以设想使用任何类型的块间差值，事实上表示这些块之间的相关性的任何值，而不会脱离本发明的范围。对于根据现有技术的运动估计，我们可以处理在块相关性计算期间所使用的值。我们可以在块上，逐像素地处理亮度值的差值的平方和。

使用变量SAD或差值的任何函数f，其最低限度对应于编码成本的降低，也形成了本发明的领域的一部分。

为了一般化的目的，因此，该块间的差值之后被称为D：

D^P _dx，dy是P图像的当前块和由具有分量dx、dy的运动矢量预测的块之间的差值。

D^B _drx，dry是B图像的共同位置的块和由具有分量drx、dry的直接方式矢量预测的块之间的差值，更具体地，当利用具有分量drx_fw，dry_fw,的前向直接矢量来处理时，为D^B _drxfw,dryfw,当利用具有分量drx_bck，dry_bck的后向矢量来处理时，为D^B _{drxbck，drybck}。

然后，作为P图像的当前块和与具有分量dx、dy的被称为D^P _dx，dy的运动矢量相对应的I/P图像的预测块之间的差值的函数，而且对于这些值中的每一个，作为图像B₀和/或B₁的相同位置的块和根据与具有分量dx、dy的矢量线性对应的、具有分量drxfw、dryfw的运动矢量而在I/P图像中相匹配的预测块之间的差值D^B _{drxfw，dryfw}的函数，并且作为图像B₀和/或B₁的相同位置的块和根据与具有分量dx、dy的矢量线性对应的、具有分量drxbck、drybck的运动矢量而在P图像中相匹配的预测块之间的差值D^B _{drxbck，drybck}的函数，进行与具有分量Dx、Dy的运动矢量相对应的I/P图像中的预测块的选择：

drx_bck＝-(dx-drx_fwd)，

dry_bck＝-(dy-dry_fwd)。

$D_{\mathrm{Dx},\mathrm{Dy}}=\mathrm{Min}{\left(f(D_{\mathrm{dx},\mathrm{dy}}^P,D_{\mathrm{drxfw},\mathrm{dryfw}}^B,D_{\mathrm{drxbck},\mathrm{drybck})}^B)\right)}_{\mathrm{dx},\mathrm{dy}=-N}^{\mathrm{dx},\mathrm{dy}=N}$

f是任何函数，例如仿射函数。

这些差值不必直接与图像的亮度和/或色度有关。例如，我们可以处理具有差别的像素的傅立叶或哈德马(Hadamard)变换的系数的绝对值的和，即，残余块。所使用的哈德马变换是对残余图像信号的二维变换，例如，4×4或8×8的像素，该变换的优点在于通过更接近DCT域来切换到频谱域，同时使用值+1和-1的分解系数。这些系数能够更快速地进行整个计算。

可以将偏移添加到这些系数中，以便在运动估计器内考虑待测试的运动矢量的可能编码成本。

当然，本发明中所实现的运动估计并不局限于块匹配方法。其可以是在图像或分级型的像素级处所进行的任何种类的估计，例如，递归PEL型的估计，然后，对增加了分辨率的图像进行估计。其可以利用亮度、色度、梯度函数等。

块匹配可以是“全搜索”型的，采用了多个SAD最小化标准。然后，在预定的搜索窗、搜索窗的每一个新块内进行对相关块的搜索，针对所述块，进行相关性测量和SAD计算，对应于先前处理过的块中幅度为1的像素的水平或垂直转换。

本发明的另一变体在于：进行P和I/P图像之间的运动估计，并且针对当前的宏块MBp，选择提供了诸如SAD^P的最小值或差值的K个最相关的运动矢量。之后，根据这K个矢量，该方法根据多个SAD或差值，选择使标准最小化的矢量。例如，K等于8，并且所选择的矢量是使SAD的和最小的矢量。

可以在B图像和源I或P图像之间进行SAD或差值的计算，所述源I或P图像是当考虑编码次序时的前一个图像。还可以在B图像和本地解码的I或P图像之间进行SAD或差值的计算。

本发明涉及利用了这样的方法的所有运动估计设备、或利用了这样的运动估计设备的所有压缩或编码系统。

应用尤其涉及利用包括直接预测方式的视频编码的数字图像的传输，例如，h263、MPEG4或h261标准。

Claims (10)

1.一种根据第二参考图像中的预测图像块(2)对第一参考图像中的当前图像块(1)进行差分编码的方法，所述参考图像与双向型或B型的一个或多个图像侧面相接，通过使用这些参考图像的块来执行所述双向型或B型的一个或多个图像的差分编码，所述方法包括步骤：作为当前块和分配给当前块的、具有水平分量dx和垂直分量dy的运动矢量Vp所指定的候选块之间的差值D^P _dx，dy的函数，从候选块中选择预测块(2)，

其特征在于所述选择还取决于B型图像中的当前图像块的共同位置的块和参考图像中的块之间的差值D^B _drx，dry，由分配给共同位置的块并与运动矢量Vp线性对应的、具有水平分量drx和垂直分量dry的运动矢量来指定所述参考图像中的块。

2.根据权利要求1所述的方法，其特征在于：所述与运动矢量Vp线性对应的运动矢量是在B型图像(4)和第一参考图像(6)之间的后向运动矢量(8)。

3.根据权利要求1所述的方法，其特征在于：所述与运动矢量Vp线性对应的运动矢量是在B型图像(4)和第二参考图像(5)之间的前向运动矢量(7)。

4.根据权利要求1所述的方法，其特征在于：通过使用以下内容来执行所述选择：B型图像和第二参考图像之间与具有水平分量drx_fw和垂直分量dry_fw的线性对应的运动矢量相对应的差值D^B _{drxfw，dryfw}，以及B型图像和第一参考图像之间与具有水平分量drx_bck和垂直分量dry_bck的线性对应的运动矢量相对应的差值D^B _{drxbck，drybck}。

5.根据权利要求1所述的方法，其特征在于：所述选择取决于B型第一图像B。和参考图像之间与线性对应的运动矢量相对应的差值D^Bo _drx，dry，以及B型第二图像B₁和参考图像之间与线性对应的运动矢量相对应的差值D^B1 _drx，dry。

6.根据权利要求1所述的方法，其特征在于：从候选块中选择的块对应于针对这些候选块计算的差值D^P _dx，dy、D^B _{drxfw，dryfw}，和D^B _{drxbck，drybck}的函数的最小值。

7.根据权利要求1所述的方法，其特征在于：根据块的像素的亮度值之间的差值的绝对值的和(SAD)，计算差值D。

8.根据权利要求1所述的方法，其特征在于：根据作为在块中的像素的亮度值之间的逐像素的差值的残余量的变换的系数的绝对值的和，来计算差值D。

9.根据权利要求1所述的方法，其特征在于：所述候选块是具有与从预定搜索窗中提取的当前块相同的大小的图像块。

10.根据权利要求1所述的方法，其特征在于：根据MPEG 4标准的时间直接方式来进行B型图像的编码。