CN101584215B - 综合空时预测 - Google Patents

Abstract

一种用于生成目标图像中的目标像素块的空间预测的方法，该方法包括以下步骤：生成针对目标像素块的空间矢量，利用该空间矢量构建空间参考块，并且利用该空间参考块生成该目标块的空间预测。

Description

综合空时预测

技术领域

本发明涉及视频压缩领域。

背景技术

序列的视频图像一般是按照两种方式中的一种方式通过视频压缩处理来编码的。一种方式是，将通过自身编码的图像序列中的每个图像作为独立或静止图像。此处理被称为帧内编码(intra-encoding)压缩处理，因为该编码算法仅对目标图像内的特征进行操作。执行视频压缩的另一种方式(称为时间预测编码)是，基于先前编码的另一参考图像来预测目标图像的运动，而指定要编码的图像。此处理也被称为帧间编码(inter-encoding)，因为，此预测是根据目标图像和参考图像之间的相互关系来生成的。

在时间预测编码处理中，目标图像和参考图像被分割成多个块。如果目标图像中的块与参考图像中的块类似，则该块从其在参考图像中的位置到其在目标图像中的位置的空间位移或运动是确定的。此位移信息存储在关联参考块和目标块的运动矢量中。来自参考块的被编码的图像数据提供对目标块的图像数据的预测。

虽然可以通过时间预测法来预测目标图像中的大多数目标块的图像数据，但是，不能通过该方法来很好地预测某些目标块。例如，目标图像中的块可能不与参考图像中的块类似。在这种情况下，利用帧内编码处理对目标块进行编码，而无需依赖任何参考图像。

图1示出利用时间预测(或帧间编码)和帧内编码两种方法对目标图像进行编码的示例。目标图像120中的目标块125利用运动矢量130与参考图像110中的类似块115匹配。然后，在解码处理中，根据参考块115的图像数据来预测目标块125的图像数据。从而通过时间预测法对目标块125进行有效地编码。

然而，目标块140不能通时间预测法来编码，因为，该目标块在参考图像110中没有类似块。因此，应当通过帧内编码法来对目标块40进行编码。

可利用时间预测法来很好地编码某些块，并且通过帧内编码方法来很好地编码其它块。当利用时间预测和帧内编码两种方法对图像进行编码时，编码器必须确定对每个块是利用时间预测法还是帧内编码法。然而，由于传统的时间预测法和帧内编码法会产生不同结果，因此，当作出该决定时，它们各自的被编码块太不相同，以致于不能进行比较。

例如，当对目标块进行编码时，一般的视频压缩算法利用图2所示的确定系统200来确定对该块应用时间预测法还是帧内编码法。应用时间预测编码法的时间预测逻辑设备220对目标块210编码。逻辑设备220确定运动矢量230，以将被编码的图像数据从参考块映射到目标块210。时间预测逻辑设备220还计算该目标块的预测的图像数据和该目标块的实际图像数据之间的预测误差240。位成本估计逻辑设备250估计运动矢量230的位成本和预测误差240的位成本，以产生对目标块210进行时间编码的位成本。

确定系统200还利用帧内编码处理对目标块210进行编码。帧内编码逻辑设备260对目标块中的原始像素值应用离散余弦变换(DCT)，以产生一组DCT系数270。块内位成本估计逻辑设备280估计对DCT系数进行编码的位成本。位成本选择逻辑设备290对由逻辑设备250和280产生的位成本进行比较，并且选择具有较低位成本的编码处理。

如图2所示，时间预测处理产生运动矢量和预测误差，而帧内编码法产生一组DCT系数。为了比较这两种方法，确定系统必须执行两种编码处理，然后估计出根据每种处理的编码结果的位成本，之后识别出产生具有较低位成本的处理。因此，问题是确定系统不能在无需估计两种处理的全部结果的位成本的情况下来确定出哪个特定编码处理能提供较好的成本效益。

发明内容

一种生成对目标图像中的目标像素块的空间预测的方法，该方法包括以下步骤：生成针对目标像素块的空间矢量，利用该空间矢量构建空间参考块，并且，利用该空间参考块来生成该目标块的空间预测。

附图说明

图1示出利用时间预测(或帧间编码)和帧内编码两种方法对目标图像进行编码的示例；

图2示出确定系统的示例，该确定系统用于确定对块应用时间预测法还是帧内编码法；

图3示出综合空时预测编码系统的示例；

图4示出用于执行综合空时预测编码(ISTPE)方法的示例；

图5示出用于执行ISTPE方法的实施例的DCT空时预测处理的示例；

图6示出利用ISTPE方法的系统的示例。

具体实施方式

在下面的描述中，参考了形成本申请的一部分的附图，在附图中显示出了可以实施本发明的具体实施例。应当了解，可以利用其它实施例，并且在不脱离本发明的范围内可以作出各种结构改变。例如，本领域的技术人员将明白，用于描述各个实施例的术语领域、帧、图像或画面通常可以根据所引用的视频数据互换。

空间预测法通过创建空间矢量和空间预测误差来替代传统的帧内编码法。空间矢量具有的结构类似于运动矢量的结构。所以，对空间矢量进行编码的成本类似于对运动矢量进行编码的成本。因此，空间预测法可以与时间预测法结合而产生一种综合空时预测编码(ISTPE)方法。

为了将时间和空间预测法结合在一起，基于误差的选择处理通过比较两种方法的预测误差来选择对特定目标块应用哪种方法。选择处理生成了时间预测法的预测结果，包括运动矢量和时间预测误差。选择处理还生成空间预测法的预测结果，包括空间矢量和空间预测误差。因为对运动矢量进行编码的成本类似于对空间矢量进行编码的成本，所以该选择处理通过比较空间和时间预测误差来确定选择哪种编码方法。利用具有较小预测误差的预测方法来对目标块进行编码。作出该选择无需估计空间和时间预测法的编码结果的位成本。

由于时间和空间预测法具有类似的预测和编码阶段，并且产生类似的输出，因此，执行综合法的编码器在选择适当编码法方面具有较小的复杂性和较好的精确性。图3示出了综合空时预测编码系统300。系统300通过基于误差的选择来确定对目标块应用哪种预测方法。

时间预测逻辑设备320利用时间预测处理对目标块310进行编码。逻辑设备320生成运动矢量330，以指向参考块。逻辑设备320利用来自参考块的被编码的图像数据预测目标块的图像数据。然后，逻辑设备320计算时间预测误差340，该时间预测误差340是对目标块进行预测的图像数据和该目标块的实际图像数据之间的差。

还用空间预测逻辑设备350对目标块310编码，用于创建该目标块的空间矢量360。逻辑设备350利用空间矢量构建空间参考块。逻辑设备350利用空间参考块预测目标块的图像数据。然后，逻辑设备350计算空间预测的图像数据和实际图像数据之间的空间预测误差370。

综合空时选择逻辑设备380对时间预测误差340和空间预测误差370进行比较，选择具有较小误差的编码方法，作为用于目标块310的适当编码法。

如图3所示，空间预测逻辑设备350产生输出，诸如空间矢量360和空间预测误差370，该输出类似于时间预测逻辑设备320的输出。当选择时间或空间预测法对目标块进行编码时，编码器系统300可以通过直接比较时间和空间预测的预测误差来作决定，而无需估计时间和空间预测的位成本。因此，减小了作出决定的复杂性。这使得空间预测法很容易与时间预测法结合，以提供一种执行综合空时预测编码(ISTPE)的系统。

此外，由ISTPE系统生成的预测误差可以利用基于非块处理来进行编码。这与传统的帧间和帧内编码法不同，仅生成经过帧间编码(或者时间预测)的块之间的预测误差。因此，这些传统预测误差必须要逐块(例如，按照基于DCT法的块)进行编码。ISPTE处理生成对目标块进行空间预测和时间预测的预测误差。这样，可以将两种方法产生的预测误差集合在一起，并利用基于非块的变换(例如，微波变换)来对其进行编码。

图4示出了一种用于对目标图像执行ISTPE的方法。在410中，接收目标图像的时间参考图像。经过编码的时间参考图像可以是一个也可以是多个参考图像。

在402中，选择目标块的形态图案(shape pattern)并且将其应用到要被预测的目标图像。形态图案可以是固定的块图案(例如，在MPEG-1/2中使用的图案)，也可以是可变的块图案(例如，在MREG-AVC/H.264中使用的图案)。在420中，所选择的图案被应用于目标图像，以生成被称为目标块的一组块(或其它形态)。每个目标块是要根据时间或空间参考块一起预测的目标图像中最小的像素组，例如，一个目标块中的所有像素共享相同的运动矢量或空间矢量。

在425中，选择目标块中的一个进行编码。在430中，时间预测法应用于所选择的目标块，以生成指向参考块的运动矢量。本领域技术人员所知的传统运动估计步骤可以用来识别参考块和确定运动矢量。例如，可以根据目标块和参考块之间的位移(或运动)来计算运动矢量。在435中，参考块中被编码的图像数据用于生成对目标块的图像数据的时间预测。

在440中，空间预测法用于所选择的目标块，以创建该目标块的空间矢量。空间矢量是一组用于创建该目标块的原始方案(coarse version)

(被称为空间参考块)的数据。在450中，利用空间矢量构建空间参考块。可以用不同的方法来创建空间矢量和构建空间参考块。在一个实施例中，使用离散余弦变换空间预测(DCT-SP)处理来创建空间矢量和构建相应的空间参考块。下面描述DCT-SP处理的一个示例。

在455中，空间参考块用于生成对该目标块的图像数据的空间预测。

在460中，选择函数选择用于对该目标块进行编码的预测方法。该选择是通过比较时间和空间预测法的预测误差来完成的。时间预测误差是通过从该块的实际像素值中减去对该块进行时间预测的像素值而得到的。同样，空间预测误差是通过从实际值中减去空间预测的像素值而得到的。通常，选择函数计算出时间预测误差和空间预测误差，比较这两种误差，并选择具有较低预测误差的方法。在一个实施例中，该选择函数确定时间预测和空间预测两种方法对目标块的预测失真(prediction distortion)的值，并且选择具有较低预测失真的编码法。

对块预测失真的示例是：

其中，x，y∈B表示块(或者形态)B中的所有像素，v_x，y是目标图像的原始像素值，以及

是目标像素的预测值。

根据435，时间预测可以输入公式(1)，以产生时间预测失真。根据455，空间预测可以应用到公式(1)，以产生空间预测失真。因此，公式(1)可用于生成时间和空间预测的预测失真。然后，很容易地比较两种预测失真，以选择适当的编码法。

预测失真的另一示例是预测误差的绝对值的和：

为了在460中用来确定对目标块是利用时间预测法还是空间预测法，用户可以选择公式(1)、公式(2)或者其它函数。

在470中，利用适当编码法可以将最后的目标块预测误差(在460中根据空间或时间编码选择的)与该块一起进行编码。替代地，在目标图像中的每个目标块被预测和编码之后，可以对所有目标块的预测误差一起进行编码。

在480中，如果图像中的其它目标块需要被编码，选择处理返回425，否则，处理在490中结束。

更详细地参考图440到450，在图5中示出了创建空间矢量和构建空间参考块的方法的示例。该示例性方法利用DCT(离散余弦变换)生成空间矢量并构建其相应的空间参考块。

在440中，通过执行下面的函数来生成空间矢量。在510中，接收目标图像中的目标块。在515中，生成变换系数。例如，用来表示目标块的矩阵，其中，矩阵中的每个元素是该块的像素值。对矩阵X执行块变换(例如，DCT)，以得到变换系数矩阵C。

在517中，用于量子化矩阵C的量子化函数q作为控制参数被输入该方法。量子化函数的值可以由用户定义，或者通过编码器来设定。在520中，矩阵C中的每个元素被量子化，以产生量子化矩阵C′。

在522中，在一些实施例中，要被选择的许多系数Nc和它们相应的矩阵位置由用户输入或者通过编码器设定作为控制参数。通常，选择系数Nc的数量，以使得空间矢量系数元素的数量近似于运动矢量中的元素的数量。因此，可以通过忽略这两种矢量的编码成本的函数来比较这两种方法的编码效率。

在525中，从它们在系数矩阵C′的特定位置选择Nc个系数。在一个实施例中，该处理选择位于系数矩阵C′的左上角的Nc个系数。

在530中，利用Nc个量子化的数字创建对于该目标块的空间矢量S。该空间矢量可用于生成与该目标块对应的空间参考块。

在450中，通过在560中首先接收特定目标块的空间矢量S来构建空间参考块。空间矢量包括Nc个元素。在565中，根据空间矢量构建该目标块的块变换系数矩阵。在一个实施例中，该步骤是通过首先将所有系数设定为0来完成的。然后，来自空间矢量S的系数值被恢复到它们在矩阵中的先前位置。由于Nc个系数被恢复，结果得到矩阵

在522中，如上所述，可以将系数位置矩阵作为系统参数输入该方法。

在570中，反量子化

中的每个系数(如上所述，在517中可以将量子化函数作为系统参数输入该方法)，以产生系数矩阵

在575中，对

执行逆变换。结果得到空间参考块

空间参考块

用于鱼的原始的目标块X。

在580中，如果需要对其它目标块执行空间预测法，则处理通过返回510而被重复。否则，处理在590中结束。

在图5中示出的方法产生了具有与时间参考块和运动矢量的结构和功能类似的结构和功能的空间参考块和与其对应的空间矢量。例如，时间参考块通过其运动矢量来识别。例如，时间参考块通过其运动矢量来识别，并且空间参考块是根据其空间矢量来构建的。由图5的方法创建的空间矢量具有与运动矢量的元素数量近似的元素数量。利用近似数量的元素，当确定对目标块应用哪种预测方法时可以忽略对每个矢量的编码成本，所述编码成本是对该矢量进行编码所需的位的数量。因此，通过比较两种预测块的预测误差可以很容易地作出编码决定。

下面描述利用图5的方法执行空间预测的示例。在该示例中，目标块具有4×4的尺寸，例如该矩阵具有4行和4列像素。通常，DCT可应用于任何尺寸的长方形块，例如，8×8或4×8。以X表示目标块的原始像素值(从实际图像得到的数据)矩阵，在该示例中：

$X=\left[\begin{array}{cccc}197& 165& 127& 105\\ 154& 124& 98& 73\\ 139& 117& 84& 56\\ 123& 98& 67& 35\end{array}\right]$

对矩阵应用二维DCT变换，以生成下面的DCT系数矩阵：

$C=\mathrm{DCT}\left(X\right)=\left[\begin{array}{cccc}440.500& 130& 0.500& 4.302\\ 96& 2.078& 7.041& -1.189\\ 18.000& 6.962& 1.000& -0.178\\ 19.546& 3.311& -1.293& -3.578\end{array}\right]$

对C中的DCT系数应用量子化函数，例如，以值q来除C中的每个元素，然后四舍五入为最近的整数(在该示例中，q＝10)，

$C^{\′}=\mathrm{Round}(C/q)=\left[\begin{array}{cccc}44& 13& 0& 0\\ 10& 0& 1& 0\\ 2& 1& 0& 0\\ 2& 0& 0& 0\end{array}\right]$

设定Nc＝3，从而空间矢量具有3个元素。这3个元素的位置在左上角。然后，选择C′的左上角的3个量子化系数。通常，系数Nc的数量和它们的位置可以由用户定义为自由参数(free parameter)。在该示例中，所选择的C′中的系数为44、13和10。

现在，利用所选择的系数创建该目标块的空间矢量：

S＝[44，13，10]。

去掉矩阵C′中的所有其它元素。

为了构建空间参考块，首先根据空间矢量S创建系数矩阵

。这是通过(i)将

中所有元素设定成0，并且(ii)根据空间矢量S将所选择的系数恢复到先前它们在矩阵中的位置来完成的：

然后，对矩阵

执行反量子化，例如，用q＝10乘

对矩阵

应用反DCT，以产生空间参考块的像素值，

用空间参考块

中的像素值预测目标块X的像素值。空间预测误差是该目标块的实际像素值减去预测的像素值：

在该情况中，空间预测误差是：

$e=\left[\begin{array}{cccc}197& 165& 127& 105\\ 154& 124& 98& 73\\ 139& 117& 84& 56\\ 123& 98& 67& 35\end{array}\right]-\left[\begin{array}{cccc}185& 160& 125& 100\\ 166& 141& 106& 81\\ 139& 114& 79& 54\\ 120& 95& 60& 35\end{array}\right]=\left[\begin{array}{cccc}12& 5& 2& 5\\ -12& -17& -8& -8\\ 0& 3& 5& 2\\ 3& 3& 7& 0\end{array}\right]$

在视频压缩应用中，空间预测编码法可替代传统帧内编码法。空间预测编码法和时间预测编码法的结合得到综合空时预测编码法，该方法在视频压缩应用(例如，MPEG)中可应用于对全部图像序列进行编码。

图6示出利用ISTPE法的系统的示例。数字视频照相机610以电子形式捕获图像，并且利用压缩设备620处理图像，其中，压缩设备620在压缩和编码处理中执行ISTPE法。经过编码的图像通过电子传输介质630被发送到数字回放设备640。由解码设备650对图像进行解码，其中，在解码处理中，解码设备650利用ISPTE法。照相机610是包括本发明的实施例的多种图像处理装置(例如，其它图像捕获设备、图像编辑器、图像处理器、个人和商用计算机平台等等)中的示例性的一种。同样，解码设备650是对图像数据进行解码的多种设备中的示例性的一种。

虽然依照特定系统环境中的示例性实施例来描述本发明，但是本领域技术人员将会明白，在不脱离所附权利要求的精神和范围内可以在其它和不同硬件和软件环境中按照多种方式来实施本发明。

Claims (4)

1.一种综合空时预测方法，包括：

生成对于目标像素块的像素值矩阵；

将离散余弦变换函数应用于所述矩阵，以产生离散余弦变换系数矩阵；

将使用量子化值的量子化函数应用于所述离散余弦变换系数矩阵；

由数据处理系统通过执行离散余弦变换空间预测法生成针对所述目标像素块的空间矢量，所述离散余弦变换空间预测法包括选择许多量子化的系数作为所述空间矢量的元素；

利用所述空间矢量生成量子化离散余弦变换系数矩阵；

将具有与所述量子化函数的量子化值相对应的量子化值的逆量子化函数应用于所述量子化离散余弦变换系数矩阵，以生成离散余弦变换系数矩阵；

将逆离散余弦变换函数应用于所述离散余弦变换系数矩阵，以生成具有像素值矩阵的空间参考块；

利用所述空间参考块生成对所述目标像素块的空间预测；

生成空间预测误差；

将所述空间预测误差与时间预测误差进行比较；并且

如果所述空间预测误差小于所述时间预测误差，则对所述空间参考块进行编码。

2.如权利要求1所述的方法，其中，利用所述空间参考块生成对所述目标像素块的空间预测包括：

利用来自所述空间参考块的像素值矩阵预测所述目标像素块的值。

3.一种综合空时预测装置，包括：

矩阵生成器，用于生成对于目标像素块的像素值矩阵；

离散余弦变换系数生成器，用于利用所述矩阵产生离散余弦变换系数矩阵；

量子化设备，用于将使用量子化值的量子化函数应用于所述离散余弦变换系数矩阵；

空间矢量生成器，用于生成针对所述目标像素块的空间矢量，其中，所述空间矢量生成器包括离散余弦变换逻辑设备，所述离散余弦变换逻辑设备执行离散余弦变换空间预测功能并且包括用于选择许多量子化的系数作为所述空间矢量的元素的选择设备；

空间矢量解码器，用于利用所述空间矢量生成量子化离散余弦变换系数矩阵；

逆量子化设备，用于将逆量子化函数应用于所述量子化离散余弦变换系数矩阵，以生成离散余弦变换系数矩阵，其中所述逆量子化函数具有与所述量子化函数的量子化值相对应的量子化值；

逆离散余弦变换设备，用于将逆离散余弦变换函数应用于所述离散余弦变换系数矩阵，以生成具有像素值矩阵的空间参考块；

空间预测器，用于利用所述空间参考块生成对所述目标块的空间预测；

预测误差生成器，用于生成空间预测误差；

比较器，用于将所述空间预测误差与时间预测误差进行比较；以及

编码器，如果所述空间预测误差小于所述时间预测误差，则所述编码器对所述空间参考块进行编码。

4.如权利要求3所述的装置，其中，所述空间预测器包括：

参考块解码器，用于利用来自所述空间参考块的所述像素值矩阵来预测所述目标像素块的像素值。

Images