CN1154365C - 无漂移代码转换器和相关的方法 - Google Patents

Abstract

本发明涉及代码转换器，它包括漂移补偿环(DCL)，用于补偿由量化操作(Q2)在代码转换路径中引入的漂移信号(Ei)。这个漂移补偿环对于从先前的去量化(IQ1)发出的信号(F1)执行运动补偿，从而得到预测信号(P1)。运动补偿是根据被存储在存储器单元(MEM)中的漂移信号进行的。漂移信号和预测信号可以以交织的或去交织的结构形式被输送。按照本发明，AMC单元利用所述漂移和预测信号的去交织的或交织的结构来适应运动补偿操作。

Description

无漂移代码转换器和相关的方法

                   发明领域

本发明涉及用于对输入的编码信号进行代码转换的方法，包括以下步骤：

-译码所述输入的编码信号，得出译码的量化的信号，

-去量化所述译码的量化的信号，得出去量化的信号，

-重新量化被补偿的信号，得出重新量化的信号，

-重新编码所述重新量化的信号，得出重新编码的信号，

-补偿由所述重新量化步骤在重新编码的信号中引入的漂移，

所述补偿步骤在所述去量化和重新量化步骤之间执行。

本发明也涉及用于实行所述方法的代码转换器。

本发明可用来把具有给定的比特速率的经过MPEG压缩的信号代码转换成另一个具有较低的比特速率的经过MPEG压缩的信号。

                  相关技术

代码转换器可以把具有给定的比特速率的压缩的信号变换成另一个具有较低的比特速率的压缩的信号。基本上，被使用于这样的目的的代码转换器包含级联的译码器和编码器。这种组合相当复杂，以及这种复杂性可被大大地减小。在视频信号的具体情形下，必须考虑某些其它方面。编码的视频信号包含一系列编码的帧，其中每个帧再被划分成二维的宏块阵列，每个宏块由多个块组成。一个帧可以存在于作为象素域的空间域中，以及在频率域或变换域中被传输，它是由该帧在空间域中的离散余弦变换(DCT)而产生的。此外，任何的帧可被分成两个区：由帧的奇数行形成的顶部区和由帧的偶数行形成的底部区。宏块可以以两种不同的格式被输送：交织格式(此后称为帧格式)，和去交织格式(此后称为区格式)。在帧格式下，宏块包括交替地来自两个区的行，以及宏块的每个DCT块由来自两个区的数据形成。在区格式下，宏块包括来自两个区的行，以及宏块的每个DCT块仅由来自两个区中的一个区的数据形成。

用于实现诸如在引言中描述的代码转换的方法的一种可能的代码转换器，是由Assuncao等在IEEE Trans。On CSVT，vol.8，No.8(December 1998)中提出的。这篇论文揭示了一种具体的MPEG-2视频信号专用的代码转换器。按照现有技术的代码转换器1，如图1所示，包括译码部分和以后的带有运动补偿的编码部分。译码部分包括可变长度译码器VLD和去量化器IQ1。编码部分包括量化器Q2，漂移补偿环DCL和可变长度编码器VLC。由Q2进行的量化引入误差宏块E，或每个译码的宏块F被量化到代码转换器1的代码转换路径时的漂移。这个误差宏块E在漂移补偿环DCL中被按照如下方式得出。误差宏块E在抽头加法器S2的输出端处作为在一个被提供到Q2的要被量化的被补偿的宏块与一个从去量化器IQ2发出的去量化的宏块之间的差值而被得出。这个误差宏块E可以以帧格式或以区格式被提供。在后一种情况下，宏块在区/帧转换器f/T中被转换成帧格式。所述误差宏块然后以帧格式被存储在存储器单元MEM，而所有其它的误差宏块相应于同一个帧。因此，整个帧的误差宏块被存储在存储器单元MEM中，先前发送的帧的误差宏块也是如此。所有这些存储的宏块可供在MC-DCT单元中译码的宏块F的运动补偿用于预测的参考。最后得出译码的宏块F的预测宏块，以及在抽头加法器S1中将它附加到译码的宏块F上，结果形成补偿的译码的宏块，以便传送到Q2去进行量化。

现有技术描述的代码转换器包括专门地对具有帧格式的宏块执行运动补偿的漂移补偿环。代码转换器包括与运动补偿单元分开的、位于存储器单元的上游处的区/帧转换器，这样，宏块可以以帧格式被存储。在这种代码转换器中实行的代码转换的方法涉及许多费时的和导致复杂的硬件设施的独立操作。

                        发明概要

本发明的目的是提供一种代码转换方法，它包含节省时间的、少量的操作，以及能使用于实行这种方法的代码转换器的硬件设施简单。

按照本发明，诸如引言中描述的代码转换方法的漂移补偿步骤至少包括以下接连的步骤：

-得出相应于所述漂移的误差信号，

-通过基于误差信号的、和适合于误差信号和预测信号的交织或非交织传输模式的同时进行的运动补偿和区/帧转换，得出所述译码信号的预测信号，

-从译码信号中减去得出的所述预测信号，从而得到要被重新量化的补偿信号。

按照本发明的方法的漂移补偿包括与区/帧转换相组合的运动补偿。这里提到的区/帧转换操作涉及从区格式到帧格式的转换和从帧格式到区格式的转换。事实上，由量化所产生的误差宏块以它被提供的格式被存储，不必事先转换成帧格式或区格式。运动补偿操作可以针对区格式的宏块或针对帧格式的宏块不加区别地执行。同样地，运动补偿操作可以不加区别地提供区格式的宏块或帧格式的宏块。此外，运动补偿步骤根据被存储在存储器单元中的帧来执行，这些宏块或者以帧格式或者以区格式被存储。因此，区/帧转换操作与运动补偿同时被执行，取决于输入和输出的宏块是需要区格式还是帧格式。组合的运动补偿和区/帧转换步骤可被考虑为一个自适应运动补偿步骤。

所以，与现有技术相比较，本发明的优点是操作数量的减小，从而是费用的减小。本发明中涉及的操作是被组合起来的，因此，按照本发明的方法的硬件设施被简化。

在本发明的实施例中，自适应运动补偿步骤是在变换域中针对帧来实行的。在变换域中对于帧的代码转换的优点是使得所需的存储器较少。

而且，本发明也涉及用于实现按照本发明的方法的代码转换器。

                        附图简述

现在，参照以下描述的和结合附图考虑的实施例来说明本发明的具体方面，其中：

图1是用于实行按照现有技术的方法的代码转换器，

图2是用于实行按照本发明的方法的代码转换器，

图3显示参照先前的图象来对当前的图象的宏块进行预测，

图4显示亮度块预测的推导，

图5给出16×16去交织矩阵，

图6显示色度块预测的推导，

图7显示色度分量的垂直预测。

                   发明详细描述

图2显示用于实现按照本发明的方法的代码转换器1的实施例。代码转换器1用来把第一比特速率R1的数字视频比特流转换成第二比特速率R2的数字视频比特流。可变长度译码器VLD首先译码第一比特速率R1的编码的比特流。译码器VLD的输出比特流包含在频域上被传输到去量化器IQ1的一系列n个译码的量化的宏块。去量化器IQ1对于从VLD单元接收的每个量化的宏块提供一个译码的宏块Fi(i＝1...n)。VLD单元连同去量化器IQ1一起构成代码转换器1的译码部分。

代码转换器1还包括一个用来把接收的比特速率R1的比特流转换成比特速率R2的比特流的编码部分。为此，代码转换器1包括用于重新量化接收的从IQ1发出的、去量化的和译码的比特流的量化器Q2。如上所述，漂移被引入到代码转换器的重新量化步骤。实际上，量化器Q2把误差宏块Ei或漂移引入到代码转换器1的代码转换路径中。这个误差宏块Ei在漂移补偿环DCL中被如下地导出和被补偿。在环路DCL中，任何被Q2量化的宏块在下一个步骤中被去量化器IQ2去量化，IQ2的量化步骤是与量化器Q2使用的量化步骤相同的。误差宏块Ei在抽头加法器S2的输出端作为在从IQ2发出的宏块与初始被提供给Q2的宏块之间的差值而被得出的。在视频编码时，任何宏块可以按照帧内模式不参考另一个图象而进行编码，或可以按照帧间模式参照先前的或未来的帧而被编码。属于I帧的宏块按照帧内模式被编码。属于P帧的宏块可以参照先前的I或P帧被编码。属于B帧的宏块可以参照先前的I或P帧和参照下一个I或P帧被编码。P宏块或B宏块沿着代码转换路径作为与一组被用作参考的帧有关的余量而被发送。这样，当P宏块或B宏块由代码转换器的译码级提供时，所提供的数据涉及到先前的或未来的参考宏块。而且，被Q2量化的任何宏块要经受到先前提到的漂移，结果，用作为参考的任何宏块在量化后被稍微修改，因而除非进行补偿，否则将传播误差。为了校正这里引入的漂移，以参考的名义被输送到其它宏块的任何宏块必须在DCP环路中根据错误的宏块进行运动补偿，以使得漂移不被传播。

这样，当宏块F1由去量化器IQ1提供给量化器Q2时，在抽头加法器S2中得出在去量化期间由Q2引入的误差宏块。在本实施例中，宏块F1可以帧格式或以区格式不加区别地被提供，仅取决于原先的比特流沿着代码转换路径被输送的方式。误差宏块E1因此以与宏块F1被输送的格式相同的格式被送出。误差宏块E1然后被存储在存储器单元MEM中。同时，运动补偿在自适应运动补偿(AMC)单元中被执行。按照本发明，运动补偿操作在频域中与区/帧转换相组合。这些同时的运动补偿和区/帧转换此后被称为自适应运动补偿步骤。它导致在AMC单元的输出端处产生的译码的宏块F1的预测宏块P1。在自适应运动补偿步骤中的区/帧转换是可任选的，它取决于AMC单元的输出或输入所需要的传输格式。实际上，运动补偿首先根据先前被存储在存储器单元MEM中的帧来进行，以及按照本发明，这些帧的宏块可以以帧格式或区格式进行存储。此外，预测宏块P1可以预期以帧格式或以区格式出现。运动补偿步骤也根据在这里未提到的先前编码期间得出的、从VLD单元接收的运动矢量MV来进行。这样，按照本发明的代码转换的方法的自适应运动补偿步骤是可以自适应于任何类型的宏块格式的。在下面的段落中将详细描述这种自适应运动补偿步骤。

宏块F1的预测宏块P1最后在AMC单元的输出端以想要的格式得出。这个预测宏块P1在抽头加法器S1中被从宏块F1减去，这样，补偿的宏块F1-P1可被发送到量化器Q2。在由Q2量化后，补偿的宏块被发送到可变长度编码器(即图2上的VLC单元)以用于重新编码。

如上所述，以参考名义被输送到其它宏块的任何宏块需要进行运动补偿，以使得在用作为参考的宏块中由Q2的量化引入的误差不传播。因此，属于I帧的宏块不需要被补偿，可以直接从去量化器IQ1传送到量化器Q2，以及传送到VLC单元，以用于进一步编码。然而，由量化步骤Q2引入的、相应的误差宏块被存储在存储器单元MEM。在本发明的实施例中，在AMC单元对属于P帧和由IQ1提供的宏块执行的自适应运动补偿只使用过去的参考图象。因此，只有相应于过去的参考图象的宏块的误差宏块需要被存储在存储器单元MEM，以用于这样的宏块的预测。

对由IQ1提供的、并且属于B帧的宏块的预测传统上需要分别相应于先前的I或P图象的宏块和下一个I或P图象的宏块的误差宏块。在本发明的实施例中，属于先前的I或P帧的误差宏块的贡献被设置为零，因此只有相应于未来的I或P帧的误差宏块需要被存储在存储器MEM中。给定这个假设后，存储器单元MEM的尺寸可以减小，因为只有单个帧的误差宏块需要被存储。

在以上提到的自适应运动补偿步骤中作出的预测可以通过许多不同的方式得出。实际上，预测宏块可以根据具有帧格式或区格式的宏块从帧预测或从区预测得出。

现在将说明基本的运动补偿处理过程，在本发明的实施例中，将说明这种运动补偿如何与可能的区/帧转换相组合。在本发明的实施例中，帧具有4:2:0 DCT格式，每个帧的被划分成二维的DCT宏块阵列，每个宏块包含：一个U-色度8×8DCT块、一个V-色度8×8DCT块、和四个亮度8×8DCT块。图3显示属于当前的图象5的宏块M。运动补偿处理过程的目的是得到预测宏块P(M)，即宏块M的预测。一个先前的图象4(其相应的误差宏块被存储在存储器单元MEM中)被用作为图象参考，以便进行对宏块M的预测。在象素域中，宏块R是根据一个与M有关以及与参考图象4的坐标(Vx，Vy)有关的运动矢量MV，通过变换而得出的。在本发明的实施例中，运动矢量MV是由译码器VLD给出的。宏块R被用作为块参考，以便得到宏块P(M)的色度块和亮度块的分量。宏块R跨立在四个宏块M1，M2，M3，M4上，所以这四个宏块被用作为预测宏块M的参考。为了得出P(M)，必须根据四个宏块M1，M2，M3，M4的各自的色度块和亮度块来对色度数据和亮度数据执行运动补偿。

图4上显示亮度数据的运动补偿。它表示了带有它们各自的四个亮度8×8 DCT块Aj，Bj，Cj，Dj(j＝1...4)的四个参考宏块M1，M2，M3，M4。亮度数据的运动补偿步骤包括可导致产生六个亮度8×8DCT块J1，J2，J3，K1，K2和K3的垂直运动补偿，后面跟随可导致产生四个亮度8×8 DCT块L1，L2，L3和L4的水平运动补偿。J1，J2，J3，K1，K2，K3，L1，L2，L3和L4被计算为如下：

$\left[\begin{array}{cc}L1& L2\\ L3& L4\end{array}\right]=\left[\begin{array}{ccc}J1& J2& J3\\ K1& K2& K3\end{array}\right]\left[\begin{array}{cc}H1{\left(\mathrm{dx}\right)}^t& 0\\ {H2\left(\mathrm{dx}\right)}^t& H1{\left(\mathrm{dx}\right)}^t\\ 0& {H2\left(\mathrm{dx}\right)}^t\end{array}\right]---\left(1\right)$

以及对于i＝1，2，3：

-其中在半象素中的(dx，dy)是从四个宏块区域{M1，M2，M3，M4}的左上角的宏块参考R的运动(0≤dx≤32；0≤dy≤32)，

-其中H1(dx)和H2(dx)是8×8水平预测矩阵，它们的系数依赖于dx的数值和相应于水平运动补偿。H₁(dx)^t和H₂(dx)^t是它们各自的转置矩阵。

-其中XA，XB，YA，YB是8×8垂直预测矩阵，它们的系数依赖于dy的数值。它们的元素也依赖于宏块P(M)的预期的格式和块Ai与Bi的格式。

-其中XC，XD，YC，YD是8×8垂直预测矩阵，它们的系数依赖于dy的数值和相应于垂直运动补偿。它们的元素也依赖于宏块P(M)的预期的格式和块Ci与Di的格式。

这些矩阵的元素可以事先针对所有可能的参量(预测模式、DCT格式和运动矢量(dx，dy))被计算。由于发现许多矩阵是相同的，每个矩阵的单次出现被存储和被加下标。矩阵从查找表中被检索，该查找表以参量的函数的形式来提供该矩阵。

必须进行预测模式的选择，以使得公式(1)和(2)的矩阵可以只需进行一次计算。在本发明的实施例中，所选择的预测模式是帧预测。我们引入图5上给出的矩阵Γ₁₆，Γ₁₆是16×16去交织矩阵，用于把空间域中以区格式的帧转换成空间域中以帧格式的帧。Γ^t ₁₆是Γ₁₆的转置矩阵。矩阵Δ(r，c)(0≤r＜8，0≤c＜8)也被定义为8×8离散余弦变换矩阵：

矩阵S_N(k)也被定义为N×N矩阵：

-如果k是偶数和正的，则具有在第(k/2)条上对角线上的1，

-如果k是偶数和负的，则具有在第(-k/2)条下对角线上的1，

-其它情况时，它等于(S_N(k-1)+S_N(k+1))/2)。

因此，在本发明的实施例中，对于亮度分量的水平运动补偿，选择帧预测模式，它给出以下的水平预测矩阵H1(dx)和H2(dx)：

$H1\left(\mathrm{dx}\right)=\frac{1}{16}\mathrm{round}\left(16\mathrm{\Δ}{S}_8\left(\mathrm{dx}\right){\mathrm{\Δ}}^t\right)---\left(3\right)$

$H2\left(\mathrm{dx}\right)=\frac{1}{16}\mathrm{round}\left(16\mathrm{\Δ}{S}_8{(\mathrm{dx}-16)\mathrm{\Δ}}^t\right)$

同样地，在本发明的实施例中，对于亮度分量的垂直运动补偿，选择同样的任意帧预测模式，它给出以下的垂直预测矩阵XA(dy)，YA(dy)，XB(dy)，YB(dy)，XC(dy)，YC(dy)，XD(dy)，YD(dy)：

附着在矩阵Γ₁₆和Γ^t ₁₆上的、公式组(4)中的下标[1]，[2]，[3]表示：相应的矩阵是否应当被归并到公式中。下标[1]表示如果要被预测的宏块M具有帧格式，则在两个公式组(4)中要考虑矩阵Γ₁₆，否则不考虑它。同样地，下标[2]表示如果块Ai和Bi处在区格式，则矩阵Γ^t ₁₆被归并到第一式。下标[3]表示如果块Ci和Di处在区格式，则矩阵Γ^t ₁₆被归并到第二式。

帧预测模式的选择绝不是本发明的限制，以及顶部区或底部区预测模式可被选择和将会导致不同的补偿矩阵。在本发明的实施例中，对于亮度分量提出的运动补偿步骤可应用于任何宏块，而不管它的格式如何。现在对于色度分量的运动补偿给出类似的计算。

图6上显示色度数据的运动补偿。在本发明的本实施例中，被使用于色度块预测的运动矢量是与前面被使用于亮度块预测的运动矢量相同的。然而，它按照色度格式被换算，在4:2:0格式中水平和垂直分量都被除以2，因为色度分量在密度上是亮度分量的一半。这个运动矢量在某种意义上可以稍微不同。四个参考宏块M1，M2，M3，M4具有它们各自的色度8×8 DCT块Ek(k＝1，2，3，4)。由于在换算运动矢量的Vx和Vy分量时的舍入误差，图6上的宏块M1，M2，M3，M4不一定与图4上的宏块M1，M2，M3，M4相同。按照本发明的运动补偿步骤首先包括可导致产生两个色度8×8 DCT块X1，X2的垂直运动补偿，后面跟随可导致产生预测宏块P(M)的一个色度8×8 DCT块Z的水平运动补偿。Z，X1和X2被计算为如下：

-其中在半象素中的(dx’，dy’)是从四个宏块区域{M1，M2，M3，M4}的左上角的宏块参考R的运动(dx’＝dx/2；dy’＝dy/2)。H1(dx’)，H2(dx’)，H₁(dx’)^t和H₂(dx’)^t是与亮度分量计算时相同的。

-其中VA(dy’)和VB(dy’)相应于垂直运动补偿，是8×8垂直预测矩阵，它们的系数依赖于dy’的数值。

对于色度分量的垂直运动补偿，选择相同的预测模式，这给出以下的、任意选择的垂直预测矩阵VA(dy’)和VB(dy’)：

$\mathrm{VA}\left({\mathrm{dy}}^{\′}\right)=\frac{1}{16}\mathrm{round}\left(16\mathrm{\Δ}{S}_8\left({\mathrm{dy}}^{\′}\right){\mathrm{\Δ}}^t\right)---\left(6\right)$

$\mathrm{VB}\left({\mathrm{dy}}^{\′}\right)=\frac{1}{16}\mathrm{round}\left(16\mathrm{\Δ}{S}_8({\mathrm{dy}}^{\′}-16){\mathrm{\Δ}}^t\right)$

图7上给出在方程组(5)中执行的色度分量的垂直预测的计算的一部分的图。它显示宏块M1和M2具有它们各自的、从E1和E2的逆离散余弦变换得出的8×8象素块IDCT(E1)和IDCT(E2)。它也显示宏块R的一部分(图上的画阴影线部分)。垂直预测计算导致产生宏块X1。在本例中，dx＝4和dy＝6，8×8 DCT块X1的阴影线部分是通过由图7上的DCT亮度块E1，E2的阴影线部分的函数 round(16...)的舍入而得到。

这些提出的预测矩阵VA(dy’)，VB(dy’)，XA(dy)，YA(dy)，XB(dy)，YB(dy)，XC(dy)，YC(dy)，XD(dy)，YD(dy)，决不表示对本发明的限制。实际上，数学平均函数 round(16...)是任意选择的，以及可以使用其它的预测函数，这取决于所需要的得出的分量的精度。在本发明的本实施例中，选择了帧预测模式并且任意地选择给定的预测矩阵。在基于区的预测的情况下，就得出不同的矩阵。基于区的预测包括对于给定的宏块的不同数值的两个运动矢量：第一运动矢量表示在被使用于宏块的顶部区的预测的参考图象中的宏块，以及第二运动矢量表示在被使用于宏块的底部区的预测的参考图象中的宏块。宏块本身的预测是两个区的预测的总和。这导致产生另两组预测矩阵：用于根据第一运动矢量的顶部区的预测的一组预测矩阵、和用于根据第二运动矢量的底部区的预测的一组预测矩阵。而且，考虑到每个区可以从顶部区或从底部区被预测，从每组预测矩阵可导致产生更多的替换方案。

Claims (4)

1.用于对输入的编码信号进行代码转换的方法，包括以下步骤：

-译码所述输入的编码信号，得出译码的量化的信号，

-去量化所述译码的量化的信号，得出译码的信号，

-重新量化被补偿的信号，得出重新量化的信号，

-重新编码所述重新量化的信号，得出重新编码的信号，

-补偿由所述重新量化步骤在该重新编码的信号中引入的漂移，

其特征在于，所述漂移补偿步骤至少包括以下接连的子步骤：

-得出相应于所述漂移的误差信号，

-通过基于误差信号的、和适合于误差信号和预测信号的交织或非交织传输模式的同时进行的运动补偿和区/帧转换，得出所述译码信号的预测信号，

-从译码信号中减去所得出的所述预测信号，从而得到要被重新量化的补偿信号。

2.如权利要求1的对输入的编码信号进行代码转换的方法，其特征在于，其中所述输入的编码信号包括被划分成空间上非重叠的在频域上编码的宏块的接连的视频帧，所述预测信号是预测宏块，以及这个预测宏块的导出只是针对先前按照帧间模式编码的宏块而执行的。

3.如权利要求1的对输入的编码信号进行代码转换的方法，其特征在于，其中所述输入的编码信号包括被划分成空间上非重叠的在频域上编码的宏块的接连的视频帧，所述预测信号是预测宏块，以及属于B帧的宏块的预测宏块的导出只是根据未来帧的误差宏块而执行的。

4.代码转换器，具有：

-译码器，用于译码输入的编码比特流和提供译码的量化的信号，

-去量化器，用于去量化被译码的量化的信号和提供被译码的信号，

-量化器，用于重新量化被补偿的信号和提供重新量化的信号，

-编码器，用于重新编码所述重新量化的信号和提供重新编码的信号，

-补偿装置，用于补偿由所述量化器在重新编码的信号中引入的漂移，所述补偿装置在去量化器和量化器之间引入补偿，

其特征在于，所述补偿装置包括：

-用于得出相应于所述漂移的误差信号的单元，

-用于通过基于误差信号的、和适合于误差信号和预测信号的交织或非交织传输模式的同时进行的运动补偿和区/帧转换从而得出所述译码信号的预测信号的单元，

-加法器，用于从所述译码信号中减去所得出的预测信号，从而得到补偿的信号。

Images