CN1157079A

CN1157079A - 用于编码视频图像的装置和方法

Info

Publication number: CN1157079A
Application number: CN96190637.5A
Authority: CN
Inventors: G·J·吉斯曼
Original assignee: Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1995-04-25
Filing date: 1996-04-18
Publication date: 1997-08-13
Also published as: EP0768008B1; JPH10502792A; US5768436A; AU697802B2; DE69609137D1; EP0768008A2; WO1996034496A2; DE69609137T2; AU5160996A; WO1996034496A3

Abstract

通过在量化之后对系数进行降低，可以在很大程度上改善MPEG编码的视频信号的图像质量。这种修正是使得对于拉格朗日系数λ的一个给定值来说，拉格朗日值D+λR(D是失真，R是比特速率)是最小值。由于量化步长尺度被降低而比特速率保持相等，所以失真降低。

Description

用于编码视频图像的装置和方法

发明的技术领域

本发明包括用于编码视频图像的装置和方法，包括图像变换器，用于按数据块顺序将像素变换成系数；量化器，用于以给定的量化步长尺度对系数进行量化；和一个可变长度编码电路，用于对量化的系数进行编码。

发明背景

这样的一个视频编码的例子已经由MPEG的名字广为公知。越精细的量化步长尺度产生越高质量的再生图像，但用于图像发送的所需的比特数也越大。

Ramchandran和Vetterli的文章″具有完全的JPEG/MPEG解码器兼容性的失真率最优快速阈值化″(″Rate-Distorion Optimal fast thresholding withcomplete JPEG/MPEG Decoder Compatiblity″)(出版于1994年9月的IEEE图像处理专刊的第三卷的第五期)中公开了一种用于进一步改善图像质量的方法。参考图1对这一方法作简要的总结。图中的参考号码100表示一个速率-失真曲线(在下简称RD曲线)对应量化步长尺度Δ的一个范围。在该现有技术的方法中，量化的系数要经过一个进行阈值化的处理。应该懂得，这将意味着所选的非零值被强制为假设的零值。通过进行阈值化(事实上，不多的非零的系数被发送)，比特率将是较低的，而且失真将会加大。图1中，曲线101表示阈值化的操作是以按照步长尺度是Δ1量化的系数执行的RD曲线，而曲线102表示阈值化的操作是以按照步长尺度是Δ2量化的系数执行的RD曲线。曲线101和102在下将被参考为进行阈值化的曲线。它们是通过确定针对″拉格朗日系数″λ的不同的值的被称为″拉格朗日值″的最小值而获得的。拉格朗日值由下式确定：

L( b，λ)＝D( b)+λ.R( b)

在该表达式中， b代表一套将要被编码的系数值。D( b)和R( b)分别是对这些系数进行编码时的失真和比特率。拉格朗日系数λ是大于或等于0的自然数。对于每一个λ，可以找到产生出使得L( b，λ)是最小值的一套b系数的一个阈值化操作。加到这一设置的失真D( b)和比特速率R( b)构成了在阈值化曲线上的一个点。起始点(λ＝0)总是在曲线100上。随着λ的增加，失真将会变大且比特速率将会变低。

如图1中清楚可见，一个给定的比特速率R1可以通过两个方法实现：(i)利用步长尺度是Δ2对系数进行，并将全部的量化系数发送；和(ii)利用量化步长尺度较小的Δ1对系数进行量化，并且阈值化选择的系数。很明显，选择(ii)更为有利，因为它产生较小的失真。

曲线101和102只是示出的两种主要可能的阈值化曲线。图中由103示出的包络构成了对于给定图像的最佳RD曲线。它完全是在曲线100之下。换句话说，以任何所希望的比特速率，所施行的阈值化可以导致产生出比不进行阈值化时更小的失真的量化步长尺度Δ和拉格朗日系数λ。

发明目的和概述

本发明的目的是以简单的方式进一步改善视频编码装置的图像质量。

根据本发明，其装置的特征在于量化器被采用来量化系数到应该量化等级，该量化等级最接近的量化等级并且不等于零。从而使MPEG编码器的图像质量显著地改善。而且，由于对每一个系数的优化是分别地进行，所以，处理能够方便地施行。没有必要象现有技术中那样从一个大范围的可能性中作一个优化的选择。有可能，但不必要，将量化的系数指定到使得D+λR为最小值的更低的值。

在本发明的装置的一个实施例中，还包括已有将系数表示(rendering)为零的装置，如果所说的表示为零的操作对于所说的系数而言得出更低的D+λR的话。这种对于系数进行降低和进行阈值化的结合要比现有技术的装置得到的图像质量更好。而且，由于阈值化操作是针对每一个系数分别地进行，所以处理简单。

在另一个实施例中，装置还包括将一个图像的数据块的全部系数表示为零的装置，如果它能得出对于所说的图像数据块为更低的D+λR的话。这将导致图像质量的进一步的改善。

本发明的这些和其它方面将从结合附图的描述中变得显见。

附图简述

图1是解释现有技术的装置的速率-失真的曲线。

图2是根据本发明的用于编码一个视频信号的装置。

图3是图2中所示的λ计算器的框图。

图4是说明图3的计算电路的操作的流程图。

图5是说明图3的λ计算器的操作的一些平均信息量-失真关系的示意图。

图6是说明图2所示的一个量化器的操作的量化图。

图7是说明图2的量化器的操作的流程图。

图8是示出解释图2中的量化器的又一个实施例的流程图。

实施例详述

图2示出了根据本发明的视频信号的编码装置。装置包括一个延迟单元1、图象变换器2、量化器3、可变长度编码电路4、比特速率控制电路5和λ计算器6。本发明的一个重要的方面是，视频信号能够按照MPEG的标准编码。为此目的，本实施例中的图像变换器2、可变长度编码器4和比特速率控制电路5与通常公知的MPEG编码器的对应单元完全一样，因此不对这些部分详细描述。为了简化起见，图2只示出了对于帧内编码所需要的单元。本发明也可以用于帧间编码。所采用的图像首先从运动补偿的图像中减去，而后对由此获得的剩余部分编码。

在图像变换器2中，所加的图像按数据块顺序作图像变换。在本实施例中，采用的是离散余弦变换(DCT)。但是，任何适当的频率变换都可以采用，包括子带滤波。DCT变换将例如8^*8像素的每一个变换成8^*8系数ci的数据块，其中i＝0…63，表示图像细节增加的等级。

DCT系数c_i加到量化器3，它以离散的量化级成象每一个系数c_i。不同的量化级相距一个量化步长尺度Δ_i。为了与MPEG标准兼容，按照存储在量化矩阵中的加权因数W_i，量化步长尺度Δ_i是系数相关的。该量化步长尺度是由比特速率控制电路5逐个数据块地控制的，该电路5将量化步长尺度Δ加到量化器。量化步长尺度Δ_i是由下式表示：

Δ_i＝c.W_i.Δ

其中i表示空间频率，W_i是针对所说的空间频率的加权因数，而c是常数。对于帧内(I)和帧间(P，B)的图像，量化矩阵一般是不同的。

在传统的MPEG编码器中，量化器在两个最接近的量化等级之一上成象每一个系数c_i。根据本发明，量化器3也接收拉格朗日系数λ。根据λ，量化器以不同于最接近的量化级别的等级成象系数c_i。更具体地说，如果一个不同的级别在一个速率失真的情形中更为有效，则量化器就将强制一个系数以假设一个不同的级别。量化器3和λ计算器6的实施例将作更详细的讨论。

已量化的q_i系数被顺序地加到一个可变长度编码电路4。对于每一个非零的系数和可能的与MPEG标准相一致的在先的非零系数序列，编码电路4形成一个可变长度的码字。在缓存(未示出)之后，这些形成的码字经过一个发送信道发送。这些码字也被加到比特速率控制电路5。该控制电路以一种已知的方式控制量化步长尺度Δ，其方式是使每一个数据块的比特数总是尽可能与预定的目标Rt保持一致。

拉格朗日系数λ由λ计算器加到量化器。通过分析所要编码的图像，计算器计算λ。最终，视频信号被直接加到λ计算器，而信号的实际的编码(变换，量化，可变长度编码)是发生在其经延迟单元1延迟了一个图像周期之后。

图3示出了λ计算器6的框图。该计算器包括一个图像变换器600、一个计数电路601、一个计算电路602。图像变换器600与图2中的图像变换器2完全一样，并提供针对每一个数据块的64个系数c_i(i＝0…63)。这些DCT系数具有在范围[-2047，2048]之间的一个幅度n。计数电路601针对每一个系数c_i计数该系数具有幅度n的频繁的程度并由此形成用于每一个系数的幅度分布的直方图。当系数c_i呈现值n时的次数被记录在计数器h_i(n)中。

参考图4所示的操作流程图解释计算电路602的操作。在步骤40，设量化步长尺度Δ为一个初始值。随后在步骤41计算针对这一量化步长尺度的平均信息量H和失真D。下面将更详细地描述这种计算的具体过程。

前面已经提到过，量化步长尺度Δ是指示离散的量化等级之间的间距。计算电路检测系数c_i具有在两个幅度t_k和t_k+1之间的幅度n对应于应该量化等级r_k的频繁程度。经常设t_k＝r_k-1/2Δi和t_k+1＝r_k+1/2Δ_i，但这并不必要。通过用在一个图像中的数据块的数目N除所说的数目就得到表示为量化级r_k的系数c_i的概率P_k。该概率被表示为：

P_{k} = Σ_{n = t_{k}}^{t_{K + 1}} \frac{h_{i} (n)}{N}

随后，计算电路计算系数c_i的平均信息量H_i和图像的平均信息量H。这些分别表示为：

H_{i} = \underset{k}{Σ} P_{k} \cdot \log (P_{k})

和

H = Σ_{i = 0}^{63} H_{i}

图像的失真D是以相类似的方式计算。针对系数c_i的″局部″的失真是：

d_{i} = \underset{k}{Σ} Σ_{n = t_{k}}^{t_{k - 1}} \frac{h_{i} (n) \cdot {(r_{k} - n)}^{2}}{N}

每一个数据块的失真则是：

D = Σ_{i = 0}^{63} D_{i}

应该注意，平均信息量H和失真D都是所表示的量化步长尺度Δ的函数。

如果执行所描述的计算步骤41用于大数目的量化步长尺度Δ，则将产生一个平均信息量-失真曲线(HD曲线)。该HD曲线在图5中由500表示。已经发现，该HD曲线对应于由图1中的100所表示的RD曲线的一个非常满意的程度。

可是，没有必要获得全部的HD曲线。事实上，要寻找的拉格朗日系数λ是在对应于编码该图像的目标比特数的平均信息量H的点P处的导数-dD/dR(见图5)。找到点P是利用已知的数值算法。任何用于确定零点的算法都能用于此目的，例如″平分算法″。这在图4中利用步骤42表示，其中核查在当前的量化步长尺度Δ的平均信息量H是否足以等于比特R_t的目标数目。只要是否定的情况，就以不同的量化步长尺度Δ在步骤41执行计算。为了完全性起见，应该记住，HD曲线的相关部分能够从可得到的直方图计算。没有必要为了H和D的每一个计算再次编码图像。

在步骤43中，所要寻找的λ被计算为HD曲线的导数。如果操作点P是点(H₂，D₂)而且两点(H₁，D₁)和(H₃，D₃)都与之相邻，则λ从下式得出：

- λ = \frac{H_{1}^{2} (D_{2} - D 3) + 2 H_{1} H_{2} (D_{2} - D_{1}) + H_{2}^{2} (D_{1} - D_{2}) + 2 H_{2} H_{2} (D_{2} - D_{2}) + H_{3}^{2} (D_{1} - D_{2})}{(H_{1} - H_{2}) (H_{3} - H_{1}) (H_{3} - H_{2})}

对于靠近操作点的两点(H₁，D₁)和(H₂，D₂)，较为简单和欠精确的λ的估计是：

- λ = \frac{D_{2} - D_{3}}{H_{3} - H_{2}}

如此获得的λ的值加到量化器3(图2)。当图像被编码时，对于所有的图像数据块λ有相同的值。图5示出了编码器对所加的λ值的利用的情况。图中的参考号500表示计算的HD曲线。对于λ＝0来说(即没有系数的修正)，编码器将操作在点P，因为比特速率控制电路5(见图2)产生的一个量化步长尺度(Δ2)将实际地实现比特的目标数目。但是，如将要描述的那样，在不同的λ的影响下，系数被成像在不同的量化等级。这使得比特数目将被降低。比特速率控制电路以降低量化步长尺度对此作反应。更具体地说，比特速率控制电路自动地控制量化步长尺度到值Δ1，在该值，速率失真曲线501在点Q的偏移保持在与HD曲线在点P的偏移相等。

现参考图6和7解释量化器3的操作。图6示出了DCT系数c_i的可能值的尺度。r_k-1，r_k，r_k+1…表示量化的系数q_i可能假设的离散的量化级。如上所述，所说的量化级响应由比特速率控制电路5(图2)所加的量化步长尺度Δ由一个量化步长尺度Δi所间隔。

图7示出了由量化器对于系数c_i所执行的操作的流程图在开始的步骤70，c_i的值被成像在最接近的量化等级r_k。在步骤71，根据下式针对该量化级顺序地计算″拉格朗日值L″：

L＝(c_i-r_k)²+λ.R_k

在公式中，(c_i-r_k)²是对于失真的度量，它是c_i与r_k相近似的结果，而且R_k是为了发送q_i＝r_k所要求的比特数。在步骤72，计算的拉格朗日值L被用作L_min。

随后，系数c_i被成象在较低的量化级r_k-1。这表示在图中的步骤73将指数降低1。在步骤74，针对新的量化等级计算拉格朗日值L。在步骤75，检查拉格朗日值L是否小于L_min。如果是，则在速率失真的角度来看，该较低的量化等级r_k-1显然是优于r_k。换句话说，失真增加，但在比特数方面的增益是更重要的。量化器随后再次执行步骤72-75以便检测是否有更为适用的更低的量化等级。只要是在步骤75发现有L值的增加，就停止这种方式的对于最小的拉格朗日值的寻找。随后在步骤76选择对应于L_min的量化等级以便用于系数c_i的量化。图7中所示的算法针对一个图像数据块的全部系数c_i执行。

注意到，当在步骤73选择了较低的量化等级时，可能会达到量化等级0。零系数本身不进行编码但是将被包括在下一个非零系数中。结果是比特数被包括在用于计算L的公式的项R_k中(步骤74)。

实践已经证明，这样发现的量化等级几乎不比″传统″的等级低一个或两个级别。所以，有可能只针对某些量化等级(″传统″的量化等级r_k和低于该等级的两个等级)简化计算拉格朗日值L。并简单地选择得出最小的L值的量化等级。

上述的量化处理涉及比特速率受限的DCT系数的量化。与传统的其中用于每一个系数的多数相近的量化等级被编码和发送的MPEG编码相比，它提供了图像质量的明显的改善。

图像质量的进一步的改善是通过随后将如此获得的系数q_i经受阈值化而得到的。如上所述，阈值化的理解意味着所选择的系数被呈为零。图8表示了用于此目的的对非零系数q_i执行此操作的流程图。在步骤80中，给定当前的λ值，针对系数q_i≠0的情况计算拉格朗日值L1：

L₁＝(c_i-q₁)²+λ.R_i

其中R_i是q_i的发送的比特数，并有可能在零系数之前。在步骤81中，针对其中零值将被强制为q_i的情况的拉格朗日值L2的计算由下式确定：

L₂＝(c_i-O)²+λ.ΔR_i

其中ΔR_i是通过q_i呈为零的比特数(q_i＝0)的编码被包括在随后的非零的系数的编码中)随后，制步骤82中检测是否L1＞L2。如果否，q_i将保持不变。如果是，q_i将在步骤83接受为零值。针对随后的非零系数重复这一过程。

图8所示的阈值化的算法确定每一个系数是否保持该系数或将其呈为零更为有利。与上述的文章″具有完全的JPEG/MPEG解码器兼容性的失真率最优快速阈值化″(″Rate-Distortion Optimal Fast Thresholding with completeJPEG/MPEG Decoder Compatiblity″)中的算法相比，本发明的算法是相当简单且在计算上是不繁琐的。上述文章中的算法要计算全部的可能的阈值化选择并选择最佳的一个。毫无疑问，所描述的进行阈值化的方式使得图像质量有了相当大的改进。尤其是发现比特速率受限的量化和进行阈值化的结合大大地改进了图像质量。

更进一步的改进是通过将一个图像数据块的拉格朗日值与具有全零值系数的数据块的拉格朗日值相比较而得到的。事实上，具有全部为零的系数的数据块是不需要发送的。在一个参数中指出这样的空的数据块就足够了，在MPEG中，称之为″编码的数据块方案″。很明显，在对″编码的数据块方案″进行编码中所包括的比特数被考虑到拉格朗日值L＝D+λR的λR的一项当中。

总之，通过在量化之后对系数进行降低，可以在很大程度上改善MPEG编码的视频信号的图像质量。这种修正是使得对于″拉格朗日系数″λ的一个给定值来说，″拉格朗日值″D+λR(D是失真，R是比特速率)是最小值。由于量化步长尺度被降低而比特速率保持相等，所以失真降低。

Claims

1.用于编码图像信号的一种装置，它包括：

图像变换器(2)，用于将像素按数据块变换成系数；

量化器(3)响应所加的λ的值，用于将系数量化成多个给定的量化级之一，以便降低用于所说系数的取和D+λR，其中D是失真，R是比特速率；

装置(6)，用于计算λ值；和

可变长度编码电路(4)，用于编码量化的系数；

其特征在于，量化器用于将所说的系数量化成比最接近的量化级低但不等于零的一个量化级。

2.如权利要求1的装置，其特征在于的量化器用于将所说的系数量化成使得D+λR为最小的量化级。

3.如权利要求1的装置，其特征在于还包括一个装置，如果对于所说的系数，一个表示为零的操作产生一个更低的D+λR的话，该装置将系数表示为零。

4.如权利要求1的装置，其特征在于还包括一个装置，如果对于所说的图像数据块，一个表示为零的操作产生一个更低的D+λR的话，该装置将一个图像数据块的全部系数表示为零。

5.用于编码图像信号的一种方法，包括步骤：

用于将像素按数据块变换(2)成系数；

响应所加的λ的值，将系数量化成(3)多个给定的量化级之一，以便降低用于所说系数的取和D+λR，其中D是失真，R是比特速率；

计算λ值；和

可变长度地编码(4)量化的系数；

其特征在于，量化步骤包括将所说的系数量化成比最接近的量化级低但不等于零的一个量化级的步骤。

6.如权利要求5的方法，其特征在于的量化步骤包括将所说的系数量化成使得D+λR为最小的量化级的步骤。

7.如权利要求5的方法，其特征在于还包括一个步骤，如果对于所说的系数，一个表示为零的操作产生一个更低的D+λR的话，该步骤将系数表示为零。

8.如权利要求5的方法，其特征在于还包括一个步骤，如果对于所说的图像数据块，一个表示为零的操作产生一个更低的D+λR的话，该步骤将一个图像数据块的全部系数表示为零。