CN101601303A - 对图像进行编码的方法及实现所述方法的装置 - Google Patents

Abstract

本发明涉及一种将分成多个非重叠宏块的图像编码成二进制流的方法，其中，非重叠宏块本身被分成N×N像素的多个非重叠块。该方法包括以下步骤：将每个块都变换成系数变换块，该系数变换块包括一个低频系数和N²－1个称作高频系数的系数，高频具有高于低频的频率；利用量化参数对每个变换块的每个系数进行量化；将所量化的系数编码成二进制流。根据本发明，利用称作第一量化参数的同一量化参数对变换块的低频系数进行量化。

Description

对图像进行编码的方法及实现所述方法的装置

技术领域

本发明涉及对图像进行编码的方法。更精确地其涉及对所述图像进行量化的方法。本发明还涉及实现所述方法的编码装置。

背景技术

为了对图像进行编码，通常需要减少空间冗余。为了实现该目标，在典型的图像编码方法中，将图像分成非重叠的多个N×N像素块，然后每个像素块都被变换成系数变换块。这些编码方法对各图像像素进行解相关(decorrelate)，以更有效地减少变换域中的冗余。在该方面，变换的能量压缩特性是重要的。在常用的各种变换中，离散余弦变换(DCT)由于其优良的能量压缩特性而被广泛应用。变换块利用增加的空间频率来表示一组系数。变换块的上左(0，0)位置中的系数称作DC系数，其表示N×N块的平均值。其他的(N²-1)个系数称作AC系数，它们表示高频细节。根据不同的应用，维数N×N可以是16×16、8×8、或4×4。为了减少对图像编码所需的比特数，典型的图像编码方法都利用量化步骤对各变换块的系数进行量化。量化是减少可能的数量值的数目的处理，从而减少表示其所需的比特数。量化步骤的选择对保证高质量的解码图像是决定性的。

发明内容

本发明的目的在于提供一种用于对图像进行量化的解决方案。

为了实现该目的，本发明涉及一种将分成多个非重叠宏块的图像编码成二进制流的方法，其中，非重叠宏块本身被分成N×N像素的多个非重叠块。该方法包括以下步骤：

将每个块都变换成系数变换块，系数变换块包括一个低频系数和N²-1个称作高频系数的系数，该高频具有高于该低频的频率；

利用量化参数对每个变换块的每个系数进行量化；

将所量化的系数编码成二进制流。

根据本发明，利用称作第一量化参数的同一量化参数对这些变换块的低频系数进行量化。这有利地使得保证整个图像上的连续基本质量成为可能。

有利地，利用称作第二量化参数的同一量化参数对同一宏块的这些高频系数进行量化。

优选地，第二量化参数作为第一量化参数和增量的和进行计算，其中，增量基于为宏块计算的视知觉兴趣值(visual perceptualinterest value)来确定。

根据本发明的第一方面，视知觉兴趣值取决于宏块的平均亮度值。

根据一个变体，视知觉兴趣值还取决于宏块的每个块的方差。

根据另一个变体，视知觉兴趣值还取决于宏块的色度信息。

本发明还涉及一种用于将被分成多个非重叠宏块的图像编码成二进制流的装置，其中，非重叠宏块本身被分成N×N像素的多个非重叠块。该装置包括：

变换装置，用于将每个块都变换成系数变换块，该系数变换块包括一个低频系数和N²-1个称作高频系数的系数，该高频具有高于该低频的频率；

量化装置，用于利用量化参数对每个变换块的每个系数进行量化；

编码装置，用于将所量化的系数编码成二进制流。

根据本发明，量化装置利用称作第一量化参数的同一量化参数对这些变换块的低频系数进行量化。

根据本发明的一个方面，变换装置是DCT变换单元。

附图说明

本发明的其他特征和优点将通过下面其一些实施例的描述而变得显而易见，结合附图进行了描述，附图中：

图1示出了根据本发明第一实施例的方法的流程图；

图2示出了根据本发明第一实施例的方法的量化步骤的详细流程图；

图3示出了根据本发明第一实施例的方法的特征提取步骤的详细流程图；

图4示出了对于图像中的多个区域，使用不同灰度级的这些区域的视知觉兴趣等级；

图5示出了根据本发明第二实施例的方法的流程图；

图6示出了根据本发明第一实施例的编码装置；以及

图7示出了根据本发明第二实施例的编码装置。

具体实施方式

图1至图3以及图5中，所表示的框是纯粹的功能实体，它们不必对应于物理上独立的实体。即，它们可以以软件的形式进行开发，或在一个或多个集成电路中实现。在这些附图上，相似的元件标以相同的标号。

本发明涉及一种对图像进行编码的方法。该图像由多个像素组成并被分成非重叠的多个宏块M₁，其中，各宏块本身也被分成多个像素块b_p，q，其中，l是宏块的索引(index)，(p，q)是该块的坐标，即，块b_p，q位于块的第P列、第q行。在许多应用中，块b_p，q都是8像素×8像素的块，且一个宏块由4个块b_p，q组成。然而，本发明并不限于这种情况，而是无论块b_p，q的大小和宏块MB₁的大小如何都可以使用本发明。

下面参照图1、图2和图3来描述该方法的第一实施例。该方法包括步骤10，用于将图像的每个块b_p，q都变换成系数的变换块B_p，q。如果b_p，q位于宏块M₁中，则变换块B_p，q位于以MB₁表示的相应的变换宏块中。例如，每个块b_p，q利用根据下式的离散余弦变换(DCT)变换成变换块B_p，q：

$B_{p,q}(u,v)=\frac{4Q\left(u\right)Q\left(v\right)}{N^2}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{b}_{p,q}(j,k)\·\cos \left[\frac{(2j+1)\mathrm{u\π}}{2N}\right]\·\cos \left[\frac{(2k+1)\mathrm{v\π}}{2N}\right],$

其中，-u，v＝0，1，...，N-1；

-b_p，q(j，k)是坐标为(j，k)的块b_p，q的像素的亮度值(或色度值)；

-B_p，q(u，v)是坐标为(u，v)的变换块B_p，q的系数值；以及

- $Q\left(w\right)=\left\{\begin{array}{ccc}\frac{1}{\sqrt{2}},& \mathrm{if}& w=0\\ 1,& \mathrm{if}& w=\mathrm{1,2},...,N-1\end{array}\right.$

在步骤20，每个变换块B_p，q的每个系数B_p，q(u，v)被利用量化参数QP_p，q(u，v)量化成量化系数B^Q _p，q(u，v)。根据本发明的第一方面，图像中的所有DC系数都在210中被利用相同的量化参数QP_f进行量化，即，QP_p，q(0，0)＝QP_f。这使得保证整个图像上的连续基本质量成为可能。该量化参数QP_f例如是由速率控制方法(诸如众所周知的来自ISO/IECJTC/SC29/WG11的于1993年4月登载的标题为“Test Model 5”的文献N0400中为MPEG2描述的TM5速率控制方法)确定的。根据本发明的另一个方面，在220中采用同一量化参数QP_l对位于同一宏块MB₁中的所有块B_p，q的所有AC系数进行量化，该量化参数QP_l可以等于也可以不等于QP_f。根据具体特性，用于对所有这些AC系数进行量化的量化参数等于QP_l＝QP_f+ΔQP_l，其中，ΔQP_l根据宏块MB₁的感知兴趣来确定。在这种情况中，对于MB₁中的所有AC系数，都有QP_p，q(u，v)＝QP_l＝QP_f+ΔQP_l。根据第一实施例，ΔQP_l＝-W₁.QP_step，其中，QP_step例如设置为2。在步骤30中，通过在340中结合分别从步骤310、320和330计算出三个不同的特征F_l ¹、F_l ²和F_l ³来计算权重W₁。与图像中的每个宏块M₁都相关的第一特征F_l ¹采用其在集合{0，1}中的值。如果 $F_{p,q}^1=1,$ 则宏块M₁属于皮肤区，例如，人脸，否则，即 $F_l^1=0,$ 则该块不属于皮肤区。为了在310中计算该特征，需要检测肤色。为了实现该目的，如果在图像中有皮肤区的话，就使用诸如由D.Cai和K.N.Ngan于1999年在IEEE transactions on CSVT上发表的题为“Face segmentation usingskin color map in videophone applications”的文献中提出的分色(color segmentation)方法来检测图像中的皮肤区。该特征使得对从视觉角度看对人眼重要的皮肤区进行更精细地量化是可能的。与图像中的每个宏块M₁都相关的第二特征F_l ²采用其在集合{0，1}中的值。如果 $F_l^2=1,$ 则宏块M₁是平坦区，否则就不是。为了实现该目的，位于宏块M₁中的每个块b_p，q中的变量v_k用于如下计算值act_l：

act_l＝1+min(v₁，v₂，...，v_k)

其中，v_k是位于宏块M₁中的第k个块的方差(variance)。如果act_l小于预定阈值THT，则宏块M₁是平坦区，即， $F_l^2=1,$ 否则 $F_l^2=0.$ 在大多数应用中将THT设置为8。该特征使得更精细地对平坦区(即低细节区)进行量化是可能的。事实上，这种平坦区中的视觉缺陷会更加干扰人眼。与图像中的每个宏块M₁都相关的第三特征F_l ³采用其在集合{0，1}中的值。为了在330中计算F_l ³，将宏块M₁上的平均亮度水平分别与可被设置为23和1952的两个阈值THL和THH进行比较。如下得到称作等级(level)的值：

$\mathrm{level}=\left\{\begin{array}{ccc}0,& \mathrm{if}& 0\&le;\mathrm{luma}<\mathrm{THL}\\ 1,& \mathrm{if}& \mathrm{THL}\&le;\mathrm{luma}\&le;\mathrm{THH}\\ 2,& \mathrm{if}& \mathrm{THH}<\mathrm{luma}\&le;255\end{array}\right.,$

如果level＝0或2，则 $F_l^3=0,$ 如果level＝1，则 $F_l^2=1.$ 该特征使得对中调区(mid-tone region)进行更精细的量化成为可能，其中，从视觉质量方面看，人眼对中调区更加敏感。

这三个特征如下以权重W₁在340中进行组合：

这由图4示出。

然后在步骤40中通过例如经典的熵编码方法(诸如来自ISO/IEC 14496-10的题为《Information technology--Coding ofaudio-visual objects--Part 10：Advanced Video Coding》文献中第7.9部分中描述的一种方法)对这些量化系数进行编码。

下面参照图2和图5来描述该方法的第一实施例。该方法包括步骤10，用于将图像的每个块b_p，q都变换成系数的变换块B_p，q。如果b_p，q位于宏块M₁中，则变换块B_p，q位于以MB₁表示的相应的变换宏块中。例如，每个块b_p，q利用根据下式的离散余弦变换(DCT)变换成变换块B_p，q：

$B_{p,q}(u,v)=\frac{4Q\left(u\right)Q\left(v\right)}{N^2}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\underset{k=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{b}_{p,q}(j,k)\&CenterDot;\cos \left[\frac{(2j+1)\mathrm{u\&pi;}}{2N}\right]\&CenterDot;\cos \left[\frac{(2k+1)\mathrm{v\&pi;}}{2N}\right],$

其中，-u，v＝0，1，...，N-1；

-b_p，q(j，k)是坐标为(j，k)的块b_p，q的像素的亮度值(或色度值)；

-B_p，q(u，v)是坐标为(u，v)的变换块B_p，q的系数值；以及

- $Q\left(w\right)=\left\{\begin{array}{ccc}\frac{1}{\sqrt{2}},& \mathrm{if}& w=0\\ 1,& \mathrm{if}& w=\mathrm{1,2},...,N-1\end{array}\right.$

在步骤20，每个变换块B_p，q的每个系数B_p，q(u，v)都被利用量化参数QP_p，q(u，v)量化成量化系数B^Q _p，q(u，v)。根据本发明的第一方面，图像中的所有DC系数都在210中被利用相同的量化参数QP_f进行量化，即，

QP_p，q(0，0)＝QP_f。这使得保证整个图像上的连续基本质量成为可能。该量化参数QP_f例如是由速率控制方法(诸如众所周知的来自ISO/IECJTC/SC29/WG11的于1993年4月登载的标题为“Test Model 5”的文献N0400中为MPEG2描述的TM5速率控制方法)确定的。根据本发明的另一个方面，在220中采用同一量化参数QP_l对位于同一宏块MB₁中的所有块B_p，q的所有AC系数进行量化，该量化参数QP_l可以等于也可以不等于QP_f。根据具体特性，用于对所有这些AC系数进行量化的量化参数等于QP_l＝QP_f+ΔQP_l，其中，ΔQP_l根据宏块MB₁的感知兴趣来确定。在这种情况中，对于MB₁中的所有AC系数，都有QP_p，q(u，v)＝QP_l＝QP_f+ΔQP_l。根据第二实施例， ${\mathrm{\&Delta;QP}}_1=\frac{V_l-128}{128}\&CenterDot;{{\mathrm{QP}}^{\&prime;}}_{\mathrm{step}},$ 其中，V₁是宏块M₁的重要性等级。在这种情况中，QP′_step可以设置为6。在步骤31中由宏块M₁计算V₁，并对V₁进行削波(clip)使之位于范围[0-255]内。为了实现该目的，在31中对整个图像计算由N.Bruce在2004年8月在Proceeding ofthe 17^th International Conference on Pattern Recognition，pp.616-619发表的题为“Image analysis through local information measure”的文献中描述的信息图。该图为每个宏块M₁分配重要性等级V₁。该方法使得通过以经典的信息理论设置分析局部图像统计特性来识别图像中的感知重要区域。因此，能够更加连续地调整量化参数，从而提高解码图像的视觉质量。

然后在步骤40，通过例如经典的熵编码方法(诸如来自ISO/IEC14496-10的题为《Information technology--Coding of audio-visualobjects--Part 10：Advanced Video Coding》文献中第7.9部分中描述的一种方法)对这些量化的系数进行编码。

该解决方案使得以对整个比特率进行很小的改变来获得平滑分布的感知质量提高成为可能。

本发明还涉及图6和图7所示的编码装置CODEC。在这些图中，相似的元件标以相同的标号。该装置CODEC包括模块T，模块T用于将图像的每个块b_p，q变换成系数的变换块B_p，q。其实现了例如DCT。模块T连接至模块Q，模块Q适于将每个变换块B_p，q的每个系数B_p，q(u，v)都量化成量化系数B^Q _p，q(u，v)。模块Q实现上述方法的步骤20。因此，装置CODEC包括模块ROI₁，模块ROI₁连接至模块Q并适于通过例如实现上述方法的步骤310至340来计算图像的每个宏块M₁的权重W₁。根据图7中所示的另一个特性，装置CODEC中的模块ROI₁被模块ROI₂取代，模块ROI₂适于通过实现在2004年8月在Proceeding of the 17^th International Conference onPattern Recognition，pp.616-619发表的题为“Image analysis throughlocal information measure”的文献中描述方法来计算图像的每个宏块M₁的重要性等级V₁。模块Q还连接至模块COD，模块COD适于对量化系数B^Q _p，q(u，v)进行编码。其优选地为熵编码器。

所述用于图像的本发明可以有利地应用于视频，更确切地说应用于视频的每个图像。

Claims (8)

1.一种用于将分成多个非重叠宏块的图像编码成二进制流的方法，其中，所述非重叠宏块本身被分成N×N像素的多个非重叠块，所述方法包括以下步骤：

将每个所述块都变换成系数变换块(10)，所述系数变换块包括一个低频系数和N²-1个称作高频系数的系数，所述高频具有高于所述低频的频率；

利用量化参数对每个所述变换块的每个系数进行量化(20)；

将所量化的系数编码成二进制流(40)；

其特征在于，利用称作第一量化参数的同一量化参数(QP_f)对这些所述变换块的所述低频系数进行量化。

2.根据权利要求1所述的方法，其中，利用称作第二量化参数的同一量化参数(Qp_l)对同一宏块的这些所述高频系数进行量化。

3.根据权利要求2所述的方法，其中，所述第二量化参数(Qp_l)作为所述第一量化参数(QP_f)和增量(ΔQp_l)的和来计算，所述增量(ΔQp_l)基于为所述宏块计算(30，31)的视知觉兴趣值来确定。

4.根据权利要求3所述的方法，其中，所述视知觉兴趣值取决于所述宏块的平均亮度值。

5.根据权利要求3或4所述的方法，其中，所述视知觉兴趣值取决于所述宏块的每个块的方差。

6.根据权利要求3-5中任一项所述的方法，其中，所述视知觉兴趣值取决于所述宏块的色度信息。

7.一种用于将被分成多个非重叠宏块的图像编码成二进制流的装置，其中，所述非重叠宏块本身被分成N×N像素的多个非重叠块，所述装置包括：

变换装置(T)，用于将每个所述块都变换成系数变换块，所述系数变换块包括一个低频系数和N²-1个称作高频系数的系数，所述高频具有高于所述低频的频率；

量化装置(Q)，用于利用量化参数对每个所述变换块的每个系数进行量化；

编码装置(COD)，用于将所量化的系数编码成二进制流；

其特征在于，所述量化装置(Q)利用称作第一量化参数的同一量化参数(QP_f)对这些所述变换块的所述低频系数进行量化。

8.根据权利要求7所述的装置，其中，所述变换装置(T)是DCT变换单元。

Images