CN1164124C - 图像压缩处理方法 - Google Patents

Abstract

本发明设计图像压缩处理方法。从一些编码方法中选出一种对每一幅图像或图像的宏块进行编码。为对图像宏块选择编码类型，通过试验编码为每个编码类型i确定花费(C_i)或质量因子(MB_Quality)，编码选择是花费或质量因子或这些参数对的函数。应用于MPEG编码，尤其是MPEG2编码，为的是以恒定质量和(或)更好的质量/花费比来传输图像。

Description

图像压缩处理方法

技术领域

本发明涉及图像压缩处理方法，也就是从一些编码方法中选出一种对每一幅图像或图像的宏块进行编码。

背景技术

这种图像处理方法尤其与MPEG2压缩方法有关。虽然本发明并不仅限于这种形式的压缩，但在以后的描述中，我们主要指MPEG2压缩方法。

以下描述的是这种压缩的原理，基于这一点，就要指明针对每一宏块图像所选的编码方法。

在MPEG2标准中，有可能从包含在逐行方式的576线每线720点的一幅图像开始。在隔行方式中，这幅图像包含两帧，每帧288线，同样，每线720点。

每幅图像都被分成宏块，每个宏块由一个16×16的亮度点的方阵组成。也就是说每个宏块由4个8×8的亮度方阵构成。每4个亮度块与2个色度块有关(在4.2.0格式中)，每一个色度块是8×8点。其中一块表示色差即红色色度信号C_r，另一块表示色差即蓝色色度信号C_b。在4.2.2格式中，每个亮度宏块对应4个8×8的色度块，2个块表示蓝色色度，2块表示红色色度。在4.4.4格式中，每个亮度分量和色度分量包含有4个8×8的块。

在图1所示的4个8×8的亮度块，参考10代表这个块，8×8的色度块12和14分别代表蓝色和红色色度块。这是用4.2.0标准表示一个宏块。

每一个块用一种叫做离散余弦变换表示为DCT的变换编码，它可把亮度块变换(例如)成代表空间频率的系数块。如图2所示，源块16转换成一个8×8的系数块18。块18左上角20对应空间零频率(块的均值)，水平频率向右表示增加，如箭头22表示，同样，垂直频率从上向下增加，如箭头24表示。

对每一个宏块，必须要选择编码的类型：或者“内部编码”或者“内插编码”。内部编码指对图像的源块进行DCT变换；内插编码指对表示源块与预测块差异的一个块，或者是上一幅图像或下一幅图像的预测块进行DCT变换。

选择是部分地依赖于宏块所属的图像类型。图像有三种类型：第一种是所谓的I或称内部类型，对所有宏块都用内部编码。

第二种类型是P或称预测类型。在这种图像中，对宏块的编码可用内部编码也可用内插编码。如果对P型图像使用内插编码，是对这幅图象的当前块与前面的I型或P型图像产生的预测块的差异进行DCT变换。

第三种图像称之为B或双向类型。对宏块也可用内插编码或内部编码。内插编码也是对当前块与预测块的差异进行DCT变换。这个预测块可由前向图像，或后向图像，或两者均可(双向的预测)产生。这就有可能对所称的前向或后向预测图像仅是I或P图像之一。

图3所示的一序列图像组成一组称为图像组(GOP)，它包含12幅图像。第1个为I图像，后面11个为B和P图像，按以下顺序：B，B，P，B，B，P，B，B，P，B，B。

在预测的图像(从其他的图像推导)中，对宏块的运动估计以及其后的运动补偿都要被编码。这是因为图像间和帧之间的运动，有可能使宏块在不同的位置被定位。运动补偿能根据已知插值模式(通常称为预测模式)计算出预测宏块，这个宏块在给定编码模式时可作为源块的预测块被确切地估计出来。然后，对这个宏块使用同样的编码模式，再由计算选择编码模式的程序决定保留或删除。

在隔行扫描中，每幅图像由2幅连续的帧组成，奇数帧和偶数帧。需要确定DCT变换是逐行使用还是对每一帧分别使用。这是因为，根据图像的运动或图像的结构，这两种编码结果是不相同的依赖于变换是对整个图象或者每一帧。

这种选择如图4a和4b所示。在图4a中所示一幅隔行图象的宏块28由奇数帧的行30₁，30₃，...30₁₅和偶数帧的行30₂，30₄，...30₁₆组成。图4a是对整幅图像作DCT变换。每一个宏块28的四个块28₁，28₂，28₃，28₄不重新排列就被变换，对它们进行编码就组成宏块28。对线30₁到30₈变换是为块28₁和28₂，对线30₈到30₁₆变换是为块28₃和28₄。

另一方面，图4b表示分别对奇数帧和偶数帧进行的变换。块32₁和32₂对应的是奇数帧，32₃和32₄对应偶数帧。因此，块32₁就包含线30₁，30₃，...30₁₅，块32₃和32₄包含线30₂，30₄，...30₁₆。

图5所示的图表是图像压缩或视频压缩过程中所进行的各种操作。每一幅输入的数字图像简称为40，把它分成8×8的块，这个8×8的块送到设备42用来选择是内部编码还是内插编码。如果是内部编码，这个块就送到DCT变换设备44。如果是内插编码，这一块就要与减法器46相减，减法器46得出的是该块与由时间预测设备48预测得出的块的差异。

经过DCT变换44后，量化50被执行，得到量化系数根据VLC变量编码或固定长度52编码。这些系数的编码就在编码器52输出得到并直接送入到一个缓冲存储器54，它的输出就是编码输出56。为了避免块缓冲存储器54饱和或下溢，调节器60用来调节量化器50。

为了能够进行时间预测，量化器50的输出连接到用于逆量化Q^-1的设备62的输入，设备62的输出送入到进行逆余弦变换DCT^-1的设备的输入。设备64的输出在块的编码是内插编码时被直接传送到图像存储器66，这由设备68决定。如果设备68决定是内部编码，设备64的输出就要通过加法器70与48得出的时间预测宏块相加，并且从加法器70输出传送到图像存储器66。存储器66保留解码的图像。

内插图像和内插帧的运动由设备72估计。它一方面接收从图像存储器66的信息，另一方面接收来自构造这些块的设备40的输出信息。因此，可以看到时间预测器48能够很好地运转，一方面是基于图像存储器66，另一方面是基于运动估计器72。

编码或二进制序列52的计算量是由从运动估计器72得来的运动矢量、编码的DCT系数、宏块的头信息以及由设备74产生的MPEG2编码信息确定的。这个编码信息与MPEG2的信号指令有关，即称之为宏块线的头信息(或“切片”)，GOP的图像的头信息以及序列的头信息被编码。

对于I型图像，编码方式必须在帧方式内部编码或图像方式内部编码之间选择。这种选择是在对宏块的行为分析的基础上得来，一般有较好的结果。

对于P型和B型图像，将要做的决定的数量就要多一些。

一个P型宏块可根据8种基本模式来编码：

-内部；帧DCT，

-内部；图像DCT，

-无运动补偿(noMC)；帧DCT，

-无运动补偿(noMC)；图像DCT，

-有运动补偿；由前面的帧预测；帧DCT，

-有运动补偿；由前面的帧预测；图像DCT，

-有运动补偿；由前一图像预测；帧DCT，

-有运动补偿；由前一图像预测；图像DCT。

对于B型图像，可能有14种基本的编码模式，它们是2种内部编码模式，4种具有由P型图像决定的运动补偿的模式，另外，有4种基于后续预测图像的相似编码模式和4种双向模式，即为：

-由后续帧预测；帧DCT，

-由后续帧预测；图像DCT，

-由后续图像预测；帧DCT，

-由后续图像预测；图像DCT，

-帧方式双向预测；帧DCT，

-帧方式双向预测；图像DCT，

-图像方式双向预测；帧DCT，

-图像方式双向预测；图像DCT。

要注意的是，到目前为止，对P型和B型图像选择各种模式所使用的标准能得到各种质量的结果。

本发明能保证以相对恒定的质量传输P型和B型图像。

本发明亦能用比已知的处理方法所得到的图像更好的性/价比传输图像。

发明内容

为了达到这个目的，本发明采用的压缩处理所具有的特点是，对每一个宏块，根据所有模式或某些模式进行试验编码，对每个试验编码的编码花费和(或)质量因子是确定的，所选择的编码模式是编码花费值和质量因子的函数。

术语“编码花费”指的是每个编码所使用的比特数。

从另一方面讲，选择编码方式并不是基于对宏块内部的分析基础之上(象前面所说的情况)，而是通过试验所有编码可能性(或部分)，保留得到最好结果的模式。只要它能减少编码花费，或者能得到最好的图像质量，当然更好地是，它传递了编码花费和图像质量之间的最好的兼顾。

每幅图像的质量因子由源宏块与解码的宏块之间的比较得到的。解码的宏块对应于受到一试验编码且然后被解码的宏块。

在一个实施例中，平均质量因子是由通过一个光滑的时间窗得到的一系列预测图像来确定，并且，选择了一编码类型，该编码类型传递的质量因子与平均质量因子最接近。

在另一个实施例中，对每一个宏块，每个编码类型都有一个编码花费，保证最小花费的编码类型的质量因子与平均质量因子相比较，如果相应的质量因子至少等于平均质量因子加上一个增加量，那么要选择传递最小花费的编码类型。

本发明的压缩处理可用于MPEG的视频压缩(MPEG1，MPEG2，MPEG4)或与其类似情况的各种应用中，尤其可用于演播室的录音记录或磁带记录。例如它也可用于摄像机中的实时编码。

本发明的试验结果证明，对同样的图像质量，本发明的压缩方法比传统的压缩方法少使用约25％的比特数。

附图说明

本发明其他的优点和特怔在一些具体地描述中可明显地体现出来。这些描述将参照后面的附图来说明：

-图1到图5，前面已经描述，讲的是MPEG2压缩原理。

-图6和图7是解释本发明压缩处理的某些方面的图。

具体实施方式

在以下将举例描述压缩的例子，对每一宏块，所有的编码模式都要考虑(即对于I型图象的2种可能模式，对于P型图像的8种基本模式，对于B型图像的14种基本模式)。对这些模式中的每一种模式，都要试验编码，因此，随后确定以下参数：

-编码一宏块的编码花费C，也就是在试验编码的结果中包含的比特数。

-重构宏块的质量因子MB_Quality。如何确定这个质量因子将在后面描述。

-用Seq.Quality表示的暂时均值，其是一幅图像或一系列图像的质量因子MB_Quality的暂时均值。已知这个参数能够在当一种编码模式的质量因子MB_Quality快要超过Seq.Quality的值时，限制这种模式的编码过度花费。

-一个门限，用overC表示，它取决于所考虑的图像的类型(I，P或B型)，表示为提高宏块的质量因子所容许的编码的过度花费。对于I型图像的容许过度花费overC比用于P或B型图像的容许过度花费大。

质量因子MB_Quality是由要编码的源宏块与它的对于一种编码模式的重构副本相比较得出的。在图像信噪比PSNR准则下，对源亮度象素点与重构象素之间的点差异的平方求和(Sum)，然后MB_Quality的值计算如下：

MB_Quality＝-10log₁₀(Sum/Lum)，

其中，Lum＝255*255*256＝16646400

在信噪比SNR(信号与噪音比)准则下，参数Sum由同样的方法得到，Lum指的是源亮度块256象素点的和，这时的MB_Quality为：

MB_Quality＝-10Log₁₀(Sum/Lum)

因此，差异越小，质量因子越大。

举例说明，如果知道编码模式的最小花费C_min，那么，就可以计算出最小花费时宏块的质量因子MB_QualityC_min。

然后，我们确定是否另一种编码模式(它是先验的)需要一个编码过度花费(与C_min相比)，看它能否使MB_Quality的增加在可容许的范围之内。

为了达到这个目的，就要把MB_QualityC_min与Seq.Quality相比较，这个Seq.Quality是一组指定的预测图像的质量因子的序列方式的均值，例如是20。

如果：

MB_QualityC_min≥Seq.Quality+overMB_Quality，

在公式中的overMB_Quality指的是序列方式得到的质量因子可容许的增加值。这样，就可选择能够达到最小花费C_min的编码模式，因为在最小花费之上有足够大的选择范围。

这种情况发生在图像的弱的纹理区域内(很少的信息被编码)和(或)那些时间预测有很好的质量的图像中。

如果：

MB_QualityC_min＜Seq.Quality  (1)，

也就是说，如果最小花费得到的质量不足，那么，就可接受最大容许过度花费。

另一方面，在其他情况下，即：

Seq.Quality≤MB_QualityC_min＜Seq.Quality+overMB_Quality  (2)，时就会容许一个小于overC的过度花费，这个过度花费由下式得到的因子S来加权。

$S=1-\frac{\mathrm{MB}\_\mathrm{Quality}{C}_{\min }-\mathrm{Seq}.\mathrm{Qualit}}{\mathrm{overMB}\_\mathrm{Quality}}---\left(3\right).$

也就是一个编码的过度花费overC’是可容许的。

overC′＝overC×S                      (4)

要注意的是，在以上提到的其他情况下，即：

MB_QualityC_min≥Seq.Quality+overMB_Quality和

在MB_QualityC_min＜Seq.Quality时，因子S的值可能为0和1。也就是公式(3)的值为负时，S为0，公式(3)的值大于1时，S为1。

在这些情况下，因子S可由图6表示。它描述了整体部分。

当可能的编码花费overC或overC’被确定时，就可得到最好的编码花费/MB_Quality对。为了达到这个目的，必须实现以下内容：

MB_Quality_i与MB_QualityC_min相比较。MB_Quality_i是试验编码模式的质量因子，它的秩为i。

如果：

MB_Quality_i＝MB_QualityC_min，

我们保留这个编码，它传递最小花费C_min。

如果：

MB_Quality_i＜MB_QualityC_min，

我们也采用这种传递最小花费的编码模式。

另一方面，如果：

MB_Quality_i＞MB_QualityC_min，

我们通过以下的参数来选择编码方式：

di＝C_i-[C_min+overC’.(MB_Quality_i-MB_QualityC_min)]    (5)在这个公式中，C_i是试验编码中当前宏块的花费，overC’是可容许的过度花费(由over_C和S决定)。

di表示的是当前宏块的花费与最大可能花费的差距。

要选择传递最小的di值的编码模式。

这个准则可由图7来表示。它也描述了所有情况。在这幅图中，质量因子MB_Quality是沿横坐标作图的，当前宏块的花费C_i是沿纵坐标作图的，值C_min对应于原点。直线80代表相对应MB_Quality的最大可增加花费。从另一方面讲，不选择在80线之上的花费/MB_Quality对(已考虑了参数over_C和S)。

本过程使用的参数Seq.Quality，可通过推理计算得出，并且只在解码器建立起稳态时使用。也就是除瞬态之外，例如超过一个序列的第50个或第100个编码图像，或当编码器设置为运行，或在检测“转换”(序列转换或图像转换)后。在编码过程中，在瞬态时，参数S取为1，overC’＝overC；即任何过度花费都限制在overC之内。检测“转换”是一种信息，可由图像编码器的某个部分组成一个块传递出去。这个部分就是运动估计器。

到目前所描述的过程为止，所有的编码模式都尝试过了。在简单的变化中，为了减少计算量，所能试的可能编码模式更有限。例如，不需要根据一帧或一幅图像的DCT变换选择参数，因此，只用传统的方式选择编码模式。如果宏块的行为信息可估计出来，当宏块的图像间的行为信息小于帧间的行为信息，就选择图像间的DCT变换，反之，选择帧间DCT变换。

用这种方式，用于选择其他模式的计算量就减少了，这时因为可选择的编码模式的数目相应减半。

在上例中，没有用试验编码来确定是在图像间还是在帧间实现DCT变换。对于I型图像，用传统方式确定编码模式，对P型图像，基本编码模式可减为4种，对于B型图像，基本编码模式可减为7种。

本发明当然不受上例所描述的情况的限制。尤其是，不局限于基本编码模式。它包含任何其他的编码类型，例如，象对MPEG2标准的P型图像的“双优”编码模式。

Claims (12)

1.一种用于每一宏块的图像压缩处理方法，其中每个图像宏块经受从几种编码类型中选择的一种进行编码，其特征在于为了对每个宏块选择编码类型，通过试验编码为每个编码类型确定花费C_i和质量因子MB_Quality，该编码类型的选择是花费和质量因子的函数。

2.如权利要求1的方法，其特征在于每个宏块的质量因子是由源宏块和对应于经过试验编码的该宏块的被解码的宏块之间的比较确定的。

3.如权利要求1或2的方法，其特征在于编码类型的选择是保证最小花费的一选择。

4.如权利要求1的方法，其特征在于平均质量因子Seq.Quality是由包含在一个光滑的时间窗内的一系列预测图像来确定，并且选择一种编码类型，所述的编码类型传递的质量因子MB_Quality与平均质量因子最接近。

5.如权利要求1的方法，其特征在于对每个宏块，为每个编码类型确定一个编码花费，保证最小花费C_min的编码类型的质量因子MB_QualityC_min与平均质量因子Seq.Quality相比较，该平均质量因子是在包含在一个光滑的时间窗中的一系列预测图像之上确定的，如果相应的质量因子至少等于平均质量因子Seq.Quality加上一个增加量overMB_Quality，则要选择传递最小花费的编码类型。

6.如权利要求5的方法，其特征在于：如果用于保证最小花费C_min编码类型的质量因子MB_QualityC_min小于平均质量因子Seq.Quality，则选择这样一种编码类型，该编码类型使得编码过度花费不超过一个特定的值overC，同时保证质量因子的增加在可容许的范围内。

7.如权利要求6的方法，其特征在于用于加权过度花费overC的因子S由下式确定：

$S=1-\frac{\mathrm{MB}\_\mathrm{Quality}{C}_{\min }-\mathrm{Seq}.\mathrm{Qualit}}{\mathrm{overMB}\_\mathrm{Quality}},$

如果上式的值为负，则加权系数保持为0；若上式的值大于1，则加权系数保持为1。

8.如权利要求6或7的方法，其特征在于编码类型是通过最小化由下式定义的带符号的参数di决定：

di＝C_i-[C_min+overC·S·(MB_Quality_i-MB_QualityC_min)]

C_i是试验编码的花费，C_min是所有试验编码模式中的最小花费，MB_Quality_i是试验编码的质量因子，MB_QualityC_min是对应于最小花费的试验编码模式的质量因子。

9.如权利要求1的方法，其特征在于压缩是MPEG类型。

10.如权利要求9的方法，其特征在于对I，P和B型图像的宏块选择编码类型。

11.如权利要求9的方法，其特征在于用于P和B型图像的编码类型而不用于I型图像的编码类型。

12.如权利要求11的方法，其特征在于为确定是在帧宏块还是图像宏块上使用余弦变换，在编码之前要确定一个与宏块有关的参数，并且，选择的变换类型是这个参数的函数。

Images