CN1166210C - 图像压缩方法以及实现这种方法的装置 - Google Patents

Abstract

本发明涉及一种图像压缩方法，在方法中图像按照图组被编码，每一个图组包括N个图像，具有按帧内模式编码的I图像、作为内部图像I或前一幅图像P的函数预测的P图像，每个P图像前面或后面跟着n个双向预测B图像，n可以为0。数值M＝n+1表示图组的结构。利用测试编码(70)确定至少一个表明要按照图组编码的源图像特征的参数，并且M和N依赖于这些参数。在测试编码过程中，已定义的值被赋予N，M以及量化区间Q。

Description

图像压缩方法以及实现这种方法的装置

本发明涉及一种图像压缩处理方法，也就是根据可变长图组对图像进行编码。

本发明特别涉及MPEG类型的一种方法，特别是MPEG2类型。虽然本发明并不仅限于这种标准，但在后面的描述中主要指MPEG2压缩方法。

压缩的原理在以下描述。

在视频MPEG2标准中，数字视频信号的压缩是对要编码图像的空间冗余度和时间冗余度来获得的。

空间冗余度主要由连续的三种运算得到的：一种通常叫做离散余弦变换并表示为DCT(“离散余弦变换”)的运算，一种对DCT变换得到的系数量化运算以及一种对DCT变换得到的量化系数进行可变长度编码(熵编码)的运算。

时间冗余度由运动补偿运算分析得到，补偿运算包含，对当前图像的每一块的变换，搜索在参考图像中最类似的块。对时间冗余度的分析可以决定了一场变换向量，一般被称为运动矢量。还有由当前图像信号和由运动补偿预测的图像信号的差别决定的预测误差。预测误差根据空间冗余度进行分析。

MPEG编码是预测类型的编码，它使得有关的解码必须经常被重新初始化以保护信号不被传输错误或任何由解码器从一个程序转换到其他程序的信号中断。

为此目的，MPEG2标准定期提供图像必须在空间模式中编码，这就是说仅仅按照一种利用空间冗余度的方式。图像在空间方式编码被称为帧内图像或I图像。

图像由时间冗余度决定编码有两种类型：一方面，图像由参考前一帧图像在前向预测基础上构造，另一方面，图像由参考前一帧和后一帧两帧图像在前向预测和后向预测基础上构造。

由前向预测基础上构造的编码图像被称为预测图像或P图像，由前向预测和后向预测基础上构造的编码图像被称为双向图像或B图像。

一个I图像解码时而不需要参考其他图像。一个P图像解码时要参考前一帧P或I图像。一个B图像解码时依赖于前一帧I或B图像以及后一帧I或P图像。

I图像的周期性定义了一组图像表示为COP(“图组”)。

在单个的GOP中，在I图像中包含数据的数量一般多于P图像中包含数据的数量，并且在P图像中包含数据的数量一般多于B图像中包含数据的数量。

在50赫兹时，GOP表示为一帧I图像跟随一序列B图像和P图像，很多时候表示为以下序列：

I，B，B，P，B，B，P，B，B，P，B，B。

然而，标准并没有要求在GOP中提供N＝12帧图像，在一般情况下，也没有要求两帧P图像的距离M必须是3。更精确地，距离M是在一帧P图像前面或后面的B图像的个数n加一，也就是，M＝n+1。

数字N代表GOP的大小或长度，数字M代表它的结构。

本发明的结果来自于观察到可能在参数M和N上变化以增强压缩比和/或增强编码的质量。

由本发明的编码方法的特征在于计算与一编码代价直接或间接相关的至少一个参数，以代表根据一图组要被编码的源图像的特征，

确定作为先前计算的一个参数或多个参数的函数的所述图组的长度N和/或结构M。

在一个实施例中，描述源图像特征的参数在测试编码的帮助下确定的，它定义了值赋给N，M以及量化区间Q。

测试编码被完成，例如，在开环情况下。

在一个特定的简单实施例中，描述P图像特征的测试编码中获得的一个参数(Pcost)以及描述B图像特征的测试编码中获得一个参数(Bcost)被分别确定，这些描述P图像和B图像特征的参数较好的指出了对P图像和B图像编码的平均代价。一幅图像的编码代价是指编码所必须的比特数(包括头信息)。

在这种情况下，数字N可以取决于描述P图像特征的参数，数字M取决于描述B图像特征的参数。

在与本发明有关的实验中，对于不同类型图像的序列中，指出对于不同类型序列，一个最优的数字N存在，在对P图像最小的编码代价(或输入输出总和)下，并且一个最优的数字M存在，在对B图像最小的编码代价(或输入输出总和)下，这些代价在测试编码时获得。这些序列是由不同幅度，不同对象，不同空间定义以及不同内容的运动来区分的。

实验指出，此外，一个实用线形关系存在于最优数字N和P图像的输入输出总和。同样的，一个实用线形关系存在于最优数字M和B图像的输入输出总和。因此，知道了P和B图像的输入输出总和，很容易计算出能够得到最好的结果的数字N和M。

在对应于MPEG2标准的一个例子中，50赫兹，测试编码由N＝12，M＝3以及Q＝15完成。N和P图像的输入输出总和关系近似表示为下式：

$\left(1\right)---N=\mathrm{INT}\[\frac{389000-P\cos t}{10000}\]+1,$ 当12≤N≤30

M和B图像的输入输出总和关系近似表示为下式：

$\left(2\right)---M=\mathrm{INT}\[\frac{179000-B\cos t}{20000}\]+1,$ 当1≤M≤7

也可以把M限制到5。

在这些公式中，INT代表整数部分。

限制N在12到30之间以及限制M最大值取7可得到编码器的一个简单实施例以及限制了程序变化的时间。在同样的目的下，也可能得到其他的约束或限制，特别是M在GOP中为常数并且/或它是N的约数。

在一个实施例中，如果M和N分别取值并且并不能同时满足约束，接近计算出来的并满足约束的值M和N被选择。在这种情况下，M的值优先，也就是说如果要在许多组M，N中选择，将会选择M的值最接近计算结果的组。

上述公式(2)满足Bcost不能超过179800。在相反的情况下，也就是说如果Bcost＞179000，实验指出有必要，在这个例子中，M将由以下方式选择：

$\left(3\right)---M=5.\mathrm{INT}\[\frac{P\cos t}{B\cos t}-1\],$ 当1≤M≤7

如果B图像的代价高于P图像的代价，选择GOP不包含B图像，这就是说M＝1。这是因为P图像表现出比B图像好的预测质量，并且在低代价的假设下，在这个例子中这样的B图像的存在将包含一个缺点。

由比特为单位每一帧P图像和B图像的代价被决定，例如，当这些图像出现时。在一个实施例中，M和N的值由所有的测试编码的P和B图像的平均来选择，在测试编码N个源图像以后编码完全计算出来，N由P图像的编码代价决定。在这种情况下，参数M可以在GOP中保持为常数。

在另一个实施例中，允许一个快速适应对场景内容的变化以及减少源图像到达和编码本身之间的延迟(这就允许一个小容量的缓冲存储器)，编码开始当测试编码提供数据允许这个开始。于是，测试编码的第一个B图像提供了一个M数字使得编码开始并且数字N由测试图像的第一个P图像提供；在这种情况下，当N的值和M的值已知时编码开始。

在编码“在飞行中”的类型中，数字M，也就是说结构，可能在一个GOP中变化，这就允许对场景内容变化的快速适应。

在编码的逐步计算中，当在当前GOP已编码的图像数目至少等于衡量数字N时(由在以上例子中的Pcost来衡量)，或在一个场景变化时GOP被中断。

为避免在图组之间参数的明显变化，可以证明值得做分离计算出来的值。例如，如果计算指出，对GOP大部分的长度，例如至少80％，必须M＝1，然而，对于GOP的余下部分计算指出M应该大于1，M应该采用值1，不管其他值，尽管计算指出必须有一个不同的值。

同样地，如果对前一个GOP，M＝1，并且如果对当前的GOP，计算表明对于当前GOP大部分需要M＝1，例如至少60％，M应该接受值1，尽管在以上公式(2)得到的结果，指出有一个不同的值。

已知当场景变化发生时，也就是说当视频图像序列发生不连续时，必须改变GOP图组在不连续的每一边使得新的开始于I图像的图组对应一个新的场景。

在一个实施例中，如果在一个图组中发生场景变化，新的场景建立一个新图组的I图像，如果场景变化发生在受影响的图组中，则受影响图组缩短使得在新场景之前从开始到至少等于N所允许的最小值的距离处停止。在前一个图组于是改变(变长或变短)，有可能要改变在这个GOP中先前计算出来的数字M。

在一个变体中，经常优先选择在这种情况下受影响图组长度小于最小的允许N，当场景改变发生在一个图组中，新的场景建立一个新图组的I图像，这个新图组的长度等于在它受影响的图组和前一个图组的长度的平均长度。在这个变化下，有必要改变为以前GOP校准的数字M。

当两种改变都有可能时，例如当受影响图组长度小于N的最小允许值时，在这两种改变中一个选择可能由计算得出，对每一种改变，得到(M，N)对和改变之前的M，N对的距离并且选择距离最小的对。

为决定参数N和M，要依靠参数的测量而不是输入输出总和的测量，例如，为决定N，要使用I内部图像的能量。也可能决定运动或运动补偿误差的幅度，DFD(转移帧差)用来决定M和N。

本发明的其他特征和优点将会在它的一些实施例描述中展现，这个描述在后面所附的图表，在其中

图1表示了4.2.0标准对应宏块。

图2是表示DCT变换的图表。

图3表示了一组图像，GOP，按照MPEG标准或类似标准。

图4至7是按照本发明方法的图表，和

图8是根据本发明方法实现的框图。

参考首先在图1到3目标是重申在MPEG2编码中用到的规则。

在MPEG2标准中，起点是一幅图像包含，在逐行方式，576线每线720点。在隔行方式中，这幅图像包含两帧，每帧288线，同样每线720点。

每幅图像都被分成宏块，每个宏块由一个16×16的亮度方阵组成。每个宏块由4个8×8的亮度方阵构成。每4个亮度块与2个色度块有关(在4.2.0格式中)，每一个色度块是8×8点。其中一块表示色差即红色色度信号C_r，另一块表示色差即蓝色色度信号C_b。在4.2.2格式中，每个亮度宏块对应4个8×8的色度块，2个块表示蓝色色度，2块表示红色色度。在4.4.4格式中，每个亮度分量和色度分量包含有4个8×8块。

在图1所示的4个8×8的亮度块整体用标号10表示，8×8的色度块12和14分别代表蓝色和红色色度块。这是用4.2.0标准表示一个宏块。

每一个块用一种叫做离散余弦变换表示为DCT的变换编码，它可把亮度块变换(例如)成代表空间频率的系数块。如图2所示，源块16转换成一个8×8的系数块18。块18左上角20对应空间零频率(块的均值)，从这个原点20，水平频率向右表示增加，如箭头22表示，同样，垂直频率从上向下增加，如箭头22表示。

对每一个宏块，必须要选择编码的类型：或者“帧内编码”或者“帧间编码”。帧内编码指对图像的源块进行DCT变换；帧间编码指对表示源块与预测块差异的一个块，或者是上一幅图像或下一幅图像的预测块进行DCT变换。

选择是部分地依赖于宏块所属的图像类型。图像有三种类型：第一种是所谓的I或称内部类型，对所有宏块都用帧内编码。

第二种类型是P或称预测类型。在这种图像中，对宏块的编码可用帧内编码也可用帧间编码。如果对P型图像使用帧间编码，是对这幅图像的当前块与前面的I型或P型图像产生的预测块的差异进行DCT变换。

第三种图像称之为B或双向类型。对宏块也可用帧间编码或帧内编码。帧间编码也是对当前块与预测块的差异进行DCT变换。这个预测块可由前向图像，或后向图像，或两者均可(双向的预测)产生。这就有可能对所称的前向或后向预测图像是I或P图像之一。

图3所示的一序列图像组成一组称为图组(GOP)，它包含12幅图像。第1个为I图像，后面11个为B和P图像，按如下顺序：B，B，P，B，B，P，B，B，P，B，B。

一个GOP由长度表示其特征，这就是说一序列图像N，例如，可在12到30之间，并且结构参数M表示了两个P图像之间的距离，也就是说跟随在一帧P图像后面B图像的个数加一。在这个例子中，参数M＝3。同样在例子中，这个数字M可能在1(没有B图像)到7之间。而且规定了数字M必须是N的约数以简化解码器。

到目前为止，在编码器中图像编码时保持N和M为常数。

本发明的结果来自于观察到对于不同的编码图像序列存在最优的参数M和N。这是因为，依赖于是否图像序列清晰度的大小，以及运动的程度，M和N的最优值会明显的不同。用最优值在相同的质量下，需要最少的比特数。

紧接着，实验研究得到了在本发明指出对于对应于最小值Pcost的已定义的图像序列GOP的最优Nopt，在这个序列下，有必要对P图像进行编码(包括头信息)。这个性质由图4所示，在横坐标为数字N，在纵坐标为对序列表示为I的值Pcost。值Pcost是编码P图像的比特数在序列I的平均值。可以看出，值Pcost(i)由曲线32表示有一最小值34，这时N的值是最优的(Nopt)。

同样的，对应于最小值Bcost(i)的已定义的图像序列B图像平均比特数的最优值M，表示为i。因此，在图5中，在横坐标为数字M，在纵坐标为对序列表示为Bcost(I)。可以在图中看出，曲线36有对应M(Mopt)的最优值的最小值38。

测量在MPEG通用的序列中进行，它们是“Horse”，“Flower garden”和“Mobcal”。“Horse”序列对应快速运动和良好清晰度，“Flower garden”序列对应良好清晰度和中速运动，“Mobcal”序列对应慢速运动和高清晰度。其他序列也被测试，如有快速运动和差的清晰度的皮船序列，一个篮球序列以及一个有匀速运动和良好清晰度的序列。

这里指出，如果测试编码的图组有已定义的值M，N和量化区间Q，这些值没有必要对应所讨论的序列I的最优值，P帧编码平均代价Pcost和B帧编码平均代价Bcost分别代表N和M。此外，如图6所示，一个简单的关系存在于对应序列I的数字Nopt和给定M，N和Q的编码代价Pcost之间。这个关系是线形的或近似线形的，可以表示为直线40(图6)，在上面不同的点42，44对应不同的序列。

在图7中在横坐标为Nopt，在纵坐标为编码代价Pcost(对于给定N，M和Q)。每一个的点52、54、56、等等对应一个给定的序列，可以看出这些点在一条直线60上。因此一个线形关系存在于Nopt和测试编码代价之间。

在测试编码时M，N和Q取以下的值：

M＝12，

N＝3以及

Q＝15。

N和M的值满足以下关系式：

$\left(1\right)---N=\mathrm{INT}\[\frac{389000-P\cos t}{10000}\]+1,$ 当12≤N≤30

$\left(2\right)---M=\mathrm{INT}\[\frac{179000-B\cos t}{20000}\]+1,$ 当1≤M≤7

尽管，从上述公式(2)，表明M应该在1到7之间，从图7可以看出M可能被限制到5。

实施本发明的框图在图8中表示。它包含了一个第一MPEG2编码器70目的是计算出测试编码或“第一遍通过”。测试编码由以上指出的恒定参数建立，即，在这个例子中：N＝12，M＝3和Q＝15。这个测试编码器在这个例子中，在开环下工作，也就是说不用校准。

编码器70提供了Bcost和Pcost的值到一个转换器72，它计算出Pcost转换为Nopt以及Bcost转换为Mopt，正如在图6和图7表示的以及按照上述关系(1)和(2)。

这些N和M的值对一个图组计算，如上面所述，然后提供给MPEG2编码器74的控制输入端76。

编码器74的输入数据与测试编码器70的输入是一样的。因此考虑到测试编码器70和转换器72的处理时间，一个缓冲存储器78被提供，这个存储器78在处理过程中保存数据。

在转换器72中，必须检查从(1)和(2)中得到的N，M对是否与限制条件一致，特别是M必须是N的约数。如果从计算得到结果的值不相符，N和M的值将接受接近那些计算得到的值，尤其是M的值。

转换器72也应考虑以下情况：

在第一种情况下，比较Bcost和Pcost的值，如果Bcost比Pcost要高，值1被赋给M，GOP中没有B图像。这是因为，在这种假设下，B图像承受了一个高于P图像的编码代价；只保持P图像有1一个更高的预测质量。

在第二种情况下，转换器比较Bcost的值和179000并且，如果Bcost超过179000，关系式(2)由以下关系式代替：

$\left(3\right)---M=5.\mathrm{INT}\[\frac{P\cos t}{B\cos t}-1\],$ 当1≤M≤7

转换器72使得考虑两种与关系式(2)不同的特殊情况成为可能为取得一致的图像质量。

第一种情况如下：测试编码允许M的值至少为2，但是，这个测试编码同样表现出在图组的大部分由M获得的中间值等于1，例如至少80％。在这种情况下，转换器72规定M等于1。

第二种情况与第一种情况类似：测试编码允许M的值至少为2，但是，这个测试编码同样表现出在图组的较少一部分由M获得的中间值等于1，例如至少60％(这个限制低于第一种情况)，并且前一个图组是M＝1。在这种情况下，值1赋给M。

对于这两种特殊情况，值1赋给了M，结果来自于与本发明有关的实验计算，使得这些条件对于相同类型的序列在连续的图组上可获得具有良好一致性的质量，。

最后，转换器72考虑到在编码器中检测到的场景的变化或“截断”。当这样场景变化发生时，GOP从一个新的场景开始，这就是说，当新的场景出现时，它归结于一个I图。

此外，由本发明的方法，当场景变化被检测到，前一个GOP和当前的GOP在以下的考虑基础上设定：

如果场景变化发生在一个GOP中在12帧图像后，当场景变化时新的GOP开始，前一个GOP于是被缩短。

如果，相反的，场景变化发生在一个GOP中在12帧图像前，就不可能限制前一个GOP所以在场景变化前终止，因为，在这种情况下，图像的数目要小于规定的最小数字。前一个GOP和当前的GOP用以下方法改变，两种情况被区分。

在第一种情况下，场景变化发生的时刻是在场景改变之前，前一个GOP的帧数与当前GOP的帧数的和至少等于30的时刻。在这种情况下，前一个GOP被加长。

在第二种情况下，前一个GOP的帧数与当前GOP的帧数的和在场景改变之前大于30。前一个GOP和当前GOP由这两个GOP的平均重新排列。

例如，如果前一个GOP为N＝25和M＝2以及场景变化发生在当前计算表明N＝20和M＝3的GOP的第八帧图像，由当前缩短的GOP加长的前一个GOP包含33个图像。当这个值超过了最大允许值(30)时，一个“平均值”被找到对应于两个GOP并且总的图像数目为33，每一个GOP遵循强制限制。在这种情况下，可以看出选择可以在N＝16以及M＝2对前一个GOP和N＝15以及M＝3对场景变化前的GOP之间。长度18和15是靠近平均(16，5)前一个图组(25)的长度以及当前受影响的图组长度(8)。

实验在场景、闪光和持续长度变化的12个不同序列进行，结果由传统的编码方法获得，对应恒定的M和N的值对比由本发明的方法变化在序列中M和N的值的结果。这些测试由计算得到一些结果。由PSNR参数(信噪比)来度量，在质量上增加0.2dB到1.14dB。这个在PSNR上的增加对应着比特数节约为2到22％之间。

按本发明的方法可以用于任何类型的具有I、P和B图像的视频图像压缩方法。它适用于记录，实时或离线，以及传输。

本方法不仅仅限于在编码前GOP的大小已固定的情况。它还适用于当参数M和N对每一帧图像计算，编码代价实时计算出。在这种情况下，M会在一个GOP中变化，一个新的GOP开始，例如，在当前GOP中编码图像数目至少等于计算值N。M可能作为在GOP中图像复杂度的函数而变化。

在这种情况下，没有必要在缓冲存储器78中(它的容量可以被减少)存储全部的GOP，M和N的限制也被减少，由MPEG2标准单独指出；利用场景变化的限制也不很严格。

Claims (20)

1.一种利用帧内编码和帧间编码的图像压缩方法，该方法按照图组(GOP)编码图像，其中每个图组包含N个图像，N代表图组的长度，它包含按帧内模式编码的I图像，在内部I图像或前一帧P图像基础上预测的P图像，每一帧P图像前面或后面有n个双向预测B图像，n有可能为0，等于n加1的数字M代表了图组的结构，其特征在于，该方法包括下列步骤：

计算与一编码代价直接或间接相关的至少一个参数，以代表根据一图组要被编码的源图像的特征，

确定作为先前计算的一个参数或多个参数的函数的所述图组的长度N和/或结构M。

2.根据权利要求1的方法，其特征在于，描述源图像的特征的参数是通过在被编码数值被分配给N、M和量化区间Q的过程中利用测试编码而确定的。

3.根据权利要求2的方法，其特征在于，测试编码在开环下完成。

4.根据权利要求2的方法，其特征在于，为了描述源图像的特征，确定在测试编码中获得的描述P图像特征的第一参数(Pcost)和在测试编码中获得的描述B图像特征的第二参数(Bcost)。

5.根据权利要求4的方法，其特征在于，数字N根据至少表明一个P图像的的特征的所述第一参数而确定，以及数字M根据表明至少一个B图像的特征的所述第二参数而确定

6.根据权利要求4的方法，其特征在于，表明P和B图像特征的参数(Pcost，Bcost)是P和B图像编码的代价，例如平均代价。

7.根据权利要求5或6的方法，其特征在于，在测试编码过程中，当对每一帧B图像编码的平均代价(Bcost)高于每一帧P图像编码的平均代价(Pcost)时，把值1赋给M，那么图组中不包含B图像。

8.根据权利要求6的方法，其特征在于，在测试编码过程中，与源图像的到达同步地确定每一帧B图像编码的代价和对应的数字M{被确定为与源图像的到达同步}。

9.根据权利要求8的方法，其特征在于，当在测试编码结束之前对于该组的大部分来说确定的M数字等于1时，则把数值1赋予该组的数字M。

10.根据权利要求8或9的方法，其特征在于，当在测试编码结束之前对于该组的至少一个确定部分来说确定的M数字等于1，并且当数字M对于前一个组等于1时，则把数值1赋予该组的数字M。

11.根据权利要求1所述的方法，其特征在于，当在一组中发生场景改变时，该新的场景包括新组的I图像，如果场景的改变在受影响的组中出现，则缩短该受影响的组以在该新场景之前停止，距该场景开始处的距离至少等于N所许可的最小值，当在该受影响组中在场景改变之前的图像数目和在该受影响组之前的组的图像数目之和不大于N所许可的最大值时，受影响组的开始部分用于延长在其之前的组。

12.根据权利要求1所述的方法，其特征在于，当在一组中发生场景改变时，该新的场景包括新组的I图像，受影响组和在其之前的组被重新排列，在改变后，使得它们每个组的长度接近于该组的和该组之前的组的长度的平均值。

13.根据权利要求6所述的方法，其特征在于，通过根据MPEG类型标准，在50赫兹，使N＝12、M＝3以及Q＝15执行的测试编码，数字N和M分别是对B和P图像编码的平均代价函数，其关系如：

$\left(1\right)---N=\mathrm{INF}\left[\frac{389000-P\cos t}{10000}\right]+1,$ 当12≤N≤30

$\left(2\right)---M=\mathrm{INT}\left[\frac{179000-B\cos t}{20000}\right]+1,$ 当1≤M≤7

INT表示整数部分。

14.根据权利要求13所述的方法，其特征在于，1≤M≤7。

15.根据权利要求13或14所述的方法，其特征在于，当编码的代价(Bcost)大于179000时，数字M有如下关系来确定：

$\left(3\right)---M=5.\mathrm{INT}[\frac{P\cos t}{B\cos t}-1],$ 当1≤M≤7

16.根据权利要求1至6中的任何一项所述的方法，其特征在于，数字M在一组中变化。

17.根据权利要求2至6中的任何一项所述的方法，其特征在于，该压缩是在测试编码之后执行的。

18.根据权利要求4至6中的任何一项所述的方法，其特征在于，在已经确定表明第一B图像的第一参数或第一P图像特征的第二参数之后，开始该压缩处理。

19.根据权利要求18所述的方法，其特征在于，当编码图像的数目至少等于根据当前P图像所确定的数字N时，图像的编码组的形成被中断。

20.用于实施权利要求1所述的方法的编码装置，其特征在于，其包括第一编码电路(70)，接收用于计算与一编码代价直接或间接相关的至少一个参数的图像；所述第一编码电路与转换器(72)连接，所述转换器用于根据计算出的一个参数或多个参数确定M和N；第二编码电路(74)，接收所述图像以及参数M和N从而执行正确编码。

Images