CN1332576A - 一种用于图像压缩传输的量化与码流控制方法 - Google Patents

Abstract

本发明公开了一种用于视频通讯领域中压缩图像传输的量化与码流控制方法,该方法将缓冲区量化参数控制与率失真理论相结合,并着重考虑人眼在空间域与时间域的视觉特点,对不同特质的图像采用不同形式的率失真函数变形,通过帧级量化参数控制和宏块级量化控制两个步骤,在帧一级和宏块一级对量化参数进行控制,在码率控制比较平稳的前提下,提供了较好的主观图像压缩质量,并且可有效防止码流控制的滞后,提高码流控制的效果。

Description

一种用于图像压缩传输的量化与码流控制方法

本发明涉及视频通讯领域，尤其涉及视频信息的传输与处理领域。

在视频信息传输系统中，需要传输大量的视频信号，但是由于带宽的限制，又不可能将视频信号以原样进行传输，必须对视频信号进行压缩处理之后，才能是视频信号的传输成为可能，在视频信号压缩处理中，量化与码流控制又是一个必不可少的重要环节，它直接影响图像压缩效率与主观图像质量。主观图像质量是指在一幅图像中，由于重要信息和次要信息对人视觉影响的差异带来的在人的视觉上所得到的评价。在视频信号压缩处理过程中，量化与码流控制通常采用缓存区(Buffer)控制方法，这种方法根据编码器缓冲区的充盈程度对图像进行宏块级量化参数控制，优点是实现简单，缺点是没有考虑图像具体内容信息的重要程度，容易造成对重要图像信息量化粗糙，影响图象主观质量，另外该方法还会造成码流控制的滞后，影响码流控制的效果。

压缩图像码流与压缩图像失真度之间存在一定的关系，根据率失真控制理论，即信息编成码率与允许失真度的关系的理论，人们还提出了一种量化与码率控制方法，这种方法的基本思想是在给定编码速率的情况下，通过控制量化参数，达到压缩图像的最小失真度，如ITU公布的H.263的测试模型TMN8和TMN11中提到的码流控制方法，便是这种思想在实际应用中的两个经典例子。TMN8和TMN11的优点是对码率的控制比较平稳，但它存在的缺点是在一帧内的量化参数分布不够均匀，没有考虑对人眼的视觉特点，会造成压缩图像主观质量的下降。

本发明的目的是提供一种用于压缩图像传输的量化与码流控制方法，结合图像具体内容信息，考虑人眼的视觉需求，对一帧图像内的量化参数分布进行调整，以提高压缩图象的主观质量，并有效防止码流控制的滞后，使码流控制的效果更加理想。

为实现上述目的，本发明提出一种用于压缩图像传输的量化与码流控制方法，将缓冲区控制与率失真理论相结合，对不同特点的图像采用不同的率失真函数，同时参考人眼的视觉特性，对整帧图像量化参数分布进行调整。

本发明所述方法的处理步骤如下：

第一步帧级量化参数控制：

  1通过缓冲区控制确定当前帧平均量化值；

  2根据当前图象帧的失真度调整平均量化值；

  3根据人眼在空间域的感官特性限定帧级量化值范围；

  4根据当前帧的平均量化值与编码比特数预测下一帧平均量化值；

第二步宏块级量化控制：

  1根据当前图像特点运用率失真理论调整量化值；

  2根据人眼特性细化中心区域量化值。

该方法简单有效，便于实现，在给定传输速率下，可使压缩图象主观质量评价显著提高，满足实际应用的需要。

下面结合附图对本发明作进一步的详细描述。

图1是采用传统编码器缓存区量化控制方法的系统框图；

图2是采用本发明所述量化与码率控制方法的系统框图

图3所示是本发明所述的量化与码率控制方法流程图。

图1所示的系统框图是传统编码器缓存区量化控制方法的框图，从图1中可以看出，该方法是根据编码器缓冲区的充盈程度在宏块级进行量化控制，并没有考虑图像具体信息的重要程度，从而极大地影响了图像的主观质量。

图2所示是图像编码系统的框图，本发明所述量化与码流控制的方法位于上述编码系统框图的量化与码率控制模块中，这一改进措施充分考虑了在一幅图像中，重要信息和次要信息对人视觉影响的差异，并且相应地加以控制，突出重要信息，提高图像质量，相应地降低对次要信息的要求，满足视觉对不同视觉信息的要求，从而在总体上实现了主观质量的提高。

图3是本发明所述的量化与码率控制方法流程图，本发明所述的量化与码流控制方法可具体依次分为帧级量化控制与宏块级量化控制两部分。

第一步帧级量化参数控制

    1通过缓冲区控制当前帧预分配编码比特数

    根据缓冲区空满状态调整当前图像预分配编码比特数，本步骤一方

    面可有效控制信道传输延迟，另一方面可结合信道实际速率状态，

    调整每一帧预分配编码比特数，能够有效利用信道当前带宽。

        具体实施如下： $\hat{B}=B\×\frac{(2.2\×\mathrm{nDelayBufNum}-{\mathrm{buf}}_{\mathrm{occupy}})}{(2\×\mathrm{nDelayBufNum}+{\mathrm{buf}}_{\mathrm{occupy}})}$

        其中：

        

当前帧图像实际预分配比特数； $B=\frac{\mathrm{Rate}}{\mathrm{Frame}}$

表示在给定帧率(Frame)与码率(Rate)情况下，每一帧图像的平均编码比特数；

nDelayBufNum：编码器与信道之间的缓冲区大小；

buf_occupy：缓冲区内已编码未传送比特数。

当buf_occupy＝0.1×nDelayBufNum时，即编码缓冲区充盈度为总缓冲区大小的10％时，当前帧预分配比特数 与平均编码比特数B相等；buf_occupy＞0.1×nDelayBufNum时，当前帧预分配比特数

比平均编码比特数B减少，以防止编码缓冲区上溢，可有效控制编码传输延迟；buf_occupy＜0.1×nDelayBufNum时，当前帧预分配比特数

比平均编码比特数B增加，以防止编码缓冲区下溢，可有效利用当前传输带宽。2根据当前图象帧的失真度调整平均量化值

根据图像实际失真度的不同，修正平均量化值，使量化反馈快速适应具体图像失真度的要求，如果图像的失真度大则提高量化值，反之则降低量化值，保证输出码率的均匀。具体实施公式如下： $\mathrm{\Δ}\stackrel{\‾}{Q}=\frac{{\stackrel{\‾}{E}}_i-{\stackrel{\‾}{E}}_{i-1}}{{\stackrel{\‾}{E}}_{i-1}}\×\stackrel{\‾}{Q}$

                      Q＝ Q＋ΔQ其中：

Δ Q：当前帧图像平均量化参数修正值；

Q：当前帧平均量化参数；

$\stackrel{\‾}{E}=\frac{{\mathrm{SAD}}_{\mathrm{total}}}{\mathrm{MB}\×256}$ 表示一帧图像的平均失真度 ${\mathrm{SAD}}_{\mathrm{total}}=\underset{k=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}{\mathrm{SAD}}_k$

SAD_k：第k个宏块与运动估计匹配块的差分绝对值和(SAD)；

MB：一帧图像包含的宏块数；

下标i：图像帧的序号；

当E_i＞E_i－1时，即当前帧图像失真度大于前一帧图像失真度时，当前帧图像平均量化参数增加，当E_i＜E_i－1时，当前帧图像平均量化参数减小，这样可以一定程度上预先保证输出码率的均匀，防止码率控制的滞后。

具体实施时，可以将以上ΔQ结果嵌位在一定的范围内，如[-1，1]，从而保证帧与帧之间的量化系数不要变动得过于剧烈，避免造成图像主观质量下降。3根据人眼在空间域的感官特性限定帧级量化值范围

考虑到人眼在空间域上对图象质量分布不均比较敏感，因此加入此

步骤，保证帧内量化值变化不要过于剧烈，以提高主观图像质量。

具体实施时可以将图像宏块量化参数Q的波动范围限制在以平均量化参数Q为中心的一个区间里，如：

Q∈[max( Q－2，|2)，min( Q＋2，20)]

4根据当前帧图像的平均量化值与编码比特数预测下一帧图像平均量化值应用此步骤的目的是为了维持相邻图像帧间量化参数具有一定的继承性，从而保证时间域上图像质量的平稳过渡，提高图象主观质量。具体实施公式如下：

其中：

$\stackrel{\‾}{E}=\frac{{\mathrm{SAD}}_{\mathrm{total}}}{\mathrm{MB}\×256}$ 表示一帧图像的平均失真度；

  SAD_total，MB描述同前；

   $\hat{Q}=\frac{1}{\mathrm{MB}}\underset{i=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}{Q}_i,$ 表示当前帧的平均量化值；

  

当前帧图像实际预分配比特数；

  

当前帧图像实际编码比特数；

在 即当前帧图像实际编码比特数大于当前帧图像实际预分配比特数 情况下，下一帧图像的预计平均量化值 Q增加，当

时，Q减小；上述公式采用 E＞1和 E≤1两种情况的目的是在图像平均失真度较大的情况下( E＞1)，快速调整 Q以保证在一段时间里码率的均匀，而在图像平均失真度较小的情况下( E≤1)，慢调 Q以保证帧间量化参数变化均匀，提高主观图像质量。

第二步宏块级量化控制

    1根据当前图像特点运用率失真理论调整量化值

许多率失真控制方法均使用一种率失真函数，但事实上静止图像序列和运动图像序列的率失真函数曲线变化是不同的。根据率失真理论，一幅图像的量化系数Q、码率B和MAD(平均绝对差)之间近似有如下关系： $B\≈\frac{a\×\mathrm{MAD}}{Q}+\frac{b\×\mathrm{MAD}}{Q^2}$ 其中参数a和b是模型参数；在运动量较大的情况下，B与Q之间的反比关系强烈，微小运动或相对静止情况下，B与Q平方之间的反比关系强烈；在微小运动或相对静止情况下，一般

成立，在较大运动情况下，一般 成立。为更准确地反映这种关系，本发明在静止(或小运动)及大运动情况下分别采用不同的率失真函数来控制宏块级量化系数的改变。从而紧密结合了图像具体运动信息，在静止(或小运动)及大运动情况下，压缩图像均获得较好的主观评价。具体实施公式如下：

                     

   $S_0=\underset{k=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}{\mathrm{SAD}}_k$      ${\hat{B}}_0=\hat{B}$

                     S_k＋1＝S_k－SAD_k ${\hat{B}}_{k+1}=\max ({\hat{B}}_k-{\tilde{B}}_k,1)$

其中，

  Q_k：第k个宏块量化参数；

  

第k个宏块实际编码比特数；

  

当前帧实际与分配比特数；

  其他参数描述同前；

由以上实施公式可以看出，在图像平均失真度较小的情况下( E≤1)，宏块间量化参数的变动范围较小，以充分保证在小运动和静止情况下的图像主观质量，而在图像平均失真度较大的情况下( E＞1)，宏块间的量化参数波动可能较大，以保证在大运动情况下编码码率的均匀，因为在大运动情况下人眼对图像的细节变化并不敏感。2根据人眼特性细化中心区域量化值

考虑到人眼对图像中心区域质量比较敏感，因此在低码率情况下，可适当牺牲边缘区域图像质量来保证重点区域的图像效果。

具体实施时可将图像中心区域的量化参数控制在较小的范围内，而边缘区域量化参数适当放大，如：

  Q_center∈[max( Q－2，2)，min( Q＋2，20)]

  Q_edeg∈[ Q，20]

其中，

  Q_center：图像中心区域宏块量化参数；

  Q_edeg：图像边缘区域宏块量化参数。

视频信号压缩编码中，量化与码率控制是的一项重要技术，它直接影响图像压缩效率与主观图像质量。本发明所述的信号量化与控制方法可广泛应用于各种图像压缩编码标准，如H261、H263、MPEG-1、MPEG-2中，能够在有限的信道速率下传输较优的图像质量，为目前固定速率传输(如E1，V.35等)或可变速率传输(如Intranet，Intemet等)下码率控制提供了较好的控制方法，具有较高的实用价值。

Claims (11)

1、一种用于压缩图像传输中的量化与码流控制方法，其特征在于包含以下步骤：第一步帧级量化参数控制：

1)通过缓冲区控制来确定当前帧平均量化值；

2)根据当前图象帧的失真度调整平均量化值；

3)根据人眼在空间域的感官特性限定帧级量化值范围；

4)根据当前帧的平均量化值与编码比特数预测下一帧平均量化值；第二步宏块级量化控制：

5)根据当前图象特点运用率失真理论调整量化值；

6)根据人眼特性细化中心区域量化值。

2、根据权利要求1所述的量化与码流控制方法，其特征在于，所述步骤1)中的当前帧平均量化值由公式 $\hat{B}=B\×\frac{(2.2\×\mathrm{nDelayBufNum}-\mathrm{bu}{f}_{\mathrm{occupy}})}{(2\×\mathrm{nDelayBufNum}+\mathrm{bu}{f}_{\mathrm{occupy}})}$ 确定，其中B为每一帧图像的平均编码比特数；

    nDelayBufNum表示编码器与信道之间的缓冲区大小；

    buf_occupy表示缓冲区内已编码未传送比特数。

3、根据权利要求1所述的量化与码流控制方法，其特征在于，所述步骤2)中的平均量化值由公式 $\mathrm{\Δ}\stackrel{\‾}{Q}=\frac{{\stackrel{\‾}{E}}_i-{\stackrel{\‾}{E}}_{i-1}}{{\stackrel{\‾}{E}}_{i-1}}\×\stackrel{\‾}{Q}$ 确定，其中：

      Δ Q：当前帧图像平均量化参数修正值；

       Q：当前帧平均量化参数；

       E_i：第i帧图像的平均失真度。

4、根据权利要求1所述的量化与码流控制方法，其特征在于，所述步骤3)中的帧级量化值范围Q的波动范围进一步包括：将所述波动范围限制在以平均量化参数 Q为中心的区间里，即：Q∈[max( Q-2，|2)，min( Q+2，20)]。

5、根据权利要求1所述的量化与码流控制方法，其特征在于，所述步骤4)中的下一帧平均量化值由公式 确定，其中， $\stackrel{\‾}{E}=\frac{{\mathrm{SAD}}_{\mathrm{total}}}{396\×256},$ 表示一帧平均到每一个象素的匹配误差大小；

$\hat{Q}=\frac{1}{\mathrm{MB}}\underset{i=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}{Q}_i,$

表示当前帧的平均量化值

${\mathrm{SAD}}_{\mathrm{total}}=\underset{k=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}{\mathrm{SAD}}_k,$ SAD_K为第k个宏块与运动估计匹配块的差分绝对值和。

6、根据权利要求1所述的量化与码流控制方法，其特征在于，所述步骤5)中的量化值由公式 确定，其中，

表 $S_0=\underset{I=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}\mathrm{SA}{D}_i$                      ${\hat{B}}_0=\hat{B}$

                  S_i+1=S_i-SAD_i   ${\hat{B}}_{i+1}={\hat{B}}_i-{\tilde{B}}_i$ 示第i个宏块实际编的码字；SAD_i表示第i个宏块与运动估计匹配块的差分绝对值和。

7、据权利要求1所述的量化与码流控制方法，其特征在于，所述步骤6)进一步包括：将图像中心区域的量化参数控制在较小的范围内，而边缘区域量化参数适当放大。

8、根据权利要求2所述的量化与码流控制方法，其特征在于，所述的每一帧图像的平均编码比特数B由公式 $B=\frac{\mathrm{Rate}}{\mathrm{Frame}}$ 确定，其中Frame为给定帧率，Rate为码率。

9、根据权利要求3所述的量化与码流控制方法，其特征在于，所述的第i帧图像的平均失真度 E_i由公式 $\stackrel{\‾}{E}=\frac{{\mathrm{SAD}}_{\mathrm{total}}}{\mathrm{MB}\×256}$ 确定，其中 ${\mathrm{SAD}}_{\mathrm{total}}=\underset{k=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}{\mathrm{SAD}}_k;$

SAD_k：第k个宏块与运动估计匹配块的差分绝对值和；

MB：一帧图像包含的宏块数；

下标i：图像帧的序号。

10、根据权利要求5所述的量化与码流控制方法，其特征在于，所述的一帧平均到每一个象素的匹配误差大小 E由公式 $\stackrel{\‾}{E}=\frac{{\mathrm{SAD}}_{\mathrm{total}}}{396\×256}$ 确定，其中 ${\mathrm{SAD}}_{\mathrm{total}}=\underset{k=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}{\mathrm{SAD}}_k;$

    SAD_k：第k个宏块与运动估计匹配块的差分绝对值和(SAD)；

    MB：一帧图像包含的宏块数。

11、根据权利要求5所述的量化与码流控制方法，其特征在于，所述的当前帧的平均量化值Q由公式 $\hat{Q}=\frac{1}{\mathrm{MB}}\underset{i=0}{\overset{\mathrm{MB}-1}{\mathrm{\Σ}}}{Q}_i$ 确定，其中MB表示一帧图像包含的宏块数。

Images