CN101534436B - 一种视频图像宏块级自适应码率分配方法 - Google Patents

Abstract

本发明涉及视频图像码率分配领域，具体指一种视频图像宏块级自适应码率分配方法，该方法以宏块为单位进行分析处理，采用将宏块级别的比特数与宏块能量相结合的比特分配模型，从而将各个宏块比特分配与宏块能量相结合，这种模型可以将码率控制算法与图像的自然特性有机地结合起来，在不增加网络带宽的前提下重建的图像更贴近人的主观效果。通过将宏块特征提取抽象为宏块能量，将码率分配与宏块能量密切相关，这样，既能提供码率控制的精确性，同时控制编码质量，又能平滑图像在空间上的质量变化，提升图像主观质量。本发明的方法尤其适用于低码率或窄带下的视频应用，且不依赖于特定编码体系，可广泛适用于H.264、MPEG-4或其它编码器。

Description

一种视频图像宏块级自适应码率分配方法 

技术领域

本发明涉及到视频图像码率分配领域，具体指一种视频图像宏块级自适应码率分配方法。 

背景技术

码率控制是视频编码的重要技术之一，在视频存储和传输等应用中起着重要作用。对于码率受限尤其是低码率的视频在线传输来说，码率控制显的尤为重要，将直接决定视频编码的优劣。在目前已有的视频编码码率控制方法中，为了使编码器的输出码率更加精确，通常会将码率控制精确到宏块级别。但是常规上的此类控制方法，在提升控制精度的同时，经常会导致同一幅图像中在空间上的图像质量不均匀。尤其在无线/低带宽情况下，这种负面效果会被放大，图像中局部过量化的情况会非常明显，这会极大地损伤图像的主观效果。 

发明内容

本发明目的在于解决编码当前宏块所需的量化参数与码率分配不均导致宏块图像质量不均匀的问题，而提出一种宏块级自适应码率分配方法，在保证码率分配精确性的同时，解决图像空间上质量不均匀的问题，以提升主观效果。 

为解决上述技术问题，本发明构造一种视频图像宏块级自适应码率分配方法，包括以下步骤： 

A.码率控制模块对采集图像的宏块进行空间上连续性的分析及运用特定运动搜索算法，所述码率控制模块分别利用sobel算子及运动预测SATD(Sum of Absolute Transform Difference)变化后绝对差合计算得出宏块纹理复杂因子C_t和运动复杂因子C_m； 

B.码率控制模块运用公式E_i＝log₂(C_t+C_m)计算得出宏块能量E_i； 

C.码率控制模块运用公式 

将宏块比特数与宏块能量相结，其中：b_(n，i)是第n帧图像中第i个宏块分配的目标比特数；i是当前宏块在图像中的索引号；N是图像中宏块的个数；B_n是第n帧图像分配的目标比特数；E_i是第i个宏块能量； 

D.在已经分配好宏块比特率的情况下，码率控制模块使用R-D率失真(rate-distortion)模型以宏块为单位求编码的量化参数Qp。 

在上述步骤A中，计算宏块纹理复杂因子C_t的过程进一步包括： 

A1-1.码率控制模块对宏块亚像素采集； 

A1-2.码率控制模块运用sobel算子对宏块空间冗余度进行分析，提取宏块边界向量的水平方向分量dx_i，j和垂直方向分量dy_i，j； 

A1-3.对亚采样后的象素pi，j，相应的边界向量为 

定义边界方向向量的模是： 

A1-4.将宏块亚采样后的象素所对应的边界方向向量模相加求和得到内部变量T_D，此变量表示当前宏块的空间相关性，运用公式 

计算得出宏块纹理复杂因子C_t，a是调整因子。 

在上述步骤A中，计算宏块运动复杂因子C_m的过程进一步包括： 

A2-1.码率控制模块针对采集图像的宏块作运动搜索，参考图像选择前一帧图像，运动搜索方法选择菱形运动搜索算法； 

A2-2.计算宏块预测数据和原始数据的差异，根据C_m＝b×SATD计算出运动复杂因子C_m，其中b是调整系数。 

在上述步骤A1-2中，计算宏块边界向量的水平方向分量和垂直方向分量dy_i，j公式如下： 

dx_i，j＝p_i-1，j+1+2×p_i，j+1+p_i+1，j+1-p_i-1，j-1-2×p_i，j-1-p_i+1，j-1

dy_i，j＝p_i+1，j-1+2×p_i+1，j+p_i+1，j+1-p_i-1，j-1-2×p_i-1，j-p_i-1，j+1

其中：dx_i，j和dy_i，j分别代表边界向量水平和垂直方向分量；p_i-1，j+1是指象素p_i，j在原始图像中的相邻象素。 

在上述步骤A2-2中， 其中SATD(Sum ofAbsolute Transform Difference，变换后绝对差和)表示在频域中残差分布。 

在上述步骤A中所述的sobel算子为： $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

在上述步骤D中，所述的R-D率失真(rate-distortion)模型为： 

$B=\mathrm{SAD}\×(\frac{c1}{\mathrm{Qp}}+\frac{c2}{Q{p}^2})$

其中B是当前帧分配的目标比特数、SAD是当前宏块的均方差，可以由前一帧图像宏块估计出来；Qp是第j个宏块的量化参数、c1，c2是调整参数。 

本发明以宏块为单位进行分析处理，将宏块级别的比特分配与宏块能量相结合的比特分配模型，此模型是将各个宏块比特分配与宏块能量相结合， 这种模型可以将码率控制算法与图像的自然特性有机地结合起来求得编码的量化参数Qp，此量化参数Qp越小，图象大部分的细节都会被保留，编码器输出码率则变大，在不增加网络带宽的前提下重建图像更贴近人的主观效果。将宏块特征提取抽象为宏块能量，将码率分配与宏块能量密切相关。这样既能提供码率控制的精确性，同时控制编码质量，又能平滑图像在空间上的质量变化，提升图像主观质量。本发明的方法尤其适用于低码率或窄带下的视频应用，不依赖于特定编码体系，可广泛适用于H.264、MPEG-4或其它编码器。 

说明书附图 

图1为说明实施本发明方法实施过程的流程图； 

图2为本发明实施例中一帧图像的像素示意图； 

图3为本发明实施例中一帧图像的亚采样示意图； 

图4为本发明率失真示意曲线图。 

具体实施方式

为了使本发明目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 

本发明对图像宏块进行分析，码率控制模块将宏块纹理复杂因子和运动复杂因子分别提取，按照特定的方式计算得出宏块能量。见图1所示，本发明的方法步骤如下： 

在步骤100中，码率控制模块对采集图像的宏块进行空间上连续性的分析及运用特定运动搜索算法，所述码率控制模块分别利用sobel算子及运动 预测SATD(Sum of Absolute Transform Difference)变化后绝对差合计算得出宏块纹理复杂因子C_t和运动复杂因子C_m。 

宏块纹理复杂因子是基于自然图像在空间上的相关和连续性。组成图像的各象素在空间与周围象素都有相关性，这个特性可以被利用来减除空间冗余度。如果图像空间冗余度高，图像编码复杂相对较低；图像空间冗余度低，图像编码复杂度相对较高。本发明是使用Sobel算子来计算宏块纹理复杂因子，为了降低计算复杂度先对宏块中的象素进行亚采样。该步骤中计算宏块的纹理复杂因子的步骤进一步包括： 

(1)为了降低计算复杂度，本发明对输入的原始象素进行2∶1亚采样。采样后的象素个数是原始象素个数的1/2，对采样后的象素进行边界方向向量计算所耗费的时间大约是原来的1/2。如图2、3所示，在亚采样后的图2中，实心圆表示可用的采样象素，亚采样后的象素值是由两个相邻象素求平均得到，如亚采样后图3中象素等于原始象素1和原始象素2的平均。因为相邻象素在空间上的强相关性，亚采样后的数据保留了原图像的数据特征，对算法的性能影响很小，亚采样后计算复杂度将很大幅度地降低。 

(2)在对宏块亚采样的基础上，对宏块空间冗余度进行分析，选取Sobel算子 $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ 提取宏块边界向量的水平和垂直方向分量。计算方法如下： 

dx_i，j＝p_i-1，j+1+2×p_i，j+1+p_i+1，j+1-p_i-1，j-1-2×p_i，j-1-p_i+1，j-1

dy_i，j＝p_i+1，j-1+2×p_i+1，j+p_i+1，j+1-p_i-1，j-1-2×p_i-1，j-p_i-1，j+1

其中dxi，j和dyi，j分别代表边界向量水平和垂直方向分量，p_i-1，j+1等 是指象素p_i，j在原始图像中的相邻象素。 

(3)对于亚采样后的象素pi，j，相应的边界向量为 

为了方便计算，定义边界方向向量的模是： 

(4)将宏块亚采样后的象素所对应的边界方向向量模相加求和得到内部变量T_D，此变量表示当前宏块的空间相关性，运用公式 $C_t=\frac{a}{T_D}$ 计算得出宏块纹理复杂因子C_t，a是调整因子。如果当前宏块与周围宏块相关性比较大，对于编码而言宏块的纹理复杂度小，相反宏块纹理复杂度大。 

在步骤200中码率控制模块运用公式E_i＝log₂(C_t+C_m)计算得出宏块能量E_i。在此步骤中还包括如下步骤： 

(1)宏块运动复杂度是指宏块所在的物体，运动的剧烈程度。求运动复杂因子的方法是针对当前宏块作运动搜索，本发明的参考图像选择前一帧图像，运动搜索方法选择菱形运动搜索算法。 

(2)计算宏块预测数据和原始数据的差异，用运动预测后SATD来计算运动复杂因子C_m：C_m＝b×SATD，其中b是根据经验取值的调整系数，SATD(Sum of Absolute Transform Difference，)是运动预测后的变换后绝对差和， $\mathrm{SATD}=\left(\underset{i,j}{\mathrm{\Σ}}\right|\mathrm{DiffT}(i,j)\left|\right)/2$ 表示在频域中残差分布。 

在步骤300中码率控制模块运用公式 $b_{(n,i)}=\frac{E_i}{\underset{n=0}{\overset{i-1}{\mathrm{\Σ}}}{E}_n}\×\frac{i}{N}\×B_n$ 将宏块比特数与宏块能量相结，其中：b_(n，i)是第n帧图像中第i个宏块分配的目标比特数；i是当前宏块在图像中的索引号；N是图像中宏块的个数；B_n是第n帧图像分配的目标比特数；E_i是第i个宏块能量。 

在步骤400中，在已经分配好宏块比特率的情况下，码率控制模块使用R-D率失真(rate-distortion)模型以宏块为单位求编码的量化参数Qp； 

R-D模型： $B=\mathrm{SAD}\×(\frac{c1}{\mathrm{Qp}}+\frac{c2}{Q{p}^2})$

其中B是当前帧分配的目标比特数、SAD是当前宏块的均方差，可以由前一帧图像宏块估计出来；Qp是第j个宏块的量化参数、c1，c2是调整参数。 

从上公式可看出，目标比特数已知的情况下，宏块复杂度SAD与量化参数Qp成反比，由此可以计算出宏块量化参数Qp。量化参数Qp是编码器控制图象压缩程度的重要参数，量化参数Qp越小，量化越精细，图像质量就越高，而产生的码流也越长。参数Qp控制编码中的量化器，当Qp减小，则量化后的系数中非零系数增多，编码器输出的码流就会变大。通过R-D模型动态改变量化参数Qp可以平衡输入图像复杂度与输出码率，使编码输出码率恒定。按照上述方法，在一定程度上使发送给发送缓冲器的码流维持恒定，也就达到了控制码率的目的。 

用本发明所述的方法从实验测试的效果看出，编码后的图像中运动剧烈的部分经过压缩后效果明显，编码后的图像质量相对比较均匀，效果提升明显。见图4所示在参考软件JM7.6上应用本发明的率失真曲线，图中的PSNR指的是整个序列的平均PSNR。PSNR定义： 

$\mathrm{PSNR}=101g\left(\frac{{\mathrm{\ψ}}_{\max }^2}{\mathrm{MSE}}\right)$

这里ψ_max是视频信号的最大强度值。对于最通常的每彩色8比特的视频，ψ_max 等于255。要注意的是对于固定的峰值，PSNR完全由MSE决定。PSNR比MSE更经常使用，是因为人们总是倾向于将图像质量和某种PSNR范围相关联。作 为一个主要的准则，对于亮度分量，PSNR高于40dB的图像一般意味着一个极好的图像，这与原始图像很接近，30至40dB之间通常意味着一个好的图像，20至30dB是较差的，PSNR低于20dB的图像质量是不可接受的。从本图可以看出，在同一码率下本发明的PSNR值高于原图像的PSNR值，这意味着在不增加输出比特率的前提下，提升图像清晰度。实验结果表明：编码器能够取得较高的稳定性，其率失真准确度有所提升，相应地，压缩性能有所改善。 

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (7)

1.一种视频图像宏块级自适应码率分配方法，其特征在于，包括以下步骤：

A.码率控制模块对采集图像的宏块进行空间上连续性的分析及运用特定运动搜索算法，码率控制模块分别利用sobel算子及运动预测SATD变化后绝对差合计算得出宏块纹理复杂因子C_t和运动复杂因子C_m；

B.码率控制模块运用公式E_i＝log₂(C_t+C_m)计算得出宏块能量E_i；

C.码率控制模块运用公式

将宏块比特数与宏块能量相结合，其中b_(n，i)是第n帧图像中第i个宏块分配的目标比特数；i是当前宏块在图像中的索引号；N是图像中宏块的个数；B_n是第n帧图像分配的目标比特数；E_i是第i个宏块能量；

D.在已经分配好宏块比特率的情况下，码率控制模块使用R-D率失真模型以宏块为单位求编码的量化参数Qp。

2.根据权利要求1所述的视频图像宏块级自适应码率分配方法，其特征在于，在上述所述的步骤A中，计算宏块纹理复杂因子C_t的过程进一步包括：

A1-1.码率控制模块对宏块亚像素亚像素采集；

A1-2.码率控制模块运用sobel算子对宏块空间冗余度进行分析，提取宏块边界向量的水平方向分量dx_i，j和垂直方向分量dy_i，j；

A1-3.对亚采样后的象素P_i，j，相应的边界向量为

定义边界方向向量的模是：

$\mathrm{Amp}\left({\stackrel{\→}{D}}_{i,j}\right)=\left|{\mathrm{dx}}_{i,j}\right|+\left|{\mathrm{dy}}_{i,j}\right|;$

A1-4.将宏块亚采样后的象素所对应的边界方向向量模相加求和得到内部变量T_D，此变量表示当前宏块的空间相关性，运用公式

计算得出宏块纹理复杂因子C_t，a是调整因子。

3.根据权利要求1所述的视频图像宏块级自适应码率分配方法，其特征在于，在上述所述的步骤A中，计算宏块运动复杂因子C_m的过程进一步包括：

A2-1.码率控制模块针对采集图像的宏块作运动搜索，参考图像选择前一帧图像，运动搜索方法选择菱形运动搜索算法；

A2-2.计算宏块预测数据和原始数据的差异，根据C_m＝b×SATD计算出运动复杂因子C_m，其中b是调整系数。

4.根据权利要求2所述的视频图像宏块级自适应码率分配方法，其特征在于，在所述步骤A1-2中，计算宏块边界向量的水平方向分量dx_i，j和垂直方向分量dy_i，j公式如下：

dx_i，j＝p_i-1，j+1+2×p_i，j+1+p_i+1，j+1-p_i-1，j-1-2×p_i，j-1-p_i+1，j-1

dy_i，j＝p_i+1，j-1+2×p_i+1，j+p_i+1，j+1-p_i-1，j-1-2×p_i-1，j-p_i-1，j+1

其中：dx_i，j和dy_i，j分别代表边界向量水平和垂直方向分量；p_i-1，j+1是指象素p_i，j在原始图像中的相邻象素。

5.根据权利要求3所述的视频图像宏块级自适应码率分配方法，其特征在于，在上述步骤A2-2中，

其中SATD表示在频域中残差分布。

6.根据权利要求1所述的视频图像宏块级自适应码率分配方法，其特征在于，在所述步骤A中所述的sobel算子为：

和

7.根据权利要求1所述的视频图像宏块级自适应码率分配方法，其特征在于，在所述步骤D中，所述R-D率失真模型为：

$B=\mathrm{SAD}\×(\frac{c1}{\mathrm{Qp}}+\frac{c2}{{\mathrm{Qp}}^2})$

其中：B是当前帧分配的目标比特数、SAD是当前宏块的均方差，可以由前一帧图像宏块估计出来；Qp是第i个宏块的量化参数、c1，c2是调整参数。

Images