CN103957410B - 一种基于残差频域复杂度的i帧码率控制方法 - Google Patents

Abstract

本发明公开了一种基于残差频域复杂度的I帧码率控制方法，该方法为：读入一个I帧图像，若是序列的第一帧，则置初始缓冲区水平为零，并设置I帧码率量化模型的两个参数为经验值；根据目标码率、帧率和缓冲区充满度计算当前I帧的目标比特数；计算亮度分量帧内预测残差的频域系数的平均绝对值作为编码复杂度；根据提出的I帧码率‑量化‑复杂度模型计算量化步长；用计算出的量化步长对当前I帧进行率失真优化编码，确定各宏块编码的最优模式；如果当前编码完成的是序列的第一帧，则不需更新码率模型参数，从序列的第二帧编码完成后，使用之前编码帧的实际编码结果用线性回归的方法更新参数；之后读入下一个I帧进行编码，直至序列所有帧编码完成。

Description

一种基于残差频域复杂度的I帧码率控制方法

技术领域

本发明涉及计算机视频编码的技术领域，特别涉及一种基于残差频域复杂度的I帧码率控制方法。

背景技术

目前，H.264标准以其高效的压缩效率广泛应用于视频编码和传输的各个领域。码率控制作为其中的关键技术通过调整量化参数以使实际码率接近目标码率，同时具有较好的视频质量，是实际视频编码应用中不可缺少的组成部分。但是目前大多数码率控制技术都是针对P帧，而I帧的码率控制技术研究较少。已有的I帧码率控制方法常通过设置经验量化参数进行编码，而没有考虑I帧编码复杂度，导致I帧码率控制效果不佳，缓冲区充满度波动剧烈，从而影响整个序列的编码质量。

为了提高I帧码率控制效果，部分方案对I帧编码复杂度进行估计,并提出新的I帧码率-量化模型进行编码控制，相比提案JVT-H017中的I帧码率控制效果有所改善。比如常用的基于图像空域梯度或像素熵信息的I帧编码复杂度测量等。但是H.264帧内编码采用多种方向模式进行空间预测，并使用率失真优化技术来选择最优模式，之后对预测残差进行整数DCT变换和量化，最后对频域DCT系数进行熵编码。因此基于空域像素梯度或像素熵信息的帧内复杂度测量与H.264的帧内编码特性不符，导致I帧复杂度测量和码率模型不准确，I帧码率控制效果改进有限。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于提供一种基于残差频域复杂度的I帧码率控制方法，该方法为H.264I帧码率控制方法，能对I帧编码复杂度进行准确测量，从而得到更准确的I帧码率-量化-复杂度模型，改进I帧码率控制效果，提高整个序列的编码质量。

本发明解决其技术问题所采用的技术方案是：本发明提供一种基于残差频域复杂度的I帧码率控制方法，该方法包括如下步骤：

1）读入视频序列中待编码的I帧图像。

2）根据目标码率、预定义帧率和当前缓冲区水平计算分配给当前I帧的目标比特数。公式如下：

其中R_intra为I帧目标比特数，bit_rate为目标码率，frame_rate为预定义帧率，buffer_size为缓冲区大小，curr_buff_level为当前缓冲区水平。

3）计算待编码I帧基于残差频域信息的帧内编码复杂度MATPR，包括如下子步骤：

a）读入要编码的I帧图像，一般原始待编码帧为YUV4:2:0格式。取亮度分量Y做Sobel边缘检测，得到亮度分量每个像素的边缘方向和强度。对一个像素p_i,j，记其边缘强度矢量为(dx_i,j,dy_i,j)，则：

像素p_i,j的边缘强度和方向定义为：

b）得到亮度分量每个像素的边缘强度和方向后，以4×4块为单位统计边缘方向直方图。即4×4块内的16个像素根据各自边缘方向分类为8种帧内方向预测模式中的一种，每种方向模式的强度由分类到此模式中的所有像素的边缘强度之和进行测量。

c）把具有最大边缘强度的模式作为此4×4块最可能的帧内预测模式。

d）根据上步得到的最可能预测模式和H.264帧内预测的原理，得到每个4×4块的预测块。

e）由原始帧亮度分量和预测图像相减得到以4×4块为单位的残差图像。由于基于边缘检测的帧内模式预测非常准确，得到的残差图像与实际的编码残差非常相似。

f）使用H.264标准中的整数DCT变换对上步得到的空域残差图像进行4×4块为单位的变换，得到亮度残差各4×4块的频域DCT系数。

g）计算整帧亮度残差经过整数DCT变换后的频域系数的平均绝对值MATPR，作为I帧编码复杂度的测量。即：

其中M和N分别是I帧亮度分量以像素为单位的宽和高，TPR_i,j是残差图像以4×4块为单位的整数DCT变换系数。

4）根据上述步骤3计算得到I帧编码复杂度MATPR，本发明提出了一种新的I帧码率R-量化Q-编码复杂度MATPR关系模型如下：

其中c和d均大于零，为线性模型参数，β为常数0.9；通过式(5)可得计算当前I帧编码的量化步长Q_step的公式如下：

上述式（5）的I帧R-Q-MATPR模型建立过程如下：

a）I帧编码码率R_intra与两个因素有关，一个是外部因素，即使用的量化参数QP或量化步长Q_step，二是I帧图像本身的特性，即I帧图像的编码复杂度，在本发明中用MATPR测量。H.264的I帧编码具有多种帧内预测模式，即使帧内编码复杂度为零，即需要用于编码残差的比特数为零，仍需要有头比特数来编码预测模式信息，因此在相同量化步长下，I帧码率与编码复杂度具有线性关系，即：

R_intra＝(a×MATPR+b)×f(Q) （7）

其中a和b均为正数，是线性模型的两个参数。

b）当I帧编码复杂度固定时，如对特定的某一个I帧图像，I帧码率R_intra将是量化参数QP或量化步长Q_step的函数。码率-量化模型的研究成果较多，如基于残差服从拉普拉斯分布或柯西分布提出的二次率失真模型或指数率失真模型，其中指数模型对I帧编码尤为准确，因此我们采用指数模型来表达I帧R-Q关系，即式（7）中的f(Q)由指数模型表达如下：

其中α和β均大于零，为指数模型参数，Q_step为量化步长。将式（7）与式（8）结合，即可得到基于MATPR的新的I帧码率-量化-复杂度关系模型：

其中c和d为线性模型参数，在编码一个I帧后使用之前帧的实际编码结果采用线性回归的方法进行更新。经过大量实验，参数β对不同的序列趋于稳定，考虑到计算复杂度问题，将其设置为经验常数0.9。

5）用上述步骤4计算出的量化步长Q_step对当前I帧进行帧内编码，即采用率失真优化技术确定每个宏块的实际编码模式。

6）使用之前帧的实际编码结果对式（5）中的参数c和d采用线性回归的方法进行更新。

7）如果序列未编码完，则返回上述步骤1读入新的I帧，继续编码直至序列所有帧编码完成。

有益效果：

1、本发明充分考虑了H.264帧内编码的特性，能对I帧编码复杂度做出了准确预测。

2、本发明有效地解决了缓冲区充满度剧烈波动的问题，提高了整个序列的编码质量。

附图说明

图1为本发明的I帧码率控制整体流程图。

图2为本发明的I帧编码复杂度计算流程图。

具体实施方式

以下结合说明书附图对本发明创造作进一步的详细说明。

如图1和图2所示，本发明提供了一种基于残差频域复杂度的I帧码率控制方法，该方法具体为H.264I帧码率的控制方法，包括如下步骤：

1）读入视频序列中待编码的I帧图像。如果是序列的第一帧，则设置初始缓冲区水平为零，即curr_buff_level=0；并设置I帧码率模型中的参数c和d为经验值。

2）根据目标码率、预定义帧率和当前缓冲区水平计算分配给当前I帧的目标比特数。公式如下：

其中R_intra为I帧目标比特数，bit_rate为目标码率，frame_rate为预定义帧率，buffer_size为缓冲区大小，curr_buff_level为当前缓冲区水平。

3）计算待编码I帧基于残差频域信息的帧内编码复杂度MATPR，包括如下子步骤：

a）读入要编码的I帧图像，取亮度分量Y做Sobel边缘检测，得到亮度分量每个像素的边缘方向和强度。对一个像素p_i,j，记其边缘强度矢量为(dx_i,j,dy_i,j)，则：

像素p_i,j的边缘强度和方向定义为：

b）得到亮度分量每个像素的边缘强度和方向后，以4×4块为单位统计边缘方向直方图。即4×4块内的16个像素根据各自边缘方向分类为8种帧内方向预测模式中的一种，每种方向模式的强度由分类到此模式中的所有像素的边缘强度之和进行测量。

c）把具有最大边缘强度的模式作为此4×4块最可能的帧内预测模式。

d）由最可能预测模式和H.264帧内预测的原理，得到每个4×4块的预测块。

e）由原始帧亮度分量和预测图像相减得到以4×4块为单位的残差图像。

f）使用H.264标准中的整数DCT变换对上步得到的空域残差图像进行4×4块为单位的变换，得到亮度残差各4×4块的频域DCT系数。

g）计算整帧亮度残差经过整数DCT变换后的频域系数的平均绝对值MATPR，作为I帧编码复杂度的测量。即：

其中M和N分别是I帧亮度分量以像素为单位的宽和高，TPR_i,j是残差图像以4×4块为单位的整数DCT变换系数。

4）根据上述步骤2计算得到的当前I帧目标比特数R_intra和上述步骤3计算得到I帧编码复杂度MATPR，是基于I帧码率-量化-复杂度模型：

其中β为经验常数0.9，计算当前I帧编码的量化步长Q_step：

其中，上述步骤4中是用残差频域信息进行I帧编码复杂度测量，是用线性模型代替正比例模型。

5）用上述步骤4计算出的量化步长Q_step对当前I帧进行帧内编码。

6）如果当前帧是序列的第一帧，则跳过此步，即I帧码率模型参数c和d不用更新；否则，使用之前帧的实际编码结果对参数c和d采用线性回归的方法进行更新，公式如下：

其中R_intra,i是第i帧的实际编码比特数，MATPR_i是第i帧的MATPR，Q_step,i是第i帧的实际量化步长；n的最大值为5，即最多使用5个之前编码帧来更新参数c和d。

7）如果序列未编码完，则返回步骤1）读入新的I帧，继续编码直至序列所有帧编码完成。

Claims (2)

1.一种基于残差频域复杂度的H.264I帧码率控制方法，其特征在于，包括如下步骤：

1)读入当前要编码的I帧图像，如果是序列的第一帧，则设置初始缓冲区水平为零，并设置I帧码率模型中的两个参数为经验值；

2)根据目标码率、预定义帧率、当前缓冲区水平和缓冲区大小计算分配给当前I帧的目标比特数；

$R_{\mathrm{int}ra}=\frac{bit\_rate}{frame\_rate}+(0.8\×buffer\_size-curr\_buff\_level)---\left(1\right)$

其中R_intra为I帧目标比特数，bit_rate为目标码率，frame_rate为预定义帧率，buffer_size为缓冲区大小，curr_buff_level为当前缓冲区水平；

3)计算待编码I帧基于预测残差频域信息的帧内编码复杂度MATPR；

4)根据步骤2)计算得到的当前I帧目标比特数R_intra和步骤3)计算得到I帧编码复杂度MATPR，由基于MATPR的I帧码率-量化-复杂度模型：

$R_{\mathrm{int}ra}=(c\×MATPR+d)\×Q_{step}^{-\mathrm{\β}}---\left(2\right)$

其中β为经验常数0.9，计算当前I帧编码的量化步长Q_step：

$Q_{step}={\left(\frac{R_{\mathrm{int}ra}}{c\×MATPR+d}\right)}^{-\frac{1}{\mathrm{\β}}}---\left(3\right)$

5)用步骤4)计算出的量化步长Q_step对当前I帧进行帧内编码；

6)如果当前帧是序列的第一帧，则跳过此步，即I帧码率模型参数c和d不用更新；否则，使用之前帧的实际编码结果对参数c和d采用线性回归的方法进行更新，公式如下：

$\left\{\begin{array}{c}\left[\begin{array}{c}c\\ d\end{array}\right]={(X^T\·X)}^{-1}\·X^T\·Y\\ X_{n\×2}=\[{\mathrm{MATPR}}_i,1\]\\ Y_{n\×1}=\[\frac{R_{intra,i}}{Q_{step,i}^{-\mathrm{\β}}}\]\end{array}\right.---\left(4\right)$

其中R_intra,i是第i帧的实际编码比特数，MATPR_i是第i帧的MATPR，Q_step,i是第i帧的实际量化步长；n的最大值为5，即最多使用5个之前编码帧来更新参数c和d；

7)如果序列未编码完，则返回步骤1)读入新的I帧，继续编码直至序列所有帧编码完成。

2.根据权利要求1所述的基于残差频域复杂度的H.264I帧码率控制方法，其特征在于，所述步骤3)的计算待编码I帧基于预测残差频域信息的帧内编码复杂度MATPR的方法如下；

a)读入要编码的I帧图像，取亮度分量Y做Sobel边缘检测，得到亮度分量每个像素的边缘方向和强度；对一个像素p_i,j，记其边缘强度矢量为(dx_i,j,dy_i,j)，则：

$\left\{\begin{array}{c}{\mathrm{dx}}_{i,j}=p_{i-1,j+1}+2\×p_{i,j+1}+p_{i+1,j+1}-p_{i-1,j-1}-2\×p_{i,j-1}-p_{i+1,j-1}\\ {\mathrm{dy}}_{i,j}=p_{i+1,j-1}+2\×p_{i+1,j}+p_{i+1,j+1}-p_{i-1,j-1}-2\×p_{i-1,j}-p_{i-1,j+1}\end{array}\right.---\left(5\right)$

像素p_i,j的边缘强度和方向定义为：

$\left\{\begin{array}{c}Str\left(p_{i,j}\right)=\sqrt{|{\mathrm{dx}}_{i,j}{|}^2+|{\mathrm{dy}}_{i,j}{|}^2}\\ Dir\left(p_{i,j}\right)=\frac{180}{\mathrm{\π}}\×\arctan \left(\frac{{\mathrm{dy}}_{i,j}}{{\mathrm{dx}}_{i,j}}\right)\end{array}\right.---\left(6\right)$

b)得到亮度分量每个像素的边缘强度和方向后，以4×4块为单位统计边缘方向直方图，即4×4块内的16个像素根据各自边缘方向分类为8种帧内方向预测模式中的一种，每种方向模式的强度由分类到此模式中的所有像素的边缘强度之和进行测量；

c)把具有最大边缘强度的模式作为此4×4块最可能的帧内预测模式；

d)根据最可能预测模式和H.264帧内预测的原理，得到每个4×4块的预测块；

e)由原始帧亮度分量和预测图像相减得到以4×4块为单位的残差图像；

f)使用H.264标准中的整数DCT变换对上步得到的空域残差图像进行4×4块为单位的变换，得到亮度残差各4×4块的频域DCT系数；

g)计算整帧亮度残差经过整数DCT变换后的频域系数的平均绝对值MATPR，作为I帧编码复杂度的测量，即：

$MATPR=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\Σ}}\underset{j=0}{\overset{N-1}{\Σ}}\left|{\mathrm{TPR}}_{i,j}\right|---\left(7\right)$

其中M和N分别是I帧亮度分量以像素为单位的宽和高，TPR_i,j是残差图像以4×4块为单位的整数DCT变换系数。