CN101977309B - 码率控制方法及装置 - Google Patents

Abstract

本发明揭露了一种码率控制方法及装置，所述方法包括：计算当前帧与先前编码帧的复杂度偏差；和根据所述复杂度偏差来进行当前帧的码位分配。与现有技术相比，本发明不是通过视频帧的类型或者前后两帧的大小区别来简单的分配码位，而是通过评估视频帧的复杂度来分配码位，这样可以使较复杂的视频图像获得更多的码位，使视频图像质量较好而且稳定；同时本发明中评估视频帧的复杂度的方法简单有效，在降低运算复杂度的同时保证了有效性。

Description

码率控制方法及装置

【技术领域】

本发明涉及数字图像处理领域，特别涉及视频压缩中的码率控制方法及装置。

【背景技术】

码率控制技术是影响视频编码器编码效率的关键因素之一，其主要任务就是有效地控制视频编码器，使其输出码流的大小满足传输信道实际带宽的限制，并且尽可能获得最优的解码图像。鉴于码率控制技术的重要性，它一直是视频编码技术研究领域中的热点问题，目前比较知名的算法主要有国际标准化组织(ISO)、国际电工委员会(IEC)和国际电信联盟(ITU)制定的TML5、TMN8和H.264为代表的码率控制算法。

码率控制算法的主要功能大概可分解为两个步骤，第一步就是所谓的“码位分配(Bit Allocation)”，即把有限的带宽分配到图像组(GOP)、帧以及宏块等图像单位上，所述每个图像组包括若干帧，每帧图像又包括若干个宏块；第二步就是计算量化参数(QP)，以使实际输出码率和目标码率基本一致。码率控制优化算法的设计目标就是要实现位优化分配以及输出码率的精确控制。其关键在于通过何种标准来进行码位分配和设定量化参数。

其中第一步码位分配时通常都是采用帧级码率控制方法，即把有限的带宽按照帧为单位分配码位。以TML5和TMN8为代表的早期帧级码率控制算法，都是在假定整个视频序列是较为平缓的前提下，简单地根据视频帧的类型进行码率分配。因而TML5和TMN8在视频序列有较大运动幅度的情况下，是很难达到视频图像质量稳定的效果。所以就有必要通过分析视频帧的运动复杂程度来决定当前帧的码率分配。通过实验可知，对于出现场景变化或较为复杂的视频帧应当给予较多的码位(这里较为复杂的视频帧可以认为是有较大运动幅度或有较多残差信息的视频帧)以获得较好的图像质量，反之对于比较平缓的视频帧，较少的码位是合适的。因此一些码率控制算法通过计算当前视频帧的SAD(summer of absolution difference)或PSNR(peaksignal noise ratio)来评估视频帧的复杂程度。但是这些算法都是基于精确的率失真数学模型(RDO，rate distortion optimization)模式，需要大量的计算量，是很难应用到实际的嵌入式视频编码系统中去。并且这些算法都是通过已编码帧的数据递推得到当前帧的SAD和PSNR，与当前帧真实的SAD和PSNR有一定的偏差，其准确性也是值得商榷的。

因此，有必要提出一种新的帧级码率控制算法来解决上述方案的缺点。

【发明内容】

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

本发明的目的在于提供一种帧级码率控制方法及装置，通过评估视频帧的复杂度来分配码位。

为了达到本发明的目的，根据本发明的一个方面，本发明提供一种码率控制方法，所述方法包括：计算当前帧与先前编码帧的复杂度偏差；和根据所述复杂度偏差来进行当前帧的码位分配。

进一步地，所述当前帧与先前编码帧的复杂度偏差为当前帧的绝对误差和与先前编码帧的绝对误差和的商。

进一步地，所述先前编码帧的绝对误差和是所述当前帧之前若干已编码帧的绝对误差和的平均值，所述绝对误差和是一帧图像中所有宏块的绝对误差和的总和。

进一步地，所述根据所述复杂度偏差来进行当前帧的码位分配是指：根据所述复杂度偏差获得对应的码位分配因子，将所述码位分配因子与当前帧的初始码位估计值的乘积作为当前帧的最终码位估计值，所述初始码位估计值为所述当前帧所在图像组的剩余码位数与剩余帧数的商，所述剩余码位数是当前帧所在图像组所有可用码位数与已编码帧使用的码位数的差。

进一步地，所述复杂度偏差与所述码位分配因子为一阶分段函数，其中复杂度偏差为自变量，所述码位分配因子为因变量。

进一步地，所述一阶分

段函数μ_j：

其中μ_j为码位分配因子，λ_j为复杂度偏差，j代表当前帧为所在图像组中的第j帧，0.5≤α≤1，1≤β≤2。

根据本发明的另一方面，本发明提供一种码率控制装置，所述装置包括：复杂度偏差计算模块，计算当前帧与先前编码帧的复杂度偏差；和码位分配模块，根据所述复杂度偏差来进行当前帧的码位分配。

进一步地，所述复杂度偏差计算模块还包括：当前帧绝对误差和计算单元，通过当前帧所有宏块的绝对误差和计算当前帧的绝对误差和；先前编码帧绝对误差和计算单元，计算当前帧之前若干已编码帧的绝对误差和的平均值；和复杂度偏差计算单元，计算所述当前帧的绝对误差和与先前编码帧的绝对误差和的商作为当前帧的复杂度偏差。

进一步地，所述码位分配模块还包括：码位分配因子计算单元，通过所述复杂度偏差获得相应的码位分配因子；初始码位估计单元，计算所述当前帧所在图像组的剩余码位数与剩余帧数的商得到初始码位估计值；和最终码位分配单元，将所述码位分配因子与当前帧的初始码位估计值的乘积作为当前帧的最终码位估计值。

进一步地，所述码位分配因子计算单元通过一阶分段函数计算码位分配因子，所述一阶分段函数μj

为：

其中μ_j为码位分配因子，λ_j为复杂度偏差，j代表当前帧为所在图像组中的第j帧，0.5≤α≤1，1≤β≤2。

与现有技术相比，本发明不是通过视频帧的类型或者前后两帧的大小区别来简单的分配码位，而是通过评估视频帧的复杂度来分配码位，这样可以使较复杂的视频图像获得更多的码位，使视频图像质量较好而且稳定；同时本发明中评估视频帧的复杂度的方法简单有效，在降低运算复杂度的同时保证了有效性。

【附图说明】

结合参考附图及接下来的详细描述，本发明将更容易理解，其中同样的附图标记对应同样的结构部件，其中：

图1为本发明中码率控制方法的流程图；

图2为本发明中码率控制装置的结构方框图；和

图3为本发明中码率控制方法在一个实施例中的实施流程图。

【具体实施方式】

本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说，为避免混淆本发明的目的，由于熟知的方法、程序、成分和电路已经很容易理解，因此它们并未被详细描述。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

数字视频信息处理的视频信息是一个沿时间分布的视频序列。所述视频信息中主要包括三种冗余信息：空间冗余，时间冗余和统计冗余。由于视频信息之间存在冗余信息，利用视频信息自身所具有的相关性，通过某种特殊的技术，能够去除视频数据中的冗余信息，达到视频压缩的目的。在视频压缩技术中主要采用I帧和P帧编码技术，I帧是帧内编码方法，即对视频中的某一帧单独编码，与其它相邻帧没有关系，用来消除空间冗余；而P帧是帧间编码方法，是利用前面已编码帧的相关性来编码的，用来消除时间冗余。最后再利用熵编码方法消除统计冗余，最终达到压缩的目的。

应当认识到，在一些应用环境中对输出码流的大小有着需要满足传输信道实际带宽限制的要求，比如：无线视频实施传输系统、监控摄像系统等等。这时传输信道的带宽有限并且实时性要求较高。鉴于图像中的各帧图像的相关性较高，视频序列一般都采用IPPP...结构。即视频信息包括若干长度较长的图像组(GOP，Group of picture)，每组图像组包括N帧图像，比如N＝200。对于序列中第一帧图像采用I帧帧内编码方法，其余帧采用P帧帧间编码方法。其中P帧帧间编码方法主要包括以下步骤：1.当前帧基于前面已编码帧进行运动估计和预测模式选择；2.计算实际值与预测值的残差信息；3.对残差信息进行离散余弦变换和量化；4.熵编码，如果是帧间编码模式，编码运动矢量。所述P帧帧间编码方法是本领域技术人员应当了解的内容，本文不做深入讲解，只讲解与本发明相关的部分。本发明主要应用在前述步骤2与3之间，利用当前帧的残差信息与先前已编码帧的比较，确定后续的码位分配和量化系数以便进行变长编码。

请参考图1，其示出了本发明中码率控制方法100的流程图。所述码率控制方法100包括：

步骤102，对当前帧划分为若干个宏块，比如16像素*16像素的宏块。然后对每个宏块进行运动估计和预测模式选择，在现有技术中有较多最佳预测模式选择的方法，本发明中对此不做特别限制，当一个宏块完成运动估计或是帧内预测后，可以得到相应的亮度分量预测残差信息。

步骤104，根据当前帧所有宏块的亮度分量预测残差信息可以获得绝对误差和。

步骤106，对当前帧的绝对误差和与先前编码帧的绝对误差和进行比较得到复杂度偏差。其中先前编码帧为当前帧之前的至少一帧，为了提高所述复杂度偏差的精确度，通常采取若干帧先前编码帧的绝对误差和的平均值作为比较对象。所述复杂度偏差可以采用当前帧的绝对误差和与先前编码帧的绝对误差和的商。

步骤108，利用所述复杂度偏差决定当前帧的码位分配，所述复杂度偏差较高的视频帧分配较多码位，其中复杂度偏差较低的视频帧分配较少码位。

步骤110，在当前帧的码位被分配后，对当前帧的所有宏块进行离散余弦变换、量化和变长编码。

从所述方法100中可以认识到，本发明改变了传统视频编码的结构。当前帧在进行帧间预测或帧内预测后所得到的预测残差信息并不直接编码，而是对其进行统计得到当前帧的绝度误差和，与先前编码帧的绝度误差和进行比较后得到用于表征当前帧复杂度的复杂度偏差，然后根据复杂度偏差进一步地分配码位进行可变编码。这样可以使复杂度较高的视频帧获得较多的码位。同时由于本发明的方法较为简单，可以适用于非率失真数学模型(RDO)模式的帧级码率分配。特别地，还应当认识到，由于本发明中需要对当前帧与当前帧之前的先前编码帧作比较，所以对于视频序列的最初几帧视频帧可以采用预定量化系数编码或者传统算法编码，等需要处理的当前帧拥有若干帧先前编码帧后再开始使用本发明所述的方法。

请参考图2，其示出了本发明中码率控制装置200在一个实施例中的结构方框图。所述码率控制装置200包括复杂度偏差计算模块220和码位分配模块240。

所述复杂度偏差计算模块220用来计算当前帧与先前编码帧的复杂度偏差。所述复杂度偏差可以通过比较当前帧和先前编码帧的绝对误差和来表征。所述复杂度偏差计算模块220进一步包括三个子单元：当前帧绝对误差和计算单元222、先前编码帧绝对误差和计算单元224和复杂度偏差计算单元226。所述当前帧绝对误差和计算单元222通过将当前帧所有宏块的绝对误差和相加计算得到当前帧的绝对误差和；所述先前编码帧绝对误差和计算单元224计算当前帧之前若干已编码帧的绝对误差和的平均值，在一个实施例中，所述若干帧为5帧；所述复杂度偏差计算单元226计算所述当前帧的绝对误差和与先前编码帧的绝对误差和的商作为当前帧的复杂度偏差。

所述码位分配模块240根据所述复杂度偏差来进行当前帧的码位分配。使复杂度偏差较高的视频帧分配较多码位，其中复杂度偏差较低的视频帧分配较少码位。所述码位分配模块240进一步包括三个子单元：码位分配因子计算单元242、初始码位估计单元244和最终码位分配单元246。所述码位分配因子计算单元242通过所述复杂度偏差获得相应的码位分配因子，其可以通过一阶分段函数计算码位分配因子；所述初始码位估计单元244计算所述当前帧所在图像组的剩余码位数与剩余帧数的商得到初始码位估计值，所述剩余码位数是当前帧所在图像组所有可用码位数与已编码帧使用的码位数的差；所述最终码位分配单元246将所述码位分配因子与当前帧的初始码位估计值的乘积作为当前帧的最终码位估计值。

为了更好的理解本发明，现结合一个具体的实施例来详细描述本发明，但是需要说明的是，该实施例中给出的各种参数的具体值都是较佳的值，而不是唯一的值，鉴于各种平台的运算能力和应用场景的不同，各种参数的值可以根据实际需要进行设置。

请参考图3，其示出了本发明中码率控制方法300在一个实施例中的实施流程图。设定本实施例用于无线视频传输系统中，考虑到无线信道带宽有限并且应用环境对实时性的要求，所述视频编码序列采用IPPP...结构，并且图像组的长度较长，为每组图像组包括N帧视频帧，其中N＝200帧。对于序列第一帧I帧和第2、3、4、5帧根据初始量化系数进行编码，而本实施例提出的方法是从每个图像组的第六帧开始，到每个图像组结束。假定当前帧是一个图像组的第j帧视频帧，其中6≤j≤200。所述方法300包括：

步骤302，假定当前第j个视频帧包括M个宏块，其中M为大于0的整数，对于当前帧的第i个宏块可以通过当前帧之前的已编码帧对应的第i个宏块进行运动估计或是帧内预测后得到预测值，然后通过当前帧的第i个宏块的实际值与预测值相减的绝对值得到相应的亮度分量预测残差diff(x，y)。

步骤304，所述当前帧绝对误差和计算单元通过对每个像素的亮度分量预测残差diff(x，y)相加可得到当前第i个宏块的绝对误差和SAD：d_i，从而得到当前帧的绝对误差和SAD：D_i，这里假定宏块的规格为16像素*16像素：

$d_i=\underset{x=0,y=0}{\overset{x<16,y<16}{\mathrm{\&Sigma;}}}\left|\mathrm{diff}(x,,y)\right|$

$D_j=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{d}_i$

步骤306，对当前帧之前的5个已编码帧，所述先前编码帧绝对误差和计算单元通过计算可以得到其平均绝对误差和SAD：D_even(j)

$D_{\mathrm{even}}\left(j\right)=\frac{1}{5}\underset{l=j-5}{\overset{l<j}{\mathrm{\&Sigma;}}}{D}_l$

从而所述复杂度偏差计算单元就可以准确地得到当前帧和已编码帧的复杂度偏差λ_j：

λ_j＝D_j/D_even(j)

步骤308，当前j-1帧编完后，所述初始码位估计单元根据目标码率U和帧率F_r可以得到剩余N-j+1帧的码位和R(j)。

R(j)＝U/F_r*N-B(j)

其中B(j)是第j帧之前已编码的帧的码位和。那么进一步可以得到第j帧的码位初始估计值T_ave(j)

$T_{\mathrm{ave}}\left(j\right)=\frac{R\left(j\right)}{N-j+1}$

利用步骤306得到的复杂度偏差λ_j，所述码位分配因子计算单元根据下式对其做进一步处理得到码位分配因子μj，其中0.5≤α≤1，1≤β≤2。

${\mathrm{\&mu;}}_j=\left\{\begin{array}{c}\mathrm{\&alpha;}({\mathrm{\&lambda;}}_j<\mathrm{\&alpha;})\\ {\mathrm{\&lambda;}}_j(\mathrm{\&alpha;}\&le;{\mathrm{\&lambda;}}_j\&le;\mathrm{\&beta;})\\ \mathrm{\&beta;}({\mathrm{\&lambda;}}_j>\mathrm{\&beta;})\end{array}\right.$

步骤310，利用得到的μ_j和T_ave(j)，所述最终码位分配单元可以得到第j帧的最终码位估计值T_final(j)

T_final(j)＝u_j*T_ave(j)

在得到最终码位估计值后，可以对当前帧的所有M个宏块进行离散余弦变换、量化和变长编码。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于所述具体实施方式。

Claims (8)

1.一种码率控制方法，其特征在于，其包括：

计算当前帧与先前编码帧的复杂度偏差；和

根据所述复杂度偏差来进行当前帧的码位分配，

所述根据所述复杂度偏差来进行当前帧的码位分配是指：根据所述复杂度偏差获得对应的码位分配因子，将所述码位分配因子与当前帧的初始码位估计值的乘积作为当前帧的最终码位估计值，所述初始码位估计值为所述当前帧所在图像组的剩余码位数与剩余帧数的商，所述剩余码位数是当前帧所在图像组所有可用码位数与已编码帧使用的码位数的差。

2.根据权利要求1所述的码率控制方法，其特征在于，所述当前帧与先前编码帧的复杂度偏差为当前帧的绝对误差和与先前编码帧的绝对误差和的商。

3.根据权利要求2所述的码率控制方法，其特征在于，所述先前编码帧的绝对误差和是所述当前帧之前若干已编码帧的绝对误差和的平均值，所述绝对误差和是一帧图像中所有宏块的绝对误差和的总和。

4.根据权利要求1所述的码率控制方法，其特征在于，所述复杂度偏差与所述码位分配因子为一阶分段函数，其中复杂度偏差为自变量，所述码位分配因子为因变量。

5.根据权利要求4所述的码率控制方法，其特征在于，所述一阶分段函数μ_j：

其中μ_j为码位分配因子，λ_j为复杂度偏差，j代表当前帧为所在图像组中的第j帧，0.5≤α≤1，1≤β≤2。

6.一种码率控制装置，其特征在于，其包括：

复杂度偏差计算模块，计算当前帧与先前编码帧的复杂度偏差；和 

码位分配模块，根据所述复杂度偏差来进行当前帧的码位分配，

所述码位分配模块还包括：

码位分配因子计算单元，通过所述复杂度偏差获得相应的码位分配因子；

初始码位估计单元，计算所述当前帧所在图像组的剩余码位数与剩余帧数的商得到初始码位估计值；和

最终码位分配单元，将所述码位分配因子与当前帧的初始码位估计值的乘积作为当前帧的最终码位估计值。

7.根据权利要求6所述的码率控制装置，其特征在于，所述复杂度偏差计算模块还包括：

当前帧绝对误差和计算单元，通过当前帧所有宏块的绝对误差和计算当前帧的绝对误差和；

先前编码帧绝对误差和计算单元，计算当前帧之前若干已编码帧的绝对误差和的平均值；和

复杂度偏差计算单元，计算所述当前帧的绝对误差和与先前编码帧的绝对误差和的商作为当前帧的复杂度偏差。

8.根据权利要求6所述的码率控制装置，其特征在于，所述码位分配因子计算单元通过一阶分段函数计算码位分配因子，所述一阶分段函数μ_j为：

其中μ_j为码位分配因子，λ_j为复杂度偏差，j代表当前帧为所在图像组中的第j帧，0.5≤α≤1，1≤β≤2。 

Images