CN102630013B - 基于场景切换的码率控制视频压缩方法和装置 - Google Patents

Abstract

一种基于场景切换的码率控制视频压缩方法和装置，其中，当有视频输入时，由场景切换算法来计算是否有场景却换算法发生，如果发生了场景切换，那就插入IDR帧，重新计算后面的码率。如果没有发生场景切换，就按正常的方法计算，并且根据前面进行场景切换后得到的宏块的信息对压缩编码计算中得到的QP值信息进行调整，本发明算法与现有技术相比，不额外增加I帧的数量，可以有效地节省码率资源，同时有效地提高场景切换帧后续各帧的编码质量和序列整体的编码质量。

Description

基于场景切换的码率控制视频压缩方法和装置

技术领域

本发明属于视频压缩编码技术领域，尤其涉及一种基于场景切换的码率控制视频压缩方法和装置。

背景技术

码率控制技术在带宽受限的多媒体通信系统中具有重要的作用。传统的视频通信码率控制算法，如H．264／AVC编码器中采用的码率控制算法，在将码率资源分配到图像组(GOP)中各帧图像时，仅仅考虑了各帧图像自身的复杂度，而忽视了同GOP中各帧图像之间的相关性，如对含有频繁场景切换的视频序列进行编码时，GOP中某帧图像可能因出现场景切换而与其参考帧之间毫无相关性，如果仍然采用传统的码率控制方法，将导致图像编码资源浪费和编码质量的下降。

由于视频序列中I、P及B帧编码后产生的比特数不一样，为了使输出码流速率与信道速率相匹配，提高信道利用率，一般在编码器和信道之间加一个缓冲区，而缓冲区容量大小与通信时延的要求构成了一对新的矛盾，码率控制的目的就是为了解决这一矛盾。对于编码器来说，一个鲁棒的码率控制算法应该在充分利用带宽资源和保证缓冲区不溢出的前提下，将有限的码率资源进行合理分配，获得尽可能好的编码质量。

当视频序列中出现场景切换时，其编码质量将受到影响，影响程度取决于场景切换帧在其所处GOP中的位置。当场景切换发生在I帧时，由于I帧采用帧内编码模式，场景切换对于I帧本身不会产生任何影响，同时也不会对后续帧的预测编码产生影响；由于B帧为双向预测，只要其前后2个参考帧有1帧与其处于同一场景中(假设序列中没有连续2帧同时发生场景切换)，其预测编码的精度仍然能够得到保证，编码质量不会受到很大影响。不同于I帧和B帧，当场景切换发生在P帧，对当前GOP编码质量的影响相当大：首先，由于当前P帧与其参考帧处于不同的场景中，帧间预测编码将完全失效，宏块必须通过RDO(rate-distortionoptimiza-tion)模式选择后才采取帧内编码，优化过程极大浪费了编码时间；其次，由于绝大多数宏块采用帧内编码模式，占用了大量的码率资源，使得后续各帧由于码率资源缺乏而编码质量下降，此影响还会延续至后续的GOP。

现实中的视频序列，不可避免存在场景切换。如果编码器不考虑场景切换的影响，就会浪费有限的码率资源，从而导致编码质量下降。目前，针对场景切换提出了很多码率控制算法，其中常用的方法是通过改变GOP的结构和长度来重新分配码率资源。如上文提出的算法中，当检测到场景切换时，当前GOP剩余帧和下一个GOP的所有帧合并为一个GOP，因此，GOP长度要比默认长度N大，最糟的情况下为2N-1。由于GOP过长容易导致缓冲区的溢出，并且导致GOP中后面部分帧的编码性能下降。在上文提出的算法中，采取将过长的GOP拆分成2个新的GOP来解决这个问题，但这样做的后果是导致增加一个I帧，造成码率资源的浪费。

在视频压缩算法中，一般的视频压缩算法都没有提及对场景切换的要求，由于采用了固定长度的图像组(GOP)结构，不能有效地处理视频序列中的场景切换，导致场景切换帧后续各帧编码质量严重下降。现有的X.264视频压缩编码算法对场景切换虽然做了一些检测实现，但是并不是所有的场景切换都能正确的检测，而且对于检查到有场景切换的图像也不是每次都用IDR帧（Instantaneous DecodingRefresh即时解码刷新）来重新编码。

发明内容

鉴于现有技术中存在的缺陷，本发明提供一种基于场景切换的码率控制视频压缩方法，其特征在于包括如下步骤：步骤一、输入视频流；步骤二、在对视频流进行编码之前判断单个图像组（GOP）内是否发生场景切换，如果发生场景切换，则执行步骤三，否则执行步骤四；步骤三、强制用IDR帧来编码，重新计算该图像组GOP内的码率大小，然后执行步骤五；步骤四、对输入的视频流进行正常码率编码，进而转入步骤六；步骤五、根据发生场景切换之后重新计算码率后的图像的每个宏块的信息来修正图像组内每个宏块的编码QP值，然后进行压缩编码；步骤六、根据编码压缩输出视频流。

进一步，本发明所述的基于场景切换的码率控制视频压缩方法，其特征在于所述步骤二中判断视频流是否发生场景切换的过程具体包括如下步骤：

步骤1.1，对图像组内连续视频图像f_n分别作2x2,4x4,8x8网格划分,定义

为分割后的子图像，n代表第n幅图像，k代表分割大小，k取1，2，4，8，i代表网格行坐标，j代表网格列坐标；

步骤1.2利用Paul Viola提出的积分图方法对子图像

提取8个haar特征，定义

表示

对应子块的特征向量，每帧图像特征向量总长度为(2×2+4×4+8×8)×8＝672；

步骤1.3若n=1,保存

转到步骤1.1；若n>1,则转到步骤1.4；

步骤1.4对连续两帧视频图像计算相似度S(f_n-1,f_n)；其中

$S(f_{n-1},f_n)=\underset{k=\mathrm{2,4,8}}{\mathrm{\Σ}}\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}S(V_{n-1}^k(i,j),V_n^k(i,j))\right)$

$S(V_{n-1}^k(i,j),V_n^k(i,j))=\arccos \left(\frac{V_{n-1}^k(i,j)\·V_n^k(i,j)}{\left|V_{n-1}^k(i,j)\right|\left|V_n^k(i,j)\right|}\right)$

步骤1.5对连续两帧视频图像进行判别，若S(f_n-1,f_n)＞S₀，则表明两幅图像差异比较大，表明这帧图像发生了场景切换。

本发明通过场景切换的快速检测方法检测视频序列中的场景切换，在场景切换帧处，终止当前GOP，并对GOP层的码率分配算法做出修正。本发明算法与现有技术相比，不额外增加I帧的数量，可以有效地节省码率资源，同时有效地提高场景切换帧后续各帧的编码质量和序列整体的编码质量。仿真结果表明：采用该算法可以有效地降低场景切换对后续帖编码质量的影响，而且合理地分配码率资源，提高了整个视频序列的编码质量。在相同码率条件下，整体编码质量可以提高0．3～O．5dB。

附图说明

图1是本发明基于场景切换的码率控制视频压缩方法的流程图；

图2是本发明基于场景切换的码率控制视频压缩装置的结构图。

具体实施方式

为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的基本思想为：当有视频输入时，由场景切换算法来计算是否有场景却换算法发生。如果发生了场景切换，那就插入IDR帧，重新计算后面的码率，并且根据前面进行场景切换后得到的宏块的信息对在压缩编码计算中得到的QP值信息进行调整。如果没有发生场景切换，就按正常的方法计算，具体的计算方法在后面有详细说明。

图1是本发明基于场景切换的码率控制视频压缩方法的流程图，主要包括如下步骤：

步骤一、输入视频流；该视频流是未经编码压缩的原始视频流，也可以是各种码源的视频流，例如AVI等。

步骤二、在对视频流进行编码之前判断单个图像组（GOP）内是否发生场景切换，如果发生场景切换，则执行步骤三，否则执行步骤四；

判断视频流是否发生场景切换的具体步骤如下：

步骤1.1，对图像组内连续视频图像f_n分别作2x2,4x4,8x8网格划分,定义

为分割后的子图像，n代表第n幅图像，k代表分割大小，k取1，2，4，8等，i代表网格行坐标，j代表网格列坐标；

步骤1.2利用Paul Viola提出的积分图方法对子图像提取8个haar特征，定义

表示

对应子块的特征向量，每帧图像特征向量总长度为(2×2+4×4+8×8)×8＝672

步骤1.3若n=1,保存

转到步骤1.1；若n>1,则转到步骤1.4。

步骤1.4对连续两帧视频图像计算相似度S(f_n-1,f_n)。

$S(f_{n-1},f_n)=\underset{k=\mathrm{2,4,8}}{\mathrm{\Σ}}\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}S(V_{n-1}^k(i,j),V_n^k(i,j))\right)$

$S(V_{n-1}^k(i,j),V_n^k(i,j))=\arccos \left(\frac{V_{n-1}^k(i,j)\·V_n^k(i,j)}{\left|V_{n-1}^k(i,j)\right|\left|V_n^k(i,j)\right|}\right)$

步骤1.5对连续两帧视频图像进行判别，若S(f_n-1,f_n)＞S₀，（S₀是一个阈值代表两幅图像的相似度，一般的取值为1～1.5）则表明两幅图像差异比较大，表明这帧图像发生了场景切换。所得出的S，是后续计算QP值的一个依据。每个宏块的单独的S值，也是后续计算每个宏块QP值的依据。

步骤三、强制用IDR帧来编码，重新计算该图像组GOP内的码率大小，然后执行步骤五。重新计算码率主要为了减少码率的偏差，使码率准确；计算的过程主要是根据IDR帧的间隔和码率的大小来计算；在该算法中，当前图像组GOP的长度将随着场景切换帧的出现自适应地改变，并且同时对码率资源进行重新分配。假设默认的GOP长度为N，分配给每个GOP的码率资源为：

$R=B\frac{N}{F}+R_{\mathrm{prev}},---\left(1\right)$

其中：B表示带宽；F表示帧速率；R表示前一个GOP编码剩余比特或超支比特。对于第1个GOP来说，R_prev＝0。每编码一帧图像，R更新如下：

R＝R-S_ipb，   (2)

其中S_ipb取为刚编码帧(可能为I帧、P帧或B帧)所用的比特数。当GOP所有帧编码完毕后，R_prev＝R。

假设当前GOP在编码M(M<N)帧后，第M+1帧检测出场景切换，在H．264编码算法中，此帧内绝大多数宏块经过RDO优化之后均采用帧内预测模式编码，当前GOP也在编完所有N帧之后结束。采用本文的算法，当检测到第M+1帧有场景切换时，当前GOP即提前终止，并提前进入下一个GOP的编码。由上述分析可知，发生场景切换时当前GOP的实际长度为M帧，因此，其预分配的码率按照式(1)计算并不合适，应由下式决定：

$R^{\&prime;}=B\frac{M}{F}+R_{\mathrm{prev}}.---\left(3\right)$

由于GOP提前终止，其未编码的N-M帧应分配的编码比特数为：

$R_r=B\frac{N-M}{F}.---\left(4\right)$

这部分比特应该从当前GOP按照式(1)计算的预分配码率中减去，则当前GOP提前终止时，R_prev应该修正如下：

$R_{\mathrm{prev}}=R-R_r=R-B\frac{N-M}{F}.---\left(5\right)$

当前GOP提前终止后对R_prev做出修正，根据式(1)则可计算出下一个GOP的预分配码率，并开始下一个GOP的编码。

步骤四、对输入的视频流进行正常码率编码，进而转入步骤六。

步骤五、根据发生场景切换之后重新计算码率后的图像的每个宏块的信息来修正图像组内每个宏块的编码QP值。

根据场景切换算法得到图像的每个宏块的信息，这些信息在计算场景切换中提到。主要是每个宏块优化宏块的编码QP值，QP值的计算在H264的算法中计算得出，本算法根据这些计算出来的QP和场景切换得到的每个宏块的信息来作一些调整。具体来说：

如果没有场景切换，利用二次R-Q模型解二次方程得到编码的量化参数值。同时为保证前后帧图像视觉质量的平滑过渡，前后帧图像的量化参数相差值不能比2大。设前一帧图像的量化参数为Qpp，当前帧图像的量化参数为Qpp～，则根据二次R—Q模型计算出的当前帧图像的量化参数为Q∧pp要经过公式Qpp～=min{Qpp+2,max{Qpp-2,Q∧pc}}做进一步处理；

如果判断这帧图像是一个场景切换，那么就对这帧图像采用I帧来编码，重新计算后面每帧的比特大小。出现了场景切换，缓冲区的占有率会突然升高，通过缓冲区的计算，如果缓冲区快到上益限制的70%了，为了减少缓冲区的占有率，在接下来的那帧图像就用运动矢量和残差都为0的帧来代替，这样就会使缓冲区的占有率下降了，从而满足解码器对缓冲区的需要，对后面的帧重新计算码率。如果有场景切换，QP通过下面的方程计算得到，

$\widetilde{Q_{\mathrm{pc}}}=\left\{\begin{array}{cc}{Q}_{\mathrm{pp}}+3& T_b<0\\ \mathrm{MIN}\{Q_0,\widehat{Q_{\mathrm{pc}}}+5\}& \mathrm{elsewhere}\end{array}\right.$

Q0表示第一个帧内编码图像和前向预测图像的初始量化参数，Tb表示估算的目标比特。

在得到整个帧的QP后，根据场景切换得到的每个宏块的复杂度信息，调整每个宏块的QP参数，得到最终的ＱＰ值，调整主要是：如果宏块的复杂度高，那么分配的ＱＰ系数就会大，如果复杂度低得宏块分配的ＱＰ系数就会低，得到的ＱＰ就会小。然后正常压缩编码，输出得到压缩的码流数据。

步骤六、根据编码压缩输出视频流。

图2是本发明基于场景切换的码率控制视频压缩装置的结构图，具体包括如下模块：

输入模块1，其用于输入视频流；该视频流是未经编码压缩的原始视频流，也可以是各种码源的视频流，例如AVI等。

场景切换判断模块2，用于在对视频流进行编码之前判断单个图像组内是否发生场景切换；该模块判断视频流是否发生场景切换的具体过程如下：

步骤1.1，对图像组内连续视频图像f_n分别作2x2,4x4,8x8网格划分,定义

为分割后的子图像，n代表第n幅图像，k代表分割大小，k取1，2，4，8等，i代表网格行坐标，j代表网格列坐标；

步骤1.2利用Paul Viola提出的积分图方法对子图像

提取8个haar特征，定义

表示

对应子块的特征向量，每帧图像特征向量总长度为(2×2+4×4+8×8)×8＝672

步骤1.3若n=1,保存

转到步骤1.1；若n>1,则转到步骤1.4。

步骤1.4对连续两帧视频图像计算相似度S(f_n-1,f_n)。

$S(f_{n-1},f_n)=\underset{k=\mathrm{2,4,8}}{\mathrm{\&Sigma;}}\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}S(V_{n-1}^k(i,j),V_n^k(i,j))\right)$

$S(V_{n-1}^k(i,j),V_n^k(i,j))=\arccos \left(\frac{V_{n-1}^k(i,j)\&CenterDot;V_n^k(i,j)}{\left|V_{n-1}^k(i,j)\right|\left|V_n^k(i,j)\right|}\right)$

步骤1.5对连续两帧视频图像进行判别，若S(f_n-1,f_n)＞S₀，（S₀是一个阈值代表两幅图像的相似度，一般的取值为1～1.5）则表明两幅图像差异比较大，表明这帧图像发生了场景切换。所得出的S，是后续计算QP值的一个依据。每个宏块的单独的S值，也是后续计算每个宏块QP值的依据。

IDR帧编码模块3，用于对发生场景切换的图像组强制用IDR帧来编码，重新计算该图像组GOP内的码率大小；

重新计算码率主要为了减少码率的偏差，使码率准确；计算的过程主要是根据IDR帧的间隔和码率的大小来计算；在该算法中，当前图像组GOP的长度将随着场景切换帧的出现自适应地改变，并且同时对码率资源进行重新分配。假设默认的GOP长度为N，分配给每个GOP的码率资源为：

$R=B\frac{N}{F}+R_{\mathrm{prev}},---\left(1\right)$

其中：B表示带宽；F表示帧速率；R表示前一个GOP编码剩余比特或超支比特。对于第1个GOP来说，R_prev＝0。每编码一帧图像，R更新如下：

R＝R-S_ipb，   (2)

其中S_ipb取为刚编码帧(可能为I帧、P帧或B帧)所用的比特数。当GOP所有帧编码完毕后，R_prev=R。

假设当前GOP在编码M(M<N)帧后，第M+1帧检测出场景切换，在H．264编码算法中，此帧内绝大多数宏块经过RDO优化之后均采用帧内预测模式编码，当前GOP也在编完所有N帧之后结束。采用本文的算法，当检测到第M+1帧有场景切换时，当前GOP即提前终止，并提前进入下一个GOP的编码。由上述分析可知，发生场景切换时当前GOP的实际长度为M帧，因此，其预分配的码率按照式(1)计算并不合适，应由下式决定：

$R^{\&prime;}=B\frac{M}{F}+R_{\mathrm{prev}}.---\left(3\right)$

由于GOP提前终止，其未编码的N-M帧应分配的编码比特数为：

$R_r=B\frac{N-M}{F}.---\left(4\right)$

这部分比特应该从当前GOP按照式(1)计算的预分配码率中减去，则当前GOP提前终止时，R_prev。应该修正如下：

$R_{\mathrm{prev}}=R-R_r=R-B\frac{N-M}{F}.---\left(5\right)$

当前GOP提前终止后对R_prev做出修正，根据式(1)则可计算出下一个GOP的预分配码率，并开始下一个GOP的编码。

正常码率编码模块4、用于对输入的没有发生场景切换的视频流进行正常码率编码。

编码QP值修正模块5，用于根据发生场景切换之后重新计算码率后的图像的每个宏块的信息来修正图像组内每个宏块的编码QP值，然后进行压缩编码；

该模块具体执行过程如下：

如果没有场景切换，利用二次R-Q模型解二次方程得到编码的量化参数值。同时为保证前后帧图像视觉质量的平滑过渡，前后帧图像的量化参数相差值不能比2大。设前一帧图像的量化参数为Qpp，当前帧图像的量化参数为Qpp～，则根据二次R—Q模型计算出的当前帧图像的量化参数为Q∧pp要经过公式Qpp～=min{Qpp+2,max{Qpp-2,Q∧p c}}做进一步处理；

如果判断这帧图像是一个场景切换，那么就对这帧图像采用I帧来编码，重新计算后面每帧的比特大小。出现了场景切换，缓冲区的占有率会突然升高，通过缓冲区的计算，如果缓冲区快到上益限制的70%了，为了减少缓冲区的占有率，在接下来的那帧图像就用运动矢量和残差都为0的帧来代替，这样就会使缓冲区的占有率下降了，从而满足解码器对缓冲区的需要，对后面的帧重新计算码率。如果有场景切换，QP通过下面的方程计算得到，

$\widetilde{Q_{\mathrm{pc}}}=\left\{\begin{array}{cc}{Q}_{\mathrm{pp}}+3& T_b<0\\ \mathrm{MIN}\{Q_0,\widehat{Q_{\mathrm{pc}}}+5\}& \mathrm{elsewhere}\end{array}\right.$

Q0表示第一个帧内编码图像和前向预测图像的初始量化参数，Tb表示估算的目标比特。

在得到整个帧的QP后，根据场景切换得到的每个宏块的复杂度信息，调整每个宏块的QP参数，得到最终的ＱＰ值，调整主要是：如果宏块的复杂度高，那么分配的ＱＰ系数就会大，如果复杂度低得宏块分配的ＱＰ系数就会低，得到的ＱＰ就会小。然后正常压缩编码，输出得到压缩的码流数据。

输出模块6，用于根据编码压缩输出视频流。

本发明以场景切换来统计信源的特性，并找出每个场景的切换点，在编码后分配不同的传输优先级，这个符合H264的标准。在视频编码前增加了准确判断场景切换的算法，然后根据是否发生场景切换来重新计算码率，并且把对场景切换的判断的数据，做为后续编码算法的依据，这样能更好的平衡码率和视频质量之间的关系，对提高视频编码的质量起到了至关重要的效果。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (2)

1.一种基于场景切换的码率控制视频压缩方法，其特征在于包括如下步骤：

步骤一、输入视频流；

步骤二、在对视频流进行编码之前判断单个图像组GOP内是否发生场景切换，如果发生场景切换，则执行步骤三，否则执行步骤四；

步骤三、强制用即时解码刷新IDR帧来编码，重新计算该图像组GOP内的码率大小，然后执行步骤五；

步骤四、对输入的视频流进行正常码率编码，进而转入步骤六；

步骤五、根据发生场景切换之后重新计算码率后的图像的每个宏块的信息来修正图像组内每个宏块的编码量化参数QP值，然后进行压缩编码；

步骤六、根据编码压缩输出视频流；

其中，所述步骤二中判断视频流是否发生场景切换的过程具体包括如下步骤：

步骤1.1，对图像组内连续视频图像f_n分别作2x2,4x4,8x8网格划分,定义为分割后的子图像，n代表第n幅图像，k代表分割大小，k取1，2，4，8，i代表网格行坐标，j代表网格列坐标；

步骤1.2利用Paul Viola提出的积分图方法对子图像

提取8个haar特征，定义

表示

对应子块的特征向量，每帧图像特征向量总长度为(2×2+4×4+8×8)×8＝672；

步骤1.3若n=1,保存

转到步骤1.1；若n>1,则转到步骤1.4；

步骤1.4对连续两帧视频图像计算相似度S(f_n-1,f_n)；其中

$S(f_{n-1},f_n)=\underset{k=\mathrm{2,4,8}}{\mathrm{\&Sigma;}}\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}S(V_{n-1}^k(i,j),V_n^k(i,j))\right)$

$S(V_{n-1}^k(i,j),V_n^k(i,j))=\arccos \left(\frac{V_{n-1}^k(i,j)\&CenterDot;V_n^k(i,j)}{\left|V_{n-1}^k(i,j)\right|\left|V_n^k(i,j)\right|}\right)$

步骤1.5对连续两帧视频图像进行判别，若S(f_n-1,f_n)＞S₀，则表明两幅图像差异比较大，两幅图像间发生了场景切换，其中S₀是代表两幅图像相似度的阈值。

2.根据权利要求1所述的基于场景切换的码率控制视频压缩方法，其特征在于步骤三中重新计算码率的过程中当前图像组GOP的长度随着场景切换帧的出现自适应地改变，并且同时对码率资源进行重新分配。

Images