CN103079068A - 基于运动剧烈程度和空域相关性的帧间模式判决方法 - Google Patents

Abstract

一种基于运动剧烈程度和空域相关性的帧间模式判决方法：由当前编码宏块周围宏块和参考帧中对应位置处宏块的运动矢量得到当前编码宏块的运动剧烈程度；由编码宏块的运动剧烈程度估算出预编码模式；统计出当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率值；统计编码宏块周围宏块和参考帧中对应位置处宏块的所使用的模式中出现次数最多的模式；由编码宏块的运动剧烈程度及当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率值得到最终的预编码模式集合；将得到的预编码模式集合中的模式进行编码并将编码后开销最小的模式作为最佳模式。本发明既可以保证拥有较好的鲁棒性，又可以保证判决的准确性和有效性。

Description

基于运动剧烈程度和空域相关性的帧间模式判决方法

技术领域

本发明涉及一种帧间模式判决方法。特别是涉及一种基于运动剧烈程度和空域相关性的帧间模式判决方法。

背景技术

帧间模式判决模块在AVS视频编码中占有极为重要的地位。在AVS视频编码的预测过程中仍然采用的是块的形式，考虑到视频图像本身的特性，如运动剧烈的局部区域，如果划分较大的块可能在该块中含有多个不同形状或者不同运动状态的对象，所以在选择块的大小的时候并不是单纯的划分为16×16或者8×8这种正方形块，同时考虑到在满足一定性能的前提下尽可能降低复杂性，所以在指定方案时较为详细地将编码模式划分为16×16、16×8、8×16、8×8这四种块的大小。

在AVS参考代码中，对每个宏块进行编码时，首先在帧间预测模式下对每个宏块做运动估计，计算各个模式的相应代价，接着进行帧内模式和skip模式的代价计算，最后选取所有模式中代价最小的模式为最佳模式。

每个宏块在采用遍历方式得到最小代价的过程中，参考代码提供了两种方式：率失真优化和非率失真优化。率失真优化是确定一组编码参数，使得在限定码率下失真度最小，达到码率和失真度的权衡，在具体实现的过程中是一个宏块在熵编码后确定编码所需比特数与反变换反量化后重建一个宏块数据和原始宏块数据的差值的和作为一个宏块的某种模式的代价开销，用相同的方法计算该宏块的其它模式的代价开销，这些模式开销比较，最小开销的模式即为最佳模式。非率失真优化则未考虑码率和失真的权衡，只是将最佳运动矢量、最佳参考帧及其它信息所占比特和预测块与编码块的差值之和作为一个宏块的某种模式的代价开销，用相同思路计算该宏块其它模式的代价开销，这些模式开销比较得到的最小开销的模式即为最佳模式。

查看近几年的文献，对该模块的研究主要有两个思路，一个是优化拉格朗日率失真公式，另一个是在未遍历所有模式的情况下根据相关信息预测最优的模式直接进行编码，这些相关信息有编码宏块周围宏块、参考帧宏块模式或某模式的率失真开销、SAD等。

发明内容

本发明所要解决的技术问题是，提供一种基于运动剧烈程度和空域相关性的帧间模式判决方法。

本发明所采用的技术方案是：一种基于运动剧烈程度和空域相关性的帧间模式判决方法，包括如下步骤：

1）根据当前编码宏块周围宏块和参考帧中对应位置处宏块的运动矢量得到当前编码宏块的运动剧烈程度；

2）根据得出的编码宏块的运动剧烈程度估算出预编码模式，即完成不同的编码宏块的运动剧烈程度与各个预编码模式的映射；

3）统计出当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率值；统计编码宏块周围宏块（A、B、C、D）和参考帧中对应位置（F）处宏块的所使用的模式中出现次数最多的模式；

4）根据编码宏块的运动剧烈程度及当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率值得到最终的预编码模式集合，即步骤2）中不同运动剧烈程度估算出的预编码模式和步骤3）中出现次数最多的模式；

5）将步骤4）中得到的预编码模式集合中的模式进行编码并将编码后开销最小的模式作为最佳模式。

所述的当前编码宏块的运动剧烈程度是由如下步骤得到：

（1）设定位于当前编码宏块左侧位置处宏块为A，左上位置处宏块为B,右上位置处宏块的C,上面位置处宏块为D,参考帧中当前编码宏块对应位置处宏块为F，同时定义当前编码宏块周围宏块A、B、C、D和参考帧中对应位置处宏块F的运动矢量分别为MV_A、MV_B、MV_C、MV_D、MV_F，记为MVi=（Xi，Yi），其中i=A、B、C、D、F；

（2）分别计算MV_A、MV_B、MV_C、MV_D、MV_F的值，其中，位置A处的运动矢量MV_A的计算有如下两种情况，

由于宏块的编码模式有多种，那么对于已经编码的宏块A来说，最终MV的存储有一种或多种情况，

a、当最终MV的存储有一种情况时，即宏块A的MV是以8×8为单位存储的，那么MV_A为这四个8×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{4}\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{\mathrm{MV}}_i,i=\mathrm{0,1,2,3}$

b、当最终MV的存储有多种情况时，需要计算不同情况下的MV的平均值：

当宏块A的编码模式为8×8模式并且MV是以8×8为单位存储的，那么MV_A为这四个8×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{4}\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{\mathrm{MV}}_i,i=\mathrm{0,1,2,3}$

当宏块A的编码模式为16×8模式并且MV是以16×8为单位存储的，那么MV_A为这两个16×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{2}{\mathrm{MV}}_i,i=\mathrm{0,1}$

当宏块A的编码模式为8×16模式并且MV是以8×16为单位存储的，那么MVA为这两个8×16的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{2}{\mathrm{MV}}_i,i=\mathrm{0,1}$

当宏块A的编码模式为16×16模式并且MV是以16×16为单位存储的，那么MVA为这个16×16的MV的值，即：

MV_A=MV₀

其余MV_B、MV_C、MV_D、MV_F的值采用上述与计算MV_A值相同方法得到；

（3）定义每个MV_A、MV_B、MV_C、MV_D、MV_F的长度L为L(MV_i)=|X_i|+|Y_i|,i=A、B、C、D、F；

（4）从步骤（3）中得到当前编码宏块的L(MV)：

L(MV)=MAX{L(MV_A)、L(MV_B)、L(MV_C)、L(MV_D)、L(MV_F)}；

（5）将当前宏块的运动剧烈程度定义为三级：慢速、中速、快速：

如果L(MV)＜L1，则运动强度为慢速；

如果L1＜L(MV)＜L2，则运动强度为中速；

如果L2＜L(MV)，则运动强度为快速。

步骤2）中所述的编码宏块的运动剧烈程度与预编码模式的映射如下：

如果L(MV)≤1，则当前编码宏块的预编码模式为16×16模式；

如果1＜L(MV)≤3，则当前编码宏块的预编码模式为16×8模式；

如果3＜L(MV)≤4，则当前编码宏块的预编码模式为8×8模式；

如果4＜L(MV)，则当前编码宏块的预编码模式采用INTRA模式。

步骤4）中所述的得到最终的预编码模式集合有如下情况：

如果L(MV)≤1，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和16×16模式；

如果1＜L(MV)≤3，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和16×8模式；

如果3＜L(MV)≤4，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和8×8模式；

如果4＜L(MV)，则当前编码宏块的编码模式采用INTRA模式。

本发明的基于运动剧烈程度和空域相关性的帧间模式判决方法，首先视频帧根据运动剧烈程度将编码宏块分为几种类型，根据运动剧烈程度不同采用固定不同的编码模式；其次，统计当前宏块的编码模式和周围或参考帧中对应位置处编码模式有相关性；最终，采用的是运动剧烈程度和空域模式相关性的方法。本发明的判决算法在判决运算量比遍历的方式小很多，在最终的PSNR上却基本没有变化。本发明较低的运算量在硬件平台上实现，既可以保证拥有较好的鲁棒性，又可以保证判决的准确性和有效性。

附图说明

图1a是当前帧的参考帧；

图1b是当前帧宏块位置图；

图2小块MV合并为大块MV的示意图。

具体实施方式

下面结合实施例和附图对本发明的基于运动剧烈程度和空域相关性的帧间模式判决方法做出详细说明。

本发明的基于运动剧烈程度和空域相关性的帧间模式判决方法，其特征在于，包括如下步骤：

1）根据当前编码宏块周围宏块（如图1b所示）和参考帧中对应位置处宏块（如图1a所示）的运动矢量（MV）得到当前编码宏块的运动剧烈程度；

所述的当前编码宏块的运动剧烈程度是由如下步骤得到：

（1）设定位于当前编码宏块（指图1b中涂黑的块）左侧位置处宏块为A，左上位置处宏块为B,右上位置处宏块的C,上面位置处宏块为D,参考帧中当前编码宏块对应位置处宏块为F，同时定义当前编码宏块周围宏块A、B、C、D和参考帧中对应位置处宏块F的运动矢量分别为MV_A、MV_B、MV_C、MV_D、MV_F，记为MVi=（Xi，Yi），其中i=A、B、C、D、F；

（2）分别计算MV_A、MV_B、MV_C、MV_D、MV_F的值，其中，位置A处的运动矢量MV_A的计算有如下两种情况，

由于宏块的编码模式有多种，那么对于已经编码的宏块A来说，最终MV的存储有一种或多种情况，

a、当最终MV的存储有一种情况时，即宏块A的MV是以8×8为单位存储的，那么MV_A为这四个8×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{4}\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{\mathrm{MV}}_i,i=\mathrm{0,1,2,3}$

b、当最终MV的存储有多种情况时，需要计算不同情况下的MV的平均值：

当宏块A的编码模式为8×8模式并且MV是以8×8为单位存储的，那么MV_A为这四个8×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{4}\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{\mathrm{MV}}_i,i=\mathrm{0,1,2,3}$

当宏块A的编码模式为16×8模式并且MV是以16×8为单位存储的，那么MV_A为这两个16×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{2}{\mathrm{MV}}_i,i=\mathrm{0,1}$

当宏块A的编码模式为8×16模式并且MV是以8×16为单位存储的，那么MVA为这两个8×16的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{2}{\mathrm{MV}}_i,i=\mathrm{0,1}$

当宏块A的编码模式为16×16模式并且MV是以16×16为单位存储的，那么MVA为这个16×16的MV的值，即：

MV_A=MV₀

其余MV_B、MV_C、MV_D、MV_F的值采用上述与计算MV_A值相同方法得到；

（3）定义每个MV_A、MV_B、MV_C、MV_D、MV_F的长度L为L(MV_i)=|X_i|+|Y_i|,i=A、B、C、D、F；

（4）从步骤（3）中得到当前编码宏块的L(MV)：

L(MV)=MAX{L(MV_A)、L(MV_B)、L(MV_C)、L(MV_D)、L(MV_F)}；

（5）将当前宏块的运动剧烈程度定义为三级：慢速、中速、快速：

如果L(MV)＜L1，则运动强度为慢速；

如果L1＜L(MV)＜L2，则运动强度为中速；

如果L2＜L(MV)，则运动强度为快速。

2）根据得出的编码宏块的运动剧烈程度估算出预编码模式，即完成不同的编码宏块的运动剧烈程度与各个预编码模式的映射；

所述的编码宏块的运动剧烈程度与预编码模式的映射如下：

如果L(MV)≤1，则当前编码宏块的预编码模式为16×16模式；

如果1＜L(MV)≤3，则当前编码宏块的预编码模式为16×8模式；

如果3＜L(MV)≤4，则当前编码宏块的预编码模式为8×8模式；

如果4＜L(MV)，则当前编码宏块的预编码模式采用INTRA模式。

3）统计出当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率值；统计编码宏块周围宏块（A、B、C、D）和参考帧中对应位置（F）处宏块的所使用的模式中出现次数最多的模式；

将周围模块的模式和参考帧中对应位置宏块的模式定义为空域模式，空域模式决定编码模式：

空域模式相关性的含义是当前编码宏块的模式与周围模块或者参考帧中的宏块模式的联系。周围块和参考帧中的宏块的选取如图1中所示的A、B、C、D、F。对于位于当前帧中第一行、第一列和最后一列的宏块，统计数据时排除在外。

统计的是当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率的大小，由表1的数据可以得出，每编码一个宏块时，最终经过遍历后得到的最佳编码模式基本上都可以在周围或者参考帧中宏块的编码模式中找到。鉴于此种原因，编码当前宏块时，将编码宏块周围宏块A、B、C、D和参考帧中对应位置F处宏块的所使用的模式中出现次数最多的模式作为预编码模式之一。

表1命中率

视频序列	Mother	Silent	Basketball	Boat	Flower garden	Night
							命中率	95.78%	94.97%	85.23%	82.48%	91.25%	91.32%

4）根据编码宏块的运动剧烈程度及当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率值得到最终的预编码模式集合，即步骤2）中不同运动剧烈程度估算出的预编码模式和步骤3）中出现次数最多的模式；

所述的得到最终的预编码模式集合有如下情况：

如果L(MV)≤1，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和16×16模式；

如果1＜L(MV)≤3，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和16×8模式；

如果3＜L(MV)≤4，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和8×8模式；

如果4＜L(MV)，则当前编码宏块的编码模式采用INTRA模式。

5）将步骤4）中得到的预编码模式集合中的模式进行编码并将编码后开销最小的模式作为最佳模式。

在不同视频序列格式（720×576和352×288）和多个视频中进行了测试，有CIF格式序列352×288mother、silent，D1格式序列Basketball、Boat、Flower garden、Night。所有测试是在2.4GHz双核因特尔处理器、2GB内存PC机上进行的。代码方面的条件：（1）每个测试序列，编码一个画面组300帧，编码格式是IPPP……；（2）量化参数（QP）设定为28；（3）关闭率失真；（4）只设定一个参考帧；本发明实现了原始算法以及本发明要提出的算法，分别采用这两种算法对上述不同视频序列格式的视频序列进行编码，并进行PSNR，Bit Rate以及编码时间等表征性能的参数值进行对比，得出表2所示结果。分析测试结果可知，本发明提出的算法与原始算法相比PSNR基本没变化的情况下，编码时间缩短了20%左右，比特率减少了约20%。

表2算法优化先后对比

测试序列	VPSNR	VBR	VT
				Basktball.	-0.1%	-17.6%	-20%
Night	-0.1%	-19.6%	-19.3%
				Boat	0%	-22.8%	-29.4%
Flowergarden	0%	-18.9%	-19.0%
				Mother	0%	-20.6%	-20.0%
slient	0%	-19.9%	-20.0%

Claims (4)

1.一种基于运动剧烈程度和空域相关性的帧间模式判决方法，其特征在于，包括如下步骤：

1）根据当前编码宏块周围宏块和参考帧中对应位置处宏块的运动矢量得到当前编码宏块的运动剧烈程度；

2）根据得出的编码宏块的运动剧烈程度估算出预编码模式，即完成不同的编码宏块的运动剧烈程度与各个预编码模式的映射；

3）统计出当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率值；统计编码宏块周围宏块（A、B、C、D）和参考帧中对应位置（F）处宏块的所使用的模式中出现次数最多的模式；

4）根据编码宏块的运动剧烈程度及当前编码宏块的最佳模式与周围模块或者参考帧中宏块的最佳模式相同的概率值得到最终的预编码模式集合，即步骤2）中不同运动剧烈程度估算出的预编码模式和步骤3）中出现次数最多的模式；

5）将步骤4）中得到的预编码模式集合中的模式进行编码并将编码后开销最小的模式作为最佳模式。

2.根据权利要求1所述的基于运动剧烈程度和空域相关性的帧间模式判决方法，其特征在于，所述的当前编码宏块的运动剧烈程度是由如下步骤得到：

（1）设定位于当前编码宏块左侧位置处宏块为A，左上位置处宏块为B,右上位置处宏块的C,上面位置处宏块为D,参考帧中当前编码宏块对应位置处宏块为F，同时定义当前编码宏块周围宏块A、B、C、D和参考帧中对应位置处宏块F的运动矢量分别为MV_A、MV_B、MV_C、MV_D、MV_F，记为MVi=（Xi，Yi），其中i=A、B、C、D、F；

（2）分别计算MV_A、MV_B、MV_C、MV_D、MV_F的值，其中，位置A处的运动矢量MV_A的计算有如下两种情况，

由于宏块的编码模式有多种，那么对于已经编码的宏块A来说，最终MV的存储有一种或多种情况，

a、当最终MV的存储有一种情况时，即宏块A的MV是以8×8为单位存储的，那么MV_A为这四个8×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{4}\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{\mathrm{MV}}_i,i=\mathrm{0,1,2,3}$

b、当最终MV的存储有多种情况时，需要计算不同情况下的MV的平均值：

当宏块A的编码模式为8×8模式并且MV是以8×8为单位存储的，那么MV_A为这四个8×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{4}\underset{i=0}{\overset{1}{\mathrm{\Σ}}}{\mathrm{MV}}_i,i=\mathrm{0,1,2,3}$

当宏块A的编码模式为16×8模式并且MV是以16×8为单位存储的，那么MV_A为这两个16×8的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{2}{\mathrm{MV}}_i,i=\mathrm{0,1}$

当宏块A的编码模式为8×16模式并且MV是以8×16为单位存储的，那么MVA为这两个8×16的MV的平均值，即：

${\mathrm{MV}}_A=\frac{1}{2}{\mathrm{MV}}_i,i=\mathrm{0,1}$

当宏块A的编码模式为16×16模式并且MV是以16×16为单位存储的，那么MVA为这个16×16的MV的值，即：

MV_A=MV₀

其余MV_B、MV_C、MV_D、MV_F的值采用上述与计算MV_A值相同方法得到；

（3）定义每个MV_A、MV_B、MV_C、MV_D、MV_F的长度L为L(MV_i)=|X_i|+|Y_i|,i=A、B、C、D、F；

（4）从步骤（3）中得到当前编码宏块的L(MV)：

L(MV)=MAX{L(MV_A)、L(MV_B)、L(MV_C)、L(MV_D)、L(MV_F)}；

（5）将当前宏块的运动剧烈程度定义为三级：慢速、中速、快速：

如果L(MV)＜L1，则运动强度为慢速；

如果L1＜L(MV)＜L2，则运动强度为中速；

如果L2＜L(MV)，则运动强度为快速。

3.根据权利要求1所述的基于运动剧烈程度和空域相关性的帧间模式判决方法，其特征在于，步骤2）中所述的编码宏块的运动剧烈程度与预编码模式的映射如下：

如果L(MV)≤1，则当前编码宏块的预编码模式为16×16模式；

如果1＜L(MV)≤3，则当前编码宏块的预编码模式为16×8模式；

如果3＜L(MV)≤4，则当前编码宏块的预编码模式为8×8模式；

如果4＜L(MV)，则当前编码宏块的预编码模式采用INTRA模式。

4.根据权利要求1所述的基于运动剧烈程度和空域相关性的帧间模式判决方法，其特征在于，步骤4）中所述的得到最终的预编码模式集合有如下情况：

如果L(MV)≤1，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和16×16模式；

如果1＜L(MV)≤3，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和16×8模式；

如果3＜L(MV)≤4，则最终的预编码模式集合包括周围宏块（A、B、C、D）和参考帧（F）中出现次数最多的模式和8×8模式；

如果4＜L(MV)，则当前编码宏块的编码模式采用INTRA模式。

Images