CN102801976A - 基于三维小波视频编码的帧间块模式选择方法 - Google Patents

Abstract

本发明公开了一种基于三维小波视频编码的帧间块模式选择方法，步骤如下:1）用父亲块像素的平均绝对差值MAD、MADV和MADH作为纹理复杂度的参考，从孩子类型child1、child2和child3中选择一个。如果选择了孩子类型child1，则执行步骤4），否则执行步骤2）。2）计算相应孩子类型的两个子块各自的均值，并计算两个均值的差。3）根据均值差来选取具体二叉树划分模式。4）最后将父亲块运动补偿代价值，与孩子运动补偿代价值之和进行比较，如果父亲的运动补偿代价值小则不进行块划分，如果孩子运动补偿代价值小，则保留相应孩子类型并进行块划分。本发明采用混合四叉树和二叉树划分方法，提高了块划分的灵活性，采用了纹理阈值信息，使得该算法没有增加很多时间复杂度。

Description

基于三维小波视频编码的帧间块模式选择方法

技术领域

本发明属于帧间块选择技术领域，涉及基于三维小波视频编码的帧间块模式选择方法。

背景技术

视频数据的帧与帧之间，不仅在像素上存在相关性，而且在一定区域内，帧间也存在相关性，因此为充分利用帧间运动信息，除去帧间冗余信息，进行帧间的运动补偿是很有必要的。

运动补偿主要包括以下几部分：

1）从当前帧中分割出运动目标；

2）在参考帧中寻找参考目标；

3）用位移进行运动补偿；

4）对运动补偿信息进行编码。

现实中的物体运动变化包括各个方向的平移、物体的旋转，物体大小形状的缩变等等是相当复杂的，但考虑到实时性运算，目前的运动估计算法仅考虑刚体运动的变化，因此现有的编码标准采用二维平移运动模型——块匹配方法。

基于块的匹配估计算法的最基本假设是：二维图像平面上的物体为刚体，且只考虑平移运动。该算法核心思想是先把整幅图像分成若干个固定大小图像块，然后基于一种优化准则，在参考帧的运动搜索区域范围内找出当前块的最佳匹配的子块。现有文献中S.-J Choist and J.W.woods.Motion-compensated3-D subband coding of video[J].IEEE Trans on ImageProcessing,1999,8(2):155-167.提出的基于四叉树结构分层变尺寸块匹配（Hierarchical Variable Size Block Matching，HVSBM）自适应估计算法也是一种基于块的运动补偿方法，该方法被广泛应用于三维小波视频编码中。该方法进行运动估计的四叉树结构可变块匹配运动估计过程是：先输入初始块，根据邻域块得到的初始块的初始估计运动矢量，如果输入的块的大小大于预定的最小块尺寸，则根据匹配估计技术，分别估计出分割后的四个子块对应的运动矢量，并估算编码运动矢量消耗的码字；如果用当前输入的原始块作为运动补偿块后估算的代价值，大于分割后的四个子块代价值的和，那么就将原始输入的块进行四叉树劈分，并用各个子块的新估计得到的运动矢量代替初始的块的运动矢量估计值。如此再对每个子块进行递归迭代循环搜索，最后记录下四叉树的树深、所有的叶节点的预测模式以及每一个叶节点对应的运动矢量值，这样就可以得到将原始输入块进行四叉树劈分以后整个四叉树对应的所有运动矢量。该方法一直被小波视频压缩编码系统所采用。可以发现该方法虽然使得块划分大小可变，但是，此类方法中块划分的形状存在限制，即仅存在方形块，这在很大程度上降低了块划分的灵活性，进而影响了运动补偿的性能，整体上降低了视频编码的性能。

发明内容

本发明解决的问题在于提供了一种基于三维小波视频编码的帧间块模式选择方法，给出了混合四叉树和二叉树块划分的方法，能够提高运动补偿过程中块划分的灵活性，进而提高三维小波视频压缩编码的性能，为了尽量减少因增加块类型导致的增加运动估计次数，我们采用增加纹理阈值信息的方式预先选择块划分类型，只有预先选择的块类型才进行运动估计得到真正的代价值。

本发明是通过以下技术方案来实现：

基于三维小波视频编码的帧间块模式选择方法，包括以下步骤：

1）用每一个父亲块像素的整体平均绝对差值MAD、垂直方向平均绝对差值MADV和水平方向平均绝对差值MADH作为纹理复杂度的参考，从孩子类型child1、child2和child3中选择一个，如果选择了孩子类型child1，则执行步骤4），否则执行步骤2）；

2）如果步骤1)中选择了child2则为child2、child4、child5此三类；如果步骤1)中选择了child3则为child3、child6、child7此三类；计算前述三类二叉树孩子类型各自所对应的两个子块的各自像素均值；

3）计算前述三类二叉树孩子类型各自所对应的两个子块对应的均值的差，对应均值差最小的二叉树即为最终块划分模式；

4）最后将父亲块运动补偿代价值，和所有孩子类型的运动补偿代价值之和进行比较，如果父亲块的运动补偿代价值小则不进行块划分，如果所有孩子块运动补偿代价值之和小，则保留相应孩子类型并进行块划分。

所述的父亲块像素整体平均绝对差值MAD、垂直方向平均绝对差值MADV和水平方向平均绝对差值MADH通过以下几个公式得到。

$\mathrm{MAD}=\frac{1}{M\×N}\underset{i=0,j=0}{\overset{i=M-1,j=N-1}{\mathrm{\Σ}}}|f(i,j)-u|---\left(1\right)$

$\mathrm{MADH}=\frac{1}{M\×N}\underset{j=0}{\overset{j=N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=M-1}{\mathrm{\Σ}}}|f(i,j)-u_y|---\left(2\right)$

$\mathrm{MADV}=\frac{1}{M\×N}\underset{i=0}{\overset{i=M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{j=N-1}{\mathrm{\Σ}}}|f(i,j)-u_x|---\left(3\right)$

式中，M为父亲块的宽度，N为父亲块的高度，f(i,j)为父亲块中像素的值，u为父亲块中所有像素均值，u_y是第y行像素的均值，u_x为第x列像素的均值。

所述child1、child2和child3孩子类型选择方法为，当MADH大于MADV时，选择孩子类型为child2；如果MADV大于MADH，那么意味着垂直方向上像素间更具有相似性，此时选择孩子类型为child3；当MAD大于MADV和MADH的时候本发明选择孩子类型child1。

所述的计算三类二叉树孩子类型各自所对应的两个子块的各自像素均值，并计算均值差。当步骤1）中选择孩子类型为child2（或child3）时，设u₀为child2（或child3）第一个孩子块的像素均值，u₁为child2（或child3）第二个孩子块的像素均值，并计算两个像素均值的差diffO，

diff0＝|u₀-u₁|              （4）

u₂为child4（或child6）第一个孩子块的像素均值,u₃为child4（或child6）第二个孩子块的像素均值,并计算两个像素均值的差diff1，

diff1＝|u₂-u₃|              （5）

u₄为child5（或child7）第一个孩子块的像素均值,u₅为child5（或child7）第二个孩子块的像素均值,并计算两个像素均值的差diff2，

diff2＝|u₄-u₅|              （6）

所述的相应均值差小的二叉树为最终块划分模式。当步骤1）选择孩子类型child2时，diffO最大时选择child2作为孩子类型，当diff1最大时选择child4作为孩子类型，当diff2最大时选择child5作为孩子类型；当步骤1）选择孩子类型child3时，diffO最大时选择child3作为孩子类型，当diff1最大时选择child6作为孩子类型，当diff2最大时选择child7作为孩子类型。

所述的将父亲块运动补偿代价值，与所有孩子块运动补偿代价值之和进行比较，如果父亲的运动补偿代价值小则不进行块划分，如果所有孩子块运动补偿代价值之和小，则保留相应孩子类型并进行块划分，采用的运动补偿代价值公式表示如下：

Cost＝SAD+λ*bit_cost(mvd)   （7）

$\mathrm{SAD}=\underset{i=0,j=0}{\overset{i=M,j=N}{\mathrm{\Σ}}}|p(i,j)-f(i,j)|---\left(8\right)$

其中，λ＝12,96,192,192，λ的值从低到高分别对应时域级数的1到4级，bit-cost(mvd)是编码运动矢量消耗的比特数，(i,j)表示像素的位置坐标，p(i,j)是预测块像素值，f(i,j)是原始块像素值。M和N分别为块的宽和高。

发明内容

与现有技术相比，本发明具有以下有益技术效果：

（1）块的形状、大小划分更具灵活性，提高了匹配精度；

（2）在提高匹配精度的情况下，并没有增加很多时间复杂度。

（3）适用范围广泛，适用于各种类型的提升小波变换算法。

本发明采用混合四叉树和二叉树划分的方法，提高了块划分的灵活性，采用了纹理阈值信息，使得该算法没有增加很多时间复杂度，经过试验验证，本发明使得运动补偿性能有一定程度的提升。

附图说明

图1为本发明的孩子类型示意图；

图2为本发明的孩子决策示意图；

图3为本发明的处理流程图。

具体实施方式

下面结合具体的实例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

本发明中，父亲节块：对应树的父亲节点，此处处理的是像素块，所以对应父亲节点称为父亲块；各种孩子类型对应各种树类型（参见图1），孩子类型child1对应四叉树划分，即对应父亲块的水平和垂直方向各均分、child2和child3都为二叉树划分，其中child2为对父亲块在垂直方向做1/2划分，其中child3为对父亲块在水平方向做1/2划分，child4为对父亲块在垂直方向做上面一部分为父亲块的1/4,下面一部分为3/4的划分；child5为对父亲块在垂直方向做上面一部分为父亲块的3/4,下面一部分为1/4的划分；child6为对父亲块在水平方向做左面一部分为父亲块的3/4,右面一部分为1/4的划分；child7为对父亲块在水平方向做左面一部分为父亲块的1/4,右面一部分为3/4的划分，；

以下可参见图2，在选择孩子类型时child1、child2和child3为同一水平比较，而child4与child5的存在是建立在child2已经优先考虑的基础上，同理而child6与child7的存在是建立在child3已经优先考虑的基础上，之所以这样做是因为，将child1、child2和child3作为同一水平比较初步得出是四叉树划分比较好还是二叉树划分比较好，在确定水平二叉树和垂直二叉树的基础上，再详细判断具体哪种二叉树块划分的方式更适合运动补偿。之所以选择child2和child3作为水平和垂直二叉树划分的代表是因为本文在实验中发现，二叉树划分中child2和child3块类型出现的概率较其他四种（child4,child5,child6,child7）二叉树大。)

方法包括以下执行步骤：

首先执行步骤1)，用每一个父亲块像素的整体平均绝对差值MAD、垂直方向平均绝对差值MADV和水平方向平均绝对差值MADH作为纹理复杂度的参考，从孩子类型child1、child2和child3中选择一个。对输入的原始的128×128大小的块按照下式：

$\mathrm{MAD}=\frac{1}{M\×N}\underset{i=0,j=0}{\overset{i=M-1,j=N-1}{\mathrm{\Σ}}}|f(i,j)-u|---\left(1\right)$

$\mathrm{MADH}=\frac{1}{M\×N}\underset{j=0}{\overset{j=N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=M-1}{\mathrm{\Σ}}}|f(i,j)-u_y|---\left(2\right)$

$\mathrm{MADV}=\frac{1}{M\×N}\underset{i=0}{\overset{i=M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{j=N-1}{\mathrm{\Σ}}}|f(i,j)-u_x|---\left(3\right)$

分别计算MAD、MADH和MADV值。

相对于属于同一物体的区域的平均差的绝对值，要小于属于不同物体的区域的平均差绝对值。因此当MADH大于MADV时，说明该块在水平方向上更具有一致性，此时，选择孩子类型为child2，然后执行步骤2)；如果MADV大于MADH，那么意味着垂直方向上像素间更具有相似性，此时选择孩子类型为child3，然后执行步骤2)；当MAD大于MADV和MADH时选择孩子类型child1，然后执行步骤4)。这是因为，采用的运动补偿块算法是一种自顶向下的方法，为了尽量减少局部最优，本发明优先选择往更小块划分趋势的child1，如果块划分没有达到最高的级数，那么执行步骤4)；此处假设MADH最大，那么选择孩子类型child2。

u₀为child2第一个孩子块的像素均值，u₁为child2第二个孩子块的像素均值，并计算两个像素均值的差diffO，

diff0＝|u₀-u₁|               （4）

u₂为child4第一个孩子块的像素均值,u₃为child4第二个孩子块的像素均值,并计算两个像素均值的差diff1，

diff1＝|u₂-u₃|               （5）

u₄为child5第一个孩子块的像素均值,u₅为child5第二个孩子块的像素均值,并计算两个像素均值的差diff2，

diff2＝|u₄-u₅|               （6）

diffO最大时选择child2作为孩子类型，当diff1最大时选择child4作为孩子类型，当diff2最大时选择child5作为孩子类型。此处假设diffO最大，那么选择孩子类型child2。

参见图1,垂直划分的三类二叉树：child2对应两个子块为ver halfO、ver halfl,child4对应两个子块为child40、child41,child5对应两个子块为child50、child51；下面介绍水平划分的三类二叉树：child3对应两个子块为hor halfO、hor halfl,child6对应两个子块为child60、child61,child7对应两个子块为child70、child71。

按下式计算child2的两个子块的运动补偿代价值：

Cost＝SAD+λ*bit_cost(mvd)  （7）

$\mathrm{SAD}=\underset{i=0,j=0}{\overset{i=M,j=N}{\mathrm{\Σ}}}|p(i,j)-f(i,j)|---\left(8\right)$

如果两个孩子块的运动补偿代价值之和小于父亲块的运动补偿代价值，那么将原先宏块进行chilid2孩子类型并进行块划分，并结束运动搜索。

本发明的方法在MC-EZBC小波视频编码系统上进行了测试。实验中对MPEG数据库中的foreman.yuv、soccer.yuv、bus.yuv、harbour.yuv、football.yuv5个视频进行了测试。在以上基础上对Hierarchical Variable Size Block Matching（HVSBM）和我们的基于三维小波的帧间块划分选择方法进行了对比实验，在同样参数配置的情况下分别测试384kbps、512kbps、640kbps、768kbps、896kbps、1024kbps码率下所得出的PSNR性能进行相减得到的△PSNR结果如表1所示。

表1本发明方法性能值PSNR（dB）。

	PSNR(384kbps)	PSNR(512kbps)	PSNR(768kbps)	PSNR(896kbps)	PSNR(1024kbps)
						foreman	37.57	38.90	40.62	41.40	41.99
football	30.66	32.09	34.28	35.16	36.03
						bus	30.34	32.00	34.32	35.23	36.06
soccer	35.06	36.72	39.12	40.14	40.94
						harbour	31.23	32.53	34.34	35.16	35.78

表2.HVSBM性能值PSNR（dB）。

从表1和表2的对比实验可以看出本发明中的方法在参数设置相同的时候具有提高视频质量。

Claims (6)

1.基于三维小波视频编码的帧间块模式选择方法，其特征在于，包括以下步骤：

1）用每一个父亲块像素的整体平均绝对差值MAD、垂直方向平均绝对差值MADV和水平方向平均绝对差值MADH作为纹理复杂度的参考，从孩子类型child1、child2和child3中选择一个，如果选择了孩子类型child1，则执行步骤4），否则执行步骤2）；

2）如果步骤1)中选择了child2则为child2、child4、child5此三类；如果步骤1)中选择了child3则为child3、child6、child7此三类；计算前述三类二叉树孩子类型各自所对应的两个子块的各自像素均值；

3）计算前述三类二叉树孩子类型各自所对应的两个子块对应的均值的差，对应均值差最小的二叉树即为最终块划分模式；

4）最后将父亲块运动补偿代价值，和所有孩子类型的运动补偿代价值之和进行比较，如果父亲块的运动补偿代价值小则不进行块划分，如果所有孩子块运动补偿代价值之和小，则保留相应孩子类型并进行块划分。

2.如权利要求1所述的基于三维小波视频编码的帧间块划分选择方法，其特征在于，所述步骤1）中父亲块像素平均绝对差值MAD、MADH和MADV通过以下几个公式得到。

$\mathrm{MAD}=\frac{1}{M\×N}\underset{i=0,j=0}{\overset{i=M-1,j=N-1}{\mathrm{\Σ}}}|f(i,j)-u|---\left(1\right)$

$\mathrm{MADH}=\frac{1}{M\×N}\underset{j=0}{\overset{j=N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=M-1}{\mathrm{\Σ}}}|f(i,j)-u_y|---\left(2\right)$

$\mathrm{MADV}=\frac{1}{M\×N}\underset{i=0}{\overset{i=M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{j=N-1}{\mathrm{\Σ}}}|f(i,j)-u_x|---\left(3\right)$

式中，M为父亲块的宽度，N为父亲块的高度，f(i,j)为父亲块中像素的值，u为父亲块中所有像素均值，u_y是第y行像素的均值，u_x为第x列像素的均值。

3.如权利要求2所述的基于三维小波视频编码的帧间块划分选择方法，其特征在于，当MADH大于MAD、MADV时，选择孩子类型为child2；如果MADV大于MAD、MADH，那么意味着垂直方向上像素间更具有相似性，此时选择孩子类型为child3；当MAD大于MADV和MADH的时候选择孩子类型child1。

4.如权利要求1所述的基于三维小波视频编码的帧间块划分选择方法，其特征在于，当选择孩子类型为child2或child3时，设u₀为child2或child3的第一个孩子类型的像素均值，u₁为child2或child3第二个孩子类型的像素均值，并计算两个像素均值的差diffO，

diff0＝|u₀-u₁|                       （4）

u₂为child4或child6的第一个孩子类型的像素均值，u₃为child4或child6的第二个孩子类型的像素均值，并计算两个像素均值的差diff1，

diff1＝|u₂-u₃|                       （5）

u₄为child5或child7的第一个孩子类型的像素均值，u₅为child5或child7的第二个孩子类型的像素均值，并计算两个像素均值的差diff2，

diff2＝|u₄-u₅|                       （6）。

5.如权利要求4所述的基于三维小波视频编码的帧间块划分选择方法，其特征在于，当diffO最大时选择child2或child3作为孩子类型，当diff1最大时选择child4或child6作为孩子类型，当diff2最大时选择child5或child7作为孩子类型。

6.如权利要求1所述的基于三维小波视频编码的帧间块划分选择方法，其特征在于，所述步骤4）中运动补偿代价值公式表示如下：

Cost＝SAD+λ*bit_cost(mvd)           （7）

$\mathrm{SAD}=\underset{i=0,j=0}{\overset{i=M,j=N}{\mathrm{\Σ}}}|p(i,j)-f(i,j)|---\left(8\right)$

其中，λ＝12,96,192,192，λ的值从低到高分别对应时域级数的1到4级，bit_cost(mvd)是编码运动矢量消耗的比特数，(i,j)表示像素的位置坐标，p(i,j)是预测块像素值，f(i,j)是原始块像素值，M和N分别为父亲块的宽和高。

Images