CN102611891A - 一种在变换域内直接进行转换编码的方法 - Google Patents

Abstract

一种在变换域内直接进行转换编码的方法，属于视频编码技术领域。本发明首先，获取每个子块的原始运动向量、原始残差和残差能量；然后，根据每个子块的残差能量与设定的阈值的比较结果重新确定宏块的模式以及确定出需要重新估计运动向量的子块，并重新确定运动向量；最后，重新确定所述需要重新估计运动向量的子块运动补偿后新的残差的离散余弦变换系数，并根据所述新的残差的离散余弦变换系数和所述重新确定的宏块的模式进行转换编码。有效的利用了当前宏块的运动信息，能更简单有效地选择分块模式，同时结合相邻宏块的相关度进行运动估计，在保持与全模式搜索相近编码性能的同时，减少了计算复杂度，节省了编码时间，从而提高了转换编码的效率。

Description

一种在变换域内直接进行转换编码的方法

技术领域

本发明涉及一种在变换域内直接进行转换编码的方法，属于视频编码技术领域。

背景技术

作为CDDT(Construction of DCT Domain Transcoder，结构的离散余弦转换编码)节省了逆DCT变换与重新进行DCT(Discrete Cosine Transform，离散余弦变换)变换的时间，同时，由于结构的简单快速，成为了新的转换编码的研究重点，但是，由于H.264(高性能的视频编解码技术)具有更多与其它方法不同的特点，因此，对于H.264的CDDT结构的转换编码变得更加困难。

1)宏块类型的重新选择。在H.264中，对宏块的划分采用了树形结构使得H.264的编码效率进一步提高，但这使得运动估计与运动补偿的计算变得非常复杂。而H.264以前的视频编码标准中，对宏块的划分十分简单，在其它标准到H.264的CDDT结构转换编码中，为了进一步符合H.264高效编码的特点，同样需要增加宏块编码的类型。但是，在DCT域内如果做树形结构的运动估计和运动补偿从而选择最优的宏块类型，这将需要非常大的计算量。

2)子块运动向量的确定。由于很难在DCT域内通过运动估计和运动补偿来确定最优的宏块类型，因此，各个子块的运动向量同样很难确定。特别是对于更小尺寸的子块，需要更多的运动向量来对应。

3)DCT系数的重新确定。H.264视频标准采用了与以往不一样的DCT变换方式，即整数4x4DCT变换方式。当进行H.264的转换编码时，需要对以往的DCT系数转换成整数4x4DCT系数的方式，上一章已经介绍了这种方法。但是，当运动向量变化时，当前块的残差DCT系数与原来的残差DCT系数变得不同了，需要重新计算运动向量变化后新的块的残差DCT系数。

这些困难给CDDT结构的H.264转换编码带来了很大的难度，同时，也严重的影响了CDDT结构下H.264转换编码的转换效率。

发明内容

本发明提供了一种在变换域内直接进行转换编码的方法，以解决现有技术中CDDT结构的H.264转换编码难度大效率低的问题，为此本发明采用如下的技术方案：

本发明实施例提供了一种在变换域内直接进行转换编码的方法，包括：

将一个宏块分成4个8*8子块，并获取每个子块的原始运动向量、原始残差和残差能量；

根据每个子块的残差能量与设定的阈值的比较结果重新确定宏块的模式以及确定出需要重新估计运动向量的子块；

根据所述需要重新估计运动向量的子块相邻的宏块的运动向量以及所述需要重新估计运动向量的子块与相邻的宏块的相关度重新确定运动向量；

根据计算出的原始运动向量确定的预测块的离散余弦变换系数、运动补偿后原始残差的离散余弦变换系数以及所述重新确定的运动向量确定的预测块的离散余弦变换系数重新确定所述需要重新估计运动向量的子块运动补偿后新的残差的离散余弦变换系数，并根据所述新的残差的离散余弦变换系数和所述重新确定的宏块的模式进行转换编码。

本发明实施方式提供的技术方案将通过，有效的利用了当前宏块的运动信息，能更简单有效地选择分块模式，同时结合相邻宏块的相关度进行运动估计，在保持与全模式搜索相近编码性能的同时，减少了计算复杂度，节省了编码时间，从而提高了转换编码的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所述的一种在变换域内直接进行转换编码的方法的流程示意图；

图2是本发明中一个宏块中4个8*8子块的B1、B2、B3和B4的分布示意图；

图3为本发明原始预测块与原始运动向量、重新确定的预测块与重新确定的运动向量，其中灰色块表示预测块；

图4为本发明中无模式选择与引入了16*8模式和8*16模式的DCT域内转换编码的RD性能比较效果图，其中

表示无模式选择的DCT域内转换编码的RD性能曲线，

表示引入了16*8模式和8*16模式的DCT域内转换编码的RD性能曲线；

图5为本发明中无模式选择与引入了16*8模式、8*16模式和8*8模式的DCT域内转换编码的RD性能比较效果图，其中

表示无模式选择的DCT域内转换编码的RD性能曲线，

表示引入了16*8模式、8*16模式和8*8模式的DCT域内转换编码的RD性能曲线；

图6为本发明实施例中在低码率下无模式选择与引入了16*8模式、8*16模式和8*8模式的DCT域内转换编码的RD性能比较效果图，其中

表示无模式选择的DCT域内转换编码的RD性能曲线，

表示引入了16*8模式、8*16模式和8*8模式的DCT域内转换编码的RD性能曲线；

图7为本发明实施例中在高码率下无模式选择与引入了16*8模式、8*16模式和8*8模式的DCT域内转换编码的RD性能比较效果图，其中

表示无模式选择的DCT域内转换编码的RD性能曲线，

表示引入了16*8模式、8*16模式和8*8模式的DCT域内转换编码的RD性能曲线。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施方式提供的一种在变换域内直接进行转换编码的方法，如图1所示，包括：

11、将一个宏块分成4个8*8子块，并获取每个子块的原始运动向量、原始残差和残差能量。

12、根据每个子块的残差能量与设定的阈值的比较结果重新确定宏块的模式以及确定出需要重新估计运动向量的子块。

进一步，设定阈值的过程首先，根据读取的一帧的离散余弦变换系数计算出8*8子块的残差的平均能量；然后，将所述8*8子块的残差的平均能量与自适应参数的相乘设定为阈值。

具体地，若4个8*8子块均小于所述设定的阈值，则无需重新确定宏块的模式，且4个8*8子块均无需重新估计运动向量。若4个8*8子块中有3个8*8子块都小于所述设定的阈值，且垂直方向上2个8*8子块的残差能量和大于水平方向上2个8*8子块的残差能量和，则重新确定宏块的模式为16*8帧间预测模式，且确定垂直方向上2个8*8子块需要重新估计运动向量。若4个8*8子块中有3个8*8子块都小于所述设定的阈值，且垂直方向上2个子块的残差能量和小于等于水平方向上2个子块的残差能量和，则重新确定宏块的模式为8*16帧间预测模式，且确定水平方向上2个8*8子块需要重新估计运动向量。若4个8*8子块中有2个8*8子块都小于所述设定的阈值，且2个8*8子块为垂直方向相邻，则重新确定宏块的模式为16*8帧间预测模式，且确定垂直方向上2个8*8子块需要重新估计运动向量。若4个8*8子块中有2个8*8子块都小于所述设定的阈值，且2个8*8子块为水平方向相邻，则重新确定宏块的模式为8*16帧间预测模式，确定水平方向上2个8*8子块需要重新估计运动向量。若所述根据每个子块的残差能量与设定的阈值的比较结果不是上述情形，则重新确定宏块的模式为8*8帧间预测模式，且确定4个8*8子块都需要重新估计运动向量。

作为可选的，如图2所示，在像素域内，若B1和B3的残差远大于B2和B4的残差。如果不重新进行模式选择的话，H.264的编码效率将比较低。在这种情况下，因为B2和B4的残差是比较小的，不需要进行运动估计，而B1和B3的残差比较大，因此需要重新进行运动估计；再若B2和B4的残差远大于B1和B3，则只需要对B2和B4重新进行运动估计。上述两种情况都能够把宏块划分为两部分，一部分为B1和B3的子块，另一部分为B2和B4子块。那么这种划分方式即表现为帧间模式中的P16×8模式。同理，在像素域内，若B1和B2的残差远大于B3和B4的残差。如果不重新进行模式选择的话，H.264的编码效率将比较低。在这种情况下，因为B3和B4的残差是比较小的，不需要进行运动估计，而B1和B2的残差比较大，因此需要重新进行运动估计；再若B3和B4的残差远大于B1和B2，则只需要对B2和B4重新进行运动估计。上述两种情况都能够把宏块划分为两部分，一部分为B1和B2的子块，另一部分为B3和B4子块。那么这种划分方式即表现为帧间模式中的P8×16模式。同理，若B1，B2，B3，B4都比较大，故需要分别对B1，B2，B3，B4四个子块进行运动估计，这样，降低四个子块原来的残差和，使编码效率提高。实际上，对四个子块分别进行运动估计是将宏块划分为四个部分，那么这种划分方式即表现为H.264中帧间预测的P8×8模式。

13、根据所述需要重新估计运动向量的子块相邻的宏块的运动向量以及所述需要重新估计运动向量的子块与相邻的宏块的相关度重新确定运动向量。

具体地，重新确定的运动向量 ${\mathrm{MV}}_{x,y}=\mathrm{round}\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i{\mathrm{MV}}_{x,y}^i\right)$

其中，N为所述需要重新估计运动向量的子块相邻的宏块的数量

为第i个所述需要重新估计运动向量的子块相邻的宏块的运动向量，β_i为第i个所述需要重新估计运动向量的子块与相邻的宏块的相关度。在上述运算之前首先，需要在MPEG2/H.263(视频编码标准)中，寻找与转换编码中当前宏块相邻的八个宏块向量，然后，在转换编码中，首先对当前块进行模式选择，并判断当前宏块中哪个子块需要重新估计运动向量，同时在八个相邻的宏块中，寻找与当前子块相邻的宏块。

作为可选的，在视频编码中，对每一个运动补偿块都需要匹配一个运动向量来表明运动补偿的方向。由于H.264中存在7种不同的子块，对每一个子块都需要有一个运动向量，因此，需要重新估计新的模式中的各个子块的运动向量。在DCT域中，重新做运动估计是非常困难的事情，而且会带来巨大的计算量，因此，需要用其它的方法来进行运动向量的估计。在像素域中进行运动估计，首先对运动向量进行预测，一般情况下实际的运动向量都会在这个预测向量附近。而预测向量是通过他上边，上右与左边三个子块的运动向量的中间值得到的。因此，在DCT域中，同样利用相邻子块的向量的相关性进行运动向量的选择。

14、根据计算出的原始运动向量确定的预测块的离散余弦变换系数、运动补偿后原始残差的离散余弦变换系数以及所述重新确定的运动向量确定的预测块的离散余弦变换系数重新确定所述需要重新估计运动向量的子块运动补偿后新的残差的离散余弦变换系数，并根据所述新的残差的离散余弦变换系数和所述重新确定的宏块的模式进行转换编码。

具体地，需要重新估计运动向量的子块运动补偿后新的残差的离散余弦变换系数

E′_c＝E_c+B_p-B′_p

其中，计算出的原始运动向量确定的预测块的离散余弦变换系数B_p，运动补偿后原始残差的离散余弦变换系数E_c，重新确定的运动向量确定的预测块的离散余弦变换系数B′_p。

在DCT域内进行转换编码时，有些宏块需要重新进行模式选择，而新的子块将有新的运动向量。当子块的运动向量变化后，子块运动补偿后子块的残差也将发生变化。如果仍然使用原来的残差值来进行计算，必将会带来很大的误差，因此，需要对拥有新的运动向量的子块更新其残差，对应的DCT域内残差的系数也将更新。

具体地，首先定义b_c为当前块的像素域内的值，b_p为预测块的像素域内的值，e_c表示像素域内当前块运动补偿后的残差值。由H.264的运动补偿可知，

b_c＝b_p+e_c                  (2)

对式(2)进行DCT变换后可得，

DCT(b_c)＝DCT(b_p)+DCT(e_c)    (3)

因此有，

B_c＝B_p+E_c    (4)

B_c是当前块的DCT系数，B_p是预测块的DCT系数，E_c是当前块运动补偿后残差的DCT系数。

对具有新的运动向量的子块的在新的运动向量下运动补偿块的像素域内值定义为b′_p，新残差的像素域内值定义为e′_p。同样的，根据H.264的运动补偿，可得，

b_c＝b′_p+e′_p              (5)

同样，在进行DCT变换后，可得，

B_c＝B′_p+E′_c              (6)

将式(4)代入式(6)后，可得，

B′_p+E′_c＝B_p+E_c           (7)

于是，可得在DCT域内新的残差的DCT系数计算公式为，

E′_c＝E_c+B_p-B′_p           (8)

由式(8)可知，新的残差的DCT系数能够通过当前块以前的DCT系数，以前的预测块DCT系数以及新的预测块DCT系数来获得，不需要在像素域内进行。如图3所示，当运动向量(MV)改变时，预测块的位置也发生变化，同样的所对应的像素域内值，DCT系数都将发生变化。

公式(8)所示的新的残差计算中，由于H.264中采用的和以往不同的DCT变换，因此，在H.264标准下的残差DCT系数必然和以前的标准有所不同。但是，在公式中，E_c，B_p，B′_p都是在8×8DCT变换后得到的DCT系数，所以公式(8)应该写成，

E′_c＝S(E_c+B_p-B′_p)              (9)

S为前面所提到的新的转换函数，即将8×8的DCT系数转换成H.264中的整数DCT系数。

根据转换函数的性质，有

E′_c＝S(E_c)+S(B_p)-S(B′_p)       (10)

$S\left(B_p\right)={\mathrm{SB}}_p{S}^T=S\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{H}_{i1}{B}_i{H}_{i2}\right)S^T=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{SH}}_{i1}{B}_i{H}_{i2}{S}^T---\left(11\right)$

令M_i1＝SH_i1，M_i2＝H_i2S^T，式(11)可写为

$S\left(B_p\right)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{M}_{i1}{B}_i{M}_{i2}---\left(12\right)$

其中，H_i1，H_i2是预知矩阵，一共有16个矩阵，因此，M_i1，M_i2也是预知矩阵，有32种。

因此，式(10)可写为

$E_c^{\′}=S\left(E_c\right)+\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{M}_{i1}{B}_i{M}_{i2}-\underset{j=1}{\overset{4}{\mathrm{\Σ}}}{M}_{j1}{B}_j{M}_{j2}---\left(13\right)$

其中，M₁，M₂由运动向量来决定选择32个矩阵中的两个。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

以MPEG2视频流到H.264视频流的转换编码为例，将不使用H.264中的宏块类型的DCT域内转换编码(即无模式选择，只有16*16模式)与引入了16*8模式的DCT域内转换编码的两种方法进行比较，具体如表1所示，将相同的重新量化参数下比特率、PSNR(峰值噪声比)以及所需要的转换时间进行了比较。

表1无模式选择的CDDT方法与引入16*8模式的CDDT方法比较(mobile)

由表1可知，在相同的重新量化参数下，增加一种模式选择后，转换视频的比特率有所降低，同时PSNR值也有所增加，因为在相同条件下，增加的P16x8模式会通过宏块的分割得到更少的残差能量，从而减少残差编码的比特数，但由于增加了一种模式选择，通过DCT域内运动补偿重新计算补偿块的DCT系数，需要一定的计算量，导致转换时间变长，从总体上来看，所需要的转换时间相对于整个转换编码来说增加了29％左右。

将不使用H.264中的宏块类型的DCT域内转换编码(即无模式选择，只有16*16模式)与引入了16*8模式和8*16模式的DCT域内转换编码的两种方法进行比较，具体如表2所示，将相同的重新量化参数下比特率、PSNR(峰值噪声比)以及所需要的转换时间进行了比较。

表2无模式选择的CDDT方法与引入16*8模式和8*16模式的CDDT方法比较(mobile)

如图4所示，显示了两种方法的RD性能对比。从图4与表2中可看到，相同量化参数下，当提供更多的宏块类型划分时性能更好。这说明提供的宏块类型能够得到更加匹配的补偿块，从而使宏块残差能量减小，降低量化误差，减少编码比特数。但同样由于需要重新进行DCT域内的残差DCT系数计算，所以需要更多的计算时间，由于计算过程和前面一样，所以从增加的转换时间来看，增加了不到30％的时间。

表3无模式选择的CDDT方法与引入16*8模式、8*16模式和8*8模式的CDDT方法比较

如图5所示，显示了两种方法的RD性能对比，当增加三种宏块划分后，转换编码的性能得到了进一步的提高，随着可选模式的增加，在相同比特率下转换编码的视频质量有所增加。从转换时间上来看，不管该运动块是否需要重新进行运动估计，该宏块都需要进行DCT系数的变换，将8x8的DCT系数转换成整数DCT系数的形式，因此，转换所需要的时间不会相差太多。由表1，2，3中转换时间的对比来看，模块类型的对转换的时间影响不大，基本上都在30％以下。

同时，图6和图7还显示了在运动变换较少(news测试序列)和运动变化较大(football测试序列)下采用本发明实施例提供的在变换域内直接进行转换编码的方法与无模式选择的CDDT方法的RD性能曲线。由结果可以判断，发明实施例提供的在变换域内直接进行转换编码的方法在不同码率条件下，都能够改善CDDT转换编码中的编码性能。

Claims (5)

1.一种在变换域内直接进行转换编码的方法，其特征在于，包括：

将一个宏块分成4个8*8子块，并获取每个子块的原始运动向量、原始残差和残差能量；

根据每个子块的残差能量与设定的阈值的比较结果重新确定宏块的模式以及确定出需要重新估计运动向量的子块；

根据所述需要重新估计运动向量的子块相邻的宏块的运动向量以及所述需要重新估计运动向量的子块与相邻的宏块的相关度重新确定运动向量；

根据计算出的原始运动向量确定的预测块的离散余弦变换系数、运动补偿后原始残差的离散余弦变换系数以及所述重新确定的运动向量确定的预测块的离散余弦变换系数重新确定所述需要重新估计运动向量的子块运动补偿后新的残差的离散余弦变换系数，并根据所述新的残差的离散余弦变换系数和所述重新确定的宏块的模式进行转换编码。

2.根据权利要求1所述的方法，其特征在于，所述设定阈值过程，包括：

根据读取的一帧的离散余弦变换系数计算出8*8子块的残差的平均能量；

将所述8*8子块的残差的平均能量与自适应参数的相乘设定为阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据每个子块的残差能量与设定的阈值的比较结果重新确定宏块的模式以及确定出需要重新估计运动向量的子块，包括：

若4个8*8子块均小于所述设定的阈值，则无需重新确定宏块的模式，且4个8*8子块均无需重新估计运动向量；

若4个8*8子块中有3个8*8子块都小于所述设定的阈值，且垂直方向上2个8*8子块的残差能量和大于水平方向上2个8*8子块的残差能量和，则重新确定宏块的模式为16*8帧间预测模式，且确定垂直方向上2个8*8子块需要重新估计运动向量；

若4个8*8子块中有3个8*8子块都小于所述设定的阈值，且垂直方向上2个子块的残差能量和小于等于水平方向上2个子块的残差能量和，则重新确定宏块的模式为8*16帧间预测模式，且确定水平方向上2个8*8子块需要重新估计运动向量；

若4个8*8子块中有2个8*8子块都小于所述设定的阈值，且2个8*8子块为垂直方向相邻，则重新确定宏块的模式为16*8帧间预测模式，且确定垂直方向上2个8*8子块需要重新估计运动向量；

若4个8*8子块中有2个8*8子块都小于所述设定的阈值，且2个8*8子块为水平方向相邻，则重新确定宏块的模式为8*16帧间预测模式，确定水平方向上2个8*8子块需要重新估计运动向量；

若所述根据每个子块的残差能量与设定的阈值的比较结果不是上述情形，则重新确定宏块的模式为8*8帧间预测模式，且确定4个8*8子块都需要重新估计运动向量。

4.根据权利要求1所述的方法，其特征在于，所述根据所述需要重新估计运动向量的子块相邻的宏块的运动向量以及所述需要重新估计运动向量的子块与相邻的宏块的相关度重新确定运动向量MV_x，y，包括：

${\mathrm{MV}}_{x,y}=\mathrm{round}\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i{\mathrm{MV}}_{x,y}^i\right)$

其中，N为所述需要重新估计运动向量的子块相邻的宏块的数量，

为第i个所述需要重新估计运动向量的子块相邻的宏块的运动向量，β_i为第i个所述需要重新估计运动向量的子块与相邻的宏块的相关度。

5.根据权利要求1所述的方法，其特征在于，所述根据计算出的原始运动向量确定的预测块的离散余弦变换系数、运动补偿后原始残差的离散余弦变换系数以及所述重新确定的运动向量确定的预测块的离散余弦变换系数重新确定所述需要重新估计运动向量的子块运动补偿后新的残差的离散余弦变换系数E′_c，包括：

E′_c＝E_c+B_p-B′_p

其中，计算出的原始运动向量确定的预测块的离散余弦变换系数B_p，运动补偿后原始残差的离散余弦变换系数E_c，重新确定的运动向量确定的预测块的离散余弦变换系数B′_p。

Images