CN103096085B - 一种基于odwt子带实时生成高质量dvc解码端边信息的方法 - Google Patents

Abstract

本发明公开了一种基于ODWT子带实时生成高质量DVC解码端边信息的方法，包括步骤：a在当前WZ帧前后相邻的两帧之间进行空域运动补偿时域插值，获得当前WZ帧的边信息SI_s，以及对应的空域运动矢量MV_s；b计算空域运动矢量的绝对值|MV_s|的均值Ave(|MV_s|)和方差Var(|MV_s|)；c根据Ave(|MV_s|)和Var(|MV_s|)判定是否需要对边信息SI_s进行增强；如果需要，进入步骤d；如不需要，则令S=SI_s，并进入步骤e；d首先对相邻帧进行2级ODWT变换，分解为7个子带S_k，然后使用MV_s作为运动矢量的初始值在各子带S_k间进行运动估计，重新计算各个子带对应的预测信息P_k，最后将｛P_k｝进行ODWT逆变换生成增强后的边信息SI_ODWT，并令S=SI_ODWT；e输出边信息S。本发明以较低的计算复杂度增长为代价，实现提升空域MCTI生成的边信息质量。

Description

一种基于ODWT子带实时生成高质量DVC解码端边信息的方法

技术领域

本发明属于图像处理技术、视频编码技术。具体讲本发明涉及一种分布式视频编码技术DVC(DistributedVideoCoding)解码端边信息SI(SideInformation)的质量提升方法。

背景技术

分布式视频编码技术DVC是在Slepian-Wolf编码，又称为分布式信源编码(DSC:DistributedSourceCoding)的基础上实现的。DVC编码主要面向资源有限的移动设备的低复杂度视频编码场景，由于采用独立编码联合解码的策略，具有高计算复杂度的运动估计ME(MotionEstimation)被移到了解码端进行，从而极大的改善了编码端对于计算资源的需求。

DVC解码端在工作的过程中需要首先生成边信息SI用于解码。SI的质量对于DVC编解码技术的率失真性能具有决定性的影响。生成边信息SI有多种方法，目前使用频繁的方法是在StanfordDVC系统中提出的，该方法把视频帧分为两类：一类以Intra编码模式进行编码，称为关键帧，其余的帧则进行WZ编码称为WZ帧。在解码端使用与当前编码的WZ帧相邻的已解码的前后两帧作为预测的信息源，基于运动估计运动补偿MEMC(MotionEstimationandMotionCompensation)的原理生成的，称为运动补偿时域插值方法MCTI(MotionCompensatedTemporalInterpolation)。

在最近几年中很多研究者对如何提高边信息的质量进行了研究，并提出了很多方法。但这些方法都存在模型复杂、适用性不广等问题。大部分DVC边信息都是在空域中生成的。

除上述基于空域MCTI的方法外，还有一种在ODWT域的各级子带进行MCTI生成边信息的方法。其采用如下方法生成DVC边信息。首先在解码端对当前WZ帧的前后相邻两帧进行ODWT变换，获得多级子带。然后计算相邻关键帧的差值的绝对值的方差。将这个方差与预先设定的阈值进行比较来决定哪几个子带需要进行MCTI，哪些子带不需要MCTI，而是直接使用平均值来作为预测。假设ODWT变换级数是2，那么需要两个阈值来决定ODWT变换获得的1级、2级子带中哪些需要进行MCTI变换。与基于空域MCTI的方法相比，该方法通过将MCTI从空域迁移到ODWT变换域显著地提升了边信息的质量，但是该方法在实时编码中存在一些问题如下：首先该方法显著的增加了解码端的计算量。如果采用与空域MCTI相同的搜索块大小和搜索范围，ODWT变换为2级的换，那么最坏情况下的计算量将是空域MCTI的7倍。其次，更为重要的是如果要获得较好的结果，就必须恰当的设置用来进行子带分类的阈值。对于非实时编码来说，可以通过统计等方法获得较好的分类阈值。但在实时编码中由于不知道将来的视频信息，就难以生成最佳阈值，严重降低生成的边信息质量。而且该方法中的阈值并不具有普遍性，即在一个视频序列中设定的阈值迁移到另一个视频序列中都会失效。

发明内容

为了克服现有技术的不足，本发明的任务在于提供一种基于ODWT子带实时生成高质量DVC解码端边信息的方法；本发明以较低的计算复杂度增长为代价，实现在实时DVC编码中提升空域MCTI生成边信息质量。

其技术解决方案是：

一种基于ODWT子带实时生成高质量DVC解码端边信息的方法，包括下列步骤：

a在当前WZ帧前后相邻的两帧之间进行空域运动补偿时域插值，获得当前WZ帧的边信息SI_s，以及对应的空域运动矢量MV_s，SI_s可以视为是DVC解码端形成的对当前WZ帧的预测帧；然后进入步骤b，

b计算空域运动矢量的绝对值|MV_s|的均值Ave(|MV_s|)和方差Var(|MV_s|)；然后进入步骤c，

c根据Ave(|MV_s|)和Var(|MV_s|)判定是否需要对边信息SI_s进行增强；如果需要，进入步骤d；如不需要，则令S=SI_s，并进入步骤e；

d首先对相邻帧进行2级ODWT变换，分解为7个子带S_k,k∈[1,7]，然后使用MV_s作为运动矢量的初始值在各子带S_k间进行运动估计，重新计算各个子带对应的预测信息P_k，最后将｛P_k｝进行ODWT逆变换生成增强后的边信息SI_ODWT，并令S=SI_ODWT；

e输出边信息S。

上述步骤c中，首先计算Ave(|MV_s|)和Var(|MV_s|)，Ave和Var分别代表求均值和方差的函数，然后计算二者之间的一个比值关系，并与某个预先设定的阈值th1比较，当大于th1时进入步骤d对边信息SI_s进行增强；当小于th1时则把Var(|MV_s|)与另一个预先设定的阈值th2进行比较，当大于th2时也进入步骤d对边信息SI_s进行增强，当小于th2时则进入步骤e。

上述步骤d中，首先对与当前WZ帧相邻的两个重构帧按下式进行2级ODWT变换

$\left\{S_k(t-1)\right\}=\mathrm{ODWT}\left(\hat{f}(t-1)\right)$

$\left\{S_k(t+1)\right\}=\mathrm{ODWT}\left(\hat{f}(t+1)\right)$

k∈[1,7]

其中公式左侧S_k表示某个子带，｛｝表示各级子带的集合，右侧ODWT表示冗余离散小波变换，t表示时间；其次在S_k(t-1)和S_k(t+1)之间按下式进行各级子带的预测，

P_k=MEMC(S_k(t-1),S_k(t+1),MV_s)

其中MV_s为空域运动矢量，作为MEMC的初始值；当对所有子带都进行了MEMC操作生成了P_k后，按下式进行ODWT逆变换生成SI_ODWT，

S_ODWT=ODWT^-1({P_k})k∈[1,7]

上述步骤d中，在各个ODWT子带中进行运动估计时采用不同的搜索策略，在第一级分级高频子带、第二级高频子带以及第二级低频子带设置不同的搜索块尺寸和搜索范围，用以降低计算复杂度的同时提升边信息质量。

本发明可以产生如下有益的技术效果：

从本质上看，本发明把在ODWT域进行MCTI看作是对空域MCTI生成的边信息的一种修正和增强。首先，本发明是在空域MCTI的基础上进行的，把空域运动估计获得的运动矢量作为ODWT域运动估计的初始矢量，由于空域和各子带之间存在的强相关性，该设置大大降低了运动搜索的计算量；其次，在各个ODWT子带中进行运动估计时可以采用不同的搜索策略，比如在第一级分级高频子带、第二级高频子带以及第二级低频子带设置不同的搜索块尺寸和搜索范围来进一步降低计算复杂度的同时提升边信息质量；最后，本发明所使用的两个阈值均可以直接根据先验值设置，而不需要统计全部视频序列才能正确设置，可以非常方便的用于实时编码系统。

附图说明

下面结合附图与具体实施方式对本发明作更进一步的说明：

图1为本发明一种实施方式的流程示意框图。

图2为在stanford-DVC框架中本发明的位置。

图3为本发明中使用的基于前向和后向两次运动估计的MCTI方法示意图。

图4为本发明中使用的基于ODWT的边信息增强流程示意图。

图5示出的是本发明生成的边信息质量，视频序列：Foreman。

图6示出的是本发明生成的边信息质量，视频序列：Soccer。

具体实施方式

参看图1，一种基于ODWT子带实时生成高质量DVC解码端边信息的方法，包括下列步骤：a在当前WZ帧前后相邻的两帧之间进行空域运动补偿时域插值，获得当前WZ帧的边信息SI_s（SI_s可以视为是DVC解码端形成的对当前WZ帧的预测帧），以及对应的空域运动矢量MV_s；b计算空域运动矢量的绝对值|MV_s|的均值Ave(|MV_s|)和方差Var(|MV_s|)；c根据Ave(|MV_s|)和Var(|MV_s|)来判定是否需要对边信息SI_s进行增强；如果需要，则跳转至步骤d；如不需要，则令S=SI_s，并跳转至步骤e；d首先对相邻帧进行2级ODWT变换，分解为7个子带S_k,k∈[1,7]，然后使用MV_s作为运动矢量的初始值在各子带S_k间进行运动估计，重新计算各个子带对应的预测信息P_k，最后将｛P_k｝进行ODWT逆变换生成增强后的边信息SI_ODWT，并令S=SI_ODWT；e输出边信息S。

下面进一步详细说明本发明的技术方案

本发明基于ODWT提升边信息质量方法可以与各种不同的DVC实现机制相结合。图2给出了在stanford-DVC框架下本发明的使用情况，其中黑色虚线方框所示的“基于ODWT的边信息质量提升”模块即为本发明所设计的边信息生成方法。

下面在stanford-DVC框架下对本发明方法进一步说明。

a在当前WZ帧前后相邻的两帧之间进行空域运动补偿时域插值，获得对当前WZ帧的空域预测边信息SIs，以及对应的空域运动矢量MVs；

当前WZ帧前后相邻的两帧是两个已经解码重构的关键帧或者WZ帧，记为和其中Λ=[x,y]表示位置，t表示时间。运动补偿时域插值如图3所示，包括一次前向运动估计和一次后向运动估计。空域运动补偿时域插值生成的空域边信息是两次运动估计生成的预测的均值，如下式：

${\mathrm{SI}}_F(\mathrm{\Λ}-({\mathrm{MV}}_F/2),t)=\hat{f}(\mathrm{\Λ},t+1)+\hat{f}(\mathrm{\Λ}-{\mathrm{MV}}_F,t-1)$

${\mathrm{SI}}_B(\mathrm{\Λ}-({\mathrm{MV}}_B/2),t)=\hat{f}(\mathrm{\Λ}-{\mathrm{MV}}_B,t+1)+\hat{f}(\mathrm{\Λ},t-1)---\left(1\right)$

SI_s=(SI_F+SI_B)/2

其中MV_s包括MV_F和MV_B，MV=[dxdy]表示在x和y两个方向上的偏移量。该过程假设视频中的运动是对称的、匀速的。此过程中搜索块大小为8x8，搜索范围为[-1616]。另外考虑到位置的偏移，SI_F和SI_B并不一定能覆盖SI_s所有的位置，SI_s会出现孔洞现象（即某些位置上无预测值），该孔洞问题可通过赋予SI_s一个初值的方式来解决。一个较好的初值选择是f(t+1)和f(t-1)的平均值。

b计算空域运动矢量的绝对值|MV_s|的均值Ave(|MV_s|)和方差Var(|MV_s|)；

c根据Ave(|MV_s|)和Var(|MV_s|)来判定是否需要对边信息SI_s进行增强；如果需要，则跳转至步骤d；如不需要，则令S=SI_s，并跳转至步骤e；

判断是否需要进行边信息增强处理，流程如图4所示。首先计算|MV_s|的方差与均值的比值，如下式所示

$r=\sqrt{\mathrm{Var}\left(\right|{\mathrm{MV}}_s\left|\right)}/\mathrm{Ave}\left({|\mathrm{MV}}_s\right|)---\left(2\right)$

将该比值与一个阈值Th1相比来判断是否需要进行边信息SI_s的增强，当r大于Th1时跳转至（进入）步骤d对边信息SI_s进行增强；当r小于Th1但Var(|MV_s|)大于Th2时也跳转至（进入）步骤d对边信息SI_s进行增强；其他情况下，不需要边信息SI_s进行增强则跳转至（进入）步骤e。此处Th1和Th2是预先设置的阈值，其中第一个阈值反映的是当前帧中运动变化的相对情况，第二个反映的是当前帧中运动变化的绝对情况。两个阈值的设定不要对全部视频帧进行统计后计算，可以根据先验值设定。

d首先对相邻帧进行2级ODWT变换，分解为7个子带S_k,k∈[1,7]，然后使用MV_s作为运动矢量的初始值在各子带S_k间进行运动估计，重新计算各个子带对应的预测信息P_k，最后将｛P_k｝进行ODWT逆变换生成增强后的边信息SI_ODWT，并令S=SI_ODWT；

边信息增强处理的流程如图4所示。首先对与当前WZ帧相邻的两个重构帧按下式进行2级ODWT变换

$\left\{S_k(t-1)\right\}=\mathrm{ODWT}\left(\hat{f}(t-1)\right)$

$\left\{S_k(t+1)\right\}=\mathrm{ODWT}\left(\hat{f}(t+1)\right)---\left(3\right)$

k∈[1,7]

其中公式左侧表示各级子带的集合，右侧ODWT表示冗余离散小波变换，该变换采用多孔算法实现。

其次在S_k(t-1)和S_k(t+1)之间按下式进行各级子带的预测，

P_k=MEMC(S_k(t-1),S_k(t+1),MV_s)(4)

其中MV_s为空域运动矢量，作为MEMC的初始值。每个子带生成P_k采用的MCMC方法类似于图2所示的MCTI方法。每个子带在进行MEMC时可以采用不同的搜索策略，典型的如当k∈[1,3]时MEMC搜索块的大小为8x8，搜索范围为[-22],当k∈[4,7]时MEMC搜索块的大小为4x4，搜索范围为[-66]，这种设置充分考虑了不同级不同子带的特点。当对所有的子带k都进行了MEMC操作并生成了P_k后，按下式进行ODWT逆变换求的SI_ODWT，

S_ODWT=ODWT^-1({P_k})k∈[1,7]

并令S=SI_ODWT；

e输出边信息S。

图5和图6是本发明与传统空域MCTI生成边信息方法的对比结果。测试序列为具有中等运动和强烈运动的Foreman和Soccer序列，序列格式为QCIF，帧率为30fps.其中Intra编码的量化步长为32。二者采用的是相同的阈值Th1和Th2，可以看到实验结果中部分WZ帧不符合增强条件所以仍然采用的是空域MCTI生成的边信息，大部分WZ帧进行了增强，其中极少部分帧的边信息质量略有下降，大部分边信息质量都有所提升。

在图5和图6所示的实验中，所涉及的方法采用的是相同的阈值Th1和Th2。图5和图6实验结果的一致性充分表明了本发明可以有效性的应用于DVC实时编码系统中，其阈值的设置具有较好的适应性。

根据实验结果统计，在上述实验条件下，本发明与空域MCTI方法相比，在第1至50WZ帧上，在Foreman序列上平均质量提升了0.32dBs，在Soccer序列上平均质量提升了0.29dBs。上述实验结果充分表明了，本发明可以较好的应用于DVC实时编码系统中，并且能够提升边信息质量，有助于提高DVC系统的率失真性能。

特别说明的是，本发明工作受国家自然科学基金项目(61170253,61201431)、山东科技大学信息学院科研创新团队计划支持。

上述方式中未述及的有关技术内容采取或借鉴已有技术即可实现。

需要说明的是，在本说明书的教导下本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或明显变形方式。上述的变化方式均应在本发明的保护范围之内。

Claims (3)

1.一种基于ODWT子带实时生成高质量DVC解码端边信息的方法，其特征在于包括下列步骤：

a在当前WZ帧前后相邻的两帧之间进行空域运动补偿时域插值，获得当前WZ帧的边信息SI_s，以及对应的空域运动矢量MV_s，SI_s可以视为是DVC解码端形成的对当前WZ帧的预测帧；然后进入步骤b，

b计算空域运动矢量的绝对值|MV_s|的均值Ave(|MV_s|)和方差Var(|MV_s|)；然后进入步骤c，

c根据Ave(|MV_s|)和Var(|MV_s|)判定是否需要对边信息SI_s进行增强；如果需要，进入步骤d；如不需要，则令S＝SI_s，并进入步骤e；

d首先对相邻帧进行2级ODWT变换，分解为7个子带S_k，k∈[1,7]，然后使用MV_s作为运动矢量的初始值在各子带S_k间进行运动估计，重新计算各个子带对应的预测信息P_k，最后将{P_k}进行ODWT逆变换生成增强后的边信息SI_ODWT，并令S＝SI_ODWT；

e输出边信息S；

上述步骤c中，首先计算Ave(|MV_s|)和Var(|MV_s|)，Ave和Var分别代表求均值和方差的函数，然后计算二者之间的一个比值关系，并与某个预先设定的阈值th1比较，当大于th1时进入步骤d对边信息SI_s进行增强；当小于th1时则把Var(|MV_s|)与另一个预先设定的阈值th2进行比较，当大于th2时也进入步骤d对边信息SI_s进行增强，当小于th2时则进入步骤e。

2.根据权利要求1所述的一种基于ODWT子带实时生成高质量DVC解码端边信息的方法，其特征在于上述步骤d中，首先对与当前WZ帧相邻的两个重构帧按下式进行2级ODWT变换

$\left\{S_k(t-1)\right\}=ODWT\left(\hat{f}\right(t-1\left)\right)$

$\left\{S_k(t+1)\right\}=ODWT\left(\hat{f}\right(t+1\left)\right)$

k∈[1,7]

其中公式左侧S_k表示某个子带，{}表示各级子带的集合，右侧ODWT表示冗余离散小波变换，t表示时间；其次在S_k(t-1)和S_k(t+1)之间按下式进行各级子带的预测，

P_k＝MEMC(S_k(t-1),S_k(t+1),MV_s)

其中MV_s为空域运动矢量，作为MEMC的初始值；当对所有子带都进行了MEMC操作生成了P_k后，按下式进行ODWT逆变换生成SI_ODWT。

S_ODWT＝ODWT^-1({P_k})k∈[1,7]

3.根据权利要求2所述的一种基于ODWT子带实时生成高质量DVC解码端边信息的方法，其特征在于上述步骤d中，在各个ODWT子带中进行运动估计时采用不同的搜索策略，在第一级分级高频子带、第二级高频子带以及第二级低频子带设置不同的搜索块尺寸和搜索范围，用以降低计算复杂度的同时提升边信息质量。