CN103313064A - 基于帧间模式和运动修补的时域错误隐藏方法 - Google Patents

Abstract

本发明涉及一种基于帧间模式和运动修补的时域错误隐藏方法，其主要技术特点是：包括以下步骤：根据与当前受损宏块上、下、左、右相邻的正确接收块的帧间模式信息进行错误隐藏方法分类，分别对受损块的运动矢量进行修复；使用运动补偿的方法，利用修复后得到的运动矢量在其参考帧中取得该受损块的重构值。本发明充分利用与受损宏块相邻正确接收块的帧间模式信息采用不同的错误隐藏方法对受损块的运动矢量进行修复，对复杂区域用基于子块的运动修补方法，对相对平坦区域用边界匹配法，对静止区域用零运动矢量法，能更精确地恢复出受损块的运动矢量，提高错误隐藏的效果，算法复杂度合适，能够保证在移动应用中的实时性。

Description

基于帧间模式和运动修补的时域错误隐藏方法

技术领域

本发明属于视频编码技术领域，尤其是一种基于帧间模式和运动修补的时域错误隐藏方法。

背景技术

近年来，随着第三代移动通信和多媒体技术的快速发展，视频通信技术在很多方面都得到了广泛的应用，成为人们工作、学习和生活中必不可少的一部分。如用视频通信技术来实现实时现场信息的交流，在因特网上进行视频广播，用卫星视频传输系统建立远程作战指挥系统等等。但视频数据中同样存在多种冗余，包括时域冗余、空域冗余、统计冗余、结构冗余和视觉冗余等，信息数据量非常大，而且传输信道的带宽又相对有限，必须对视频数据进行压缩。

目前广泛使用的视频压缩编码标准H.264/AVC采用混合编码框架，编码器通过运动估计、运动补偿、离散余弦变换、块量化以及变长编码来最大限度降低视频信号中存在的空间和时间冗余，然而在获得高压缩效率的同时，也降低了码流对丢包或误码问题的鲁棒性，一旦出现丢包或误码，错误数据将作为其他数据的参考数据在空间域和时间域中迅速蔓延和扩散，视频质量将会成几何级数下降。但是由于互联网和无线网中网络环境的变化，丢包或误码现象难以避免。为了改善因丢包或误码而受到影响的视频画面质量，并兼顾错误恢复的实时性和高效性，错误隐藏技术被应用于H.264/AVC的容错机制中。

错误隐藏技术是利用人眼在主观视觉上对视频信息的高频部分并不敏感的特点，根据视频图像在时间和空间上的高度相关性，利用解码端已有的数据信息来隐藏受损的视频数据以减小或降低视频图像因丢包或误码产生的失真的一种后处理方法。错误隐藏技术主要分为两种：空域错误隐藏和时域错误隐藏。空域错误隐藏方法是基于图像的空间特性，利用帧内邻近宏块的信息来重新构造出丢失宏块内的像素点。时域错误隐藏方法是基于视频序列连续帧之间的强相关性，利用前一帧的相关信息恢复出丢失块的细节。使用时域错误隐藏方法的一个关键问题是如何确定最合理的运动矢量。如果运动矢量在解码端正确解码，则可直接用来进行错误隐藏。但是，在大多数情况下，丢失宏块的运动矢量也无法正确解码。有一种解决方法是零运动矢量法，它利用参考帧中同一位置的宏块来替代受损宏块，但对于运动剧烈，前后帧图像差别较大的情况，会产生明显块效应。还有一种方法是基于空间运动的平滑性，结合与其空间相邻宏块对应的可能运动矢量中给出一个统计结果，但这种方法依赖于运动矢量均匀分布这一前提。另一种方法是基于边界匹配的运动矢量匹配方法，该方法根据内边界和外边界的平滑性选择一个最合理的运动矢量，但如果宏块位于物体的边界、边界的插值比较大和离散余弦变换的系数变化比较剧烈的区域，容易产生错误的运动矢量，引起匹配失败，导致错误隐藏的效果下降。此外，L.YChen等(L.YChen,S.CChanandH.YShum,“Ajointmotion-imageinpaintingmethodforerrorconcealmentinvideocoding,”inImageProcessing,2006IEEEInternationalConferenceonIEEE,2006,pp.2241–2244)提出基于像素的运动修补算法。陈旭佩(采用修补技术的视频错误隐藏算法的研究[D]，上海交通大学，2008年)提出基于4×4块的运动修补算法。但两种算法复杂度高，运动矢量预测的正确性和错误隐藏的效果仍有改善的空间。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、能有效地提高运动矢量预测准确性及隐藏效果的基于帧间模式和运动修补的时域错误隐藏方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于帧间模式和运动修补的时域错误隐藏方法，包括以下步骤：

步骤1、根据与当前受损宏块上、下、左、右相邻的正确接收块的帧间模式信息进行错误隐藏方法分类，分别对运动矢量进行修复；

步骤2、使用运动补偿的方法，利用修复后得到的运动矢量在其参考帧中取得该受损块的重构值。

而且，所述步骤1对运动矢量进行修复的方法包括以下内容：

(1)如果相邻正确接收的宏块的子块存在最小分割为4×4，4×8，8×4的帧间模式或存在Intra的帧间模式，则把当前受损宏块划分为16个4×4的块，对每个4×4块的运动矢量用基于运动修补的方法进行修复；

(2)如果相邻正确接收的宏块的子块只存在最小分割为8×8，8×16或16×8的帧间模式，则把当前受损宏块划分为4个8×8的块，对每个8×8块的运动矢量用基于运动修补的方法进行修复；

(3)如果相邻正确接收的宏块只存在最小分割为16×16的帧间模式，则用边界匹配法对当前受损宏块的运动矢量进行修复；

(4)如果相邻正确接收的宏块的帧间模式均为SKIP模式，则用零运动矢量法对当前受损宏块的运动矢量进行修复。

而且，所述基于运动修补的运动矢量修复方法包括以下步骤：

(1)根据与当前受损宏块上、下、左、右相邻宏块的正确接收情况决定受损宏块的子块的运动矢量的修复顺序；

(2)利用与当前受损块紧邻的正确接收块的运动矢量的加权系数平均法来修复当前受损块的运动矢量mv(p_t)：

$\mathrm{m\ν}\left(p_t\right)=\frac{{\mathrm{\Σ}}_{q_t\∈H\left(p_t\right)}\mathrm{\ω}(p_t,q_t)\mathrm{m\ν}\left(q_t\right)}{{\mathrm{\Σ}}_{q_t\∈H\left(p_t\right)}\mathrm{\ω}(p_t,q_t)}$

其中，p_t为当前受损子块，H(p_t)为紧邻当前受损块的正确接收宏块的子块，q_t为当前受损子块运动矢量的参考块，mv为子块的运动矢量，ω(p_t,q_t)为加权系数，其计算公式如下：

$\mathrm{\ω}(p_t,q_t)=\frac{1}{\mathrm{SAD}(p_{t-1},q_{t-1})+\mathrm{\ϵ}}$

其中，ε为0.01，SAD(p_t-1,q_t-1)为前一帧和受损块位置相同的块与其运动矢量参考块边界像素绝对差值和。

而且，所述基于边界匹配的运动矢量修复方法包括以下步骤：

(1)将受损宏块上、下、左、右相邻的正确接收的宏块的各运动矢量、半值运动矢量、均值运动矢量以及与前一帧和受损宏块相同位置的宏块的运动矢量作为候选运动矢量集，按以下公式计算：

$D=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|Y\{{\mathrm{mv}}^{\mathrm{dir}}{\}}_j^{\mathrm{IN}}-Y_j^{\mathrm{OUT}}|$

其中，D为边界匹配失真，N=16，

为利用运动矢量参数集在其参考帧中使用运动补偿得到的该受损块内边界重构像素的亮度值，YOUT为受损宏块相邻的正确接收宏块的外边界像素的亮度值。

(2)边界匹配失真最小的运动矢量为受损宏块运动矢量的修复值。

而且，所述零运动矢量法为：将当前帧的受损宏块由参考帧相同位置的宏块直接替代进行修复，受损宏块每个像素的亮度色度信息直接用前一帧对应的信息替代，运动矢量置为0。

而且，所述步骤1对运动矢量进行恢复的方法还包括：如果与受损宏块相邻的宏块均受损，没有帧间模式和运动矢量信息，则利用前一帧对应位置的宏块的运动矢量来修复当前受损宏块的运动矢量。

本发明的优点和积极效果是：

本发明充分利用与受损宏块相邻正确接收块的帧间模式信息采用不同的错误隐藏方法对受损块的运动矢量进行修复，对复杂区域用基于子块的运动修补方法，对相对平坦区域用边界匹配法，对静止区域用零运动矢量法，能更精确地恢复出受损块的运动矢量，提高错误隐藏的效果，算法复杂度合适，能够保证在移动应用中的实时性。

附图说明

图1是本发明的处理流程图；

图2是基于4×4块运动修补的顺序图；

图3是4×4块运动修补示意图；

图4是4×4块运动修补中加权系数计算中SAD示意图；

图5是基于8×8块运动修补的顺序图；

图6是8×8块运动修补示意图；

图7是8×8块运动修补中加权系数计算中SAD示意图；

图8是边界匹配法示意图；

图9是零运动矢量法示意图；

图10是本发明与其他方法对Foreman序列第八帧的恢复效果示意图。

具体实施方式

以下结合附图对本发明做进一步详述。

一种基于帧间模式和运动修补的时域错误隐藏方法，如图1所示，包括以下步骤：

步骤1、根据与当前受损宏块上、下、左、右相邻的正确接收块的帧间模式信息进行错误隐藏方法分类，并分别对运动矢量进行修复；

步骤2、使用运动补偿的方法，利用修复后得到的运动矢量在其参考帧中取得该受损块的重构值。

现根据不同的帧间模式分别进行说明：

(1)如果相邻正确接收的宏块的子块存在最小分割为4×4，4×8，8×4的帧间模式或存在Intra的帧间模式，则把当前受损宏块划分为16个4×4的块，对每个4×4块用基于运动修补的方法进行修复。所述的基于4×4块的运动修补方法包括如下步骤：

①根据相邻宏块的正确接收情况决定当前每个4×4块的运动矢量修复顺序：

如图2所示，白色块为受损块，周围黑色块为正确接收块。如果当前受损宏块的相邻宏块只有一个正确接收，则以图2(a)、2(b)所示情况为例，按图2(a)、2(b)所示的顺序号依次对每个4×4块的运动矢量进行修复。如果当前受损宏块的相邻宏块有两个正确接收，若两个正确接收宏块对称分布，则以图2(c)所示情况为例，按图2(c)所示的顺序号依次对每个4×4块的运动矢量进行修复；若两个正确接收宏块分布不对称，则以图2(d)所示情况为例，按图2(d)所示的顺序号依次对每个4×4块的运动矢量进行修复。如果当前受损宏块的相邻宏块有三个正确接收，则以图2(e)所示情况为例，按图2(e)所示的顺序号依次对每个4×4块的运动矢量进行修复。如果当前受损宏块的相邻宏块全部正确接收，则按图2(f)所示的顺序号依次对每个4×4块的运动矢量进行修复。

②每个4×4块根据以下公式修复其运动矢量mv(p_t)：

$\mathrm{mv}\left(p_t\right)=\frac{{\mathrm{\Σ}}_{q_t\∈H\left(p_t\right)}\mathrm{\ω}(p_t,q_t)\mathrm{mv}\left(q_t\right)}{{\mathrm{\Σ}}_{q_t\∈H\left(p_t\right)}\mathrm{\ω}(p_t,q_t)}$

其中，如图3所示，p_t为受损宏块的4×4子块，H(p_t)为相邻正确接收宏块紧邻p_t的4×4子块，mv为4×4块的运动矢量，利用与当前受损的4×4块p_t紧邻的正确接收的4×4块q_t的运动矢量mv(q_t)的加权平均来修复当前受损的4×4块p_t的运动矢量mv(p_t)，正确接收的4×4块q_t如果属于包含它的更大分割的块，则其运动矢量mv(q_t)也可从更大分割的块的运动矢量继承而得到。ω(p_t,q_t)为加权系数，其计算公式如下：

$\mathrm{\ω}(p_t,q_t)=\frac{1}{\mathrm{SAD}(p_{t-1},q_{t-1})+\mathrm{\ϵ}}$

其中，ε为0.01，SAD(p_t-1,q_t-1)为前一帧和受损块位置相同的块与其运动矢量参考块边界像素绝对差值和。如图4所示：

SAD(p_t-1,q_t-1)=|Y(a)-Y(α)|+|Y(b)-Y(β)|+|Y(c)-Y(γ)|+|Y(d)-Y(δ)|

其中，a、b、c、d为前一帧受损4×4块边界的4个像素，α、β、γ、δ为前一帧相邻正确接收的4×4块边界的4个像素。

③使用运动补偿的方法，利用修复后得到的每个4×4块的运动矢量在其参考帧中取得该受损块的重构值。

(2)如果相邻正确接收的宏块的子块只存在最小分割为8×8，8×16或16×8的帧间模式，则把当前受损宏块划分为4个8×8的块，对每个8×8块的运动矢量用基于运动修补的方法进行修复。所述的基于8×8块的运动修补方法包括如下步骤：

①根据相邻宏块正确接收情况决定当前每个8×8块的运动矢量修复顺序：

如图5所示，白色块为受损块，周围黑色块为正确接收块。如果当前受损宏块的相邻宏块只有一个正确接收，则以图5(a)、5(b)所示情况为例，按图5(a)、5(b)所示的顺序号依次对每个8×8块的运动矢量进行修复。如果当前受损宏块的相邻宏块有两个正确接收，若两个正确接收宏块对称分布，则以图5(c)所示情况为例，按图5(c)所示的顺序号依次对每个8×8块的运动矢量进行修复；若两个正确接收宏块分布不对称，则以图5(d)所示情况为例，按图5(d)所示的顺序号依次对每个8×8块的运动矢量进行修复。如果当前受损宏块的相邻宏块有三个正确接收，则以图5(e)所示情况为例，按图5(e)所示的顺序号依次对每个8×8块的运动矢量进行修复。如果当前受损宏块的相邻宏块全部正确接收，则按图5(f)所示的顺序号依次对每个8×8块的运动矢量进行修复。

②每个8×8块根据以下公式修复其运动矢量mv(p_t)：

$\mathrm{mv}\left(p_t\right)=\frac{{\mathrm{\Σ}}_{q_t\∈H\left(p_t\right)}\mathrm{\ω}(p_t,q_t)\mathrm{mv}\left(q_t\right)}{{\mathrm{\Σ}}_{q_t\∈H\left(p_t\right)}\mathrm{\ω}(p_t,q_t)}$

其中，如图6所示，p_t为受损宏块的8×8子块，H(p_t)为相邻正确接收宏块紧邻p_t的8×8子块，mv为8×8块的运动矢量，利用与当前受损的8×8块p_t紧邻的正确接收的8×8块q_t的运动矢量mv(q_t)的加权平均来修复当前受损的8×8块p_t的运动矢量mv(p_t)，正确接收的8×8块q_t如果属于包含它的更大分割的块，则其运动矢量mv(q_t)也可从更大分割的块的运动矢量继承而得到。ω(p_t,q_t)为加权系数，其计算公式如下：

$\mathrm{\ω}(p_t,q_t)=\frac{1}{\mathrm{SAD}(p_{t-1},q_{t-1})+\mathrm{\ϵ}}$

其中，ε为0.01，SAD(p_t-1,q_t-1)为前一帧和受损块位置相同的块与其运动矢量参考块边界像素绝对差值和。如图7所示：

SAD(p_t-1,q_t-1)=|Y(a)-Y(α)|+|Y(b)-Y(β)|+|Y(c)-Y(γ)|+|Y(d)-Y(δ)|+|Y(e)-Y(ε)|+Y(f)-Y(ζ)|+Y(g)-Y(η)|+|Y(h)-Y(θ)|

其中，a、b、c、d、e、f、g、h为前一帧受损8×8块边界的8个像素，α、β、γ、δ、ε、ζ、η、θ为前一帧相邻正确接收的8×8块边界的8个像素。

③使用运动补偿的方法，利用修复后得到的每个8×8块的运动矢量在其参考帧中取得该受损块的重构值。

(3)如果相邻正确接收的宏块只存在最小分割为16×16的帧间模式，则用边界匹配法对当前受损宏块的运动矢量进行修复。所述的基于宏块的边界匹配法包括如下步骤：

①如图8所示，白色宏块为当前受损宏块，黑色宏块为其上、下、左、右相邻的正确接收宏块。把受损宏块上、下、左、右相邻的正确接收的宏块的各运动矢量、半值运动矢量、均值运动矢量以及与前一帧和受损宏块相同位置的宏块的运动矢量作为候选运动矢量集，按以下公式计算：

$D=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|Y\{{\mathrm{mv}}^{\mathrm{dir}}{\}}_j^{\mathrm{IN}}-Y_j^{\mathrm{OUT}}|$

其中，D为边界匹配失真，N=16，

为利用运动矢量参数集在其参考帧中使用运动补偿得到的该受损块内边界重构像素的亮度值，YOUT为受损宏块相邻的正确接收宏块的外边界像素的亮度值。

②边界匹配失真最小的运动矢量为受损宏块运动矢量的修复值。

③使用运动补偿的方法，利用修复后得到的宏块的运动矢量在其参考帧中取得该受损块的重构值。

(4)如果相邻正确接收的宏块的帧间模式均为SKIP模式，则用零运动矢量法对当前受损宏块的运动矢量进行修复。所述的零运动矢量法如图9所示，当前帧的受损宏块由参考帧相同位置的宏块直接替代进行修复，受损宏块每个像素的亮度色度信息直接用前一帧对应的信息替代，运动矢量置为0。

最后，如果与受损宏块相邻的宏块均受损，没有帧间模式和运动矢量信息，则利用前一帧对应位置的宏块的运动矢量来修复当前受损宏块的运动矢量，并利用该运动矢量进行运动补偿，从参考帧中取得该受损块的重构值。

表一为在不同丢包率和量化参数的情况下，采用不同方法进行恢复的平均峰值信噪比(PSNR)的对比值(单位dB)。

表一

图10是QP为28，丢包率为10%的情况下，不同方法对Foreman序列第八帧的恢复结果，其中图10（a）为原始第八帧，图10（b）JM18.4自带算法第八帧隐藏效果，图10（c）为陈旭佩算法第八帧隐藏效果，图10（d）是本发明的第八帧隐藏效果。从表一和图10可以看出，本发明的错误隐藏效果的主观质量和客观质量均优于JM自带算法和陈旭佩的算法。

需要强调的是，上述具体实施方式以较佳实施例对本发明进行了说明，但这只是为了便于理解而举的一个形象化的实例，不应被视为是对本发明范围的限制。同样，根据本发明的技术方案及其较佳实施例的描述，可以做出各种可能的等同改变或替换，而所有这些改变或替换都应属于本发明权利要求的保护范围。

Claims (6)

1.一种基于帧间模式和运动修补的时域错误隐藏方法，其特征在于：包括以下步骤：

步骤1、根据与当前受损宏块上、下、左、右相邻的正确接收块的帧间模式信息进行错误隐藏方法分类，分别对受损块的运动矢量进行修复；

步骤2、使用运动补偿的方法，利用修复后得到的运动矢量在其参考帧中取得该受损块的重构值。

2.根据权利要求1所述的基于帧间模式和运动修补的时域错误隐藏方法，其特征在于：所述步骤1对运动矢量进行修复的方法包括以下内容：

(1)如果相邻正确接收的宏块的子块存在最小分割为4×4，4×8，8×4的帧间模式或存在Intra的帧间模式，则把当前受损宏块划分为16个4×4的块，对每个4×4块的运动矢量用基于运动修补的方法进行修复；

(2)如果相邻正确接收的宏块的子块只存在最小分割为8×8，8×16或16×8的帧间模式，则把当前受损宏块划分为4个8×8的块，对每个8×8块的运动矢量用基于运动修补的方法进行修复；

(3)如果相邻正确接收的宏块只存在最小分割为16×16的帧间模式，则用边界匹配法对当前受损宏块的运动矢量进行修复；

(4)如果相邻正确接收的宏块的帧间模式均为SKIP模式，则用零运动矢量法对当前受损宏块的运动矢量进行修复。

3.根据权利要求2所述的基于帧间模式和运动修补的时域错误隐藏方法，其特征在于：所述基于运动修补的运动矢量修复方法包括以下步骤：

(1)根据与当前受损宏块上、下、左、右相邻宏块的正确接收情况决定受损宏块的子块的运动矢量修复顺序；

(2)利用与当前受损块紧邻的正确接收块的运动矢量的加权系数平均法来修复当前受损块的运动矢量mv(p_t)：

$\mathrm{mv}\left(p_t\right)=\frac{{\mathrm{\Σ}}_{q_t\∈H\left(p_t\right)}\mathrm{\ω}(p_t,q_t)\mathrm{mv}\left(q_t\right)}{{\mathrm{\Σ}}_{q_t\∈H\left(p_t\right)}\mathrm{\ω}(p_t,q_t)}$

其中，p_t为当前受损子块，H(p_t)为紧邻当前受损块的正确接收宏块的子块，q_t为当前受损子块运动矢量的参考块，mv为子块的运动矢量，ω(p_t,q_t)为加权系数，其计算公式如下：

$\mathrm{\ω}(p_t,q_t)=\frac{1}{\mathrm{SAD}(p_{t-1},q_{t-1})+\mathrm{\ϵ}}$

其中，ε为0.01，SAD(p_t-1,q_t-1)为前一帧和受损块位置相同的块与其运动矢量参考块边界像素绝对差值和。

4.根据权利要求2所述的基于帧间模式和运动修补的时域错误隐藏方法，其特征在于：所述基于边界匹配的运动矢量修复方法包括以下步骤：

(1)将受损宏块上、下、左、右相邻的正确接收宏块的各运动矢量、半值运动矢量、均值运动矢量以及与前一帧和受损宏块相同位置宏块的运动矢量作为候选运动矢量集，按以下公式计算：

$D=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|Y\{{\mathrm{mv}}^{\mathrm{dir}}{\}}_j^{\mathrm{IN}}-Y_j^{\mathrm{OUT}}|$

其中，D为边界匹配失真，N=16，

为利用运动矢量参数集在其参考帧中使用运动补偿得到的该受损块内边界重构像素的亮度值，Y^OUT为受损宏块相邻的正确接收宏块的外边界像素的亮度值。

(2)边界匹配失真最小的运动矢量为受损宏块运动矢量的修复值。

5.根据权利要求2所述的基于帧间模式和运动修补的时域错误隐藏方法，其特征在于：所述零运动矢量法为：将当前帧的受损宏块由参考帧相同位置的宏块直接替代进行修复，受损宏块每个像素的亮度色度信息直接用前一帧对应的信息替代，运动矢量置为0。

6.根据权利要求2至5任一项所述的基于帧间模式和运动修补的时域错误隐藏方法，其特征在于：所述步骤1对运动矢量进行修复的方法还包括：如果与受损宏块相邻的宏块均受损，没有帧间模式和运动矢量信息，则利用前一帧对应位置的宏块的运动矢量来修复当前受损宏块的运动矢量。

Images