CN107454429B - 基于运动向量外推和图像梯度加权的视频错误隐藏方法 - Google Patents

Abstract

本发明公开了一种基于运动向量外推和图像梯度加权的视频错误隐藏方法，包括以下步骤：解码端进行差错检测、运动向量归一化、计算图像梯度、运动向量外推和运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块；本发明结合梯度加权的运动向量外推方法，在整帧丢失和半帧丢失的情况下，能够在较小的粒度范围内保持运动物体轮廓的完整性和一致性，对于提高受损图像的主观质量恢复有较为明显的效果。

Description

基于运动向量外推和图像梯度加权的视频错误隐藏方法

技术领域

本发明涉及视频通信领域，具体的说是基于运动向量外推和图像梯度加权的视频错误隐藏方法。

背景技术

视频图像经过编码后，以视频流的形式在网络传输，受到外界噪音干扰、网络拥塞、信道不稳定等情况会出现误码或丢包，从而导致视频流受损，解码后的视频质量严重下降。为了恢复解码视频图像质量，错误隐藏技术得到广泛研究和应用。现有错误隐藏技术可以分为空域隐藏和时域隐藏两种方式。空域隐藏利用图像受损宏块周围的正确图像信息进行插值隐藏，仅应用于帧内编码宏块或区域，对图像细节不容易恢复。时域隐藏利用前一帧中与当前受损宏块位置相近的宏块的运动向量信息进行当前帧受损宏块的运动向量估计，并利用估计的运动向量进行运动补偿从而恢复受损宏块，适用于帧间编码宏块或区域。由于视频序列中大部分区域都采用帧间编码模式，所以时域隐藏技术的效果决定了整个视频图像质量恢复的效果。现有的时域隐藏技术大致有三种方法:宏块拷贝、运动向量拷贝、运动向量外推。宏块拷贝技术将受损宏块替换为前一帧中对应位置的宏块，仅适合于静止区域；运动向量拷贝技术将受损宏块的运动向量替换为前一帧中对应位置附近某个宏块的运动向量或者替换为附近宏块运动向量的中值、均值等，再依据恢复的运动向量进行运动补偿从而恢复视频图像，此方法适合于平滑运动区域，对非平滑运动区域如物体边界区、变速运动区效果较差；运动向量外推技术首先收集前一帧对应位置附近若干宏块的运动向量，并计算这些宏块运动到当前帧的位置，收集能够运动到当前受损宏块区域的宏块的运动向量和重叠面积，依据面积大小进行加权平均得到当前受损宏块的运动向量，依据此运动向量恢复受损区域图像。以上三种时域隐藏技术中以运动向量外推技术的适用范围更为广泛，适用于不同范围程度宏块或区域受损以及整帧或半帧丢失等情况；然而，运动向量外推技术以宏块运动向量就是宏块运动速度为前提假设，实际上两者并不总是一致，特别是对运动物体边界附近的区域，恢复效果较差；且由于收集的宏块可能一部分处于前景轮廓区域，一部分处于背景区域，则按面积加权的方式恢复的图像不能保证物体轮廓的一致性。

基于此，针对上述现状中存在的局限性，本发明提出了基于运动向量外推和图像梯度加权的视频错误隐藏方法，能够在半帧图像丢失和整帧图像丢失的情况下进行视频图像质量的恢复，并克服现有错误隐藏技术的不足之处，提高受损图像的质量恢复程度。

发明内容

为了解决上述现有技术的问题，本发明提供基于运动向量外推和图像梯度加权的视频错误隐藏方法，能够在半帧图像丢失和整帧图像丢失的情况下进行视频图像质量的恢复，并克服现有错误隐藏技术的不足之处，提高受损图像的质量恢复程度。

本发明解决其技术问题所采用的技术方案是：

基于运动向量外推和图像梯度加权的视频错误隐藏方法，包括以下步骤：

步骤1、解码端进行差错检测，负责检测当前受损的帧，标记所有受损区域的宏块；

步骤2、将受损的帧的前一帧作为参考帧，将参考帧的所有宏块的运动向量归一化；

步骤3、计算参考帧的图像梯度，以sobel算子进行参考帧内每个像素的梯度计算，并依据整帧图像的运动程度进行梯度修正；

步骤4、基于步骤3中的图像梯度计算结果，对受损宏块进行运动向量外推；

步骤5、根据步骤4中得到的运动向量，进行运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块。

进一步地，所述步骤2中运动向量归一化具体为：

将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量。

进一步地，对于每个4×4像素宏块，设定一个阈值T，MVx为宏块x向的运动向量，MVy为宏块y向的运动向量，所述步骤3中图像梯度修正的一种方式具体如下：

a1、当|MV_x|+|MV_y|＞T，该宏块内像素梯度提升一倍，计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度；

a2、当|MV_x|+|MV_y|≤T，该宏块内像素梯度降低一半，并计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度。

进一步地，对于每个4×4像素宏块，所述步骤4中图像梯度计算的一种方式具体如下：

将参考帧中与受损宏块位置最近的25个4×4像素宏块进行运动向量外推，得到外推宏块运动到当前帧的位置，计算各外推宏块与受损宏块之间重叠的面积以及有重叠区域的外推宏块的梯度，再以面积与梯度之和对有重叠区域的外推宏块的运动向量作加权平均得到受损宏块的运动向量。

与现有技术相比，本发明的有益效果是：

本发明结合梯度加权的运动向量外推方法，在整帧丢失和半帧丢失的情况下，能够在较小的粒度范围内保持运动物体轮廓的完整性和一致性，对于提高受损图像的主观质量恢复有较为明显的效果。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明的流程框架图；

图2为本发明中运动向量外推的示意图；

图3为本发明中受损宏块的运动向量。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1至图2所示，本发明所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法，包括以下步骤：

步骤1、解码端进行差错检测，负责检测当前受损的帧，记为第n帧，标记所有受损区域的宏块，方便后续恢复步骤使用；

步骤2、将受损的帧的前一帧作为参考帧，将参考帧记为第n-1帧，将参考帧的所有宏块的运动向量归一化；

步骤3、计算参考帧的图像梯度，以sobel算子进行参考帧内每个像素的梯度计算，并依据整帧图像的运动程度进行梯度修正，用来实现区分前景和背景区域，凸显运动前景区域轮廓，弱化背景区域轮廓；

步骤4、基于步骤3中的图像梯度计算结果，对受损宏块进行运动向量外推；

步骤5、根据步骤4中得到的运动向量，进行运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块。

具体实施时，所述步骤2中运动向量归一化具体为：

将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量，具体的为：若宏块所在帧为第n帧，宏块引用帧为第m帧，则宏块引用帧距离为|n-m|。

具体实施时，对于每个4×4像素宏块，设定一个阈值T，MVx为宏块x向的运动向量，MVy为宏块y向的运动向量，所述步骤3中图像梯度修正的一种方式具体如下：

a1、当|MV_x|+|MV_y|＞T，该宏块内像素梯度提升一倍，计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度；

a2、当|MV_x|+|MV_y|≤T，该宏块内像素梯度降低一半，并计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度。

具体实施时，对于每个4×4像素宏块，所述步骤4中图像梯度计算的一种方式具体如下：

将参考帧中与受损宏块位置最近的25个4×4像素宏块进行运动向量外推，得到外推宏块运动到当前帧的位置，计算各外推宏块与受损宏块之间重叠的面积以及有重叠区域的外推宏块的梯度，再以面积与梯度之和对有重叠区域的外推宏块的运动向量作加权平均得到受损宏块的运动向量。具体如图3所示，受损宏块的运动向量估计过程为：假定有4个外推宏块100、101、102、103与受损宏块重叠，这4个外推宏块的运动向量分别为MV1、MV2、MV3、MV4，分别计算4个重叠区域的面积A1、A2、A3、A4，以及这4个宏块的梯度T1、T2、T3、T4，则受损宏块的运动向量MV按照如下公式进行计算：

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.基于运动向量外推和图像梯度加权的视频错误隐藏方法，其特征在于，包括以下步骤：

步骤1、解码端进行差错检测，负责检测当前受损的帧，标记所有受损区域的宏块；

步骤2、将受损的帧的前一帧作为参考帧，将参考帧的所有宏块的运动向量归一化；

步骤3、计算参考帧的图像梯度，以sobel算子进行参考帧内每个像素的梯度计算，并依据整帧图像的运动程度进行梯度修正；

步骤4、基于步骤3中的图像梯度计算结果，对受损宏块进行运动向量外推；

步骤5、根据步骤4中得到的运动向量，进行运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块；

对于每个4×4像素宏块，设定一个阈值T，MVx为宏块x向的运动向量，MVy为宏块y向的运动向量，所述步骤3中图像梯度修正的一种方式具体如下：

a1、当|MV_x|+|MV_y|＞T，该宏块内像素梯度提升一倍，计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度；

a2、当|MV_x|+|MV_y|≤T，该宏块内像素梯度降低一半，并计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度；

对于每个4×4像素宏块，所述步骤4中图像梯度计算的一种方式具体如下：

将参考帧中与受损宏块位置最近的25个4×4像素宏块进行运动向量外推，得到外推宏块运动到当前帧的位置，计算各外推宏块与受损宏块之间重叠的面积以及有重叠区域的外推宏块的梯度，再以面积与梯度之和对有重叠区域的外推宏块的运动向量作加权平均得到受损宏块的运动向量。

2.根据权利要求1所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法，其特征在于，所述步骤2中运动向量归一化具体为：

将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量。