CN101163250B - 一种基于边界梯度的视频流容错方法 - Google Patents

Abstract

本发明提出了一种基于边界梯度的视频流容错方法。该方法将视频流分为序列、帧、宏块三个级别，根据各个级别中语法元素的特点，采取了不同的容错策略，对序列级和帧级要根据特定的应用环境进行容错，宏块级容错则通过采用有效的错误限制、综合码流语义及边界梯度的错误检测与自适应的错误隐藏技术三个步骤来进行。实验结果表明，使用本视频流容错方法后，解码器恢复图像的主客观质量也都有显著提高。

Description

一种基于边界梯度的视频流容错方法

技术领域

本发明涉及一种视频流容错方法，尤其涉及一种基于边界梯度的视频流容错方法，属于数字音视频编解码技术领域。

背景技术

人们对多媒体业务的需求正在与日俱增。但是，现有网络的服务质量(QoS)一直得不到有效保障，所传送的多媒体数据流误码率很高，严重影响了视频图像的传送质量。这无疑会影响多媒体业务的进一步开展。在现有的网络架构下，仅仅依靠网络传输技术来提高视频传输质量的余地并不大，因此有必要通过改善视频通信系统的容错算法，使之能够克服传输信道的高比特误码率，获得较好的QoS保证。

目前，视频编解码国际标准对数字视频流定义了一整套严格的语法，解码端的任务就是根据视频流的语法及语义还原出图像序列。以MPEG-4为例，其视频流在语法上分为视觉对象序列、视觉对象、序列、帧、宏块、块六个级别。但受限于对象提取技术以及对编码器复杂程度的考虑，在实际应用中通常将帧作为一个视觉对象进行编码，因此通常的MPEG-4视频流如图1所示，只包含序列、图像、宏块和块四个级别，对MPEG-4视频流的容错处理也分别按这几个级别进行。

序列、帧和宏块这三个级别的语法元素出错误对解码过程造成的影响各不相同。保证序列层语法元素的语义正确性是解码器正常工作的前提，一旦发生错误，将导致解码器严重出错甚至无法工作，尤其是序列起始码出现的错误。帧层中语法元素的错误只会影响到能否成功解码该帧，不会影响下一帧解码。但在基于预测的视频编码中，如果该帧不能正确解码，其错误会直接影响其下一帧图像，并一直扩散下去，直至延续到下一个序列层开始处。上述两个级别语法元素错误可以归结为语义层错误，解码器自身的解码算法并不能发现此类错误，必须通过人工干预才可发现。而宏块级错误既有解码算法不能发现的语义错误，也有其可以发现的语法错误。并且宏块级视频流占整个视频流的绝大部分，所以宏块级容错相当重要。

在现有技术中，解码端的错误隐藏技术主要是利用正确接收到的信息来估计或恢复由于误码而产生错误的数据，可以有效解决信道误码带来的视频质量下降问题，是解码端最常使用的容错方法。

发明内容

本发明的目的是提供一种基于边界梯度运算的视频流容错方法。该方法利用视频流本身的特点，可以实现有针对性的错误检测，解决误码带来的图像质量畸变问题。

为实现上述的发明目的，本发明采用下述技术方案：

一种基于边界梯度的视频流容错方法，对视频流进行分层容错处理，其特征在于：

(1)在宏块一级，首先求出当前宏块在上边界、下边界和左边界的内部梯度和，其中上边界和下边界的内部梯度和为在当前宏块内部最接近该边界的第1行与第2行中、同一列上的相邻像素差的绝对值之和，左边界的内部梯度和为在当前宏块内部最接近该边界的第1列与第2列中、同一行上的相邻像素差的绝对值之和；然后求出当前宏块与上边界、下边界和左边界的相邻宏块的边界梯度和，其中上边界和下边界的边界梯度和为在当前宏块内部最接近该边界的1行与该边界上的相邻宏块内部最接近该边界的1行中、同一列上的相邻像素差的绝对值之和，左边界的边界梯度和为在当前宏块内部最接近该边界的1列与该边界上的相邻宏块内部最接近该边界的1列中、同一行上的相邻像素差的绝对值之和；

(2)用当前宏块与上边界的相邻宏块的边界梯度和除以当前宏块在上边界的内部梯度和得到当前宏块在上边界上的边界梯度比，用当前宏块与下边界的相邻宏块的边界梯度和除以当前宏块在下边界的内部梯度和得到当前宏块在下边界上的边界梯度比，用当前宏块与左边界的相邻宏块的边界梯度和除以当前宏块在左边界的内部梯度和得到当前宏块在左边界上的边界梯度比；

(3)如果当前宏块分别与该宏块上方、下方和左方宏块的边界梯度比中，任何两个超过指定阈值，则判定该宏块发生了错误；

(4)对出错的帧内编码帧宏块进行基于时域相关性的错误隐藏处理，对出错的帧间编码帧宏块采用基于空域相关性的错误隐藏处理。

所述对出错的帧内编码帧宏块进行错误隐藏处理为采用基于最小均方差的插值方法对于出错的帧内编码帧宏块分别进行水平和垂直方向上的处理。

所述对出错的帧间编码帧宏块进行错误隐藏处理包括如下步骤：判断运动矢量解码有无错误；如果运动矢量解码没有错误，直接将运动矢量指示的参考帧中的宏块复制到待隐藏块中；如果运动矢量出现了误码，首先根据块匹配准则在几个候选运动矢量中选取最优运动矢量，然后将这个运动矢量作为待隐藏块的运动矢量进行运动补偿，得到待隐藏宏块。

本发明所提供的视频流容错方法首先通过错误限制方法将帧层错误限制在一定范围内，接着根据宏块层语法元素的语义及宏块间的相关性，提取出能够检测出宏块错误的检测点；最后对检出错误的宏块进行错误隐藏，从而完成宏块层容错。有关实验结果表明，本发明所提供的视频流容错方法具有较好的通用性，恢复图像的主客观质量也有显著提高。

附图说明

下面通过附图和具体实施方式对本发明作进一步的说明。

图1为通用的MPEG-4视频流的内部结构示意图；

图2为宏块边界处的梯度示意图。

图3为coastguard第30帧的正常情况下三个边界梯度比。

图4为coastguard第30帧产生错误后三个边界的梯度比。

图5显示了对出错的宏块采用插值的办法来进行处理的示意图。

图6显示了针对三种不同测试序列的解码图像的PSNR值变化曲线。

具体实施方式

本发明所提供的视频流容错方法的基本思路是：对视频流进行分层容错处理，在序列和帧一级，利用编码端插入的再同步标记进行错误限制；在宏块一级，综合利用码流语义与宏块间的相关性特点进行错误检测，对于检测出错误的宏块，按Intra(帧内编码)和Inter(帧间编码)编码类型分别相应处理。由于宏块编码方式不同，决定了针对两者的错误修复方式也具有不同特点，通常分别采用基于空域相关性的错误隐藏与基于时域相关性的错误隐藏，自适应进行地错误隐藏。

从前述对对宏块层的错误分析可以看出，宏块层语法元素错误会造成整个码流混乱，如果不加以限制，会扩散下去，不但导致本帧解码错误，还可能损坏下一帧的起始码，产生丢帧。因此，需将错误局限在尽量小的范围内以限制其传播。本发明提出的解决办法是：通过在编码输出码流中插入再同步标记，将码流分割成若干个分割块。若某分割块出现误码，其错误不会蔓延到下一个分割块，这样就把错误限制在了两个同步标记之间，有效地限制了错误传播范围。

对于分割块大小的选取，也是需要重点考虑的因素。可以将整帧所有宏块作为一个分割块，这样所需添加的冗余信息就少，但错误限制效果不好，某一个宏块出现了误码会导致该帧内所有后续宏块解码错误。如果以每一宏块为一个分割块，错误限制效果最好，可将错误限制在宏块内部，但引入的冗余信息过多，额外占用大量带宽，导致传输效率降低。综合考虑限制效果和冗余信息对图像质量的影响，本发明以一行宏块为分割单位，在每行宏块的开始处加入再同步信息。

下面具体介绍本发明所提供的基于边界梯度的视频流容错方法的具体步骤：

1.错误检测

准确的错误检测是进行错误纠正的前提。现有的检错方法普遍存在冗余信息大、检错效率较低的缺点。本发明充分利用视频流本身的特点，提供有针对性的错误检测。

通常，视频流序列级及帧级中的语法元素均为定长码，并且对于特定的应用环境，其语法元素具有固定的取值。这些语法元素不会随视频内容发生变化，解码端利用该约定来对视频流检错，当发现语法元素的取值不符合约定时，则可判断此处发生了错误。宏块级语法元素大部分为变长码，其取值随视频内容的不同而变化，无法根据特定的应用环境来进行误码检测，但可以利用算术解码的自检错能力检测误码。另外，还可以根据解码原理进行一些额外的错误检测，例如每个块的系数个数不会超过64、运动矢量不会超过搜索窗口所限定的范围等等。

利用算术解码的自检错能力只能检测出少量的语法元素错误，如果码字出现了误码但是其取值却处于正确的范围，算术解码是检测不出这种错误的。因此还需利用视频本身的相关性，即图像在大部分区域较为平坦，具有较强相关性的特点，空间上相邻的象素值的差别非常小。通常情况下，宏块边界处的象素值变化是平缓的，即对应位置的象素差值应很小。在由于误码而产生错误后，错误宏块的恢复象素值会发生突变，即在边界处出现跳变。因此，本发明利用这一特点建立模型考察当前宏块是否发生了突变，如果突变超过一定阈值，则判定该宏块出现了错误。

图2所示为宏块边界处的梯度示意图。根据当前的熵编码机制分析，一个宏块出现错误后有可能会扩散到其相邻的右方宏块，因此，本发明在错误检测时不考虑右方宏块的梯度变化。

设当前宏块的坐标为(i，j)，MB_i，j(0，k)表示当前宏块的第1行16个象素值，MB_i，j(1，k)表示当前宏块的第2行象素值，MB_i，j(15，k)表示其上方宏块的最后1行象素值。DIM_up为当前宏块上边界的内部梯度和(DifferenceInside a Macroblock)，表示当前宏块内第1行与第2行象素差的和，则有：

${\mathrm{DIM}}_{\mathrm{up}}(i,j)=\underset{k=0}{\overset{15}{\mathrm{\Σ}}}|{\mathrm{MB}}_{i,j}(0,k)-{\mathrm{MB}}_{i,j}(1,k)|---\left(1\right)$

DBM_up为当前宏块与上方宏块的边界梯度和(Difference BetweenMacroblocks)，表示当前宏块第1行与其上方宏块最后1行(第16行)象素差的和。因此有：

${\mathrm{DBM}}_{\mathrm{up}}(i,j)=\underset{k=0}{\overset{15}{\mathrm{\Σ}}}|{\mathrm{MB}}_{i,j}(0,k)-{\mathrm{MB}}_{i-1,j}(15,k)|---\left(2\right)$

由上述分析可知，通常情况下DIM_up与DBM_up的值应该非常接近，令λ_up表示当前宏块的上边界梯度比，则：

λ_up(i，j)＝DBM_up(i，j)/DIM_up(i，j)    (3)

令DBM_down、DIM_down、DBM_left与DIM_left分别为当前宏块与其下方及左方宏块的内部及宏块间梯度和。同理，可得出其计算公式。

图3至图6显示了针对几个标准测试序列(涵盖了简单纹理、简单运动、中等运动、复杂纹理剧烈运动等不同特征的序列)的测试结果，该结果表明不同序列的边界梯度比近似符合高斯分布，即绝大多数分布在(0，3]区间内，尤其是在1附近。这个测试结果验证了在没有错误的情况下，宏块的边界是平滑的。

图7为coastguard序列第30帧在误码后的解码图像，在箭头所示宏块发生错误后，下图分别为该宏块对应的上、下、左三个边界的梯度比。可以看出，λ_up，λ_down，λ_left三个统计量明显高于正常值。正常情况下，三个统计量大于2的概率很小，据统计，不超过5％，即：

P(λ_up＞2)≤5％，P(λ_down＞2)≤5％，P(λ_left＞2)≤5％

三个边界梯度比同时又具有独立性，因此可以得出：

P(λ_up＞2，λ_down＞2)＝P(λ_up＞2)·P(λ_down＞2)≤0.25％    (4)

P(λ_up＞2，λ_left＞2)＝P(λ_up＞2)·P(λ_left＞2)≤0.25％    (5)

P(λ_left＞2，λ_down＞2)＝P(λ_left＞2)·P(λ_down＞2)≤0.25％(6)

特殊情况下，只有当图像中某对象的边缘纹理恰好与宏块边界重合时，此时边界梯度比才会很大，正常情况下绝大多数的边界梯度比是接近1的。但发生错误时，错误宏块的边界梯度比会显著增大，因此通过与正常情况下边界梯度比的对比，可以判别该宏块是否发生了错误。由公式(4)～(6)可以看出，图像中的对象纹理边缘与宏块边界重合的概率很小，而两个边缘与其边界梯度比同时发生重合的概率更小，不超过0.25％。因此，如果λ_up，λ_down，λ_left中的任何两个超过指定阈值，则可判定该宏块发生了错误。

2.错误隐藏

发现宏块发生了错误之后，需要对该出错宏块进行错误隐藏。有关实验结果表明：当视频序列内容变化平缓时，邻近帧的时间相关性十分明显，对Intra编码帧采用基于时域相关性的错误隐藏最好；而当Inter编码帧出现场景切换时，原有的时域相关性被打破，此时采用基于空域相关性的错误隐藏效果更好。因此，自适应地选择基于时域或空域的错误隐藏方法可以达到更好的效果。为此，根据前文所述的边界梯度检测，进行宏块边界的运动活跃度评估，以自适应地确定采用时域相关性还是空域相关性的错误隐藏。

(1)Intra宏块

图8显示了对于出错的帧内宏块采用插值的办法来进行处理的示意图。图中阴影部分分别代表当前帧中待插值的宏块与各相邻宏块在相接处的像素。

通过图中阴影表示的像素插值出当前宏块，而使用的插值公式能够保证插值结果的均方误差最小，具体插值处理过程如下：

先在水平方向进行插值：

Current(i，j)＝(17-i)*Left(0，j)/17+i*Right(17，j)/17    (13)

其中，i，j代表当前宏块中像素点的横坐标和纵坐标，取值从1到16。Left(0，j)代表左边宏块中阴影部分表示的像素值，Right(17，j)代表右边宏块中阴影部分表示的像素值，以下类同。

再进行竖直方向的插值：

Current(i，j)＝(17-j)*Up(i，0)/17+j*Down(i，17)/17    (14)

然后对水平插值和垂直插值的结果取平均，作为当前宏块的像素值。

如果上、下、左、右各宏块中有一个不存在，则相应的水平或垂直插值不做，如果都不存在，则直接复制参考帧中对应宏块的像素值到当前宏块中。

(2)Inter宏块

对于出错的Inter宏块，如果运动矢量解码没有错误，则使用该运动矢量对宏块进行运动补偿，直接将运动矢量指示的参考帧中的宏块拷贝到待隐藏块中；如果运动矢量也出现了误码，则首先根据块匹配准则在几个候选运动矢量中选取一个最好的运动矢量，然后将这个运动矢量作为待隐藏块的运动矢量进行运动补偿，得到待隐藏宏块。

通常情况下，图像中空间相邻宏块的运动特征会很相似，具有相似的运动矢量，MPEG-4编码器也正是利用相邻宏块运动矢量的相关性对运动矢量进行差分编码，从而提高了压缩比。如果某宏块的运动矢量出现了误码，可以利用其周围相邻宏块的运动矢量来估计该宏块的运动矢量。候选运动矢量包括左方相邻宏块的运动矢量、左上相邻宏块的运动矢量、上方相邻宏块的运动矢量、右上相邻宏块的运动矢量、前四个运动矢量的平均值、0值运动矢量。如果上述的四个相邻宏块中某宏块发生误码，则将相应的运动矢量从候选运动矢量中去除，运动矢量的平均值也要做相应改动。本发明将利用如下规则从侯选中选取合适的运动矢量。

令

$D_U=\underset{x=x_0}{\overset{x_0+N-1}{\mathrm{\Σ}}}|f(x+d_x,y_0+d_y,n-1)-f(x,y_0-1,n)|---\left(15\right)$

$D_L=\underset{y=y_0}{\overset{y_0+N-1}{\mathrm{\Σ}}}|f(x_0+d_x,y+d_y,n-1)-f(x_0-1,y,n)|---\left(16\right)$

D＝D_U+D_L    (17)

其中，f(x，y，n)表示第n帧恢复图像中坐标为(x，y)的像素值，d_x，d_y表示运动矢量d的水平分量和垂直分量，(x₀，y₀)表示待隐藏块的开始像素(左上像素)的坐标，D_U、D_L分别表示使用运动矢量d进行错误隐藏后的宏块与其上方相邻宏块及左方相邻宏块在相接处的像素差之和。

D值越小，表明运动补偿后的宏块与相邻宏块在边界处的连续性越强，对应的运动矢量就是最优的运动矢量，将其作为实际运动矢量来对待隐藏宏块进行运动补偿，错误隐藏的效果最好。

为了验证本发明提出的视频流容错方法，选取了四个典型的标准测试序列Football(C类序列，纹理复杂，运动剧烈)、Coastguard(B类序列，纹理比较丰富，运动中等，背景运动)、Foreman(B类序列，纹理比较丰富，运动中等，背景相对静止)和Mother(A类序列，纹理简单，运动缓慢)进行了对比实验，其格式为CIF格式，帧率为100帧，编码位率为256Kbps。

对于误码错误，国际电信联盟定义了基于3GPP/3GPP2的误码网络仿真工具，其中包含6种不同模式的错误文件，比特误码率从10^-4到10^-3，用以模拟不同误码率的信道。本发明选取了误码率为5×10^-4的错误模式文件进行了测试。实验结果如图6所示。

可以看出，本发明提出的视频流容错方案对这些典型的标准测试序列均具有明显的效果，具有通用性。图6给出了解码图像的PSNR值的变化曲线，其中三条曲线分别表示视频流无误码(no Error)、加入随机错误并进行本发明所述的容错处理(with Conceal)、加入同样的随机错误但没有进行容错处理(no Conceal)三种情况下解码图像的PSNR随帧数的变化曲线。由此可以看出：随机错误的发生对图像质量抖动的影响十分剧烈，本发明提出的视频流容错方案对这些典型的标准测试序列均具有明显的改善效果，具有通用性。

以上对本发明所提供的基于边界梯度运算的视频流容错方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (3)

1.一种基于边界梯度的视频流容错方法，对视频流进行分层容错处理，其特征在于：

(1)在宏块一级，首先求出当前宏块在上边界、下边界和左边界的内部梯度和，其中上边界和下边界的内部梯度和为在当前宏块内部最接近该边界的第1行与第2行中、同一列上的相邻像素差的绝对值之和，左边界的内部梯度和为在当前宏块内部最接近该边界的第1列与第2列中、同一行上的相邻像素差的绝对值之和；然后求出当前宏块与上边界、下边界和左边界的相邻宏块的边界梯度和，其中上边界和下边界的边界梯度和为在当前宏块内部最接近该边界的1行与该边界上的相邻宏块内部最接近该边界的1行中、同一列上的相邻像素差的绝对值之和，左边界的边界梯度和为在当前宏块内部最接近该边界的1列与该边界上的相邻宏块内部最接近该边界的1列中、同一行上的相邻像素差的绝对值之和；

(2)用当前宏块与上边界的相邻宏块的边界梯度和除以当前宏块在上边界的内部梯度和得到当前宏块在上边界上的边界梯度比，用当前宏块与下边界的相邻宏块的边界梯度和除以当前宏块在下边界的内部梯度和得到当前宏块在下边界上的边界梯度比，用当前宏块与左边界的相邻宏块的边界梯度和除以当前宏块在左边界的内部梯度和得到当前宏块在左边界上的边界梯度比；

(3)如果当前宏块分别与该宏块上方、下方和左方宏块的边界梯度比中，任何两个超过指定阈值，则判定该宏块发生了错误；

(4)对出错的帧内编码帧宏块进行基于时域相关性的错误隐藏处理，对出错的帧间编码帧宏块采用基于空域相关性的错误隐藏处理。

2.如权利要求1所述的基于边界梯度的视频流容错方法，其特征在于：

所述对出错的帧内编码帧宏块进行错误隐藏处理为采用基于最小均方差的插值方法对于出错的帧内编码帧宏块分别进行水平和垂直方向上的处理。

3.如权利要求1所述的基于边界梯度的视频流容错方法，其特征在于：

所述对出错的帧间编码帧宏块进行错误隐藏处理包括如下步骤：

(31)判断运动矢量解码有无错误；

(32)如果运动矢量解码没有错误，直接将运动矢量指示的参考帧中的宏块复制到待隐藏块中；

(33)如果运动矢量出现了误码，首先根据块匹配准则在几个候选运动矢量中选取最优运动矢量，然后将这个运动矢量作为待隐藏块的运动矢量进行运动补偿，得到待隐藏宏块。

Images