CN101175217A - 针对移动网络视频传输的误码掩盖技术 - Google Patents

Abstract

一种针对包含3G在内的移动网络基础结构上的实时多媒体应用的视频误码掩盖方法和装置，能够提高主观视频质量，通过采用多种误码掩盖技术在视频切片层进行误码补偿。本发明误码掩盖技术的工作原理，基于以下两种掩盖技术：1)空域掩盖：仅基于从当前画面可获得的数据；2)时域掩盖：仅基于从相邻画面可获得的数据。本发明误码掩盖方法对当前已解码的视频切片收集帧间模式编码的宏块数目信息，用来决定当下一视频切片出现错误时如何进行误码掩盖。如果一个视频切片中帧间模式编码的宏块百分比超过一个预定义的阈值，那么，当其相邻切片丢失的时候，应用时域误码掩盖技术，否则应用空域与时域混合的掩盖技术。本发明所设计的误码掩盖技术既便于实施又能高效掩盖由于数据报丢失，传输错误，网络延迟等导致的视频误码。该方法可以容易地应用于各种手持设备，如手机，PDA等。

Description

针对移动网络视频传输的误码掩盖技术

技术领域

本发明涉及一种能够在各种网络基础结构上提高数码视频质量的误码掩盖技术的方法和装置，尤其涉及能够针对3G网络环境改善视频质量的方法和装置。

根据本发明实例，视频在发送到网络之前在视频切片层进行数据分包。在3G数据报交换网络中，数据报丢失是不可避免的。如果丢失了一个数据报，那么在视频解码器端就不能获得该报中整个视频切片的信息。必须通过一种误码掩盖技术来恢复丢失的信息，使信息丢失对视频质量的影响最小化。视频传输误码掩盖方法的工作原理基于以下两种误码掩盖技术：

-基于仅使用当前画面数据的空域误码掩盖技术；

-基于仅使用其相邻画面数据的时域误码掩盖技术。

本发明误码掩盖方法收集当前已解码的视频切片中使用帧间模式编码宏块的数目信息，该信息将用来决定如何进行误码掩盖。如果帧间模式编码的宏块百分比超过一个预定义的阈值，当其相邻切片丢失时，运用时域误码掩盖技术来恢复丢失切片中的视频信息；否则，运用空域与时域混合的误码掩盖技术。

原则上讲，本发明方法和装置所提供的误码掩盖引擎可用于任何消费电子设备，包括手机，PDA等。另外，本发明误码掩盖引擎可能用来针对任何分层视频压缩格式掩盖网络传输错误，如：MPEG(运动图像专家组的缩写)，H.26x，WAV，以及RM等。

背景技术

无线信道容易发生错误，如传输比特误码和数据报丢失。由于视频压缩算法去掉了视频信息中的冗余，因此压缩后的数据间具有高度的相互依赖性。传输过程中压缩数据任何部分的丢失都会影响在解码器端重建后的视频质量。如果丢失的数据是针对运动预测的一部分，则会加重这种影响，导致时域误码扩散和误码累加。

为了减轻由于丢失或错误地接收比特流数据对重建后的视频质量的影响，视频解码器应对重建后的帧进行后处理，以改善主观视频质量。这个过程称作误码掩盖。误码掩盖技术利用存在于视频信号中的空域和时域的相互关联的特性实施视频数据恢复。这些技术被称为空域或时域误码掩盖。

本发明致力于寻求提高流式视频传输的视频质量，例如，能够恢复由于通信丢失的视频信息的有效方法，意在解决网络拥塞或传输误码对视频流的影响的相关问题。

在易出错的网络链接上提供有效视频服务的传统解决方法是在视频宏块层使用空域或时域误码掩盖技术(视频编码的分层结构如图3所示)。当丢失了一个数据报，空域误码掩盖技术可以用来克服该问题，通过其可用相邻切片来恢复丢失的信息。图1中，掩盖宏块的信息可由其相邻因果宏块A，B，和C恢复，其使用优先级为A，B，C顺序，即宏块A有效时，使用宏块A实施空域误码掩盖；若宏块A无效(该宏块本身有误码)，则使用宏块B实施空域误码掩盖；依此顺序类推。

针对丢失的帧间编码宏块，可以应用时域误码掩盖技术。为了掩盖一个帧间编码的宏块，我们需要恢复其运动矢量及残差。由于残差信号是非相关的，所以很难从相邻宏块去估算它们。然而，研究显示，如果可以恢复运动矢量，则重建后的视频质量将会大大地提高。由于来自相邻宏块的运动矢量具有较高的相关性，所以解码器能尝试从正确接收的相邻宏块的运动矢量恢复丢失宏块的运动矢量。

目前已经在工业界应用的一种测量失真标准，称为“相邻绝对误差”。相邻绝对误差计算当前宏块的相邻像素及其对应的参考帧中的宏块之间的绝对值误差。为了减少复杂性，只包含来自其顶部，底部，左边和右边的每一个相邻部分的一个像素行。相邻绝对误差的计算如下：

${\mathrm{SAD}}_T=\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}|\hat{f}(x_0+l,y_0-1)-f(x_0+l,y_0-1)|$

${\mathrm{SAD}}_B=\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}|\hat{f}(x_0+l,y_0+N)-f(x_0+l,y_0+N)|$

${\mathrm{SAD}}_L=\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}|\hat{f}(x_0-1,y_0+l)-f(x_0-1,y_0+l)|$

${\mathrm{SAD}}_R=\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}|\hat{f}(x_0+N,y_0+l)-f(x_0+N,y_0+l)|$

其中SAD_T，SAD_B，SAD_L和SAD_R分别为顶部，底部，左边和右边相邻部分的绝对误差。

为运动补偿(给定一个候选运动矢量)之后估算的宏块，f(x，y)为正确接收的顶部，左边，底部和右边的相邻部分。最终的相邻绝对误差为所有四个边上的绝对误差相加。

SAD_TOTAL＝SAD_T+SAD_B+SAD_L+SAD_R

图2说明了相邻绝对误差是如何计算的。两个深色宏块为丢失宏块及其参考帧(给定一个候选运动矢量)中的对应宏块。白色像素为其相邻部分。沿每一边只有一个像素行(16个像素)用于计算相邻绝对误差的值。

在3G网络环境中，视频数据是按切片打成数据报并进行传输的，单个误码掩盖技术不能有效地解决这个问题，因为不是所有宏块的编码模式在丢失切片时都是可以得知的。如果针对3G移动网络的一种视频误码掩盖方法或装置是实用的，那么它应该尽可能地简单，因为该应用提供在消费电子设备上，如，手机，PDA等。在移动网络上的实时视频通信的场景中，误码掩盖技术对于整个应用的成功是至关重要的，因为移动网的数据报丢失是不可避免的。目前还没有这样有效的方法或装置。

发明内容

本发明的第一目标是提供一种能够改善移动网络上实时视频传输服务的误码掩盖方法和装置，使主观视频质量不会有明显的降低。

本发明的第二目标是提供一种适用于任何消费电子设备，如手机、PDA等，并且能有效恢复由于网络拥塞或传输误码导致视频数据丢失的误码掩盖方法和装置。

本发明的第三目标是提供一种具有低计算复杂度的误码掩盖方法和装置。

根据本发明实例原则，通过提供一种误码掩盖引擎，以其最宽的涵盖形式，根据其相邻切片的运动状态，决定选择空域或时域误码掩盖技术来弥补丢失切片中的视频数据；如果选择时域误码掩盖技术，那么其相邻切片的宏块的平均运动矢量用做丢失切片中每个宏块的运动矢量；如果选择空域误码掩盖技术，那么相邻切片所对应宏块的纹理信息用来恢复丢失的视频数据，以实现上述目标。

本发明实例使用相邻切片的帧间模式编码宏块百分比来决定使用空域或时域或二者的组合技术来进行误码掩盖。为了达到实时进行误码掩盖，只使用来自可用因果相邻部分的视频信息。依照利用相邻部分的因果结构，掩盖宏块处理顺序遵循光栅扫描模式，即从左边到右边，如图3所示。本发明视频误码掩盖技术实现了高效，因为它并不要求大量的计算来决定针对丢失视频切片的误码掩盖技术；本发明视频误码掩盖技术获得高度的精确性，因为使用了多种简单误码掩盖技术及其组合来恢复丢失的数据。

本发明可应用于视频编解码器，如MPEG4，H.263，H.264等。业内人士应该可以看出，本发明也可会适用于其他具有分层编码结构的视频压缩格式。

附图说明

图1宏块与其相邻切片中的相邻宏块，(a)非边缘宏块，(b)左边缘宏块，(c)右边缘宏块；

图2相邻绝对误差的计算；

图3视频编码分层结构及光栅扫描的顺序；

图4本发明误码掩盖技术的工作流程图；

图5本发明时域误码掩盖技术的工作流程图；

图6本发明混合误码掩盖技术的工作流程图；

图7误码掩盖示例。(a)原始图像，(b)丢失数据报图像，(c)经过误码掩盖技术处理后的图像。

具体实施方式

如图4所示，本发明是通过一个视频误码掩盖引擎400实现的，由一个误码检测器410，一个计算器420，记录因果相邻切片的帧间模式编码宏块的百分比，一个时域掩盖引擎430以及由空域和时域二者组合成的掩盖引擎440组成。如图5所示，本发明空域掩盖引擎500包括一个切片运动矢量估算器510，为相邻切片的平均运动矢量，和一个时域掩盖引擎520。如图6所描述，一个混合的掩盖引擎600包含一个编码模式估算器610，一个空域掩盖引擎620，利用最近的相邻部分来对丢失切片中的一个宏块进行时域掩盖，以及一个时域掩盖引擎630，利用最近的相邻部分的运动矢量来对丢失切片中的一个宏块进行空域掩盖。与现有误码掩盖技术不同，本发明根据其相邻切片状态使用多种误码掩盖技术来恢复错误信息。为了确保丢失切片里的每个宏块在其相邻切片中具有一个相邻可用的宏块，一个视频切片定义为一整行宏块。此外，还使用了交错传输技术来避免误码集中发生时，相邻视频切片全部丢失的情况。

为了克服移动网络的高误码率和高丢包率，MPEG和ITU H.26x视频编码标准都采用了大量误码掩盖技术。在这两种标准系列中，引入了切片或视频数据报概念。基本概念为，一个视频帧被分成许多切片，所有编码技术，如数据预测，运动估算等，都应用在一个单独切片中，不越过该切片的边界。当传输时，每个切片通常打包为一个包。使用交错传输技术来确保没有因为网络拥塞或高传输误码率造成相邻切片丢失。这样，当丢失了一个切片，它可以由它的相邻切片重建，该相邻切片在那个时候通常是可用的。

传统的误码掩盖技术在宏块层弥补误码，不提供通过组合空域和时域技术来进行误码掩盖的机制。当一个切片数据丢失了，该切片中的宏块应该根据其可用相邻宏块的编码状态用不同的误码掩盖技术进行弥补。一种好的误码掩盖技术应该有效补偿丢失的视频数据，而不会引起可感知视频质量大幅降低。本发明误码掩盖技术可以实现以上目的。

根据图7所示的实验结果，本发明误码掩盖技术能够掩盖丢失的视频数据，而不会造成可感知视频质量的大幅降低。

业内人士应该可以看出，本发明误码掩盖技术的首要目的是促进移动网络基础结构上的视频传输，以提供可接受的视频质量。

由于本发明的误码掩盖实例不需要专门的硬件支持，只通过软件即可实现其功能，但不排除专门的硬件实现方式，因此该技术可容易地应用于任何类型的消费电子产品上，如手机，PDA等。此外，本发明可用于除MPEG系列外的任何有分层的视频编解码器，如H.26x系列，WMA，RM等。

前面已经十分详细地描述了本发明所提请的技术，使业内人士能够了解和使用本发明，但是，还要提请注意的是，在不偏离本发明实质的前提下，还可以对所提请的技术发明进行变更和改进，并且本发明不受以上说明或附图的限制，而是按照所附权利要求来予以限定。

Claims (8)

1.针对移动网络视频传输的误码掩盖方法包括以下步骤：

a.检测由于数据报丢失或传输错误或网络系统延迟导致的视频数据错误；

b.计算相邻切片的帧内编码宏块的百分比；

c.如果步骤b的结果不小于预定义的阈值，那么整个发生错误的切片会通过时域掩盖技术进行补偿，其中运动矢量使用相邻切片运动矢量的平均值；

d.如果步骤b的结果小于预定义的阈值，那么发生错误的切片中的每个宏块由空域或时域技术进行补偿，分为两个步骤：1)如果错误切片中一个宏块的最相邻可用宏块是帧间模式编码的，那么错误切片中的该宏块利用该可用相邻宏块的运动矢量通过时域技术进行掩盖；2)如果错误切片中一个宏块的最相邻可用宏块是帧内模式编码的，那么错误切片中的该宏块利用其可用相邻宏块的纹理信息通过空域技术进行掩盖。

2.如权利要求1所述的方法，其中步骤a包括检测视频数据错误的多个步骤，如数据报丢失，传输错误，延迟发送报等。

3.如权利要求1所述的方法，其中步骤c包括计算相邻切片的平均运动矢量，并利用该平均运动矢量来对整个错误切片进行时域掩盖的多个步骤。

4.如权利要求1所述的方法，其中步骤d包括步骤为：如果其相邻宏块为帧间模式编码，对宏块应用时域掩盖；如果其相邻宏块为帧内模式编码，对宏块应用空域掩盖。

5.针对移动网络视频传输的误码掩盖技术装置包括：

a.检测由于数据报丢失或传输错误或网络系统延迟导致的视频数据错误的单元；

b.计算相邻切片的帧间编码宏块百分比的单元；

c.如果相邻切片中帧间模式编码的宏块的百分比不小于预定义的阈值，对整个切片应用时域掩盖的单元；

d.如果其最近可用宏块是帧间编码的，对宏块应用时域掩盖；如果其最近可用宏块是帧内编码的，对宏块应用空域掩盖。

6.如权利要求5所述的装置，其中单元a包括检测视频数据错误的多个单元，如数据报丢失，传输错误，延迟发送报等。

7.如权利要求5所述的装置，其中单元c包括：计算相邻切片的平均运动矢量，并利用该平均运动矢量对整个错误的切片进行时域掩盖。

8.如权利要求5所述的装置，其中单元d包括：如果其相邻宏块是帧间模式编码的，对宏块应用时域掩盖的单元；如果其相邻宏块是帧内模式编码的，对宏块应用空域掩盖的单元。

Images