CN101931820A - 空间性错误隐藏方法 - Google Patents

Abstract

本发明提供一种空间性错误隐藏的方法，包含以下步骤：检测一受损宏区块；取得该受损宏区块的多个相邻区块的编码信息；基于该编码信息决定该受损宏区块的边缘特征；以及根据所决定的该边缘特征，选择性地使用一双线性内插算法(BI)或一方向性内插算法(DI)来计算该受损宏区块的像素数据。

Description

空间性错误隐藏方法

技术领域

本发明是有关于一种空间性错误隐藏方法，特别是指一种可参考编码信息而降低边缘检测所需运算量的空间性错误隐藏方法。

背景技术

随着多媒体技术的应用越来越受欢迎，为了有效压缩视频文件，已发展出许多视频编码技术。压缩的目的是用以去除图像数据中多余(redundancy)的数据，以降低图像的储存空间或图像的传输量。在H.264压缩标准中，采用了画面内预测(intra prediction)与画面间预测(inter prediction)两种预测编码技术。画面内预测是利用同一画面中邻近区块在空间上的相关性来进行预测，而画面间预测则是利用相邻画面间在时间上的相关性来进行预测。

针对画面内预测，H.264压缩标准定义了4×4区块及16×16区块亮度预测模式，其中对每一4×4区块提供了9种预测模式，且对每一16×16区块提供了4种预测模式。参考图1A，粗线所界定的区块为所要预测的4×4区块，由像素a-p所组成，其上方及左方为已编码的相邻像素A-M。图1B及1C分别为4×4区块的9种预测方向及预测模式的示意图，像素a-p的值可利用这9种预测模式而由像素A-M所取代。模式0-8分别为垂直预测模式、水平预测模式、直流预测模式、及6个斜向预测模式，其中在直流预测模式(模式2)中，像素a-p均以像素A-M的平均值所取代，其它预测模式的取代方式则如图1C各个箭头所示。这9种预测模式的相关计算可参照Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification(ITU-T Rec.H.264|ISO/IEC 14496-10 ACV)，p.100～102。在分别经过9种预测模式的预测之后，将所预测出的4×4区块的像素值与原来的4×4区块的像素值进行误差计算，其中误差值最小的模式就是所要选择的模式。

图2为16×16区块的4种预测模式的示意图，其中H和V为已编码的像素。与4×4区块一样，具有最小误差值的模式就是所要选择的模式。一般来说，对于空间细节较少的区域(例如背景画面)可选择采用16×16区块的预测模式进行预测，以减少编码位。

视频数据经过压缩后成为易于传送及储存的比特流(bitstreams)，然而这些高度压缩的视频比特流在传输的过程中(尤其在无线通道环境下)，很容易发生例如封包遗失(packet erasure)等问题。为了避免因视频封包遗失而影响视频画面质量，常用的保护机制有自动重传请求(ARQ)、正向错误更正(FEC)、及错误隐藏(Error Concealment)。相较于ARQ及FEC，错误隐藏技术不需要额外的频宽，且在广播(Broadcast)及多重传送(Multicast)的情况下有较佳的效能。于解码端所执行的错误隐藏技术主要分成两种：空间性错误隐藏(spatial error concealment)及时间性错误隐藏(temporal error concealment)，其中空间性错误隐藏主要利用同一画面中的空间冗余信息来回复受损的视频序列，而时间性错误隐藏则是利用编码序列中各连续画面间的高度相关性来重建受损序列。

由于空间性错误隐藏方法利用同一画面中的空间性冗余而不需参考其它画面的数据，因此相较时间性错误隐藏，空间性错误隐藏方法在场景转换、对象突然出现或消失、以及对象产生不规则运动等情况下表现较佳，特别是当错误发生在初始画面时更为重要。对于空间性错误隐藏方法的相关描述，可参考由Meisinger等人于Proc.Int.Conf.Acoust.，Speech，Signal Process.(ICASSP)，2004，pp.209-212中所发表的“Spatial error concealment of corrupted image data using frequency selective extrapolation”、由Salama等人于Signal Recovery Techniques for Image and Video Compression and Transmission，1998，ch.7中所发表的“Error concealment in encoded video streams”、由Wang等人于Proc.Int.Conf.Image Processing(ICIP)，Rochester，New York，USA，Sept.2002，vol.2，pp.729-732中所发表的“The error concealment feature in the H.26L test model”、由Wang等人于IEEE Trans.Commun.，vol.41，pp.1544-1551，Oct.1993中所发表的“Maximally smooth image recovery in transform coding”、由Zhu等人于IEEE Trans.Circuits Syst.Video Technol.，vol.3，pp.248-258，June 1993中所发表的“Coding and cell loss recovery for DCT-based packet video”、由Hemami等人于IEEE Trans.Image Processing，vol.4，pp.1023-1027，July 1995中所发表的“Transform coded image reconstruction exploiting interblock correlation”、由Park等人于IEEE Trans.Circuits and Systems for VideoTechnology，vol.7，pp.845-854，Dec.1997中所发表的“DCT coefficients recovery-based error concealment technique and its application to MPEG-2 Bit stream error”、由Alkachouh等人于IEEE Trans.Image Process.，vol.9，no.4，pp.29-732，Apr.2000中所发表的“Fast DCT based spatial domain interpolation of blocks in images”、由Rongfu等人于IEEE Trans.Consum.Electron.，vol.50，no.1，pp.335-341，Jan.2004中所发表的“Content-adaptive spatial error concealment for video communication”、由Agrafiotis等人于IEEE Trans.Circuits Syst.Video Technology，vol.16，no.8，pp.960-973，Aug.2006中所发表的“Enhanced error concealment with mode selection”、以及由Huang等人于Proc.Int.Conf.MultiMedia Modeling(MMM)，Jan.2008，LNCS 4903，pp.391-401中所发表的“Optimization of Spatial Error Concealment for H.264 Featuring Low Complexity”，其上内容将并入本文作为参考。

虽然已有许多研究针对空间性错误隐藏方法进行改良，然而大量的运算负荷仍是一大缺点。因此，如何降低空间性错误隐藏方法的运算量同时维持视频画面的质量仍是努力的目标。

发明内容

鉴于先前技术所存在的问题，本发明提供了一种适用于H.264的高效能空间性错误隐藏方法，可根据编码时所采用的画面内预测模式信息而有效地降低预测边缘方向性所需的运算量。

根据本发明的一方面，提供了一种空间性错误隐藏的方法，包含以下步骤：检测一受损宏区块；取得该受损宏区块的多个相邻区块的编码信息；基于该编码信息决定该受损宏区块的边缘特征；以及根据所决定的该边缘特征，选择性地使用一双线性内插算法(BI)或一方向性内插算法(DI)来计算该受损宏区块的像素数据。

本发明的其它方面，部分将在后续说明中陈述，而部分可由说明中轻易得知，或可由本发明的实施例而得知。本发明的各方面将可利用上述的申请专利范围中所特别指出的元件及组合而理解并达成。需了解，前述的发明内容及下列详细说明均仅作举例之用，并非用以限制本发明。

附图说明

图式是与本说明书结合并构成其一部分，用以说明本发明的实施例，且连同说明书用以解释本发明的原理。在此所述的实施例为本发明的较佳实施例，然而，必须了解本发明并不限于所示的配置及元件，其中：

图1A至1C为画面内预测编码的各种预测模式的示意图；

图2为16×16区块的4种预测模式的示意图；

图3为用以说明BI算法原理的示意图；

图4A及4B为用以说明DI算法原理的示意图；

图5A-5F绘示不同实施例中以BI及DI算法进行补偿后所重建的画面；

图6为用以说明本发明的空间性错误隐藏方法的一较佳实施例的流程图；

图7为用以说明本发明一实施例的空间性错误隐藏方法的示意图；以及

图8为用以说明本发明另一实施例的空间性错误隐藏方法的示意图。

[主要元件标号说明]

30 区块

40 区块

501-506、511-516  遗失区块

700 宏区块

710、720、730、740、750、760、770、780  邻近区块

800 邻近区块

810、812、814、816、820、822、824、826  4×4区块

830、832、834、836、840、842、844、846  4×4区块

具体实施方式

本发明提供一种根据邻近区块的边缘(edge)方向相关信息(例如方向熵(directional entropy))而选择性地使用双线性内插(BI)或方向性内插(DI)来进行空间性错误隐藏的方法，以产生较佳的画面修补效果，其中本发明更通过画面内预测模式信息而进一步降低预测边缘方向性所需的运算量。为了使本发明的叙述更加详尽与完备，可参照下列描述并配合图3至图8的图式。然以下实施例中所述的装置、元件及方法步骤，仅用以说明本发明，并非用以限制本发明的范围。

空间性错误隐藏是基于邻近区块间的相关性，而使用同一画面中未受损坏的信息进行内插(interpolation)，以对发生错误的区块进行补偿。本发明的空间性错误隐藏方法结合了BI及DI两种内插算法，在不同情况下给予邻近区块不同的权重分配，而计算出错误区块的像素值。

双线性内插(BI)算法为H.264压缩标准中所预设的算法，其主要采用水平及垂直二个方向的线性内插来回复错误或遗失的区块。图3用以说明BI算法的原理，其中区块30为发生错误的一16×16的宏区块(MB)，斜线部分为作为参考像素的MB 30上下左右四个邻近MB的边界(boundary)上的像素。BI算法针对MB 30中每一像素，采用上下左右四个邻近MB的边界像素值，在垂直方向及水平方向以距离远近为权重而计算出各像素的像素值。举例来说，参考图3，像素p(x，y)的像素值是使用垂直及水平方向上最靠近的四个参考像素p1、p2、p3、p4内插而得，其中每一参考像素p1、p2、p3、p4与像素p(x，y)间的距离与其权重成反比。像素p(x，y)由BI算法所计算出的像素值可由以下公式表示：

$p(x,y)=\frac{p1\×d1+p2\×d2+p3\×d3+p4\×d4}{d1+d2+d3+d4}$

其中d1、d2、d3、d4分别为参考像素p2、p1、p4、p3与像素p(x，y)间的距离。

由于BI算法可能减弱某些边缘信息(edge information)，因此对于具有明显强边缘的MB，BI算法的补偿效果有限。针对存在特定强边缘的MB，方向性内插(DI)算法有较佳的补偿效果。图4A及4B用以说明DI算法的原理，其中DI算法将内插方向从0度到157.5度以22.5为间隔分成8个方向。参考图4B，其中区块40为发生错误的一16×16MB，斜线部分为作为参考像素的MB 40上下左右四个邻近MB的边界上的像素。DI算法针对发生错误的MB 40中每一像素，沿着由边界上各个参考像素的边缘强度所预测出的最强方向，依距离远近为权重而计算出像素值。因此，在执行DI算法时，首先要计算出MB 40的四个邻近MB的边界上各个像素的边缘方向。在本发明一实施例中，使用Sobel边缘滤波器进行回旋运算以求得邻近MB的边界上各像素的边缘梯度向量，其中Sobel运算子为一3x3屏蔽，定义如下：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

像素p(x，y)以Sobel运算子进行运算后所得的水平及垂直边缘梯度向量分别为：

G_X＝X_i+1，j-1-X_i-1，j-1+2X_i+1，j-2X_i-1，j+X_i+1，j+1-X_i-1，j+1

G_X＝X_i+1，j-1-X_i-1，j-1+2X_i+1，j-2X_i-1，j+X_i+1，j+1-X_i-1，j+1

其中，边缘梯度向量的强度及方向分别为：

$\mathrm{Grand}=\sqrt{G_x^2+G_y^2}$ θ＝tan^-1(Gx/Gy)

接着，将所得到的边缘方向值依照图4A所示的8个方向进行分类，并根据各方向的边缘强度值来决定一最强边缘方向。最后，沿着所决定的最强边缘方向，以一维加权内插的方式计算出MB 40中各像素的像素值。举例来说，在图4B所示的实施例中，边界上各参考像素所决定的最强边缘方向为135度方向-，因此像素p(x，y)的像素值是使用在135度方向上最靠近的两个参考像素p1、p2内插而得，其中每一参考像素与像素p(x，y)间的距离与其权重成反比。像素p(x，y)由DI算法所计算出的像素值可由以下公式表示：

$p(x,y)=\frac{p1\×d1+p2\×d2}{d1+d2}$

其中d1、d2分别为参考像素p2、p1与像素p(x，y)间的距离。

由于“边缘”对图像的质量有很大的影响，因此在做错误隐藏时应尽量保护既存的边缘且避免创造出错误的边缘。一般来说，如果区块内对象的变化方向只有一个时，使用BI算法可能会模糊化原始的强边缘。另一方面，若遗失区块的邻近区块存在多个边缘方向，则沿特定方向的一维内插可能会产生出错误的边缘。举例来说，参考图5A-5C，图5A为一受损画面，其中区块501～506为遗失区块，而图5B及5C分别为使用BI及DI算法重建遗失区块后的画面。由图5A可看出，遗失区块501～506具有单一强边缘，因此使用DI算法可保存既有的强边缘而有较佳的补偿效果(图5C)，而使用BI算法则会破坏既有的边缘(图5B)。图5D-5F显示另一个实施例，图5D为一受损画面，其中区块511～516为遗失区块，而图5E及5F分别为使用BI及DI算法重建遗失区块后的画面。由图5D可知，遗失区块511～516并无一单一强边缘，因此使用BI算法可有较佳的补偿效果(图5E)，但使用DI算法则反而可能产生错误的边缘而降低补偿效果(图5F)。综上，BI与DI算法在不同的情况下有不同的补偿效果，因此本发明所提供的空间性错误隐藏方法可根据邻近区块的边缘方向预测出受损区块的边缘特性，而选择性地使用BI或DI算法进行画面补偿，以同时结合BI及DI算法的优点。另一方面，本发明更将画面内预测模式所定义的8个方向对应至Sobel滤波器的方向来加速边缘方向的检测，即本发明利用8种具方向性的4×4预测模式及3种具方向性的16×16预测模式来确认所计算的边缘方向是否正确。若区块是使用画面内的4×4DC预测模式或是16×16DC预测模式进行编码，则此区块多半缺乏显著的边缘。简言之，本发明的方法亦可通过使用画面内预测模式与边缘方向间的关联性，而降低边缘方向检测的运算复杂度。

图6为用以说明本发明的空间性错误隐藏方法的一较佳实施例的流程图。同时参考图6、图7及图8，首先在步骤S600，接收包含多个画面(frames)的一视频信号，其中至少一画面具有遗失或受损的宏区块。在步骤S610中，针对一遗失或受损的宏区块，决定其所对应的空间相邻区块。举例来说，图7中MB 700为在传送时遗失的一16×16宏区块，而MB 710、720、730、740、750、760、770、及780为对应MB 700的邻近区块。接着，在步骤S620中，判断各邻近区块710、720、730、740、750、760、770、及780是否以画面内16×16预测模式进行编码。一般来说，采用画面内16×16预测模式多用于画面中的背景部分或较无变化的区域，而画面内4×4预测模式则多用于画面的前景部分或是具有显著特征图形的区域。因此，若在步骤S620中，判断出有足够数量的邻近区块皆使用16×16预测模式时，则可推测遗失的宏区块也是使用16×16预测模式(例如，对应到画面的背景部分)，并继续进行至步骤S630。需说明的是，步骤S620的判断标准在不同的实施例中可有所变化，举例来说，可设定为当遗失的宏区块700的上方、右上方、左方、右方、左下方、下方的6个邻近区块720、730、740、750、760、及770中需至少有5个区块是使用16×16预测模式，才判定使用16×16预测模式的邻近区块的数量足够，而可进行至步骤S630。在步骤S630中，不需使用Sobel边缘滤波器来计算边缘方向，而可根据使用16×16预测模式的邻近区块中多数区块所采用的模式来决定要沿单一方向(水平方向、垂直方向、或对角线方向)或是沿两个方向(垂直及水平)来进行加权内插。若邻近区块多数采用预测模式0(垂直方向)，则程序进行至步骤S640，使用方向90度的DI算法来对受损宏区块700中的各个遗失像素进行补偿。此外，在步骤S630中，若多数的邻近区块采用预测模式1(水平方向)、预测模式2(直流)、或预测模式3(平面)，则分别进行至步骤S642、S644、或S646，以分别使用方向0度的DI算法、BI算法、或方向45度的DI算法来进行补偿。

如果在步骤S620中判断没有足够数量的邻近区块使用16×16预测模式，则程序进行至步骤S650。同时参考图6及图8，其中图8中MB 800为在传送时遗失的一16×16宏区块。在步骤S650中，将遗失的MB 800的上下左右四个邻近MB的边界上的像素分割为16个4×4区块810、812、814、816、820、822、824、826、830、832、834、836、840、842、844及846，并分别判断上述每一4×4区块在编码时是采用画面间预测或是画面内预测方式进行编码。针对图8中每一邻近的4×4区块，若判断为采用画面间预测进行编码，则程序进行至步骤S660，使用3×3 Sobel边缘滤波器计算4×4区块中每一像素的边缘梯度向量的强度及方向。另一方面，在步骤S650中，若判断一4×4区块采用画面内预测进行编码，则程序进行至步骤S662，通过画面内预测模式所提供的信息，先计算特定像素的边缘方向，以降低边缘检测的运算量。举例来说，在步骤S662中，先以3×3 Sobel边缘滤波器计算采用画面内预测模式的4×4区块的内部像素(如图8中的像素p1、p2、p3、p4)的边缘方向，并判断所计算出的边缘方向是否与此4×4区块的画面内预测的方向相同。以图8中4×4区块830为例，假设区块830是采用画面内预测模式进行编码，从像素p1及p2开始计算其边缘方向，若像素p1及p2中至少之一所计算出的边缘方向与区块830在编码时所使用的画面内预测模式相同，则可推测此区块830的强边缘方向为画面内预测模式的方向，而不需再计算其它像素的边缘方向。若像素p1及p2所计算的边缘方向皆与区块830所采用的画面内预测模式的方向不同，则接着计算像素p3及p4的边缘方向。若像素p1至p4计算的结果均不符合编码时所使用的画面内预测模式，则可转换为一般画面间编码区块的算法，继续计算区块830中所有其它像素的边缘方向。需说明的是，在步骤S660及S662中，除了使用Sobel边缘滤波器来计算边缘方向及强度外，亦可使用其它常用的边缘检测方法，如Prewitt滤波器、Laplacian滤波器等。

接着，在步骤S670中，根据步骤S660所决定的画面间编码的4×4区块的每一像素的边缘方向，以及步骤S662中所决定的画面内编码的4×4区块的内部像素(p1、p2、p3、或p4)或全部像素的边缘方向，来决定所遗失MB的强边缘方向。

接着，在步骤S680中，根据步骤S670中由遗失MB的邻近区块的边缘方向数据所决定的一或多个强边缘方向，来决定使用DI或BI算法来对遗失MB进行错误隐藏。举例来说，若遗失MB的边界上的各个4×4区块具有相同的边缘方向，则可选择使用DI算法进行错误隐藏，若边界上各4×4区块的边缘方向皆不相同，表示不存在一强边缘，则可选择使用BI算法。在一实施例中，可通过计算步骤S670中所决定的一或多个强边缘的方向性熵(DE)来决定使用DI或BI算法。方向性熵是代表系统中方向分布的无序状态，越大的DE值代表不同方向的边缘间的互动越大，而越小的DE值则表示有一主要的边缘方向存在。方向性熵可表示为：

H_d＝-∑p(d_x)log₂p(d_x)

其中p(dx)代表特定边缘方向数据(dx)的方向性机率密度函数。本发明根据DE值而设定一边缘判断值β为：

$\mathrm{\β}=\frac{-\mathrm{\Σp}\left(d_x\right){\log }_{2}p\left(d_x\right)}{\mathrm{Max}\left(H_d\right)}$

在此实施例中，可设定临界值为β＝0.85，若遗失MB的各邻近区块的β值小于0.85，表示具有一明显、主要的边缘方向，若β值大于0.85，则表示各邻近区块的边缘方向不尽相同。当β值等于1时，表示所有方向的可能性均相同。

因此，在步骤S680中，若邻近区块的β值超过0.85或是有两个强边缘方向存在时，则进行至步骤S690，使用垂直及水平方向的加权内插算法(BI)来补偿遗失区块。另一方面，若邻近区块的β值小于0.85或是只有一个主要的边缘方向存在时，则进行至步骤S692，使用单一方向的加权内插算法(DI)来补偿遗失区块。

本发明所提供的空间性错误隐藏方法结合了BI及DI两种算法，且利用编码时所使用的画面内预测模式的信息来降低边缘方向预测所需的运算复杂度，以进一步提升空间性错误隐藏方法的效率。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的权利要求范围；凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在上述的权利要求范围内。

Claims (10)

1.一种空间性错误隐藏的方法，该方法包含以下步骤：

a.检测一受损宏区块；

b.取得该受损宏区块的多个相邻区块的编码信息；

c.基于该编码信息决定该受损宏区块的边缘特征；以及

d.根据所决定的该边缘特征，选择性地使用一双线性内插算法(BI)或一方向性内插算法(DI)来计算该受损宏区块的像素数据。

2.根据权利要求1所述的空间性错误隐藏的方法，其中该多个相邻区块为环绕该受损宏区块的8个相邻宏区块，其中若在步骤b中判断超过一预定比例的相邻宏区块是使用画面内16×16预测模式进行编码，则在步骤c中根据使用画面内16×16预测模式进行编码的相邻宏方块的编码信息，决定该受损宏区块的边缘特征。

3.根据权利要求2所述的空间性错误隐藏的方法，若使用画面内16×16预测模式进行编码的相邻宏方块中多数采用预测模式0，则在步骤d中使用该方向性内插算法在垂直方向计算该受损宏区块的像素数据。

4.根据权利要求2所述的空间性错误隐藏的方法，若使用画面内16×16预测模式进行编码的相邻宏方块中多数采用预测模式1，则在步骤d中使用该方向性内插算法在水平方向计算该受损宏区块的像素数据。

5.根据权利要求2所述的空间性错误隐藏的方法，若使用画面内16×16预测模式进行编码的相邻宏方块中多数采用预测模式2，则在步骤d中使用该双线性内插算法计算该受损宏区块的像素数据。

6.根据权利要求2所述的空间性错误隐藏的方法，若使用画面内16×16预测模式进行编码的相邻宏方块中多数采用预测模式3，则在步骤d中使用该方向性内插算法在45度方向计算该受损宏区块的像素数据。

7.根据权利要求1所述的空间性错误隐藏的方法，其中该多个相邻区块为环绕该受损宏区块的多个4×4区块，且在步骤c还包含以下步骤：

c1.针对该多个4×4区块中使用画面间预测模式进行编码的4×4区块，对区块内所有像素分别进行边缘检测运算；

c2.针对该多个4×4区块中使用画面内预测模式进行编码的4×4区块，对区块内特定像素进行该边缘检测运算；

c3.若步骤c2中的该特定像素的边缘检测运算结果与画面内预测模式的方向符合，则根据步骤c1及c2中的该边缘检测运算结果，决定该受损宏区块的边缘特征；以及

c4.若步骤c2中的该特定像素的边缘检测运算结果与画面内预测模式的方向不符合，则对该使用画面内预测模式进行编码的4×4区块内的所有其它像素进行该边缘检测运算，并结合步骤c1该边缘检测运算结果，决定该受损宏区块的边缘特征。

8.根据权利要求7所述的空间性错误隐藏的方法，其中该边缘检测运算使用Sobel过滤器。

9.根据权利要求7所述的空间性错误隐藏的方法，其中步骤c3及c4还包含将该边缘检测运算结果进行方向性熵运算，以决定该受损宏区块的边缘特征。

10.一种计算机可读媒体，储存有一程序码，供于一视频解码系统中执行时进行如权利要求1至9中任一项的方法。

Images