CN1663283A - 检测块假象的方法 - Google Patents

Abstract

本发明涉及一种检测数字图像序列中的块假象的方法。该方法包括一个高通滤波一部分数字图像的步骤，用于提供不连续像素的至少一个图。它也包括一个检测块假象的步骤，用于从至少一个不连续像素图中检测第一类型的基本块假象(p1)和第二类型的基本块假象(p2)。该方法最终包括一个按照块假象的类型(p1，p2)校正块假象的步骤。

Description

检测块假象的方法

技术领域

本发明涉及一种处理对应于数字图像序列的像素的数据，从而检测对应于块假象(blocking artefact)的网格的方法，所述方法包括：高通滤波数字图像部分的步骤，用于提供至少一个不连续像素的图(card)；从至少一个不连续像素的图中检测块假象的步骤。

本发明也涉及一种电视接收机，其包括一个处理设备，用于执行根据本发明的数据处理方法。

特别是在先前已经按照例如MPEG标准(“运动图像专家组”)的基于块的编码技术编码并随后解码的数字图像中的块假象检测中，和包括在这些块中的数据校正中应用本发明，从而削弱由基于块的编码技术引起的视觉假象。

背景技术

块假象对使用离散余弦变换DCT类型的离散变换的基于块的编码技术构成一个至关重要的问题。它们以块状马赛克的形式出现，该块状马赛克有时在解码的图像序列中非常明显。这些假象是由于离散变换后的一个强量化产生的，该强量化使得强烈的不连续出现在编码块的边界。

J.Jung，M.Antonini，M.Barlaud在Proc.Of ICIP’98(vol.1，pp.410-414，芝加哥，1998年10月)中发表的题目为“Optimal JPEGDecoding(优化JPEG解码)”的文章描述了一种数据处理方法，使用该方法能够检测并校正块假象。为此，所述方法包括一个小波变换类型的频率变换步骤，它水平和垂直地应用到一幅图像。该变换的结果包括具有高频系数的两个子图像。这两个高频系数对应于块假象或自然轮廓。按照现有技术的方法，对应于块假象的高频系数空间定位在8×8像素的网格上并具有小于一个阈值的值，高于该阈值的值对应于自然轮廓。

但是，该方法只能实现一个块假象的基本模型，其限制了检测所述假象的可能性。而且，只能搜索8×8像素网格中的块假象。网格可能因为图像的再采样而在图像内变形。该变形有时可以预先获知，如在3/4编码格式的情况下，其中网格的宽度按照10-11-11模式变化。但是，在多数情况下，该变化是任意的。因为它来源于例如速率代码转换(rate transcoding)、16/9电视接收机中的图像格式变换(从4/3格式变换为例如16/9格式)、图像的部分中的缩放、AD变换、或者甚至这些不同变换的组合。在这种情况下，现有技术的方法只能检测具有固定大小和位置的网格中的块假象并冒着部分或甚至无效率校正的风险，根据该检测施加后处理步骤。

发明内容

本发明的一个目的是提出一种更有效的数据处理方法。

为此，该根据本发明的数据处理方法的特征在于检测步骤也用于检测来自至少一个不连续像素的图的第二类型的基本块假象。

本发明使用图1所述的观察，其表示作为几个连续像素的函数的亮度Y的演变。按照这些观察，在图像中主要遇到两种类型的块假象分布图p1和p2，其按照基于块的编码技术已编码并随后解码。第一分布图p1对应于标准块假象，而第二分布图p2对应于一个块假象，其出现在已经进行了再采样操作或等价操作的图像中。在空间域内，第一分布图p1是单个阶梯级，而第二分布图p2是双倍阶梯级。

根据本发明的方法借助更强大分析也考虑到第二块假象分布图。这样实现的该模型有可能考虑一个可能的再采样操作，以便改善在检测块假象时获得结果。块假象也可能在任意网格中独立检测，从而使该处理的方法既对检测又对校正块假象更有效。

通过非限制性的例子，参照下文所述的实施例，本发明的这些和其他方面将很显然并被说明。

附图说明

在图中：

图1在空间域内说明了两个假象分布图p1和p2，它们主要在按照基于块的编码技术来编码的图像中遇到，

图2是表示根据本发明的数据处理方法的图，

图3是表示一个小波变换的图，

图4说明了小波变换之后的在频域内的两个假象分布图p1和p2，

图5说明了作为在小波变换后在频域中表示的一个假象分布图p1的函数的一个块假象的位置，

图6说明了由梯度滤波器处理后在频域中的两个假象分布图p1和p2，

图7描述了校正块假象的方法，和

图8描述了校正p2类型的块假象的原理。

具体实施方式

本发明涉及一种处理按照基于块的编码技术编码和解码的数字图像序列的方法。在我们的例子中，使用的编码技术是在离散余弦变换DCT基础上的MPEG标准，但是也可以替换为任意其他等效的标准、比如例如H.263或H.26L标准。应当注意该方法也可以应用到一个例如按照JPEG标准编码的固定(fixed)图像。该处理方法首先涉及由于这些基于块的编码技术引起的块假象的检测，并随后涉及下一个诸如后处理技术或图像质量测量的应用。

图2示意示出了按照本发明的处理方法。这样的一种方法首先包括高通滤波数字图像的一部分的步骤FIL(110)。如果该图像由两个交错的帧构成，则该部分例如是一帧的两场中的一场。该滤波被水平和垂直地逐行应用到数字图像序列的场的亮度为Y(m，n)的像素，其中m和n分别是1和M之间以及1和N之间的整数，分别对应于按照垂直和水平轴的场中的像素位置(例如在576×720编码格式中，M＝288并且N＝720)。

在优选实施例中，滤波操作是小波变换类型。参照图3所述，小波变换是一种信号处理技术，其包括把图像分解为多个子带，一个子带包括较小分辨率的滤波后的图像。在本例中，小波变换使用一个双正交分解。这样的分解具有优点，一方面，借助高通滤波器，实现轮廓的清晰的区别，另一方面，通过低通滤波器实现图像的平滑。为了获得一个第一子带等级，小波变换包括步骤：

-用滤波器1p1低通滤波LP，最后沿着图像I1的水平方向通过以2子取样步骤DS2，以便获得在水平方向子取样的纹理的图像Ii，低通滤波器1p1＝[0.02674875967204570800；-0.01686411909759044600；-0.07822325080633163500；0.26686409115791321000；0.60294902324676514000；0.26686409115791321000；-0.07822325080633163500；-0.01686411909759044600；0.02674875967204570800]，这是由Antonini等在文章“Image Coding Using Wavelet Transform(使用小波变换的图像编码)”中提出的，它刊登在1992年4月的Trans.Image Processing(vol 1，no.2，pp205-220)中；

-用滤波器hp1高通滤波HP，接着沿着图像I1的水平方向用2子取样的步骤DS2，从而检测水平方向的不连续并获得水平方向中子取样的不连续的图像Ei，其中高通滤波器hp1＝[0.045635882765054703，-0.028771763667464256，-0.2956358790397644，0.5574351615905762，-0.2956358790397644，-0.028771763667464256，0.045635882765054703]，这是由Antonini等提出的；

-对于在水平方向中两个子取样图像Ii和Ei中的每一个，用滤波器1p1的低通滤波的步骤LP，随后是沿着垂直方向以2子取样的步骤DS2，从而获得分别在垂直方向上的一个子取样图像I2或E2h；

-对于在水平方向两个子取样图像Ii和Ei中的每一个，用滤波器hp1的高通滤波的步骤，随后是沿着垂直方向以2子取样的步骤DS2，从而获得分别在垂直方向子取样的不连续图像E2v或E2d。

结果是具有除以2的分辨率的近似图像I2和给出原始图像和近似图像之间的误差的三个详细图像E2v、E2h、E2d。详细图像E2h和E2v分别表示水平和垂直方向上的不连续。

该方法也包括一个确定对应于块假象的不连续的步骤BAD(120)。所述步骤基于形成阈值和在当前滤波的系数和与其相邻的滤波后的系数之间的比较。图4说明了两个假象分布图p1和p2以及它们在频域中的表示：W₁(m，k)作为k的函数，k是表示像素在行m中的位置的一个整数，这在如下所述的小波变换之后。

确定块假象的方法如下所述，用于通过考虑W₁ ^V(m，k)检测垂直块假象；它可应用于通过考虑W₁ ^H(k，n)进行水平块假象的检测。

如果满足以下多重条件，则检测到对应于分布图p1的一个垂直假象，W₁ ^V(m，n)是子取样图像E2v的系数：

S1＜|W₁ ^V(m，n)|＜S2

|W₁ ^V(m，n)|＞A1·|W₁ ^V(m，n±1)|

|W₁ ^V(m，n±2)|＜S3

如果实现以下的多重条件，则检测到一个对应于分布图p2的垂直假象：

S1＜|W₁ ^V(m，n)|＜S2和S1＜|W₁ ^V(m，n+1)|＜S2

|W₁ ^V(m，n)|＞A1·|W₁ ^V(m，n-1)|

|W₁ ^V(m，n+1)|＞A1·|W₁ ^V(m，n+2)|

|W₁ ^V(m，n-2)|＜S3和|W₁ ^V(m，n+3)|＜S3

在本例中A1是等于4的预定系数。S1和S2是第一和第二预定阈值，第一阈值对应于可见度阈值，第二阈值对应于限制，根据该限制位置为(m，n)的像素对应于自然轮廓。在本例中它们分别等于2和10。S3是从块假象分布图的小波变换后的频域表示中获得的一个第三阈值。在本例中它等于1并用于通过控制不连续的对比度更可靠地检测。在MPEG-4应用的情况下它可能特别有利，其在MPEG-4应用中访问视频数据流并从而有可能进行访问场量化步骤是可能的，以改变作为所述量化步骤的函数的阈值S1和S2，从而进一步提高该处理方法的效率。例如，该阈值是量化步骤的线性函数。

因为小波分解以2子取样，在块假象的近似像素处定位不是容易的事。实际上，第一子带的频域的系数可以与空间域中的两个像素相关联。这就是为什么考虑到小波系数符号W₁ ^V需要更精细的分析。除了符号以外，图5一方面示出了位于像素p(m，2n-1)和p(m，2n)之间的块的边界，另一方面示出了位于像素p(m，2n)和p(m，2n+1)之间的块的边界，对应于频域中的类似分布图。因为子取样，子取样的像素p(m，2n-3)、p(m，2n-1)和p(m，2n+1)用一个十字形表示，对应于所述像素的变换系数W₁ ^V(m，n-1)、W₁ ^V(m，n)和W₁ ^V(m，n+1)的符号对于空间域中具有一个上升沿的不连续，对位于两个像素p(m，2n)和p(m，2n+1)之间的块的边界分别是(+，-，-)，并且对位于两个像素p(m，2n-1)和p(m，2n)之间的块的边界是(+，+，-)。如果不连续具有一个下降沿，对应于子取样的像素p(m，2n-3)、p(m，2n-1)和p(m，2n+1)的变换系数W₁ ^V(m，n-1)和W₁ ^V(m，n)的符号在前述两种情况下分别是(-，+，+)和(-，-，+)。总之，如果变换系数W₁ ^V(m，n)和W₁ ^V(m，n+1)的符号是相同的，则块边界位于像素p(m，2n)和p(m，2n+1)之间；如果变换系数W₁ ^V(m，n-1)和W₁ ^V(m，n)的符号相同，则块边界位于像素p(m，2n-1)和p(m，2n)之间。块假象可以按照相同的原理对于具有类型p2的分布图的假象定位。

在特定的有利的实施例中，滤波操作是使用滤波器hp2＝[1，-1，-4，8，-4，-1，1]的梯度滤波操作。该滤波器被逐行地水平和垂直应用于数字图像序列的场的亮度像素Y(m，n)。该滤波操作的结果最好由两个不连续像素图、即水平图Eh和垂直图Ev构成。因为，大多数再取样操作在水平方向执行，表示垂直不连续的水平图Eh在第一近似中是足够的。但是，当它是基于两个不连续像素图的处理时，根据本发明的处理方法将具有一个优化的效率。其他的梯度滤波器可能是例如由Antonini等提出的小波变换hp1的高通滤波器。滤波器hp2特别容易实现并可靠地近似滤波器hp2。

图6说明了在空间域中的两个假象分布图p1和p2，以及它们用滤波器hp1或hp2滤波后在频域中的表示。在频域中，第一分布图p1对应于一个峰值，而第二分布图p2对应于一个双峰。

在这种情况下，确定对应于块假象的不连续的步骤包括一个检测自然轮廓线和不可见假象的子步骤。为此，水平和/或垂直滤波的系数值Yfh(m，n)和/或Yfv(m，n)必须在第一和第二阈值S1和S2之间，以便能够对应于块假象。对于滤波系数的绝对值的条件最好按照以下方式取：

S1＜|Yfh(m，n)|＜S2和S1＜|Yfv(m，n)|＜S2

作为一种替换，使用以下的条件：

S′1＜|Yfh(m，n)|²+|S′1Yfv(m，n)|²＜S′2

其中S′1和S′2与S1和S2具有相同的函数。

阈值依赖于使用的滤波器。对于滤波器hp1，例如取S′1＝0.6和S′2＝400，S1＝0.5和S2＝20。

确定对应于块假象的不连续的步骤包括一个检测块假象的子步骤。如果满足以下条件，通过扫描对应于行m的水平方向的场检测一个对应于分布图p1的垂直假象：

|Yfv(m，n)|＞|Yfv(m，n+k)|，其中k＝-2，-1，+1，+2。

如果|Y(m，n)-Y(m，n-1)|＜|Y(m，n)-Y(m，n+1)|，则块的边界位于位置为(m，n)和位置为(m，n+1)的像素之间，并且在相反的情况下位于位置为(m，n-1)和位置为(m，n)的像素之间。

如果满足以下多重条件，检测到对应于分布图p2的一个假象：

f1·|Yfv(m，n)|＜(|Yfv(m，n-1)|+|Yfv(m，n+1)|)

|Yfv(m，n-1)|＞f2·|Yfv(m，n-2)|

|Yfv(m，n+1)|＞f2·|Yfv(m，n+2)|

其中在优选实施例中f1＝6并且f2＝2。

块的边界位于位置为(m，n-1)和位置为(m，1)的像素之间。对应于每个分布图p1和p2的水平假象的检测以相同的方式通过扫描水平图Eh实现，水平图Eh包括在对应于列n的垂直方向上滤波后的系数Yfh(m，n)。以下已描述的确定不连续的步骤具有特别容易实现的优点。

根据本发明的数据处理方法的第一应用由MPEG检测构成，即按照MPEG标准编码并随后解码的数字图像序列的检测和模拟图像序列中块假象的网格的检测。该MPEG检测在电视接收机的等级实现并通常跟随着后处理图像步骤。用于校正出现在网格中的所述块假象。

为此，该处理方法也包括在场的水平行或垂直行中选择段的步骤SEL(130)，该段包括许多比第四预定阈值S0高的相继的不连续像素。实际上，单独的不连续通常对应于额外的噪声，而由于DCT系数的粗量化的块假象通常使得线性错误沿着编码块出现。预定阈值的值S0必须不太低，从而不促成错误检测。它也必须不太高，以便通过降低检测的基本假象的段数量对选择的抑制不太大。具体地，对于288行720像素的场，值S0固定在3。

有利的是，处理方法也包括在场内搜索一组网格行的步骤，一个具有基本块密度的网格行实现出现在基本上大于其相邻行的快密度的段中。这样的步骤甚至允许进一步降低错误检测的风险。

根据本发明的数据处理方法的第二应用由后处理图像构成，该后处理图像用于校正出现在网格中的块假象。所述网格已经由先前描述的方法确定或者已知，例如后处理操作在一个MPEG-4视频解码器中实现。校正依赖于检测的块假象的分布图。

如果块假象对应于分布图p1，应用参照图7描述的校正。校正块假象的方法包括步骤

-计算位于块边界的左方或上方的的第一组N数据u的第一离散余弦变换DCT1(71)；

-计算位于块边界的右方或下方和与第一组相邻的第二组N数据v的第二离散余弦变换DCT1(72)；

-计算对应于第一和第二组的级联CON(70)的一组2N数据w的整体离散余弦变换DCT2(73)并提供一组变换后的数据W；

-确定PRED(74)，从第一(71)和第二(72)变换DCT1中获得的变换数据U和V的一个预测的最大频率kwpred，按照以下方式计算：

kwpred＝2.max(kumax，kvmax)+2

其中

kumax＝max(kε{0，...，N-1}/abs(U(k))＞T)，

kvmax＝max(kε{0，...，N-1}/abs(V(k))＞T)，

其中T是与零不同的一个阈值；

-通过把奇变换数据W从整体离散余弦变换设置为零来校正ZER(75)，其频率高于预定最大频率，产生校正后的数据W’；

-计算一个校正后数据的反离散余弦变换IDCT2(76)，产生随后用于显示在屏幕上的滤波后的数据w’。

如果块假象对应于分布图p2，校正必须进行相当多的修改。实际上，块边界的位置必须更精确的给出，因为如图8所示对应于分布图p2的双倍阶梯级。这就是为什么校正方法初步包括一个再次调整中间像素p(n)的亮度值的步骤，用于将所述亮度值给直接位于它右侧的像素p(n+1)的亮度值。接着应用以上所述的步骤，块边界位于中间像素的左侧，这接着形成段v的部分。

或者，有可能引起中间像素的亮度值对应于左侧像素的亮度值，或者具有最近亮度值的像素的亮度值。在这两种情况下，段u和v的位置因此适合于应用校正步骤。

根据本发明的数据处理方法的第三应用由测量来自出现在网格中的块假象的场的块等级构成，以便确定图像的质量。该质量测量可以在电视接收机的等级实现，其中网格已经通过前述的方法确定，或者在一个MPEG-4视频解码器的等级实现，网格已经已知以便确保一个给定的服务质量。

场f的块B的等级最好通过将对应于基本块假象的滤波后的值W₁ ^V(mn)的幅度求和获得，即

其中如果x是真，则δ(x)＝1，否则等于0，artV和artH包括作为块假象检测的像素。

这样的测量具有考虑到降级的幅度W₁的优点。它也考虑了降级的位置(m，n)，同时能够引入作为人视觉系统的感知的函数的一个加权系数κ(m，n)。而且，该测量允许确定具有一个任意尺寸甚至随着时间可变的网格的一个块等级。

有可能通过一个电视接收机电路实现根据本发明的处理方法，所述电路被适当编程。存储在一个编程存储器中的计算机程序可以使得电路与参照图2执行上文描述的不同操作。计算机程序也可以装到编程存储器中，用于读出一个数据载体，比如包括所述程序的一个盘。读操作也可以通过一个通信网络比如互联网执行。在这种情况下，服务提供商将以可下载的信号的形式计算机程序交给那些感兴趣的人自由处理。

出现在文本中的圆括号之间的任意参考标记不应当看作限制的。词语“包括”和它的结合的使用不排除与在权利要求中列出元件或步骤以外的不同的元件或步骤的存在。在元件或步骤之前的词语“一个”不排除多个这样的元件或步骤的存在。

Claims (10)

1.一种处理对应于数字图像序列的像素的数据以便检测块假象的方法，所述方法包括高通滤波数字图像的一部分的步骤(110)，用于提供不连续像素的至少一个图，和检测块假象的步骤(120)，用于检测来自不连续像素的至少一个图的第一类型的基本块假象(p1)，所述的方法特征在于检测步骤也用于检测来自不连续像素的至少一个图的第二类型的基本块假象(p2)。

2.如权利要求1所要求的数据处理方法，其中高通滤波步骤(110)适于使用小波变换，用于提供对应于所述变换的一个子带的至少一个子取样不连续像素的图。

3.如权利要求2所要求的数据处理方法，也包括根据不连续像素图的子取样像素的滤波后的值的符号定位数字图像部分的一行中基本块假象的步骤。

4.如权利要求1所要求的数据处理方法，其中高通滤波步骤用于提供两个不连续像素图，一个水平图和一个垂直图。

5.如权利要求1所要求的数据处理方法，其中高通滤波步骤适于使用梯度滤波器。

6.如权利要求1所要求的数据处理方法，包括一个测量图像质量的步骤，用于提供来自对应于块假象的像素的滤波后的值的块假象等级。

7.如权利要求1所要求的数据处理方法，包括一个按照块假象的类型(p1，p2)校正块假象的步骤。

8.一种包括使用按照权利要求7所要求的数据处理方法的处理设备的电视接收机，适用于检测数字图像序列内的块假象并校正它们，从而在所述接收机的屏幕上显示所校正的数字图像序列。

9.一种适于提供解码的数字图像序列并包括使用按照权利要求7所要求的处理方法的处理设备的视频解码器，适于检测在解码的数字图像序列内的块假象并校正它们，以便提供校正后的数字图像序列。

10.一种计算机程序产品，包括一组指令，当该程序产品被装到一个电路中时，使得所述电路执行如权利要求1到7中任一个所要求的处理数字图像的方法。