CN1197383C - 用于识别数字视频图像中像块伪痕的方法和装置 - Google Patents

Abstract

本发明涉及一种检测数字视频图像中的像块形伪痕的方法。该检测方法中包含有应用一个梯度滤波器对数字输入信号(x)进行滤波(GF)以提供出至少一个滤波的信号的步骤，以及对像块形伪痕程度量度(BM)进行计算(CALC)的一个步骤，它处理滤波的信号以识别和计数像块形伪痕，作为栅格中它们之位置的一个函数。如果像块形伪痕程度量度(BM)小于一个阈值，则图像或是未应用基于像块的处理进行编码，或是以一种无缝方式进行了编码。在相反的情况下，图像已经应用一种基于像块的处理、在非无缝方式下进行了编码，并采取诸如是后处理(PP)的校正措施。

Description

用于识别数字视频图像中像块伪痕的方法和装置

本发明涉及一种方法及其相应的装置，用于检测数字视频图像中的像块形伪痕。

本发明又涉及一种方法及其相应的装置，用于处理一个数字视频图像序列，其中包含像块形伪痕检测步骤和后处理步骤。

本发明还涉及包含有此种装置的机顶盒和电视机。

用现有的国际视频编码标准编码的视频序列往往会呈现出某些质量劣化，诸如像块形伪痕。取决于编码的比特率，通常遇到的劣化会从很小的损伤直至严重的劣化。已经有人介绍了几种度量像块形伪痕程度的方法。根据人眼视觉灵敏度，所述各种方法需要有原来的图像和重建的图像两者，并且实施上很复杂。结果，当不能得到原来的图像时，就不能够应用它们。

为了解决这种问题，在1996年3月的“图像编码专题讨论会会刊”卷1第23-28页中，由H.R.Wu和M.Yuen在文章“Quantitativequality metrics for video coding blocking artifacts(对视频编码像块形伪痕定量上的质量量度)”中公开了一种新的方法。该方法仅仅应用重建的视频图像来确定一种方法程度的量度。可是，依据运算的数量和存储器需求的数量而言，该像块程度量度的计算十分复杂，使得在商业产品中的实施为不现实的。而且，该方法假定第一个编码块开始于图像右上方的像素，如果所述图像在变换至数字形式之前曾经变换成模拟形式，则这种假定不是经常真实的。

本发明的一个目的是提供一种方法来检测数字视频图像中包含的像块形伪痕，它处理视频图像时不需要原来图像上的先验知识或是与编码处理相关的任何信息，并且它能够容易地在硬件场合下予以实现。

所以，按照本发明的方法其特征在于，它包含有：

-应用一个梯度滤波器滤波数字输入信号的步骤，用以提供出至少一个滤波的信号，

-计算像块程度量度的步骤，以指明是否应用一种基于像块的处理已经对图像进行编码，用以处理该滤波的信号来识别和计数各个像块形伪痕，作为它们在栅格中位置的一个函数。

这样一种方法能够在只需重建图像的情况下以一种高效和简单的算法对像块形伪痕进行检测。如果计算出的像块程度量度低于一个阈值，则图像或者并未应用一种基于像块的处理方法进行编码，或者是以一种无缝方式进行编码的。在相反的情况下，图像是应用一种基于像块的处理、根据非无缝方式进行编码的。

按照本发明的方法其特征又在于，在计算步骤中包含一个确定出图像中栅格原点偏移的子步骤，以便计算像块形伪痕程度量度。

所述方法并没有假定，第一个编码像块开始于数字视频图像的右上方像素。结果，所述方法可以直接在电视机上实现，不需要预先知道输入图像先前是已经从数字形式变换成模拟形式、然后又变换成数字形式的。

本发明的另一个目的是提供一种处理一个数字视频图像序列的方法，它包含有检测像块伪痕的一个步骤，以及当该检测步骤给出的像块形伪痕程度量度高于一个阈值时对该数字视频图像进行后处理的一个步骤。

这样一种处理方法的优点在于，在检测步骤中计算像块形伪痕程度量度，以便采取正确的校正措施，由此，适应于以合适方法进行该后处理步骤。

最后，本发明的一个目的是提供一个实现此种检测方法的装置。这样一个装置可以有利地集成入机顶盒中或是高端市场的电视机中。

参照后面说明的实施例，本发明的这些和另外的特性将很显明和可以理解。

现在，参考各个附图通过实例来说明本发明。各附图中：

图1是按照本发明的一个MPEG像块检测器的框图；

图2表明MPEG像块的第一列以及其两个最接近的相邻列；以及

图3是一个处理流程图，用于实现像块形伪痕的识别。

本发明提出了一种新的方法，用来检测数字视频图像中包含的像块形伪痕。如图1的框图中所示，此种方法包含两个主要步骤。第一步是梯度滤波(GF)，第二步是对像块形伪痕程度量度进行计算(CALC)。

本发明的研发用于MPEG场合，尤其是用于广播场合，但是，它在下列场合依然有效：应用基于像块的处理进行运动估值；离散余弦变换(DCT)，诸如是在国际电信联盟(ITU)的H.261和H.263中应用的DCT。

在优选实施例中，其检测方法应用了视频信号的亮度分量，但是，也可以应用所述视频信号的色度分量。在隔行扫描图像序列的情况下，本方法能依次地作用于一帧图像的每一场，在逐行扫描图像序列的情况下，本方法能直接作用于图像帧。而且，为了节省存储器成本，在水平方向上只扫描半场而不是全场。为此，在图像场中定位出全格式编码中具有宽为360个像素、高为288个像素的一个有效窗口(AW)(也就是，所述全格式中的编码图像为720×576个像素)，以便选择出所述场的一部分，从对应于全场的亮度信号y中给出一个重定尺寸的视频信号(x)。任何情况下，取决于用户所需的方法精度或者存储器分配，可以修改有效窗口(AW)的大小。本发明中建议的有效窗口(AW)是在这两个参数之间的良好折中，因为它使存储器成本减半、而该检测方法给出的结果并无重大劣化。通过对每一场改变有效窗口(AW)的位置，所述方法还能得到改善。优选实施例中，有效窗口(AW)放置于奇场的左侧和偶场的右侧。这种实施方法既简单又高效，但是，其它实施方法也是可能的，例如，可以对每一场随机地选取有效窗口(AW)。

应用梯度滤波(GF)步骤对重定尺寸的视频信号(x)进行滤波。为此，将一个高通滤波器h₁＝[-1 1]作用到水平方向和垂直方向两者上，分别给出水平方向滤波的像素阵列(x_h)和垂直方向滤波的像素阵列(x_v)。这种场合也可以应用其它的梯度滤波器，例如是另一种一维滤波器h₂＝[-1 0 1]或是一种称为Sobel滤波器的二维滤波器h₃。Sobel滤波器定义如下：

$h_3=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

已经选择了梯度滤波器h₁应用于优选实施例中，因为它有高的灵敏度和低的复杂性。

另一个实施例中，梯度滤波步骤只在一个方向上实现，或是在水平方向上，或是在垂直方向上，分别给出只是在垂直方向或水平方向上的像块形伪痕检测，但是，它也导致检测方法的效率较低些。

然后，在两个像素阵列(x_h和x_v)上实施计算步骤(CALC)，该计算步骤包含三个子步骤。

第一子步骤(ABS)期间，建立起水平和垂直已滤波像素的绝对值阵列。

然后，在第二子步骤(AV)中，对于水平和垂直两个阵列在图像场中计算出第一子步骤内所得到的各绝对值的平均值。

最后，第三子步骤(ID)的组成是从先前在第一和第二子步骤计算出的数值中识别像块形伪痕。

计算步骤(CALC)的结果便是对于图像序列中每一场得出的像块形伪痕程度的量度(BM)。取决于所述量度(BM)的值，对输入的视频信号(y)施加或不施加一个后处理步骤(PP)，给出一个滤波的信号(yf)。

本文件中采用下面的符号：

y[i，j]是输入场的亮度阵列，i是所述场的行指数，j是所述场的列指数，它们从0起计数，

x[i，j]是与重定尺寸视频信号相对应的亮度阵列，i和j仍为输入场的行指数和列指数，

x_h[i，j]和x_v[i，j]是对x[i，j]施加水平和垂直梯度滤波步骤后的亮度阵列，

xa_h[i，j]和xa_v[i，j]是包含有分别地构成x_h[i，j]和x_v[i，j]之已滤波像素绝对值的阵列，

和

是在有效窗口(AW)对应的图像场部分上xa_h[i，j]和xa_v[i，j]各别的平均值。

像块形伪痕是DCT像块之量化造成的。它们发生在各个MPEG像块的边界处。为了确定一个具体的像块边界上是否存在像块形伪痕，要分析已滤波阵列xa_h[i，j]和xa_v[i，j]的特性。在垂直方向已滤波阵列xa_v[i，j]中检测水平方向的像块形伪痕，而在水平方向已滤波阵列xa_h[i，j]中检测垂直方向的像块形伪痕。如果属于一个像块之边界的8个已滤波像素xa_h[i，j]至xa_h[i+7，j]的绝对值明显地大于它们的相邻像块，则找到了一个像块形伪痕。图2表明一个MPEG像块xa_h[i，j]至xa_h[i+7，j]之第一列以及其两个紧邻像块。如果在水平方向滤波的阵列xa_h[i，j]之各列间满足下面两个条件，则本发明便检测到一个垂直方向的像块形伪痕：

在垂直方向滤波的阵列xa_v[i，j]之各行间实施同样的运算：

与分析区域所对应的栅格8×k的大小，取决于MPEG像块大小，并从而取决于编码格式。由于编码格式主要由广播公司应用，所以可以有不同的栅格大小，诸如8×8、8×10、8×12。然而，本技术领域内的熟练人员都明白，本发明并不限制于这些尺寸的像块。

优选实施例中，水平方向栅格尺寸k是通过计算当前像块形伪痕与前一个之间的距离distance count_grid确定的。如果垂直计数器counter count_V[j-1]的值确实高于一个阈值(本实施例中它等于3)，又如果distance count_grid等于8，则使counter grid_8的值增加1；或者，如果垂直计数器counter count_V[j-1]的值确实大于该阈值，并如果distance count_grid等于10，则使countergrid_10的值增加1；或者，如果垂直计数器counter count_V[j-1]的值确实大于该阈值，并如果distance count_grid等于12，则使counter grid_12的值增加1。在处理完该场之后，从grid_8、grid_10和grid_12各计数器中选择出与较大计数器值相对应的8、10或12的水平栅格尺寸。如果对于4个先前的场得到了相同的结果，则该选择便生效。并且，对于第一场必须使水平栅格尺寸k的值初始化，例如初始化为10。

图3是一个流程图，它更精确地说明了应用来对一个图像场中的像块形伪痕进行识别的算法。

这里，对于水平阵列说明的像块形伪痕识别方法可给出一种垂直伪痕特性表征。

扫描过程开始于图像场的左上方，并使算法(ST)中应用的各个参数值初始化为0。然后，逐行扫描该场，直到该场的右下方，并对属于重定尺寸视频信号(x)之各个座标(i，j)的每个像素实施下面的测试。

首先，下载(LX)xa_h[i，j-2]、xa_h[i，j-1]、xa_h[i，j]和 的值(对于水平伪痕的特性表征，分别为xa_v[i-2，j]、xa_v[i-1，j]、xa_v[i，j]和 )。由于实施上的原由，

的值是对前一场计算出的值。

在下载的各数值上实施第一次测试(C1)。如果满足下面两个条件，则该测试的结果为真(Y1)：

在(Y1)的情况下，对于列j-1(水平伪痕特性表征时为行i-1)来说，使垂直计数器count_V(水平伪痕特性表征时为count_H)增加(INC)；在相反的情况下(N1)，则在垂直计数器的值上实施第二次测试(C2)。如果满足下面两个条件，则第二次测试的结果为真(Y2)：

式中，contour_V是相接连的垂直像素的数目，在这个数目之上该算法可确定出检测到一个垂直轮廓。优选实施例中，contour_V的值设定于16，而与水平轮廓检测相对应的contour_H的值设定于3k像素上。

如果第二次测试(C2)得到肯定(Y2)，则使大小为8×k的栅格之分析所对应的一个阵列伪痕array artifact_count中一个系数伪痕coefficient artifact_count[p，q]增加1(INCA)。然后，使垂直计数器减小1(DEC)。p和q的值如下：

式中，运算a％b的结果是a除以b之商值的余数。

增量(INCA)和减量(DEC)运算之后跟随一个第三次测试(C3)，并且当第三次测试为否定(N3)时也即当count_V[j-1]≥8时，重复循环下去。

如果第二次测试(C2)为否定(N2)，或是如果第三次测试(C3)为肯定(Y3)，则将垂直计数器count_V[j-1]设定于0(INI)。

在增量步骤(INC)或者重新初始化步骤(INI)之后，进行第四次即最后一次测试(C4)。如果未到达该图像场的结束处(N4)，则扫描过程(SC)进行下去，下载阵列xa_h[i，j]之下面各数值。在相反的情况下，就如下地计算像块形伪痕程度量度(BM)的值：

假定像块形伪痕检测开始于位置(0，0)的场合下，已经说明了像块形伪痕程度量度(BM)的值。这样一种计算步骤可以于机顶盒内就在解码处理之后实施。但是，要在电视机中实施时，必须在像块形伪痕程度量度的计算方面作出某些修改，因为当视频信号已经从数字变换到模拟、然后又变换到数字时，我们不再假设此种特定情况下是在MPEG栅格原点上。在这个第二实施例中，如下地计算像块形伪痕程度量度(BM)：

式中，shift_row和shift_column为

$\mathrm{artifact}\_\mathrm{count}[\mathrm{shift}\_\mathrm{row},\mathrm{shift}\_\mathrm{column}]=\underset{(i,j)\∈\left(\right[\mathrm{0,7}],[0,k-1\left]\right)}{\max }(\mathrm{artifact}\_\mathrm{count}[i,j\left]\right)$

又式中，IND是一个相容变量，也就是，如果相继两场有相同的栅格原点时它增量1，否则的情况下它减量1，但不能是负值或大于15。然而，对栅格位置不应计及如上面所述的垂直栅格偏移shift_row，它只对图像场才有效，但垂直栅格偏移shift_row_frame对应于图像帧。帧的垂直栅格偏移shift_row_frame是如下地从当前场的垂直栅格偏移shift_row和先前场的一个垂直栅格偏移last_shift_row中计算出的：

    shift_row_frame＝(shift_row+last_shift_row)％8

相容变量(IND)是对于相继场内栅格位置之稳定性的一个指示符。如果该位置稳定，也就是如果相容变量(IND)大于5，则意味着该图像序列多半是按MPEG标准编码的。

除了像块形伪痕程度量度(BM)的计算之外，上面叙述的方法还给出了栅格原点的偏移，如果对输入的视频信号要施加基于像块的后处理，知道栅格原点偏移会是十分有用的。

对于两个不同的实施例所得到的像块形伪痕程度量度(BM)的值最后在整个图像序列上进行低通滤波(LPF)，以使本方法达到较好的稳定性。优选实施例中，应用一个递归滤波器来实现这一运算。该递归滤波器能得出与一个图像场N相对应的像块形伪痕程度量度的滤波值(BMf)，并定义如下：

式中，λ是保证该处理之稳定性的一个系数，在优选实施例中它等于0、1。

另一个实施例中，通过计算最后处理的图像场的平均值来实现低通滤波运算。

滤波的像块形伪痕程度量度(BMf)的值最后与一个第一阈值相比较。该第一阈值的确定借助于将这里所叙述的方法施加到各个原来的图像序列上，并借助于将对于一场所达到的最高像块形伪痕程度量度(BM)进行圆整。如果这个值低于阈值，则图像或者不是MPEG编码的，或者是以一种无缝方式进行MPEG编码的。如果这个值高于阈值，则图像是以非无缝方式进行MPEG编码的。在第二种情况下，可以实施例如是一种后处理的校正措施，以去掉像块形伪痕。第一阈值的量值取决于有效窗口(AW)的尺寸以及检测到的质量劣化的程度。

然而，质量劣化有一个能检测到的最小程度，这个程度对应于第二阈值。在第一和第二阈值之间，原来的图像序列与略微地质量劣化的图像序列难以区分开，但是，人眼看不出的像块形伪痕会被强化，通过一种自动对比度处理或清晰度增强处理而那时变得可看见了。并且，对于第二阈值的量值，很可能只有极少数的虚假(否定)检测。由于上面说明的检测方法给出的结果，可以关断或是调整自动增强算法。

显然，动词“包含”并不排除任一条权利要求中列出之外的其它步骤或单元的存在。下面诸权利要求中的任何参考标号不应认作是对权利要求的限制。

Claims (11)

1.一种检测数字图像中的像块形伪痕的方法，所述方法包含有步骤：

-对当前数字图像的一部分梯度滤波，以便提供至少一个滤波后的视频数据阵列，

-为当前数字图像，计算该阵列的滤波后的视频数据绝对值的平均值，

-根据当前滤波视频数据绝对值同在给定方向上与该当前滤波后的视频数据相邻的两个滤波后的视频数据的绝对值以及所述平均值的比较，识别像块形伪痕，

-按照像块形伪痕在预定尺寸的栅格中的位置，根据像块形伪痕的数目，计算当前数字图像的像块形伪痕程度量度。

2.如权利要求1的检测像块形伪痕的方法，还包含步骤，对和一组数字图像相关的一组像块形伪痕程度量度的值进行低通滤波。

3.如权利要求1的检测像块形伪痕的方法，还包含步骤，根据当前像块形伪痕与前一像块形伪痕之间的距离，计算栅格的尺寸。

4.如权利要求1的检测像块形伪痕的方法，其中，像块形伪痕程度量度的计算步骤被用于确定在栅格中具有最大数目的像块形伪痕的偏移位置，以便计算像块形伪痕程度量度。

5.如权利要求4的检测像块形伪痕的方法，其中还根据一个相容参数计算像块形伪痕程度量度，该相容参数是具有相同偏移位置的连续图像数目的指示。

6.一种处理数字图像序列的方法，包含有如权利要求1中检测像块形伪痕的方法，以及当与所述数字图像相关的像块形伪痕程度量度高于一个阈值时对数字图像进行后处理的一个步骤。

7.一种检测数字图像中像块形伪痕的设备，其特征在于，所述设备中包含有：

-对当前数字图像的一部分进行梯度滤波的装置，以便提供至少一个滤波后的视频数据的阵列，

-用于为当前数字图像，计算该阵列的滤波后的视频数据绝对值的平均值的装置，

-用于根据当前滤波视频数据绝对值同在给定方向上与该当前滤波后的视频数据相邻的两个滤波后的视频数据的绝对值以及所述平均值的比较，识别像块形伪痕的装置，

-按照像块形伪痕在预定尺寸的栅格中的位置，根据像块形伪痕的数目，用于计算当前数字图像的像块形伪痕程度量度的装置。

8.一种处理数字图像序列的设备，包含用于如权利要求5所述检测像块形伪痕的设备，以及当与所述数字图像相关的像块形伪痕程度量度高于一个阈值时对数字图像进行后处理的装置。

9.一种机顶盒，包含如权利要求7所述用以检测像块形伪痕的设备。

10.一种电视机，包含如权利要求7所述用以检测像块形伪痕的设备。

11.一种包含程序指令的计算机程序产品，当所述程序被处理器执行时，实现如权利要求1所述的检测像块形伪痕的方法。

Images