CN101385046A

CN101385046A - 减少显示图像中的压缩伪影、分析编码参数

Info

Publication number: CN101385046A
Application number: CNA2007800054387A
Authority: CN
Inventors: I·O·基伦科; R·J·范德夫卢滕
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-02-15
Filing date: 2007-02-09
Publication date: 2009-03-11
Also published as: WO2007093942A3; EP1987492A2; KR20080106246A; US20090022416A1; JP2009527175A; RU2008136835A; BRPI0707778A2; WO2007093942A2

Abstract

标识迄今原因未知的图像伪影。例如MPEG编码器的编码器可以使用两种图结构：对于帧图，基于帧和域的DCT(以及其它类型)的编码均可使用。对于是使用基于帧还是域的编码总是不能做出正确的决定。在解码图像中，这导致图像伪影以条块可见。在本发明的一个方面中，本发明通过分析块内容是否存在伪影，并且如果分析证明存在这样的伪影则对块中的数据施加垂直低通滤波，来减少这些伪影。在本发明的另一方面中，对于可能发生伪影的编码参数的组合检查编码参数并且指示这样的块。本发明可以一种方法以及例如接收器、编码器、解码器、显示设备等的设备来实现。

Description

减少显示图像中的压缩伪影、分析编码参数

技术领域

本发明涉及一种处理压缩图像数据流的方法，该方法中压缩伪影被减少。

本发明还涉及一种用于减少被显示的解压缩图像中的压缩伪影的减少器。

本发明还涉及一种用于接收显示图像的压缩图像数据流的接收器，所述接收器包括用于减少被显示的解压缩图像中的压缩伪影的减少器。

本发明还涉及一种显示设备，包括用于接收显示图像的压缩图像数据流的接收器，所述接收器包括用于减少被显示的解压缩图像中的压缩伪影的减少器。

本发明还涉及一种用于转换压缩图像数据流的代码的代码转换器，其中所述代码转换器包括用于减少被显示的解压缩图像中的压缩伪影的减少器。

本发明还涉及一种用于分析编码图像数据流的编码参数的方法，以及一种用于分析编码图像数据流的编码参数的分析器。

背景技术

图像显示系统通常接收已压缩的数据流。已知有多种“带损耗的”视频压缩技术来减少必须被存储或传输的图像数据量。先进的压缩方案，例如MPEG或基于小波变换的方案，试图截去对于观众感知并不重要的空间频率信息。由于压缩，在被解压缩的图像中可能出现图像伪影。已经提出了一些方案来减少图像伪影。

本发明人已经注意到，尽管已知伪影抑制方法，但是特殊图像伪影仍然难以减少并且继续存在。在部分图像中，该伪影以条带的形式存在。已知的伪影抑制方法不能减少该问题，或者具有严重的副作用。

发明内容

本发明第一方面的目的是提供一种方法和设备，例如在开篇段落中所述的显示设备、接收器和/或代码转换器以及减少器，通过所述设备实现了用于减少由于压缩所引起的上述图像伪影的方法。

为实现该目的，所述方法的特征在于，对于一个或一组解码图像块，根据相邻线之间的垂直方向上的像素数据中的差别来确定至少一个差值，并且将所述差值与阈值进行比较，其中如果所述差值达到阈值，则对所述解码图像块施以垂直方向上的低通滤波。

本发明基于下述认识:

先进的图像和视频压缩方案，例如MPEG，使用基于块的处理。每个由8行8列像素矩阵构成的块被分别进行DCT转换和量化。根据MPEG标准，交错的视频图可以被编码为帧或域图。

在帧图中，帧和域DCT编码均可以被使用:

在帧DCT编码的情况下，每个块由两个域的线交替地构成。

在域DCT的情况下，每个块只由两个域中的一个的线所构成。

MPEG编码器对每个宏块来判断应该使用帧DCT还是域DCT。

运动预报也以两种不同模式执行:域和帧预报。在第一种情况下，通过使用来自一个或多个之前已经解码的域的数据为每个域单独进行预报。帧预报根据一个或多个之前已经解码的帧形成该帧的预报。

在域图中，所有预报是域预报。然而，在帧图中，可以使用域预报或帧预报(根据宏块基础对宏块进行选择)。因此，对于帧图来说，编码器可以做出两种不同的决定。

理想地，MPEG编解码器应当正确地确定使用帧处理或域处理，并对初始交错的素材施以域DCT和运动预报，和对累进的素材施以帧处理。实际上，MPEG编码器并不总是正确地做出决定，尤其是对于包含交错膜(因此，初始累进的)素材的输入源。伪影是标准编码所固有的。虽然使用的MPEG编码器的品质可以减少所述问题，但是即使在高端编码器中所述问题似乎仍然存在。

如果MPEG编码器关于对于特殊块或宏块使用帧模式还是域模式做出了错误的决定，则会出现伪影，所述伪影位于该块或宏块内。那些伪影在低比特率编码时十分明显。所述伪影具有清楚的图案:具有一个像素宽度的水平线(并且因此具有两条线的垂直空间波长)，其位于该块或宏块(4个块)内。宽像素水平条(上-下-上-下)是明显的，其中所述水平条跨越块或宏块。正如许多其它伪影，这些伪影不是由于边界周围的效应，虽然它们在边界周围明显。所述伪影也不会与交错误差相混，所述交错误差典型地发生在移动边界周围，并且典型地延伸于多个块上。本发明旨在减少的所述伪影来源于编码中的固有误差。所述伪影是由于对于帧图的错误的帧-域编码(DCT和/或运动预报)。可能在每次为块或宏块在帧编码和域编码之间做出决定时发生错误，并且所述错误在图像中不规律的位置处可能明显或不明显。由这样的错误导致的特殊伪影图案可能在物体中间或边缘或任何其它位置处是明显的。所述图案随处可以出现。上面对于MPEG编码给出了解释。然而，任何一种对于帧图在对宏块的块进行帧编码和域编码之间做出选择的编码都会在显示的图像中出现相同的伪影。因此，本发明不局限于MPEG编码数据流，虽然这里特别关注于MPEG编码数据流。

本发明的第一方面通过两个简单的基本步骤减少了解码比特流中出现的问题:

第一步骤中，在块或宏块内，根据相邻线的像素之间在垂直方向上的像素数据差别来确定差值。该第一步骤包括基于对解码图像(更多地在整个像素数据中)的亮度和/或色度分量的局部(即在块或宏块中)空间(即具有或接近于线的特殊空间距离)分析的伪影检测。下面将给出示例性算法。可以使用任何能够检测具有交替线(这样的线，其与相邻线具有的相关性比与下一最近线的相关性更低)(较亮、不太亮、较亮等)的空间斑马式图案的条形图案的算法。总之，用于检测等厚度(至少一个像素)‘上-下-上’图案的任何检测器和检测步骤例如通过在两点上查看相邻线上像素的差别来工作。这可以简化为提取像素值，取平均，并将其与阈值进行比较，或者复杂化为例如进行Hadamard转换(存在方波基本函数时)，然后在垂直方向上确定1-像素宽基本函数的能量，并将其与阈值(可能是固定阈值也可能是例如在垂直方向上2-像素宽基本函数的能量的k倍)进行比较。根据所述算法，可以各种方式表示所述差值。所有表示的共同之处在于所述差值，或者所述多个差值(如果确定出多于一个差值时)，与是否存在条形图案相关，根据像素数据之间的垂直方向上的差来确定“是否存在条形图案”。在本发明的概念里，可以确定一个或多个差值。优选的是为整个块或宏块确定代表伪影的强度或存在可能性的单个值。然而，本发明不局限于使用单个差值，可以使用两个以上差值。

第二步骤是伪影减少，即对于那些其中由差值表示的被测伪影超过了阈值的块，向解码图像块施以垂直方向上的低通滤波。所述低通滤波具有平滑效应，因此减少了伪影。从而第一步骤是伪影识别，第二步骤是通过使用低通滤波器进行伪影减少。

如果差值达到阈值，则只施加低通滤波。因此避免了会不必要地减少图像细节的不必要的低通滤波。

在本发明的实施例中，通过选择步骤来进行差值的确定，以选择将要对其执行所述差值确定和低通滤波的块。

差值确定和低通滤波需要计算能力。低通滤波将造成一些细节的损失。通过选择块，即标识那些其中最可能发生问题和/或最可能对图像质量产生显著效应的块，并且对于其它未经差值确定和低通滤波的块，可以避免细节的损失，同时也减少了所需要的计算能力并保证效率。

在实施例中，基于块的平均亮度或平均色度执行所述选择。人眼对于亮色最为敏感，并且对于肤色非常敏感。在该实施例中，关于是否选择块的决定鉴于下述假设，即所述效应(虽然所述效应可能是明显的)将在某些环境下和/或部分图像(例如脸)中最为恼人，并且在其它环境下和/或部分图像(例如草场)中几乎不恼人。总体而言，对于观察图像的整体质量最有可能不重要的那些块将根据差值确定和低通滤波除去。

在其它实施例中，所述选择包括对相邻块执行一致性检查。一致性检测器检查所检测的斑马式图案是否限于所述块中，或者它是否沿相邻块继续。存在于一些相邻块中并且类型也相同(例如相同平均灰度值和灰度值的相同差)的图案可能指出例如栅栏的真实物体图案。

在另外的实施例中，所述选择步骤包括其中分析块的编码参数的步骤。

在该实施例中，在选择步骤期间，分析编码参数，例如比特流报头的特殊标签集合。如上所述，所述伪影来源于错误的帧/域编码决定。这些报头存在于被编码的比特流中。报头中的数据指示编码器是否已经做出错误的决定。当报头中的数据指示没有这种可能性时，没有理由进行接下来的差值确定和低通滤波步骤，因为下面的步骤将需要计算能力并且可能减少细节。当所述数据指示存在错误的帧/域编码决定的可能性时，对块进行进一步处理。

可以将上面提到的各种选择步骤合并起来，以进一步减少所需的计算能力，同时仍有效地减少伪影而不是过度平滑所述图像。

所述阈值可以是固定阈值，或者可以取决于块中包含的数据。块中包含的数据可以是例如平均亮度。例如所述阈值取决于所有方向上亮度的平均变化。如果亮度的平均变化在所有方向上为高，或者也就是说存在噪声图像或具有许多细节的图像，在水平方向上的变化可能也很大。在另一实施例中，将在1像素距离处的变化与两像素距离处的变化进行比较。本发明试图消除的伪影显示出块内相邻线之间、奇数线和偶数线之间的亮度和/或色度中的巨大变化，但在奇数线或偶数线之间却没有或几乎没有任何变化。

本发明的第一方面提供一种用于减少解码图像中的压缩伪影的简单而鲁棒的方法。

实验证明斑马式图案伪影被有效地减少，即使使用简单的算法对其它图像特征也不会有过度的副作用。

所述显示设备、接收器和/或解码器、编码器或代码转换器，总之根据本发明第一方面的任何设备包括根据本发明的第一方面用于执行算法的减少器。

本发明可以各种方式实施，并由此根据所述实施可以各种设备实现。

在实施例中，本发明以视频后处理链实施，其中来自编码流的信息不可用。也就是说，在本发明的所述实施例中使用的算法处理已经解码的图像数据并且不需要任何编码参数。可能的应用是高端TV、多媒体中心和任何其它视频处理设备，其中输入信号是解码视频序列。

本发明可以方法以及显示设备、接收器、代码转换器等等来进行实施。

本发明还可以实施于编码器端。当实施于编码器端时，或者总之在编码参数可用的任何点处，可以在编码器中使用附加算法以检查例如其中已经或者可能已经执行了错误的帧/错误的域编码。

在编码端，本发明的该方面可以用于指示哪里对伪影的校正有用。这可用于在已经编码的信号被发出之前对其校正。

本发明的第二方面是分析编码参数的方法，其中指示出编码器已经对其执行帧或域编码的帧图中的块或宏块。

本发明的该方面可以例如用于后确认，以改变编码决定从而消除问题，而不是如本发明在编码数据流情况下减少错误帧/域编码的副作用。

本发明的第二方面，分析编码参数以指示可能示出伪影是基于与第一方面所基于的认识相同的认识的块，即这样的认识:本编码标准(例如MPEG)具有由于由编码器做出的错误的帧/域编码决定造成上述伪影的可能性。所述的一些伪影减少方法可以执行于解码数据流，而无需对编码和解码是如何进行的有任何了解。在这些方法和设备中，分析解码图像数据流的所有块。通过分析报头(当它们可用时)，可以指示其中可能发生伪影的块，以便伪影减少方法可以执行得更加经济，因为不受伪影影响的块不需要经历任何伪影减少步骤。所述用于分析编码参数的方法和相应的分析器以及任何包含分析器或使用或用于编码参数分析方法的设备也具有新颖性和创造性，并旨在解决第一步骤中相同的问题。所述分析方法还提供新颖的产品，即图像数据流或包括图像数据流的信号，所述图像数据流或信号包括潜在受影响的块的指示器和/或具有指示器的块和/或指示信号。

所述分析方法可以形成部分伪影减少方法，其中本发明的两方面的情况被合并。

但是本发明的两方面可以单独使用。

本质上，第一方面(伪影减少之前的图案识别)是对问题的补救，与可能造成问题的所使用的编码的实际诊断无关。第二方面(分析)分析所述编码参数以标识可能有问题的块。由所述分析方法收集的信息有用，或许该信息用于根据第一方面的方法中或者用于其它方法或者仅仅被寄存。

根据第二方面的方法之后接着的是在编码器或解码器端的根据第一方面的方法或者任何其它补救方法，或者可以简单地用于诊断目的，例如找出可能有问题的块或者找出有问题块的比例。例如它可以用于MPEG编码器的诊断。能够标识哪个MPEG编码器最可能产生伪影十分有用，并且在开发MPEG编码器中的第一步骤不产生伪影。

将通过举例并参考附图解释更加详细地解释本发明的这些或其它方面。

附图说明

图1和2示意性地示出本发明旨在减少的伪影。

图3示出宏块的DCT编码。

图4示出运动预报。

图5示意性地示出根据本发明第一方面的方法。

图6示出根据本发明第一方面的方法的实施例。

图7和8示出根据本发明第一方面的其它实施例。

图9示出本发明的效果。

图10本发明另一实施例。

图11示出根据本发明第二方面的方法。

图12示意性地示出根据本发明第二方面的方法。

图13示意性地示出根据本发明的显示设备。

所述附图未按照比例绘制。通常相同附图标记表示相同构件。

具体实施方式

下面将参照附图更加全面地描述本发明的各个方面，附图中示出本发明的优选实施例。然而，本发明可以各种不同形式实施而不应当局限于这里列出的实施例；虽然提供这些实施例使得本说明书清楚明了，本发明将完全覆盖对本领域技术人员来说的本发明的范围。通篇相似标记表示相似元素。

压缩技术常常用于压缩数据流，即减少数据流中的数据量。特别是，消费记录设备(DVD录像机、硬盘记录仪等等)使用数字压缩算法来提供数字压缩流，例如MPEG2流。该压缩技术可能是损耗较小的技术，但是通常在使用适当量的压缩时，一些数据损耗被认为可以接受。典型地，设置数据压缩技术以便将数据损耗保持为相对较小，从而在解压缩显示图像中看不到太多明显的数据压缩效应。然而，尤其是高压缩比，在解压缩图像中会出现图像伪影。这些伪影之一是斑马式图案，其中图像中任何地方都会出现虚假的斑马式图案。至今这些虚假的斑马式图案的性质和原因都是未知的。这些伪影会出现在图像的任何地方，与是否存在边界特征和不存在可能交错误差的任何指示或者与交错误差无关的图案或者任何其它已知造成压缩伪影的事实无关。

图1和2示意性地示出这些伪影。

附图以黑白示出，因为这对于专利申请人是强制的。基于块的垂直条纹由箭头标识可见。在实际的彩色图像中，这样的条纹比黑白图中要明显得多。这些条纹以块形式形成了斑马式图案。整个图像中都可见这样的条纹。这些条纹看起来与图像中存在的边界或其它特征无关，并且可以在不具有其它特征的区域中形成。在一些块中，条纹清晰可见；在其它块中条纹却完全不存在。所述图案不限于那些在可能有交错误差的情况下可以预见到有交错误差发生的区域。因此，检查已知的伪影原因的人发现不了该已知的原因。本发明的一个方面在于发明者已经认识到伪影源于迄今未知的原因。他们认识到例如MPEG的标准编码技术可能产生这些伪影，即使不存在所有其它已知的伪影原因。该认识是本发明所立足的新颖认识。

例如MPEG的先进视频压缩技术使用基于块的处理。每个由8行8列像素矩阵构成的块被分别进行DCT转换和量化。根据MPEG标准，交错的视频图可以被编码为帧或域图。在帧图中，帧和域DCT编码均可以被使用:

-在帧DCT编码的情况下，每个块由两个域的线交替地构成。

-在域DCT编码的情况下，每个块只由两个域中的一个的线所构成。

图3示出宏块的DCT编码。所述DCT编码可以是帧编码(图3的A部分)或域编码(图3的B部分)。

MPEG编码器对每个宏块确定应该使用帧DCT还是域DCT。

运动预报也以两种不同模式执行:域预报和/或帧预报。在第一种情况下，通过使用来自一个或多个之前已经解码的域的数据为每个域单独进行预报。帧预报根据一个或多个之前已经解码的帧为该帧形成预报。在域图中，所有预报是域预报。然而，在帧图中，可以使用域预报或帧预报(根据宏块基础对宏块进行选择)。

图4示意性地示出帧运动预报和域运动预报。在帧预报(A’)中，只有一个运动矢量M用于预报从参考帧R到预报帧P的运动。在域预报中，为两个域分别使用两个运动矢量M1和M2，一个矢量用于一个域。如图4的示例所示，这些运动矢量可以不同。

理想地，MPEG编解码器应当正确地确定使用帧处理还是域处理，并对交错的素材施以域DCT和运动预报，和对累进的素材施以帧处理。然而实际上，低成本(因此低质量)的MPEG编码器并不总是正确地做出决定，尤其是对于包含交错膜素材的输入源。即使在高端MPEG编码器中不正确的决定也时常发生。

如果MPEG编码器对于特殊宏块做出了有关使用帧模式还是域模式的错误决定，则会出现图像伪影，所述伪影位于该宏块内。那些伪影在低比特率编码时十分明显。图1和2示出该伪影的一些例子。可见，所述伪影具有清楚的图案:具有一个像素宽度的水平线，其位于该块或宏块(4个块)内。本发明旨在减少这些伪影或者至少提供能够减少这些伪影的方法。当为运动预报做出错误决定时出现相同或相似的伪影。

图5示出根据本发明第一方面的方法。它还示意性地示出根据本发明的减少器。输入帧的块或宏块位于对应于所分析方法的步骤1的所述减少器的部分1中。在第一步骤1中，确定块或宏块中相邻线的像素之间的差值。“差值”应当广义地理解为表示相邻线的像素之间的亮度和/或色度差别的任何数字。下面将给出该差值的一些示例。在比较器C中将所述差值与阈值进行比较。如果所述差值达到阈值，则在低通滤波器中对所述块或宏块施以垂直方向上的低通滤波。如果所述差值没有达到阈值，则不施加低通滤波。差值的确定和与阈值的比较等同于对斑马式图案存在的检测。低通滤波仅施加于那些图案被检测的块。因此所述方法包括基于块的图案检测，之后对于解码信号中图案被检测的那些块进行低通滤波。产生解码数据流的输出帧。例如该输出帧被发送至显示设备或存储在记录介质上。

图6示出本发明的实施例。在该实施例中，在步骤1的图案检测之前在选择器3中执行选择步骤3。可以沿着不同的线执行所述选择。所述选择旨在通过标识低通滤波对其无用或几乎无用的块来减少所需计算能力和/或减少低通滤波的副作用。

在第一种实施例中，基于这样的认识执行所述选择，即人眼对于图像内的某些颜色和/或某些区域较为敏感。从下面用于减少所需计算的步骤中去掉人眼相对不敏感和/或无法引起注意的块。例如，颜色确定可以用于块以确定块的平均颜色。对于某些颜色，例如鲜艳颜色，所述块为步骤1产生输入，而对于其它颜色例如蓝(天空)和绿(草)，所述块不为步骤1产生输入，并且绕过步骤1和2。观看者不会专注于天空或草地。观看者还是会把注意力集中在屏幕的中间部分。因此，屏幕边界的伪影比中央的更不显著。因此标准是图像中的位置。图像的模糊部分比图像的焦点部分吸引更少的注意力。因此块所属的图像部分的清晰度可以作为标准。

在第二种实施例中，存在有关数据流的编码的信息。在所述选择步骤中，检查编码参数，例如通过分析编码数据流的图报头，以标识可能包括伪影的块。

在本实施例中，在所述选择步骤3期间，分析编码参数，例如比特流报头的特殊标签集合。如上所述，所述伪影来源于帧图的错误的帧/域编码决定。报头中的数据指示编码器是否已经做出错误的决定。当报头中的数据指示没有这种可能性时，没有理由进行接下来的差值确定和低通滤波步骤，因为下面的步骤将只需要计算能力并且可能减少细节而没有有益的效果。当所述数据指示存在错误的帧/域编码决定的可能性时，对块进行进一步处理。该实施例可以用于其中编码信息可用的所有其它情况和设备。下面将解释:分析编码参数以指示可能示出伪影的块形成在本发明的第二方面，这可以单独用于第一方面。

在第三种实施例中，对相邻块执行一致性检查。该比较在图案识别步骤1之前执行，或者在图案识别步骤1中执行。检测器实施例检查斑马式图案是局限于该块中还是沿着相邻块继续。存在于一些相邻块中并且类型也相同(例如相同平均灰度值和相同灰度值的相同差)的图案可能指出例如栅栏图像的真实图案。如果作为选择步骤3来执行所述一致性检查，则可以从步骤1和2中去除这样的块，或者如果在图案识别步骤1中执行所述一致性步骤，则不施加低通滤波2，不管差值是否达到阈值。

图7和8示出本发明的实施例。

图7示出算法的块方案。它包括两个部分，由虚线内的区域1指示的图案检测和由虚线2内的区域2指示的伪影减少。建立yescount值，从而确定差值，即yescount。将其与阈值比较，在此情况下，阈值为3*nocount。如果所述差值，即yescount达到阈值，即yescount>3*nocount，则施加低通滤波2，如果没有达到，则不施加低通滤波。

在开始处，为输入帧执行块网格检测(BGD)以找到DCT块网格的位置和尺寸。然而，为每个块检测是否存在伪影。这通过在滑动分析窗口ANW内检测特殊空间图案来实现。该分析窗口ANW示于图8中。通过滑动分析窗口ANW，块中的所有像素被扫描并从块的左上角开始到右下角结束进行分析。图8内被分析的窗口的中心是像素对Y3和Y4。所述算法决定像素Y3和Y4之间的像素值的差delta是否最有可能是物体边界或可能是伪影。这通过检测伪影图案(具有一个像素宽度的水平线，其位于块或宏块(4个块)内)的存在即可实现。当决定所述差最有可能是伪影时，yescount加一，如果决定所述差不可能是伪影时，nocount加一。在开始扫描块或宏块时将yescount和nocount设定为零。因此yescount为用于确定差值的确定器的输出，nocount是用于确定阈值的确定器的输出，其中在该示例中用于差值和阈值的确定器具有共用的元件。例如，以下列方式执行该图案检测技术:

delta＝|Y3-Y4|；

D32＝|Y3-Y2|；

D45＝|Y4-Y5|；

D24＝|Y2-Y4|；

D35＝|Y3-Y5|；

if(delta<T1 and D35<T2 and D24<T2)

(1)

{

if((D24<D32 or D24<delta)and(D35<D45 or D35<delta)and(delta>|Yn4-Yp4|or delta>|Yn3-Yp3|)) (2)

{

if((D35<delta or D24<delta)or|Y2-Y5|<delta)

(3)

yes count++；/*the error pattern is detected*/

else

no count++；/*the error pattern is not detected*/

}

这是示意性地示于图7中的该示例中所执行的算法。

在实验中，T1为25，T2为5。

因此yescount是表示相邻线中有多少像素对显示了像素数据差delta＝|Y3-Y4|，考虑到例如D24等等的其它像素差值，其指出了可能存在斑马式图案。然后，在比较器C中将表示存在伪影的强度和可能性的差值yescount与阈值(本示例中为3*nocount)进行比较。如果差值yescount达到阈值3*nocount，则施加低通滤波。如果未达到，则不施加低通滤波。

请注意，上述条件是图案检测机制的特殊示例。虽然实验已经显示上述条件(根据经验发现的)提供良好的结果，但是本领域技术人员会想到能提供类似结果的不同条件。因此，虽然十分有用，但是条件(1)-(3)的特定描述不应当理解为限制本发明范围。所提出的算法的图案检测步骤概括的思想是检测位于块内的、在该块内具有几乎相同梯度的(交错的)水平线。所述图案检测步骤包括值确定步骤和比较步骤。

在视频处理系统具有足够的计算和存储源的情况下，可以通过对色度成分以及亮度成分施以上述方法来提高误差图案检测机制的鲁棒性。

根据示例性算法的块方案，如果在当前分析窗口ANW中检测到伪影图案，则yescount的值加一，否则，nocount的值加一。此后，将分析窗口转移一个像素，并对一个新像素对施以所述图案检测算法。当块内的所有像素被扫描或分析时，通过比较yescount和nocount的累积值，可以对该块中误差的存在做出决定。如果yescount>k*nocount，则在该块中存在伪影。参数k调节检测的鲁棒性。在本发明的实施例中，k＝3。

如果在当前块中检测到伪影，则在步骤2中执行算法的下一步骤，即去除伪影。在本发明的实施例中，该伪影减少通过垂直方向上(与伪影的水平条纹相垂直)的简单低通滤波来实现。总之，自适应地选择所述低通滤波的强度为所述误差的量级(例如水平条纹之间垂直梯度的平均量级)和(所述条纹内的)水平方向上像素值的均匀性。在此情况下，可以使用根据经验创建的LUT来定义或调节所述强度参数。

在实验中，已经使用具有固定参数的非自适应滤波:

Y3’＝(Y2+Y3*3+Y4)/5；

Y4’＝(Y3+Y4*3+Y5)/5；

通过采取一系列实验，可以估计本发明的示例性实施例的效率。实验中使用的是以低比特率编码的多于10个的检测序列。主观地估计出所述算法的效率。

图9示出由所提出的算法处理之前和之后的解码帧的示例，其中“之前”的图像示于图9的上部，“之后”的图像示于图9的下部。在实验中，使用所述算法的简化版本，没有改变低通滤波。可见伪影得到显著减少。

所提出的示例性算法有效地减少了伪影，并且同时保持了物体边缘。由于分析窗口的小尺寸，算法的硬件执行只需要存储器的3行。

图10示出本发明的另一实施例。如前图所示，所述算法包括伪影检测步骤1和通过低通滤波的伪影减少步骤2。

在检测部分1，对潜在受影响的宏块(在前述步骤3中被检测)执行空间分析，以便确认伪影的存在并选择那些伪影明显的宏块。

在所提出的算法的减少部分2期间，通过自适应1D空间低通滤波去除所检测宏块中的伪影。

检测部分之前的是选择阶段3，其中分析了编码参数，例如使用对编码视频比特流的序列报头和图报头的分析，以检测可能潜在地包含这类伪影的块或宏块。进一步分析这样的块。对于序列报头和图报头的分析表明不可能或者至少几乎不可能存在伪影的块不进行进一步的分析，并且不进行低通滤波。

在本发明的优选实施例的选择步骤3期间，检查比特流报头的特殊标签集合，其将指示所述编码器是否在帧图中作出了关于帧/域处理应用的错误决定。在该选择步骤中，分析编码参数以指示潜在地受影响的块。

例如检查下列编码参数:

序列扩展报头中的o progressive_sequence(PrSe)标签——当设定为“1”时，编码视频序列只包含累进的帧-图。如果该标签被设定为“0”，则所述编码视频序列可以包含帧-图和域-图，并且帧-图可以是累进帧或交错帧。

图扩展报头中的o Picture_structure(PiSt)标签。如果该标签被设定为11，则该图被编码为帧_图，如果该标签被设定为01或10，则所述图被编码为域_图。

o Frame_pred_frame_dct(fpfd)——如果该图扩展报头中的标签被设定为“1”，则只有帧DCT和帧预报用于帧中所有宏块。否则，帧DCT和预报以及域DCT和预报都用于帧中。

宏块模式报头中的o Frame_motion_type(fmt)标签——当被设定为10时，所述宏块使用基于帧的预报。如果所述标签被设定为01，所述宏块使用基于域的预报。

宏块模式报头中的o Dct_type(dt)标签指示所述宏块是帧DCT编码的还是域DCT编码的。如果该标签被设定为“1”，则所述宏块是域DCT编码的。

如果标签fpfd被设定为1，则从比特流中忽略标签fmt和dt，并且由缺省的基于帧的DCT和预报来使用。

理想地，在由DVD录像机编码电影材料过程中，所述标签fpfd应当被设定为1，然后在编码期间只施加基于帧的处理，并且因此没有如上所述的帧/域错误发生。遗憾的是，情况不总是这样，通常所述标签fpfd被设定为“0”，并且之后即使在专业控制的DVD中编码器决定状况也会被察觉，更不用说在低成本消费DVD录像机上记录的自制DVD了。如果编码器为特殊宏块做出了错误的决定，则当所述序列作为初始累进被显示的时候将发生伪影。

在本发明的优选实施例中，识别和选择易出现这种伪影(换句话说，编码器已经做出错误决定)的宏块，以进一步处理。当上述报头标签取下列值时宏块潜在地受到影响:

{progressive_sequence(PrSe)＝＝0；

Picture_structure(PiSt)＝＝11；

Frame_pred_frame_dct(fpfd)＝＝0；

}

and

{Frame_motion_type(fmt)＝＝01；

or

Dct_type(dt)＝1；

}

在处理的下一步骤中，对块或宏块(其被识别和选择为“潜在地受到影响”)施以空间分析。在该示例中通过对块内水平和垂直方向上的像素对的平均梯度之间进行比较实现了所述分析。例如图8所示，8×8块的平均垂直梯度

Gv = \frac{Σ_{i = 1}^{8} Σ_{j = 1}^{7} | y_{j, i} - y_{j + 1, i} |}{56}

并且平均水平梯度

Gh = \frac{Σ_{i = 1}^{7} Σ_{j = 1}^{8} | y_{j, i} - y_{j, i + 1} |}{56}

如果Gv>k*Gh，我们假设8×8块内的伪影明显。

通常k＝2。

因此在该示例中，差值为Gv，阈值为k*Gh。

这绝不仅仅是可能的比较；人们还可以例如计算平均两像素梯度Gv2并将其与Gv比较

Gv 2 = \frac{Σ_{i = 1}^{8} Σ_{j = 1}^{6} | y_{j, i} - y_{j + 2, i} |}{48}

然后比较为Gv>k*Gv2。因此用于确定差值的确定器包括用于计算Gv的计算器，用于确定阈值的确定器包括用于计算Gh或Gv2的计算器，所述比较器比较Gv和k*Gh或k*Gv2。

在所述算法的伪影减少部分期间，对来自在步骤3中选择的并且落在步骤1设置的条件(Gv>kGh)下的块的所有像素施以1D自适应低通滤波。所述低通滤波器在垂直方向上平滑了像素。在该示例中，滤波器的强度取决于该块中平均水平梯度Gh的值:

y_{j, i} = \frac{y_{i - 1, j} + (1 + f (\frac{Gh}{k})) * y_{i, j} + y_{i + 1, j}}{3 + f (\frac{Gh}{k})}

其中y_i，j是被滤波的输出像素，而f(Gh/k)代表随Gh增加而增加并随k增加而降低的函数。请注意，当f(Gh/k)＝2时，上述公式可以与之前给出的简单非自适应滤波器相比较。该示例示出了本发明的优选实施例，其中低通滤波的强度取决于块中包含的数据，在该示例中取决于Gh的值。如果Gh较大，并且因数f(Gh/k)变得更大，则平滑效应以及因此的低通滤波变得微弱。在该示例中，因此减少器包括另一确定器，以确定取决于块中包含的数据的低通滤波的强度。所述另一确定器包括Gh的确定器和用于解释滤波器的强度为Gh的函数的算法。

本发明的范围不由低通滤波的特殊方法所限制。本领域技术人员会想到适用于伪影的局部空间活动和/或可见度的其它低通滤波器。

请注意，所述方法可以施加于整个图像或图像的一部分。在实施例中，可以将本发明算法的不同版本施加于屏幕的不同部分。例如，高能量版本可以施加于屏幕的中央部分，而比较简单的版本可施加于屏幕不太重要的部分。

上述与步骤3相关的分析编码参数的方法在图10中被描述为伪影减少方法中的第一步骤。所述伪影减少方法可以视为对错误的帧/域编码造成的问题的补救。

分析编码参数以指示潜在受影响的块的方法可以单独和独立地使用，并且其自身是本发明的一个方面。在本发明的框架中，“标识”和“指示”相同并且包括在术语“指示”中。指示使得那些受到潜在影响的块从未受到潜在影响的块中区分出来。所述分析方法形成诊断工具以找出那些受伪影潜在影响的块。因此所述伪影减少方法和分析编码参数的方法要解决相同的问题并且基于同样的认识。然而伪影减少方法提供了减少所述问题，分析方法提供了对潜在受影响的块的标识。两个方法可以单独也可合并使用。虽然针对本发明的这两个不同方面的权利要求的范围不同，但是这两方面基于相同的认识，并且旨在解决相同的问题并都具有新颖性和创造性。图11示出用于减少其中标识了编码参数的伪影的方法。图10和图11所示的方法之间的差别在于图11中没有出现步骤1(计算差值并将其与阈值比较)。通过分析编码参数，指示受到潜在影响的块。未受到伪影影响的块不经历低通滤波。已经被影响的块经历低通滤波。低通滤波具有对细节潜在减少的缺点。因此在不了解编码参数，不检查伪影存在的前提下，对解码数据流的所有块不加选择地进行低通滤波很有可能有百害而无一利。因此在图5的方法中存在伪影检测步骤1。然而，如果指示出那些受潜在影响的块，则有选择地进行低通滤波，即只对那些受伪影潜在影响的块，因此伤害的程度大大降低。这会使得方法简化，其中所有潜在受到影响的块被低通滤波，而无需之前的步骤来确定差值并将差值与阈值比较。图11中示意性地示出这样的简化方法。虽然图11的简化方法比图5所示的方法有些低效，但是因为图11中没有步骤1，简化后的方法仍然比直接对所有块不加选择地进行低通滤波要好。

图12示意性地示出分析编码参数的方法。在分析器AN中分析所述编码参数。如果所述编码参数指示潜在伪影，则指示器I与发现编码参数的组合指示可能发生伪影的块或宏块相关联，即指示器指示已经执行错误的帧/域编码的可能性。然后这样的块将经历伪影减少方法，之前可以进行或不进行差值的确定。在本发明概念中，“相关联”应理解为图像数据流和指示器之间存在链接。可以将所述指示器I插入数据流，例如作为报头或标签。在这些实施例中，指示器I包含在图像数据流中。因此这提供一种新产品，即图像数据流或包括图像数据流的信号，所述信号包括指示有错误的帧/域编码的可能性的块或块组的指示器I。指示器I也可以包括在与图像数据流分开但是可链接到图像数据流的数据流中。例如可以是在实际的数据流之前或之后的短信号，其中设有可能受影响的块或块组的列表。这样的图像数据流的信号也提供了新颖的产品。伪影减少方法可以是上述的和请求保护的伪影减少方法。然而，这对于分析方法并不是强制的。例如分析方法可以用作诊断工具来评价编码器的性能。编码器产生的具有潜在问题的块越多，将出现越多的伪影。因此所述分析方法可以用作提高编码器性能的工具。此时不存在诊断工具。所述分析方法也可以用在编码器或代码转换器中，以标识潜在受影响的块并重新编码这些块或替换它们或产生其中指示了潜在受影响的块或宏块的图像数据流。

图13示出根据本发明的显示设备的示例。所述显示设备包括减少器，在本例中其包括部分1(伪影检测)、2(低通滤波)和部分3(选择)。所述显示设备包括接收器4，用于接收包括图像数据流信号的输入信号5。所述输入信号可以包括已经解码的图像数据流5或编码的图像数据流5’。信号被引导至输入6。如果接收到编码信号5’，则显示设备包括用于解码输入的编码信号的解码器7。如果显示设备包括用于解码输入的编码信号的解码器7，则将所述编码参数发送至比较部分3。在解码期间，潜在受影响的块可以设有标签，以便在选择部分3中可以标识这样的块。在显示屏幕8上显示输出。根据本发明的显示设备可以是用于显示图像的任何设备，包括但不局限于TV设备、监视器、PDA、移动电话。

简言之，可以将本发明描述为:

标识迄今原因未知的图像伪影。例如MPEG编码器的编码器可以使用两种图结构:域图和帧图。对于帧图，可使用基于帧和域的DCT(以及其它类型)的编码。对于是使用基于帧还是基于域的编码总是不能做出正确的决定。在解码图像中，这导致图像伪影以条块可见。在本发明的一个方面中，本发明通过分析块内容是否存在这种伪影并且如果该分析证明存在这样的伪影则对块中的数据施加垂直低通滤波，来减少这些伪影。在本发明的另一方面中，对于可能发生伪影的编码参数的组合检查编码参数并且指示出这种块。本发明可以方法以及设备例如接收器、编码器、解码器、显示设备等来实现。

本发明还可以用于根据本发明的方法或设备的任何计算机程序产品来实现。计算机程序产品应当理解为在一系列装载步骤(包括中间转换步骤，如转换为中间语言和最终的处理器语言)以将命令置于处理器中之后使得通用或专用处理器能够执行本发明的任何特征功能的命令集的物理实现。特别是，所述计算机程序产品可以实现为载体(例如盘或磁带)上的数据、存储器中的数据、有线或无线网络连接上传输的数据、或书面的程序代码。除了程序代码，程序所需的特征数据也可以实施为计算机程序产品。

除了所述的存在于计算机程序产品中之外，运行所述方法所需的一些步骤可以存在于处理器的功能中，例如数据输入和数据输出步骤。

本说明书中公开的算法成分实际上可以(全部或部分地)实现为硬件(例如特殊应用IC的部分)或者在特殊数字信号处理器或通用处理器上运行的软件等等。

在本发明的概念中，“比较器”、“确定器”、“减少器”、“低通滤波器”等等可以被广义地理解并且包括例如任何硬件、任何为执行上述比较、确定、简化、低通滤波等等功能而设计的电路或子电路，以及任何被设计或编程以执行根据本发明的各个方面的比较、确定、简化、低通滤波等等操作的软件(计算机程序或子程序或计算机程序集合、或程序代码)，以及任何单独的硬件和软件或其组合，而不局限于给出的示例性实施例。一个程序或算法可以组合一些功能，而且一些功能可以共享一个或多个程序的公共部分。

应当注意，上述实施例表明不是要限制本发明，而是本领域技术人员能够设计出许多替换实施例，而不脱离权利要求的范围。

在权利要求中，括号中的附图标记不应理解为对权利要求的限制。

词语“包括”不排除权利要求所列之外的其它元件或步骤。本发明可以通过包括一些独特的元件的硬件实现，也可以通过适当地编程的计算机实现。在设备权利要求中列举了一些装置，这些装置中的某些可以由同一硬件实施。本发明可以通过合并上述各种不同的优选实施例的特征而实现。

Claims

1、一种处理压缩图像数据流的方法，该方法中减少了压缩伪影，其中对于解码图像块或解码图像块组，根据相邻线之间的像素数据在垂直方向上的差来确定至少一个差值(yescount，Gv)，并将所述差值与阈值(k*nocount，k*Gh)比较，其中在所述差值达到阈值的情况下，在垂直方向上对所述解码图像块或所述多个解码图像块施加低通滤波(2)。

2、如权利要求1所述的处理压缩图像数据流的方法，其中所述阈值是固定值。

3、如权利要求1所述的处理压缩图像数据流的方法，其中所述阈值(k*nocount，k*Gh)取决于所述块中包含的数据。

4、如权利要求1所述的处理压缩图像数据流的方法，其中所述低通滤波的强度取决于所述块中包含的数据。

5、如权利要求1、2、3或4所述的方法，其中在确定所述差值之前进行选择步骤(3)，以选择将执行差值确定(1)和低通滤波(2)的块。

6、如权利要求5所述的方法，其中基于所述块的平均亮度或平均颜色内容执行所述选择。

7、如权利要求5所述的方法，其中所述选择包括对相邻块执行的一致性检查。

8、如权利要求5所述的方法，其中所述选择步骤包括分析所述块的编码参数的步骤。

9、如权利要求5所述的方法，其中分析比特流报头(PrSe，PiSt，fpfd，fmt，dt)。

10、一种减少图像伪影的减少器，其中所述减少器包括根据相邻线之间的像素数据在垂直方向上的差为一个或一组解码图像块确定至少一个差值(yescount，Gv)的确定器，和用于比较所述至少一个差值和阈值(k*nocount，k*Gh)的比较器(C)，和低通滤波器，其在所述差值达到阈值时在垂直方向上对所述解码图像块或所述多个解码图像块施加低通滤波(2)。

11、如权利要求10所述的减少器，其中所述减少器包括另一确定器，用于从所述块中包含的数据中确定阈值(k*nocount，ki*Gh)。

12、如权利要求10或11所述的减少器，其中所述减少器包括另一确定器，用于根据所述块中包含的数据(Gh)确定低通滤波的强度。

13、如权利要求10、11或12所述的减少器，其中所述减少器包括分析器，用于分析编码参数(PrSe，PiSt，fpfd，fmt，dt)。

14、一种接收用于显示图像的压缩图像数据流的接收器(4)，包括如权利要求10到13中任一所述的减少器。

15、一种显示设备，包括接收用于在显示屏幕(8)上显示图像的压缩图像数据流(5、5’)的接收器(4)和如权利要求10到13中任一所述的减少器。

16、一种用于对压缩图像数据流进行代码转换的代码转换器，包括如权利要求10到13中任一所述的减少器。

17、一种用于分析编码图像数据流的编码参数的方法，其中指示了帧图中编码器已经对其执行帧编码或域编码的块或宏块。

18、如权利要求17所述的用于分析编码图像数据流的编码参数的方法，其中分析了编码视频比特流的序列报头和图报头(PrSe，PiSt，fpfd，fmt，dt)。

19、如权利要求17或18所述的用于分析编码图像数据流的编码参数的方法，其中所述方法包括在该图像数据流中或者为该图像数据流生成指示器(I)。

20、一种用于分析编码图像数据流的编码参数的分析器(AN)，所述分析器包括用于指示帧图中编码器已经对其执行帧编码或域编码的块或宏块的装置。

21、由计算机配置装载的计算机程序产品，包括指令，以当所述计算机程序产品在计算机上运行时，为如权利要求1-9任一所述的方法处理压缩数据流，所述计算机配置包括处理装置，所述处理装置包括:

用于根据相邻线之间的像素数据在垂直方向上的差为一个或一组解码图像块确定至少一个差值(yescount，Gv)的确定器，和

用于比较所述差值和阈值(k*nocount，k*Gh)的比较器(C)，和

在所述差值达到阈值时在垂直方向上对所述解码图像块或所述图像块组施加低通滤波的装置(2)。

22、由计算机配置装载的计算机程序产品，包括指令，以当所述计算机程序产品在计算机上运行时，为如权利要求17-19任一所述的方法处理压缩数据流，所述计算机配置包括处理装置，所述处理装置包括:分析器，用于分析编码图像数据流的编码参数，其中指示了在帧图中编码器已经对其执行帧编码或域编码的块或宏块。

23、包括图像数据流的信号，所述信号包括指示器I，其为块或块组指示错误帧/域编码的可能性。

24、用于图像数据流的信号，所述信号包括指示器I，其为块或块组指示错误帧/域编码的可能性。