CN102099830A

CN102099830A - 通过平滑整个帧和覆盖保留细节改善压缩视频信号的质量的系统和方法

Info

Publication number: CN102099830A
Application number: CN200980128319XA
Authority: CN
Inventors: 李奥那多·T·布朗顿; 葛瑞·兰卡斯特; 麦特·夏伍德; 丹尼·D·罗蔚
Original assignee: Headplay Barbados Inc Barbados
Current assignee: Headplay Barbados Inc Barbados
Priority date: 2008-07-19
Filing date: 2009-07-16
Publication date: 2011-06-15
Also published as: BRPI0916321A2; MA32492B1; JP2011528825A; EP2319011A4; US20100014777A1; ZA201100640B; TW201016011A; WO2010009538A1; AU2009273705A1; KR20110041528A; RU2011106324A; MX2011000690A; CA2731240A1; EP2319011A1

Abstract

公开了通过将视频信号分离为去块区和细节区、平滑整个帧、以及然后使用帧的保留的细节区覆盖每个被平滑过的帧，从而改善被压缩数字视频信号的质量的系统和方法。仅在关键帧中计算细节区，然后该细节区可以应用到相邻的帧，以便提高计算效率。通过计算关键帧中的扩展的细节区而增强了该改进。将细节图像覆盖到平滑的画布图像上的概念类似于画家先在一个没有细节的画布上绘出整幅图(通常使用宽的大刷)，然后在画布上覆盖描绘需要的细节(通常使用小细刷)。

Description

通过平滑整个帧和覆盖保留细节改善压缩视频信号的质量的系统和方法

技术领域

本申请涉及数字视频信号，更具体地说涉及通过将视频信号分离成去块区(Deblock region)和细节区(Detail region)、以及通过平滑整个帧、然后通过使用帧的保留细节区覆盖每个被平滑的帧，从而提高压缩数字视频信号的质量的系统和方法。

背景技术

众所周知的是，与表示文本信息或声频信号的所需要的数字数据的量相比，视频信号由大量的数字数据所表示。因此当以高比特率传输时，尤其是当这些比特率必须对应于视频显示装置所需要的实时数字视频信号时，数字视频信号占据相当大的带宽。

尤其是，在例如为电缆或者光纤的通信信道上同时传输和接收大量的不同的视频信号常常是通过以在不同的通信信道中共享可用带宽的方式频分复用或者时分复用这些视频信号来实现。

数字化的视频数据通常在根据国际认同的格式标准(例如MPEG2、MPEG4、H264)的格式化的媒体文件中嵌入音频和其它数据。这些文件通常的在互联网上分布和多路传输，并且分别存储在计算机的数字存储器、移动电话、数码摄像机中以及存储在光碟(CD)和数字化视频光盘(DVD)上。这些装置中的许多被物理上的难以察觉地结合到单个装置中。

在创建格式化的媒体文件的过程中，对文件数据进行各种水平和类型的数字压缩以降低它们再现所需要的数字数据的量，由此减少所需要的记忆存储量以及减少当与许多其它视频文件多路复用时的准确可靠的同时传输所需要的带宽。

互联网提供一个特别复杂的传输视频数据的例子，其中当从中央服务器向终端用户下载传输视频文件时，视频文件以许多不同的方式沿着许多不通的信道(即路径)多路传输。然而，在几乎所有的情况下，对于给定的原始数据视频源和给定的终端用户的接受和显示视频的质量，期望获得的视频文件被压缩至最小可能的尺寸。

格式化的视频文件可以表示完全数字化的影片。影片文件可以“按需”下载以用于立即显示和实时观看或者用于存储在终端用户的例如为数码摄像机的记录装置中，用于后来实时观看。

这些视频文件的视频部分的压缩不仅由于传输的目的而节约了带宽，还减少了存储这些影片文件所需要的总存储量。

在上述通信信道的接收终端，典型使用的是单用户计算和存储装置。这些单用户装置的目前不同的例子为个人计算机和数字机顶盒，它们中的每个或全部典型的输出连接到终端用户的视频装置(例如TV)，直接或间接输入连接到有线铜分布电缆线(即有线电视)。典型的，该电缆同时传输数百个实时多路传输的数字视频信号，并且常常输入连接到一个光纤电缆，该光纤电缆从视频节目的本地分发服务器传输来自地面站的视频信号。终端用户的卫星天线也用来接收广播视频信号。不论终端用户使用的是通过地球线缆还是卫星所传输的视频信号，终端用户数字机顶盒或者等同设备通常的被用来接收数字视频信号，以及选择要观看的特定的视频信号(即所谓TV频道或者TV节目)。这些传输的数字视频信号常常为压缩数字格式，并且因此必须在终端用户接收后进行解压缩。

大多数的视频压缩方法通过仅保留原始未压缩的视频信号的数字近似值而减少了数字视频数据的量。因此，在压缩之前的原始视频信号和被压缩的视频信号之间存在着较大差异。该差异被定义为视频失真。对于已知的视频压缩方法，如果通过选择这些方法的不同参数而降低被压缩视频数据的数据量，视频失真的程度几乎总是变大。即，视频失真随着压缩程度的增加而趋于增加。

随着视频压缩的程度增加，视频失真最终对于人类视觉系统(HVS)变得可视的，最终该失真对于在选择的显示装置上的实时视频的通常的观众而言变得明显的令人不愉快。被观察到的该视频失真为所谓的视频伪影。视频伪影是HVS所解读出的不属于原始未压缩的视频场景中的观察到的视频内容。

现有用于在压缩过程中或者在压缩之后从压缩视频中显著减少明显的令人不愉快的伪影的方法。这些方法中的大多数仅适用于使用基于块的二维(2D)离散余弦转换(DCT)或其近似法的压缩方法。下文中，我们称这些方法为基于DCT的。在这种情况下，迄今为止的最明显的令人不愉快的伪影是在显示的视频场景中出现伪影块。

已有通常通过查找块或者通过需要块在视频的每个帧的位置的先验知识而减轻伪影块的方法。

对于视频数据已经在先前压缩和解压缩可能超过了一次，或者已经在先前被调整了大小、转换了格式或者再混了颜色，而大量存在伪影的情况下，减轻明显的令人不愉快的伪影的出现的问题尤其困难。例如，视频数据可能已经从NTSC重新被格式化为PAL格式，或者从RGB格式转换为YcrCb格式。在这些情况下，几乎肯定不知道伪影块的位置的先验知识，因此基于该知识的方法不起作用。

用于减轻视频伪影的出现的方法必须不明显增加需要来表示被压缩视频数据的数据总量。这一约束是主要的设计难题。例如，在显示的视频的每个帧中的每个像素的三色中的每个颜色通常用8比特来表示，因此每个有色像素总计为24比特。例如，如果在压缩的最大限度，此时有明显的令人不愉快的伪影，H264(基于DCT)视频压缩标准能够获得最低大约每个像素一比特的1/40的视频数据的压缩。这因此对应于优于40x24＝960的平均压缩率。任何用于减轻视频伪影的方法在该压缩率时相对于每像素一比特的1/40必须因此增加不显著数量的比特，当压缩比如此高以致于每像素比特的平均数典型的小于一比特的1/40时，需要用于减轻块伪影的出现的方法。

对于基于DCT的和其它的基于块的压缩方法，最严重的明显令人不愉快的伪影为通常的随着时间、大小和方向变化的小矩形块的形式，该变化取决于视频场景的局部时空特性。特别的，伪影块的性质取决于视频场景中的目标的轨迹运动和那些目标包含的空间细节的量。对于一特定的视频，随着压缩比的增加，基于MPEG的基于DCT的视频编码器逐渐的分配较少的比特给代表每个块内的像素的强度的所谓量化基础。每个块中分配的比特的数目取决于关于HVS的大量的心理视觉知识。例如，视频目标的形状和边缘以及它们运动的光滑的时间轨迹是心理视觉重要的，因此在所有基于MPEG DCT的方法中必须分配比特给它们以确保它们的保真度。

随着压缩程度的增加，并且出于保持上述保真度的目的，压缩方法(在所谓的编码器中)最终给每个块分配恒定(或者几乎恒定)的强度，这就是通常最明显的令人不愉快的块伪影。预计如果伪影块与它们最接近的相邻块之间的相对均一强度差别超过3％，那么包含这些块的空间区域是明显的令人不愉快的。使用基于块的DCT型方法严重压缩过的视频场景中，许多帧的大片区域包含这样的块伪影。

发明内容

本申请公开了通过将视频信号分离为去块区和细节区、平滑整个帧、以及然后使用帧的保留的细节区覆盖每个被平滑过的帧以用于改善被压缩数字视频信号的质量的系统和方法。

在一个实施方式中，公开了一种方法，用于使用任何合适的方法以在一图像帧中区分和分离细节区，然后空间上平滑整个图像帧以获得对应的画布(Canvas)帧。然后将帧的被分离的细节区组合到画布帧，以获得对应的被去块的图像帧。

所公开的实施方式的一个优势是可以对整个图像进行平滑操作，且不影响描绘细节区的边界的位置。这使得可以使用全图像快速平滑算法，以获得画布帧。这些算法能够使用例如基于全图像快速傅立叶变换(FFT)的平滑方法，或者应用广泛使用的用作低通量平滑滤波的高度优化的FIR或者IIR编码。

在一个实施方式中，在空间平滑之前对图像帧进行空间降采样。然后对降采样的图像帧进行空间平滑，对获得的图像上采样至完全解析率，与帧的分离的细节部分进行组合。

在另一实施方式中，在关键帧中确定细节区，例如，在每个第四帧中确定。如果相邻帧中目标的移动速度够低，通常就是这样，对于邻近的非关键帧可以不必识别细节区，可以用最近的关键帧的细节区覆盖被平滑的画面帧。

在另一实施方式中，对所有关键帧的细节区DET进行“扩大”处理，从而使得细节区沿着其边界扩展(或扩大)，以获得扩展的细节区。

上文已经相当宽泛的概述了本发明的特征和技术优势，以便下文中本发明的具体描述可以更易被理解。本发明的另外的方法、以及特征和优势将在下文中描述，并形成本发明的权利要求的主题。本领域的技术人员应当可以领会到所公开的构思和具体实施方式可以作为基础，用于修改或设计其它结构，以实现本发明的相同目的。本领域技术人员还应当体会到这些等同构造并不偏离在所附的权利要求中所述的本发明的精神和范围。根据下文的描述并结合考虑所附的附图将更好的理解被认为是本发明的特点的新特征、其结构和操作方法、以及另外的目标和优势。然后，可以清楚的理解提供的每个附图仅是出于阐述和描述的目的，而非用于定义限制本发明。

附图说明

为了更完全的理解本发明，可以结合附图参考下文的描述，其中：

图1所示是典型的块状图像帧；

图2所示是被分离成去块区(以黑色表示)和细节区(以白色表示)的图1的图像

图3所示是在帧中选择分离的像素的一个示例；

图4阐述了候选像素C_i的一个闭合区，候选像素C_i相距x像素，由于不满足去块标准而属于细节区DET；

图5阐述了通过使用9像素交叉蒙版将一个块分配到去块区的一方法的一个实施方式；

图6所示为在图像帧的特定位置使用的9像素交叉蒙版的一个示例；

图7所示是用于获得改进的视频图像质量的方法的一个实施方式；

图8和9所示是根据本文中所讨论的概念运行的方法的一个具体实施方式；以及

图10所示是使用本文中所讨论的概念的一个实施方式。

具体实施方式

公开的实施方式的一个方面是通过使用平坦度标准(flatness criteria)和不连续标准(discontinuity criteria)识别视频信号的每个帧中的去块区域，以减轻实时视频信号中块伪影的出现。可以结合使用另外的梯度标准(gradient criteria)以进一步改善鲁棒性。使用这些概念，由于与被减少的文件大小相关联的伪影的视觉效果被降低，视频文件的大小(或者在视频信号的传输中需要的比特数)能够被降低。本文所讨论的概念中有一些类似于一个艺术家先用一个空间上平滑的画布绘整幅画(常常使用一个大宽刷)，然后将需要的细节覆盖涂抹在画布上(常常使用一个小细刷)。

进行这些概念的方法的一个实施方式包括与视频信号的图像帧相关的三个部分：

1.识别去块区的(DEB)步骤，将去块区从所谓细节区DET中区分开来；

2.对去块区DEB进行处理，以减轻(平滑)去块区中的块伪影的出现；以及

3.将在第2部分中获得的现在平滑的去块区组合到细节区的步骤。

在该实施方式的方法中，空间平滑操作不对去块区之外进行处理：相当于，其不对细节区进行处理。如将在下文中所讨论的，使用方法来确定空间平滑处理已经到达去块区DEB的边界，以便平滑不在去块区之外发生。

预先已经经受过基于块类型的视频压缩(例如基于DCT的压缩)和解压缩、以及可能经过调整大小和/或格式变换和/或颜色再混处理过的视频信号，典型的包含明显的令人不愉快的块伪影残留，该块伪影在先前的压缩操作中首先发生。因此，仅通过减轻那些在最后的或当前的压缩操作中产生的块的出现是不可能完全实现诱发的块伪影的移除。

在许多情况下，关于这些先前创建的块的位置的先验信息是得不到的，位于未知位置的块常常促成了令人不愉快的伪影。该方法的实施方式通过不需要块的位置的先验知识的标准来识别要被去块的区。

在一个实施方式中，使用了强度平坦标准方法，以及使用强度不连续标准和/或强度梯度标准来识别每个视频帧的将被去块的去块区，而不需要具体的寻找或识别单个块的位置。每个帧的去块区通常包括各种大小和形状的许多不连接的子区。该方法仅依靠图像帧内的信息，来识别该图像帧中的去块区。在该识别后，图像帧的保留区被定义为细节区。

视频场景由视频目标构成。这些目标通常依据它们的强度边缘的位置和运动以及它们的内部的纹理而区分和识别(通过HVS和相关的神经响应)。例如，图1所示的一个典型的图像帧10包含明显的令人不愉快的块伪影，当实时显示时，其同样出现在对应的视频剪辑中。典型的在一秒钟的片段中，HVS察觉并识别在对应视频剪辑中的原始目标。例如，脸目标101和其子目标，例如眼睛14和鼻子15，与帽子一起被HVS快速识别，帽子又包含子目标，例如带状物13和帽沿12。HVS辨认出脸的大的空旷的内部，例如具有非常少的细节并且特征在于其颜色和平滑底纹的皮肤纹理。

块伪影虽然在图1的图像中不能清晰的可见，但是其在相应的电子显示实时视频信号中清楚的可见，块伪影具有各种大小，它们的位置并不局限于在最近的压缩操作中所产生的块的位置。仅减轻那些在最近的压缩操作过程中所产生的块常常是不够的。

该方法利用了HVS能特别察觉到那些位于图像的相对大的空旷的区域的块伪影(和它们的相关边缘的强度不连续)并对其敏感的心理视觉性质，在该区域的原始图像中有着几乎不变的强度或者平滑变化的图像强度。例如，在图1中，HVS相对不能察觉到位于在帽子的条纹之间的任何块伪影，但是特别能察觉到在脸上的大的空旷的平滑着色的皮肤区域中出现的块伪影并且对其敏感，而且也对帽沿的左侧(下方)大的空旷的区域中的块伪影敏感。

另一个HVS对块伪影敏感的例子，如果HVS察觉到均匀着色的平面阴影表面的视频图像，例如被照明的墙，那么超过大约3％的块边缘强度不连续就是明显的令人不愉快的，而高度纹理目标的视频图像中的类似的块边缘的强度不连续，例如草叶的高度纹理区，通常对于HVS而言是不可见的。减轻大的空旷的平滑强度区域中的块要比减轻高空间细节区域中的块更重要。该方法利用了HVS的这一特性。

然而，如果上述墙被遮挡，仅露出小部分的单独的区域，HVS再次相对不能觉察到块伪影。即，HVS对于这些块较不敏感，因为尽管它们位于平滑强度的区域，这些区域不够大。该方法利用了HVS的这一特性。该方法，至少在某些实施方式中，使用了HVS相对不能察觉如果移动目标的移动速度够快时与移动目标相关的块伪影的心理视觉特性。

将这一方法应用到图像帧的结果是，图像被分离成至少两个区：去块区和保留细节区。该方法可以分级使用，以便上述第一被识别出的细节区然后其本身又被分离成第二去块区和第二细节区，如此递推。

图2所示是识别去块区(显示为黑色)和细节区(显示为白色)的结果20。眼睛14、鼻子15和嘴属于脸目标的细节区(白色)，同样，帽子的右侧区的大部分为条纹的细节纹理。然而，帽子的左侧大多是几乎恒定强度的区域，因此属于去块区，而帽沿12的边缘为强烈的不连续区，对应于细节区的细线部分。

如同在下文中所描述的，使用标准来确保去块区是HVS最能察觉并对块伪影敏感的区域，并因此为将被去块的区。然后细节区就是HVS对块伪影不特别敏感的区域。在这一方法中，去块区的去块可以通过空间强度平滑来实现。该空间强度平滑处理可以通过低通量滤波或者通过其它方式来实现。强度平滑显著减轻了被平滑区域的所谓高空间频率，并因此显著降低了与块阴影的边界相关的强度的边缘不连续。

该方法的一个实施方式使用空间不变低通量滤波来对被识别出的去块区进行空间平滑。所述滤波可以是无穷脉冲响应(IIR)滤波或者有限脉冲响应(FIR)滤波或者上述滤波的组合。这些滤波是典型的低通量滤波，并被用来减轻去块区的所谓的高空间频率，由此平滑强度，减弱块伪影的出现。

上述去块区DEB和细节区DET的定义不妨碍对其中的一个区或两个区的另外的信号处理。特别的，使用该方法，能够将DET区另外分离成新的DET1区和DEB1区，其中DEB1区是第二个去块区(DEB1∈DET)，与已用于去块DEB的方法或滤波相比，可能使用的不同的去块方法或者不同的滤波。DEB1和DET1显然是DET的子区。

识别去块区(DEB)常常需要能够实时运行视频的识别算法。对于这样的应用，与使用相对少的MACs/s和使用整数的简单逻辑语句的识别算法相比，高计算复杂度(例如使用每秒大量的乘积累加操作(MACs)的识别算法)常常较不令人满意。本申请的方法的实施方式使用相对少的MACs/s。同样的，本申请方法的实施方式保证了进出片外存储器的大量数据的交换最小化。在本申请方法的一个具体实施方式中，用于确定区DEB(因此也确定了DET)的算法利用了严重压缩视频剪辑中的大多数的明显的令人不愉快的块在它们的内部具有几乎恒定的强度的现象。

在本申请方法的一个实施方式中，通过在帧中选择候选区C_i来开始去块区DEB的识别。在一个实施方式中，这些区C_i在空间大小上和一个像素一样小。其它实施方式可以使用大小大于一个像素的候选区C_i。每个候选区C_i通过一组标准与其周围的相邻区进行对照，如果符合标准，使得C_i被分类到图像帧的去块区DEB。如果C_i不属于去块区，则其被设置为属于细节区DET。注意，这并不意味着所有C_i的集合等于DEB，而仅意味着它们形成了DEB的子集。

在本申请方法的一个实施方式中，用于确定C_i是否属于去块区DEB的这套标准可以分类如下：

a.强度-平坦度标准(F)，

b.不连续标准(D)，和

c.向前看/向后看标准(L)。

如果满足上述标准(或者它们的任何有用组合)，候选区C_i就被分配到去块区(即C_i∈DEB)。如果不满足，那么候选区C_i被分配到细节区DET(C_i∈DET)。在一个特定的实施方式中，例如当对一个特定的视频剪辑去块时，所有三种类型的标准(F、D和L)并不都是必须的。另外，这些标准根据图像帧的局部性质来调整。所述局部性质可以是统计学上的或者它们可以是与编码器/解码器相关的性质，例如压缩和解压缩处理中使用的量化参数或者运动参数。

在本申请方法的一个实施方式中，由于计算效率的原因，选择候选区C_i，以使候选区稀疏散布于图像帧中。这能明显减少每个帧中的候选区C_i的数目，由此，降低算法复杂性和提高算法的计算能力(即速度)。

图3所示是帧的小区域的被选择的稀疏分布的像素，它们可以被用来根据标准检验图1的图像帧。图3中，像素31-1至31-6在水平和垂直方向上都距它们相邻的像素7个像素。这些像素为原始图像中像素的数目的大约1/64，意味着用来识别去块区的任何基于像素的算法仅对每个帧中的像素数目的1/64进行运算，由此相对于对每个像素进行测试标准的方法，降低了复杂性，提高了计算能力。

在该说明性的示例中，将图1的去块标准应用到图3中的稀疏分布的候选区，获得对应的如图4中所示的稀疏分布的C_i∈DEB。

在本申请方法的一个实施方式中，整个去块区DEB从上述的稀疏分布的候选区C_i∈DEB“扩大”到周围的区域。

例如，通过设定N为7像素，使图2中的去块区的识别从图4中的稀疏分布的C_i进行“扩大”，由此使得候选区像素C_i的稀疏分布“扩大”为图2中的更大的去块区，该区具有更连续连接的性质。

上述扩大处理在空间上连接稀疏分布的C_i∈DEB以形成整个去块区DEB。

在本申请方法的一个实施方式中，上述扩大处理是基于合适的距离长度而进行的，该距离长度为像素与最近的候选区像素C_i之间的水平或垂直距离。例如，对候选区像素C_i选择垂直和水平方向上相距7像素，获得的去块区如图2所示。

作为一种增强，对细节区DET进行扩大处理，以将细节区DET扩展到先前确定的去块区DEB中。这可用于防止空间上恒定的低通平滑滤波的交叉蒙版突出到原始细节区，并由此避免可能产生不期望的“光晕”效果。如果这样做，细节区可能在其扩展边界中包含未被减轻的块或其部分。这不成为实际问题，因为HVS对这样的接近细节区的块伪影相对不敏感。使用扩展的细节区的一个优势是，其更有效的覆盖了高速移动的目标，由此对于任何已知的视频信号使得关键帧被更远的分隔开。这转而提高了计算能力，降低了复杂性。

可以使用替换的距离度量。例如，可以使用一个度量，该度量对应于候选区C_i中心的一个给定直径的圆内的图像帧的所有区域。

通过上述或者其他扩大方法获得的去块区包围(即空间覆盖)要被去块的图像帧的一部分。

形象化上述的扩大处理，整个去块区DEB(或者整个细节区DET)能够用环绕扩大区G_i(Surrounding Grown region)环绕每个候选区C_i(符合标准C_i∈DEB或者C_i∈DET)来确定，因此，整个去块区DEB(或者整个细节区DET)是所有C_i和所有G_i的联合。

相当于，整个去块区能够逻辑表示成

DET = \underset{i}{\cup} ((C_{i} &NotElement; DET) \cup G_{i}) = \underset{i}{\cup} ((C_{i} &Element; DET) \cup G_{i})

其中∪是区的联合，而DET仅是图像帧的保留部分。可选择的，整个细节区DET可以根据

DET = \underset{i}{\cup} ((C_{i} &NotElement; SEB) \cup G_{i}) = \underset{i}{\cup} ((C_{i} &Element; DET) \cup G_{i})

确定候选区(使用

)所确定。

如果扩大环绕区G_i(图3中的32-1至32-N)够大，他们可以与相邻的区重叠或接触，以产生一个去块区DEB，该去块区在图像帧的扩展的区域连续。

本申请方法的一个实施方式如图5所示，使用了9像素的交叉蒙版(crossed-mask)以识别候选区像素C_i，该候选区像素C_i将被分配到去块区或者分配到细节区DET。在该实施方式中，候选区C_i是1x1像素大小(即单个像素)。交叉蒙版的中心(像素51)在像素x(r，c)，其中(r，c)指的是像素的行和列位置，强度x典型的用x∈[0，1，2，3，...255]给出。注意的是该实施方式中，交叉蒙版由两个相互垂直的单像素宽的线组成，从而形成一个+(交叉)。如果需要，该“交叉”可以为任何方向。

图5中8个独立的平坦标准用ax，bx，cx，dx，ay，by，cy和dy标记，并且应用在8个对应的像素位置。接下来，在交叉蒙版52的内部和可选的交叉蒙版52的外部应用不连续(即强度梯度)标准。

图6所示是在图像帧60内的一特定位置使用9像素交叉蒙版52的一个示例。在一个特定的位置来说明交叉蒙版52，并且大体上在图像帧的多个位置用标准来检验。对于特定的位置，例如图像帧60的位置61，根据标准使用交叉蒙版52的中心和8个平坦强度标准ax，bx，cx，dx，ay，by，cy和dy。

用于这8个平坦标准的特定的识别算法可以是那些本领域技术人员所公知的算法。符合8个平坦标准，则用逻辑符号ax∈F、bx∈F，...，dy∈F表示。如果符合，对应区域就是“够平坦”的，符合所使用的平坦强度标准。

可以使用下列示例逻辑条件来确定每个候选像素x(r，c)是否满足全部的平坦标准：

如果

(ax∈F和bx∈F)或者(cx∈F和dx∈F) (1)

以及

(ay∈F和by∈F)或者(ey∈F和dy∈F) (2)

那么

C_i∈平坦。

相当于，上述布尔语句在下列三个条件中的至少一个的条件下，语句C_i∈平坦为真：

a)交叉蒙版52位于一个9像素区域上，该区域是完全的够平坦的强度，因此，52完全位于包括够平坦区域的块的内部

或者

b)交叉蒙版52覆盖四个位置之一的不连续点

(r+1，c)或者(r+2，c)或者(r-1，c)或者(r-2，c)

而在剩余的三个位置满足平坦标准

或者

c)交叉蒙版52覆盖四个位置之一的不连续点

(r，c+1)或者(r，c+2)或者(r，c-1)或者(r，c-2)

而剩余的三个位置满足平坦标准。

在上述过程中，正如识别候选像素所需要的，交叉蒙版52空间上覆盖块的不连续边界、或者块的部分，不管他们的位置在哪，同时保持语句C_i∈平坦为真。

一个对上述逻辑的更详细的解释如下。当(1)和(2)中所有的括号内的语句为真，条件a)为真。假设b)中给出的位置中有一个不连续，那么语句(2)为真，因为括号内的语句中的有一个为真。假设c)中给出的位置中有一个不连续。那么语句(1)为真，因为括号内的语句中的有一个为真。

使用上述布尔逻辑，当交叉蒙版52跨越了块的边界轮廓或者块的一部分的不连续点时，不管其位置在哪，都符合平坦标准。

用于确定平坦标准F(应用于候选像素C_i)的特定算法的使用对于方法而言不是关键。然而，为了获得高计算能力，一个示例算法对ax，bx，cx，dx，ay，by，cy和dy使用简单的数学平坦标准为，即，“水平相邻的和垂直相邻的像素之间的强度的第一前部差异(first-forward difference)的大小”。例如，2D连续的x(r，c)在垂直方向上第一前部差异是简单的x(r+1，c)-x(r，c)。

上文讨论的平坦标准有时不足以正确的识别每个视频信号中的每个帧的每个区中的区DEB。现在假设对于C_i的候选像素而言符合上述平坦条件C_i∈平坦。那么，在该方法中，可以在压缩前和压缩后使用大小不连续标准来改善块的边界伪影部分的不连续和属于存在于原始图像中的需要的细节的非伪影不连续之间的区分。

大小不连续标准(Magnitude-Discontinuity Criterion)方法设置了一个简单的阈D，小于它时，不连续被假定为块伪影。用其强度x表示C_i的像素x(r，c)，大小不连续标准的形式如下：

dx＜D，

其中dx为交叉蒙版52的中心(r，c)的强度的不连续的大小。

需要的D的值能够从压缩算法的帧内量化步骤大小推测出，帧内量化步骤大小可以从解码器和编码器中获得或者从已知的被压缩文件大小估计出。通过该方法，等于或大于D的原始图像中的转换是正确的块伪影的边界，因此被错误的去块了。将该条件与平坦条件结合获得了一个更严厉的条件。

发现D值为x(r，c)的强度范围的10％至20％时能够在宽范围的各种类型的视频场景中满意的减轻块伪影。

Ci∈平坦，且dx＜D。

几乎总是存在非伪影不连续(因此不应被去块)，因为它们存在于未被压缩的视频帧中。这样的非伪影不连续可以满足dx＜D，也可能位于引起C_i∈平坦的环绕区，根据上述标准，这将导致所述不连续满足上述标准，由此被错误的分类到去块区，并因此被错误的平滑。然而，所述非伪影不连续对应于高度局部的图像细节。实验证实，这样的错误去块对于HVS是典型的不令人不愉快的。然而，为了显著降低这种错误去块的罕见例子的可能性，可以使用下列向前看(Look-Ahead)(LA)和向后看(Look-Behind)(LB)方法。

实验发现，在特定的视频图像帧中，可能存在一组特定的数值条件，在该条件下，原始视频帧中的需要的原始细节满足上述局部平坦和局部不连续条件的要求，并因此被错误的识别(例如，遭受错误去块和错误平滑)。相当于，C_i的一小部分被错误的分配到DEB，而不是被分配到DET。例如，在目标的边缘的(在未被压缩的原始图像帧中)强度的垂直方向的变换能够满足去块的平坦条件和不连续条件。这有时会在播放的对应的实时视频信号过程中导致明显的令人不愉快的伪影。

下列LA和LB标准是可选的，能校正上述特定的数值条件。它们是通过测量从交叉蒙版52到交叉蒙版52之外的合适的位置的图像的强度改变而完成的。

如果符合上述标准C_i∈平坦和dx＜D，并且也超出了“向前看LA”的阈值标准或者“向后看LB”的阈值标准L，那么候选C_i像素就不被分配到去块区。以导数的大小表示，LA和LB标准的一个示例是：

如果

(dxA≥L)或者(dxB≥L)或者(dxC≥L)或者(dxD≥L)

那么

C_{i} &NotElement; DEB

上文中，表达方式例如(dxA≥L)仅表示LA大小梯度的大小或者变化标准dx，在这里是测量出的从位置(r，c)到像素A的位置dx，大于或等于阈值数L。另外三个表达方式含义类似，但是为关于位置B、C和D的像素。

上述LA和LB标准的作用是确保去块不在强度大小改变为L或更大的一定距离内发生。

这些LA和LB约束条件具有降低可能的错误去块的期望效果。LA和LB约束条件还足以防止不期望的在高强度梯度的紧邻区域去块，而不考虑平坦和不连续标准。

通过结合上述三组标准而获得的结合标准用于分配C_i的像素至去块区DEB的一个实施方式，可以表达为下列示例标准：

如果

C_i∈平坦且x＜D且((dxA＜L和dxB＜L和dxC＜L和dxD＜L))

那么

C_i∈DEB

作为该方法的一个实施方式，上述的事实可以通过使用短整型快速逻辑运算的硬件来确定。对各种类型的许多视频进行上述标准的评估证实了其在正确识别去块区DEB方面的鲁棒性(也因此正确识别互补的细节区DET)。

许多预先处理过的视频具有“展开”的块边缘不连续点。当明显的令人不愉快时，展开的块边缘不联系点在垂直和/或水平方向上占据超过一个像素。这将引起不正确的将块边缘不连续点分类到去块区，这将在下文的示例中描述。

例如，考虑水平的1像素宽的大小为40的不连续点，分离满足C_i∈平坦的平坦强度区域，位于x(r，c)＝100至x(r，c+1)＝140，不连续阈值标准D＝30。不连续的大小为40，超过了D，表明像素x(r，c)不属于去块区DEB。考虑如果其为从x(r，c)＝100向x(r，c+1)＝120向x(r，c+2)＝140展开的不连续，该相同的大小为40的不连续点将如何分类。在这一情况下，在(r，c)和x(r，c+1)的不连续点的每个大小为20，由于他们未超过值D，这导致错误去块的发生。即，x(r，c)和x(r，c+1)将被错误的被分配到去块区DEB。

类似的展开边缘不连续点可能存在于垂直方向。

更通常的，所述展开不连续点占据2像素，尽管在一些严重压缩视频信号中也发现占据3像素的。

用于正确对展开边缘不连续点分类的本申请方法的一个实施方式是使用扩大类型的上述9像素交叉蒙版52，其可以用来识别和由此对展开的不连续边界去块。例如，图5的9像素交叉蒙版52所识别出的所有的候选区为1像素大小，但是没有理由整个交叉蒙版不能使用类似逻辑而被在空间上扩大(例如，伸展)。因此，ax，bx，...等相隔2像素，并环绕一个2x2像素的中间区。上述组合的像素级别的去块条件仍然有效，并被涉及成下列三个条件中的至少一个成立的条件下C_i∈平坦：

d)交叉蒙版52(M)位于一个20像素区域上，该区域是完全的够平坦的强度，因此，M完全位于包括够平坦区域的块的内部

或者

e)交叉蒙版52覆盖四个1x2像素位置中的一个的2像素宽的不连续点

(r+2:r+3，c)或者(r+4:r+5，c)或者(r-2:r-1，c)或者(r-4:r-3，c)

同时剩余的三个位置满足平坦标准

或者

f)交叉蒙版52覆盖四个2x1像素位置中的一个的2像素宽的不连续位置

(r，c+2:c+3)或者(r，c+4:c+5)或者(r，c-2:c-1)或者(r，c-4:c-3)

同时在剩余三个位置满足平坦标准。

以这种方式，根据需要，交叉蒙版M能够覆盖块的1像素宽的边界以及展开的2像素宽的边界，不管他们的位置在哪，同时保持语句C_i∈平坦为真。用于20像素的交叉蒙版的计算的最小数量与用于9像素类型的相同。

具体有许多变量，可以通过这些变量确定上述的平坦和不连续标准。例如，用于“平坦”的标准可以包括统计量度，例如方差、平均值和标准偏差以及异常值的去除，典型的是额外的计算量和较慢的计算能力时。类似的，限定不连续可以包括强度的分数改变，而不是绝对改变，交叉蒙版M可以被扩大而允许不连续点在每个方向上扩展数个像素。

上述标准的特定变量是强度的分数改变而不是绝对改变。这很重要，因为公知的是HVS以近似线性的方式对强度的分数改变进行响应。对上述方法进行特定量的修改以适用于分数改变，并由此改善去块的感知，尤其是在图像帧的暗区。它们包括：

i.代替将图像强度x(r，c)直接作为候选像素C_i用于平坦和不连续标准，而是全部使用强度的对数C_i＝log_b(x(r，c))，其中底数b可以是10或者自然指数e＝2.718...

或者

ii.代替直接使用强度的大小差异，而是直接使用分数差异作为平坦度、不连续、向前看和向后看的全部或部分标准。例如，平坦度标准可将下列形式的绝对强度阈值e

|x(r+1，c)-x(r，c)|＜e

修改为包含相对强度的阈值，例如为下列形式的相对阈值e_R：

e_{R} &equiv; (e + \frac{x (r, c)}{I_{MAX}})

其中，在示例中，我们使用e＝3，I_max＝255，这是x(r，c)所能假设的最大强度。

候选区C_i必须对图像帧的2D空间进行足够密集的采样，以便大多数的块伪影的边界不会由于采样过疏而漏掉。考虑到基于块的压缩算法能肯定大多数块的大多数边界在两个方向上被至少4像素所分开，可以使用该方法在每个方向上每隔4像素对图像进行二次采样，使得不遗漏几乎所有的块边界不连续点。还发现实际中在每个方向上高达8个像素也可以很好的起作用。这显著的降低了计算开销。例如，在每个方向上每隔4像素进行子采样，获得属于去块区的不连续的点的集合。该方法的一个实施方式中采用这样的子采样。

假设候选像素是在两个方向上分离的L像素。那么去块区可以根据稀疏分布的候选像素，而被定义为包围所有的候选像素点的L×L的正方形块的区。这利用有效算法容易实现。

一旦去块区被识别出来，可以对去块区域进行各种去块策略，以减轻产生明显令人不愉快的感觉的区块效应。一个方法是对去块区进行平滑操作，例如，通过使用空间上恒定的低通IIR滤波或者空间上恒定的低通FIR滤波或者基于FFT的低通滤波。

本申请方法的一个实施方式在平滑处理之前对原始图像帧进行降采样，在平滑后接着上采样至原始分辨率。这一实施方式获得快速的全部平滑，因为平滑处理对较少数量的像素进行。这使得使用较少的存储和更少的每秒乘积累加操作MACs/s，因为平滑处理是对相当小(即降采样)和连续的图像进行。

除了某些滤波例如递归移动平均(即BOX)2D滤波，2D滤波的计算复杂度随着需要进行的平滑的程度的增加而增加。这样的FIR平滑滤波需要许多MACs/s，其近似与平滑的程度成正比。

高压缩视频(例如，量化参数q＞40)典型的需要大于11的级别的FIR滤波，已获得足够平滑的效果，对应于每像素至少11次加法和多达11次的乘法。可以通过较低级别的IIR滤波，典型的为级别2，而获得类似程度的平滑。本申请方法的一个实施方式使用IIR滤波用于平滑去块区。

另一个用于平滑的方法类似于上述方法，处理平滑滤波是空间上可变的(即空间适应的)，这样以使滤波的交叉蒙版随着空间位置而改变，以便不与细节区重叠。用这种方法，当到达细节区的边界时，滤波的级别(和因而交叉蒙版的大小)适应性的减小。

交叉蒙版的大小也可以根据局部统计信息而改变，以获得需要程度的平滑，虽然增加了计算开销。该方法使用空间上可变程度的平滑，这样，滤波的响应不能覆盖(以及因此扭曲失真)细节区或者不能穿透小细节区以环绕细节区的边缘产生不期望的“光晕”效果。

本申请方法的另一个改进是在上述a)中对所有关键帧的细节区DET进行“扩大”处理，这样DET沿着其边界被扩展。可以使用本文中所描述的用于扩大的方法以扩展边界，或者使用其它本领域技术人员所公知的方法。在这一另外的改进中，获得的扩展的细节区EXPDET被用作相邻图像帧的细节区，并覆盖这些帧的画布图像CAN。这增加了计算能力，降低了计算复杂性，因为这仅需要关键帧中的细节区DET(及其扩展EXPDET)。用EXPDET代替DET的优势是EXPDET与DET相比能更有效的覆盖高速移动目标。对于一个给定视频信号，这使得关键帧被分隔的更远，并由此提高了计算能力，降低了复杂性。

在本申请的方法中，细节区DET可以在其边界被扩展，以空间上覆盖由用来对去块区去块所进行的平滑操作所产生的任何“光晕”效果，并由此使得其不可见。

在本申请方法的另一个实施方式中，使用空间上可变2D递归移动平均滤波(即所谓的2D BOX滤波)，具有2D Z变换转移函数

H (z_{1}, z_{2}) = \frac{(1 - {z_{1}}^{- L_{1}}) (1 - {z_{2}}^{- L_{2}})}{(1 - {z_{1}}^{- 1}) (1 - {z_{2}}^{- 1})} \frac{1}{L_{1} L_{2}}

这有助于2D级别(L₁，L₂)的快速递归2DFIR滤波。相应的2D递归FIR输入-输出差分方程为

y (r, c) = y (r - 1, c) + y (r, c - 1) - y (r - 1, c - 1) + . . .

\frac{1}{L_{1} L_{2}} [x (r, c) + x (r - L_{1}, c) + x (r, c - L_{2}) + x (r - L_{1}, c - L_{2})]

其中y为输出，x为输入。该实施方式具有低算法复杂度并且独立于平滑程度的优势。

在该方法的一个特定示例中，级别参数(L₁，L₂)是空间上可变的(即，上述2DFIV移动平均滤波的空间性可改变以避免平滑滤波的相应与细节区DET重叠)。

图7所示是例如为方法70的方法的具体实施方式，通过使用上文中讨论的概念，以改善视频图像质量。用于进行该方法的一个系统可以是，例如，通过软件、固件或者通过在图8所示的系统800中运行的专用集成电路(ASIC)进行的，可能是在图10的处理器102-1和/或104-1的控制的条件下进行。步骤701确定去块区。当所有去块区被找到，这由步骤702所确定，步骤703然后能够识别所有去块区，并隐含识别所有细节区。

接着步骤704开始平滑，步骤705确定何时到达第N个去块区的边界，步骤706确定何时第N个区的平滑已经完成。步骤708通过为值N加1而索引区，继续进行步骤704至707，直至步骤707确定所有去块区已经被平滑处理过。然后步骤709将被平滑过的去块区与各自的细节区组合，已获得改善的图像帧。注意的是不必等到知道所有的去块区都被平滑才开始组合步骤，因为如果需要，这些操作可以平行进行。

图8和9所示是根据本文中所讨论的概念运行的方法的一个具体实施方式。当视频帧出现在步骤801时，步骤800开始进行，步骤801确定第一个去块区(或者细节区)。当步骤802和803确定所有去块区(或细节区)已经被确定，然后步骤804保存细节区。步骤805对视频帧进行降采样，该步骤为可选的，步骤806不管帧是否是降采样都平滑整个帧。对帧降采样使得可以使用较少的内存和更少的MACs/s，因为平滑处理是对小得多的(即降采样过的)并且邻接的图像进行的。这还导致平滑需要较少的处理，由此提高整体的计算效率。

如果帧已经被降采样，那么步骤807对帧上采样至全解析率，然后步骤808用保存的细节区覆盖被平滑过的帧。

作为另一个实施方式，如过程900中所讨论的，仅确定关键帧中的细节区，例如，每第四个帧。这进一步显著提高了方法的整体计算效率。因此，如图9所示，在视频场景中，相邻帧中的目标的运动速度够低，通常也是这样，对于相邻的非关键帧的组不识别细节区，而是用最近的关键帧的细节区覆盖画布帧。因此，步骤901接受视频帧，步骤902识别每第N个帧。数值N可以时常变化，如果需要，可以通过视频场景中的相对移动或者其它因素来调节。步骤910能控制N的选择。

步骤903对每第N个帧进行平滑，然后步骤904用从一个帧中保存下来的细节替换N帧。然后步骤905分布改善的视频帧，以根据需要存储或显示。

在更进一步的实施方式中，对所有关键帧的细节区进行“扩大”处理，使得细节区被扩展到环绕着其边界的边缘，获得一个扩展的细节区EXPDET。使用扩展细节区EXPDET的优势是能够更有效的覆盖高速移动目标，由此对于任何给定的视频信号可以使得关键帧间隔得更远。这转而进一步提高了计算能力，降低了复杂度。

无论是上述的“扩大”的方法还是前面所描述的更仔细的方法都可用在本发明的实施方式中。当使用扩大方法时，对于相邻图像帧可以用获得的扩展的细节区EXPDET来取代的细节区，用其覆盖这些帧的画布图像。这能提高总处理能力，降低计算复杂度，因为能够识别关键帧中的细节区DET(及其扩展EXPDET)，而不是识别每个帧中的细节区。使用EXPDET代替DET的一个优势是EXPDET能比DET更有效的覆盖高速移动目标。这允许对于一个给定的视频信号而言，关键帧能间隔更远，并由此提高总处理能力，降低复杂度。

画布方法可能不能减轻非关键帧中的一些块伪影，如果它们靠近DET区的边界。这是因为关键帧的DET(或者EXPDET，如果被使用时)可能不能精确对准非关键帧中的真正的DET区。然而，在非关键帧的DET或者EXPDET区的边界的这些未能被减轻的块通常是非明显令人不愉快的，因为：

1.HVS对图像帧的相对大的空旷的连接区中的块伪影要比位于接近细节区DET的边界的类似的块更敏感(即，更能察觉到)得多。HVS的这一局限为通常的观看者提供了心理视觉上的减轻的实时缺陷。

2.大多数帧的大多数目标的帧内移动速度足够低，当在关键帧n中的细节区DET覆盖相邻的非关键帧，例如n-1、n-2、n-3、n+1、n+2、n+3时，其覆盖了帧的类似的区，因为目标的移动在原始视频信号中是时间平滑的。

3.在正在运动的细节区DET部分的附近，心理视觉减轻效果1特别明显，另外，移动速度越快，HVS越对位于接近区DET的块更不敏感。HVS通常不能察觉环绕这快速移动目标的边界的块伪影，这是HVS的心理视觉特性。

实验证实，对应于速度通常不超过10像素每帧的移动向量的帧序列，关键帧为至少为每四个原始视频序列的帧至少有一个关键帧。回到上文中，当对图像帧进行降采样时，平滑以获得画面帧也可以以低的空间分辨率进行。

降采样的图像的去块可以以通常的原始空间解析度的1/16或1/64以及至少1/4的原始时间解析度进行，表示相对于以完全空间时间解析度平滑原始图像以获得画面图像的计算节约因子高达64×4＝256。这些空间时间降采样改善的缺陷是需要空间的上采样以及对于高速移动目标可能明显的块伪影。后者的缺陷可以通过使用移动向量信息来改变空间和时间降采样的程度而消除。

图10所示是使用本文中所讨论的概念的一个实施方式100。在系统100中，视频(或音频)以输入101提供。该视频来自于本地存储，未示出，或者接受的来自于另一地点的视频数据流。该视频可以以许多形式到达，例如通过直播流，或者视频文件，以及可以在被解码器102接受前被预先压缩。编码器102，在处理器102-1的控制下使用本文中讨论的过程处理视频帧。编码器102可以输出到一个文件存储装置(未示出)，或者以视频流传输，可能是通过网络103，传输至一解码器，例如解码器104。

如果超过一个视频流被传输至解码器104，那么可以通过调谐器104-2选择数字流的各种信道，以用于根据本文中讨论的处理进行解码。处理器104-1控制解码，解码输出视频流可以存储在存储器105中，或者通过一个或多个显示器106显示，或者根据需要发布(未示出)至其它位置。注意的是各种视频信道可以从一个单个位置例如从编码器102发出，或者从不同位置发出，未示出。从解码器至编码器的传输可以使用有线或无线传输以任何公知的方式进行，同时保护传输介质上的带宽。

尽管本发明及其优势已经被详细描述，应当理解的是能够进行各种变化、替代或改变而不偏离如所附的权利要求的所定义的本发明的精神和范围。此外，本发明的范围不打算被限制在本发明中所描述的过程、机器、制造、物质组分、装置、方法和步骤中。本领域的一个普通技术人员将容易的从本发明所公开的内容领会到可以根据本发明使用现有的或后来开发出的过程、机器、制造、物质组分、装置、方法或步骤来实现与本文所描述的对应的实施方式的基本相同的功能或者获得基本相同的结果。因此，所附的权利要求试图将这样的过程、机器、制造、物质组分、装置、方法或步骤包括在它们的范围之内。

Claims

1.一种从图像帧中移除伪影的方法，所述伪影对HVS具有视觉破坏性，所述方法包括：

确定每个图像帧的用数字表示的细节区，使之成为保留的图像帧；

保留每个所述被确定的细节区；

平滑每个所述图像帧的全部原始数字表示，以创建对应于每个所述图像帧的被平滑的帧；以及

用所述保留的图像帧覆盖每个所述被平滑的图像帧。

2.根据权利要求1所述的方法，其中下列标准中的至少一个被用于确定所述细节区：强度-平坦度；不连续；向前看；向后看。

3.根据权利要求2所述的方法，其中所述标准的参数被选择成使得对被压缩过的图像帧进行伪影减轻，其中被压缩过的图像帧中伪影块的位置是先验未知的。

4.根据权利要求3所述的方法，其中所述伪影块是由于下列原因中的一个或多个而存在于所述被压缩过的视频帧中：先前被压缩多次；改变了图像帧的格式；对图像帧进行了颜色混合；调整了图像帧的大小。

5.根据权利要求3所述的方法，其中所述强度-平坦度标准使用统计量度，所述统计量度包括强度的局部方差和局部均值。

6.根据权利要求3所述的方法，其中强度变化标准是基于强度的分数变化。

7.根据权利要求2所述的方法，其中所述平滑包括：减弱块以及其它伪影。

8.根据权利要求1所述的方法，其中所述保留、平滑和组合在基于DCT的编码器内进行。

9.根据权利要求8所述的方法，其中所述平滑包括使用下列中的至少一个：FIR滤波、IIR滤波。

10.根据权利要求9所述的方法，其中所述滤波是空间上可变的或者空间上不可变的。

11.根据权利要求11所述的方法，其中所述平滑包括：使用至少一个移动平均FIR 2D Box滤波。

12.根据权利要求1所述的方法，其中所述确定包括：

选择候选区；和

根据某一标准确定对于所选择的候选区确定该所选择的候选区是否属于所述细节区。

13.根据权利要求12所述的方法，其中所述候选区稀疏分布在每个图像帧中。

14.根据权利要求1所述的方法，还包括：在一装置接收多个数字视频流，每个所述流具有多个所述数字视频帧，

其中所述获得包括：在所述装置处选择所述接收的数字视频流中的一个。

15.根据权利要求1所述的方法，其中所述平滑包括：在平滑之前，对所述图像帧进行降采样。

16.根据权利要求15所述的方法，其中降采样过的图像被空间平滑。

17.根据权利要求16所述的方法，其中对所述平滑过的图像进行上采样以在所述组合之前获得全解析度。

18.根据权利要求1所述的方法，其中所述细节区被扩展超过了其边界，以便其能覆盖相邻帧的细节区。

19.根据权利要求18所述的方法，其中仅在相隔至少N帧的非相邻的关键帧中确定所述被扩展的细节区。

20.根据权利要求19所述的方法，其中N为至少4帧。

21.根据权利要求19所述的方法，其中所述关键帧的细节区而不是所述非关键帧的细节区被用在相邻的非关键帧中。

22.根据权利要求1所述的方法，其中仅在相隔至少N帧的非相邻的关键帧中确定所述细节区。

23.根据权利要求22所述的方法，其中N为至少4帧。

24.根据权利要求22所述的方法，其中所述关键帧的细节区而不是所述非关键帧的细节区被用在相邻的非关键帧中。

25.根据权利要求1所述的方法，还包括：使用来自于用于压缩所述图像帧的压缩方法的附加信息来改善所述细节区的检测，所述附加信息选自于下列项：移动向量、量化步骤大小、块的位置。

26.一种用于呈现视频的系统，所述系统包括：

用于获得第一视频帧的输入，所述第一视频帧的每像素有特定量比特，所述特定量为能使得当所述视频帧被呈现至显示器时所述显示器会产生人类视觉系统(HVS)可察觉的伪影的数量；和

用于从所述第一视频帧产生第二视频帧的电路，当所述第二视频帧被呈现至所述显示器时，所述第二视频帧产生的伪影不能被所述HVS察觉，所述电路包括用于进行下列功能的处理器：

确定和保留每个图像帧的数字表示的细节区，使之成为保留的图像帧；

平滑每个所述图像帧的全部原始数字表示，以获得对应于每个所述图像帧的被平滑的帧；以及

用每个所述保留的图像帧覆盖所述被平滑的图像帧。

27.根据权利要求26所述的系统，还包括：

允许用户从多个数字视频流中选择一个数字视频流的调谐器，每个所述视频流包括多个数字视频帧。

28.根据权利要求27所述的系统，其中所述确定的方式包括：使用下列标准中的至少一个进行处理以确定所述去块区：强度-平坦度；不连续；向前看；向后看。

29.根据权利要求28所述的系统，其中所述标准的参数被选择成使得对被压缩的图像帧进行伪影减轻，压缩过的图像帧中伪影块的位置是先验未知的。

30.根据权利要求29所述的系统，其中所述伪影块由于下列原因中的一个或多个而存在于所述压缩过的视频帧中：先前被压缩多次；改变了图像帧的格式；对图像帧进行了颜色混合；调整了图像帧的大小。

31.根据权利要求30所述的系统，其中所述强度-平坦度标准使用统计量度，所述统计量度包括强度的局部方差和局部均值。

32.根据权利要求30所述的系统，其中强度变化标准是基于强度的分数变化。

33.根据权利要求26所述的系统，其中所述处理器是基于DCT编码器的一部分。

34.根据权利要求26所述的系统，其中所述确定装置包括：

用于选择候选区的装置；和

用于根据某一标准对于所选择的候选区确定该所选择的候选区是否属于所述细节区的装置。

35.根据权利要求34所述的系统，其中所述候选区稀疏分布在每个图像帧中。

36.根据权利要求26所述的系统，其中所述平滑包括：在平滑之前，对所述图像帧进行降采样。

37.根据权利要求36所述的系统，其中所述降采样过的图像被空间平滑。

38.根据权利要求36所述的系统，还包括：对所述被平滑过的图像进行上采样的装置，以在所述组合之前获得全解析度。

39.根据权利要求26所述的系统，还包括：用于将所述细节区扩展超出该细节区的边界的装置，以便其能覆盖相邻帧的细节区。

40.根据权利要求39所述的系统，其中仅在相隔至少N帧的非相邻的关键帧中确定所述被扩展的细节区。

41.根据权利要求40所述的系统，其中N为至少4帧。

42.根据权利要求40所述的系统，其中将所述关键帧的细节区而不是所述非关键帧的细节区用在相邻的非关键帧中。

43.根据权利要求26所述的系统，其中仅在之间相隔至少N帧的非相邻的关键帧中确定所述细节区。

44.根据权利要求43所述的系统，其中N为至少4帧。

45.根据权利要求43所述的系统，其中将所述关键帧的细节区而不是所述非关键帧的细节区用在相邻的非关键帧中。

46.根据权利要求26所述的系统，还包括：使用来自于压缩所述图像帧的压缩方法的附加信息的装置，以改善所述细节区的检测，所述附加信息选自于下列项：移动向量、量化步骤大小、块的位置。

47.一种用于呈现视频的方法，所述方法包括：

获得具有每像素特定量比特的第一视频帧，所述特定量为使得当所述视频帧被呈现至显示器时所述显示器产生人类视觉系统(HVS)可察觉的伪影的数量；

从所述第一视频帧产生第二视频帧，当所述第二视频帧被呈现至所述显示器时，所述第二视频帧的产生伪影不能被所述HVS察觉，所述产生包括：

在每个所述帧内确定细节区；

保存所述确定的细节区；

平滑每个所述帧的全部；以及

将每个所述被平滑的帧与每个所述保存的细节区组合。

48.根据权利要求47所述的方法，其中所述组合包括：用所述保存的细节区覆盖每个所述被平滑的帧。

49.根据权利要求48所述的方法，还包括在一装置接收多个数字视频流，每个所述流具有多个所述数字视频帧，以及其中所述获得包括：

在所述装置处选择所述接收的数字视频流中的一个。

50.根据权利要求49所述的方法，其中所述平滑包括：在平滑之前，对所述图像帧进行降采样。

51.根据权利要求50所述的方法，其中对所述降采样过的图像进行空间上平滑。

52.根据权利要求50所述的方法，其中对所述平滑过的图像进行上采样以在所述组合之前获得全解析度。