CN101959008B - 用于图像和视频处理的方法和装置 - Google Patents

Abstract

本发明涉及图像处理方法。该方法包括生成自适应时间滤波器系数的步骤。然后使用生成的时间滤波器系数应用递归滤波器到图像帧至少一次。本发明还涉及用于执行图像处理的装置和计算机程序产品。

Description

用于图像和视频处理的方法和装置

技术领域

本发明涉及用于图像和视频处理的方法和装置。具体地，本发明旨在减少图像伪影，特别是模拟和数字噪声。

背景技术

现今视频内容的散播不仅通过传统广播通道(陆地天线/卫星/电缆)是可能的，通过基于互联网或数据的服务也是可能的。在这两个散播系统中，内容都可能遭受由于有限的带宽和/或存储容量引起的品质损失。特别在一些如视频门户网站(例如，YouTube^TM)的基于互联网的视频服务中，允许的数据率和存储容量非常有限。因而散播的视频内容的分辨率和帧率可能是非常低的。此外，有损失的信源编码方案可应用于视频内容(例如MPEG2、H.263、MPEG4视频等)，其也负面地影响视频品质并且一些基本信息可能丢失(例如纹理或细节)。

许多信源编码方案基于分割图像为若干块并且分别变换每个块以从冗余信息分离相关信息的想法。仅传送或存储相关信息。广泛使用的变换是离散余弦变换(DCT)。因为在大多数情况下视频场景中的两个相邻帧确实没有多少不同，在时间方向上的冗余可通过仅传送或存储帧之间的差别而减少。如果一些相关信息没有传送或存储，这样的有损失的编码方案的影响在解码视频中可能是可见的。

在基于块的DCT编码方案中存在一些典型的编码伪影。最明显的伪影是分块(blocking)：基于块的变换的周期块光栅变成可见的图案，有时在块边界处在幅度方面具有高台阶。第二伪影由丢失的细节信息引起并且是可见的，如横过视频内容中的物体边缘的周期变化(振铃(ringing))。在物体边缘处的图像序列的相邻帧中的变化振铃可是可见的，如一种闪烁或噪声(蚊虫噪声)。

编码伪影与例如加性高斯噪声等的常规误差是不可比的。因此在误差减少和图像增强方面的常规技术可能不直接转用在编码伪影减少方面。尽管现今在块边界通过自适应低通滤波器来减少分块(当解码时在回路内或对已解码图像或视频进行后处理期间)，振铃更难减少，因为应用的滤波不准降低图像内容中的边缘的陡度。

在基于块的编码方案(例如视频序列中的MPEG2等)中量化误差的减少可以通过多种算法完成。基本种类是：空间低通滤波(静态或自适应)、多频带处理(例如在小波域中)和迭代重建技术(例如投影到凸集上)。

第一种类包括横过块边界滤波以平滑两个相邻块之间的不连续性的算法。用于平滑的滤波器内核的强度和长度可以调整到图像信息(Piastowski，P.：“System zur Decoder-unabhangigen Reduktion vonBlockartefakten”.11.Dortmunder Fernsehseminar.VDE Verlag，(2005))。

第二种类包含应用多频带分解的方法以便分离误差和图像信息(例如通过弯折小波变换Le Pennec，E.&Mallat，S.：“SparseGeometrical Image Representations With Bandelets(利用Bandelet的稀疏几何图像表示)”.IEEE Transactions on Image Processing(图像处理IEEE学报)，Vol.14，No.4，2005年四月)并且减少在子带中的误差。在组合子带后，所得的图像序列应该包含较少误差。

第三种类的算法尝试通过公式化所得图像必须遵守的数学图像性质而建立重建图像，该数学图像性质例如所得图像的编码版本必须与编码输入图像相同(Zhong，S.：“Image Crompression by OptimalReconstruction(通过最优重建的图像压缩)”.美国专利5,534,925.1996年七月)。该算法通常尝试用迭代方案解决逆问题(Alter，F.；Durand，S.& Froment，J.：“Adapted total variation for artifact free decompositionof JPEG images(用于JPEG图像的无伪影分解的适应全变分)”.Journalof Mathematical Imaging and Vision(数学成像和视觉杂志)，Vol.23，No.2.Springer Netherlands，2005，Yang，S.& Hu，Y.：“Blocking EffectRemoval Using Regularization and Dithering(使用正则化和抖动去除分块效应)”IEEE International Conference on Image Processing(图像处理IEEE国际会议)，1998.ICIP 98.Proceedings.1998)。

在一些情况下，对图像形状必须有一些进一步的限制，例如采用最小全变分的图像比其他技术方案是优选的。

在大多数情况下，相比其他算法种类，由于空间处理法的算法简单，其带来良好的可控制性和快速实现的可能性，空间处理法是优选的。此外，在具有快速移动的场景中单独空间处理法比基于时间的处理法执行更佳，因为算法不依赖可能是错误的运动矢量。

然而，用于减少分块的空间滤波算法的主要缺点是在图像中的均匀区域有剩余分块和在图像中的边缘有剩余振铃伪影。在图像序列中，剩余的误差可以导致噪声印迹。特别在具有低比特率和低分辨率的内容(例如网络电视或IPTV)中，剩余的伪影在缩放过程后是非常烦人的。

因此需要应用对剩余伪影的专门处理。在Devaney等人：“Post-Filter for Removing Ringing Artifacts of DCT Coding(用于去除DCT编码的振铃伪影的后滤波器)”.美国专利5,819,035.1998年十月中，提出各向异性扩散滤波以减少振铃伪影。然而，其中提出的处理设计成用于高品质材料并且缺少在前的去分块(de-blocking)，这在该上下文中是基本的，因为严重的分块伪影(产生高梯度值)根本没有处理。

此外，图像品质是现代平板显示器的主要问题。这在一方面对于高清电视(HDTV)并且在另一方面还对于低品质材料是真实的，对于低品质材料，消费者希望在相应显示器上有类似HDTV的表现。因此，用于增强输入视频信号处理的先进图像处理方法是绝对必要的。为了满足实时要求，具有固定运行时间的非迭代方法优选地在消费者电视机中使用。这些方法通过离线优化过程来调整并且另外可以通过图像分析来适配。该处理的缺点是输出仅取决于先验信息。与此相反，迭代重建算法使用图像模型和反馈控制环路以测量获得的品质直到达到最优方案。

用于减少伪影的方法可以分成空间、时间和空间-时间方法。此外，可以区别在原始域(滤波器)中和在变换域(例如DCT，小波)中工作的方法。纯空间方法的示例是自适应和非自适应滤波策略。这些方法设计成用于编码伪影减少和平滑分块边界(取决于图像内容)。另一个空间方法是2D正则化。纯时间滤波器的示例是H.264/AVC标准的环路滤波器或在小波域中工作的方法。基于模糊滤波的用于编码伪影减少的空间-时间方法也是已知的。该方法使用实际像素和参考像素之间的差别，因而滤波不取决于图像内容并且因此必须与附加图像分析结合。用于编码伪影减少的空间-时间正则化也是已知的。该方法使用一个运动补偿帧并且运动矢量分别从编码器或解码器获得。

空间方法的一个缺点是由于对相似但不相同的图像信息的滤波而引起锐度的潜在损失。由于独立的帧内处理，有效地减少闪烁是不可能的。

纯时间滤波由于帧存储器可能导致高的硬件成本。特别在均匀区域中空间信息可以用于滤波以减少伪影。因而，纯时间滤波器的效用是不满意的。现有空间-时间方法的缺点是滤波自身是不取决于图像内容的，因而用于辨别平坦/边缘/纹理的更加复杂的图像分析是必需的。已经存在的空间-时间正则化方法的缺点是极为复杂的计算，因为它们需要整个输入序列用于每帧的处理，以及缺少处理真实输入序列的非平滑运动矢量场。

不可以使用其他方法，因为它们基于具有高计算复杂性的矩阵运算和不能适应于编码伪影减少的假设。另一个方法的缺点是仅使用一个时间运动补偿帧。因而，闪烁减少将不是足够高的。

因此本发明的目的是改进现有技术。本发明的目的进一步是减少现有技术出现的问题。

具体地，本发明目的是提出用于图像处理的装置、计算机程序产品和方法，其允许有效地减少在视频序列中的噪声和编码伪影。

该目的由独立权利要求的特征解决。

优选实施例的进一步特征和优势在从属权利要求中陈述。

本发明的另外的特征、优势和目的将通过图表和附图以及通过下列仅说明性的本发明实施例的详细说明变得明显。

附图说明

图1示出根据本发明的第一实施例的装置的示意框图，

图2示出根据本发明的第二实施例的装置的示意框图，

图3示出根据在图1中示出的本发明的第一实施例的正则化子(regularizer)的示意框图，

图4示出根据在图2中示出的本发明的第二实施例的正则化子的示意框图，

图5示出根据本发明的第一实施例的过程步骤的流程图，

图6示出根据本发明的第二实施例的过程步骤的流程图，

图7示出根据本发明的第三实施例的过程步骤的流程图，

图8示出具有空间和时间滤波器抽头(filter tab)的示例位置的框图，

图9示出根据本发明的第一实施例的空间权重因子发生器的示意框图，

图10示出根据本发明的第二实施例的空间权重因子发生器的示意框图，

图11至13示出根据本发明的滤波器掩码(filter mask)的不同实施例，

图14示出根据本发明的第一实施例的时间权重因子发生器的示意框图，

图15示出根据本发明的第二实施例的空间权重因子发生器的示意框图，

图16至18示出用于计算帧之间的时间差别的不同实施例，以及

图19至20示出将根据本发明的装置与预处理进行组合的不同实施例。

具体实施方式

图1示出根据本发明的第一实施例的用于在视频信号中减少压缩伪影的装置的示意框图。由此视频信号可以包括单个图像或一序列图像。装置1包括用于滤波输入图像2中的不连续边界的块噪声滤波器3和用于平滑滤波的图像的正则化子5。

输入图像2提交给块噪声滤波器3。块噪声滤波器3可以是任何类型的例如低通滤波器，其适用于减少分块伪影。优选地，实施仅横过块边界的局部自适应低通滤波。该预处理的原因是平滑块边界的不连续性并且尽可能远地保护边缘和细节。任何常见的去分块方案可以用作块噪声减少算法，具有用于详细区域的短滤波器、用于平坦区域的长滤波器的自适应方案和撤退模式是优选的。

滤波的图像4然后提交给正则化子5，其平滑滤波的图像4。已处理图像6然后由正则化子5输出。

可选地，根据优选实施例，还可以提供图像分析器7。输入图像2也可以提交给图像分析器7，其基于输入图像2实施图像分析。具体地，图像分析器7实施分析步骤以便检测某些图像区域。例如图像分析器7适用于检测边缘、分块水平检测、纹理或其类似物。分析信息7a可以提交给块噪声滤波器3和/或正则化子5。

在块噪声滤波器3中使用分析信息7a的优势是它从而可能独立于编码参数，因为块噪声滤波器3可以使用来自本地和/或整体图像分析的结果。在优选实施例中，正则化子5使用两个具有不同灵敏度的不同边缘检测方法的结果以检测纹理区域并且防止处理这些区域。

通过组合块噪声滤波器3滤波的步骤与正则化子5平滑滤波的图像的步骤，获得具有比现有技术方法更高品质的图像。已去分块和已正则化处理的图像6比单独去分块的图像更加吸引人，因为在去分块阶段后的剩余分块和振铃伪影被减少而不模糊视频内容中的边缘。因而，提出的编码伪影减少方法适合于增强具有低分辨率和低数据率的视频材料，因为处理可积极地实施以减少许多伪影而不遭受图像中基本边缘中的模糊。

在优选实施例中，如稍后将详细说明的，滤波的图像4和/或之前平滑的图像的梯度值被确定。然后取决于梯度值来实施平滑，即平滑的水平基于梯度值选择。更加具体地，高水平平滑用于低梯度值而低水平平滑被选择用于高梯度值。从而，伪影被减少而同时边缘被保留。

也就是说，正则化子5基于全变分的最小化而对图像应用协调。根据基础数学模型，该滤波器保护图像中的高梯度值，小梯度值被平滑，从而获得具有边缘和平坦区域的数学最优图像。该图像从而具有提高的品质。

然而，为了进一步提高图像品质，在优选实施例中本发明提出进一步关于图像区域(即边缘、纹理或其类似物)来分析图像，并且使用该信息用于正则化。因为利用正则化的基本方法，获得无或模糊纹理的图像，该方法即使呈现数学最优值仍不导致自然图像的良好视觉印象。因而在优选实施例中提供由外部图像分析器7对某些图像区域(具有纹理和高细节的区域)的保护。

在本发明中还进一步发现，通过简单应用全变分的最小化而减少编码伪影是不可能的。其原因是在块边界处的不连续性可以导致高梯度值。因为正则化通过最小化全变分而获得高梯度值，分块伪影保持未被处理。因此退化程度没有改变并且所得的输出包含与在输入材料中相同的或仅稍微减少的导致差图像品质的分块。因此对高斯噪声减少(如由例如Rudin/Osher/Fatemi提出的)和编码伪影减少使用相同正则化方法而不对现有方法做出大修改是不可能的。

因此，本发明提出附加(自适应)预处理步骤和局部采用，其由块噪声滤波器3完成。

图2示出根据本发明的第二实施例的用于视频信号的图像处理的装置1的示意框图。本发明由此涉及图像和视频处理。视频信号由此可以包括单个图像或一序列图像。根据本发明的第二实施例，对于空间-时间方法，需要至少两帧。在应用纯空间方法的情况下，如本文也描述的，该方法也可以应用于一个单帧。

在图2中示出的装置1包括空间-时间正则化子5’，用于至少实施时间正则化。即使在下文，本发明将主要关于空间-时间正则化方法描述，本发明还包括纯时间和纯空间正则化方法。

输入图像或视频信号2提交给正则化子5’，其如稍后更加详细说明的那样处理图像。已处理图像6然后由正则化子5’输出。

可选地，根据优选实施例，还可以提供运动估计器7’。在该情况下输入图像或视频信号2也提交给运动估计器7’，其基于输入图像或视频信号2实施图像分析。运动信息7’a然后还提交给正则化子5’。

可选地，正则化子5’还可以使用来自图像分析的外部信息15以改进处理的结果或防止某些图像区域的过度平滑。

一般，根据该第二实施例(比较图2)的方法将称为空间-时间正则化或3D正则化。由此，空间正则化对应于根据第一实施例(比较图1)的并且如在2009年3月3号提交的欧洲专利申请EP09154026.8(其在下文将称为EP申请并且其通过引用结合在本文中)中描述的空间正则化。

图3示出根据在图1中示出的本发明的第一实施例的正则化子5的更加详细的示意框图。首先输入图像4馈入第一缓冲器21，其在下文称为缓冲器A。输入图像4还馈入第二缓冲器22，其在下文称为缓冲器C。

在下一步，权重因子12由权重因子发生器23基于存储在缓冲器A中的值生成，并且结果(即权重因子12)馈入第三缓冲器24，其在下文称为缓冲器B。在权重因子12的计算期间，可以确定新权重因子12的生成是否应该完成或缓冲器B中的值(来自之前的迭代)是否应该留在那里。指明新权重因子12是否应该计算或之前的值是否应该保留的对应命令9可以另外提交给权重因子发生器23。另外，使用外部数据8用于权重因子生成是可能的，外部数据8基于来自图像分析信息7a的结果。

在该生成步骤后，对于存储在缓冲器A中的图像的每个像素，存在权重因子12，这是正则化滤波器25所需要的。正则化滤波器25处理来自缓冲器A的数据并且已处理的输出将直接存储在缓冲器A中。从而生成具有无限脉冲响应的滤波器结构(在文献中描述为IIR滤波器或原地滤波器(inplace filter))。在由正则化滤波器25处理图像后，滤波可以再次应用。在该情况下防止新权重系数12的生成以对该进一步迭代使用来自缓冲器B的相同权重因子12是可能的。该处理在一些情况下是有利的。正则化的量，即平滑水平由正则化率10控制。

对于存储在缓冲器A中的图像的每个像素，正则化滤波器25应用正则化步骤并且改写目前存储在缓冲器A中的图像的相同像素值。从正则化滤波器25提交给缓冲器A的图像因此指的是之前平滑的图像11。在迭代数量足够的情况下，那么代替存储之前平滑的图像`在缓冲器A中，该图像输出为已最后处理的图像6。

这意味权重因子12至少生成一次并且利用一组权重因子12可以完成正则化滤波器25内的一次或多次迭代。通过命令9可以防止用于正则化滤波器25的一次或多次迭代的新权重因子12的生成。

因为该新方法是空间-时间的或纯时间方法，处理是基于实际帧的像素和来自之前和/或后续的帧的像素。在运动的情况下，属于相同物体的像素从一个帧到另一个帧有移位。因而可以要求运动估计以追踪该运动(移位)用于处理在相邻帧中共享相同信息的像素。如已经提到的，可选地，空间-时间正则化的处理可以使用来自图像分析的外部信息15以改进处理的结果或防止某些图像区域的过度平滑。该策略也在EP申请中描述以用于空间正则化，例如防止纹理区域的过度平滑。

在EP申请中说明了全变分的数学公式可以推导成具有自适应滤波器系数的简单IIR滤波器结构。更加具体地，向图像应用若干次自适应IIR滤波直到达到(数学)最优解决方案。

在本申请中描述的方法不基于完全数学推导。相反它基于EP申请中的数学推导和附加启发性假设的组合，特别对于时间权重因子是这样。

如将稍后描述的，这些假设和推导的结果是空间-时间IIR滤波器或纯时间IIR滤波器，使用来自实际帧和/或之前帧和/或后续帧的像素对该实际帧应用若干次(迭代)该滤波器。该滤波器结构可以在等式(15)和在图8中找到，但它将稍后详细提出。在迭代之间生成新的空间和/或时间权重因子(其取决于新处理的像素信息)是可能的。

在实际帧中用于本发明的空间滤波部分的滤波器系数(权重因子)和像素位置与在EP申请中描述的相同。

图4示出根据在图2中示出的本发明的第二实施例的正则化子5’的更加详细的框图。首先，输入图像或视频信号2馈入第一缓冲器21，其在下文称为缓冲器A。输入图像或视频信号2还馈入第二缓冲器22，其在下文称为缓冲器C。

当前存储的来自缓冲器A的信息提交给空间权重因子发生器23。空间权重因子发生器23基于存储在缓冲器A中的值生成权重因子，并且结果(即权重因子12)馈入第三缓冲器24，其在下文称为缓冲器B。在权重因子12的计算期间，可以确定新权重因子12的生成是否应该完成或缓冲器B中的值(来自之前的迭代)是否应该留在那里。对应命令9指明新空间权重因子12是否应该计算或之前的值是否应该保留、可以另外提交给空间权重因子发生器23。另外，使用外部数据8是可能的，外部数据8基于例如外部图像分析。

为时间权重因子生成的目的，如在图4中示出，在启动过程缓冲器A的时候存储当前图像帧，并且在另外的缓冲器121(其在下文将称为缓冲器A_bwd)中存储一个或多个之前图像帧，并且在另外的缓冲器221(其在下文将称为缓冲器A_fwd)中存储一个或多个后续图像帧。为了在图表中清楚的目的，之前和后续图像帧到缓冲器A_fwd和A_bwd的提交没有在图4中示出。当描述图4时假设对应的帧已经存储在各个缓冲器A、A_bwd和A_fwd中。

从所有缓冲器A121、221、21，存储的数据提交给时间权重因子发生器123。时间权重因子发生器123生成时间权重因子112，其提交给缓冲器124，其在下文将称为缓冲器T。在优选实施例中独立缓冲器T、T_bwd和T_fwd提供用于存储从不同缓冲器A、A_bwd和A_fwd的不同帧生成的时间权重因子112。

应注意在仅需要时间正则化的情况下，缓冲器B和对应空间权重因子发生器23可以省略。

在该生成步骤后，对于存储在缓冲器A中的图像的每个像素，存在时间权重因子112和可选地空间权重因子12，这是正则化滤波器25所需要的。正则化滤波器25处理来自缓冲器A的数据并且处理的输出将直接存储在缓冲器A中。从而生成具有无限脉冲响应的滤波器结构(在文献中描述为IIR滤波器或原地滤波器)。在由正则化滤波器25处理图像后，滤波可以再次应用。在该情况下防止新权重系数12、112的生成以对该进一步迭代使用相同的来自缓冲器T的权重因子112和来自缓冲器B的权重因子12是可能的。该处理在一些情况下是有利的。正则化量，即平滑水平由正则化率10控制。

对于存储在缓冲器A中的图像的每个像素，正则化滤波器25应用正则化步骤并且改写目前存储在缓冲器A中的图像的相同像素值。从正则化滤波器25提交给缓冲器A的图像因此指的是之前平滑的图像11。在迭代数量足够的情况下，那么代替存储之前平滑的图像11在缓冲器A中，该图像输出为最后处理的图像6。

这意味权重因子12、112至少生成一次并且利用一组权重因子12、112可以完成在正则化滤波器25内的一次或多次迭代。通过命令9可以防止用于正则化滤波器25的一次或多次迭代的新权重因子12、112的生成。另外，还可以提交外部分析数据8，包括例如外部图像分析和来自对应运动分析的运动信息，即运动矢量。

具有从缓冲器A提交的帧、从缓冲器C提交的帧和时间与可能地空间权重因子的正则化滤波器25实施正则化滤波，即在缓冲器A内原地滤波。这意味输出结果11、111、211从正则化滤波器25反馈到各自的缓冲器A使得可以完成原地滤波的若干迭代步骤。

在下文中，正则化和具体地空间正则化将首先详细描述。

正则化过程沿主空间方向(即沿边缘)引入平滑以减少沿该方向的变化。在本发明内术语“正则化”意在指通过与图像模型近似而协调图像印象。术语“全变分”指示在图像中梯度的绝对值的总和，其限定图像的全变分。假设图像的所有可能变体中具有最低全变分的那个是最优的。在最优情况下这产生图像模型，其中仅有的变化来自边缘。

因为在本发明中正则化是关键部分，它将更详细地描述。

正则化过程的基本思想是减少图像(序列)中的变化同时保存边缘。为了保持所得图像类似于输入图像，均方误差必须不太大。该问题的数学公式通过搜索最小化能量泛函的图像(序列)u完成，该能量泛函为：

$E\left(u\right)=\underset{\mathrm{\Ω}}{\∫}{(u_0\left(x\right)-u\left(x\right))}^2\mathrm{dx}+\mathrm{\λ}\underset{\mathrm{\Ω}}{\∫}\mathrm{\φ}\left(\right|\mathrm{grad}u\left(x\right)\left|\right)\mathrm{dx}---\left(1\right)$

在该公式中u₀表示输入信号，u表示输出信号，x是在区域Ω(图像限定在其中)中的(矢量值)位置。函数Φ(s)在位置x对信号u的梯度矢量的绝对值加权。在文献中如何选择该函数有不同的变体，一个是Φ(s)＝s的全变分，另一个是

通过应用变分法到(1)，可以推导出下列偏微分方程(省略位置变量x)：

$(u-u_0)-\mathrm{\λ}\mathrm{div}\left(\frac{{\mathrm{\φ}}^{\′}\left(\right|\mathrm{grad}u\left|\right)}{2\·\left|\mathrm{grad}u\right|}\mathrm{grad}u\right)=0---\left(2\right)$

项φ′(s)/2s给出标量值，其取决于梯度的绝对值并且局部对在散度项中u的梯度加权。如可以在文献中找到的，权重函数对于(grad u→0)应该趋于1并且对于(grad u→∞)趋于0。

(2)的已知求解算法是例如梯度下降法或“滞后扩散不动点迭代”法。两个方法对于一个迭代步骤都将项φ′(s)/2s视为常数。例如，求解(2)的梯度下降法公式化如下：

uⁿ⁺¹＝uⁿ+Δτ((uⁿ-u₀)+λdiv(bⁿ·graduⁿ))     (3)

该迭代方案使用步骤n的结果直接计算解n+1。初始解是输入图像(u⁰＝u₀)。步长Δτ朝最优来影响收敛的速度但不能选择太大，因为解可能发散。权重参数

也使用来自步骤n的解计算。该权重函数的结果可存储在查找表中，其给出两个优势。第一，权重函数可以直接编辑，因此这回避了找到适合函数Φ(s)的过程。第二，查找表可以用于通过避免要求时间的运算(例如平方、平方根和除法等)加速bⁿ的结果的计算。散度和梯度的计算可以在u的离散版本即数字图像上利用已知的有限差分逼近。在二维情况下有限差分格式示例是：

$\mathrm{grad}u=\left(\begin{array}{c}{\mathrm{\δ}}_{x1}\left(u\right)\\ {\mathrm{\δ}}_{x2}\left(u\right)\end{array}\right),$

其中δ_x1(u)≈0.5·(u_(i+1，j)-u_(i-1，j))，δ_x2(u)＝0.5·(u_(i，j+1)-u_(i，j-1))(4)

$\mathrm{div}\left(\begin{array}{c}{v}_1\\ v_2\end{array}\right)\≈{\mathrm{\δ}}_{x1}\left(v_1\right)+{\mathrm{\δ}}_{x2}\left(v_2\right)$

正则化产生空间低通滤波器，其基于用函数

(其评估局部图像梯度的绝对值)生成的信息使它的滤波器方向适应。主滤波器方向因此沿边缘而不是横过边缘调整，产生沿边缘变化的抑制和它的陡度的保存。

有对局部图像分析信息而不是局部图像梯度采用正则化过程的若干方法：第一个可能性是通过直接对δ_x1(u)和δ_x2(u)加权的梯度矢量的缩放来对bⁿ基于局部图像分析信息给出的值的局部操作，向缩放梯度矢量增加标量或矢量值偏置信号和/或缩放bⁿ自身的值。第二个可能性是局部采用权重因子λ，其控制对局部图像分析信息的正则化量。

具有第一个可能性的自适应对散度的方向具有影响；第二个可能性将调整平滑量。局部自适应可以通过使梯度矢量的分量与图像内容自适应缩放因子(μ_x1和μ_x2)相乘、加上图像内容自适应偏量(v_x1和v_x2)以及使所得权重因子与图像内容自适应缩放因子γ相乘而引入方程(3)。这些修改量从外部图像分析信息推导出。

$u^{n+1}\left(x\right)=u^n\left(x\right)+\mathrm{\Δ\τ}((u^n\left(x\right)-u_0)+\mathrm{\λ}\left(x\right)\mathrm{div}(b^n\left(x\right)\·\left[\begin{array}{c}{\mathrm{\δ}}_{x1}\left(u^n\left(x\right)\right)\\ {\mathrm{\δ}}_{x2}\left(u^n\left(x\right)\right)\end{array}\right]))$

其中 $b^n\left(x\right)=\mathrm{\γ}\left(x\right)\·\frac{{\mathrm{\φ}}^{\′}\left(s\right)}{2s}$ 以及 $s=\left|\left(\begin{array}{c}{\mathrm{\μ}}_{x1}\left(x\right)\·{\mathrm{\δ}}_{x1}\left(u^n\left(x\right)\right)+v_{x1}\left(x\right)\\ {\mathrm{\μ}}_{x2}\left(x\right)\·{\mathrm{\δ}}_{x2}\left(u^n\left(x\right)\right)+v_{x2}\left(x\right)\end{array}\right)\right|---\left(5\right)$

图像分析信息可包含关于块边界的位置、区域中整体块噪声水平、区域中噪声水平、图像中边缘的位置和强度、待存储的细节区域的信息和/或关于局部或整体图像属性的信息。

描述的用于偏微分方程的梯度降低求解方案的主要缺点是它收敛得相对缓慢并且当选择错误的Δτ时还可能发散。为了克服这些问题，显示(3)改为隐式：

(uⁿ⁺¹-u⁰)+λdiv(bⁿ·graduⁿ⁺¹)＝0       (6)

使用中心差分方案在给定像素位置(i，j)处的散度是

${\mathrm{div}}_{i,j}\left(b^n\mathrm{grad}{u}^{n+1}\right)$

$=0.25(u_{i-2,j}^{n+1}\·b_{i-1,j}^n+u_{i+2,j}^{n+1}\·b_{i+1,j}^n+u_{i,j-2}^{n+1}\·b_{i,j-1}^n+u_{i,j+2}^{n+1}\·b_{i,j+1}^n)-0.25u_{i,j}^{n+1}(b_{i-1,j}^n+b_{i+1,j}^n+b_{i,j-1}^n+b_{i,j+1}^n).$

该隐式要求可以例如是迭代高斯-塞德耳算法的求解算法。

本发明基于预先描述的空间正则化。现在，另外将详细描述时间正则化和空间和时间正则化的组合。由此，当指示例如A、B、C和T等值时，该字母指存储在各个缓冲器A、B、C和T(其之前参照图4描述)中的对应值。

时间路径(滤波器权重和滤波器抽头位置)基于启发性假设。现在将详细说明数学推导。一些参数的设置和动机将在推导完成后描述。该推导的背景在公式(7)中提出并且可以解释为每帧k的能量泛函E_k。必须注意若干运动补偿的之前和/或后续帧用于确定该能量泛函：

$E_k=\underset{i,j}{\mathrm{\Σ}}{(C_{i,j,k}-A_{i,j,k})}^2+{\mathrm{\λ}}_{\mathrm{spat}}\underset{i,j}{\mathrm{\Σ}}{S}_1\left(A_{i,j,k}\right)+{\mathrm{\λ}}_{\mathrm{temp}}\underset{i,j}{\mathrm{\Σ}}{S}_2\left(A_{i,j,k-p_{\mathrm{prev}},...,}{A}_{i,j,k,...,}{A}_{i,j,k+p_{\mathrm{succ}}}\right)---\left(7\right)$

C是存储在缓冲器C中来自实际输入帧的像素，其具有实际空间坐标i，j和时间坐标k，空间正则化参数λ_spat、空间约束S₁(取决于在位置i，j的实际像素的空间附近的像素)和时间正则化参数λ_temp和时间约束S₂(取决于实际帧、之前帧和后续帧)。存储在缓冲器A中的像素A已经被滤波或要更新。

除空间项S₁之外，加上时间项S₂。该时间约束是在每个参考帧(之前的和后续的帧)上的总和并且将稍后详细说明。使用在方程(7)中说明的方法，最小化帧k的能量的解要确定为帧k的最优输出解。该解确实导致包含比实际输入序列更少伪影的图像/序列：

$\underset{A_{n,m,k}}{\arg \min \left(E_k\right)}---\left(8\right)$

对于空间约束，选择方程(9)中提出的公式。甚至该空间部分被扩展(例如h和b)并且更加一般地公式化：

$S_1=\frac{1}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}^s\·b_{i-n,j-m}\·{(A_{i-n,j-m,k}-A_{i,j,k})}^2---\left(9\right)$

其中h^s _n，m是每个像素相同的不变空间滤波器系数，b_i-n，j-m是自适应滤波器系数(假设与A_i，j，k无关)并且N是非零滤波器系数的数量。该空间约束可以解释为实际像素和相邻像素之间的平方差的和，从而是活动性测量。选择用于空间约束计算的相邻像素的数量取决于滤波器掩码大小n、m。

类似于空间约束，选择时间约束S₂：

$S_2=\frac{1}{P}\underset{p}{\mathrm{\Σ}}{h}_p^t\·T_{i,j,k+p}\·{(A_{i+{\mathrm{mvX}}_p,j+{\mathrm{mvY}}_p,k+p}-A_{i,j,k})}^2---\left(10\right)$

其中h^t _p是每个像素相同的不变时间滤波器系数，T_i，jk是自适应时间滤波器系数(假设与A_i，j，k无关)并且P是非零时间滤波器系数的数量。

确定来自(时间上)之前和后续(参考)帧的像素。在参考帧中的像素位置必须是由从实际像素到参考帧的运动矢量分量(mvX_p，mvY_p)进行运动补偿。本发明的时间约束使用来自固定时间滤波器掩码h和自适应滤波器系数T的时间滤波器系数(由图像内容和/或外部信息确定)。

在该方法完成后，要确定每个像素对总能量泛函的影响(应用关于每个A_i，j，k的偏导数)。该方法提供最小二乘问题的求解策略并且产生S₁和S₂的下列公式。

$\frac{\mathrm{\δ}}{{\mathrm{\δA}}_{i,j,k}}{S}_1=-\frac{1}{N}\underset{n,m}{\mathrm{\Σ}}2\·h_{n,m}^s\·b_{i-n,j-m}\·(A_{i-n,j-m,k}-A_{i,j,k})---\left(11\right)$ 和

$\frac{\mathrm{\δ}}{{\mathrm{\δA}}_{i,j,k}}{S}_2=-\frac{1}{P}\underset{p}{\mathrm{\Σ}}2\·h_p^t\·T_{i,j,k+p}\·(A_{i+{\mathrm{mvX}}_p,j+{\mathrm{mvY}}_p,k+p}-A_{i,j,k})---\left(12\right)$

在对公式(7)中描述的总能量泛函应用偏导数后，最小化条件产生每个像素的下列方程：

$-2\·(C_{i,j,k}-A_{i,j,k})-\frac{{2\mathrm{\λ}}_s}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}^s\·b_{i-n,j-m}\·(A_{i-n,j-m,k}-A_{i,j,k})-\frac{{2\mathrm{\λ}}_t}{P}\underset{p}{\mathrm{\Σ}}{h}_p^t\·T_{i,j,k+p}\·(A_{i+{\mathrm{mvX}}_p,j+{\mathrm{mvY}}_p,k+p}-A_{i,j,k})=0---\left(13\right)$ 其中第二和第三项分别是方程(11)和(12)的结果。这可以重写为：

$(1+\frac{{\mathrm{\λ}}_s}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}^s\·b_{i-n,j-m}+\frac{{\mathrm{\λ}}_t}{P}\underset{p}{\mathrm{\Σ}}{h}_p^t\·T_{k+p})A_{i,j,k}=C_{i,j,k}+\frac{{\mathrm{\λ}}_s}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}^s\·b_{i-n,j-m}\·A_{i-n,j-m,k}---\left(14\right)$

$+\frac{{\mathrm{\λ}}_t}{P}\underset{p}{\mathrm{\Σ}}{h}_p^t\·T_{i,j,k+p}\·A_{i+{\mathrm{mvX}}_p,j+{\mathrm{mvY}}_p,k+p}$

在引入b的计算的空间偏量后，可以获得每个像素的计算的最终结果(参见方程(15))。该计算规则不能直接应用于图像/序列，因为A的值不是已知的。因此要使用例如高斯-塞德耳算法。这意味A的值从图像的左上边界开始连续地实现。该过程的起点是复制到缓冲器A的实际输入图像。然后输入图像以像素接像素的方式从左上边界到右下边界处理从而改写存储在A中的像素值。为了获得收敛解，该过程要对每个图像迭代若干次。但如在EP申请中描述的，甚至在一次迭代后，强的伪影减少是可能地，因而在某些应用(取决于处理成本)中，它可以在一次或非常少的迭代后在达到数学(最优)解之前停止。

$A_{i,j,k}=d\·(C_{i,j}+\frac{{\mathrm{\λ}}_{\mathrm{spat}}}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m,k}\·b_{\underset{j-m-o_2(n,m,k),k}{i-n-o_1(n,m,k),}}\·A_{i-n,j-m,k}+$

$\frac{{\mathrm{\λ}}_{\mathrm{temp}}}{P}\underset{p}{\mathrm{\Σ}}{h}_{i,j,k+p}\·T_{i+{\mathrm{mvX}}_p,j+{\mathrm{mvY}}_p,k+p}\·A_{i+{\mathrm{mvX}}_p,j+{\mathrm{mvY}}_p,k+p})$ 其中 $d={(1+\frac{{\mathrm{\λ}}_{\mathrm{spat}}}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}\·b_{\underset{j-m-o_2(n,m)}{i-n-o_1(n,m),}}+\frac{{\mathrm{\λ}}_{\mathrm{temp}}}{P}\underset{p}{\mathrm{\Σ}}{h}_{i,j,k+p}\·T_{i+{\mathrm{mvX}}_p,{j+\mathrm{mvY}}_p,k+p})}^{-1}---\left(15\right)$

A_i，j，k是来自实际帧的像素，i，j是实际空间位置，实际时刻是k。空间-时间滤波在缓冲器A上执行，因而在实际位置i，j左边和/或上面的像素已经处理/更新并且在实际位置右边和/或下面的像素要更新。C_i，j是具有包含未处理值的像素的缓冲器。通过使用这些像素用于生成输出值，可以控制使得在实际像素位置输出具有与输入值的某些相似度。λ_spat后的总和包含来自在时刻k的实际帧的像素值和滤波器权重。N是来自实际帧的用于滤波的像素的数量，n，m是对实际像素位置i，j的像素相对位置；h和b是静态和动态滤波器系数(参见之前的EP申请)并且A是在缓冲器A中用于滤波的像素。λ_temp后的总和包含来自之前和后续帧的时间像素值和滤波器权重。滤波器方程的这部分是本发明的新的和主要步骤。滤波器掩码h_i，j，k+p确定在时刻k+p的帧的时间静态滤波器掩码。每个参考帧的权重可以例如由该静态滤波器掩码控制。因为在实际帧中的像素和来自离实际帧具有高时间距离的帧的像素之间的相互关系是非常低的，对这些时间上遥远的帧选择小权重h是合理的。对于时间上邻近的帧选择高权重h。

缓冲器T包含自适应生成的时间滤波器系数。这些系数的生成稍后描述。

确定来自(时间上)之前和后续帧的像素。要注意像素位置要由从实际像素到参考帧的运动矢量分量(mvX_p，mvY_p)进行运动补偿。在该示例中在时间方向上使用的帧数是P。对之前和后续帧使用相同数量的帧或对之前和后续帧使用不同数量的帧是可能的。通过采用空间和时间正则化因子λ_spat和λ_temp，控制在空间和时间方向上的平滑量是可能的。每个正则化参数的值越高，平滑越强。项d是归一化因子以确保所有系数的和是1。上文描述的推导基于数学假设(最小二乘问题和约束的全变分模型)。除该数学推导外，已经使用下列启发式算法。这些启发式算法是不变空间和/或时间滤波器系数分别h_s和h_i、自适应滤波器系数B和T的计算以及空间滤波器系数位置的偏量的自由选择。B和T的计算规则可以适应于该情况，例如如在全变分中的梯度保护、分块去除和/或闪烁减少。B和T的计算取决于来自相邻像素/帧的图像/像素信息和/或来自外部图像分析的外部信息。

假如仅时间正则化是计划的，那么在方程(7)中的空间项将通过限定λ_spat＝0而设置为零。

图5示出根据本发明的第一实施例的实施用于正则化的步骤的流程图。假如权重因子12仅计算一次，那么使用如在图5中示出的实施例。

该过程在步骤S0开始。在步骤S1，迭代(即正则化滤波器25的迭代)的计数器设置为零。在接着的步骤S2中，滤波的输入图像4存储在缓冲器A和缓冲器C中。在下一个步骤S3中，权重因子12基于存储在缓冲器A中的信息并且可选地基于外部数据生成。在接着的步骤S4中，生成的权重因子12存储在缓冲器B中。

在步骤S5中正则化滤波器25实施原地滤波并且滤波的(即平滑的)图像然后再次存储在缓冲器A中。在下一个步骤S6中迭代计数器递增1。

在接着的步骤S7中，检查必需的迭代的数量是否达到；这可以是一个或更多的数量，优选地是迭代的可调整数量，其满足给定信号特征的计算约束。如果迭代的数量达到，那么过程在步骤S8结束。否则过程继续步骤S5并且再次完成原地滤波。

图6示出正则化图像的第二实施例，由此，该实施例包含权重因子12生成超过一次的可能性。

该过程在步骤S10开始。在步骤S11，内部和外部迭代的计数器设置为零。在接着的步骤S12中，滤波的输入图像4复制到缓冲器A和缓冲器C。

在下一个步骤S13中，权重因子12基于存储在缓冲器A中的信息并且可选地基于外部图像分析信息生成。在接着的步骤S14中，生成的权重因子12存储在缓冲器B中并且在接着的步骤S15中实施由正则化滤波器25的原地滤波并且已处理滤波的值存储在缓冲器A中。

在接着的步骤S16中内部计数器递增从而指明原地滤波器迭代的数量。在下一个步骤S17中，检查内部迭代的数量是否达到。优选地，足够的内部迭代的数量是迭代的可调整数量，其满足计算约束或给定信号特征。另外还可以检查之前平滑的图像11和实际已处理的图像之间的最大差别是否小于某个值。如果内部迭代的数量没有达到，那么过程回到步骤S15。否则，过程继续步骤S18。

在步骤S18中指明生成权重因子12的次数的外部迭代计数器递增1。在接着的步骤S19中，检查外部迭代的数量是否达到。优选地，外部迭代的数量设置为迭代的可调整数量，其满足计算约束或给定信号特征，但一个以上的任何其他数量的外部迭代也是可能的。

如果在步骤S19中判定外部迭代的数量达到，那么过程在步骤S21结束。否则过程继续步骤S20，其中内部迭代的计数器重置到0并且然后回到步骤S13，其中新的权重因子12基于存储在缓冲器A中的信息生成。

图7示出根据本发明的第三实施例的实施用于正则化的步骤的流程图。即使该流程图描述组合的空间-时间正则化，本发明不限于该类正则化，而还可以包括纯时间或纯空间正则化。

要注意该流程图基于在图5和6中示出的方法的流程图。用于空间-时间正则化的求解方案与用于空间情况的那个相同。因而，外部和内部迭代用于执行空间-时间递归滤波。在外部迭代中计算空间和时间权重，其对于空间-时间滤波是必需的。避开滤波器系数(空间和/或时间避开)的生成并且再次使用来自查找表或之前迭代的权重因子也是可能的。

该过程在步骤S30开始。在步骤S31，内部和外部迭代的计数器设置为零。缓冲器的命名与参照图4描述的相同。缓冲器C是实际未处理图像的缓冲器，缓冲器A是被处理的实际帧的缓冲器(其要更新，在方程(7)-(19)中名为A_i，j，k)，并且该缓冲器可以包含(a)在所有迭代之前未处理的图像，(b)在每次迭代期间已部分处理的图像和(c)在每次迭代之后已处理的图像。如下文描述的，空间-时间滤波在缓冲器A上执行，但之前和后续帧对于空间-时间滤波也是必需的。

之前的帧已经处理并且存储在名为A_bwd的缓冲器中。注意缓冲器名为A_bwd的数量取决于用于处理的之前的帧的数量。用于处理的之前帧的典型数量在1(假如使用常规运动估计)和3-7(如果使用多参考帧运动估计)之间。注意这些之前的帧已经处理了(比较图8)。应注意，在使用未处理的之前帧的情况下附加模式是可能的。这在实时或并行处理的情况下可以讲得通。未处理的后续帧存储在缓冲器A_fwd中。类似于之前的帧，fwd缓冲器的数量取决于用于处理的后续帧的数量。值的典型范围也在1和7之间。

在步骤S32中，输出图像2复制到缓冲器A和C。在下一个步骤S33中，空间权重因子12从缓冲器A生成并且在步骤S34存储在缓冲器B中。

在空间权重因子使用稍后将描述的方法和策略中之一计算后，每个像素和(内部)迭代的时间权重因子通过使用稍后描述的方法在步骤S35中计算。注意对于每个之前和后续参考帧，需要一个缓冲器用于时间权重，即使在图4中为了清楚的目的仅示出一个单个缓冲器T。时间权重因子112因而在步骤S36存储在缓冲器T中。

在下一个步骤S37中，外部迭代计数器递增。在步骤S38中检查外部迭代的数量或收敛是否达到。如果这是该情况，那么该帧的过程在步骤S43结束。同时，该处理的帧存储在缓冲器A_bwd中之一中用于时间处理，使得它可以用作下一个图像帧的之前帧。并且，同时最终已处理的图像帧6在步骤S42输出。

否则，如果在步骤S38中判定外部迭代的数量尚未达到，那么在下一个步骤S39中执行原地滤波。在步骤S40中内部迭代计数器递增并且在步骤S41中检查内部迭代的数量或收敛是否达到。如果这是该情况，那么过程返回步骤S33并且生成新权重因子。否则，过程返回步骤S39并且再次执行原地滤波，如在下面更加详细地说明的。

在所有空间和时间权重计算后，执行在实际帧(其在缓冲器A中)上的空间-时间原地滤波。该原地滤波可以重复期望数量的内部迭代。内部迭代的数量的典型值在1和7之间。确切值取决于序列的输入品质和硬件要求。空间-时间原地滤波在方程(15)中描述。在内部迭代的数量达到后，新滤波器系数可以在外部迭代中计算。当外部迭代的期望数量达到时过程流程停止。在该情况下，实际帧必需存储在之前的缓冲器A_bwd中之一中以使用该帧用于下一个实际帧的时间权重因子的计算。补充说明：假如之前和后续帧的数量设置为0或如果λ_temp设置为0，结果是纯空间正则化，如在EP申请中描述的。因而，空间正则化可以并入该空间-时间正则化方法。另一个可能性是设置λ_spat为0。在该情况下可以获得纯时间正则化。

现在参照图8，空间-时间滤波过程将使用如一个当前帧k、两个之前帧k-1和k-p_prev以及两个后续帧k+1和k+p_succ的示例更详细地说明。然而，本发明不限于两个之前和两个后续帧的使用，而可以使用任何数量的之前和/或后续帧。在下文中，使用两个之前帧和两个后续帧仅仅作为用于说明过程的示例。

图8图示空间-时间滤波过程。已在之前帧中滤波/处理过的像素70绘成灰色，实际(已处理的)像素71是虚线而要待处理的像素72未绘色。

几件事情必须注意。对于空间滤波器系数，可以使用如稍后描述的每个掩码和位置。因此成为如图8中示出的滤波器掩码的一部分的参考像素73的位置是非限制性的例子。

对于时间权重因子的计算，也可以使用不同的策略。这些策略将稍后描述。

之前帧已在该示例中处理。如前面描述的，空间-时间IIR滤波可以迭代地应用(某个迭代数量K)。在该情况下之前帧(帧k-p...k-1)中的像素70被完全处理(即对于这些帧完成所有迭代)。在实际帧中的像素71被部分处理。除在图8中描绘的示例外，使用没有处理的之前帧用于生成时间权重因子和/或滤波是可能的。该策略的原因是然后连续帧的处理独立于其他帧的处理并且因此不同的帧的并行处理是可能的。这对于实时应用是合理的。

优选地，在之前和后续帧中的像素70、72的位置被进行运动补偿。运动矢量(如参照图2描述的)推导自外部运动估计器7’。从当前帧中正处理的像素71到之前和后续帧中的对应的像素的运动矢量用对应的箭头在图8中指示。运动估计的每个方法可以用于运动矢量的生成，但优选地使用来自多参考运动估计的运动矢量。不使用运动估计以减少计算成本也是可能的。在该情况下像素具有与实际像素相同的空间坐标i，j，但是来自不同的帧(不同的时间坐标)。

在实际位置(i，j，k+p)的权重因子生成后，其存储在时间缓冲器T_k+p中该像素位置i，j处。因而对于每帧k和每个它的参考帧k+p，需要时间权重因子的缓冲器T_i，j，k+p。如在方程(15)中说明的，为了滤波实际像素，读出在缓冲器中实际位置处的每个参考帧的时间权重因子。稍后，描述用于时间权重因子的计算的三个不同的策略。

在下面，首先将更详细地说明空间权重因子的生成。

图9示出根据本发明的优选实施例的空间权重因子发生器23的示意框图。

空间权重系数(其应该存储在缓冲器B中)的生成极为重要。权重系数必须大于或等于零。对于将考虑保持未处理的区域，空间权重因子必须趋向零。因此防止由正则化滤波器对相关像素的滤波是可能的并且没有应用平滑。为了保护边缘，使用梯度的绝对值用于空间权重因子生成。计算可以从图9中的框图推导出。

必须注意这只是一种可能的实施。保护除边缘的其他区域或最小化失真的其他的变体是可能的。例如使用局部方差用于纹理区域的保护是可能的，或可以使用关于分块水平的信息以用于该情况；此外使用分块水平以去除块边界处的高梯度的保护是可能的。在实现的变体中，通过梯度运算的空间权重因子计算分别对水平40和竖直41方向进行。对于梯度计算，使用3抽头滤波器且系数是1、0与-1。使用不同的梯度滤波器是可能的，但是对于具有低比特率的低分辨率材料，该对称变体是优选的。

对于每个像素以及对于水平的和竖直的处理分支42、43，输出被平方。为了通过图像分析保护被标记保护的图像细节，计算的梯度可以分别在水平的和竖直的方向通过乘-加阶段44ab、45ab在它的尺寸上修改。与常规方法比较，这是新的以计算用于高斯噪声减少的空间权重因子。外部数据X1、X2、Y1、Y2必须以在图像区域(其应该被保护)中分别来自44b、45b的结果具有高值的方式改变梯度。在公式(5)中，X1、X2和Y1、Y2分别用μ_x1、v_x1、μ_x2、v_x2表示。水平和竖直分支的结果加和46并且通过加法阶段47加上常数C。该常数C在提出的实现中设置为1。最终计算平方根48和倒数49。

图10示出备选的实施例，其中空间权重因子12存储在查找表中。作为对上文描述的空间权重因子生成的备选，来自查找表的预定值可以用于防止平方、平方根和/或倒数的计算复杂性。对此的示例在图10中描述。在该情况下，在通过水平50和竖直51梯度滤波器计算梯度后，使用地址算子52。该地址算子52使用水平和竖直梯度输出和来自图像分析8的外部数据以生成查找表的地址。然后从查找表53在生成的地址位置读出空间权重系数12。如此生成的每个像素的权重系数12然后存储在缓冲器B中。

在下面，正则化滤波器25的算法的空间部分将参照图11至13更详细地说明。一般地，选择实际图像内待平滑的实际位置60，即像素。然后在存储在缓冲器A中的图像内，其是在最后的迭代步骤期间从块噪声滤波器3提交的原始滤波图像4和/或从正则化滤波器25传送的之前平滑的图像11，选择至少一个另外的像素63并且从缓冲器B获得权重因子12。实际位置60的平滑然后是基于该至少一个另外的位置63和至少一个权重因子12的值。

要注意，在图11至13中示出的指明另外的像素63的选择和权重因子12的选择的滤波器掩码仅仅是示例并且本发明不限于示出的示例，而包含任何滤波器掩码，其中至少一个另外的像素以及至少一个空间权重因子独立于该至少一个另外的像素的位置而被使用。还应注意至少一个另外的63的位置和像素的位置(计算其权重因子12)不必必须是相同的。

该概念将因此首先以一般的方式说明并且将说明图11至13的非限制性示例。

图像正则化在本发明的特定实现中基于全变分的最小化。全变分的数学表达式可以简化为递归自适应滤波。

在该情况下递归意指之前计算的结果用于计算新的结果。图像通过逐行扫描从左上像素(第一行，第一列)到右下像素(最后一行，最后一列)进行滤波。在实际线上的所有值和在实际线中实际像素位置左边起的所有值已经计算/实现。在实际线下以及在实际线中实际像素位置右边起的所有值仍然具有它们的初始值；这或是初始输入值或是来自取决于缓冲器A的内容的最后一次迭代的值。

在该情况下自适应意指权重系数不是固定的，而是从一个计算到另一个计算会变化。在正则化滤波的情况下，系数将从缓冲器B读出或推导出。形状由滤波器掩码预先确定并且可以取决于具体的应用而选择。

正则化的一般结构可以描述如下：当前像素值设置为该像素的初始输入值(缓冲器C)和通过周围的(已经部分处理过的)像素值(即至少一个另外的像素63的)(缓冲器A)的自适应滤波推导出的值的加权总和。滤波器掩码确定自适应滤波的支持区域并且还可包括不直接邻近当前像素位置60的像素位置。自适应滤波器系数从较早计算的权重(缓冲器B)读出或推导出。因而自适应系数还可从不包括在滤波器掩码中的像素位置处的值推导出。在该上下文中要注意，一般来说缓冲器B中读出的位置不必与滤波器抽头的(即另外的像素63的)位置相同，如在本文中稍后说明的。

一般的数学公式在(16)中给出。这里当前位置用下标i，j表示。滤波器掩码由h给出，而(自适应)系数用b表示并且从缓冲器B中的局部值推导出且具有相对于滤波器抽头位置的偏量o₁、o₂以调整缓冲器B中读出的位置。N是滤波器抽头的数量，而λ是正则化率。该公式可以解释为将初始值与周围的像素值的空间递归和自适应加权滤波进行混合，而一些像素值通过自适应滤波器系数(部分地)从滤波中排除(如果它们不属于与中心像素相同的种类或物体)。

$A_{i,j}=d\·(C_{i,j}+\frac{\mathrm{\λ}}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}\·b_{\underset{j-m-o_2(n,m)}{i-n-o_1(n,m),}}\·A_{i-n,j-m})$ 其中 $d={(1+\frac{\mathrm{\λ}}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}\·b_{\underset{j-m-o_2(n,m)}{i-n-o_1(n,m),}})}^{-1}---\left(16\right)$

这样的滤波器掩码的示例在图11中图示。图11示出缓冲器A的内容。在正则化开始，分别原始或预处理的图像序列4存储在缓冲器A中。那么存储在缓冲器A中的像素的逐行处理开始并且像素的之前值由新计算的值改写。这意味缓冲器A部分地包含像素(其在实际迭代步骤中已经处理过)和其他的像素(其在实际迭代步骤中尚未处理过)。这在图11至13中示出。实际处理过的像素60示出并且大致将缓冲器内的像素分成在实际像素60之前已经处理过的像素61和在实际处理的像素60之后在该迭代步骤中要处理的像素62。

图11示出滤波器抽头(即另外的像素63)的位置P2至P5，用于位置P1处的实际像素60的计算。来自缓冲器A的用于计算的值在位置P2至P5。要注意在该迭代步骤中在位置P2和P5处的值已经处理过。来自缓冲器A的值乘以来自缓冲器B的权重。由于具有中心差分的滤波器掩码的数学推导，从缓冲器B中读出的值的位置不是在与滤波器抽头的位置相同的位置。新值(其将存储在缓冲器A中的位置P1处)的计算公式可以用图11中给出的滤波器掩码计算：

A_i，j＝d·(C_i，j+0.25λ(B_i-1，jA_i-2，j+B_i+1，jA_i+2，j+B_i，j-1A_i，j-2+B_i，j+1A_i，j+2))

其中d＝(1+0.25λ(B_i-1，j+B_i+1，j+B_i，j+1+B_i，j-1))^-1    (17)

在该公式中，i，j是中心位置的位置(其中i表示列，j表示行)。值A来源于缓冲器A，而值B来自缓冲器B。在中心位置处的值C产生于缓冲器C(未滤波的输入图像的缓冲器，参见图4)。λ值是所谓的正则化率。

通过调谐正则化率的值，到数学最优的收敛强度可以控制。正则化率越高，处理的量越高。λ的较高值导致图像的较强平滑。λ值可以是不变的，或在某些图像区域中更高或更低以保护在这些区域中的图像内容。由在公式(17)中的计算规则计算的值存储在缓冲器A中的位置(i，j)处。要计算的像素的位置设置为实际一个的正右边的位置(i+1，j)。在达到行的末端后，下一个位置是下面的行的第一列(0，j+1)。

来自图11的滤波器掩码以及公式(17)中的计算规则对大的区域具有影响并且忽略对角线。因此可以实现附加的变体，由此，两个非限制性的例子在图12和13中示出。

然而公式(17)基于数学推导，在图12和13中描绘的滤波器掩码基于启发式推导并且正则化结果的优化基于可见的标准。

计算的相关规则在公式(18)和(19)中给出。

用于在图12中描绘的滤波器掩码的计算规则：

A_i，j＝d·(C_i，j+0.25λ(B_i-1，jA_i-1，j+B_i+1，jA_i+1，j+B_i，j-1A_i，j-1+B_i，j+1A_i，j+1))

其中d＝(1+0.25λ(B_i-1，j+B_i+1，j+B_i，j+1+B_i，j-1))^-1    (18)

用于在图13中描绘的滤波器掩码的计算规则：

$A_{i,j}=d\·C_{i,j}+0.25\·\mathrm{\λ}\·d\·(B_{i-1,j}{A}_{i-1,j}+B_{i+1,j}{A}_{i+1,j}+B_{i,j-1}{A}_{i,j-1}+B_{i,j+1}{A}_{i,j+1})+$

$\frac{1}{\sqrt{2}}\·0.25\·\mathrm{\λ}\·d\·(B_{i-1,j-1}{A}_{i-1,j-1}+B_{i+1,j+1}{A}_{i+1,j+1}+B_{i+1,j-1}{A}_{i+1,j-1}+B_{i+1,j+1}{A}_{i+1,j+1})$ 其中

$d={(1+0.25\mathrm{\λ}(B_{i-1,j}+B_{i+1,j}+B_{i,j+1}+B_{i,j-1}+\frac{1}{\sqrt{2}}(B_{i-1,j-1}+B_{i+1,j-1}+B_{i+1,j+1}+B_{i+1,j-1})))}^{-1}---\left(19\right)$

现在，将更详细地说明时间权重因子112的生成。

在图14中提出时间权重因子发生器123的第一实施例。它由用于计算至少两个帧100、101之间的时间差分diff_t的时间差分计算单元102构成。时间差分计算单元102由此被馈入运动信息7’a和优选地来自外部分析8的其他数据。时间差分然后提交给平方运算单元103，其生成时间差分的平方。可选地，然后可以提供另外的单元(没有在图中示出)以使该平方乘以常数因子α。加法单元104加上常数以防止除以0。平方根单元106生成平方根并且倒数单元107计算从平方根单元106提交的信息的倒数。对于时间差分计算diff_t，可以使用三种方法(其将稍后描述)。对于该差分计算运动矢量，需要实际和/或参考帧。

来自图像分析的外部信息115可以以用于某种方式修改常数c和因子α。例如，如果区域/像素应该被保护，通过将c和/或α设置为高值，权重因子将具有非常低的值，从而没有或较少的平滑/滤波将应用到像素。在相反的情况下，即使对于高的梯度值，通过将α设置为低于1的值，“生成”高的权重因子(其导致强的平滑)也是可能的。

该策略在高的时间差分由伪影(例如闪烁)(其由外部分析检测并且因此应该被平滑)引起的情况中讲得通。但是防止平滑由错误的运动矢量引起的细节也是可能的。如果实施运动矢量的可靠性测量(例如DFD)，来自外部分析的该结果可以用于控制因子α和c。假如矢量是可靠的，这些因子α和c将取低值，其导致较高的权重因子。否则因子α和c将取高值，其导致低的权重因子。外部信息的使用的另外的可能性也在EP申请中描述。假如没有使用外部信息，c和因子α都设置为1。

利用该方案，下列方程可以求解：

$T_{k+p}=\frac{1}{\sqrt{c^2+\mathrm{\α}\·{{\mathrm{diff}\_t}_{k+p}}^2}}---\left(20\right)$

其中diff_t_k+p时间差分通过在下面描述的三种方法中的一种计算并且常数c在优选的、非限制性的实施例中可以设置为一以防止除以零的。输入帧100和101取决于为时间差分计算选择的方法。T_k+p是用于对时刻k+p的参考帧的空间-时间滤波的所得的时间权重因子。

如参照图14描述的电路只是一个可能的实现。如在图15中的第二实施例中图示的，将来自时间差分计算单元102的时间差分的结果馈入查找表110以得到时间权重因子112以减少计算成本也是可能的。

在下一部分中描述时间差分计算。

在下面参照图16至18，描述时间权重因子12的生成的不同可能性。

第一个可能性参照图16描述。如之前对于空间权重系数12描述的，这些空间权重系数由局部邻域中的像素差分确定。该方案直接适用于时间的情况。方程(21)描述了该情况：

${\mathrm{diff}\_t}_{k+p}=|A_{i+{\mathrm{mvX}}_p,j+{\mathrm{mvY}}_p,k+p}-A_{{i+\mathrm{mvX}}_{p+1},j+{\mathrm{mvY}}_{p+1},k+p+1}|---\left(21\right)$

在该情况下，来自两个不同的参考帧的两个像素值用于时间差分(其在前一部分中描述的时间权重因子发生器123中使用)的计算。A是在第一参考帧中的像素值，i，j是实际像素在时刻k实际帧中的位置。mvX_p和mvY_p是从实际时刻k的实际帧到时刻k+p的第一参考帧的运动矢量。mvX_p+1和mvY_p+1是到时刻k+p+1的第二参考帧的运动矢量。

为了更好的理解，时间权重因子T的计算在图16中描绘。在该图中，来自多参考帧运动估计的运动矢量80用于计算被运动补偿的差分81。注意使用其他的运动矢量分量也是可能的。例如，通过使用从帧k到k+p的运动矢量以得到在第一参考帧k+p中的被运动补偿的位置然后使用该位置从参考帧k+p到帧k+p+1的运动矢量以得到在参考帧k+p+1中的被运动补偿的像素，可以计算差分。该方案将是两个运动矢量的级联。

参照图17，现在将描述计算时间差分的第二个可能性。对于时间直接相邻的帧的权重因子生成是特殊情况。在该情况下，如在下面以及方程(22)中描述的差分计算用于这些权重因子。

该策略可以用方程(22)和图17最好地描述。在该情况下，仅参考帧中的像素必须是用从实际像素83到参考帧的对应的运动矢量80进行运动补偿，其在图17中示出。对于时间权重因子生成的其他输入值是在时刻k在实际帧中实际位置i，j处的像素83。

${\mathrm{diff}\_t}_{k+p}=|A_{i,j,k}-A_{i+{\mathrm{mvX}}_p,j+{\mathrm{mvY}}_p,k+p}|---\left(22\right)$

mvX_p和mvY_p是实际帧和在时刻k+p的参考帧之间的运动矢量。该简单的测量是基于像素的绝对差分并且也在文献中表示为位移像素差分(DPD)。该策略的优势是计算的简单性和通过简单的差分运算而直接可靠测试运动矢量的正确性。

现在，计算时间差分的第三个可能性将参照图18描述。为了得到阻止伪影的更好稳健性，时间差分diff__k+p可以通过使用绝对差分的加权总和(加权的SAD)计算。该策略在方程(23)中可以找到并且也在图18中图示。对于该方法，限定包括至少一个像素的窗口，其具有高度为r个像素和宽度为s个像素，r和s等于或大于一。

在优选实施例中窗口(r，s)的尺寸是3x3，但是窗口可以具有任意尺寸r，s。在该情况下，不仅计算实际像素和每个参考帧中的(被运动补偿的)像素之间的差分，而也计算窗口中周围的像素的差分。

${\mathrm{diff}\_t}_{k+p}=\underset{r,s}{\mathrm{\Σ}}{w}_{r,s}|A_{i+r,j+s,k}-A_{{i+r+\mathrm{mvX}}_p,j+s+{\mathrm{mvY}}_p,k+p}|---\left(23\right)$

具有加权SAD计算的可能的权重系数的窗口84在图18中描绘。也示出从实际帧内的窗口85到参考帧内的窗口84的运动矢量82。这些系数在优选的实施例中使用。对于窗口的另一个示例是没有加权的窗口(所有的系数是1)。但是重新使用来自运动估计的DFD值以节省计算成本也是可能的。现在示出具有3x3尺寸的这样的窗口的可能示例：

但是如之前说明的，任何其他尺寸和/或值是可能的。

现在参照图19至20，将描述不同的应用情况。

空间-时间平滑滤波器可以在不同的情况中使用。对于高斯噪声减少，独立应用与目前技术水平的空间和/或时间方法(参见图2)比较非常有效地减少伪影是可能的。如果在本申请中描述的方法应该用于编码伪影减少，提出与空间和/或时间预处理的组合。对此原因如下。如在EP申请中图示的，正则化保护陡峭转变的平滑(由于全变分的数学公式)。在(高)压缩的图像序列中，两个不同的非期望的陡峭转变可能发生。第一个是空间的陡峭转变，称为由于基于块的编码方案的分块；第二个是时间的非期望的陡峭转变，其是由于相邻帧的不同编码引起的闪烁。减少这些非期望的陡峭转变的可能组合现在将详细描述。应该注意这些组合是本发明的重要部分。但是这些框架只是例子并且应该不限制本发明。

在数字噪声降低的情况下，应该减少可能由例如分块伪影产生的陡峭转变。因为3D正则化的独立应用防止高的空间转变的平滑，与常规(自适应)去分块技术的组合(如在图19中描述)是优选的。

输入图像2提交给空间去分块单元30。空间去分块单元30提供用于对在输入图像2内的不连续边界滤波。去分块单元30可以是例如适用于减少分块伪影的低通滤波器的任何类型。优选地，实施仅横过块边界的局部自适应低通滤波。该预处理的原因是在块边界处的不连续的平滑和尽可能远地保护边缘和细节。任何常见去分块方案可以用作块噪声减少算法，具有用于详细区域的短滤波器、用于平坦区域的长滤波器的自适应方案和撤退模式是优选的。

作为预处理来使用(自适应)空间去分块具有下列优势。运动估计在减少伪影的序列上执行从而产生具有更高的准确性的运动矢量。如之前描述的，运动估计可以是对后向估计仅使用一个之前帧以及对于向前估计仅使用一个后续帧的常规预测块匹配技术，但也是使用多个之前和后续参考帧的多参考帧运动估计。典型数量是三个之前和三个后续帧，其产生到空间-时间正则化子的七个输入帧，但是这只是例子并且将不限制本发明。另外，强的分块伪影通过常规去分块器而减少因而通过空间-时间正则化子的平滑在减少剩余分块和振铃伪影方面有效得多。此外，对空间-时间正则化子的所有输入帧(之前和后续帧)进行去分块是可能的，从而时间权重因子的计算在具有较少(编码)伪影的输入帧上完成从而产生更好权重因子。

除了在空间方向中的非期望的陡峭转变(分块伪影)之外，在时域中的非期望的陡峭转变(闪烁)也可发生。因而如在图20中描述的用于减少该闪烁伪影的时间预处理也可以应用。在该情况下，预处理由常规空间去分块单元30(其是图像内容)、在优选实施例中自适应的分块水平和已运动补偿的时间(加权)FIR滤波器31构成。运动估计可以是任何类型(例如，基于光流的、整体运动估计或相平面相关)，但使用多个输入帧的预测块匹配技术是优选地。空间-时间正则化子5’然后应用于空间和时间平滑的输入序列。对于预处理(时间滤波)和空间-时间正则化使用不同的运动矢量是可能的。在优选的实施例中，矢量场在它用于空间-时间正则化子5’之前被平滑。该平滑不是本发明的部分，因此仅非常简短地描述。多参考帧运动估计的矢量场可以具有非常高的分辨率(例如每像素1个运动矢量)。因此，矢量场可具有离群值。这些离群值可以通过例如矢量场的中值滤波或选择具有在支持域中最高出现频率的矢量作为输出而减少。从而得到更平滑的矢量场是可能的。

从而利用本发明改进的图像处理成为可能。

本发明的优势是与基于图像模型的最小二乘法结合的基于启发式假设的新的空间-时间正则化方法的推导和实现。该推导的结果是具有自适应滤波器系数(其对每个帧应用一次或几次)的空间-时间递归滤波器结构。在文献中，不存在与提出的推导类似的空间-时间推导。

这些空间和/或自适应滤波器系数计算取决于图像/像素信息和/或来自外部图像分析的信息。该外部分析可以使用空间-时间正则化以用于检测和平滑伪影或保护类似纹理的图像细节免于被平滑。

空间-时间正则化与空间和时间预处理的组合以平滑空间(分块伪影)和时间(闪烁)方向上的非期望的边缘。该策略已经用于在EP申请中描述的正则化并且现在扩展到空间-时间或时间的情况。

用于时间权重因子的计算的若干策略与该基于启发式假设的空间-时间正则化方法进行一体化。这些策略是代替如在现有技术中完成的数学推导运算(运动方向上的类似方向导数)的运动补偿的差分运算。方向导数在数学上是正确的，但是在快速运动的情况下导致完全不同的或甚至错误的结果。

使用来自基于块匹配的多参考帧运动估计的运动矢量。与目前技术水平的差别是该新的正则化方法针对错误的运动矢量和矢量场中的失真是稳健的。此外，在文献中没有描述基于多参考帧运动估计的方法。

如在图8中描绘的，逐帧处理使用一定数量输入帧。这意味仅实际帧和一定数量的之前和/或后续帧用于实际输出帧的处理。这对于(a)短的等待时间和(b)实时应用是非常重要的。与此形成对照，在目前技术水平中描述的方法有时确实要求整个输入序列用于每个帧的计算，因为它们基于数学假设。

通过将该方法应用于退化的输入序列，结果是与目前技术水平的方法相比的非常强的伪影减少。除分块的减少之外，振铃伪影也可以强烈减少。此外，可以看出没有/非常少的锐度、对比度和细节损失，就是像大多数空间方法的锐度、对比度和细节损失那样的情况。

由于空间-时间处理，与纯时间方法相比，伪影减少在硬件和内存方面是相对高效的，因为来自实际帧的具有与实际像素相同的图像信息的像素也用于滤波。从而，在时间方向需要较少的帧/像素。此外，由于时间递归滤波，帧数可以额外地减少，并且由于时间权重因子生成，可以达到高稳定性。与纯时间递归滤波形成对比，对于在本发明中描述的处理不需要磨合阶段。另一个优势是空间-时间正则化子具有集成的隐含图像内容分析。从而该方法可以用于类似振铃、蚊虫噪声、边缘处的锯齿以及甚至分块伪影和闪烁的若干伪影的减少。通过与常规方法的组合，伪影减少甚至更高。另外的优势是该方法可以处理非平滑运动矢量场。这是非常重要的，因为在真实序列中，非平滑矢量场经常出现(例如在静止的背景上的移动物体的物体边界)。因为本发明可以处理这些矢量场，使用来自块匹配处理的非常准确的运动矢量场是可能的。该技术优选地在消费电子产品中应用。因此运动矢量可以再次用于类似去隔行(de-interlacing)或帧率转换的其他算法。但是本发明的优势是，由于多帧的使用，更高的闪烁减少是可能的，和由于在时间和空间项中的差别，更高的滤波器效果和伪影减少可以通过我们的方法获得。此外，由于时间权重因子生成，对于错误的运动矢量的稳健性是非常高的。

本方法和装置可以在任何设备中实现，该设备允许处理和可选地显示静止的或移动的图像，例如静态照相机、摄像机、TV、PC或其类似物。

当在无频闪显示设备、特别地是液晶显示板(LCD)、薄膜晶体管显示器(TFT)、连续彩色显示器、等离子显示器(PDP)、数字微镜设备或有机发光二极管(OLED)显示器中显示图像时，本系统、方法和计算机程序产品可以特地使用。

为了图示和说明的目的，已经提供本法明的优选实施例的上文描述。它不规定为详尽的或限制发明为公开的精确形式。许多修改和变型对于本领域内从业技术人员将是明显的。为了最好地描述本发明的原理和它的实际应用，选择和描述实施例，从而使本领域内其他技术人员能够理解本发明、各种实施例和适合于预期的特别用途的各种修改。

尽管本发明已经用结构特征和/或方法步骤特定的语言描述，应理解在附上的权利要求中限定的本发明不必定限制到描述的特定特征或步骤。相反，特定的特征和步骤公开为实现要求权利的本发明的优选形式。

Claims (11)

1.用于在视频信号中减少压缩伪影的方法，

包括下列步骤：

通过图像分析器关于图像区域对输入图像进行分析以获得图像分析信息，

对所述输入图像内的不连续边界进行滤波，以及

平滑该滤波的图像，该步骤包括基于所述滤波的图像和／或之前平滑的图像的梯度值选择所述滤波的图像的平滑水平，以及生成指明所述平滑水平的权重因子，

其中获得的图像分析信息在所述滤波和／或平滑步骤中的一个或二者中使用，并且

其中，所述方法还包括下列步骤：

选择待平滑的实际图像内的实际位置，

选择所述滤波的图像和／或所述之前平滑的图像内的至少一个另外的位置，

获得至少一个所述权重因子，和

基于所述至少一个另外的位置和至少一个所述权重因子的值来平滑所述实际位置。

2.如权利要求1所述的方法，

其中所述平滑步骤基于所述滤波的图像的全变分的最小化。

3.如权利要求1所述的方法，

还包括通过平滑之前平滑的图像来重复所述平滑步骤至少一次的步骤。

4.如权利要求3所述的方法，

其中所述平滑步骤使用自适应递归滤波。

5.如权利要求1所述的方法，

其中所述选择步骤包括对低梯度值选择高水平平滑而对高梯度值选择低水平平滑。

6.如权利要求4所述的方法，

其中所述实际位置的平滑根据下列方程完成：

$A_{i,j}=d\·(C_{i,j}+\frac{\mathrm{\λ}}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}\·b_{\begin{array}{c}i-n-o_1(n,m),\\ j-m-o_2(n,m)\end{array}}\·A_{i-n,j-m})$

其中 $d={(1+\frac{\mathrm{\λ}}{N}\underset{n,m}{\mathrm{\Σ}}{h}_{n,m}\·b_{\begin{array}{c}i-n-o_1(n,m),\\ j-m-o_2(n,m)\end{array}})}^{-1}---\left(16\right)$

凭此当前位置用下标i，j表示，滤波器掩码h用它的局部支持区域n、m表示，并且自适应权重因子用b表示并且从所述滤波的图像和／或之前平滑的图像推导出，并且o₁和o₂是偏量以相对于所述至少一个另外的像素的位置来调整所述自适应权重因子b的读出位置，N是所述至少一个另外的像素位置的数量，λ是正则化率，以及C是存储在缓冲器C中来自实际输入帧的对应像素值。

7.如权利要求6所述的方法，

其中所述实际位置的平滑根据下列方程完成：

A_i，j=d·(C_i，j+0.25λ(B_i-i，jA_i-2，j+B_i+1，jA_i+2，j+B_i，j-1A_i，j-2+B_i，j+1A_i，j+2))

其中d=(1+0.25λ(B_i-1，j+B_i+1，j+B_i，j+1+B_i，j-1))^-1(17)，B是存储在缓冲器B中的对应权重因子。

8.如权利要求6所述的方法，

其中所述实际位置的平滑根据下列方程完成：

A_i，j=d·(C_i，j+0.25λ(B_i-1，jA_i-1，j+B_i+1，jA_i+1，j+B_i，j-1A_i，j-1+B_i，j+1A_i，j+1))

其中d=(1+0.25λ(B_i-1，j+B_i+1，j+B_i，j+1+B_i，j-1))^-1(18)，B是存储在缓冲器B中的对应权重因子。

9.如权利要求6所述的方法，

其中所述实际位置的平滑根据下列方程完成：

$\begin{array}{c}{A}_{i,j}=d\·C_{i,j}+0.25\·\mathrm{\λ}\·d(B_{i-1,j}{A}_{i-1,j}+B_{i+1,j}{A}_{i+1,j}+B_{i,j-1}{A}_{i,j-1}+B_{i,j+1}{A}_{i,j+1})+\\ \frac{1}{\sqrt{2}}\·0.25\·\mathrm{\λ}\·d(B_{i-1,j-1}{A}_{i-1,j-1}+B_{i+1,j+1}{A}_{i+1,j+1}+B_{i+1,j-1}{A}_{i+1,j-1}+B_{i+1,j+1}{A}_{i+1,j+1})\end{array}$

其中 $d={(1+0.25\mathrm{\λ}(B_{i-1,j}+B_{i+1,j}+B_{i,j+1}{B}_{i,j-1}+\frac{1}{\sqrt{2}}(B_{i-1,j-1}+B_{i+1,j-1}+B_{i+1,j+1}{B}_{i+1,j-1})))}^{-1}$ (19)，

B是存储在缓冲器B中的对应权重因子。

10.如权利要求1至9中任一项所述的方法，

还包括基于图像分析器提交的所述分析信息选择所述平滑水平的步骤，

凭此优选地对于具有纹理和／或细节的图像区域选择低等级平滑。

11.用于在视频信号中减少压缩伪影的装置，包括：

用于关于图像区域对输入图像进行分析以获得图像分析信息的图像分析器，

用于滤波所述输入图像内的不连续边界的块噪声滤波器，和用于平滑所述滤波的图像的正则化子，所述正则化子还用于基于所述滤波的图像和／或之前平滑的图像的梯度值选择所述滤波的图像的平滑水平，以及生成指明所述平滑水平的权重因子，

其中所述块噪声滤波器和／或所述正则化子适用于使用获得的图像分析信息，并且

其中，所述正则化子还用于：

选择待平滑的实际图像内的实际位置，

选择所述滤波的图像和／或所述之前平滑的图像内的至少一个另外的位置，

获得至少一个所述权重因子，和

基于所述至少一个另外的位置和至少一个所述权重因子的值来平滑所述实际位置。

Images