CN101779220B - 用于多点阵基于稀疏性的滤波的方法和装置 - Google Patents

Abstract

提供了用于多点阵基于稀疏性的滤波的方法和装置。该装置包括滤波器(300)，所述滤波器用于对画面的画面数据进行滤波以生成所述画面的至少两个滤波后版本的适配的加权组合。所述画面数据包括所述画面的至少一个子采样。

Description

用于多点阵基于稀疏性的滤波的方法和装置

对相关申请的交叉引用

本申请要求于2007年6月8日提交的美国临时申请序列号第60/942,667号的权益，通过参考将所述申请以其整体并入于此。

技术领域

本原理概括地涉及图像滤波，并且更具体地涉及用于多点阵基于稀疏性的滤波(multi-lattice sparsity-based filtering)的方法和装置。

背景技术

图像的通用鲁棒滤波对于许多应用来说是必不可少的，在所述许多应用中，需要从任何数字过程(诸如例如预测、压缩、放大、获取等)产生的较不精确的信号中生成图像的更精确的估计。

许多数字处理向图像中引入噪声、伪像和/或其他类型的失真。为此，可以使用基于稀疏近似的鲁棒滤波。典型地，使用稀疏近似的这样的滤波涉及以下过程：信号变换；变换后信号系数的阈值化(其例如涉及：将低于给定值的那些系数设置为零)；以及变换回空间域。

为此目的，可以使用完整的和/或过完整的变换。变换具有有限数目的主方向(principal direction)。这意味着变换中的基底函数具有有限数目的方向上的定向特征。作为例子，2D DCT(2维离散余弦变换)的基底函数具有在用于图像和视频的矩形采样网格上的两个主要方向(main direction)：垂直和水平。这是严格的限制，因为一旦定义了变换，高效地对具有除所使用的变换的纯“原(native)”方向之外的其他方向的图像中的信号结构(例如对角边缘、定向纹理等)进行滤波的能力受到限制。

在第一现有技术方法中，基于冗余变换的使用而提出了用于图像去噪声的适配滤波。在第一现有技术方法中，由给定变换H的全部可能的平移H_i来生成冗余变换。因此，给定图像I，通过在I上施加变换H_i来生成图像I的一系列不同的变换后版本Y_i。其后通过系数去噪声过程(通常为阈值化操作)来处理每个变换后版本Y_i，以减少在变换后系数中所包括的噪声。这生成一系列Y’_i，此后，每个Y’_i被变换回到空间域、变为不同的估计I’_i，其中在它们中的每个中应当存在更低量的噪声。第一现有技术方法还利用以下事实：对于不同的位置，不同的I’_i包括I的最佳去噪声后版本。因此，它将最终滤波后版本I’估计为I’_i的加权和，其中优化权重以使得在I’的每个位置处优选(favor)最佳的I’_i。图1和2涉及该第一现有技术方法。

转向图1，概括地由参考标号100指示根据现有技术的用于位置适配的、基于稀疏性的画面滤波的装置。

装置100包括第一变换模块(利用变换矩阵1)105，其具有与第一去噪声系数模块120的输入端信号通信地连接的输出端。第一去噪声系数模块120的输出端与第一逆变换模块(利用逆变换矩阵1)135的输入端、组合权重计算模块150的输入端、以及第N逆变换模块(利用逆变换矩阵N)145的输入端信号通信地连接。第一逆变换模块(利用逆变换矩阵1)135的输出端与组合器155的第一输入端信号通信地连接。

第二变换模块(利用变换矩阵2)110的输出端与第二去噪声系数模块125的输入端信号通信地连接。第二去噪声系数模块125的输出端与第二逆变换模块(利用逆变换矩阵2)140的输入端、组合权重计算模块150的输入端、以及第N逆变换模块(利用逆变换矩阵N)145的输入端信号通信地连接。第二逆变换模块(利用逆变换矩阵2)140的输出端与组合器155的第二输入端信号通信地连接。

第N变换模块(利用变换矩阵N)115的输出端与第N去噪声系数模块130的输入端信号通信地连接。第N去噪声系数模块130的输出端与第N逆变换模块(利用逆变换矩阵N)145的输入端、组合权重计算模块150的输入端、以及第一逆变换模块(利用逆变换矩阵1)135的输入端信号通信地连接。第N逆变换模块(利用逆变换矩阵N)145的输出端与组合器155的第三输入端信号通信地连接。

组合权重计算模块150的输出端与组合器155的第四输入端信号通信地连接。

第一变换模块(利用变换矩阵1)105的输入端、第二变换模块(利用变换矩阵2)110的输入端和第N变换模块(利用变换矩阵N)115的输入端可用作装置100的输入端来接收输入图像。组合器155的输出端可用作装置100的输出端来提供输出图像。

转向图2，概括地由参考标号200指示根据现有技术的用于位置适配的、基于稀疏性的画面滤波的方法。

方法200包括开始块205，其向循环限制块210传递控制。循环限制块210执行对变量i的每个值的循环，并且向功能块215传递控制。功能块215执行利用变换矩阵i的变换，并且向功能块220传递控制。功能块220确定去噪声系数，并且向功能块225传递控制。功能块225执行利用逆变换矩阵i的逆变换，并且向循环限制块230传递控制。循环限制块230结束在变量i的每个值上的循环，并且向功能块235传递控制。功能块235组合不同的去噪声后系数图像的逆变换后版本(例如其局部适配的加权和)，并且向结束块299传递控制。

加权方法可以是多种多样的，并且它们可以取决于以下中的至少一项：将被滤波的数据；对于数据所使用的变换；以及对于将过滤的噪声/失真的统计假设。

第一现有技术方法将每个H_i视作归一正交变换。此外，它将每个H_i视作诸如小波变换或DCT之类的给定的2D归一正交变换的平移(translate)后版本。考虑到这点，第一现有技术方法不考虑以下事实：给定的正交归一变换具有有限量的分析方向。因此，即使DCT的全部可能的平移被用于生成I的过完整表示，I仍将与I的具体分量无关而被唯一地分解为垂直和水平分量。

第二现有技术方法相对第一现有技术方法不引入任何新概念，而仅仅将来自第一现有技术方法的相同的算法应用于混合视频编码框架中的环内伪像滤波，所述混合视频编码框架诸如国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)第10部分先进视频编码(AVC)标准/国际电信联盟电信分部(ITU-T)H.264建议(在下文中被称作“MPEG-4AVC标准”)。

在第三现有技术方法中，在小波图像编码的框架内提出使用图像的点阵子采样，以在那些子点阵中执行小波滤波，以实现定向的小波分解。在第三现有技术方法中，在图像上定义系统采样图案的集合，并且其后只对于图像的子采样后版本执行小波滤波。沿这样的采样图案的主要方向执行小波滤波。

第三现有技术方法呈现了使用用于定向小波变换的这样的图像子采样的方式。怎样使用所提出的子采样的具体的例子是：利用旋转来重布置每个子采样后网格，以使得每个子采样后网格被变为矩形采样网格。其后，对于每个新生成的矩形采样网格的规则可分离小波滤波将自然地生成沿原始、未重布置的采样网格的方向的定向小波滤波。这避免了在期望定向小波时对于对原始矩形采样网格重定义特殊小波变换的需要。

第四现有技术方法呈现了在五点(quincunx)点阵上表达(formulate)的傅立叶变换。但是，第四现有技术方法不呈现这样的变换的任何进一步的应用以及与任何其他变换的组合。

在第五现有技术方法中，呈现了一种变换，其具有大量的分析方向，以处理大量种类的信号定向特征。但是，其使用、定义和计算处理是困难、冗长、和复杂的，这使得其基本上不适用于当前视频编码标准。

发明内容

由针对用于多点阵基于稀疏性的滤波的方法和装置的本原理来处理现有技术的这些和其它缺点和劣势。

根据本原理的一方面，提供了一种装置。该装置包括滤波器，所述滤波器用于对画面的画面数据进行滤波以生成所述画面的至少两个滤波后版本的适配的加权组合。所述画面数据包括所述画面的至少一个子采样。

根据本原理的另一方面，提供了一种方法。该方法包括对画面的画面数据进行滤波以生成所述画面的至少两个滤波后版本。所述画面数据包括所述画面的至少一个子采样。该方法进一步包括计算所述画面的所述至少两个滤波后版本的适配的加权组合。

本原理的这些和其它方面、特征和优势将从应当结合附图来阅读的对示例实施例的以下详细描述中变得明显。

附图说明

可以根据以下示例图更好地理解本原理，其中：

图1为根据现有技术的、用于位置适配的基于稀疏性的画面滤波的装置的框图；

图2为根据现有技术的、用于位置适配的基于稀疏性的画面滤波的方法的流程图；

图3为根据本原理的实施例的、用于利用多点阵信号变换的、示例位置适配的基于稀疏性的画面滤波器的高层框图；

图4为根据本原理的实施例的、用于利用多点阵信号变换的、另一示例位置适配的基于稀疏性的画面滤波器的高层框图；

图5为根据本原理的实施例的、用于利用多点阵信号变换的、又一示例位置适配的基于稀疏性的画面滤波器的高层框图；

图6为根据本原理的实施例的、可以应用本原理的、在具有8×8尺寸的离散余弦变换(DCT)中所包括的DCT基底函数以及它们的形状的图；

图7A和7B为示出根据本原理的实施例的、可以应用本原理的、利用对应的点阵采样矩阵的点阵采样的例子的图；

图8为根据本原理的实施例的、任何这样的采样点阵中的每个陪集(coset)可以被重布置为的、示例的下采样后矩形网格的图；

图9为根据本原理的实施例的、用于利用多点阵信号变换的、位置适配的基于稀疏性的画面滤波的示例方法的流程图；以及

图10A-10D为根据本原理的实施例的、可以应用本原理的4×4DCT变换的16个可能的平移中的四个中的相应的一个的图。

具体实施方式

本原理针对用于多点阵基于稀疏性的滤波的方法和装置。

本描述例示本原理。因此应理解本领域技术人员将能够设计出虽然未在这里明确描述或示出、但是体现本原理并且包括在本原理的精神和范围内的各种布置。

这里所叙述的所有例子和条件语句意在教学目的，以帮助读者理解由发明人贡献以促进本领域技术的本原理和构思，并被解释为不限制为这样具体叙述的例子和条件。

此外，这里叙述本原理的原理、方面、以及实施例的所有陈述、以及本原理的具体例子意在包含本原理的结构的和功能的等价物。另外，意在这样的等价物包括当前已知的等价物以及将来开发的等价物，即，无论结构如何、执行相同功能的所开发的任何元件。

因此，例如，本领域技术人员将理解：这里呈现的框图表示体现本原理的示例电路的概念性视图。类似地，将理解：任何流程图示、流程图、状态转换图、伪代码等等表示各种处理，所述各种处理可以基本上在计算机可读介质中表示，并因此由计算机或处理器执行，无论这样的计算机或处理器是否被明确示出。

附图中所示的各种元件的功能可以通过使用专用硬件以及能够与适合的软件相关联而执行软件的硬件来提供。当由处理器提供时，所述功能可以由单个专用处理器、单个共享处理器、或其中一些可以被共享的多个独立处理器提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为唯一地代表能够执行软件的硬件，其也可以隐含地、不受限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储装置。

也可以包括其它的传统的和/或定制的硬件。类似地，附图中所示的任何开关只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑间的交互作用、或甚至手动地执行，具体技术可由实施者选择，如从上下文中被更具体地理解的。

在本权利要求书中，表示为执行指定功能的部件的任何元件意在包含执行该功能的任何手段，所述手段包括：例如，a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括与用于执行该软件的适合的电路结合以执行该功能的固件、微代码等等。由这样的权利要求书限定的本原理归于这样的事实：由各种所叙述的部件提供的功能以权利要求书要求的方式组合并集合。因此认为：能够提供那些功能的任何部件等价于这里所示的那些部件。

说明书中引用的本原理的“一个实施例”或者“实施例”指结合所述实施例描述的特定特征、结构、特性等等包含在本原理的至少一个实施例中。由此，在贯穿说明书的各处出现的术语“在一个实施例中”或者“在实施例中”不一定都指同一实施例。

如这里所使用的那样，术语“画面”指包括与静止和运动视频相关的图像和/或画面的图像和/或画面。

此外，如这里所使用的那样，术语“稀疏性”指其中信号在变换后域中具有很少的非零系数的情况。作为例子，具有5个非零系数的变换后表示的信号比使用相同的变换框架的、具有10个非零系数的另一信号具有更稀疏的表示。

进一步地，如这里所使用的那样，如同对于画面的子采样所使用的术语“点阵”或“基于点阵的”指其中将根据空间连续和/或非连续的样本的给定的结构图案来选择样本的子采样。在一个例子中，这样的图案可以是诸如矩形图案的几何图案。

并且，如这里所使用的那样，术语“局部”指感兴趣的项目(包括但不限于平均幅度、平均噪声能量的测量、或权重的测量的偏差)相对于像素位置等级、和/或对应于像素或画面内的像素的局部化近邻的感兴趣的项目的关系。

另外，如这里所使用的那样，术语“全局”指感兴趣的项目(包括但不限于平均幅度、平均噪声能量的测量、或权重的测量的偏差)相对于画面等级、和/或对应于画面或序列的像素的整体的感兴趣的项目的关系。

转向图3，概括地由参考标号300指示用于利用多点阵信号变换的、示例位置适配的基于稀疏性的画面滤波器。

下采样和样本布置模块302具有与变换模块(利用变换矩阵1)312的输入端、变换模块(利用变换矩阵2)314的输入端、和变换模块(利用变换矩阵M)316的输入端进行信号通信的输出端。

下采样和样本重布置模块304具有与变换模块(利用变换矩阵1)318的输入端、变换模块(利用变换矩阵2)320的输入端、和变换模块(利用变换矩阵M)322的输入端进行信号通信的输出端。

变换模块(利用变换矩阵1)312的输出端与去噪声系数模块330的输入端信号通信地连接。变换模块(利用变换矩阵2)314的输出端与去噪声系数模块332的输入端信号通信地连接。变换模块(利用变换矩阵M)316的输出端与去噪声系数模块334的输入端信号通信地连接。

变换模块(利用变换矩阵1)318的输出端与去噪声系数模块336的输入端信号通信地连接。变换模块(利用变换矩阵2)320的输出端与去噪声系数模块338的输入端信号通信地连接。变换模块(利用变换矩阵M)322的输出端与去噪声系数模块340的输入端信号通信地连接。

变换模块(利用变换矩阵1)306的输出端与去噪声系数模块324的输入端信号通信地连接。变换模块(利用变换矩阵2)308的输出端与去噪声系数模块326的输入端信号通信地连接。变换模块(利用变换矩阵N)310的输出端与去噪声系数模块328的输入端信号通信地连接。

去噪声系数模块324的输出端、去噪声系数模块326的输出端、以及去噪声系数模块328的输出端各与逆变换模块(利用逆变换矩阵1)342的输入端、逆变换模块(利用逆变换矩阵2)344的输入端、逆变换模块(利用逆变换矩阵N)346的输入端、和组合权重计算模块360的输入端信号通信地连接。

去噪声系数模块330的输出端、去噪声系数模块332的输出端、以及去噪声系数模块334的输出端各与逆变换模块(利用逆变换矩阵1)348的输入端、逆变换模块(利用逆变换矩阵2)350的输入端、逆变换模块(利用逆变换矩阵M)352的输入端、以及组合权重计算模块362的输入端信号通信地连接。

去噪声系数模块336的输出端、去噪声系数模块338的输出端、去噪声系数模块340的输出端各与逆变换模块(利用逆变换矩阵1)354的输入端、逆变换模块(利用逆变换矩阵2)356的输入端、逆变换模块(利用逆变换矩阵M)358的输入端、以及组合权重计算模块364的输入端信号通信地连接。

逆变换模块(利用逆变换矩阵1)342的输出端与组合器模块376的第一输入端信号通信地连接。逆变换模块(利用逆变换矩阵2)344的输出端与组合器模块376的第二输入端信号通信地连接。逆变换模块(利用逆变换矩阵N)346的输出端与组合器模块376的第三输入端信号通信地连接。

逆变换模块(利用逆变换矩阵1)348的输出端与上采样、样本重布置和合并陪集模块368的第一输入端信号通信地连接。逆变换模块(利用逆变换矩阵2)350的输出端与上采样、样本重布置和合并陪集模块370的第一输入端信号通信地连接。逆变换模块(利用逆变换矩阵M)352的输出端与上采样、样本重布置和合并陪集模块372的第一输入端信号通信地连接。

逆变换模块(利用逆变换矩阵1)354的输出端与上采样、样本重布置和合并陪集模块368的第二输入端信号通信地连接。逆变换模块(利用逆变换矩阵2)356的输出端与上采样、样本重布置和合并陪集模块370的第二输入端信号通信地连接。逆变换模块(利用逆变换矩阵M)358的输出端与上采样、样本重布置和合并陪集模块372的第二输入端信号通信地连接。

组合权重计算模块360的输出端与一般组合权重计算模块374的第一输入端信号通信地连接。组合权重计算模块362的输出端与上采样、样本重布置和合并陪集模块366的第一输入端信号通信地连接。组合权重计算模块364的输出端与上采样、样本重布置和合并陪集模块366的第二输入端信号通信地连接。

上采样、样本重布置和合并陪集模块366的输出端与一般组合权重计算模块374的第二输入端信号通信地连接。一般组合权重计算模块374的输出端与组合器模块376的第四输入端信号通信地连接。上采样、样本重布置和合并陪集模块368的输出端与组合器模块376的第五输入端信号通信地连接。上采样、样本重布置和合并陪集模块370的输出端与组合器模块376的第六输入端信号通信地连接。上采样、样本重布置和合并陪集模块372的输出端与组合器模块376的第七输入端信号通信地连接。

变换模块(利用变换矩阵1)306的输入端、变换模块(利用变换矩阵2)308的输入端、变换模块(利用变换矩阵N)310的输入端、下采样和样本布置模块302的输入端、下采样和样本布置模块304的输入端可用作滤波器300的输入端来接收输入图像。组合器模块376的输出端可用作滤波器300的输出端来提供输出画面。

因而，滤波器300提供对应于输入数据的未下采样的处理的处理分支、和对应于输入数据的基于点阵的下采样后处理的处理分支。应当理解，滤波器300提供了可以或可以不并行处理的一系列处理分支。还应理解，虽然描述由滤波器300的不同的相应元件执行若干不同的处理，但给出这里所提供的本原理的教学，本领域和相关领域普通技术人员将容易地理解：可以组合并且由单个元件(例如对于两个或更多处理分支来说共用的单个元件，例如以允许数据的非并行处理的再利用)来执行两个或更多的这样的处理，并且可以容易地向其施加其他修改，同时保持本原理的精神。例如，在一个实施例中，可以在滤波器300外实施组合器模块376，同时保持本原理的精神。

并且，可以以连续的计算步骤(如本实施例中所示)来执行、或以在结尾处的单个步骤(通过考虑到用于重构子采样点阵和/或变换的每个中的像素的每一个的系数的量)来执行如图3中所示的权重的计算以及它们对混合(或结合(fuse))不同的滤波后图像(通过用不同的变换和子采样处理它们而获得)的用途。

给出这里所提供的本原理的教学，本领域和相关领域普通技术人员将想到滤波器300(以及下面在这里描述的滤波器400和500)的这些和其他变体，同时维持本原理的精神。

转向图4，概括地由参考标号400指示用于利用多点阵信号变换的、另一示例位置适配的基于稀疏性的画面滤波器。与图3的滤波器300相比，图4的滤波器400利用开关，以使得可以在信号的不同子采样中使用相同的变换手段(engine)，以将使用中的变换适配为具有更宽范围的用于信号分析的结构属性。即，在图4中，开关的集合指示相同的核心变换域处理单元可以用于计算用于未下采样的和下采样后的处理、以及用于滤波后估计加权过程的所有必需的数据。

开关406的输出端与变换模块(利用变换矩阵1)408的输入端、变换模块(利用变换矩阵2)410的输入端、和变换模块(利用变换矩阵N)412的输入端信号通信地连接。

变换模块(利用变换矩阵1)408的输出端与去噪声系数模块414的输入端信号通信地连接。变换模块(利用变换矩阵2)410的输出端与去噪声系数模块416的输入端信号通信地连接。变换模块(利用变换矩阵N)412的输出端与去噪声系数模块418的输入端信号通信地连接。

去噪声系数模块414的输出端与逆变换(利用逆变换矩阵1)420的输入端、逆变换(利用逆变换矩阵2)422的输入端、逆变换(利用逆变换矩阵N)424的输入端、以及组合权重计算模块426的输入端信号通信地连接。

逆变换(利用逆变换矩阵1)420的输出端与开关428的输入端信号通信地连接。逆变换(利用逆变换矩阵2)422的输出端与开关430的输入端信号通信地连接。逆变换(利用逆变换矩阵N)424的输出端与开关432的输入端信号通信地连接。

组合权重计算模块426的输出端与开关434的输入端信号通信地连接。开关434的输出端选择性地与上采样、样本重布置和合并陪集模块436的第一输入端、上采样、样本重布置和合并陪集模块436的第二输入端、以及一般组合权重计算模块444的第一输入端信号通信地连接。上采样、样本重布置和合并陪集模块436的输出端与一般组合权重计算模块444的第二输入端信号通信地连接。一般组合权重计算模块444的输出端与组合器模块446的第一输入端信号通信地连接。

开关428的第一输出端与组合器模块446的第二输入端信号通信地连接。开关428的第二输出端与上采样、样本布置和合并陪集模块438的第二输入端信号通信地连接。开关428的第三输出端与上采样、样本布置和合并陪集模块438的第三输入端信号通信地连接。

开关430的第一输入端与组合器模块446的第三输入端信号通信地连接。开关430的第二输出端与上采样、样本布置和合并陪集模块440的第二输入端信号通信地连接。开关430的第三输出端与上采样、样本布置和合并陪集模块440的第三输入端信号通信地连接。

开关432的第一输出端与组合器模块446的第四输入端信号通信地连接。开关432的第二输出端与上采样、样本布置和合并陪集模块442的第二输入端信号通信地连接。开关432的第三输出端与上采样、样本布置和合并陪集模块442的第三输入端信号通信地连接。

上采样、样本布置和合并陪集模块438的输出端与组合器模块446的第五输入端信号通信地连接。上采样、样本布置和合并陪集模块440的输出端与组合器模块446的第六输入端信号通信地连接。上采样、样本布置和合并陪集模块442的输出端与组合器模块446的第七输入端信号通信地连接。

下采样和样本重布置模块402的输出端与开关406的第二输入端信号通信地连接。下采样和样本重布置模块404的输出端与开关406的第三输入端信号通信地连接。

开关406的第一输入端、下采样和样本重布置模块402的输入端、下采样和样本重布置模块404的输入端每个可用作滤波器400的输入端来接收输入图像。组合模块446的输出端可用作滤波器400的输出端来提供输出图像。

转向图5，概括地由参考标号500指示用于利用多点阵信号变换的、又一示例位置适配的基于稀疏性的画面滤波器。在图5的滤波器500中，冗余变换集合被打包进单个块中。在图5的滤波器500中，考虑两个可能不同的冗余变换集合A和B。最终，A和B可以是或可以不是相同的冗余变换集合。

下采样和样本重布置模块502的输出端与正向(forward)变换模块(利用冗余变换集合B)508的输入端信号通信地连接。下采样和样本重布置模块504的输出端与正向变换模块(利用冗余变换集合B)510的输入端信号通信地连接。

正向变换模块(利用冗余变换集合A)506的输出端与去噪声系数模块512信号通信地连接。正向变换模块(利用冗余变换集合B)508的输出端与去噪声系数模块514信号通信地连接。正向变换模块(利用冗余变换集合B)510的输出端与去噪声系数模块516信号通信地连接。

去噪声系数模块512的输出端与影响每个像素的非零系数的数目的计算模块526的输入端、以及逆变换模块(利用冗余变换集合A)518的输入端信号通信地连接。去噪声系数模块514的输出端与影响每个像素的非零系数的数目的计算模块530的输入端、以及逆变换模块(利用冗余变换集合B)520的输入端信号通信地连接。去噪声系数模块516的输出端与影响每个像素的非零系数的数目的计算模块532的输入端、以及逆变换模块(利用冗余变换集合B)522的输入端信号通信地连接。

逆变换模块(利用冗余变换集合A)518的输出端与组合模块536的第一输入端信号通信地连接。逆变换模块(利用冗余变换集合B)520的输出端与上采样、样本重布置和合并陪集模块524的第一输入端信号通信地连接。逆变换模块(利用冗余变换集合B)522的输出端与上采样、样本重布置和合并陪集模块524的第二输入端信号通信地连接。

影响每个变换的每个像素的非零系数的数目的计算模块530的输出端与上采样、样本重布置和合并陪集模块528的第一输入端信号通信地连接。影响每个变换的每个像素的非零系数的数目的计算模块532的输出端与上采样、样本重布置和合并陪集模块528的第二输入端信号通信地连接。

上采样、样本重布置和合并陪集模块528的输出端与一般组合权重计算模块534的第一输入端信号通信地连接。影响每个像素的非零系数的数目的计算模块526的输出端与一般组合权重计算模块534的第二输入端信号通信地连接。一般组合权重计算模块534的输出端与组合模块536的第二输入端信号通信地连接。

上采样、样本重布置和合并陪集模块524的输出端与组合模块536的第三输入端信号通信地连接。

正向变换模块(利用冗余变换集合A)506的输入端、下采样和样本重布置模块502的输入端、下采样和样本重布置模块504的输入端每个可用作滤波器500的输入端来接收输入图像。组合模块536的输出端可用作滤波器的输出端来提供输出图像。

图5的滤波器500相对图3的滤波器300提供了明显更紧凑的算法实施，为了简洁和清楚而将画面的冗余表示中所涉及的不同的变换打包到单个框中。应当理解，可以或可以不并行地对冗余变换集合中所包括的每个变换执行变换、去噪声和/或逆变换处理。

应当理解，用于在组合权重计算之前对画面数据进行滤波的、图3-5中所示的各种处理分支可以被视作版本生成器，因为它们生成输入画面的不同版本。

如上所注明，本原理针对用于多点阵基于稀疏性的滤波的方法和装置。

在本原理的实施例中，提供了一种滤波策略，其中从常规矩形采样中采样出具有不同的空间定向的若干点阵。空间点阵采样可以包括但不限于诸如全矩形采样点阵和五点采样点阵之类的点阵。其后对于每个采样后点阵使用给定的变换来应用使用稀疏近似的滤波器。点阵采样负责使变换的基底函数的方向多样化。一旦已经对于全部采样后点阵执行了全部滤波步骤，则通过局部适配的加权步骤来重组这些采样后点阵，以向每个具体位置中的最可靠的滤波后图像版本给出更多的权重。

本发明通过以恰当的方式在施加滤波之前对信号进行预采样，而解决了变换的方向性限制的问题。以此方式，可以实现具有平滑、高频率的特征、纹理、边缘等的、具有定向特性(例如对角)的图像的更好的滤波。改进的滤波可以导致理想信号的更好的估计，这暗示着客观测量和主观测量的两者中的更小的失真、编码应用中的更低的编码开销等。

根据本原理的实施例，提出了一种基于对于要被滤波的图像的不同的子点阵采样的若干滤波步骤的加权组合的、用于图像的高性能非线性滤波器。通过要被滤波的图像的点阵采样的稀疏近似来进行每个滤波步骤。稀疏近似允许从噪声、失真和伪像中鲁棒地分离真实信号分量。取决于信号和稀疏滤波技术，一些信号区域在一个点阵和/或另一点阵中被更好地滤波。最终权重组合步骤允许从最恰当的子点阵采样中适配地选择最好的滤波后数据。

因此，根据本原理，公开了基于对于要被滤波的图像的不同的子点阵采样的若干滤波步骤的加权组合的、用于图像的高性能非线性滤波器。考虑用于方向适配的滤波的构造的基于点阵的变换的使用。因而，在要被滤波的失真(或伪像)的具体类型具有一些方向结构时，根据本原理的实施例，现在可以适配地选择滤波器方向，以使得不保留所述失真(或伪像)。

通过点阵子采样的变换进行的定向变换：

一般地，诸如离散余弦变换(DCT)之类的变换将信号作为原函数(primitive)或基底函数的和来进行分解。取决于所使用的变换，这些原函数或基底函数具有不同的属性和结构特性。转向图6，概括地由参考标号600指示在具有8×8尺寸的DCT中所包括的离散余弦变换(DCT)基底函数以及它们的形状。如同可以观察到的那样，基底函数600看起来具有2个主结构方向。存在大体上垂直定向的函数、存在大体上水平定向的函数、并且存在两者的棋盘状混合的种类的函数。这些形状对于静止信号以及垂直形状和水平形状的信号分量的有效表示来说是恰当的。但是，具有定向属性的信号的部分不被这样的变换有效地表示。一般地，像DCT的例子那样，大部分变换基底函数具有有限种类的方向分量。

修改变换的分解的方向的一种方式是在数字图像的不同子采样中使用这样的变换。实际上，可以沿像素的互补的子集(或陪集)来分解2D采样的图像。可以根据给定的采样图案来实现样本的这些陪集。可以如此建立子采样图案以使得它们是定向的。由子采样图案所施加的这些定向与固定变换组合可以被用于将变换的分解的方向适配为一系列期望的方向。

在图像子采样的实施例中，可以使用整数点阵子采样，其中可以通过非唯一(non-unique)生成器矩阵来表示采样点阵。可以由以下的非唯一生成器矩阵来表示立方整数点阵Z²的任何点阵Λ、子点阵：

$M_A=\left[\begin{array}{cc}{a}_1& b_1\\ a_2& b_2\end{array}\right]=\left[\begin{array}{c}{d}_1\\ d_2\end{array}\right],$ 其中a₁，a₂，b₁，b₂∈Z

由以上矩阵的行列式来给出互补陪集的数目。并且，d₁、d₂可以与2D坐标平面中的采样点阵的主要方向相关。转向图7A和7B，概括地分别由参考标号700和750来指示可以应用本原理的、具有对应的点阵采样矩阵的点阵采样的例子。在图7A中，示出了五点点阵采样。用黑色(填充)点示出与五点点阵采样相关的两个陪集中的一个。通过沿x/y轴方向的1-平移来获得互补陪集。在图7B中，示出了另一方向点阵采样。用黑色和白色点来示出四个可能的陪集中的两个。箭头描绘点阵采样的主要方向。本领域和相关领域普通技术人员可以理解点阵矩阵和点阵采样上的主要方向(箭头)之间的关系。

生成矩阵是两个采样空间之间的映射矩阵，例如定向五点和常规的矩形网格之间的映射矩阵。可以观察到：存在一个采样点阵的坐标轴之间相对于全点阵的隐式旋转。因而可以如下表达两个采样点阵之间的映射：

$\left[\begin{array}{c}{x}_{\mathrm{rec}}\\ y_{\mathrm{rec}}\end{array}\right]=\left[\begin{array}{cc}{a}_1& b_1\\ a_2& b_2\end{array}\right]\·\left[\begin{array}{c}{x}_{\mathrm{qx}}\\ y_{\mathrm{qx}}\end{array}\right]+{\stackrel{\→}{s}}_i^t$

其中为矩形网格中的样本坐标，而

为点阵网格(即五点)中的样本坐标，并且其中代表平移矢量(如图7中所例示的那样)以选择与生成器矩阵相关联的每个互补陪集点阵。取决于矩阵，将存在较多的或较少的平移矢量。

以这样的方式对准任何这样的采样点阵中的每个陪集：以使其可以在下采样后的矩形网格中被完全地重布置(例如被旋转)。这允许对于点阵子采样后信号的任何适用于矩形网格的变换(诸如2D DCT之类)的后继施加。转向图8，概括地由参考标号800指示任何这样的采样点阵中的每个陪集可以被重布置为的、示例的下采样后矩形网格。

点阵分解、点阵重布置、2D变换和相应的逆操作集合的组合允许以任意定向实施2D信号变换。

用于定向适配的滤波的多点阵画面处理：

在实施例中，为适配的画面滤波而提出了画面的至少两个采样的使用。在实施例中，可以再利用诸如DCT系数阈值化之类的相同的滤波策略、并且为了方向适配的滤波而将所述相同的滤波策略一般化。

例如，所述至少两个点阵采样/子采样中的一个可以是给定画面的原始采样网格(即没有画面的子采样)。在实施例中，所述至少两个采样中的另一个可以是所谓的“五点”点阵子采样。这样的子采样由被放置在每隔一个像素的对角地对准的采样上的样本的2个陪集组成。

如图9、3和4所描绘，在实施例中，在本发明中使用至少两个点阵采样/子采样的组合以进行适配的滤波。

转向图9，概括地由参考标号900指示利用多点阵信号变换的位置适配的、基于稀疏性的画面滤波的示例方法。图9的方法900对应于对于数字图像的一系列重布置后整数点阵子采样的变换后域中的基于稀疏性的滤波的应用。

方法900包括开始块905，其向功能块910传递控制。功能块910设置子点阵图像分解的可能的族(family)的形状和数目，并且向循环限制块915传递控制。循环限制块915对于每个(子)点阵族使用变量j来执行循环，并且向功能块920传递控制。功能块920根据子点阵族j来下采样图像并且将图像分割为N个子点阵(子点阵的总数目取决于每个族j)，并且向循环限制块925传递控制。循环限制块925对于每个子点阵使用变量k(总量取决于族j)来执行循环，并且向功能块930传递控制。功能块930(例如从布置A(j，k)到B)重布置样本，并且向循环限制块935传递控制。循环限制块935对变量i的每个值执行循环，并且向功能块940传递控制。功能块940利用变换矩阵i执行变换，并且向功能块945传递控制。功能块945对系数进行滤波，并且向功能块950传递控制。功能块950利用逆变换矩阵i执行逆变换，并且向循环限制块955传递控制。循环限制块955结束在变量i的每个值上的循环，并且向功能块960传递控制。功能块960(从布置B到A(j，k))重布置样本，并且向循环限制块965传递控制。循环限制块965结束在变量k的每个值上的循环，并且向功能块970传递控制。功能块970根据子点阵族j来上采样并且合并子点阵，并且向循环限制块975传递控制。循环限制块975结束在变量j的每个值上的循环，并且向功能块980传递控制。功能块980组合去噪声后系数图像的不同的逆变换后版本(例如其局部适配的加权和)，并且向结束块999传递控制。

对于图9，可以看到在实施例中，通过使用变换后域滤波来生成一系列滤波后画面，所述变换后域滤波继而在画面的不同子采样中使用不同的变换。将最终滤波后图像计算为每个滤波后画面的局部适配的加权和。

在实施例中，通过2D DCT的全部可能的平移(translation)来形成被施加至数字图像的任何重布置后整数点阵子采样的变换的集合。这暗示：对于用于DCT块变换的画面的基于块的分区，总计存在4×4DCT的16个可能的平移。以相同的方式，8×8DCT的可能的平移的总数目将是64。可以在图10A-10D中看到这点的一个例子。转向图10A-10D，分别概括地由参考标号1010、1020、1030和1040来指示用于图像的DCT变换的块分区的示例的可能的平移。图10A-10D分别示出了4×4DCT变换的16个可能的平移中的四个中的一个。可以例如使用一些填充(padding)或图像扩展来实质上扩展比变换尺寸小的不完整的边界块。可以通过填充或者某种画面扩展来实质上扩展画面的边界上的小于变换尺寸的分区。这允许在全部图像块中使用相同的变换尺寸。图9指示在本例子中向每个子点阵(本例子中的2个五点陪集中的每个)施加这样的平移后DCT的集合。

在实施例中，可以通过对每个点阵子采样的每个平移后变换的变换后系数进行阈值化，来在变换阶段的核心处执行滤波处理。用于这样的目的的阈值可以取决于、但不限于以下中的一项或多项：局部信号特性、用户选择、局部统计、全局统计、局部噪声、全局噪声、局部失真、全局失真、为去除而预先指定的信号分量的统计、以及为去除而预先指定的信号分量的特性。在阈值化步骤之后，每个变换后点阵子采样被逆变换。每个互补陪集的集合被旋转回它们原始的采样方案、被上采样并且被合并以恢复原始画面的原始采样网格。在向画面的原始采样直接施加变换的特定情况中，不需要旋转、上采样和采样合并。

最后，根据图9，通过所有不同的滤波后画面的加权相加，将所述所有不同的滤波后画面混合为一个画面。这是按以下方式执行的：设I’_i为通过阈值化而滤波的不同的图像中的每个，其中每个I’_i可以对应于在滤波处理期间已经或尚未经历点阵子采样的任何画面的DCT的平移的阈值化之后的任何重构后画面。设W_i为其中每个像素包含与其I’_i中的同位(co-located)像素相关联的权重的权重的画面。其后如下获得最终估计I’_final：

${I^{,}}_{\mathrm{final}}(x,y)=\underset{i}{\mathrm{\Σ}}{I^{,}}_i(x,y)\·W_i(x,y)$

其中x和y代表空间坐标。

为了计算W_i(x，y)，可以使得在以上方程内使用时，在每个位置，具有变换后域中局部更稀疏的表示的I’_i(x，y)具有更大的权重。这来自以下假定：从阈值化后的变换中的更稀疏的表示获得的I’_i(x，y)包括最低量的噪声/失真。在实施例中，对于每个I’_i(x，y)(从非子采样滤波获得、并且用于基于点阵子采样的滤波的那些)生成W_i(x，y)矩阵。通过对于每个滤波后子采样图像生成独立的W_{i，陪集(j)}(x，y)(即在旋转、上采样和合并的过程之前)，来获得对应于已经经历了点阵子采样过程的I’_i(x，y)的W_i(x，y)，并且其后以与从I’_i(x，y)的互补子采样后分量重组(recompose)I’_i(x，y)的方式相同的方式来旋转、上采样和合并对应于I’_i(x，y)的不同的W_{i，陪集(j)}(x，y)。因而，在一个例子中，已经在滤波处理期间经历了五点子采样的每个滤波后图像将具有2个权重子采样后矩阵。其后，这些权重子采样后矩阵可以被旋转、上采样和合并为将与其对应的I’_i(x，y)一起使用的单个加权矩阵。

在实施例中，以与用于W_i(x，y)的方式相同的方式来执行每个W_{i，陪集(j)}(x，y)的生成。向每个像素指派从其中包括这样的像素的块变换的非零系数的量导出的权重。在一个例子中，可对于每个像素计算W_{i，陪集(j)}(x，y)(以及W_i(x，y))的权重，以使得它们与包括每个像素的块变换内的非零系数的量成反比。根据该方法，W_i(x，y)中的权重具有与用于生成I’_i(x，y)的变换相同的块结构。

多点阵基于稀疏性的滤波的示例应用包括但不限于以下：画面去噪声、画面去伪像、一些其他的后处理目的；用于视频编码器/解码器内的去伪像的环内滤波；用于胶片颗粒去除的预处理视频数据等。

现在将给出对本发明的许多伴随的优势/特征中的一些的描述，所述优势/特征中的一些已经在上面被提及。例如，一个优势/特征为一种具有滤波器的装置，所述滤波器用于对画面的画面数据进行滤波以生成所述画面的至少两个滤波后版本的适配的加权组合。所述画面数据包括所述画面的至少一个子采样。

另一优势/特征为如上所述的具有滤波器的装置，其中通过向所述画面的至少一个子采样应用所述滤波器来生成所述画面的所述至少两个滤波后版本中的至少一个。所述画面的所述至少一个子采样包括代表所述画面的至少一部分的值的至少一个二维图案。

又一优势/特征为如上所述的具有滤波器的装置，其中所述画面数据包括所述画面的两个不同的采样，并且向所述画面的所述至少两个不同的采样应用所述滤波器以生成所述画面的所述至少两个滤波后版本。所述至少两个不同的采样包括所述画面的所述至少一个子采样。

又一优势/特征为如上所述的具有滤波器的装置，其中所述滤波器是线性滤波器和非线性滤波器中的至少一个。

此外，另一优势/特征为如上所述的具有滤波器的装置，其中将所述画面数据变换为系数，并且所述滤波器基于信号稀疏性约束在变换后域中对所述系数进行滤波。

进一步地，另一优势/特征为如上所述的、具有基于信号稀疏性约束在变换后域中对所述系数进行滤波的滤波器的装置，其中，所述适配的加权组合基于对变换后域中的滤波后系数的稀疏性的测量。

并且，另一优势/特征为如上所述的、具有基于信号稀疏性约束的在变换后域中对所述系数进行滤波的滤波器的装置，其中所述变换后域响应于至少一个冗余变换和至少一个变换集合中的至少一个。

另外，另一优势/特征为如上所述的、具有基于信号稀疏性约束的在变换后域中对所述系数进行滤波的滤波器的装置，其中使用至少一个阈值来在变换后域中对所述系数进行滤波。

此外，另一优势/特征为如上所述的、具有使用至少一个阈值在变换后域中对所述系数进行滤波的滤波器的装置，其中所述至少一个阈值取决于以下中的至少一项而局部地适配：用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、为去除而预先指定的信号分量的统计、为去除而预先指定的信号分量的特性、包括所述画面数据的输入信号的信号分量的统计、以及包括所述画面数据的输入信号的信号分量的特性。

进一步地，另一优势/特征为如上所述的具有滤波器的装置，其中所述装置被包括在视频编码器内。

并且，另一优势/特征为如上所述的具有滤波器的装置，其中所述装置被包括在视频解码器内。

另外，另一优势/特征为如上所述的具有滤波器的装置，其中值的至少一个二维图案包括代表所述画面的至少一部分的至少一个二维几何图案。

此外，另一优势/特征为如上所述的具有滤波器的装置，其中所述滤波器包括版本生成器、权重计算器和组合器。所述版本生成器用于生成所述画面的所述至少两个滤波后版本。所述权重计算器用于对于所述画面的所述至少两个滤波后版本的每一个计算权重。所述组合器用于适配地计算所述画面的所述至少两个滤波后版本的适配的加权组合。

可以由相关领域中的普通技术人员基于这里的教学而容易地确定本原理的这些和其他特征和优势。应当理解，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实施本原理的教学。

最优选地，本原理的教学被实现为硬件和软件的组合。另外，软件可以实现为以有形方式实现在程序存储单元上的应用程序。该应用程序可以被上载到包含任何适当体系结构的机器并且由其执行。优选地，所述机器被实现在计算机平台之上，其具有诸如一个或者多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接口之类的硬件。计算机平台还可以包括操作系统和微指令代码。此处描述的各种处理和功能可以为微指令代码的一部分或者为应用程序的一部分，或者其任意组合，其可以由CPU执行。另外，诸如附加的数据存储单元以及打印单元的各种其他外设单元可以连接到计算机平台。

还应该理解，因为在附图中所示的某些系统构成组件与方法优选地以软件实现，所以系统组件或者处理功能块之间的实际连接可能依赖于本原理的编排方式而不同。给出此处的教学，相关领域的普通技术人员将能够设想本原理的这些以及类似的实现或者配置。

虽然此处参照附图描述了说明性实施例，但是应该理解本原理不限于这些确切的实施例，并且相关领域的普通技术人员在不脱离本原理的范围与精神的前提下，可以在其中进行各种变化和修改。所有这些变化和修改都意在包含在权利要求书所提出的本原理的范围之内。

Claims (18)

1.一种基于稀疏性滤波的装置，其包括：

滤波器(300、400、500)，所述滤波器用于对画面的画面数据进行滤波以生成所述画面的至少两个滤波后版本的适配的加权组合，所述画面数据包括所述画面的至少一个子采样，其中所述滤波器包括：

变换模块(506，508，510)，将所述画面数据变换为系数；

去噪声系数模块(512，514，516)，在变换后的域中对所述系数进行滤波以生成所述画面的至少两个滤波后版本，其中，所述至少两个滤波后版本中的第一滤波后版本响应于第一冗余变换集合，所述至少两个滤波后版本中的第二滤波后版本响应于第二冗余变换集合，所述第一冗余变换集合与所述第二冗余变换集合不同。

2.如权利要求1所述的装置，其中通过向所述画面的至少一个子采样应用所述滤波器来生成所述画面的所述至少两个滤波后版本中的至少一个，所述画面的所述至少一个子采样包括代表所述画面的至少一部分的值的至少一个二维图案。

3.如权利要求1所述的装置，其中所述画面数据包括所述画面的至少两个不同的采样，并且向所述画面的所述至少两个不同的采样应用所述滤波器(300、400、500)以生成所述画面的所述至少两个滤波后版本，所述至少两个不同的采样包括所述画面的所述至少一个子采样。

4.如权利要求1所述的装置，其中所述适配的加权组合基于对变换后域中的滤波后系数的稀疏性的测量。

5.如权利要求1所述的装置，其中使用至少一个阈值来在变换后域中对所述系数进行滤波。

6.如权利要求5所述的装置，其中所述至少一个阈值取决于以下中的至少一项而被局部地适配：用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、为去除而预先指定的信号分量的统计、为去除而预先指定的信号分量的特性、包括所述画面数据的输入信号的信号分量的统计、以及包括所述画面数据的输入信号的信号分量的特性。

7.如权利要求1所述的装置，其中所述装置被包括在视频编码器内。

8.如权利要求1所述的装置，其中所述装置被包括在视频解码器内。

9.一种基于稀疏性滤波的方法，其包括：

将画面数据变换为系数，所述画面数据包括所述画面的至少一个子采样；

在变换后的域中对所述系数进行滤波以生成所述画面的至少两个滤波后版本，其中，所述至少两个滤波后版本中的第一滤波后版本响应于第一冗余变换集合，所述至少两个滤波后版本中的第二滤波后版本响应于第二冗余变换集合，所述第一冗余变换集合与所述第二冗余变换集合不同；以及

计算所述画面的所述至少两个滤波后版本的适配的加权组合(900)。

10.如权利要求9所述的方法，其中通过对所述画面的至少一个子采样进行滤波来生成所述画面的所述至少两个滤波后版本中的至少一个，所述画面的所述至少一个子采样包括代表所述画面的至少一部分的值的至少一个二维图案。

11.如权利要求9所述的方法，其中所述画面数据包括所述画面的至少两个不同的采样，并且通过对所述画面的所述至少两个不同的采样进行滤波，来生成所述画面的所述至少两个滤波后版本，所述至少两个不同的采样包括所述画面的所述至少一个子采样(700、750、800、915、920)。

12.如权利要求9所述的方法，其中所述适配的加权组合基于对变换后域中的滤波后系数的稀疏性的测量(376、446、536)。

13.如权利要求9所述的方法，其中使用至少一个阈值来在变换后域中对所述画面的系数进行滤波(945)。

14.如权利要求13所述的方法，其中所述至少一个阈值取决于以下中的至少一项而被局部地适配：用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、为去除而预先指定的信号分量的统计、为去除而预先指定的信号分量的特性、包括所述画面数据的输入信号的信号分量的统计、以及包括所述画面数据的输入信号的信号分量的特性。

15.如权利要求9所述的方法，其中在视频编码器内执行所述方法。

16.如权利要求9所述的方法，其中在视频解码器内执行所述方法。

17.如权利要求10所述的方法，其中所述值的至少一个二维图案包括代表所述画面的至少一部分的值的至少一个二维几何图案(700、750)。

18.如权利要求9所述的方法，其中所述滤波包括对所述画面的所述至少两个滤波后版本中的每个计算权重(374、444、534)。

Images