CN101505367B - 自适应图像增强方法 - Google Patents

Abstract

公开了一种滤波系统和方法，用于对视频图像执行同时的、去噪的和细节增强的任务。高效滤波器系统包括多个滤波器，其对已经被划分为多个环的视频图像的一部分进行操作。使用该滤波系统，能够避免复杂的数据运算。

Description

自适应图像增强方法 

技术领域

本申请涉及图像处理，更具体的，涉及高效图像滤波操作。 

背景技术

图像和视频的增强处理通常包括两个相抵触的任务—噪声降低和细节增强。噪声降低任务包括对高频成分进行衰减，而细节增强任务是通过增加图像的高频和中频成分来执行的。因此，用于对受模糊影响或受加性噪声影响的图像或视频序列进行重建的一些线性方法的效果非常差。更为复杂的自适应方法是有效的，但是在计算上有着更多要求并且难以实时执行。 

因此，一直存在对于用于克服现有技术中的缺陷的图像和视频增强的方法的需求。 

附图说明

通过参考以下详细描述并结合附图，能够更容易理解本文档的各个领先方面以及很多附带的优点，其中，相似的数字在各种观点之间指代类似部件，除非另有说明。 

图1是根据一些实施例的自适应滤波方案的框图； 

图2是根据一些实施例的高效滤波系统的框图； 

图3是示出了根据一些实施例，使用3个环环境(enviroment)对5×5环境进行分割的框图； 

图4是示出了根据一些实施例，由图2的高效滤波系统所执行的各个操作的流程图； 

图5是根据一些实施例，具有简单(整数)系数的环滤波器的框图； 

图6是根据一些实施例，图2的高效滤波系统的高频增强的滤波器频率响应的图； 

图7是根据一些实施例，图2的高效滤波系统的中频增强的滤波器频 率响应的图；以及 

图8是根据一些实施例，图2的高效滤波系统的高频衰减的滤波器频率响应的图。 

具体实施方式

根据在此所述的实施例，公开了一种高效滤波系统和方法，用于对视频图像执行同时的、去噪的且细节增强的任务。该高效滤波系统包括多个滤波器，这些滤波器对已经被划分为多个环的视频图像的一部分进行操作。使用该高效滤波系统，避免了复杂的数学运算。 

图1是根据一些实施例的自适应滤波方案40的框图。该自适应滤波方案40包括邻域分类模块22、细节增强滤波器24、传递函数模块26、噪声降低滤波器28和阿尔法混合模块32。这些组件对输入图像20执行操作，以产生输出图像30。 

邻域分类模块22产生对输入图像20的像素邻域的持续测量值，包括关于视觉重要性的数据(视觉重要性测量值(visual significant measure))。邻域分类模块22的测量值对于平坦区域具有较低值，对于具有重要细节(例如边缘或纹理)的邻域具有较高值。噪声降低滤波器28可以是线性平滑(平均)滤波器。细节增强滤波器24可以是线性锐化(非尖锐内容屏蔽型)滤波器。 

传递函数模块26从邻域分类模块22接收视觉重要性测量值。其基于该测量值产生归一化系数(0到1之间)，表示为α，并且阿尔法混合模块32根据该系数混合两个滤波器24和28的输出。对于较低的视觉重要性测量值，噪声降低滤波器(模块28)的贡献得到较高权重，而对于较高的视觉重要性测量值，细节增强滤波器(模块24)的贡献得到较高权重。 

自适应滤波方案40的效果考虑到了人的视觉系统对于平坦图像区域中的噪声敏感，而对于具有高变化性的区域中的噪声较为不敏感。 

普通自适应滤波方案40(图1)的实现可能是相对耗时的，因为要对每个像素计算这两个滤波操作。图2是根据一些实施例的高效滤波方案100的框图。高效滤波系统100与滤波方案40相比包含的计算量显著减少。 

高效滤波系统100利用了平滑滤波器和锐化滤波器的径向对称性。如 同自适应滤波方案40一样，高效滤波系统100包括邻域分类模块22、传递函数模块36和阿尔法混合模块32。然而，高效滤波系统100没有采用细节增强滤波器24和噪声降低滤波器28，而是采用了3个环滤波器：环滤波器RF₀、环滤波器RF₁和环滤波器RF₂。这些环滤波器可以是标准线性滤波器，其每一个都将一环状邻域作为输入。高效滤波系统100可以归纳为具有n个环，其中n为整数。 

邻域分类模块22和传递函数模块26可以是标准图像处理模块，其分析当前像素(P_0，0)邻域并设定参数α和β的值。邻域分类模块22通常使用诸如局部可变性、水平及垂直Sobel算子的响应等等之类的特征。传递函数模块26在期望的范围内以这样的方式产生混合系数α和β：即，使得在邻域特征中的较小变化不会造成混合系数值的明显改变。这种连续性可以防止时间伪影，而在相反的情况下，强烈的细节增强操作就可能会造成时间伪影。 

在5×5滤波环境中来阐述高效滤波系统100，尽管在此所图示说明的原理可以应用于其他环境。可以将5×5滤波器计算划分为3个简单的“环”滤波器计算，并且以自适应的方式来对结果进行混合。该仅使用了两个乘法实现的环滤波器混合能够产生可与用高复杂度的通用方案(图1的自适应滤波器40)所实现的结果相比拟的结果。 

图3示出了根据一些实施例，如何将5×5滤波环境划分为适合于由高效滤波系统100进行滤波的3个环境。图示出了像素80的5×5的排列，并且每个像素都根据其行列位置而唯一地表示为P_row，column，其中，-2≤row≤2并且-2≤column≤2。 

5×5排列80可以被划分为3个“环”排列，排列80的“外侧”形成第一环82，中间部分减去中心像素P_0，0形成第二环84，中心像素P_0，0形成第三环86。在高效滤波系统100中，环82可以由环滤波器R₂处理，第二环84可以由环滤波器R₁处理，第三环86可以由环滤波器R₀处理。 

用

来表示5×5邻域中的像素索引，并且用

来表示对应的滤波器系数，则可以将3个环滤波器的输出写为： 

PR₀＝P_0，0，  ${\mathrm{PR}}_1=\underset{i,j\∈R_1}{\mathrm{\Σ}}{F}_{i,j}(P_{i,j}-P_{\mathrm{0,0}}),$ ${\mathrm{PR}}_2=\underset{i,j\∈R_2}{\mathrm{\Σ}}{F}_{i,j}(P_{i,j}-P_{\mathrm{0,0}})$

现在由以下给出自适应滤波器的输出： 

P_out＝PR₀+αPR₁+βPR₂

其中，α和β是由传递函数模块26提供的系数。由于两个外侧环滤波器是对像素差P_i，j-P_0，0计算的，因此可以证明该自适应滤波器始终是归一化的，即它的系数的总和等于1。因此，避免了滤波器系数归一化(这在计算上是耗时的)。通过使用环滤波器R₀，R₁和R₂，可以用等效于仅计算一个线性滤波器的计算复杂度来执行该自适应滤波。 

以上情况可以被认为是n个环的实现，其中n＝2。归纳为n为整数的n个环，该自适应滤波器的输出可以给出为： 

P_out＝PR₀+α₁PR₁+α₂PR₂+...+α_nPR_n， 

其中，α₁，α₂，...，α_n是由传递函数模块26提供的系数。对于n＝2的情况，系数α₁＝α并且α₂＝β。 

图4是根据一些实施例，由高效滤波系统100执行的各个操作的流程图。滤波器100接收待滤波的图像20(方块102)。对于输入图像中的每个像素，由三个环滤波器R₀、R₁和R₂处理5×5像素的对称邻域。 

在一些实施例中，同时执行接下来的操作104、106和108。三个环部分82、84和86的每一个可以分别使用三个环滤波器R₀、R₁和R₂进行滤波(图2)。外侧部分可以使用R₂环滤波器进行滤波(方块104)。中间部分可以使用R₁环滤波器进行滤波(方块106)。内侧部分可以使用R₀环滤波器进行滤波(方块108)。 

在环滤波器R₀、R₁和R₂对像素邻域中其对应的部分进行滤波的同时，滤波系统100还可以执行邻域分类(方块112)。在此，对像素邻域进行分析。然后，执行传递函数36，其产生系数α和β(方块114)。在滤波操作之后，可以使用阿尔法混合模块32将这些结果进行阿尔法混合(方块110)。 

在一些实施例中，可以通过对环滤波器R₀、R₁和R₂使用恒定的(且非常简单的)系数，来进一步提高高效滤波系统100的计算效率。以这种方式，可以执行没有乘法的环滤波器计算，并且可以仅用两次乘法(α*PR₁和β*PR₂)来计算该自适应滤波器。 

除了它的高效性之外，在一些实施例中，基于环滤波器的自适应滤波器100能够执行通常用更为复杂的自适应滤波器来实现的完整范围的图像处理操作。这是通过仔细选择系数α和β来实现的。表1示出了根据一些实施例，使用图5中的环滤波器系数92、94和96执行三个基本图像处理操作的情况。表1提供了用于高频增强、中频增强以及高频衰减的数据，包括有系数α和β的值。图6、7和8分别示出了图1的高频增强、中频增强和高频衰减实例的滤波器频率响应。

表1：基于自适应环滤波器的图像处理操作 

高效滤波系统100可以使用硬件、软件或者软件与硬件的组合来实现。在一些实施例中，高效滤波系统100能够仅使用在标准实现中该特征所需要的资源中的一小部分来实现高级图像处理特征、自适应滤波。因此，使用高效滤波系统100可以实现门数的减少或者处理时间的减少，或者两者都可实现。 

高效滤波系统100是现有技术实现中所没有的用于实现自适应滤波的一种新颖方法。自适应滤波是图像处理中普通实践技术。然而，自适应滤波是复杂的并且需要大量系统资源。因此，在特定的平台中是禁止自适应滤波的。使用该高效滤波系统100，就可以以非常低的资源消耗来执行高质量的自适应滤波。该高效滤波系统100还可以允许对自适应滤波器的功能的非常简单的控制，这是因为在该滤波器设计中仅涉及到了两个系数(α和β)。这是相对于需要调节很多系数和参数的其他实现的另一个优点。 

虽然已经针对有限数量的实施例描述了本申请，但是本领域普通技术人员会从中意识到各种修改和变化。所想要的是附带的权利要求覆盖所有这些修改和变化，只要它们落入了本发明的真实精神和范围之内。

Claims (20)

1.一种滤波系统，包括

分类模块，其用于分析输入图像的当前像素邻域，其中，所述分类模块基于所述分析产生视觉重要性测量值；

传递函数，其用于产生混合系数α₁，...，α_n，其中n为整数；

n个环滤波器，其用于对所述像素邻域进行滤波，所述像素邻域被划分为n个环环境，其中，每个环环境由不同的环滤波器进行滤波；以及

阿尔法混合模块，其用于接收来自所述传递函数的所述混合系数以及来自所述环滤波器的输出。

2.如权利要求1所述的滤波系统，

其中，所述阿尔法混合模块产生以下值作为输出：

P_out＝PR₀+α₁PR₁+α₂PR₂+...+α_nPR_n，其中，PR₀、PR₁、PR₂、...、PR_n分别是所述n个环滤波器的输出。

3.如权利要求1所述的滤波系统，所述n个环滤波器进一步包括：

第一环滤波器，R₁；

第二环滤波器，R₂；以及

第三环滤波器，R₃；

其中，所述像素邻域被划分为三个环环境。

4.如权利要求3所述的滤波系统，其中，所述混合是根据以下函数来实现的：P_out＝PR₀+αPR₁+βPR₂，其中，PR₀、PR₁和PR₂分别是所述第一环滤波器、所述第二环滤波器和所述第三环滤波器的输出，并且α和β是混合系数。

5.如权利要求3所述的滤波系统，其中，所述像素邻域是由

定义的5×5像素邻域。

6.如权利要求5所述的滤波系统，进一步包括由

定义的滤波器系数，其中，所述三个环滤波器的输出PR₀、PR₁和PR₂由以下给出：

${\mathrm{PR}}_0=P_{\mathrm{0,0}},{\mathrm{PR}}_1=\underset{i,j\∈R_1}{\mathrm{\Σ}}{F}_{i,j}(P_{i,j}-P_{\mathrm{0,0}}),$ ${\mathrm{PR}}_2=\underset{i,j\∈R_2}{\mathrm{\Σ}}{F}_{i,j}(P_{i,j}-P_{\mathrm{0,0}}).$

7.如权利要求5所述的滤波系统，进一步包括由

定义的滤波器系数，其中，所述第一环滤波器的输出PR₀由以下给出：

PR₀＝P_0，0。

8.如权利要求5所述的滤波系统，进一步包括由

定义的滤波器系数，其中，所述第二环滤波器的输出PR₁由以下给出：

${\mathrm{PR}}_1=\underset{i,j\∈R_1}{\mathrm{\Σ}}{F}_{i,j}(P_{i,j}-P_{0,0}).$

9.如权利要求5所述的滤波系统，进一步包括由

定义的滤波器系数，其中，所述第三环滤波器的输出PR₂由以下给出：

${\mathrm{PR}}_2=\underset{i,j\∈R_2}{\mathrm{\Σ}}{F}_{i,j}(P_{i,j}-P_{\mathrm{0,0}}).$

10.一种对图像执行高效滤波的方法，该方法包括：

接收所述图像，其中，所述图像是由

定义的5×5像素邻域；

使用第一环滤波器R₂对所述图像的外侧部分进行滤波，得到第一输出；

使用第二环滤波器R₁对所述图像的中间部分进行滤波，得到第二输出；

使用第三环滤波器R₀对所述图像的内侧部分进行滤波，得到第三输出；并且

对所述第一输出、所述第二输出和所述第三输出进行阿尔法混合。

11.如权利要求10所述的执行高效滤波的方法，进一步包括：

执行对所述图像的邻域分类，以产生对所述图像的像素邻域的连续测量值，其包括关于视觉重要性的数据。

12.如权利要求10所述的执行高效滤波的方法，进一步包括：

执行传递函数，以产生系数α和β；

其中，所述系数α和β用于对所述第一输出、所述第二输出和所述第三输出进行阿尔法混合。

13.如权利要求11所述的执行高效滤波的方法，对所述第一输出、所述第二输出和所述第三输出进行阿尔法混合的步骤进一步包括：

执行公式：P_out＝PR₀+αPR₁+βPR₂，其中，PR₂、PR₁和PR₀分别是所述第一环滤波器、所述第二环滤波器和所述第三环滤波器的输出，并且α和β是混合系数。

14.一种对图像执行高效滤波的方法，该方法包括：

接收所述图像，其中，所述图像是n×n的像素邻域，n为整数；

使用第一环滤波器R₁对所述图像的第一部分进行滤波，得到第一输出；

使用第二环滤波器R₂对所述图像的第二部分进行滤波，得到第二输出；

使用第三环滤波器R₃对所述图像的第三部分进行滤波，得到第三输出；以及

对各个环滤波器的输出进行阿尔法混合。

15.如权利要求14所述的执行高效滤波的方法，进一步包括：

使用第四环滤波器R₄对所述图像的第四部分进行滤波，得到第四输出；以及

对所述第一输出、所述第二输出、所述第三输出和所述第四输出进行阿尔法混合。

16.如权利要求15所述的执行高效滤波的方法，对所述第一输出、所述第二输出、所述第三输出和所述第四输出进行阿尔法混合的步骤进一步包括：

执行函数：P_out＝PR₀+α₁PR₁+α₂PR₂+α₃PR₃，其中，PR₀、PR₁、PR₂和PR₃分别是所述第一输出、所述第二输出、所述第三输出和所述第四输出，并且α₁、α₂和α₃是混合系数。

17.如权利要求14所述的执行高效滤波的方法，进一步包括：

使用第四环滤波器R₄对所述图像的第四部分进行滤波，得到第四输出；

使用第五环滤波器R₅对所述图像的第五部分进行滤波，得到第五输出；并且

对所述第一输出、所述第二输出、所述第三输出、所述第四输出和所述第五输出进行阿尔法混合。

18.如权利要求17所述的执行高效滤波的方法，对所述第一输出、所述第二输出、所述第三输出、所述第四输出和所述第五输出进行阿尔法混合的步骤包括：

执行函数：P_out＝PR₀+α₁PR₁+α₂PR₂+α₃PR₃+α₄PR₄，其中PR₀、PR₁、PR₂、PR₃和PR₄分别是所述第一输出、所述第二输出、所述第三输出、所述第四输出和所述第五输出，并且α₁、α₂、α₃和α₄是混合系数。

19.如权利要求14所述的执行高效滤波的方法，进一步包括：

使用第四环滤波器R₄对所述图像的第四部分进行滤波，得到第四输出；

使用第五环滤波器R₅对所述图像的第五部分进行滤波，得到第五输出；

使用第六环滤波器R₆对所述图像的第六部分进行滤波，得到第六输出；并且

对所述第一输出、所述第二输出、所述第三输出、所述第四输出、所述第五输出和所述第六输出进行阿尔法混合。

20.如权利要求19所述的执行高效滤波的方法，对所述第一输出、所述第二输出、所述第三输出、所述第四输出、所述第五输出和所述第六输出进行阿尔法混合的步骤包括：

执行函数：P_out＝PR₀+α₁PR₁+α₂PR₂+α₃PR₃+α₄PR₄+α₅PR₅，其中PR₀、PR₁、PR₂、PR₃、PR₄和PR₅分别是所述第一输出、所述第二输出、所述第三输出、所述第四输出、所述第五输出和所述第六输出，并且α₁、α₂、α₃、α₄和α₅是混合系数。

Images