CN104463819B - 图像滤波方法和装置 - Google Patents

Abstract

本发明描述了一种使用引导图像滤波器对图像进行滤波的方法和装置(20)。滤波器(22)使用引导图像计算滤波输出。为了计算(13)滤波输出，考虑与滤波器输入相关联的置信值。使用所述置信值来执行置信加权平均。

Description

图像滤波方法和装置

技术领域

本发明涉及一种图像滤波方法和装置，更具体地，涉及一种使用引导图像滤波器对图像进行滤波的方法和装置。

背景技术

目前，开发了一种所谓的引导图像滤波器作为边缘保持平滑滤波器。参照He等人的：“Guided Image Filtering”，Proceedings of the 11th European conference onComputer vision(ECCV′10)(2010)，第1-14页。除了输入要滤波的数据之外，引导图像滤波器还提供对驱动滤波处理的引导图像的另一输入。已证实引导图像滤波器在包括alpha抠图(alpha matting)(参照He等人的：“A Global Sampling Method for Alpha Matting”，Proceedings of the 2011 IEEE Conference on Computer Vision and PatternRecognition(CVPR′11)(2011)，第2049-2056页)等的广泛的应用中是有效的。引导图像滤波器具有一些关键特性和优点。第一个优点在于保持滤波器输入中的细节。另一优点在于与类似滤波器相比，滤波输出具有更高质量。例如，引导图像滤波器不像双边滤波器那样存在梯度反转伪像(gradient reversal artifacts)(参照Tomasi等人的：“BilateralFiltering for gray and color images”，Proceedings of the 1998 IEEEInternational Conference on Computer Vision(ICCV)(1998)，第839-846页)。最后，引导图像滤波器支持极为高效的实现方式。引导图像滤波器的复杂度是O(n)，其中n表示图像中的像素数量。应注意，这意味着计算复杂度不依赖于所选的滤波器内核的大小。其它的边缘保持平滑滤波器不具有这种特性。

在Jachalsky等人的“Confidence evaluation for robust，fast-convergingdisparity map refinement”，2010 IEEE International Conference on Multimediaand Expo(ICME)(2010)，第1399-1404页中，公开了置信感知双边滤波器(confidence-aware Bilateral Filter)。除了潜在的梯度反转伪像之外，该滤波器还存在计算复杂度的问题，尤其是对于较大的内核尺寸。

发明内容

因此，本发明的目的在于提出一种使用引导图像对图像进行滤波的改进的解决方案。

根据本发明，通过一种使用引导图像滤波器对图像进行滤波的方法来实现上述目标，其中使用引导图像计算滤波输出。考虑与滤波器输入相关联的置信值，以计算滤波输出。

相应地，一种配置为使用引导图像滤波器对图像进行滤波的装置包括：滤波器，配置为使用引导图像计算滤波输出，还配置为考虑与滤波器输入相关联的置信值，以计算滤波输出。

类似地，一种计算机可读存储介质，其中存储有指令，所述指令能够实现使用引导图像滤波器对图像进行滤波，当由计算机执行时，所述指令使计算机使用引导图像计算滤波输出，其中考虑到与滤波器输入相关联的置信值，以计算滤波输出。

在许多应用中，置信图与要滤波的数据共存。置信值提供了对输入数据中的元素的所认为的可靠程度的度量。本发明所提出的解决方案将标准引导图像滤波器扩展为利用这种置信信息。因此，通过利用与滤波器输入相关联的置信数据，改善了引导图像滤波器的输出质量。尤其是，这一目的的实现并未以牺牲引导图像滤波器的O(n)实现复杂度为代价。

引导图像滤波器的一个要素是线性回归分析。根据本发明，在将置信值作为权重的情况下，采用了加权的线性回归，即，提出了一种置信感知引导图像滤波器。

由于引导图像滤波器是能够保持滤波器输入中的细节的平滑滤波器，引导图像滤波器可应用于多种应用。置信感知引导图像滤波器有助于要对与置信值共存的噪声数据进行平滑的任何应用，例如，alpha(α)抠图、视差估计、着色、光流等。本发明所提出的扩展引导图像滤波器能够以最小的计算开销显著改善最终滤波器输出的质量，并同时保持其O(n)复杂度。

在alpha抠图的情况下，对于由www.alphamatting.com提供的训练数据集，与标准版本的滤波器相比，本发明所提出的置信感知引导图像滤波器平均可以将所产生的alpha抠图的质量(SAD)改善大约28％。

与Jachalsky等人提出的置信感知联合双边滤波器相比，置信感知引导图像滤波器提供了更高的输出质量。

由于计算复杂度和存储需求较低，置信感知引导图像滤波器完全适用于移动设备。

为了更好地理解本发明，现将参考附图在以下描述中更详细地解释本发明。应理解，本发明不限于这种示例实施例，还可以在不脱离由所附权利要求限定的本发明的范围内，适当地组合和/或修改具体的特征。

附图说明

图1示意性地示出了根据本发明的使用引导图像滤波器对图像进行滤波的方法；以及

图2示出了适用于实现根据本发明的使用引导图像滤波器对图像进行滤波的解决方案的装置。

具体实施方式

下文中，描述了引导图像滤波器的两个示例实施方式。在引导图像滤波器的一个公式中(经典滤波器公式)，将滤波器输出q用公式表示为其相邻像素的加权平均：

其中，q_i是像素i的滤波器输出，p_j表示像素j处的滤波器输入，W_ij(I)表示根据引导图像I计算出的像素i和j之间的权重。由此，用公式将输出表示为经典的加权平均图像滤波操作。应注意，Tomasi等人的双边滤波器的输出具有相同的公式表达。此外，Jachalsky等人公开了对双边滤波器的置信感知扩展，其中以置信值调整权重W_ij。因此，对引导图像滤波器采用相同的方法似乎是直截了当的。不幸地，引导图像滤波器的这种经典滤波器公式具有超线性复杂度，令这种方法不具吸引力。因此，本发明关注于提供O(n)计算复杂度的引导图像滤波器的基本公式表达。本发明的目标在于保持这种线性复杂度。

下文提供了对提供了O(n)实现复杂度的引导图像滤波器的基本公式表达的概述。在He等人的“Guided Image Filtering”，Proceedings of the 11 th Europeanconference on Computer vision(ECCV′10)(2010)，第1-14页中将找到更多的细节。区分了以下两种情况。

情况1：引导图像是灰度图像

引导图像滤波器假定滤波器输出q是引导图像I在以像素k为中心的窗口ω_k中的线性变换：

q_i＝a_kI_i+b_k，

其中，I_i表示引导图像中的像素i，a_k和b_k是假定在ω_k中恒定的一些系数。为了确定系数，引导图像滤波器求解令滤波器输入p与其输出q之间的差值最小的解。具体的成本函数为：

其中ε是防止系数a_k变得过大的调整参数。可以通过线性回归，计算优化系数：

这里，表示ω_k中I_i和p_i的平均乘积，和是ω_k中I的平均值和方差，|ω|表示ω_k中的像素数目，而表示ω_k中p的平均值。

由于q_i包含在多于一个窗口ω_k中，引导图像滤波器将最终滤波器输出表示为所有窗口上的平均输出：

其中

情况2：引导图像是3通道彩色图像。

与灰度情况一样，引导图像滤波器假定滤波器输出q是I在以像素k为中心的窗口ω_k中的线性变换：

其中，I_i现在是3×1矢量，表示引导图像中像素i的颜色，a_k是针对ω_k的3×1系数矢量。同样地，假定a_k和b_k在ω_k中恒定，并通过线性回归，计算a_k和b_k：

∑_k表示I在ω_k中的3×3协方差矩阵。可以将它的元素计算为：

其中|ω|表示ω_k中的像素数量，表示I在像素i处的颜色通道x的值。

与灰度情况一样，由于q_i包含在多于一个窗口ω_k中，引导图像滤波器将最终滤波器输出表示为包含像素i的所有窗口上的平均输出：

其中

下文中，将描述修正置信加权线性回归。

如上所述，引导图像滤波器中的标准线性回归不考虑一些输入p_i的所认为的可靠程度。在假定所有p_i是同样可靠的情况下，计算回归线。任何残差具有相同的权重。本发明通过根据与p_i相关联的置信计算对残差进行加权的回归线，克服了该限制。对于许多应用，在先前的处理阶段中，与要滤波的数据一起产生这种置信数据，因此这种置信数据是可用的。在灰度图像的情况下，通过最小化以下能量来计算所述系数：

其中c_i表示与滤波器输入p_i相关联的置信。对加权线性回归系数的计算是本领域公知的。通常来说，用加权平均操作代替任何平均操作。由于本发明将置信值用作权重，将加权平均值计算如下：

其中X表示要平均的量。

下文描述了针对灰度情况和彩色情况这二者的结果。

根据本发明的一个方案，将针对灰度情况的修正系数和计算为：

其中

类似地，将针对彩色情况的修正系数和计算为：

其中

这里表示I在ω_k中的置信加权协方差矩阵。其元素可以计算为：

由于像素q_i包含在多于一个窗口ω_k中，根据标准引导图像滤波器，平均各窗口的系数以计算最终输出q_i。根据本发明的另一方案，通过置信加权平均来计算输出q_i。

在本发明的一个实施例中，根据窗口的窗口置信(例如，窗口中置信值的总和(或等同地，平均值))，对所述窗口的贡献进行加权。在这种情况下，将所述系数计算为：

其中

在本发明的另一实施例中，根据窗口的中心像素的置信，对所述窗口的贡献进行加权。在这种情况下，将所述系数计算为：

此时，c_k表示与窗口ω_i的中心像素相关联的置信值。

以上五个公式对于灰度情况和彩色情况成立。在灰度情况下，a_k、b_k、和是标量值，而对于彩色情况，均为3×1的矢量。

对于灰度情况，将最终滤波器输出计算为：

而对于彩色情况，将最终滤波器输出计算为：

图1示意性地示出了根据本发明一个实施例的使用引导图像滤波器对图像进行滤波的方法。在第一步骤，检索10要滤波的图像。然后，获得11引导图像，所述引导图像可以是要滤波的图像或不同的图像。然后，检索12与滤波器输入相关联的置信值。考虑所述置信值以计算13滤波输出。最后，提供14计算出的滤波输出。

图2示出了适于实现根据本发明的使用引导图像滤波器对图像进行滤波的解决方案的装置20的一个实施例。所述装置具有包括一个或多个输入单元的输入21，用于检索10要滤波的图像、获得11引导图像、以及例如从附连的存储器或从网络检索12与滤波器输入相关联的置信值。同样地，所述装置也可以基于其它输入数据来计算所述置信值，或者可以使用多于一个输入来检索多种输入数据。此外，可以从装置20的内部存储器获得数据。滤波器22考虑置信值，计算13滤波输出。在输出23处提供14所得到的滤波输出。类似地，滤波器22可以实现为运行在处理器上的软件。此外，可以将输入21和输出23组合为单一的双向接口。

Claims (18)

1.一种使用引导图像滤波器对图像进行滤波的方法，包括：

检索要滤波的图像、获得引导图像和检索与所述要滤波的图像相关联的置信值；

通过使用引导图像在窗口中的线性变换，计算滤波输出，根据从所述要滤波的图像得到的滤波器输入值以及与所述滤波器输入值相关联的置信值计算用于所述线性变换的系数，其中根据针对所述窗口获得的将置信值用作权重的加权平均值计算用于所述线性变换的系数；以及

输出计算出的滤波输出。

2.根据权利要求1所述的方法，其中计算滤波输出包括：根据与滤波器输入值相关联的置信值，计算对残差进行加权的回归线。

3.根据权利要求1所述的方法，其中使用各窗口的系数的置信加权平均，计算滤波输出。

4.根据权利要求1所述的方法，其中根据窗口的窗口置信，对所述窗口的贡献进行加权。

5.根据权利要求4所述的方法，其中窗口置信是所述窗口内置信值的总和或平均值。

6.根据权利要求1所述的方法，其中根据窗口的中心像素的置信，对所述窗口的贡献进行加权。

7.一种配置为使用引导图像滤波器对图像进行滤波的装置，所述装置包括：

输入，配置为检索要滤波的图像、获得引导图像和检索与要滤波的图像相关联的置信值；

滤波器，配置为通过使用引导图像在窗口中的线性变换，计算滤波输出，根据从所述要滤波的图像得到的滤波器输入值以及与所述滤波器输入值相关联的置信值计算用于所述线性变换的系数，其中根据针对所述窗口获得的将置信值用作权重的加权平均值来计算用于所述线性变换的系数；以及

输出，用于输出计算出的滤波输出。

8.根据权利要求7所述的装置，其中所述滤波器配置为通过根据与滤波器输入值相关联的置信值计算对残差进行加权的回归线，来计算滤波输出。

9.根据权利要求7所述的装置，其中所述滤波器配置为使用各窗口的系数的置信加权平均，计算滤波输出。

10.根据权利要求7所述的装置，其中所述滤波器配置为根据窗口的窗口置信，对所述窗口的贡献进行加权。

11.根据权利要求10所述的装置，其中窗口置信是所述窗口内置信值的总和或平均值。

12.根据权利要求7所述的装置，其中所述滤波器配置为根据窗口的中心像素的置信，对所述窗口的贡献进行加权。

13.一种在其中存储有指令的非暂时性计算机可读存储介质，所述指令能够实现使用引导图像滤波器对图像进行滤波，当由计算机执行时，所述指令使计算机：

检索要滤波的图像、获得引导图像和检索与所述要滤波的图像相关联的置信值；

通过使用引导图像在窗口中的线性变换，计算滤波输出，根据从所述要滤波的图像得到的滤波器输入值以及与所述滤波器输入值相关联的置信值计算用于所述线性变换的系数，其中根据针对所述窗口获得的将置信值用作权重的加权平均值计算用于所述线性变换的系数；以及

输出计算出的滤波输出。

14.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述指令使计算机通过根据与滤波器输入值相关联的置信值计算对残差进行加权的回归线，来计算滤波输出。

15.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述指令使计算机使用各窗口的系数的置信加权平均，计算滤波输出。

16.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述指令使计算机根据窗口的窗口置信，对所述窗口的贡献进行加权。

17.根据权利要求16所述的非暂时性计算机可读存储介质，其中窗口置信是所述窗口内置信值的总和或平均值。

18.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述指令使计算机根据窗口的中心像素的置信，对所述窗口的贡献进行加权。