CN106651932B - 基于多尺度梯度差值的单幅图像散焦模糊估计算法 - Google Patents

Abstract

本发明公开了一种基于多尺度梯度差值的单幅图像散焦模糊估计算法，步骤(1)、边缘位置散焦模糊估计；步骤(2)、对稀疏散焦地图进行滤波和插值，最终获得全散焦地图。与现有技术相比，本发明能够准确地计算出图像每一个像素点处的散焦值；其中散焦估计算法能够有效抑制模糊纹理的歧义性；对于不同场景类型的散焦模糊图像，均可以获得高精度的散焦地图。

Description

基于多尺度梯度差值的单幅图像散焦模糊估计算法

技术领域

本发明涉及计算机视觉的图像模糊处理技术领域，特别是涉及一种单幅图像散焦模糊估计算法。

背景技术

图像模糊是指一个传感器像素单元接收到来自多个场景点发出的光造成的图像退化，其成因主要有相机抖动、光学散焦和拍摄场景中目标物体的运动。在实际的拍摄过程中，场景中的物体处于不同的深度，由于成像系统的浅景深限制，拍摄出的图像存在空间变化的散焦模糊。散焦估计就是要从散焦模糊图像中估计出不同区域的模糊程度。

近些年，有一些算法致力于从单幅图像中估计散焦地图。现有技术参考包括：

1)使用阶跃函数模拟边缘结构，然后利用函数拟合的方式来估计边缘位置的模糊值并使用非齐次优化算法传播这些模糊值，获得了一幅全散焦地图；

2)利用图像局部区域的图像梯度和对比度之间的关系，来测量每一个像素点的模糊量，并将这种关系定义为局部对比度先验；

3)将输入图像与一个已知的高斯模糊内核进行卷积实现再模糊，然后利用输入图像和再模糊图像之间的梯度幅值比计算出稀疏散焦地图。

虽然以上方法能够从单幅图像中估计出散焦地图，但是这些方法没有结合多尺度策略，这会导致估计出的散焦模糊值不够精确。迄今为止，在国内外公开发表的论文和文献中尚未见开展有关基于多尺度梯度差值的单幅图像散焦模糊估计算法。

发明内容

基于现有技术，本发明提出了一种面向专业领域的在线主题检测方法，充分利用图像的细节纹理信息，引入基于多尺度梯度差值的框架，提出一种单幅图像散焦模糊估计算法，以实现散焦图像的模糊程度估计。

本发明的一种基于多尺度梯度差值的单幅图像散焦模糊估计算法，该方法包括以下步骤：

步骤(1)、边缘位置散焦模糊估计，该步骤的具体操作包括：

给定一幅理想聚焦图像i(x,y)，对应的模糊图像p(x,y)建模为：

其中，(x,y)表示图像中的像素点坐标，σ表示原始图像每个像素点的散焦模糊量，先定义一组二维高斯内核g(x,y,σ_k),k＝1,2,...,n，每个二维高斯函数g(x,y,σ_k)的表达式为：

设置σ_k∈{1.2,1.8,2.4,3.0,3.6,4.2}像素；

接下来，使用这些二维高斯内核g(x,y,σ_k)与原始模糊图像p(x,y)进行卷积，得到一组再模糊图像p_k(x,y)(k＝1,2,...,n)，该过程如下式所示：

获得一组再模糊图像沿任意方向θ的梯度

公式表示为：

其中，

和

表示再模糊图像p_k(x,y)沿y轴和x轴的梯度函数；

分别给定沿y轴方向幅值为A的阶梯型边缘b(x)和沿x轴方向幅值为A′的阶梯型边缘b(y)，

b(x)＝Aμ(x)+B (5)

b(y)＝A′μ(y)+B′ (6)

其中μ(x)是理想阶跃函数，B是b(x)对应的偏移量；μ(y)是理想阶跃函数，B′是b(y)对应的偏移量；

计算出一组再模糊图像p_k(x,y)沿y轴和x轴的一组梯度函数

和

将式(7)和(8)带入式(4)，计算出

沿梯度方向θ_M(x,y,σ_k)的一组梯度幅值

证明这组梯度函数

和

分别在y轴和x轴上获得最大值：

当这组梯度函数

和

同时取得最大值时，梯度幅值

获得一组梯度幅值最大值

获得一组梯度差值C_i,j，公式如下：

其中，A^θ＝210，任取相邻的两个再模糊尺度σ_i＝1.2,σ_j＝1.8；

使用MATLAB曲线拟合工具箱来获得各散焦模糊量，计算公式如下：

最后，计算这n-1个散焦估计值的加权平均值，得到每一个边缘像素的散焦估计值；

步骤(2)、对稀疏散焦地图进行滤波和插值，该步骤的具体操作包括：

利用散焦模糊量组成一幅稀疏散焦地图

对散焦地图的边缘像素进行联合双边滤波，校正原始稀疏散焦地图中的错误估计值；

采用基于拉普拉斯的插值方法对稀疏散焦地图

进行插值；

最终获得全散焦地图。

与现有技术相比，本发明能够准确地计算出图像每一个像素点处的散焦值；其中散焦估计算法能够有效抑制模糊纹理的歧义性；对于不同场景类型的散焦模糊图像，均可以获得高精度的散焦地图。

附图说明

图1为本发明的基于多尺度梯度差值的单幅图像散焦模糊估计算法整体流程示意图；

图2为公式(14)的拟合结果示意图；

图3为本发明与其他现有相关算法在散焦模糊估计效果方面的实验结果对比图，(3a)输入图像；(3b)Bae et al.算法^[3]实验结果；(3c)Shi et al.算法^[4]实验结果；(3d)Zhuo et al.算法^[5]实验结果；(3e)Tang et al.算法^[6]实验结果；(3f)本发明算法实验结果。

具体实施方式

下面结合附图对本发明作进一步详细描述。

如图所示，为本发明的单幅图像散焦模糊估计算法整体流程示意图，该算法包含两个步骤：边缘位置散焦模糊估计和对稀疏散焦地图进行滤波和插值。详细流程描述如下：

步骤1、边缘位置散焦模糊估计

给定一幅理想聚焦图像i(x,y)，对应的模糊图像p(x,y)建模为：

其中，(x,y)表示图像中的像素点坐标，σ表示原始图像每个像素点的散焦模糊量，g(x,y,σ)表示二维高斯函数，具体表达式为：

先定义一组二维高斯内核g(x,y,σ_k)，其模糊尺度依次为σ₁＜σ₂＜...＜σ_n；接下来，使用这些二维高斯内核g(x,y,σ_k)与原始模糊图像p(x,y)进行卷积，得到一组再模糊图像p_k(x,y)(k＝1,2,...,n)，该过程如下式所示：

再模糊图像沿任意方向θ的梯度

表示为：

其中，

和

表示再模糊图像p_k(x,y)沿y轴和x轴的梯度函数。

定义b(x)表示沿y轴方向幅值为A的阶梯型边缘：

b(x)＝Aμ(x)+B (5)

其中μ(x)是理想阶跃函数，B是偏移量。相应的，沿x轴方向幅值为A′的阶梯型边缘表示为：

b(y)＝A′μ(y)+B′ (6)

其中B′是对应的偏移量。给定沿y轴和x轴的阶梯型边缘b(x)和b(y)，计算出再模糊图像p_k(x,y)沿y轴和x轴的梯度函数

和

将式(7)和(8)带入式(4)，可以计算出

沿梯度方向θ_M(x,y,σ_k)的梯度幅值

证明梯度函数

和

分别在y轴和x轴上获得最大值：

于是当梯度函数

和

同时取得最大值时，梯度幅值

获得最大值

可以观察到任意一对梯度幅值

和

(1≤i＜j≤n)都可以用来计算梯度差值，然后散焦模糊值可以通过这些边缘位置的梯度差值计算获得。本发明中，梯度差值C_i,j定义如下：

设置σ_k∈{1.2,1.8,2.4,3.0,3.6,4.2}像素，A^θ＝210。为了使用式(14)计算图像边缘位置的散焦模糊量σ，任取相邻的两个再模糊尺度σ_i＝1.2,σ_j＝1.8进行举例说明。从公式(14)可以看到，梯度差值C_i,j仅与散焦量σ有关。因此使用这些梯度差值，能够计算出边缘位置的散焦模糊量σ。使用MATLAB曲线拟合工具箱来获得散焦模糊量的计算公式：

在实验中B的值设置为0.2-1.2。

如图二所示，(2a)是散焦模糊量计算公式的拟合结果，其中虚线是对公式(14)进行取点采样，实线表示式(14)的拟合结果；(2b)分别使用虚线和实线来绘制式(14)和式(15)的曲线，可以看到这两条曲线拟合程度很高。因此，本发明通过求解式(15)来获得边缘位置的散焦模糊量σ。

在实际执行中，首先利用Canny算子检测出图像中的每一条边缘，然后将原始模糊图像p_k(x,y)与二维高斯内核g(x,y,σ_k)(k＝1,2,...,n)进行卷积得到一组再模糊图像p_k(x,y)，进而计算出n个再模糊图像的梯度幅值。实验研究发现利用相邻的两个再模糊尺度计算出的梯度差值可以得到更加精确的散焦估计值。因此针对图像的边缘像素，可以通过求解式(15)得到n-1个散焦值。最后，计算这n-1个散焦估计值的加权平均值，得到每一个边缘像素的散焦估计值。

步骤2、对稀疏散焦地图进行滤波和插值

步骤1中已经估计出边缘像素的散焦模糊量σ，这些散焦模糊量可以组成一幅稀疏散焦地图

但是，存在于图像中的噪声可能会导致散焦值的错误估计。为了消除这些异常值的影响，本发明使用联合双边滤波技术^[1]对稀疏散焦地图进行处理。注意到本专利算法仅对散焦地图的边缘像素进行联合双边滤波。通过联合双边滤波之后，原始稀疏散焦地图中的一些错误估计值得到了很好的校正，从而保证稀疏地图插值过程的准确度。

最后，基于现存的图像插值方法，可以将一幅稀疏散焦地图

插值成一幅全散焦地图s(x,y)。本发明算法采用基于拉普拉斯的插值方法^[2]对稀疏散焦地图

进行插值。

如图3所示，第三行图像的方框区域存在模糊纹理，但是方法^[5]将其作为散焦模糊进行处理，从而估计出错误的散焦值。通过对比，本发明算法能够有效抑制这种模糊纹理的歧义性。

如图3所示的散焦模糊估计实验结果，本发明分别与基于字典学习的散焦估计方法^[4]，基于频域的散焦估计方法^[6]以及两种基于边缘的散焦估计方法^[3,5]进行比较。实验结果表明，本发明得到的散焦地图比上述算法的结果具有更加丰富的细节纹理信息。

在图3的第一行图像中，输入图像的散焦模糊值从前景连续变化到背景位置。本发明算法得到的散焦地图充分体现了这种变化过程。然而，基于边缘的散焦估计方法^[3]存在明显的错误估计值，本发明算法很好地消除了这些错误。在实线方框区域，对比方法^[5]，本发明的实验结果具有更加丰富的纹理细节。在虚线方框区域，基于频域的散焦估计方法^[6]没有很准确地计算出这些位置的散焦值。通过对比发现，本发明算法能够很准确地估计出南瓜和土壤对应的散焦值。

如图3所示，对于第二行和第四行的输入散焦图像，由于场景中的物体处于不同的深度，因此输入图像存在空间变化的散焦模糊。(3c)是方法^[4]的结果，该算法估计出的散焦地图不够精细；通过对比，本发明算法能够很好地解决这个问题。(3d)是方法^[5]的实验结果，该方法对于图像中的纹理区域处理效果不是很好：例如在第二行图像中的物体头部区域，本发明算法得到的实验结果比方法^[5]的结果具有更丰富的纹理细节信息。(3e)是方法^[6]的实验结果，该方法不能很好地估计出第二行图像星星位置的散焦值。通过对比发现，本发明算法估计出的散焦值更加精确。

此外，本专利提出的算法能够处理模糊纹理的歧义性。附图三的第三行图像的方框区域存在模糊纹理，但是方法^[5]将其作为散焦模糊进行处理，从而估计出错误的散焦值。通过对比，本专利算法能够有效抑制这种模糊纹理的歧义性。

参考文献：

[1]Petschnigg G,Szeliski R,Agrawala M,et al.Digital photography withflash and no-flash image pairs[J].ACM transactions on graphics(TOG),2004,23(3):664-672.

[2]Levin A,Lischinski D,Weiss Y.A closed-form solution to naturalimage matting[J].IEEE Transactions on PatternAnalysis and MachineIntelligence,2008,30(2):228-242.

[3]Bae S,Durand F.Defocus magnification[C]//Computer GraphicsForum.Blackwell Publishing Ltd,2007,26(3):571-579.

[4]Shi J,Xu L,Jia J.Just noticeable defocus blur detection andestimation[C]//2015IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2015:657-665.

[5]Zhuo S,Sim T.Defocus map estimation from a single image[J].PatternRecognition,2011,44(9):1852-1858.

[6]Tang C,Hou C,Song Z.Defocus map estimation from a single image viaspectrum contrast[J].Optics letters,2013,38(10):1706-1708.

Claims (2)

1.一种基于多尺度梯度差值的单幅图像散焦模糊估计算法，其特征在于，该方法包括以下步骤：

步骤(1)、边缘位置散焦模糊估计，该步骤的具体操作包括：

给定一幅理想聚焦图像i(x,y)，对应的模糊图像p(x,y)建模为：

其中，(x,y)表示图像中的像素点坐标，σ表示原始图像每个像素点的散焦模糊量，先定义一组二维高斯内核g(x,y,σ_k),k＝1,2,...,n，每个二维高斯函数g(x,y,σ_k)的表达式为：

设置σ_k∈{1.2,1.8,2.4,3.0,3.6,4.2}像素；

接下来，使用这些二维高斯内核g(x,y,σ_k)与原始模糊图像p(x,y)进行卷积，得到一组再模糊图像p_k(x,y),k＝1,2,...,n，该过程如下式所示：

获得一组再模糊图像沿任意方向θ的梯度

公式表示为：

其中，

和

表示再模糊图像p_k(x,y)沿y轴和x轴的梯度函数；

分别给定沿y轴方向幅值为A的阶梯型边缘b(x)和沿x轴方向幅值为A′的阶梯型边缘b(y)，

b(x)＝Aμ(x)+B (5)

b(y)＝A′μ(y)+B′ (6)

其中μ(x)是理想阶跃函数，B是b(x)对应的偏移量；μ(y)是理想阶跃函数，B′是b(y)对应的偏移量；

计算出一组再模糊图像p_k(x,y)沿y轴和x轴的一组梯度函数

和

将式(7)和(8)带入式(4)，计算出

沿梯度方向θ_M(x,y,σ_k)的一组梯度幅值

证明这组梯度函数

和

分别在y轴和x轴上获得最大值：

当这组梯度函数

和

同时取得最大值时，梯度幅值

获得一组梯度幅值最大值

获得一组梯度差值C_i,j，公式如下：

其中，A^θ＝210，任取相邻的两个再模糊尺度σ_i＝1.2,σ_j＝1.8；

使用MATLAB曲线拟合工具箱来获得各散焦模糊量，计算公式如下：

最后，计算这n-1个散焦估计值的加权平均值，得到每一个边缘像素的散焦估计值；

步骤(2)、对稀疏散焦地图进行滤波和插值，该步骤的具体操作包括：

利用散焦模糊量组成一幅稀疏散焦地图

对散焦地图的边缘像素进行联合双边滤波，校正原始稀疏散焦地图中的错误估计值；

采用基于拉普拉斯的插值方法对稀疏散焦地图

进行插值；

最终获得全散焦地图。

2.如权利要求1所述的基于多尺度梯度差值的单幅图像散焦模糊估计算法，其特征在于，针对图像的边缘像素，通过式(15)得到n-1个散焦估计值，计算这n-1个散焦估计值的加权平均值，得到每一个边缘像素的散焦估计值。

Images