CN105678761B - 一种基于方向极值的噪声图像的散焦图估计方法 - Google Patents

Abstract

本发明公开了一种基于方向极值的噪声图像的散焦图估计方法，先利用K‑SVD算法对带噪声的散焦图像进行降噪处理，提取出图像中的边缘。然后在图像边缘点处，估计每个边缘点的模糊程度。计算完每个边缘点的模糊程度后，则得到了稀疏散焦图。再利用联合双边滤波去除稀疏的散焦图中的噪声。最后利用非均匀的插值方法对降噪后的稀疏散焦图进行插值得到一副完整的散焦图。本发明可以更加准确地估计出带有噪声的模糊图像的散焦图。

Description

一种基于方向极值的噪声图像的散焦图估计方法

技术领域

本发明属于数字信号处理领域

背景技术

图像的散焦模糊是由相机镜头有限的景深所造成的。散焦模糊反映出拍摄者所关注的是前景物体而并不是背景场景。对于观察者来说，观察者同样也会更加关注图像中聚焦的前景而忽略模糊的背景。在散焦模糊图像中，聚焦的部分通常是人眼视觉系统所更加关注的部分。能够使计算机有效地区分出所拍摄图像中的聚焦部分和散焦部分,不仅为提取场景中感兴趣区域提供了重要的线索,而且还能为后续的目标检测、识别以及场景分析等算法提供重要信息,从而提高算法的准确性和可靠性。

对散焦模糊图像中各个像素点的模糊程度进行估计,并生成一幅记录每个像素点模糊程度的图像,这幅图像被称为散焦图。散焦图可以很好地反映出整幅图像中聚焦的部分和散焦的部分。由于现有方法主要是针对无噪声或者弱噪声的图像进行散焦图估计，当图像中存在较强的噪声时，现有算法将无法很好地辨别出图像中的聚焦部分和散焦部分，而人眼视觉系统即使在噪声情况下仍然能够识别出图像的聚焦部分和散焦部分。

发明内容

为了使计算机视觉系统能更好地模拟人眼视觉系统对感兴趣的区域(聚焦部分)的提取，本发明的发明目的在于提供一种基于方向极值的散焦图估计方法。该散焦图估计算法可以更加准确地估计出带有噪声的模糊图像的散焦图。

本发明的发明目的通过以下技术方案实现：

一种基于方向极值的噪声图像的散焦图估计方法，包含以下步骤：

第一步，利用K-SVD算法对带噪声的散焦图像进行降噪，得到第一降噪图像，并对第一降噪图像进行边缘位置提取；

第二步，定义一组具有方向性的高斯低通滤波器，并对高斯低通滤波器的滤波方向进行量化；

第三步，选择其中一个滤波方向的高斯低通滤波器对带噪声的散焦图像进行降噪滤波，得到第二降噪图像；

第四步，选择与步骤3不同方向的其它所有高斯低通滤波器分别估计第二降噪图像的边缘点处的模糊程度；

第五步，对第四步中每个边缘点处估计得到的模糊程度取最小的值，并将最小的值对应的滤波方向作为在该高斯低通滤波器下的一个方向极值；

第六步，重复第三步至第五步，直至高斯低通滤波器对噪声图像的各个方向都进行了降噪处理和边缘点处的模糊程度估计，并对每个边缘点所对应的所有方向极值取最小值，将此最小值设置为该边缘点的模糊程度，从而得到边缘处的稀疏散焦图；

第七步，利用联合双边滤波器对稀疏散焦图进行降噪处理得到降噪稀疏散焦图；

第八步，利用非均匀插值方法对降噪稀疏散焦图进行插值，从而得到完整的散焦图。

附图说明

图1为本发明的整体流程图；

图2a为实施例中带噪图像的示意图；

图2b为实施例中第一降噪图像的示意图；

图2c为实施例中提取的边缘位置的示意图；

图3为实施例中一组带方向的高斯低通滤波器的示意图；

图4为实施例中稀疏散焦图的示意图；

图5为实施例中得到的完整散焦图的示意图。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1所示，本发明利用图像的高频分量处能够更准确地反映出图像的散焦和聚焦情况，所以先利用图像去噪算法对带噪声的散焦图像进行降噪处理，提取出图像中的边缘。然后在图像边缘点处，估计每个边缘点的模糊程度。在此阶段，由于去噪后的图像边缘会产生阶梯效应，即去噪后图像边缘的模糊程度则会发生改变，因此，利用去噪后图像估计边缘处的模糊程度会产生较大误差。由于边缘具有明确的方向性，而噪声则具有随机性的特点，因此采用一组具有方向性的滤波器对图像进行降噪处理，再估计边缘处的模糊程度。在此阶段，首先利用某一个方向滤波器对图像进行滤波，来降低图像中的噪声，再沿其他方向计算边缘点处的模糊程度，并选取该降噪滤波器方向上模糊程度最小值作为该边缘的方向极值，然后采用另一方向的滤波器对图像进行降噪，再计算得到沿该方向滤波后边缘处的方向极值，最后选取出该边缘点所有方向极值的最小值作为该边缘点的模糊程度。计算完每个边缘点的模糊程度后，则得到了稀疏散焦图。由于相邻边缘的模糊程度应该相似，再利用联合双边滤波去除稀疏的散焦图中的噪声。最后利用非均匀的插值方法对稀疏散焦图进行插值得到一副完整的散焦图。下面对本发明的各个实施步骤作详细说明。

步骤1：利用稀疏表达中的K-SVD算法^[1]对输入的带噪声的散焦图像B(如图2(a)所示)进行去噪处理，得到第一降噪图像(如图2(b)所示)，并利用Canny边缘提取算法计算第一降噪图像中边缘的位置E(x,y)(如图2(c)所示)。

步骤2：如图3所示，定义一组具有方向性的高斯低通滤波器f_θ,θ∈Φ＝{Δθ,2Δθ,3Δθ,....,180°}，Δθ为滤波方向的采样间隔，高斯低通滤波器的数目为

步骤3：选择其中一个方向的高斯低通滤波器对噪声图像进行降噪滤波，得到第二降噪图像。

利用f_θ方向滤波器对带噪声的散焦图像B进行滤波，消除图像中噪声。具有方向性的高斯低通滤波器进行滤波的数学模型为：

其中，B_θ为高斯低通滤波器滤波后的第二降噪图像，D_θ＝[cosθ,sinθ]^T表示一个与水平夹角为θ的单位向量，t表示空间中一像素点到x的距离。Z是一个归一化因子。方向滤波器形状由f(t)控制，表示为其中，σ_s用来控制滤波器的宽度。

步骤4：选择与步骤3不同方向的其它所有高斯低通滤波器分别估计第二降噪图像的边缘点处的模糊程度。

沿方向θ对带噪声的散焦图像进行了降噪处理后，θ方向上的高频分量被明显消除。由于只知道边缘的位置而很难获得准确的边缘方向信息，因此，沿其他不同的方向估计边缘点模糊程度。由于是沿方向估计边缘处的模糊程度，可以建模成1维的情况，具体表示为：

其中，i(x)表示阶跃的边缘，A和T分别表示边缘的幅度和偏移，g(x；σ)表示边缘处所对应的点扩散函数，即σ反映了边缘处散焦的程度，并且边缘在x＝0处。利用重模糊的方法^[2]即求解σ。具体来说，对去噪后的第二降噪图像B_θ用另一个方向的高斯低通滤波器进行滤波，σ_r表示该方向高斯低通滤波器高斯核的标准差，由此模糊后的边缘的梯度表示为：

然后计算原始边缘和模糊后边缘的梯度幅度的比值：

根据上式可知，在x＝0处比值最大，即：

因此，边缘的模糊程度为：

步骤5：对第四步中每个边缘点处估计得到的模糊程度取最小的值，并将最小的值对应的滤波方向作为在该高斯低通滤波器下的一个方向极值。

根据步骤4，遍历中的所有方向，并且求出不同方向下所得到的并取最小值，即之所以取不同方向下的最小值，是因为当边缘方向与一致时，可近似为理想的阶跃边缘，而当边缘方向与不一致时，可近似为于被平滑了的阶跃边缘，此时所估计的边缘处的会比真实情况要大。因此对于沿不同方向所估计的模糊程度σ_θ是沿方向θ降噪滤波后的一个极小值。

步骤6：重复第三步至第五步，直至高斯低通滤波器对噪声图像的各个方向都进行了降噪处理和边缘点处的模糊程度估计，并对每个边缘点所对应的所有方向极值取最小值，将此最小值设置为该边缘点的模糊程度，从而得到边缘处的稀疏散焦图。

选择另一个方向为θ的高斯低通滤波器，重复步骤3至步骤5，直到集合Φ中所有的方向都被选中。由此，每一个边缘点都对应一组模糊程度的极值再从σ_p选出最小值的作为该边缘点的模糊程度，最终得到了一幅图像的边缘处的稀疏散焦图，如图4所示。

步骤7:利用联合双边滤波器对稀疏散焦图进行降噪处理得到降噪稀疏散焦图。

从步骤6中得到了边缘处的稀疏散焦图，但由于图像中的噪声以及方向滤波器量化误差等会导致估计的稀疏的散焦图会存在噪声，因此采用联合双边滤波器(JointBilateral Filtering)^[3]对稀疏散焦图进行降噪处理，使得相邻边缘处的散焦程度应该更加相近，最终得到降噪稀疏散焦图M_s。

步骤8：利用非均匀插值方法对降噪稀疏散焦图进行插值，从而得到完整的散焦图。

利用Levin等人的方法^[3]对步骤7所得到的降噪稀疏散焦图进行插值得到一幅完整的散焦图M_f。根据文献[3]，需通过优化下式来得到完整的散焦图M_f：

式中，m_f和m_s分别表示完整散焦图M_f和稀疏散焦图M_s的向量形式。U是一个对角矩阵，当像素点x位于边缘时，对应对角线上的元素U(x,x)为1。L是抠图拉普拉斯矩阵(matting Laplacian matrix)^[4]，λ是权重系数(一般取0.005)。通过优化上式的目标函数，即可得到完整散焦图的向量形式：

m_f＝λ(L+λU)^-1Um_s

最终将向量形式转化为图像，则得到了带噪声图像的散焦图M_f，如图5所示。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

参考文献：

[1]Aharon M,Elad M,Bruckstein A.The K-SVD:An Algorithm for Designingof Overcomplete Dictionaries for Sparse Representation.IEEE Transactions onSignal Processing,2006,54(11):4311–4322.

[2]Zhou S,Sim T.Defocus map estimation from a single image.PatternRecognition,2011,44(9):1852–1858.

[3]Eisemann E,Durand F.Flash photography enhancement via intrinsicrelighting.ACM Transactions on Graphics,2004,23(3):673–678.

[4]Levin A,Lischinski D,Weiss Y.A closed-form solution to naturalimage matting.IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2):228–242.

Claims (1)

1.一种基于方向极值的噪声图像的散焦图估计方法，包含以下步骤：

第一步，利用K-SVD算法对带噪声的散焦图像进行降噪，得到第一降噪图像，并在第一降噪图像上提取边缘点；

第二步，定义一组具有方向性的高斯低通滤波器，并对高斯低通滤波器的滤波方向进行量化；

第三步，选择其中一个滤波方向的高斯低通滤波器对带噪声的散焦图像进行降噪滤波，得到第二降噪图像；

第四步，选择与第三步不同滤波方向的其它所有高斯低通滤波器分别估计第二降噪图像在边缘点处的模糊程度；

第五步，对第四步中每个边缘点处估计得到的模糊程度取最小的值，并将最小的值对应的滤波方向作为在该高斯低通滤波器下的一个方向极值；

第六步，重复第三步至第五步，直至高斯低通滤波器对噪声图像的各个方向都进行了降噪处理和边缘点处的模糊程度估计，并对每个边缘点所对应的所有方向极值取最小值，将此最小值设置为该边缘点的模糊程度，从而得到边缘点处的稀疏散焦图；

第七步，利用联合双边滤波器对稀疏散焦图进行降噪处理得到降噪稀疏散焦图；

第八步，利用非均匀插值方法对降噪稀疏散焦图进行插值，从而得到完整的散焦图。