CN102663748A - 基于频域的低景深图像分割方法 - Google Patents

Abstract

本发明提供基于频域的低景深图像分割方法，利用低景深图像中对焦对象包含的高频分量较多，而模糊区域包含的高频分量较小的特性，基于频域来进行低景深图像分割处理。本发明使用均值滤波器对原始图像的频域进行平滑从而得到近似完全模糊的图像的幅度谱，即使得经平滑处理后的幅度谱近似背景区域的幅度谱。当原始低景深图像的幅度谱减去经平滑处理后的幅度谱之后，就能得到对焦对象的高频差分幅度谱，再将对焦对象的高频差分幅度谱变换回空间域就能得到能够定位对焦对象的对焦图。对焦图为灰度图像，其中亮色的区域指示出图像的对焦对象，暗色的区域指示出图像的模糊背景。

Description

基于频域的低景深图像分割方法

技术领域

本发明涉及图像处理技术，特别涉及图像分割技术。

背景技术

伴随着数字成像技术的发展和成熟，人们的日常生活中涌现了大量的数字图像。在种类繁多的数字图像当中，低景深图像因其出色的视觉效果尤其受到人们的欢迎和青睐。低景深图像区别于普通图像的特点是，它拥有对焦清晰的前景区域，以及离焦模糊的背景区域。前景清晰而背景模糊，这一强烈对比使得人们很容易将注意力集中在对焦的前景对象上，也使得图像的信息主要表征在对焦对象上，对焦对象因而也是图像的语义对象。为获取对焦图像的主要信息，我们通常需要分割出对焦对象。

目前，主要有两类分割低景深图像的方法，即基于边缘和基于区域的方法，这两种方法均在空间域上对低景深图像像素进行分析。基于边缘的方法通过衡量图像边缘点的模糊程度提取出对焦对象的边缘轮廓。该方法主要基于这样一个观察，即对焦对象内部的边缘点模糊程度较小，背景区域内的边缘点模糊程度较高。通过使用阶保留方法去估计边缘像素的模糊程度，可以判定一个边缘像素是否属于对焦对象。最后，把所有属于对焦对象的边缘像素连接起来，并进行区域填充就可以分割出对焦对象。基于区域的方法依赖于对低景深图像中高频区域的检测。由于低景深图像中的对焦对象是清晰的，其中的高频成分较多，高频信息丰富的区域对应的正是对焦对象区域。这可以通过分析图像的局部方差、高频小波系数统计表示或者高频小波系数的方差得以实现。

发明内容

本发明所要解决的技术问题是，提供一种新的，基于频域的低景深图像分割方法。

本发明为解决上述技术问题所采用的技术方案是，基于频域的低景深图像分割方法，包括以下步骤：

频域变换步骤：对原始图像进行傅里叶变换至频域，求取原始图像的幅度谱；

频域处理步骤：使用均值滤波器对原始图像的频域进行平滑处理，得到平滑处理后的幅度谱；将原始图像的幅度谱减去平滑处理后的幅度谱，得到图像对焦对象的高频差分幅度谱；

空间域变换步骤：将图像对焦对象的高频差分幅度谱经傅里叶逆变换至空间域得到对焦图；

分割步骤：将对焦图中灰度值高的部分划分为前景区域，将灰度值低的部分划分为背景区域。

本发明利用低景深图像中对焦对象(前景区域)包含的高频分量较多，而模糊区域(背景区域)包含的高频分量较小的特性，基于频域来进行低景深图像分割处理。本发明使用均值滤波器对原始图像的频域进行平滑从而得到近似完全模糊的图像的幅度谱，即使得经平滑处理后的幅度谱近似背景区域的幅度谱。当原始低景深图像的幅度谱减去经平滑处理后的幅度谱之后，背景区域的幅度谱接近于0，如此就能得到对焦对象的高频差分幅度谱，再将对焦对象的高频差分幅度谱变换回空间域就能得到能够定位对焦对象的对焦图。对焦图为灰度图像，其中亮色的区域(灰度值高)指示出图像的对焦对象，暗色的区域(灰度值高)指示出图像的模糊背景。

进一步的，分割步骤之后，用分割步骤中的划分结果来初始化Grabcut算法对低景深图像的区域划分，对低景深图像中划分出的前景区域与背景区域进行建模，得到前景模型、背景模型，利用Grabcut算法对低景深图像的前景区域的边界部分进行细化分割。

进一步的，在分割步骤中，先对对焦图进行灰度归一化处理，再将对焦图中的像素点进行与阈值进行比较。

本发明的有益效果是，通过在频域上的图像幅度谱进行处理得到对焦图，从而实现低景深图像分割，具有检测率高、计算复杂度低、相比于现有空域分析方法，本发明简单而高效。

附图说明

图1为本实施例流程图；

图2为低景深图像示例；

图3为对焦图示例。

具体实施方式

本发明的实现基于申请人提出的幅度谱分解模型：

现有的时空域的matting模型，将低景深图像i(x，y)视作清晰图像i_c(x，y)和离焦模糊图像i_d(x，y)的组合，即：

i(x，y)＝α(x，y)i_c(x，y)+[1-α(x，y)]i_d(x，y)(1)

其中，α(x，y)是一个二值函数，对于对焦区域其取值为1，对于模糊区域其取值为0。

使用傅里叶变换将式(1)变换到频率域，得到：

$\hat{i}(u,v)=\widehat{\mathrm{\α}}(u,v)*{\hat{i}}_c(u,v)+[\mathrm{\δ}(u,v)-\widehat{\mathrm{\α}}(u,v)]*{\hat{i}}_d(u,v)---\left(2\right)$

其中，符号^表示原始信号的傅里叶变换形式，(u，v)是指空间频率，*代表卷积运算。

利用u＝fsinθ以及v＝fcosθ的关系，将式(2)变换到极坐标底下。再通过计算空间频率并在角度上进行平均，可以将式(2)写成关于一维变量的形式：

$\hat{i}\left(f\right)=\widehat{\mathrm{\α}}\left(f\right)*{\hat{i}}_c\left(f\right)+[\mathrm{\δ}\left(f\right)-\widehat{\mathrm{\α}\left(f\right)}]*{\hat{i}}_d\left(f\right)---\left(3\right)$

考虑到一个离焦模糊图像可以被视作一个拍摄于同样场景下的清晰图像，经过与点扩散函数进行卷积的结果；而点扩散函数往往被近似为高斯函数，则离焦模糊图像可表示如下：

i_d(x，y)＝i_c(x，y)*g(x，y)(4)

在频率域内，它等效于清晰图像的傅里叶形式与高斯转移函数的乘积，即：

${\hat{i}}_d\left(f\right)={\hat{i}}_c\left(f\right)\·A{e}^{-\frac{f^2}{2{\mathrm{\σ}}^2}}---\left(5\right)$

因此，公式(3)可以重新表示为：

$\hat{i}\left(f\right)=\widehat{\mathrm{\α}}\left(f\right)*{\hat{i}}_c\left(f\right)+[\mathrm{\δ}\left(f\right)-\widehat{\mathrm{\α}\left(f\right)}]*{\hat{i}}_d\left(f\right)$

$=\widehat{\mathrm{\α}}\left(f\right)*{\hat{i}}_c\left(f\right)+{\hat{i}}_d\left(f\right)-\widehat{\mathrm{\α}}\left(f\right)*{\hat{i}}_d\left(f\right)$

$={\hat{i}}_d\left(f\right)+\widehat{\mathrm{\α}}\left(f\right)*[{\hat{i}}_c\left(f\right)-{\hat{i}}_d\left(f\right)]---\left(6\right)$

$={\hat{i}}_d\left(f\right)+\widehat{\mathrm{\α}}\left(f\right)*[{\hat{i}}_c\left(f\right)-{\hat{i}}_c\left(f\right)\·A{e}^{-\frac{f^2}{{2\mathrm{\σ}}^2}}]$

$={\hat{i}}_d\left(f\right)+\widehat{\mathrm{\α}}\left(f\right)*{\hat{i}}_c\left(f\right)(1-A{e}^{-\frac{f^2}{{2\mathrm{\σ}}^2}})$

再对公式(6)两边同时进行取幅值操作，可以得到：

$\left|\hat{i}\left(f\right)\right|=\left|{\hat{i}}_d\left(f\right)\right|+|\widehat{\mathrm{\α}}\left(f\right)*{\hat{i}}_c\left(f\right)|(1-A{e}^{-\frac{f^2}{{2\mathrm{\σ}}^2}})---\left(7\right)$

清晰图像的幅度谱可以被分解成两个部分，即其离焦模糊版本的幅度谱以及高频差分幅度，如下式所示：

$\left|{\hat{i}}_c\left(f\right)\right|=\left|{\hat{i}}_d\left(f\right)\right|+d\left(f\right)$ $\left(8\right)$

$=\left|{\hat{i}}_c\left(f\right)\right|\·A{e}^{-\frac{f^2}{{2\mathrm{\σ}}^2}}+d\left(f\right)$

因此，可以得出：

$1-{\mathrm{Ae}}^{-\frac{f^2}{{2\mathrm{\σ}}^2}}=\frac{d\left(f\right)}{\left|{\hat{i}}_c\left(f\right)\right|}---\left(9\right)$

将该式代入式(7)，得：

$\left|\hat{i}\left(f\right)\right|=\left|{\hat{i}}_d\left(f\right)\right|+|\widehat{\mathrm{\α}}\left(f\right)*{\hat{i}}_c\left(f\right)|\·\frac{d\left(f\right)}{\left|{\hat{i}}_c\left(f\right)\right|}$

$=\left|{\hat{i}}_d\left(f\right)\right|+\frac{|\widehat{\mathrm{\α}}\left(f\right)*{\hat{i}}_c\left(f\right)|}{\left|{\hat{i}}_c\left(f\right)\right|}\·d\left(f\right)$

$=\left|{\hat{i}}_d\left(f\right)\right|+d_F\left(f\right)$

由于α(x，y)仅对于对焦区域为1，其余区域为0，d(f)代表高频差分幅度谱，即可推出d_F(f)代表对焦区域的高频差分幅度谱。因此，低景深图像的幅度谱被分解成两个部分，第一部分对应于其离焦模糊版本的幅度谱，而第二部分对应于对焦区域的高频差分幅度谱。在这里，低景深图像的幅度谱的这一特性称为“幅度谱分解模型”。

幅度谱分解模型为从低景深图像中检测出对焦对象提供了指导，具体来说，本发明将低景深图像的幅度谱减去其离焦模糊图像的幅度谱，以得到对应于对焦对象的高频差分幅度谱。最后，将该部分的高频差分幅度谱变换回空间域，得到能够定位对焦对象的“对焦图”。所得的对焦图为一灰度图像，其中亮色的区域指示出图像的对焦对象，暗色的区域指示出图像的模糊背景，即通过对焦图中灰度值的高低就能进行图像，对焦图中灰度值高的部分划分为前景区域，将灰度值低的部分划分为背景区域。如，使用阈值化方法对对焦图进行处理，若对焦图内像素点的值大于阈值，该点被判为对焦对象，否则判为背景，阈值为对焦图灰度值的均值。

优选的，本实施例使用阈值化处理后的区域划分结果来初始化Grabcut算法，并利用Grabcut算法对低景深图像进行空间域的进一步划分，得到精细化的分割结果。

精细化的分割采用经典的Grabcut(C.Rother，V.Kolmogorov and A.Blake，“(GrabCut-迭代使用graph cut抠取前景)Grabcut-interactive foreground extraction using iterated graph cut”，SIGGRAPH 2004)，即迭代使用graph cut(Y.Boykov and M.Jolly，“在n维图像中交互使用graph cut求取最优边界和区域分割Interactive graph cuts for optimal boundary&regionsegmentation of obj ects in n-d images”，ICCV2001)。在现有的Grabcut算法中，它是通过一个由用户选定的矩形框进行初始化，即需要人工标定标定一部分前景和背景，利用标定的前景和背景进行建模，在利用前景模型与背景模型，来对未知区域腐蚀膨胀，进一步划分为前景、背景、未知区域。然而，由于在本实施例在之前的初分割操作中，已经得到了一个初始的分割结果，这里就使用初始分割结果来进行初始化Grabcut算法。即，由于已得到初始分割的前景、背景区域，则利用这个初始分割来对低景深图像进行初始划分，建模得到前景模型、背景模型，再利用前景模型、背景模型对前景区域的边缘部分作为未知区域进行腐蚀膨胀来进一步细化分割区域。

本实施例对图2所示的图像分割在Matlab R2010a实验平台上进行实现，主要包括三个步骤，分别是对焦对象的检测，阈值化分割及graph cut优化，具体如图1所示：

步骤一、求取能够检测对焦对象的对焦图：

第1步：对图像进行傅里叶变换，求取其幅度谱及相位谱。

幅度谱的形式为：

其中i(x，y)表示输入的低景深图像为图像中所有像素点的集合；F为傅里叶变换；

相位谱的形式为：p(f)＝angle(F(i(x，y)))；

第2步：求取对应于图像对焦对象的高频差分幅度谱：

h_n(f)为均值滤波器的函数，点数为n＝300；

第3步：从频域转换为空间域，求取图像的对焦图，如图3所示，对焦图FM(x，y)为：

FM(x，y)＝g(x，y)*|F^-1[d_F(f)·exp(i·p(f))]|²，g(x，y)为高斯滤波器的函数，参数为σ＝2.5，F^-1为反傅里叶变换，i表示虚数；

步骤二、先对对焦图进行灰度归一化处理，再对归一化的处理后的对焦图进行阈值化处理，得到初步分割结果，在低景深图像上划分出前景区域与背景区域；

步骤三、在初始分割结果基础上，使用腐蚀、膨胀方法生成三元图，三元图中包含前景区域、背景区域和未知区域，再对新划分出的未知区域使用Grabcut算法进行再划分。若此次分割结果与上一次分割结果变化不大，停止迭代，得到最终分割结果；否则，在上一次结果上再次生成三元图，使用Grabcut对未知区域进行优化改善。

Claims (4)

1.基于频域的低景深图像分割方法，包括以下步骤：

频域变换步骤：对原始图像进行傅里叶变换至频域，求取原始图像的幅度谱；

频域处理步骤：使用均值滤波器对原始图像的频域进行平滑处理，得到平滑处理后的幅度谱；将原始图像的幅度谱减去平滑处理后的幅度谱，得到图像对焦对象的高频差分幅度谱；

空间域变换步骤：将图像对焦对象的高频差分幅度谱经傅里叶逆变换至空间域得到对焦图；

分割步骤：将对焦图中灰度值高的部分划分为前景区域，将灰度值低的部分划分为背景区域。

2.如权利要求1所述基于频域的低景深图像分割方法，其特征在于，在分割步骤中，使用平均阈值对对焦图内像素点进行判断，当像素点的灰度值大于阈值，则划分为前景区域中的像素点，否则，划分为背景区域中的像素点，所述平均阈值为对焦图灰度值的均值。

3.如权利要求2所述基于频域的低景深图像分割方法，其特征在于，分割步骤之后，用分割步骤中的划分结果来初始化Grabcut算法对低景深图像的区域划分，对低景深图像中划分出的前景区域与背景区域进行建模，得到前景模型、背景模型，利用Grabcut算法对低景深图像的前景区域的边界部分进行细化分割。

4.如权利要求1、2或3所述基于频域的低景深图像分割方法，其特征在于，在分割步骤中，先对对焦图进行灰度归一化处理，再将对焦图中的像素点进行与阈值进行比较。

Images