CN104217430A - 基于l1正则化的图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于L1正则化的图像显著性检测方法，该方法包括以下步骤：对待检测图像进行傅立叶变换，对其频域幅度谱进行不同尺度的高斯滤波，构建频域的尺度空间；设计基于全变分的稀疏优化问题，利用SplitBregman方法求解该问题，得到一组候选显著性图像；使用图像二维熵作为选取标准，从候选显著性图像中选取二维熵最小的图像并进行空域的高斯滤波，得到最终的显著性图像；本发明结合了显著性图像的空域和频域的特性，有效地消除了复杂背景的影响，并且可以高效的求解，与以往频域分析的显著性检测方法相比，在人眼注视点检测和物体分割检测方面取得了更好的效果。

Description

基于L1正则化的图像显著性检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于L1正则化的图像显著性检测方法。

背景技术

基于图像的目标检测是计算机视觉和模式识别领域的重要课题，在图像分割，图像检索和机器人自主感知等领域中有着广泛的应用。在各类目标检测方法中，显著性方法以其对人类视觉注意机制的探索和模拟吸引了大量研究者的关注。人类视觉机制能够从观察到的大量场景信息中快速地检索出感兴趣物体，从而极大地提升了人类对场景的理解效率和反应速度。显著性检测方法基于这个原理，通过分析图像内容，将图像中与周围区域差异明显的部分标示出来，即“显著性区域”，以便后续进行高效的图像处理。

显著性检测方法计算模型分为自上而下和自下而上两类，自上而下的方法依赖于特定的检测任务和内容，而自下而上的方法则完全通过对输入图像的分析进行检测。在自下而上的方法中，空域检测通过对图像局部颜色，方向，纹理等特征或者全局对比度的统计，寻找与周边特征差异明显的区域作为显著性区域，频域分析则根据变换域理论，对图像频谱进行处理，突出显著区域对应分量，抑制非显著区域对应分量。频域分析方法无需对目标的特征进行设计和统计，具有实现方便高效的优点。几种典型的频域处理方法，如频谱残差法(SR),相位谱傅立叶变换法(PFT)和四元数傅立叶变换(HFT)对大多数简单自然场景目标具有良好的检测效果。然而，由于没有考虑空域的信息，当图像场景结构复杂，存在较多高频细节成分时，传统的频域分析方法会受到复杂背景的极大干扰，产生许多杂乱的噪声点，这样一方面会造成显著区域的误检，另一方面也会影响基于二维熵的尺度选择的准确性。因此，如何实现复杂场景中的目标检测，是频域显著性检测面临的难题。

发明内容

本发明的目的在于针对频域显著性检测方法的不足，提供一种基于L1正则化的图像显著性检测方法，该方法同时考虑空域和频域的稀疏性，有效地消除了复杂及高频细节背景的影响，在人眼注视点检测和物体分割检测方面取得了更好的效果。

本发明的目的是通过以下技术方案来实现的：

(1)输入待检测图像；待检测图像为彩色图像，由红、蓝、绿三个颜色通道组成；

(2)将步骤1输入的图像分解为三个颜色特征图(RG,BY,I)，对每个颜色特征图进行傅里叶变换，并且计算傅里叶变换的对数幅度谱L(u,v)和相位谱P(u,v)，其中u，v为频谱的坐标值；

(3)在每一个颜色特征图上，使用8个不同方差大小的高斯滤波器h_k(u,v)，k＝1～8，对对数幅度谱L(u,v)进行卷积滤波，得到滤波后的8个不同尺度的傅里叶对数幅度谱，结合相位谱P(u,v)，得到一组不同尺度的傅里叶变换F_k，其描述如下：

F_k＝exp(L(u,v)*h_k(u,v)+i·P(u,v)),k＝1～8  (1)

其中L(u,v)表示颜色特征图对数幅度谱，h_k(u,v)表示不同方差大小的高斯滤波器，i表示虚数单位，P(u,v)表示颜色特征图相位谱，*表示卷积运算符，下标k表示尺度序号；

(4)在每一个颜色特征图上，构建基于TV norm正则化的L1优化问题并采用Split Bregman方法求解，得到该颜色特征图上的8张不同尺度的显著性图像在3个颜色特征图上共得到24个显著性图像其描述如下：

${\hat{S}}_{k,c}=\underset{s}{\arg \min }{\left|\right|\▿S\left|\right|}_1+\frac{\mathrm{\μ}}{2}{\left|\right|F\left(S\right)-\exp (L_c*h_k+i\·P_c)\left|\right|}_2^2,k=1~8,c=1~3---\left(2\right)$

其中||||₁表示L1范数，||||₂表示L2范数，表示二维梯度算子，S表示显著性图像，F(·)表示傅里叶变换，c为颜色特征图的序号，μ为保真项权重；

(5)在同一尺度上，根据步骤4得到的显著性图像的二维熵计算权重，加权求和得到一张显著性图像，在8个尺度上共得到8张显著性图像其描述如下：

${\hat{S}}_k=\underset{c=1}{\overset{3}{\mathrm{\Σ}}}\frac{1}{K}\frac{1}{H_{2D}\left({\hat{S}}_{k,c}\right)}{\hat{S}}_{k,c}---\left(3\right)$

其中H_2D(·)表示计算图像二维熵的函数；K为使得权重之和为1的常数；

(6)计算步骤5得到的8张不同尺度显著性图像的二维熵，选取二维熵最小的显著性图像，平方后进行高斯滤波得到最终的显著性图像S，其描述如下：

$\mathrm{kopt}=\underset{k}{\arg \min }\left(H_{2D}\left({\hat{S}}_k\right)\right)---\left(4\right)$

$S=g*{\left|{\hat{S}}_{\mathrm{kopt}}\right|}^2---\left(5\right)$

其中g表示高斯滤波器。

所述式(1)中对数幅度谱L(u,v)的求解方法具体为：对待检测图像的三个颜色特征图的傅里叶变换采用快速傅里叶变换(FFT)，并将其零频成分移动到频谱图像中心位置得到傅里叶幅度谱A(u,v)相位谱P(u,v)，求取对数得到对数幅度谱L(u,v)，其描述如下：

L(u,v)＝log(A(u,v)+1)。

所述式(1)中8个不同方差大小的高斯滤波器h_k(u,v)具体如下：

$h_k(u,v)=e^{-\frac{D^2(u,v)}{2{{\mathrm{\σ}}_k}^2}}$

式中h_k(u,v)为频域二维高斯低通滤波器，D表示距离傅里叶变换原点的欧式距离，σ_k＝2^k-2,k＝1～8为高斯滤波器的方差。

所述式(2)中的L1正则化优化问题，采用Split Bregman方法求解，具体为：

${\hat{S}}_{k,c}=\underset{s}{\arg \min }{\left|\right|\▿S\left|\right|}_1+\frac{\mathrm{\μ}}{2}{\left|\right|F\left(S\right)-\exp (L_c*h_k+i\·P_c)\left|\right|}_2^2,k=1~8,c=1~3$

其中 ${\left|\right|\▿S(x,y)\left|\right|}_1=\underset{x,y}{\mathrm{\Σ}}\sqrt{{\left|{\▿}_{x}S(x,y)\right|}^2+{\left|{\▿}_{y}S(x,y)\right|}^2}$

设f_k,c＝exp(L_c*h_k+i·P_c)，使用Split Bregman方法，则(2)式可转化为：

${\hat{S}}_{k,c}=\underset{s}{\arg \min }\mathrm{\Σ}\sqrt{{\left|d_x\right|}^2+{\left|d_y\right|}^2}+\frac{\mathrm{\μ}}{2}{\left|\right|F\left(S\right)-f_{k,c}\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d_x-{\▿}_{x}S-b_x\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d_y-{\▿}_{y}S-b_y\left|\right|}_2^2$

其中，λ为惩罚项权重，b_x和b_y为求解过程中的变量。

本发明具有的有益效果是：本发明结合了显著性图像的空域和频域的特性，有效地消除了图像复杂背景和高频细节对显著性检测的影响，达到了良好的检测准确率。同时，本算法可以使用Split Bregman方法进行高效的求解。本发明在物体检测和识别，人眼视点预测等领域有着广泛应用。

附图说明

图1为实施例1采用现有频域图像显著性检测方法与本发明方法进行图像显著性检测后的图像对比图；(a)为待检测图像，(b)为人眼标示的显著性图像，(c)GBVS算法得到的显著性图像，(d)SR算法得到的显著性图像，(e)HFT算法得到的显著性图像，(f)本发明方法得到的显著性图像；

图2为实施例2采用现有频域图像显著性检测方法与本发明方法进行图像显著性检测后的图像对比图；(a)为待检测图像，(b)为人眼标示的显著性图像，(c)GBVS算法得到的显著性图像，(d)SR算法得到的显著性图像，(e)HFT算法得到的显著性图像，(f)本发明方法得到的显著性图像；

图3为实施例3采用现有频域图像显著性检测方法与本发明方法进行图像显著性检测后的图像对比图；(a)为待检测图像，(b)为人眼标示的显著性图像，(c)GBVS算法得到的显著性图像，(d)SR算法得到的显著性图像，(e)HFT算法得到的显著性图像，(f)本发明方法得到的显著性图像；

图4为实施例4采用现有频域图像显著性检测方法与本发明方法进行图像显著性检测后的图像对比图；(a)为待检测图像，(b)为人眼标示的显著性图像，(c)GBVS算法得到的显著性图像，(d)SR算法得到的显著性图像，(e)HFT算法得到的显著性图像，(f)本发明方法得到的显著性图像；

图5为不同显著性检测方法在ASD数据集上PR(准确率，召回率)曲线结果图。

具体实施方式

下面结合附图与实施例对本发明进行进一步说明。

本发明一种基于L1正则化的图像显著性检测方法，包括如下步骤：

(1)输入待检测图像。待检测图像为彩色图像，由红、蓝、绿三个颜色通道组成。为了降低计算量，我们对待检测图像进行尺寸的调整，调整后的图像的宽度和高度均设定为128像素。

(2)从步骤1调整后的图像提取三个颜色特征图(RG,BY,I)。首先分离颜色通道，得到红(r)、绿(g)、蓝(b)三个颜色通道，对这三个颜色通道进行计算获得R,G,B,Y颜色特征基，具体描述如下：

$\begin{array}{c}R=r-\frac{g+b}{2},G=g-\frac{r+b}{2};\\ B=b-\frac{r+g}{2},Y=\frac{r+g}{2}-\frac{|r-g|}{2}-b;\end{array}----\left(1\right)$

使用颜色特征基计算得到两个颜色特征图：

RG＝R-G                   (2)

BY＝B-Y

计算调整后图像对应的灰度图作为第三个颜色特征图：

$I=\frac{1}{3}(r+g+b)---\left(3\right)$

对RG,BY和I三个颜色特征图分别进行傅里叶变换，将零频成分移动到频谱图像中心位置，得到傅里叶幅度谱A(u,v)和相位谱P(u,v)，并且计算傅里叶变换的对数幅度谱L(u,v)，其中利用幅度谱计算对数幅度谱描述如下：

L(u,v)＝log(A(u,v)+1)  (4)

其中A(u,v)为颜色特征图傅里叶变换的幅度谱，u，v为频谱的坐标值；

(3)利用空域中的背景目标对应频域内脉冲信号的性质，使用低通滤波器对对数幅度谱进行抑制，从而排除背景目标。每一个颜色特征图上，使用8个不同方差大小的高斯滤波器h_k(u,v)，k＝1～8对傅里叶对数幅度谱L(u,v)进行卷积滤波，高斯滤波器描述如下：

$h_k(u,v)=e^{-\frac{D^2(u,v)}{2{{\mathrm{\σ}}_k}^2}}---\left(5\right)$

式中h_k(u,v)为频域二维高斯低通滤波器，D表示距离傅里叶变换原点的欧式距离，σ_k＝2^k-2,k＝1～8为高斯滤波器的方差大小。滤波后得到8个不同尺度的傅里叶对数幅度谱，结合相位谱P(u,v)，得到一组不同尺度的傅里叶变换F_k，其描述如下：

F_k＝exp(L(u,v)*h_k(u,v)+i·P(u,v)),k＝1～8  (6)

其中L(u,v)表示颜色特征图对数幅度谱，i表示虚数单位，P(u,v)表示颜色特征图相位谱，*表示卷积运算符，下标k表示尺度序号；

(4)在每一个颜色特征图上，构建基于TV norm正则化的L1优化问题。在这个优化问题中，正则项用来约束得到的显著性图像的TV范数，对显著性图像的梯度变化做出约束，实现去除小的杂点并且平滑图像的目的。保真项用来约束显著性图像的傅里叶变换与抑制脉冲的原图像傅里叶变换相近，从而实现抑制背景，突出显著前景的作用。对于这个优化问题，采用Split Bregman方法求解，得到该颜色特征图上的8张不同尺度的显著性图像在3个颜色特征图上共得到24个显著性图像优化问题描述如下：

${\hat{S}}_{k,c}=\underset{s}{\arg \min }{\left|\right|\▿S\left|\right|}_1+\frac{\mathrm{\μ}}{2}{\left|\right|F\left(S\right)-\exp (L_c*h_k+i\·P_c)\left|\right|}_2^2,k=1~8,c=1~3---\left(7\right)$

其中||||₁表示L1范数，||||₂表示L2范数，表示二维梯度算子，S表示显著性图像，F(·)表示傅里叶变换，c为颜色特征图的序号，μ为保真项权重；

对于本优化问题，采用Split Bregman方法求解。其中Bregman方法，则(7)式可转化为：

${\hat{S}}_{k,c}=\underset{s}{\arg \min }\mathrm{\Σ}\sqrt{{\left|d_x\right|}^2+{\left|d_y\right|}^2}+\frac{\mathrm{\μ}}{2}{\left|\right|F\left(S\right)-f_{k,c}\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d_x-{\▿}_{x}S-b_x\left|\right|}_2^2+\frac{\mathrm{\λ}}{2}{\left|\right|d_y-{\▿}_{y}S-b_y\left|\right|}_2^2$

其中，λ为惩罚项权重，b_x和b_y为求解过程中的变量。

为了描述方便，以下对固定的k,c进行求解过程的描述，故f_k,c用f替代。在求解过程中，我们定义第j次循环中的两个变量R^j，a^j，其计算方法描述如下：

$R^j={\mathrm{\μF}}^{-1}f+{\mathrm{\λ}\▿}_x^T(d_x^j-b_x^j)+{\mathrm{\λ}\▿}_y^T(d_y^j-b_y^j)$

$a^j=\sqrt{{|{\▿}_x{S}^j+b_x^j|}^2+{|{\▿}_y{S}^j+b_y^j|}^2}$

其中，上标j表示第j次循环，上标-1表示逆运算，上标T表示转置，F表示傅里叶变换。循环求解过程如下：

$S^0=F^{-1}f,d_x^0=d_y^0=b_x^0=b_y^0=j=0$

while j<N

$S^{j+1}=F^{-1}{(\mathrm{\&mu;}+{\mathrm{\&lambda;F}\&dtri;}^T{\&dtri;F}^{-1})}^{-1}{\mathrm{FR}}^j$

$d_x^{j+1}=\max (a^j-\frac{1}{\mathrm{\&lambda;}},0)\frac{{\&dtri;}_x{S}^j+b_x^j}{a^j}$

$d_y^{j+1}=\max (a^j-\frac{1}{\mathrm{\&lambda;}},0)\frac{{\&dtri;}_y{S}^j+b_y^j}{a^j}$

$b_x^{j+1}=b_x^j+{\&dtri;}_x{S}^{j+1}-d_x^{j+1}$

$b_y^{j+1}=b_y^j+{\&dtri;}_y{S}^{j+1}-d_y^{j+1}$

j＝j+1

endwhile

其中，max函数得到两个变量中大的变量，循环结束时得到的S为SplitBregman方法求解的结果。在实验中，我们设置μ＝10,λ＝5，设置循环次数N＝10。

(5)在同一尺度上，根据步骤4得到的显著性图像的二维熵计算权重，加权求和得到一张显著性图像，在8个尺度上共得到8张显著性图像其描述如下：

${\hat{S}}_k=\underset{c=1}{\overset{3}{\mathrm{\&Sigma;}}}\frac{1}{K}\frac{1}{H_{2D}\left({\hat{S}}_{k,c}\right)}{\hat{S}}_{k,c}---\left(8\right)$

其中H_2D(·)表示计算图像二维熵的函数；K为使得权重之和为1的常数；

(6)计算步骤5得到的8张不同尺度显著性图像的二维熵，选取二维熵最小的显著性图像，平方后进行高斯滤波得到最终的显著性图像S，其描述如下：

$\mathrm{kopt}=\underset{k}{\arg \min }\left(H_{2D}\left({\hat{S}}_k\right)\right)---\left(9\right)$

$S=g*{\left|{\hat{S}}_{\mathrm{kopt}}\right|}^2---\left(10\right)$

其中g表示高斯滤波器。

实施例1

对待检测图像图1(a)分别利用人眼标示、GBVS算法、SR算法、HFT算法和本发明方法进行处理，由结果对比图可以看出，我们的方法有效地消除了图像复杂背景和高频细节对显著性检测的影响，达到了良好的检测效果。

实施例2

对待检测图像图2(a)分别利用人眼标示、GBVS算法、SR算法、HFT算法和本发明方法进行处理，由结果对比图可以看出，我们的方法有效地消除了图像复杂背景和高频细节对显著性检测的影响，达到了良好的检测效果。

实施例3

对待检测图像图3(a)分别利用人眼标示、GBVS算法、SR算法、HFT算法和本发明方法进行处理，由结果对比图可以看出，我们的方法有效地消除了图像复杂背景和高频细节对显著性检测的影响，达到了良好的检测效果。

实施例4

对待检测图像图4(a)分别利用人眼标示、GBVS算法、SR算法、HFT算法和本发明方法进行处理，由结果对比图可以看出，我们的方法有效地消除了图像复杂背景和高频细节对显著性检测的影响，达到了良好的检测效果。

图5为不同显著性检测方法在ASD数据集上PR(准确率，召回率)曲线结果，该曲线越高，表明该方法计算的显著性区域越符合人眼标定的显著性区域。从图5可以看出，我们的方法比同类的频域显著性检测方法在定量指标上取得更好的效果。

Claims (4)

1.一种基于L1正则化的图像显著性检测方法，其特征在于，包括如下步骤：

(1)输入待检测图像；待检测图像为彩色图像，由红、蓝、绿三个颜色通道组成；

(2)将步骤1输入的图像分解为三个颜色特征图(RG,BY,I)，对每个颜色特征图进行傅里叶变换，并且计算傅里叶变换的对数幅度谱L(u,v)和相位谱P(u,v)，其中u，v为频谱的坐标值；

(3)在每一个颜色特征图上，使用8个不同方差大小的高斯滤波器h_k(u,v)，k＝1～8，对对数幅度谱L(u,v)进行卷积滤波，得到滤波后的8个不同尺度的傅里叶对数幅度谱，结合相位谱P(u,v)，得到一组不同尺度的傅里叶变换F_k，其描述如下：

F_k＝exp(L(u,v)*h_k(u,v)+i·P(u,v)),k＝1～8  (1)

其中L(u,v)表示颜色特征图对数幅度谱，h_k(u,v)表示不同方差大小的高斯滤波器，i表示虚数单位，P(u,v)表示颜色特征图相位谱，*表示卷积运算符，下标k表示尺度序号；

(4)在每一个颜色特征图上，构建基于TV norm正则化的L1优化问题并采用Split Bregman方法求解，得到该颜色特征图上的8张不同尺度的显著性图像在3个颜色特征图上共得到24个显著性图像其描述如下：

${\hat{S}}_{k,c}=\underset{s}{\arg \min }{\left|\right|\&dtri;S\left|\right|}_1+\frac{\mathrm{\&mu;}}{2}{\left|\right|F\left(S\right)-\exp (L_c*h_k+i\&CenterDot;P_c)\left|\right|}_2^2,k=1~8,c=1~3---\left(2\right)$

其中||||₁表示L1范数，||||₂表示L2范数，表示二维梯度算子，S表示显著性图像，F(·)表示傅里叶变换，c为颜色特征图的序号，μ为保真项权重；

(5)在同一尺度上，根据步骤4得到的显著性图像的二维熵计算权重，加权求和得到一张显著性图像，在8个尺度上共得到8张显著性图像其描述如下：

${\hat{S}}_k=\underset{c=1}{\overset{3}{\mathrm{\&Sigma;}}}\frac{1}{K}\frac{1}{H_{2D}\left({\hat{S}}_{k,c}\right)}{\hat{S}}_{k,c}---\left(3\right)$

其中H_2D(·)表示计算图像二维熵的函数；K为使得权重之和为1的常数；

(6)计算步骤5得到的8张不同尺度显著性图像的二维熵，选取二维熵最小的显著性图像，平方后进行高斯滤波得到最终的显著性图像S，其描述如下：

$\mathrm{kopt}=\underset{k}{\arg \min }\left(H_{2D}\left({\hat{S}}_k\right)\right)---\left(4\right)$

$S=g*{\left|{\hat{S}}_{\mathrm{kopt}}\right|}^2---\left(5\right)$

其中g表示高斯滤波器。

2.根据权利要求1所述的一种基于L1正则化的图像显著性检测方法，其特征在于，所述对数幅度谱L(u,v)的求解方法具体为：对待检测图像的三个颜色特征图的傅里叶变换采用快速傅里叶变换，并将其零频成分移动到频谱图像中心位置得到傅里叶幅度谱A(u,v)相位谱P(u,v)，求取对数得到对数幅度谱L(u,v)，其描述如下：

L(u,v)＝log(A(u,v)+1)  (6)

3.根据权利要求1所述的一种基于L1正则化的图像显著性检测方法，其特征在于，所述8个不同方差大小的高斯滤波器h_k(u,v)具体如下：

$h_k(u,v)=e^{-\frac{D^2(u,v)}{2{{\mathrm{\&sigma;}}_k}^2}}---\left(7\right)$

式中h_k(u,v)为频域二维高斯低通滤波器，D表示距离傅里叶变换原点的欧式距离，σ_k＝2^k-2,k＝1～8为高斯滤波器的方差。

4.根据权利要求1所述的一种基于L1正则化的图像显著性检测方法，其特征在于，对于(2)式的L1正则化优化问题，采用Split Bregman方法求解，具体为：

${\hat{S}}_{k,c}=\underset{s}{\arg \min }{\left|\right|\&dtri;S\left|\right|}_1+\frac{\mathrm{\&mu;}}{2}{\left|\right|F\left(S\right)-\exp (L_c*h_k+i\&CenterDot;P_c)\left|\right|}_2^2,k=1~8,c=1~3$

其中 ${\left|\right|\&dtri;S(x,y)\left|\right|}_1=\underset{x,y}{\mathrm{\&Sigma;}}\sqrt{{\left|{\&dtri;}_{x}S(x,y)\right|}^2+{\left|{\&dtri;}_{y}S(x,y)\right|}^2}$

设f_k,c＝exp(L_c*h_k+i·P_c)，使用Split Bregman方法，则(2)式可转化为：

${\hat{S}}_{k,c}=\underset{s}{\arg \min }\mathrm{\&Sigma;}\sqrt{{\left|d_x\right|}^2+{\left|d_y\right|}^2}+\frac{\mathrm{\&mu;}}{2}{\left|\right|F\left(S\right)-f_{k,c}\left|\right|}_2^2+\frac{\mathrm{\&lambda;}}{2}{\left|\right|d_x-{\&dtri;}_{x}S-b_x\left|\right|}_2^2+\frac{\mathrm{\&lambda;}}{2}{\left|\right|d_y-{\&dtri;}_{y}S-b_y\left|\right|}_2^2$

其中，λ为惩罚项权重，b_x和b_y为求解过程中的变量。