CN103198489A - 基于显著性密度与边缘响应的显著物体自动检测方法 - Google Patents

Abstract

基于显著性密度与边缘响应的显著物体自动检测方法，它涉及显著物体自动检测的方法，本发明要解决现有显著物体检测方法中仅利用显著性一个属性而没有考虑显著物体的边缘属性致使显著物体检测准确度不高的问题。本发明中基于显著性密度与边缘响应的显著物体自动检测方法按以下步骤进行：根据结合全局颜色对比和颜色空间分布的区域显著性计算方法，计算并生成输入图像的显著图S；在显著图S上，运用一组Gabor滤波器，生成边缘响应图E；运用最大化显著性密度与边缘响应的分支限界算法在输入图像中高效搜索包含显著物体的全局最优子窗口

将得到的最优子窗口

作为输入，初始化GrabCut图像分割方法；运行GrabCut图像分割方法，自动提取具有很好边缘的显著物体。本发明可应用于图像处理领域。

Description

基于显著性密度与边缘响应的显著物体自动检测方法

技术领域

本发明涉及显著物体自动检测的方法。

背景技术

人类视觉系统总是自动地将注意力集中在显著物体上，这项能力使得我们可以将人脑有限的处理资源分配给图像中重要的部分。显著物体检测已在机器视觉方面有很多成功的应用，现有的显著物体检测方法可以分为两类：第一类方法趋向于找到最有可能包含显著物体的矩形框；第二类方法趋向于应用物体分割方法获得具有很好边缘的显著物体。然而上述两类方法都仅仅运用了显著性这一个属性（显著物体拥有的属性）。在显著性计算过程中，大量的原始图像所具有的可能对检测显著物体有帮助的信息都被不可避免丢失掉，没有充分利用显著物体的边缘属性使得现有的显著物体检测准确度不高。

发明内容

本发明为了解决现有显著物体检测方法中仅利用显著性一个属性而没有考虑显著物体的边缘属性致使显著物体检测准确度不高的问题，而提供基于显著性密度与边缘响应的显著物体自动检测方法。

基于显著性密度与边缘响应的显著物体自动检测方法包括以下步骤：

步骤一、根据结合全局颜色对比和颜色空间分布的区域显著性计算方法，计算并生成输入图像的显著图S；

步骤二、在显著图S上，运用一组Gabor滤波器，生成边缘响应图E；

步骤三、运用最大化显著性密度与边缘响应的分支限界算法在输入图像中高效搜索包含显著物体的全局最优子窗口

；

步骤四、将步骤三定位到的最优子窗口

作为输入，初始化GrabCut图像分割方法；

步骤五、运行GrabCut图像分割方法，自动提取具有很好边缘的显著物体。

本发明的有益效果是：本发明充分利用显著物体拥有的显著性属性和边缘属性实现了无阈值的显著物体的自动检测，使提取的显著物体具有很好的物体边缘，与传统检测方法相比，本发明方法显著物体检测的准确度提高了10%～15%。

本发明的机理：本发明方法基于以下发现：显著物体内部具有高的显著性，并且显著物体边缘具有强的边缘响应。

附图说明

图1为本发明所述基于显著性密度与边缘响应的显著物体自动检测方法的流程图；图2为本发明方法和现有的显著物体检测方法进行效果对比图。

具体实施方式

具体实施方式一：下面结合图1说明本实施方式，本实施方式所述基于显著性密度与边缘响应的显著物体自动检测方法包括以下步骤：

步骤一、根据结合全局颜色对比和颜色空间分布的显著性计算方法，计算并生成输入图像的显著图S；

步骤二、在显著图S上，运用一组Gabor滤波器，生成边缘响应图E；

步骤三、运用最大化显著性密度与边缘响应的分支限界算法在输入图像中搜索包含显著物体的全局最优子窗口

；

步骤四、将步骤三定位到的最优子窗口作为输入，初始化GrabCut图像分割方法；

步骤五、运行GrabCut图像分割方法，自动提取具有很好边缘的显著物体。

本发明的有益效果是：本发明充分利用显著物体拥有的显著性属性和边缘属性实现了无阈值的显著物体的自动检测，使提取的显著物体具有很好的物体边缘，与传统检测方法相比，本发明方法显著物体检测的准确度提高了10%～15%。

具体实施方式二：本实施方式是对具体实施方式一的进一步说明，步骤一中根据结合全局颜色对比和颜色空间分布的区域显著性方法生成输入图像的显著图方法使用的计算公式为：

$S\left(r_k\right)=\frac{1}{2}(N\left(S_{\mathrm{sd}}\left(r_k\right)\right)+N\left(S_{\mathrm{rc}}\left(r_k\right)\right));---\left(1\right)$

式中，参数N(·)是归一化操作，S(r_k)代表区域r_k的显著性值，S_sd(r_k)代表区域r_k的空间分布显著值，S_rc(r_k)代表区域r_k的全局颜色对比显著值。

具体实施方式三：本实施方式是对具体实施方式一的进一步说明，步骤二中在显著图S上运用一组Gabor滤波器生成边缘响应图E的方法使用的计算公式为：

$E\left(p\right)=\underset{i=1}{\overset{15}{\max }}{\left|(S*G_i)\left(p\right)\right|}^2;---\left(2\right)$

式中，E(p)代表像素p对应的边缘响应，符号*代表卷积操作，|·|代表一个复数的模，G_i代表第i个Gabor滤波器。

具体实施方式四：本实施方式是对具体实施方式一的进一步说明，步骤三中运用最大化显著性密度与边缘响应的分支限界算法在输入图像中搜索包含显著物体的全局最优窗口

方法具体过程为：

（1）将在输入图像中搜索包含显著物体的全局最优窗口的问题转化为寻找最优目标函数F(W)所对应的输入窗口，目标函数F(W)的定义如下：

$\hat{W}=\arg \underset{W\⋐I}{\max }F\left(W\right)---\left(3\right)$

F(W)=F_e(W)·F_d(W)    （4）

$F_e\left(W\right)=[\underset{p\∈W}{\mathrm{\Σ}}E\left(p\right)-\underset{p\∈W^{\′}}{\mathrm{\Σ}}E\left(p\right)]---\left(5\right)$

$F_d\left(W\right)=\frac{{\mathrm{\Σ}}_{p\∈W^{\′}}S\left(p\right)}{A\left(W^{\′}\right)}---\left(6\right)$

其中I是输入图像，

代表代搜索窗口，

是位于W内部的一个嵌套子窗口，F_e(W)代表根据公式(5)计算得出的子窗口W边缘响应值，F_d(W)代表根据公式6计算得出的子窗口W显著性密度；

（2）由于运用分支限界算法的核心在于找到合适的目标函数的上界函数，定义目标函数F(W)的上界函数

$\hat{F}\left(W\right)=[\underset{{p\∈W}_{\max }}{\mathrm{\Σ}}E\left(p\right)-\underset{{p\∈W}_{\min }^{\′}}{\mathrm{\Σ}}E\left(p\right)]\·\frac{{\mathrm{\Σ}}_{{p\∈W}_{\max }^{\′}}S\left(P\right)}{A\left(W_{\min }^{\′}\right)}---\left(7\right)$

其中，W是一个待搜索子窗口集合，W_max和W_min分别是W集合中的最大和最小子窗口，W′_max和W′_min分别是位于W_max和W_min内部的嵌套子窗口；

（3）运用基于化显著性密度与边缘响应的分支限界算法来高效搜索满足最大化上界质量

的最优子窗口

的方法为：

a、对于具有n×m个像素的输入图像I，初始化W=[0,n-1]×[0,n-1]×[0,m-1]×[0,m-1]；

b、初始化一个空的优先队列P；

c、将W分成两个子集W₁和W₂；

d、分别对W₁和W₂计算

和

并将

和

推入队列P中；

e、从P中推出具有最大值的子窗口集合并将它赋予W；

f、重复执行步骤c到步骤d，直到窗口集W中只包含一个子窗口，该子窗口即为要搜索的最优子窗口；

具体实施方式五：本实施方式是对具体实施方式一的进一步说明，步骤四中将步骤三定位到的最优子窗口W作为输入初始化GrabCut图像分割方法为：将最优子窗口内的像素设置为可能的前景，将窗口外的其它像素设置为背景。

具体实施方式六：本实施方式是对具体实施方式一的进一步说明，步骤五中运行GrabCut图像分割方法，自动提取具有很好边缘的显著物体，GrabCut图像分割方法是一个迭代执行GraphCut的图像分割方法，在本发明中只需执行一次迭代。

具体实施方式七：本实施方式是对具体实施方式二的进一步说明，步骤一中根据结合全局颜色对比和颜色空间分布的区域显著性方法生成输入图像的显著图方法涉及的计算方法：

（1）区域r_k的空间分布显著值S_sd(r_k)的计算方法为：

$S_{\mathrm{sd}}\left(r_k\right)=\frac{1}{{\mathrm{\δ}}_x^{r_k}+{\mathrm{\δ}}_y^{r_k}}=\frac{M}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({(x_{r_k}^i-\stackrel{\‾}{x_{r_k}})}^2+{(y_{r_k}^i-\stackrel{\‾}{y_{r_k}})}^2)}---\left(8\right)$

式中，区域r_k包含的像素为

和

分别是区域r_k所有像素的x分量和y分量的均值，

和

分别是x分量和y分量对应的方差；

（2）区域r_k的全局颜色对比显著值S_rc(r_k)的计算方法为：

$S_{\mathrm{rc}}\left(r_k\right)=\underset{n_k\≠r_i}{\mathrm{\Σ}}\exp ({-D}_S(r_k,r_i)/{\mathrm{\δ}}_s^2)\mathrm{\ω}\left(r_i\right)D_r(r_k,r_i)---\left(9\right)$

式中，D_r(r_k,r_i)表示区域r_k和区域r_i之间的颜色距离，D_S(r_k,r_i)表示区域r_k和区域r_i之间的空间距离，ω(r_i)表示区域r_i的权重，表示区域r_k和区域r_i之间空间距离所占权重。

为验证本发明的有益效果，做如下实验：

基于显著性密度与边缘响应的显著物体自动检测方法与现有显著物体检测方法进行效果对比实验，在一个公开可获得的并被大家广泛采用的数据库上进行测试，该数据库是由Achanta等人提出，包含了1000张测试图像和对应的基准图（一个二值化图像：1代表显著物体，0代表背景）。采用查准率（Precision），查全率（Recall）和F-α三个评测指标来评价本发明的实验结果，图2是本发明方法和现有的显著物体检测方法进行效果对比图，由图2可以看出本发明方法与传统方法RDM、FTMS和MER相比，查准率（准确率）提高了10%～15%，与最新方法RCC相比，查准率、查全率和F-α三个指标的值几乎相同，但平均运行时间仅是RCC方法的一半，见表一。

表一平均运行时间及运行时间方差

方法	本发明	RCC
			平均运行时间（s）	1.355	2.877
运行时间方差	0.013	0.016
			代码	C++	C++

Claims (7)

1.基于显著性密度与边缘响应的显著物体自动检测方法，其特征在于它是通过以下步骤实现的：

步骤一、根据结合全局颜色对比和颜色空间分布的区域显著性计算方法，计算并生成输入图像的显著图S；

步骤二、在显著图S上，运用一组Gabor滤波器，生成边缘响应图E；

步骤三、运用最大化显著性密度与边缘响应的分支限界算法在输入图像中高效搜索包含显著物体的全局最优子窗口

步骤四、将步骤三定位到的最优子窗口

作为输入，初始化GrabCut图像分割方法；

步骤五、运行GrabCut图像分割方法，自动提取具有很好边缘的显著物体。

2.如权利要求1所述的基于显著性密度与边缘响应的显著物体自动检测方法，其特征在于步骤一中根据结合全局颜色对比和颜色空间分布的区域显著性方法生成输入图像的显著图方法使用的计算公式为：

$S\left(r_k\right)=\frac{1}{2}(N\left(S_{\mathrm{sd}}\left(r_k\right)\right)+N\left(S_{\mathrm{rc}}\left(r_k\right)\right));$

式中，参数N(·)是归一化操作，S(r_k)代表区域r_k的显著性值，S_sd(r_k)代表区域r_k的空间分布显著值，S_rc(r_k)代表区域r_k的全局颜色对比显著值。

3.如权利要求2所述的基于显著性密度与边缘响应的显著物体自动检测方法，其特征在于步骤二中在显著图S上运用一组Gabor滤波器生成边缘响应图E的方法使用的计算公式为：

$E\left(p\right)=\underset{i=1}{\overset{15}{\max }}{\left|(S*G_i)\left(p\right)\right|}^2;$

式中，E(p)代表像素p对应的边缘响应，符号*代表卷积操作，|·|代表一个复数的模，G_i代表第i个Gabor滤波器。

4.如权利要求3所述的基于显著性密度与边缘响应的显著物体自动检测方法，其特征在于步骤三中运用最大化显著性密度与边缘响应的分支限界算法在输入图像中搜索包含显著物体的全局最优窗口

方法具体过程为：

（1）将在输入图像中搜索包含显著物体的全局最优窗口

的问题转化为寻找最优目标函数F(W)所对应的输入窗口，目标函数F(W)的定义如下：

$\hat{W}=\arg \underset{W\⋐I}{\max }F\left(W\right)$

F(W)=F_e(W)·F_d(W)

$F_e\left(W\right)=[\underset{p\∈W}{\mathrm{\Σ}}E\left(p\right)-\underset{{p\∈W}^{\′}}{\mathrm{\Σ}}E\left(p\right)]$

$F_d\left(W\right)=\frac{{\mathrm{\Σ}}_{p\∈W^{\′}}S\left(p\right)}{A\left(W^{\′}\right)}$

其中I是输入图像，代表代搜索窗口，

是位于W内部的一个嵌套子窗口，F_e(W)代表根据公式

计算得出的子窗口W边缘响应值，F_d(W)代表根据公式6计算得出的子窗口W显著性密度；

（2）由于运用分支限界算法的核心在于找到合适的目标函数的上界函数，定义目标函数F(W)的上界函数

$\hat{F}\left(W\right)=[\underset{{p\∈W}_{\max }}{\mathrm{\Σ}}E\left(p\right)-\underset{p\∈W_{\min }^{\′}}{\mathrm{\Σ}}E\left(p\right)]\·\frac{{\mathrm{\Σ}}_{{p\∈W}_{\max }^{\′}}S\left(p\right)}{A\left(W_{\min }^{\′}\right)}$

其中，W是一个待搜索子窗口集合，W_max和W_min分别是W集合中的最大和最小子窗口，W′_max和W′_min分别是位于W_max和W_min内部的嵌套子窗口；

（3）运用基于最大化显著性密度与边缘响应的分支限界算法来高效搜索满足最大化上界质量

的最优子窗口

的方法为：

a、对于具有n×m个像素的输入图像I，初始化W=[0,n-1]×[0,n-1]×[0,m-1]×[0,m-1]；

b、初始化一个空的优先队列P；

c、将W分成两个子集W₁和W₂；

d、分别对W₁和W₂计算

和

并将

和推入队列P中；

e、从P中推出具有最大值的子窗口集合并将它赋予W；

f、重复执行步骤c到步骤d，直到窗口集W中只包含一个子窗口，该子窗口即为要搜索的最优子窗口。

5.如权利要求4所述的基于显著性密度与边缘响应的显著物体自动检测方法，其特征在于步骤四中将步骤三定位到的最优子窗口

作为输入初始化GrabCut图像分割方法为：将最优子窗口内的像素设置为可能的前景，将窗口外的其它像素设置为背景。

6.如权利要求5所述的基于显著性密度与边缘响应的显著物体自动检测方法，其特征在于步骤五中运行GrabCut图像分割方法，自动提取具有很好边缘的显著物体，GrabCut图像分割方法是一个迭代执行GraphCut的图像分割方法，在本发明中只需执行一次迭代。

7.如权利要求2所述的基于显著性密度与边缘响应的显著物体自动检测方法，其特征在于步骤一中根据结合全局颜色对比和颜色空间分布的区域显著性方法生成输入图像的显著图方法：

（1）区域r_k的空间分布显著值S_sd(r_k)的计算方法为：

$S_{\mathrm{sd}}\left(r_k\right)=\frac{1}{{\mathrm{\δ}}_x^{r_k}+{\mathrm{\δ}}_y^{r_k}}=\frac{M}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({(x_{r_k}^i-\stackrel{\‾}{x_{r_k}})}^2+{(y_{r_k}^i-\stackrel{\‾}{y_{r_k}})}^2)}$

式中，区域r_k包含的像素为

和分别是区域r_k所有像素的x分量和y分量的均值，

和

分别是x分量和y分量对应的方差；

（2）区域r_k的全局颜色对比显著值S_rc(r_k)的计算方法为：

$S_{\mathrm{rc}}\left(r_k\right)=\underset{n_k\≠r_i}{\mathrm{\Σ}}\exp ({-D}_S(r_k,r_i)/{\mathrm{\δ}}_s^2)\mathrm{\ω}\left(r_i\right)D_r(r_k,r_i)$

式中，D_r(r_k,r_i)表示区域r_k和区域r_i之间的颜色距离，D_S(r_k,r_i)表示区域r_k和区域r_i之间的空间距离，ω(r_i)表示区域r_i的权重，表示区域r_k和区域r_i之间空间距离所占权重。

Images