CN103065298A - 一种模拟视网膜滤波的视觉显著性检测方法 - Google Patents

Abstract

本发明涉及一种模拟视网膜滤波的视觉显著性检测方法。本发明通过在CIELAB对色通道上建立高斯尺度空间，提取多尺度显著基元，然后在每个尺度层上计算具有对数响应特性的显著基元颜色独特性值和空间紧凑性，并采用一种基于显著基元按颜色独特性值重组的简化中央-周围算子进行优化滤波。最后经多尺度合成后生成最终显著图。本发明整合了生物视网膜中的多尺度、对数响应和中央-周围环绕特性，以及纯计算方法中的局部对比度和全局对比度特性。可获得更完整且更均匀高亮的显著性目标区域。

Description

一种模拟视网膜滤波的视觉显著性检测方法

技术领域

本发明属于计算机视觉领域，具体来说是一种受生物视网膜特性启发的基于尺度空间和中心-周围环绕机制的视觉显著性检测方法。

背景技术

人类视觉注意机制使人能够从复杂场景中快速选择视觉显著目标，这可以大大减少高层视觉处理所需的视觉信息量。神经生理学研究表明视觉显著检测最初出现在早期视觉通路。它与任何高层视觉任务无关，仅依赖于视觉场景中“至下而上”的激励因子，如亮度、颜色、视觉对比度、大小和运动等。这些生物学成果为实现和优化计算机视觉分析和应用提供了一种新的仿生思路。在计算机视觉领域中，视觉显著性建模在近年来已成为一个非常活跃的研究方向。

当前至下而上的显著性检测可粗略分为截然不同的两类：生物启发方法和纯计算方法。前者关注于模拟和解释人眼的神经活动，如凝视和扫视。受人类早期视觉通路（从视网膜到V1区）的启发，已提出了许多仿生算子和生物学假设，包括特征整合理论，中央-周围环绕算子，对比度敏感函数，视觉尺度选择性等等。然而生物启发方法通常过于强调与生物学依据的一致性，且采用人眼注视点数据库，通过比较模型预测点与人眼行为来评估这些算法的性能。这些方法往往旨在获取一些小的凝视点，而非寻找显著目标区域，因此它们通常不适于大多数计算机视觉任务和应用，如图像分割，目标识别等。

纯计算方法更受计算机视觉科学家感兴趣，因为它们通常都是以目标为显著单元，这与大多数的计算机视觉任务的目标更为一致。在大多数的计算模型中，显著目标通常定义为“相对于周围背景有充分的独特性、稀有性和不可预计性”。该定义隐含了对比度先验、背景先验，或某些高阶假设。这些方法通常是目标导向的显著性检测模型，且它们的评估是基于手工标注的目标（目标框或前景掩模）。近期这类研究已取得实质性进展并已提出了许多成功应用。虽然它们在显著性定义中采用了生物学概念，但它们的算法实现缺少生物学依据，因而所选择特征的意义和作用不明确。

纯计算方法的另一点明显不足在于它们对目标内部纹理、目标轮廓和背景纹理具有相同的敏感度。因而所提取的显著目标内部往往存在许多空洞，且目标区域的显著性非均匀分布。此外，很多方法由于粗略尺度层会模糊显著目标的边界，因而忽略了在生物视觉中非常重要的尺度特性。事实上，当前显著目标检测的真值数据库都是将目标作为一个整体而非关注其内部细节，这也符合人眼尺度选择过程中的整体优先效应。虽然已提出了许多基于多尺度的显著性计算方法，但很显然目标边界模糊一直是它们的一个主要局限。

发明内容

本发明针对现有技术的不足，受生物视网膜中尺度特性、对数特性和中央-周围环绕特性的启发，提供了一种模拟视网膜滤波的视觉显著性检测。

本发明方法的具体步骤如下：

步骤(1)：采用彩色变换方法，提取输入图像在CIELAB空间的l彩色分量图、a彩色分量图和b彩色分量图，具体为：

对于输入图像采用sRGB彩色空间到线性RGB彩色空间的彩色变换方法，将输入图像

转换为线性RGB彩色空间图像

采用线性RGB彩色空间到CIELAB空间的彩色变换方法，提取线性RGB彩色空间图像

的l彩色分量图

a彩色分量图

和b彩色分量图

步骤(2)：根据步骤(1)结果，提取输入图像在CIELAB空间的6层高斯尺度图像，具体为：

对于输入图像

在CIELAB空间的l彩色分量图

a彩色分量图

和b彩色分量图其第n层高斯尺度图像

表示为：

其中高斯函数的方差为σ，均值为0；表示卷积运算。通常取σ＝1.0。

步骤(3)：采用SLIC超像素聚类方法，提取每层高斯尺度图像中的显著基元。具体为：

对于第n层高斯尺度图像

采用SLIC方法，设定期望划分的超像素个数

将

划分为N_n个互不相交且区域面积近似相等的超像素区域；将一个超像素区域视为一个显著基元，即第n层高斯尺度图像

提取的显著基元个数为N_n。取 ${\tilde{N}}_0=2000,$ ${\tilde{N}}_1=1000,$ ${\tilde{N}}_2=500,$ ${\tilde{N}}_3=200,$ ${\tilde{N}}_4=100,$ ${\tilde{N}}_5=50.$

步骤(4)：提取每层高斯尺度图像中每个显著基元的颜色特征，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其颜色特征是由显著基元e_ni的颜色均值矢量μ_ni、质心坐标p_ni组成。

所述的显著基元e_ni的颜色均值矢量μ_ni表示为 ${\mathrm{\μ}}_{\mathrm{ni}}=\left[\begin{array}{ccc}{\mathrm{\μ}}_{\mathrm{ni}}^l& {\mathrm{\μ}}_{\mathrm{ni}}^a& {\mathrm{\μ}}_{\mathrm{ni}}^b\end{array}\right],$ 其中

为显著基元e_ni内所有像素的l彩色分量均值，

为显著基元e_ni内所有像素的a彩色分量均值，

为显著基元e_ni内所有像素的b彩色分量均值。

所述的显著基元e_ni的质心坐标p_ni表示为

其中

为显著基元e_ni内所有像素垂直方向坐标的均值与输入图像高度的比值，为显著基元e_ni内所有像素水平方向坐标的均值与输入图像宽度的比值。

步骤(5)：根据步骤(4)结果，提取每层高斯尺度图像中每个显著基元的颜色独特性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其颜色独特性值U_n(e_ni)表示为：

$U_n\left(e_{\mathrm{ni}}\right)=\underset{j=1,j\≠i}{\overset{N_n}{\mathrm{\Σ}}}\log (1+d_c(e_{\mathrm{ni}},e_{\mathrm{nj}})\·{\exp }^{-\frac{1}{{2\mathrm{\σ}}_p^2}{d}_p(e_{\mathrm{ni}},e_{\mathrm{nj}})})$

其中d_c(e_ni,e_nj)为显著基元e_ni和显著基元e_nj的颜色距离；d_p(e_ni,e_nj)为显著基元e_ni和显著基元e_nj的空间距离；σ_p＝0.25为高斯函数标准差。

所述的显著基元e_ni和显著基元e_nj的颜色距离d_c(e_ni,e_nj)表示为显著基元e_ni的颜色均值矢量μ_ni与显著基元e_nj的颜色均值矢量μ_nj的L2距离，具体描述为：

d_c(e_ni,e_nj)＝||μ_ni-μ_nj||²

所述的显著基元e_ni和显著基元e_nj的空间距离d_p(e_ni,e_nj)表示为显著基元e_ni的质心坐标p_ni与显著基元e_nj的质心坐标p_nj的L2距离，具体描述为：

d_p(e_ni,e_nj)＝||p_ni-p_nj||²

步骤(6)：根据步骤(5)的结果，对每层高斯尺度图像中每个显著基元的颜色独特性值进行平滑滤波，并将平滑滤波后的颜色独特性值归一化到[0,1]之间，获取颜色独特性归一化值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其平滑滤波后的颜色独特性值U′_n(e_ni)表示为：

$\left\{\begin{array}{c}{U}_n^{\′}\left(e_{\mathrm{ni}}\right)=\frac{1}{z_{\mathrm{ni}}}\underset{j=1}{\overset{N_n}{\mathrm{\Σ}}}{w}_{\mathrm{ni}}\left(j\right)U_n\left(e_{\mathrm{nj}}\right)\\ w_{\mathrm{ni}}\left(j\right)=e^{-\frac{1}{2{\mathrm{\σ}}_{\mathrm{\α}}^2}{d}_c(e_{\mathrm{ni}},e_{\mathrm{nj}})-\frac{1}{2{\mathrm{\σ}}_{\mathrm{\β}}^2}{d}_p(e_{\mathrm{ni}},e_{\mathrm{nj}})}\\ z_{\mathrm{ni}}=\underset{j=1}{\overset{N_n}{\mathrm{\Σ}}}{w}_{\mathrm{ni}}\left(j\right)\end{array}\right.$

其中w_ni(j)为第n层高斯尺度图像

中的第i个显著基元e_ni和第j个显著基元e_nj的空间-颜色距离权重。z_ni为归一化因子。σ_α和σ_β分别控制颜色距离和空间距离对平滑效果的敏感度，通常取

对于第n层高斯尺度图像中的第i个显著基元e_ni，其颜色独特性归一化值

表示为：

${\tilde{U}}_n\left(e_{\mathrm{ni}}\right)=\frac{U_n^{\′}\left(e_{\mathrm{ni}}\right)-U_{n\min }^{\′}}{U_{n\max }^{\′}-U_{n\min }^{\′}}$

其中U′_nmin和U′_nmax分别为第n层高斯尺度图像中所有显著基元的平滑滤波后的颜色独特性值的最小值和最大值。

步骤(7)：根据步骤(4)结果，计算每层高斯尺度图像中每个显著基元的空间紧凑性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其空间紧凑性值C_n(e_ni)表示为：

$C_n\left(e_{\mathrm{ni}}\right)=\underset{j=1,j\≠i}{\overset{N_n}{\mathrm{\Σ}}}\log (1+d_p(e_{\mathrm{ni}},e_{\mathrm{nj}})\·{\exp }^{-\frac{1}{2{\mathrm{\σ}}_c^2}{d}_c(e_{\mathrm{ni}},e_{\mathrm{nj}})})$

其中σ_c＝20为高斯函数标准差。

步骤(8)：根据步骤(7)的结果，对每层高斯尺度图像中每个显著基元的空间紧凑性值进行平滑滤波，并将平滑滤波后的空间紧凑性值归一化到[0,1]之间，获取空间紧凑性归一化值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其平滑滤波后的空间紧凑性值C′_n(e_ni)表示为：

$C_n^{\′}\left(e_{\mathrm{ni}}\right)=\frac{1}{z_{\mathrm{ni}}}\underset{j=1}{\overset{N_n}{\mathrm{\Σ}}}{w}_{\mathrm{ni}}\left(j\right)C_n\left(e_{\mathrm{nj}}\right)$

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其空间紧凑性归一化值

表示为：

${\tilde{C}}_n\left(e_{\mathrm{ni}}\right)=\frac{C_n^{\′}\left(e_{\mathrm{ni}}\right)-C_{n\min }^{\′}}{C_{n\max }^{\′}-C_{n\min }^{\′}}$

其中C′_nmin和C′_nmax分别为第n层高斯尺度图像

中所有显著基元的平滑滤波后的空间紧凑性值的最小值和最大值。

步骤(9)：根据步骤(6)和步骤(8)的结果，计算每层高斯尺度图像中每个显著基元的颜色显著性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其颜色显著性值

表示为：

${\tilde{S}}_n\left(e_{\mathrm{ni}}\right)={\tilde{U}}_n\left(e_{\mathrm{ni}}\right)(1-{\tilde{C}}_n\left(e_{\mathrm{ni}}\right))$

步骤(10)：根据步骤(6)结果，提取每层高斯尺度图像中每个显著基元的感受野区域，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，计算显著基元e_ni与第n层高斯尺度图像

中其他显著基元的独特性距离，并按该距离对第n层高斯尺度图像中的所有显著基元进行升序排列，形成一组新的显著基元序列。在新的显著基元序列中位置处于越前面的显著基元，与显著基元e_ni的独特性距离越小。提取新的显著基元序列中前m个显著基元组成为显著基元e_ni的“中央”邻域区域

提取新的显著基元序列中第m+1到第n个的显著基元组成为显著基元e_ni的“周围”邻域区域显著基元e_ni的“中央”邻域区域

和“周围”邻域区域

构成显著基元e_ni的感受野区域。通常可取m＝N_n/5，n＝3N_n/5。

显著基元e_ni与显著基元e_nj的独特性距离d_u(e_ni，e_nj)表示为显著基元e_ni的颜色独特性归一化值

与显著基元e_nj的颜色独特性归一化值

的L2距离，具体描述为：

$d_u(e_{\mathrm{ni}},e_{\mathrm{nj}})={\left|\right|{\tilde{U}}_n\left(e_{\mathrm{ni}}\right)-{\tilde{U}}_n\left(e_{\mathrm{nj}}\right)\left|\right|}_2$

步骤(11)：根据步骤(9)和步骤(10)的结果，采用一种简化中央-周围环绕算子计算每层高斯尺度图像中每个显著基元的最终显著性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，所述的一种简化中央-周围环绕算子描述为：

$\left\{\begin{array}{c}{S}_n\left(e_{\mathrm{ni}}\right)=\underset{j\∈N_i^c}{\mathrm{\Σ}}{w}_{\mathrm{nij}}^u\·{\tilde{S}}_n\left(e_{\mathrm{nj}}\right)-\mathrm{\γ}\·\underset{j\∈N_i^s}{\mathrm{\Σ}}{w}_{\mathrm{nij}}^u\·{\tilde{S}}_n\left(e_{\mathrm{nj}}\right)\\ w_{\mathrm{nij}}^u=1-\frac{d_u(e_{\mathrm{ni}},e_{\mathrm{nj}})}{\underset{k=N_i^c\∪N_i^s}{\mathrm{\Σ}}{d}_u(e_{\mathrm{ni}},e_{\mathrm{nk}})}\end{array}\right.$

其中S_n(e_ni)为显著基元e_ni的最终显著性值；为显著基元e_nj对显著基元e_ni最终显著性值的贡献权重。γ为“中央”兴奋强度和“周围”抑制强度的比值。γ取值范围为1≥γ≥0。当γ＝0时，所述的一种简化中央-周围环绕算子仅具有“中央”兴奋功能。

步骤(12)：为每层高斯尺度图像中的每个像素分配颜色显著性值，并将其归一化到[0,1]之间，获取颜色显著性归一化值，具体为：

对于第n层高斯尺度图像

中像素p，其颜色显著性值S′_n(p)表示为：

S′_n(p)＝S_n(e_ni)    p∈e_ni

对于第n层高斯尺度图像

中像素p，其颜色显著性归一化值

表示为：

${\tilde{S}}_n\left(p\right)=\frac{S_n^{\′}\left(p\right)-S_{n\min }^{\′}}{S_{n\max }^{\′}-S_{n\min }^{\′}}$

其中S′_nmin和S′_nmax分别为第n层高斯尺度图像中所有像素的颜色显著性值的最小值和最大值。

步骤(13)：为输入图像中的每个像素分配合成显著性值，并将其归一化到[0,1]之间，获取最终显著性值，具体为：

对于输入图像中像素p，其合成显著性值S′(p)表示为：

$S^{\′}\left(p\right)=\underset{n}{\mathrm{\Σ}}{\tilde{S}}_n{\left(p\right)}^2$

对于输入图像中像素p，其最终显著性值S(p)表示为：

$S\left(p\right)=\frac{S^{\′}\left(p\right)-S_{\min }^{\′}}{S_{\max }^{\′}-S_{\min }^{\′}}$

其中S′_min和S′_max分别为输入图像中所有像素的合成显著性值的最小值和最大值。

本发明提供了一种模拟视网膜滤波的视觉显著性检测方法。该方法整合了生物视网膜中的多尺度、对数响应和中央-周围环绕特性，以及纯计算方法中的局部对比度和全局对比度特性。通过在CIELAB对色通道上建立高斯尺度空间，提取多尺度显著基元，然后在每个尺度层上计算具有对数响应特性的显著基元颜色独特性值和空间紧凑性，并采用一种基于显著基元按颜色独特性值重组的简化中央-周围算子进行优化滤波。最后经多尺度合成后生成最终显著图。与现有方法相比，该方法可获得更完整且更均匀高亮的显著性目标区域。

附图说明

图1为本发明中的方法流程图；

图2为本发明方法与现有方法的显著性检测结果图像比较；

图3为召回率-精确度曲线的比对图。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1所示，一种模拟视网膜滤波的视觉显著性检测方法具体步骤如下：

步骤(1)：采用彩色变换方法，提取输入图像在CIELAB空间的l彩色分量图、a彩色分量图和b彩色分量图，具体为：

对于输入图像

采用sRGB彩色空间到线性RGB彩色空间的彩色变换方法，将输入图像转换为线性RGB彩色空间图像

采用线性RGB彩色空间到CIELAB空间的彩色变换方法，提取线性RGB彩色空间图像的l彩色分量图

a彩色分量图

和b彩色分量图

步骤(2)：根据步骤(1)结果，提取输入图像在CIELAB空间的的6层高斯尺度图像，具体为：

对于输入图像在

CIELAB空间的l彩色分量图

a彩色分量图

和b彩色分量图

其第n层高斯尺度图像表示为：

其中高斯函数

的方差为σ，均值为0；

表示卷积运算。通常取σ＝1.0。

步骤(3)：采用SLIC超像素聚类方法，提取每层高斯尺度图像中的显著基元。具体为：

对于第n层高斯尺度图像采用SLIC方法，设定期望划分的超像素个数

将

划分为N_n个互不相交且区域面积近似相等的超像素区域；将一个超像素区域视为一个显著基元，即第n层高斯尺度图像

提取的显著基元个数为N_n。取 ${\tilde{N}}_0=2000,$ ${\tilde{N}}_1=1000,$ ${\tilde{N}}_2=500,$ ${\tilde{N}}_3=200,$ ${\tilde{N}}_4=100,$ ${\tilde{N}}_5=50.$

步骤(4)：提取每层高斯尺度图像中每个显著基元的颜色特征，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其颜色特征是由显著基元e_ni的颜色均值矢量μ_ni、质心坐标p_ni组成。

所述的显著基元e_ni的颜色均值矢量μ_ni表示为 ${\mathrm{\μ}}_{\mathrm{ni}}=\left[\begin{array}{ccc}{\mathrm{\μ}}_{\mathrm{ni}}^l& {\mathrm{\μ}}_{\mathrm{ni}}^a& {\mathrm{\μ}}_{\mathrm{ni}}^b\end{array}\right],$ 其中为显著基元e_ni内所有像素的l彩色分量均值，

为显著基元e_ni内所有像素的a彩色分量均值，

为显著基元e_ni内所有像素的b彩色分量均值。

所述的显著基元e_ni的质心坐标p_ni表示为

其中

为显著基元e_ni内所有像素垂直方向坐标的均值与输入图像高度的比值，

为显著基元e_ni内所有像素水平方向坐标的均值与输入图像宽度的比值。

步骤(5)：根据步骤(4)结果，提取每层高斯尺度图像中每个显著基元的颜色独特性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其颜色独特性值U_n(e_ni)表示为：

$U_n\left(e_{\mathrm{ni}}\right)=\underset{j=1,j\≠i}{\overset{N_n}{\mathrm{\Σ}}}\log (1+d_c(e_{\mathrm{ni}},e_{\mathrm{nj}})\·{\exp }^{-\frac{1}{{2\mathrm{\σ}}_p^2}{d}_p(e_{\mathrm{ni}},e_{\mathrm{nj}})})$

其中d_c(e_ni,e_nj)为显著基元e_ni和显著基元e_nj的颜色距离；d_p(e_ni,e_nj)为显著基元e_ni和显著基元e_nj的空间距离；σ_p＝0.25为高斯函数标准差。

所述的显著基元e_ni和显著基元e_nj的颜色距离d_c(e_ni,e_nj)表示为显著基元e_ni的颜色均值矢量μ_ni与显著基元e_nj的颜色均值矢量μ_nj的L2距离，具体描述为：

d_c(e_ni,e_nj)＝||μ_ni-μ_nj||²

所述的显著基元e_ni和显著基元e_nj的空间距离d_p(e_ni,e_nj)表示为显著基元e_ni的质心坐标p_ni与显著基元e_nj的质心坐标p_nj的L2距离，具体描述为：

d_p(e_ni,e_nj)＝||p_ni-p_nj||²

步骤(6)：根据步骤(5)的结果，对每层高斯尺度图像中每个显著基元的颜色独特性值进行平滑滤波，并将平滑滤波后的颜色独特性值归一化到[0,1]之间，获取颜色独特性归一化值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其平滑滤波后的颜色独特性值U′_n(e_ni)表示为：

$\left\{\begin{array}{c}{U}_n^{\′}\left(e_{\mathrm{ni}}\right)=\frac{1}{z_{\mathrm{ni}}}\underset{j=1}{\overset{N_n}{\mathrm{\Σ}}}{w}_{\mathrm{ni}}\left(j\right)U_n\left(e_{\mathrm{nj}}\right)\\ w_{\mathrm{ni}}\left(j\right)=e^{-\frac{1}{2{\mathrm{\σ}}_{\mathrm{\α}}^2}{d}_c(e_{\mathrm{ni}},e_{\mathrm{nj}})-\frac{1}{2{\mathrm{\σ}}_{\mathrm{\β}}^2}{d}_p(e_{\mathrm{ni}},e_{\mathrm{nj}})}\\ z_{\mathrm{ni}}=\underset{j=1}{\overset{N_n}{\mathrm{\Σ}}}{w}_{\mathrm{ni}}\left(j\right)\end{array}\right.$

其中w_ni(j)为第n层高斯尺度图像

中的第i个显著基元e_ni和第j个显著基元e_nj的空间-颜色距离权重。z_ni为归一化因子。σ_α和σ_β分别控制颜色距离和空间距离对平滑效果的敏感度，通常取

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其颜色独特性归一化值表示为：

${\tilde{U}}_n\left(e_{\mathrm{ni}}\right)=\frac{U_n^{\′}\left(e_{\mathrm{ni}}\right)-U_{n\min }^{\′}}{U_{n\max }^{\′}-U_{n\min }^{\′}}$

其中U′_nmin和U′_nmax分别为第n层高斯尺度图像中所有显著基元的平滑滤波后的颜色独特性值的最小值和最大值。

步骤(7)：根据步骤(4)结果，计算每层高斯尺度图像中每个显著基元的空间紧凑性值，具体为：

对于第n层高斯尺度图像中的第i个显著基元e_ni，其空间紧凑性值C_n(e_ni)表示为：

$C_n\left(e_{\mathrm{ni}}\right)=\underset{j=1,j\≠i}{\overset{N_n}{\mathrm{\Σ}}}\log (1+d_p(e_{\mathrm{ni}},e_{\mathrm{nj}})\·{\exp }^{-\frac{1}{2{\mathrm{\σ}}_c^2}{d}_c(e_{\mathrm{ni}},e_{\mathrm{nj}})})$

其中σ_c＝20为高斯函数标准差。

步骤(8)：根据步骤(7)的结果，对每层高斯尺度图像中每个显著基元的空间紧凑性值进行平滑滤波，并将平滑滤波后的空间紧凑性值归一化到[0,1]之间，获取空间紧凑性归一化值，具体为：

对于第n层高斯尺度图像中的第i个显著基元e_ni，其平滑滤波后的空间紧凑性值C′_n(e_ni)表示为：

$C_n^{\′}\left(e_{\mathrm{ni}}\right)=\frac{1}{z_{\mathrm{ni}}}\underset{j=1}{\overset{N_n}{\mathrm{\Σ}}}{w}_{\mathrm{ni}}\left(j\right)C_n\left(e_{\mathrm{nj}}\right)$

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其空间紧凑性归一化值

表示为：

${\tilde{C}}_n\left(e_{\mathrm{ni}}\right)=\frac{C_n^{\′}\left(e_{\mathrm{ni}}\right)-C_{n\min }^{\′}}{C_{n\max }^{\′}-C_{n\min }^{\′}}$

其中C′_nmin和C′_nmax分别为第n层高斯尺度图像

中所有显著基元的平滑滤波后的空间紧凑性值的最小值和最大值。

步骤(9)：根据步骤(6)和步骤(8)的结果，计算每层高斯尺度图像中每个显著基元的颜色显著性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，其颜色显著性值

表示为：

${\tilde{S}}_n\left(e_{\mathrm{ni}}\right)={\tilde{U}}_n\left(e_{\mathrm{ni}}\right)(1-{\tilde{C}}_n\left(e_{\mathrm{ni}}\right))$

步骤(10)：根据步骤(6)结果，提取每层高斯尺度图像中每个显著基元的感受野区域，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，计算显著基元e_ni与第n层高斯尺度图像

中其他显著基元的独特性距离，并按该距离对第n层高斯尺度图像

中的所有显著基元进行升序排列，形成一组新的显著基元序列。在新的显著基元序列中位置处于越前面的显著基元，与显著基元e_ni的独特性距离越小。提取新的显著基元序列中前m个显著基元组成为显著基元e_ni的“中央”邻域区域

提取新的显著基元序列中第m+1到第n个的显著基元组成为显著基元e_ni的“周围”邻域区域

显著基元e_ni的“中央”邻域区域

和“周围”邻域区域构成显著基元e_ni的感受野区域。通常可取m＝N_n/5，n＝3N_n/5。

显著基元e_ni与显著基元e_nj的独特性距离d_u(e_ni，e_nj)表示为显著基元e_ni的颜色独特性归一化值

与显著基元e_nj的颜色独特性归一化值

的L2距离，具体描述为：

$d_u(e_{\mathrm{ni}},e_{\mathrm{nj}})={\left|\right|{\tilde{U}}_n\left(e_{\mathrm{ni}}\right)-{\tilde{U}}_n\left(e_{\mathrm{nj}}\right)\left|\right|}_2$

步骤(11)：根据步骤(9)和步骤(10)的结果，采用一种简化中央-周围环绕算子计算每层高斯尺度图像中每个显著基元的最终显著性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元e_ni，所述的一种简化中央-周围环绕算子描述为：

$\left\{\begin{array}{c}{S}_n\left(e_{\mathrm{ni}}\right)=\underset{j\∈N_i^c}{\mathrm{\Σ}}{w}_{\mathrm{nij}}^u\·{\tilde{S}}_n\left(e_{\mathrm{nj}}\right)-\mathrm{\γ}\·\underset{j\∈N_i^s}{\mathrm{\Σ}}{w}_{\mathrm{nij}}^u\·{\tilde{S}}_n\left(e_{\mathrm{nj}}\right)\\ w_{\mathrm{nij}}^u=1-\frac{d_u(e_{\mathrm{ni}},e_{\mathrm{nj}})}{\underset{k=N_i^c\∪N_i^s}{\mathrm{\Σ}}{d}_u(e_{\mathrm{ni}},e_{\mathrm{nk}})}\end{array}\right.$

其中S_n(e_ni)为显著基元e_ni的最终显著性值；为显著基元e_nj对显著基元e_ni最终显著性值的贡献权重。γ为“中央”兴奋强度和“周围”抑制强度的比值。γ取值范围为1≥γ≥0。当γ＝0时，所述的一种简化中央-周围环绕算子仅具有“中央”兴奋功能。图2和图3中的本发明方法的显著性检测结果都是在γ＝0的情况下，在1≥γ＞0时，也适用于本发明方法。

步骤(12)：为每层高斯尺度图像中的每个像素分配颜色显著性值，并将其归一化到[0,1]之间，获取颜色显著性归一化值，具体为：

对于第n层高斯尺度图像

中像素p，其颜色显著性值S′_n(p)表示为：

S′_n(p)＝S_n(e_ni)    p∈e_ni

对于第n层高斯尺度图像

中像素p，其颜色显著性归一化值表示为：

${\tilde{S}}_n\left(p\right)=\frac{S_n^{\′}\left(p\right)-S_{n\min }^{\′}}{S_{n\max }^{\′}-S_{n\min }^{\′}}$

其中S′_nmin和S′_nmax分别为第n层高斯尺度图像中所有像素的颜色显著性值的最小值和最大值。

步骤(13)：为输入图像中的每个像素分配合成显著性值，并将其归一化到[0,1]之间，获取最终显著性值，具体为：

对于输入图像中像素p，其合成显著性值S′(p)表示为：

$S^{\′}\left(p\right)={\left(\underset{n}{\mathrm{\Σ}}{\tilde{S}}_n\left(p\right)\right)}^2$

对于输入图像中像素p，其最终显著性值S(p)表示为：

$S\left(p\right)=\frac{S^{\′}\left(p\right)-S_{\min }^{\′}}{S_{\max }^{\′}-S_{\min }^{\′}}$

其中S′_min和S′_max分别为输入图像中所有像素的合成显著性值的最小值和最大值。

采用目前通用的视觉显著性测试数据库（包含1000幅测试图像及其人工标记的正确视觉显著性区域）测试本发明方法的性能。

如图2所示，本发明方法与现有方法的显著性检测结果比对说明如下：第一列为测试数据库中的部分测试图像，第二列为人工标记的正确视觉显著性区域，第三列为本发明方法的显著性检测结果，第四列为F.Perazzi等人提出的显著性滤波方法的显著性检测结果，第五列为X.Shen等人提出的基于低阶矩阵的显著性检测方法的显著性检测结果，第六列为M.-M.Cheng等人提出的基于区域的全局对比度显著性检测方法的显著性检测结果，第七列为M.-M.Cheng等人提出的基于直方图的全局对比度显著性检测方法的显著性检测结果，第八列为S.Goferman等人提出的基于内容的显著性检测方法的显著性检测结果。

如图3所示，本发明方法与近期最好的四种方法在召回率-精确度曲线的比对说明如下：RF表示本发明方法；SF表示F.Perazzi等人提出的显著性滤波方法；HC为M.-M.Cheng等人提出的基于直方图的全局对比度显著性检测方法；RC为M.-M.Cheng等人提出的基于区域的全局对比度显著性检测方法；LR为X.Shen等人提出的基于低阶矩阵的显著性检测方法。本发明方法得到的召回率-精确度曲线明显高于其他方法。

Claims (1)

1. 一种模拟视网膜滤波的视觉显著性检测方法，其特征在于该方法包括如下步骤：

步骤(1)：采用彩色变换方法，提取输入图像在CIELAB空间的l彩色分量图、a彩色分量图和b彩色分量图，具体为：

对于输入图像                                               ，采用sRGB彩色空间到线性RGB彩色空间的彩色变换方法，将输入图像转换为线性RGB彩色空间图像；采用线性RGB彩色空间到CIELAB空间的彩色变换方法，提取线性RGB彩色空间图像的l彩色分量图

、a彩色分量图

和b彩色分量图

；

步骤(2)：根据步骤(1)结果，提取输入图像在CIELAB空间的6层高斯尺度图像，具体为：

对于输入图像在CIELAB空间的l彩色分量图

、a彩色分量图

和b彩色分量图

，其第n层高斯尺度图像

表示为：

其中高斯函数

的方差为

，均值为0；

表示卷积运算；

步骤(3)：采用SLIC超像素聚类方法，提取每层高斯尺度图像中的显著基元；具体为：

对于第n层高斯尺度图像，采用SLIC方法，设定期望划分的超像素个数

，将

划分为

个互不相交且区域面积近似相等的超像素区域；将一个超像素区域视为一个显著基元，即第n层高斯尺度图像

提取的显著基元个数为

；取

，

，

，

，，

；

步骤(4)：提取每层高斯尺度图像中每个显著基元的颜色特征，具体为：

对于第n层高斯尺度图像

中的第i个显著基元，其颜色特征是由显著基元

的颜色均值矢量

、质心坐标

组成；

所述的显著基元

的颜色均值矢量

表示为

，其中

为显著基元

内所有像素的l彩色分量均值，

为显著基元

内所有像素的a彩色分量均值，

为显著基元

内所有像素的b彩色分量均值；

所述的显著基元

的质心坐标表示为

，其中

为显著基元

内所有像素垂直方向坐标的均值与输入图像高度的比值，为显著基元

内所有像素水平方向坐标的均值与输入图像宽度的比值；

步骤(5)：根据步骤(4)结果，提取每层高斯尺度图像中每个显著基元的颜色独特性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元

，其颜色独特性值

表示为：

其中

为显著基元

和显著基元

的颜色距离；

为显著基元

和显著基元

的空间距离；

为高斯函数标准差；

所述的显著基元

和显著基元

的颜色距离

表示为显著基元

的颜色均值矢量

与显著基元

的颜色均值矢量

的L2距离，具体描述为：

所述的显著基元

和显著基元的空间距离

表示为显著基元

的质心坐标与显著基元

的质心坐标的L2距离，具体描述为：

步骤(6)：根据步骤(5)的结果，对每层高斯尺度图像中每个显著基元的颜色独特性值进行平滑滤波，并将平滑滤波后的颜色独特性值归一化到[0,1]之间，获取颜色独特性归一化值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元，其平滑滤波后的颜色独特性值

表示为：

       

其中

为第n层高斯尺度图像

中的第i个显著基元

和第j个显著基元

的空间-颜色距离权重；

为归一化因子；

和分别控制颜色距离和空间距离对平滑效果的敏感度；

    对于第n层高斯尺度图像中的第i个显著基元

，其颜色独特性归一化值

表示为：

          

其中

和

分别为第n层高斯尺度图像

中所有显著基元的平滑滤波后的颜色独特性值的最小值和最大值；

     步骤(7)：根据步骤(4)结果，计算每层高斯尺度图像中每个显著基元的空间紧凑性值，具体为：

对于第n层高斯尺度图像中的第i个显著基元

，其空间紧凑性值

表示为：

其中

为高斯函数标准差；

     步骤(8)：根据步骤(7)的结果，对每层高斯尺度图像中每个显著基元的空间紧凑性值进行平滑滤波，并将平滑滤波后的空间紧凑性值归一化到[0,1]之间，获取空间紧凑性归一化值，具体为：

    对于第n层高斯尺度图像

中的第i个显著基元

，其平滑滤波后的空间紧凑性值

表示为：

            

对于第n层高斯尺度图像

中的第i个显著基元

，其空间紧凑性归一化值

表示为：

      

其中和

分别为第n层高斯尺度图像

中所有显著基元的平滑滤波后的空间紧凑性值的最小值和最大值；

步骤(9)：根据步骤(6)和步骤(8)的结果，计算每层高斯尺度图像中每个显著基元的颜色显著性值，具体为：

对于第n层高斯尺度图像

中的第i个显著基元

，其颜色显著性值

表示为：

步骤(10)：根据步骤(6)结果，提取每层高斯尺度图像中每个显著基元的感受野区域，具体为：

对于第n层高斯尺度图像中的第i个显著基元

，计算显著基元与第n层高斯尺度图像

中其他显著基元的独特性距离，并按该距离对第n层高斯尺度图像

中的所有显著基元进行升序排列，形成一组新的显著基元序列；在新的显著基元序列中位置处于越前面的显著基元，与显著基元

的独特性距离越小；提取新的显著基元序列中前

个显著基元组成为显著基元

的“中央”邻域区域

；提取新的显著基元序列中第

到第

个的显著基元组成为显著基元的“周围”邻域区域

；显著基元的“中央”邻域区域

和“周围”邻域区域

构成显著基元

的感受野区域；

显著基元与显著基元

的独特性距离表示为显著基元

的颜色独特性归一化值

与显著基元

的颜色独特性归一化值

的L2距离，具体描述为：

     

 步骤(11)：根据步骤(9)和步骤(10)的结果，采用一种简化中央-周围环绕算子计算每层高斯尺度图像中每个显著基元的最终显著性值，具体为：

 对于第n层高斯尺度图像

中的第i个显著基元

，所述的一种简化中央-周围环绕算子描述为：

      

其中

为显著基元

的最终显著性值；

为显著基元

对显著基元

最终显著性值的贡献权重；

为“中央”兴奋强度和“周围”抑制强度的比值；取值范围为

；当

时，所述的一种简化中央-周围环绕算子仅具有“中央”兴奋功能；

 步骤(12)：为每层高斯尺度图像中的每个像素分配颜色显著性值，并将其归一化到[0,1]之间，获取颜色显著性归一化值，具体为：

 对于第n层高斯尺度图像

中像素

，其颜色显著性值

表示为：

对于第n层高斯尺度图像

中像素

，其颜色显著性归一化值

表示为：

     

其中

和

分别为第n层高斯尺度图像

中所有像素的颜色显著性值的最小值和最大值；

步骤(13)：为输入图像中的每个像素分配合成显著性值，并将其归一化到[0,1]之间，获取最终显著性值，具体为：

对于输入图像中像素

，其合成显著性值

表示为：

      

对于输入图像中像素

，其最终显著性值表示为：

      

其中

和

分别为输入图像中所有像素的合成显著性值的最小值和最大值。

Images