CN105513042A - 一种基于多层分析和分层推理的显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于多层分析和分层推理的显著性检测方法。利用分水岭算法对图像进行分割，将图像分割为大小不一也不重叠的区域。通过区域尺度计算和区域合并提取底、中、高多层图像。从区域对比度和空间位置因素两方面考虑，计算每层图像的显著性，获得每层图像的显著图。运用分层推理优化，对分层图像采用树形结构，得到最优显著图。实验结果表明，和目前广泛使用的几种方法相比，本发明提供的方法能够达到更高的性能，更适用于检测背景更加复杂的图像。

Description

一种基于多层分析和分层推理的显著性检测方法

技术领域

本发明涉及一种基于多层分析和分层推理的显著性检测方法，属于计算机视觉显著性检测技术领域。

背景技术

视觉显著性检测是模拟人类注意快速指向感兴趣区域的机制，只对需要的信息进行加工和分配，极大地提高了信息处理的效率，是计算机视觉领域亟待解决的一个重点和热点问题。

面对一幅背景复杂的图像，显著的目标物体或者背景包含小尺度，高对比度，那么就很难精确地提取显著性物体。当背景比较杂乱，显著物体的尺度比较小时，我们很难一下子准确找到显著物体。这个问题在自然图像中很常见，对于已有的显著性检测方法是一个巨大的挑战。

现有视觉显著性检测算法的主要缺点在于分辨率低，目标边界定义差，计算复杂度高。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种分辨率高、计算复杂度低的基于多层分析和分层推理的显著性检测方法。

技术方案：一种基于多层分析和分层推理的显著性检测方法，包括如下步骤：

步骤1：输入图像；

步骤2：采用分水岭算法对步骤1得到的图像进行分割，将图像分割为大小不一且不重叠的区域；

步骤3：定义一个新的区域尺度计算方法，将步骤2得到的过分割后的区域按照区域尺度值的大小排序，形成区域尺度列表，对图像中的每个像素按照区域列表标记后的图即为底层图像；

步骤4：设定不同的阈值，通过不同大小核的包滤波器，合并区域计算可依次获得中层和高层图像；

步骤5：从区域对比度和空间位置两个方面计算每一层图像的显著值；

步骤6：对步骤3和4得到的多层图像构造树形结构，通过能量更新和优化，修正步骤5得到的显著值。通过对每一层的所有区域分配权值，最终加权平均得到最优显著图。

工作原理：当背景比较复杂时，现有的将每层显著图叠加求平均得到最终显著图的做法并不是一个理想的方法。考虑到在不同区域的尺度下，每一层相对应区域表示的显著性是不一致的。本发明运用分层推理优化，每层图像采用树形结构，利用信念传播给每一单层所有区域提供一个良好的权值，进行加权平均，得到最优显著图。分层推理优化利用在每一层相同区域获得的显著值，有效地纠正最初显著值。

有益效果：与现有技术相比，本发明提供的方法能够更加精确地检测显著目标，检测得到的结果分辨率高，目标边界定义精准，算法复杂度小。

附图说明

图1为本发明的流程图；

图2为本发明方法与现有方法实验效果对比图，其中，a)原始图像，b)GroundTruth，c)IT方法，d)Mz方法，e)SR方法，f)GB方法，g)CA方法，h)FT方法，i)本发明提供的方法；

图3为本发明与现有方法的平均查准率-召回率-F值实验对比柱状图；

图4为本发明与现有方法在复杂背景下检测到的显著区域实验效果对比图，其中，a)原始图像，b)GroundTruth，c)IT方法，d)Mz方法，e)SR方法，f)CA方法，g)本发明提供的方法。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提供的一种基于多层分析和分层推理的显著性检测方法，包括如下步骤：

步骤1：采集图像数据；定义采集图像为A；

步骤2：采用分水岭算法对步骤1得到的图像进行分割，将图像分割为大小不一且不重叠的区域；

分水岭算法是一种基于拓扑理论中数学形态学的分割方法，主要是对图像做梯度分割处理，将图像分割为大小不一且互不重叠的区域。该算法主要分为两步，首先是对图像进行预处理，将图像像素的灰度值按照升序排列。然后根据排序构造出“集水盆地”，并对集水盆地进行不同的标记构造出“防水堤坝”。在此过程中要用到Sobel算子来获得梯度幅值图像，该算子包含两个3x3的矩阵，一个是横向矩阵，一个是纵向矩阵。将该算子和图像做平面卷积就能分别得到横向和纵向的亮度差分近似值。设A为原始图像，D_x,D_y分别代表横向和纵向边缘检测图像，表达式如下：

$D_x=\left(\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right)*A---\left(1\right)$

$D_y=\left(\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right)*A---\left(2\right)$

因此，梯度大小表示为：

$D=\sqrt{D_x+D_y}---\left(3\right)$

步骤3：定义一个新的区域尺度计算方法，将步骤2得到的过分割后的区域按照区域尺度值的大小排序，形成区域尺度列表，对图像中的每个像素按照区域列表标记后的图即为底层图像；

在已有的区域尺度计算中，往往是通过该区域所包含的像素个数计算得到。但是在处理和理解自然图像时这样做并不一定都合适。事实上，一个包含大量像素的区域在人类视觉感知中并不一定对应一个大尺度的区域。为此，我们定义了一个新的尺度计算方法，对于形状非常近似或者相同的区域，我们采用一个环绕尺度计算。设区域R′，定义该区域的环绕区域为即R′∈R。有了这样的关系后，我们将区域R的尺度计算表达式表示为：

$scale\left(R\right)=\arg \underset{t}{max}\left\{R_{t\×t}\right|R_{t\×t}\⊆R\}---\left(4\right)$

其中，R_t×t是一个t×t的正方形区域。根据式(4)计算一个区域的尺度，需要进行大量的搜索和比较，计算量比较大。这里我们可以进行简化的操作，事实上在经过分水岭算法分割后，我们只需要给定一个阈值t，将每个分割后的区域和t做比较，可以将所有的区域分为大于t和小于t两部分。因此，我们可以采用一个大小为t×t的核k_t的包滤波器，包滤波器的主要功能，在给定的滑动窗口大小下，对每个窗口内的像素值进行快速相加求和。通过这个包过滤器输出分割区域尺度小于t部分。

将图像通过分水岭过分割的区域按照每个区域尺度值的大小排序，记为区域列表对图像中的每个像素按照区域列表标记后的图，记为M。通过一个核为k_t的包滤波器，输出的图为k_tοM，ο指二维卷积。计算绝对差D_t＝|M-k_tοM|，当满足下面公式，我们就可以从区域列表筛选出小于尺度t的区域。

$\left(\underset{y}{min}\right\{D_t\left(y\right)|y\∈R_i\})>0---\left(5\right)$

其中，y表示像素，在经过卷积后，所有属于区域R_i的标签值将会被改变，输出小于阈值t的尺度。

定义一个尺度大小为3x3的核k_t的包滤波器，以及分割后每个区域尺度值从大到小排序的区域列表如果在区域列表中的区域R_i小于3x3的尺度，那么我们就将该区域合并到与其最相邻的区域中，根据在CIELUV颜色空间的平均颜色距离更新合并区域的尺度，并且将合并区域的平均颜色距离更新颜色。当所有的区域都被计算完时，我们所得到的图就作为底层或者第一层图，记为L¹。

步骤4：设定不同的阈值，通过不同大小核的包滤波器，合并区域计算可依次获得中层和高层图像；

通过改变阈值的大小，采用与步骤3相同的方法，就可以获得中层和高层图，分别记为L²，L³。本实施例中的三个阈值分别为3,17,32。

步骤5：从区域对比度和空间位置两个方面计算每一层图像的显著值；

区域对比度

将图像中任意两个像素p_i,p_j在Lab颜色空间上的距离用两个像素的对比度值C_i(i,j)表示，表达式如下：

C_i(i,j)＝D(p_i,p_j)i≠j(6)

其中，D(p_i,p_j)表示像素p_i,p_j在Lab颜色空间上的距离。那么图像过分割后任意两个区域R_i,R_j中像素的对比度值C_d(i,j)可以通过计算颜色平均值的欧氏距离来表示，表达式如下：

C_d(R_i,R_j)＝‖μ_i-μ_j‖₂i≠j(7)

其中，μ_i和μ_j分别表示区域R_i,R_j中的像素在Lab颜色空间上的颜色均值，||||₂代表欧氏坐标距离。由以上两个公式就可以推出图像中任意一个区域对比度的表达式如下：

$C_x=\underset{n=1}{\overset{m}{\Σ}}{C}_d(R_i,R_j)---\left(8\right)$

其中，m表示图像经过分水岭算法过分割之后的区域数量。

通过区域对比度方法计算图像的显著性，往往对区域之间的距离也会有要求，因为区域之间的距离通常也会影响人眼对于图像区域关注度的选择。从一般情况来说，当人眼在集中看某个感兴趣区域的时候，视线都会比较集中在这个区域，而不会分散开来，因此两个区域之间的距离如果太大会对区域对比度值有影响。在平时生活中我们发现，如果存在某个区域和其他任意两个区域的颜色对比度值恰好是一样的，那么这两个区域中与该区域之间距离更近的那个区域将更容易引起人眼视觉关注。由此，本文在区域对比度中引入权值w(R_i,R_j)，表示为区域R_i,R_j的中心点在图像中的欧氏坐标距离，对显著性检测将更加合理。因此，将公式改进为如下式：

${C_x}^{\′}=\underset{n=1}{\overset{m}{\Σ}}\frac{1}{1+w(R_i,R_j)}{C}_d(R_i,R_j)---\left(9\right)$

空间位置

根据心理学研究，人们在构造或者拍摄一幅图像的时候，往往习惯性将要表现的目标放在图像的中间位置。通过大量实验也表明在采集自然图像时，人们习惯于把图像的核心元素放在图像的中心位置。因此，越靠近图像中间位置的像素越有可能成为显著的，这在我们上文也介绍过。在整幅图像中的位置对显著性的影响，可用下式表示：

$H_i=\frac{1}{w\left(R_i\right)}\underset{x_i\∈R_i}{\Σ}\exp \{-\mathrm{\λ}||x_i-x_c|{|}^2\}---\left(10\right)$

其中，{x₀,x₁…}定义为在区域R_i中的像素坐标集合，x_c是图像的中心坐标。H_i表达式使得越靠近图像中心位置的区域有更大的权值。λ参数通常设为9。

将区域对比度值和空间位置因素两个影响因子标准化到[0,1]，通过相乘的方法相结合，定义为本发明方法的图像显著性值，计算公式如下；

$\stackrel{\‾}{s_i}=H_i\·{C_x}^{\′}---\left(11\right)$

结合了空间位置因素的显著图比没有加入空间位置因素的显著图更能凸显中心的显著性目标区域。

步骤6：对步骤3和4得到的多层图像构造树形结构，通过能量更新和优化，修正步骤5得到的显著值。通过对每一层的所有区域分配权值，最终加权平均得到最优显著图。

将树形结构中的一个节点对应于第L^l层中的区域i，然后最小化下面的能量公式：

$E\left(S\right)=\underset{l}{\Σ}\underset{i}{\Σ}{E}_D\left(s_i^l\right)+\underset{l}{\Σ}\underset{i,R_i^l\⊆R_j^{l+1}}{\Σ}{E}_S(s_i^l,s_j^{l+1})---\left(12\right)$

其中，S是所有显著性变量的集合，表示区域i在第L^l层的显著值。在第L^l层和第L^l+1层分别对应和的区域有这样的关系树形结构中的节点和边的表示由能量公式中的项可以表示，树的节点存储一元能量树的边表示层次能量它们的表达式分别如下：

$E_D\left(s_i^l\right)={\mathrm{\β}}^l\left|\right|s_i^l-{\stackrel{\‾}{s}}_i^l|{|}_2^2---\left(13\right)$

$E_S(s_i^l,s_j^{l+1})={\mathrm{\λ}}^l\left|\right|s_i^l-s_j^{l+1}\left|\right|---\left(14\right)$

其中，β^l是控制每一层的信心，是公式计算得到的最初显著值，λ^l控制层与层之间的一致性。利用在每一层相同区域获得的显著值，有效地纠正最初显著值由于这两个函数都是凸函数，因此目标函数可以采用信念传播有效地解决。信念传播包含两步计算，分别是自底向上的能量更新和自顶向下的优化。

这里的分层推理优化模型采用树形结构，利用信念传播给每一单层显著图提供了一个良好的权值，进行加权平均，得到最优显著图。不同于以往的方法只是将每层显著图叠加求平均。分层推理优化利用在每一层相同区域获得的显著值，有效地纠正最初显著值。

通过上述实施方式，可见本发明具有如下优点：为了衡量本发明所提供方法的有效性，我们可以用测评指标：召回率(Recall)，精确率(Precision)和F-值(F-measure)来比较。将本文的方法与目前比较流行和经典的方法进行比较，结果如图2所示。

如图2所示，IT方法只能检测到某几个较小区域的显著性区域。SR方法由于基于频谱的特征，检测结果的分辨率较低，只能大致确定目标物体的位置不能完全辨认物体的轮廓。同样从频域角度考虑的FT方法，能够整体表现出显著性目标所在区域，相对于SR方法有了很大的提升，但是由于显著区域和非显著区域的对比度不高，区分度较低。CA方法能比较好地突出显著区域的边缘，但不能完整地突出整个显著区域。总体来说，d)-g)方法得到的显著图过分突出强调图像的边缘轮廓信息，不能均匀突出整个显著目标。这是因为这类方法大都只考虑图像局部对比，而忽略了全局信息。h)方法采用的是全局对比方法获得显著图，尽管比较均匀地突出了显著目标，但也将部分非显著区域当成了显著区域，不能完整突出显著区域。本发明提供的方法采用分层处理，经过尺度计算和区域合并算法，由粗到细考虑，能够完整地突出图像的显著区域，克服了以上d)-h)方法不能均匀突出整个显著目标。本发明通过树形结构进行推理优化能够有效地抑制图像中的非显著区域，得到的显著性区域和GroundTruth中的结果相似度最高甚至重合。

各种方法在1000幅图像上测试获得的平均指标如图3所示。本发明提供的方法与其他方法相比具有更好的查准率，召回率和F值。此外，本发明提供的方法在复杂背景下检测到的显著区域的效果也非常好，如图4所示。

Claims (3)

1.一种基于多层分析和分层推理的显著性检测方法，其特征在于：包括如下步骤：

步骤1：输入图像；

步骤2：采用分水岭算法对步骤1得到的图像进行分割，将图像分割为大小不一且不重叠的区域；

步骤3：定义一个新的区域尺度计算方法，将步骤2得到的过分割后的区域按照区域尺度值的大小排序，形成区域尺度列表，对图像中的每个像素按照区域列表标记后的图即为底层图像；

步骤4：设定不同的阈值，通过不同大小核的包滤波器，合并区域计算可依次获得中层和高层图像；

步骤5：从区域对比度和空间位置两个方面计算每一层图像的显著值；

步骤6：对步骤3和4得到的多层图像构造树形结构，通过能量更新和优化，修正步骤5得到的显著值。通过对每一层的所有区域分配权值，最终加权平均得到最优显著图。

2.如权利要求1所述的基于多层分析和分层推理的显著性检测方法，其特征在于：步骤3中定义了一个新的尺度计算方法，对于形状非常近似或者相同的区域，采用一个环绕尺度计算。设区域R′，定义该区域的环绕区域为即R′∈R；将区域R的尺度计算表达式表示为：

$\mathrm{scale}\left(R\right)=\arg \underset{t}{\max }\left\{R_{t\×t}\right|R_{t\×t}\⊆R\}---\left(4\right)$

其中，R_t×t是一个t×t的正方形区域；根据式(4)计算一个区域的尺度，需要进行大量的搜索和比较，计算量比较大；这里可以进行简化的操作，在经过分水岭算法分割后，给定一个阈值t，将每个分割后的区域和t做比较，可以将所有的区域分为大于t和小于t两部分；采用一个大小为t×t的核k_t的包滤波器，通过这个包过滤器输出分割区域尺度小于t部分；

将图像通过分水岭过分割的区域按照每个区域尺度值的大小排序，记为区域列表对图像中的每个像素按照区域列表标记后的图，记为M；通过一个核为k_t的包滤波器，输出的图为k_tοM，ο指二维卷积；计算绝对差D_t＝|M-k_tοM|，当满足下面公式，从区域列表筛选出小于尺度t的区域；

$\left(\underset{y}{min}\right\{D_t\left(y\right)|y\∈R_i\})>0---\left(5\right)$

其中，y表示像素，在经过卷积后，所有属于区域R_i的标签值将会被改变，输出小于阈值t的尺度；

定义一个尺度大小为3x3的核k_t的包滤波器，以及分割后每个区域尺度值从大到小排序的区域列表如果在区域列表中的区域R_i小于3x3的尺度，那么将该区域合并到与其最相邻的区域中，根据在CIELUV颜色空间的平均颜色距离更新合并区域的尺度，并且将合并区域的平均颜色距离更新颜色；当所有的区域都被计算完时，所得到的图就作为底层或者第一层图，记为L¹。

3.如权利要求2所述的基于多层分析和分层推理的显著性检测方法，其特征在于：步骤4中通过改变阈值的大小，采用与步骤3相同的方法，就可以获得中层和高层图，分别记为L²，L³；

步骤5中从区域对比度和空间位置两个方面计算每一层图像的显著值；

区域对比度

将图像中任意两个像素p_i,p_j在Lab颜色空间上的距离用两个像素的对比度值C_i(i,j)表示，表达式如下：

C_i(i,j)＝D(p_i,p_j)i≠j(6)

其中，D(p_i,p_j)表示像素p_i,p_j在Lab颜色空间上的距离。那么图像过分割后任意两个区域R_i,R_j中像素的对比度值C_d(i,j)可以通过计算颜色平均值的欧氏距离来表示，表达式如下：

C_d(R_i,R_j)＝||μ_i-μ_j||₂i≠j(7)

其中，μ_i和μ_j分别表示区域R_i,R_j中的像素在Lab颜色空间上的颜色均值，||||₂代表欧氏坐标距离；由以上两个公式就可以推出图像中任意一个区域对比度的表达式如下：

$C_x=\underset{n=1}{\overset{m}{\Σ}}{C}_d(R_i,R_j)---\left(8\right)$

其中，m表示图像经过分水岭算法过分割之后的区域数量；

在区域对比度中引入权值w(R_i,R_j)，表示为区域R_i,R_j的中心点在图像中的欧氏坐标距离，对显著性检测将更加合理；因此，将公式改进为如下式：

${C_x}^{\′}=\underset{n=1}{\overset{m}{\Σ}}\frac{1}{1+w(R_i,R_j)}{C}_d(R_i,R_j)---\left(9\right)$

空间位置

在整幅图像中的位置对显著性的影响，可用下式表示：

$H_i=\frac{1}{w\left(R_i\right)}\underset{x_i\∈R_i}{\Σ}\exp \{-\mathrm{\λ}||x_i-x_c|{|}^2\}---\left(10\right)$

其中，{x₀,x₁…}定义为在区域R_i中的像素坐标集合，x_c是图像的中心坐标；H_i表达式使得越靠近图像中心位置的区域有更大的权值；

将区域对比度值和空间位置因素两个影响因子标准化到[0,1]，通过相乘的方法相结合，定义为图像显著性值，计算公式如下；

$\stackrel{\‾}{s_i}=H_i\·{C_x}^{\′}---\left(11\right)$

结合了空间位置因素的显著图比没有加入空间位置因素的显著图更能凸显中心的显著性目标区域。