CN106204615A - 一种基于中心矩形构图先验的显著目标检测方法 - Google Patents

Abstract

本发明提供一种基于中心矩形构图先验的显著目标检测方法。所述中心矩形是指三分构图线的四个构图交点围成的矩形。假设显著目标沿中心矩形构图线排列，对中心矩形四条边上的超像素进行相关性排序，获取中心矩形构图线显著图；假设显著目标位于中心矩形构图交点上，根据所述中心矩形构图线显著图去除不可能成为显著目标的构图交点，然后分别以剩下的构图交点为中心节点，计算图像中所有超像素节点与中心节点的空间距离，形成对应的显著图，最后将其相加融合形成中心矩形构图交点显著图；之后利用紧凑性关系获取紧凑性关系显著图；最后，三者融合得到最终的显著图。所述方法遵循摄影构图法则，符合人眼视觉注意机制。

Description

一种基于中心矩形构图先验的显著目标检测方法

技术领域

本发明属于计算机视觉领域，具体涉及一种显著目标检测方法。

背景技术

近年来计算机视觉中的显著目标检测越来越吸引人们的关注。显著目标检测多用在图像分割、目标识别、视频跟踪、图像分类、图像压缩等工作中，属于计算机视觉中的基础研究工作。研究人员也提出了很多有关显著目标检测的算法。

2013年Yang等人在论文Saliency Detection via Graph-Based ManifoldRanking中提出MR方法，对图像进行超像素分割，把图像的四条边界所在的超像素节点设为背景，根据特征相关性排序寻找目标背景分布图，再以寻找到的目标出发，由特征相关性排序细化显著图。这是一种从背景角度出发形成显著图的方法。

由于图像在形成时通常遵循摄影构图法则，如摄影师在拍摄图像时，将图像的主体目标置于构图交点上，或者沿着构图线排布多个目标。而且，人眼在观看图像时，也会遵循对应的摄影构图法则。申请号201510402217.X一种基于构图线的多尺度显著目标检测方法，以构图线为目标、其余为背景的角度出发，通过多次特征相关性排序逐步更新目标和背景，形成显著图。然而构图线中靠近图像边界的部分可能不是目标，如果将其初始化为目标会产生噪声。

2015年Zhou等人在论文Salient Region Detection via IntegratingDiffusion-Based Compactness and Local Contrast中提出Compactness方法，认为显著目标具有紧凑的空间分布，而背景的颜色更广泛地分布在整个图像中，并认为显著目标多处于图像的中心位置，与图像中心的空间距离较小。然而基于摄影构图法则，显著目标不一定在图像的中心，而是分布在构图交点上，以与图像中心的空间距离作为显著计算的依据，会产生误差。

发明内容

本发明为克服以构图线为目标计算图像显著值的方法中靠近图像边界的构图线初始化为目标所带来的噪声以及假设图像中心为显著目标所产生的误差问题，提供一种基于中心矩形构图先验的显著目标检测方法。所述中心矩形是指三分构图线的四个构图交点围成的矩形。假设显著目标沿中心矩形构图线排列，对中心矩形四条边上的超像素进行特征相关性排序，获取中心矩形构图线显著图；然后，假设显著目标位于中心矩形构图交点上，通过计算图像中超像素节点与中心节点之间的空间距离，获取中心矩形构图交点显著图，并根据紧凑性关系获取紧凑性关系显著图；最后，三者融合得到最终的显著图。

本发明解决技术问题采用如下技术方案：

一种基于中心矩形构图先验的显著目标检测方法，其步骤包括：

(1)将图像分割为超像素，以超像素为节点，构造闭环图；

(2)假设目标沿中心矩形构图线排列，提取中心矩形构图线所在的超像素节点作为查询节点，通过相关性排序计算每一个超像素节点的显著值，获取中心矩形构图线显著图；

(3)假设目标位于中心矩形构图交点上，根据所述中心矩形构图线显著图去除不可能成为显著目标的构图交点，然后分别以剩下的构图交点为中心节点，计算图像中所有超像素节点与中心节点的空间距离，形成对应的显著图，最后将其相加融合形成中心矩形构图交点显著图；当根据所述中心矩形构图线显著图去除了所有的构图交点时，以图像中心所在的超像素节点为中心节点；

(4)利用空间紧凑性关系计算图像的显著值，获取紧凑性关系显著图；

(5)将所述中心矩形构图线显著图、中心矩形构图交点显著图和紧凑性关系显著图三者进行融合，获取最终的中心矩形构图先验显著图。

与已有技术相比，本发明有益效果体现在：

1、本发明一种基于中心矩形构图先验的显著目标检测方法，假设中心矩形构图线为显著目标形成显著图，遵循摄影构图法则，符合人眼视觉注意机制；

2、本发明一种基于中心矩形构图先验的显著目标检测方法，假设显著目标位于中心矩形构图交点上，而不是图像中心位置，遵循摄影构图法则，符合人眼视觉注意机制；

3、本发明一种基于中心矩形构图先验的显著目标检测方法，通过图像库测试对比证明了其有效性以及在效果上明显的优势。

附图说明

图1为本发明一种基于中心矩形构图先验的显著目标检测方法流程图。

图2为本发明一种基于中心矩形构图先验的显著目标检测方法中超像素构造闭环图的示意图。

图3为本发明一种基于中心矩形构图先验的显著目标检测方法与现有方法在数据集CSSD上的显著性检测结果PR曲线对比图。

图4为本发明一种基于中心矩形构图先验的显著目标检测方法与现有方法在数据集ECSSD上的显著性检测结果PR曲线对比图。

图5为本发明一种基于中心矩形构图先验的显著目标检测方法与现有方法在数据集THUS-10000上的显著性检测结果PR曲线对比图。

图6为本发明一种基于中心矩形构图先验的显著目标检测方法与现有方法在数据集CSSD上的显著性检测结果评估指标直方图的对比图。

图7为本发明一种基于中心矩形构图先验的显著目标检测方法与现有方法在数据集ECSSD上的显著性检测结果评估指标直方图的对比图。

图8为本发明一种基于中心矩形构图先验的显著目标检测方法与现有方法在数据集THUS-10000上的显著性检测结果评估指标直方图的对比图。

以下通过具体实施方式，并结合附图对本发明做进一步说明，但本发明的实施方式不限于此。

具体实施方式

本实施例一种基于中心矩形构图先验的显著目标检测方法，如图1所示，其步骤包括：

(1)利用SLIC算法将图像分割为超像素，以超像素为节点，设置每个节点不仅和周围邻居节点相连，而且与所有共边界的节点相连。同时，把中心矩形构图线四条边上的节点都视作毗邻的，把图像四条边界上的节点也视作毗邻的，构造闭环图。如图2所示。

(2)假设目标沿中心矩形构图线排列，提取中心矩形构图线所在的超像素节点作为查询节点，使用流形排序算法计算每一个超像素节点的显著值，获取中心矩形构图线显著图；

中心矩形的四条边集合分别为左边界E_l、右边界E_r、上边界E_t和下边界E_d：

$E_l=(\[\frac{WIDTH}{3}\],\[\frac{HEIGHT}{3},...,\frac{2*HEIGHT}{3}\])---\left(1\right)$

$E_r=(\[\frac{2*WIDTH}{3}\],\[\frac{HEIGHT}{3},...,\frac{2*HEIGHT}{3}\])---\left(2\right)$

$E_t=(\[\frac{WIDTH}{3},...,\frac{2*WIDTH}{3}\],\[\frac{HEIGHT}{3}\])---\left(3\right)$

$E_d=(\[\frac{WIDTH}{3},...,\frac{2*WIDTH}{3}\],\[\frac{2*HEIGHT}{3}\])---\left(4\right)$

其中，HEIGHT和WIDTH分别表示图像的高和宽。“[]”表示取整。

接着，使用流形排序算法对超像素节点进行排序，排序函数为：

g^*＝(D-αW)^-1y (5)

$w_{ij}=\left\{\begin{array}{cc}\exp (-\frac{l_{ij}}{{\mathrm{\σ}}^2})& ifj\∈Ni\\ 0& otherwise\end{array}\right.---\left(6\right)$

d_ii＝∑_jw_ij (7)

其中W＝[w_ij]_N×N为关联矩阵，l_ij表示节点v_i和节点v_j之间的Lab颜色空间距离，N_i表示节点v_i邻居节点的集合。D＝diag{d₁₁,…,d_nn}为度数矩阵，α＝0.99为系数因子，为指示向量，Unique(x)函数表示取x中不重复的数据。

将排序后的结果g^*(i)归一化，得到中心矩形构图线显著图So。

$So={\stackrel{\‾}{g}}^{*}\left(i\right)---\left(8\right)$

将得到的显著目标作为查询节点，再次使用流形排序算法与其它节点进行相关性排序，可以得到更精确的显著图。

(3)假设目标位于中心矩形构图交点上，根据所述中心矩形构图线显著图去除不可能成为显著目标的构图交点，然后分别以剩下的构图交点为中心节点，计算图像中所有超像素节点与中心节点的空间距离，形成对应的显著图，最后将其相加融合形成中心矩形构图交点显著图；当根据所述中心矩形构图线显著图去除了所有的构图交点时，以图像中心所在的超像素节点为中心节点。

首先，计算超像素之间的相似性：

$a_{ij}=\exp (-\frac{l_{ij}}{{\mathrm{\σ}}^2})---\left(9\right)$

接着，传播相似性：

F^*T＝(D-αW)^-1A (10)

其中，矩阵A＝[a_ij]_N×N，扩散后的相似矩阵

之后，计算中心矩形构图交点显著图Sd(i)。

$Sd\left(i\right)=\left\{\begin{array}{cc}\underset{p_k\∈I}{\overset{I}{\mathrm{\Σ}}}\frac{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j\·\left|\right|b_j-p_k\left|\right|}{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j}& p_k\∈I\\ \frac{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j\·\left|\right|b_j-p_0\left|\right|}{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j}& p_k\∉I\end{array}\right.---\left(11\right)$

其中，p_k＝[p_kx,p_ky],k＝1,2,3,4表示四个构图交点的空间坐标，p₀＝[p_0x,p_0y]表示图像中心的空间坐标，表示超像素v_j的质心，n_j表示超像素v_j中像素的个数，R表示整个图像区域内超像素个数，I表示在中心矩形构图线显著图So的显著目标上的中心矩形构图交点集合。

(4)利用空间紧凑性关系计算图像的显著性，获取紧凑性关系显著图。

$Sv\left(i\right)=\frac{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j\·\left|\right|b_j-{\mathrm{\μ}}_i\left|\right|}{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j}---\left(12\right)$

其中，空间均值定义为：

${\mathrm{\μ}}_i^x=\frac{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j\·b_j^x}{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j}---\left(13\right)$

${\mathrm{\μ}}_i^y=\frac{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j\·b_j^y}{{\mathrm{\Σ}}_{j=1}^R{f^{*}}_{ij}\·n_j}---\left(14\right)$

(5)将所述中心矩形构图线显著图、中心矩形构图交点显著图和紧凑性关系显著图三者进行融合，获取最终的中心矩形构图先验显著图。

S＝Norm(So*exp(1-Norm(Sv(i)+Sd(i)))) (15)

其中，Norm(x)函数表示对x进行归一化处理。

本实施例一种基于中心矩形构图先验的显著目标检测方法，以中心矩形构图先验知识出发，结合空间紧凑性关系，提高显著目标检测的准确率。通过在数据集CSSD，ECSSD，THUS-10000上进行显著性检测，检测结果PR曲线比较如图3，图4，图5所示，评估指标直方图比较如图6，图7，图8所示，取得很好的检测效果，充分说明方法的有效性和普适性。

Claims (1)

1.一种基于中心矩形构图先验的显著目标检测方法，其步骤包括：

(1) 将图像分割为超像素，以超像素为节点，构造闭环图；

(2) 假设目标沿中心矩形构图线排列，提取中心矩形构图线所在的超像素节点作为查询节点，通过相关性排序计算每一个超像素节点的显著值，获取中心矩形构图线显著图；

(3) 假设目标位于中心矩形构图交点上，根据所述中心矩形构图线显著图去除不可能成为显著目标的构图交点，然后分别以剩下的构图交点为中心节点，计算图像中所有超像素节点与中心节点的空间距离，形成对应的显著图，最后将其相加融合形成中心矩形构图交点显著图；当根据所述中心矩形构图线显著图去除了所有的构图交点时，以图像中心所在的超像素节点为中心节点；

(4) 利用空间紧凑性关系计算图像的显著值，获取紧凑性关系显著图；

(5) 将所述中心矩形构图线显著图、中心矩形构图交点显著图和紧凑性关系显著图三者进行融合，获取最终的中心矩形构图先验显著图。