CN105046701A - 一种基于构图线的多尺度显著目标检测方法 - Google Patents

Abstract

本发明一种基于构图线的多尺度显著目标检测方法，以构图线为目标、其余为背景出发，通过多次特征相关性比较逐步更新目标和背景，形成显著图，并通过背景角度的细化、超像素内像素之间差异的矫正及多尺度融合实现显著目标检测，克服现有图像显著目标检测方法未能直接利用目标特征形成显著图的不足。所述构图线定义为摄影构图法则中的三等分构图线、对角构图线、三角形构图线、黄金比例构图线或金色螺线构图线。所述方法以构图线作为目标的初始值，能够充分利用假定已知目标的特征完成显著性计算。

Description

一种基于构图线的多尺度显著目标检测方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种图像显著目标检测方法。

背景技术

人类视觉能够在一个场景中迅速捕获感兴趣的位置，在视觉注意的引导下，人们可以检测出图像中的显著信息。显著目标检测就是模拟人类视觉来检测图像中最重要、最有信息的部分。正确提取这些显著目标区域可以大大提高图像处理分析的效率和正确性，从而可以应用在大量的视觉问题上，比如图像分割、目标识别、图像压缩，以及基于内容的图像检索等研究。

自从Itti等人1998年提出基于中央-周边环绕算子的显著模型后，引起研究者们广泛的关注，近年来人们提出了很多算法，基本分为三大类：局部对比度先验知识、全局对比度先验知识、背景先验知识。

局部对比度先验知识的基本思想是：每个像素或超像素，只与图像局部中某些像素或超像素比较，从而获得对比度，如IT算法、GB算法、SR算法、FT算法；全局对比度的基本思想是：将目标像素或超像素与图像中其余所有像素或超像素进行特征差异度计算，最后将这些差异度累加作为目标像素或超像素的全局对比度，如SF算法、GC算法；背景先验知识的主要思想是首先检查出背景区域，进而得到目标区域，如GS算法、AMC算法、MR算法、SO算法。其中Yang等人2013年提出的MR算法以图像四边的节点为背景出发，根据相关性排序寻找目标背景分布图，再以寻找到的目标出发，由相关性排序细化显著图。

专利号201410098280.4一种基于前景先验和背景先验的显著性物体检测方法，提出一种分别从显著性物体(前景)和背景出发，结合各自先验知识的优势来定义对应的显著性衡量方式。首先利用对比先验计算每个子区域的中心周围颜色对比，然后将该对比度值乘以中心先验，平滑后得到基于前景的显著性图；同时利用边界先验和所定义的八邻域缝，动态优化找到每个像素分别到四条边界的最优缝，计算最优缝的成本，以得到基于背景的显著性图；最后将前两步得到的显著性图相乘，再通过平滑得到最终的显著性图。

综上所述算法从局部或全局出发，或从假设的已知背景出发寻找目标背景分布，或将前景对比度先验和背景先验相结合，形成显著图。但是图像在形成时通常遵循构图法则，如摄影师在拍摄图像时，将图像的主体目标置于构图线的交点上，或者沿所述构图线排布多个目标，如图1所示。所述构图线是指摄影构图法则中的三等分构图线、对角构图线、三角形构图线、黄金比例构图线或金色螺线构图线，如图2所示。而且，人眼在观看图像时，也会遵循摄像构图法则。因此可以假设图像的显著目标位于构图线上，从假设的已知目标出发逐步寻找目标背景分布。

发明内容

本发明为克服现有图像显著目标检测方法未能直接利用目标特征形成显著图的不足，基于构图法则提供一种基于构图线的显著目标检测方法，以构图线为目标、其余为背景出发，通过特征相关性比较逐步更新目标和背景，形成显著图，并通过背景角度的细化、超像素内像素之间差异的矫正及多尺度融合实现显著性计算。

本发明解决技术问题采用如下技术方案：

本发明一种基于构图线的多尺度显著目标检测方法，其步骤包括：

(1)将图像分割为超像素，以超像素为节点，构造闭环图；

(2)将图像中构图线上的超像素节点初始化为目标节点，其余的超像素节点初始化为背景节点；所述构图线定义为三等分构图线、对角构图线、三角形构图线、黄金比例构图线或金色螺线构图线；

(3)以图像中目标节点为询问节点，将图像中的节点与询问节点进行特征相关性比较，根据相关度形成目标显著图，同时更新目标节点和背景节点；所述特征可以为颜色特征，或其他特征；所述过程定义为基于目标的显著计算过程，可以执行多次；

(4)以背景节点为询问节点，将图像中的节点与询问节点进行特征相关性比较，根据相关度形成背景显著图；所述特征可以为颜色特征，或其他特征；所述过程定义为基于背景的显著计算过程；

(5)将所述目标显著图和经取反操作后的背景显著图进行融合，细化目标显著图；

(6)对超像素内的像素的显著值进行矫正；

(7)在多尺度下执行以上所述过程，并进行融合，形成显著图，提取显著目标。

与已有技术相比，本发明有益效果体现在：

1、本发明一种基于构图线的多尺度显著目标检测方法以构图线作为目标的初始值，通过特征相关性比较逐步更新目标背景分布。它是一种在假定已知目标前提下进行的检测方法，能够充分利用假定已知目标的特征完成显著性计算。

2、本发明一种基于构图线的多尺度显著目标检测方法通过多尺度的融合减小因超像素分割过大或过小所引起的基于构图线的显著目标检测方法的误差。它是一种多尺度的显著目标检测方法。

3、本发明一种基于构图线的多尺度显著目标检测方法，通过图像库测试对比证明了其有效性以及在效果上明显的优势。

附图说明

图1为本发明图像中显著目标沿三分构图线或金色螺线构图线分布的示例图。

图2为本发明所述三等分构图线、对角构图线、三角形构图线、黄金比例构图线或金色螺线构图线。

图3为本发明一种基于构图线的多尺度显著目标检测方法的流程图。

图4为本发明超像素构造闭环图示意图。

图5为本发明基于目标的显著检测方法。

图6为本发明一种基于构图线的多尺度显著目标检测方法与现有方法在数据集MSRA-1000上的显著性检测结果PR曲线比对图。

图7为本发明一种基于构图线的多尺度显著目标检测方法与现有方法在数据集CSSD上的显著性检测结果PR曲线比对图。

图8为本发明一种基于构图线的多尺度显著目标检测方法与现有方法在数据集ECSSD上的显著性检测结果PR曲线比对图。

图9为本发明一种基于构图线的多尺度显著目标检测方法与现有方法的显著性检测结果质量比较。

图10为本发明单一尺度与多尺度指标评估比较。

以下通过具体实施方式，并结合附图对本发明作进一步说明，但本发明的实施方式不限于此。

具体实施方式

本实施例一种基于构图线的多尺度显著目标检测方法，如图3所示，其步骤包括：

(1)利用SLIC算法将图像分割为超像素，以超像素为节点，设置每个节点(如图4中红色点)不仅和周围相邻节点连接(如图4中紫色线指向的紫色点)，同时和有共同边的邻近节点连接(如图4中绿色线指向的绿色点)，其次设置边界上任意节点对是毗邻的(如图4中的红色线)，构造闭环图。

(2)将图像中构图线上的超像素节点初始化为目标节点，其余的超像素节点初始化为背景节点。所述构图线定义为三等分构图线。

(3)以图像中目标节点为询问节点，采用ManifoldRanking算法依据超像素的平均Lab颜色特征将图像中的节点与询问节点进行相关性比较，根据相关度形成目标显著图S_o，将显著图中灰度值大于等于平均灰度值的超像素更新为目标节点，将显著图中灰度值小于平均灰度值的超像素更新为背景节点。所述过程定义为基于目标的显著计算过程，执行3次最佳。

所述基于目标的显著计算过程如图5所示，分别以三等分构图线的每一条线进行一次相关性比较，按照公式(1)进行线性融合。

S_o(i)＝S_to(i)+S_bo(i)+S_lo(i)+S_ro(i)(1)

其中，S_to(i)表示以三等分构图线中的距离图像上边界三分之一处的构图线进行相关性比较形成的显著图；S_bo(i)表示以三等分构图线中的距离图像下边界三分之一处的构图线进行相关性比较形成的显著图；S_lo(i)表示以三等分构图线中的距离图像左边界三分之一处的构图线进行相关性比较形成的显著图；S_ro(i)表示以三等分构图线中的距离图像右边界三分之一处的构图线进行相关性比较形成的显著图。

(4)以背景节点为询问节点，采用ManifoldRanking算法依据超像素的平均Lab颜色特征将图像中的节点与询问节点进行特征相关性比较，根据相关度形成背景显著图S_b′。所述过程定义为基于背景的显著计算过程。

(5)将所述目标显著图S_o和经取反操作后的背景显著图S_b＝1-S_b′进行线性融合，形成S_superlevel＝S_o+S_b，细化目标显著图。

(6)对超像素内的像素的显著值进行矫正，依据超像素内像素点距离颜色中心的关系，按照公式(2)计算超像素内像素之间显著值的差异S_c，并形成S_level＝S_superlevel+S_c。

$S_c\left(p\right)=\frac{\underset{i=1}{\overset{R}{\Σ}}T\left(r_i\right){\left(\right||I_p-c_i||+\mathrm{\ϵ})}^{-1}\mathrm{\δ}(p\∈r_i)}{\underset{i=1}{\overset{R}{\Σ}}{\left(\right||I_p-c_i||+\mathrm{\ϵ})}^{-1}\mathrm{\δ}(p\∈r_i)}---\left(2\right)$

其中r_i表示i超像素，ε是常数，c_i是超像素r_i的颜色中心，即超像素r_i的平均RGB颜色，||I_p-c_i||表示颜色距离，即r_i内像素p到c_i的欧式距离，δ(·)是指示函数。T(r_i)为给每个超像素分配的权值，按照公式(3)计算。

$T\left(r_i\right)=-w_{i}log(1-\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\α}}_{ik}{d}_{color}(r_i,r_k\left)\right)---\left(3\right)$

其中d_color(r_i,r_k)为超像素r_i与邻近超像素r_k间的颜色距离，计算为这两个区域的CIELab和hue的直方图的χ²距离。w_i采用高斯下降权重模型，按照公式(4)计算。

w_i＝exp(-9(dx_i)²/w²-9(dy_i)²/h²)(4)

其中w、h分别表示图像的宽度与长度，(dx_i,dy_i)表示r_i超像素内所有像素点到图像中心的平均空间距离。

(7)在三个不同尺度下执行以上所述过程，并进行融合，形成最终显著图S＝S_level1+S_level2+S_level3，并通过设置阈值提取显著目标，其中level1设定一副图像中包含的超像素个数为200，level2设定一副图像中包含的超像素个数为300，level3设定一副图像中包含的超像素个数为400。

本实施例一种基于构图线的多尺度显著目标检测方法，以构图线作为目标的初始值，能够充分利用假定已知目标的特征通过相关性比较完成显著性计算。所述方法与现有常用的GS-SP，MR，HS，AMC，PCA，SF方法分别在数据集MSRA-1000、CSSD、ECSSD上进行显著性检测，检测结果PR曲线比较如图6，图7，图8所示，部分显著性检测结果质量比较如图9。

本实施例一种基于构图线的多尺度显著目标检测方法，通过融合的方法减小因超像素分割过大或过小所引起的误差。如图10所示，在数据集MSRA-1000上进行单一尺度即level1、level2、level3以及多尺度融合的比较，实验结果表明多尺度显著目标检测的曲线优于使用单个尺度的显著目标检测。

Claims (1)

1.一种基于构图线的多尺度显著目标检测方法，其步骤包括：

(1)将图像分割为超像素，以超像素为节点，构造闭环图；

(2)将图像中构图线上的超像素节点初始化为目标节点，其余的超像素节点初始化为背景节点；所述构图线定义为三等分构图线、对角构图线、三角形构图线、黄金比例构图线或金色螺线构图线；

(3)以图像中目标节点为询问节点，将图像中的节点与询问节点进行特征相关性比较，根据相关度形成目标显著图，同时更新目标节点和背景节点；所述特征可以为颜色特征，或其他特征；所述过程定义为基于目标的显著计算过程，可以执行多次；

(4)以背景节点为询问节点，将图像中的节点与询问节点进行特征相关性比较，根据相关度形成背景显著图；所述特征可以为颜色特征，或其他特征；所述过程定义为基于背景的显著计算过程；

(5)将所述目标显著图和经取反操作后的背景显著图进行融合，细化目标显著图；

(6)对超像素内的像素的显著值进行矫正；

(7)在多尺度下执行以上所述过程，并进行融合，形成显著图，提取显著目标。