CN107025672A - 一种基于改进凸包的显著性检测方法 - Google Patents

Abstract

一种基于改进凸包的显著性检测方法包括：对输入的图像进行角点检测，得到前景目标大致位置，对原图像进行Harris角点检测，然后用Graham扫描算法计算角点凸包。对原图像进行高斯滤波，得到滤波后图像的凸包区域，凸包区域的交集作为输入图像前景目标的近似位置；对原图进行超像素分割，根据交集凸包得到前景先验图，背景先验图和以凸包为中心的全局对比图；根据前/背景先验图得到凸包先验图，把凸包先验图和全局对比图融合为显著性结果图，然后根据优化函数对显著性结果图进行优化，得到最终的显著性图。与现有技术相比，能够快速有效的检测图像的显著性区域，得到一致高亮的显著目标，得到较符合视觉感知的显著图。

Description

一种基于改进凸包的显著性检测方法

技术领域

本发明涉及一种图像处理技术领域的方法，尤其是涉及一种基于改进凸包先验的显著性检测方法。

背景技术

随着计算机设备和网络技术的快速发展(包括数码相机、带有拍摄功能的智能手机和平板电脑等设备的普及)，数字图像和视频已成为人们生活中不可或缺的信息表现和传递沟通的载体。然而，随着图像和视频数据的日益增多，如何从这些大量的数据中获取有用的信息并对之进行有效的编辑处理成为研究者面临的一大难题。为了解决这个难题，越来越多的研究者开始寻求从图像中提取有用信息对图像进行简洁有效的表示。受生物视觉系统高效的视觉信息处理机理的启发，计算机视觉领域的显著性检测技术逐渐得到了发展。显著性检测模型能够有效的检测场景中的显著目标从而为后续的图像视频编辑处理奠定基础。

现有的图像显著性检测算法大致分为自底向上和自顶向下两类。自底向上的显著性检测方法通过图像和视频内容本身快速检测出显著区域；而自顶向下的显著性检测方法则通过学习的方法得到检测显著区域的准则。本方法侧重于自底向上的显著性检测。自底向上(Bottom-up)的显著性检测算法是一种快速的、下意识的、自底向上的、数据驱动的视觉注意方式，也被称为数据驱动(Data-driven)方式，主要基于外界刺激产生的视觉注意。该类算法根据图像和视频自身的内容，利用视觉注意基本原则，仅需少量的或者无需视觉先验知识即可计算出视觉显著区域。

采用低层特征,以自底向上的方式进行图像显著检测的算法包括:基于生物启发的方法及基于计算模型的方法。基于生物启发的方法在视觉注意理论研究的基础上关注诸如颜色、边缘、方向、运动方向等低层特征。如Itti等人提出的“A model of saliency-based visual attention for rapid scene analysis”，该方法利用高斯金字塔评估亮度、颜色、方向这三种特征的中心-周围差异进行显著性检测。该方法的检测结果过于强调局部范围内的高频细节,得到的显著图较模糊。基于计算模型的方法更适合计算机视觉的具体应用场景,如基于空间频率的算法、基于对比度先验的算法及基于背景先验的算法。基于空间频率的算法采用图像幅度谱或相位谱计算显著值。如Hou等人提出的“Saliencydetection:a spectral residual approach”方法，这类方法得到的结果更符合图像高层结构,但显著图较模糊且过于强调边缘。

基于对比度先验的算法包括局部对比度、全局对比度两类。局部对比度方法计算像素块的中心-周围差异作为像素块的显著值，如Ma等人提出的“Contrast-based imageattention analysis by using fuzzy growing”方法，这类方法得到的显著图较清晰,但忽略了图像的全局结构特征。全局对比度方法将显著值定义为像素块相对于图像整体的差异程度。如Achanta R等人提出的“Frequency-tuned salient region detection”的方法，该方法计算像素颜色与图像平均颜色之间的差异；Cheng M M等人提出的“Globalcontrast based salient region detection”将图像划分为区域,，计算区域与所有区域的颜色差异。相比于局部对比度算法，全局对比度算法更符合图像的整体结构，突出显著目标整体。

基于背景先验的方法将图像边界视为背景区域，计算像素块与背景区域的差异性得到像素块的显著值。如Wei Y等人提出的“Geodesic saliency using backgroundpriors”、Yang C等人提出的“Saliency detection via graph-based manifoldranking”，Zhu W等人提出的“Saliency optimization from robust backgrounddetection”的方法，描述像素块与背景的差异性，差异性越高，像素块的显著值越低。与基于对比度先验的方法相比，这类方法能更大程度地突出显著目标，得到清晰的显著图。但是由于算法较依赖于图像的边界特性，对于背景复杂或前景与背景对比度较低的图像检测效果较差。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种基于改进凸包的显著性检测方法，构建复杂背景下准确、边界清晰且内容完整的显著性图。具体包括运用Harris角点检测来得到最小凸包，对图像进行优化得到改进的凸包，合并两次凸包得到大致的目标区域，根据目标区域结合超像素构建目标提示的显著性模型，结合颜色对比度，从而得到更准确、边界清晰、内容完整的复杂背景下的显著度图。

本发明提供了一种基于改进凸包的显著性检测方法，具有这样的特征，包括以下步骤：

第一步：先对原图像进行Harris角点检测，然后用Graham扫描算法得到角点的凸包，该凸包区域记为R1，对原图像进行高斯滤波，然后再次得到滤波后图像的凸包区域，记为R2，将R1和R2这两个凸包区域的交集区域作为输入图像前景目标的近似位置，记为R；

第二步：对原图像采用SLIC方法进行超像素分割，原图像分割得到的超像素块集合记为X＝{r₁,r₂,...,r_N}，其对应的显著性值记为V＝{v₁,v₂,...,v_N}，N是分割的超像素块的个数；

第三步：判断超像素块是否属于凸包区域R，首先计算每个超像素块的中心的位置，判断超像素中心是否在凸包区域R中，这样超像素块集合分为两个部分，一个是超像素块在凸包区域R内，记为R_F，表示前景区域；另外一个是超像素块不在凸包区域R内，记为R_B，表示背景区域；

第四步：计算每个超像素块的前景显著性值和背景显著性值，把每个超像素块看做一个顶点，连接所有相邻的超像素块构建成无向图，图的每条边的权重是相邻两个超像素块的平均颜色之间的欧式距离，该权重在CIELab颜色空间内计算；定义一个超像素块的前景显著性值为SF_i，它是这个超像素块和所有在凸包区域R内的超像素块最短路径之和，计算公式为：

其中，dist(c_i,c_j)表示两个超像素块之间的最短路径，c_i,c_j是这两个超像素块的平均颜色，超像素块r_j属于R_F，N₁表示属于R_F的超像素块的个数，

同理，定义一个超像素块的前景显著性值为SB_i，它是这个超像素块和所有在凸包区域R外的超像素块最短路径之和，计算公式为：

其中，超像素块r_j属于R_B，N₂表示属于R_F的超像素块的个数，可以看到N＝N₁+N₂；

第五步：根据凸包区域R计算前景先验图，对于每一个超像素块，定义它的显著性值为：

FC_i＝SB_i/SF_i

这样得到的显著性图称为前景先验图，它可以使得凸包内的超像素块的显著性值比凸包外的高；

第六步：根据凸包区域R计算背景先验图，对于每一个超像素块，定义它的显著性值为：

BC_i＝SF_i/SB_i

这样得到的显著性图称为背景先验图，它可以使得凸包内的超像素块的显著性值比凸包外的低；

第七步：计算凸包区域R为中心先验的全局对比图，定义凸包区域R的中心为μ，那么对每一个超像素块，基于凸包区域R为中心的全局对比图计算公式如下：

其中，φ(r_i,r_j)是高斯加权函数，r_i表示一个超像素块，定义为表示两个超像素块中心之间的空间距离差异；||c_i-c_j||表示两个超像素块之间的平均颜色距离差异；ψ(r_i,μ)表示每个超像素和凸包区域R中心的距离差异，定义为经验上设置δ₁＝0.4，δ₂＝0.2；

第八步：根据前景先验图和背景先验图得到凸包先验图，对每一个超像素块计算公式如下：

其中，*为乘法运算，参数σ₁,σ₂控制着背景区域的强弱，经验上设置σ₁＝2.5，σ₂＝6；

第九步：融合凸包先验图和全局对比图为显著性结果图，对每一个超像素块，计算公式如下：

S_i＝CH_i*G_i

其中，*为乘法运算，

第十步：优化显著性结果图得到最终的显著性图，优化函数定义如下：

其中，v_i表示一个超像素块的显著性值，B_i定义为B_i＝(1-S_i)BC_i，参数B_i和S_i分别控制着背景区域和前景区域的显著性值，第三项是一个平滑约束，它控制值从前景区域到背景区域的平滑过渡，优化后的结果就是本方法最终的显著性图。

发明的作用与效果

本发明所涉及的一种基于改进凸包的显著性检测方法，与现有技术相比，本发明具有以下优点：

(1)本方法通过采用改进凸包先验作为前景目标的大致区域，得到的显著度图受背景影响较小，故对复杂背景的图像得到的显著性图效果较好；

(2)本方法计算速度快，可以快速的计算出图像的显著性值；

(3)本方法在国际上公共的测试集上取得了明显比传统方法更好的结果。

附图说明

图1为本发明实施例的显著性检测流程图；

图2a为本发明实施例的测试原图；

图2b为本发明实施例的改进凸包交集图；

图2c为本发明实施例的前景先验图；

图2d为本发明实施例的背景先验图；

图2e为本发明实施例的基于凸包中心的全局对比图；

图2f为本发明实施例的凸包先验图；

图2g为本发明实施例的融合凸包先验图和全局对比图为显著性结果图；

图2h为本发明实施例的最终显著性图；

图3a为本发明实施例在数据集MSRA5000上的PR曲线图；以及

图3b为本发明实施例在数据集ECSSD上的PR曲线图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明一种基于改进凸包的显著性检测方法作具体阐述。

如图1所示，一种基于改进凸包的显著性检测方法，该方法包括以下步骤：

第一步：先对原图像进行Harris角点检测，然后用Graham扫描算法得到角点的凸包，该凸包区域记为R1。对原图像进行高斯滤波，然后再次得到滤波后图像的凸包区域，记为R2，这两个凸包区域的交集区域作为输入图像前景目标的近似位置，记为R；

第二步：对原图像采用SLIC方法进行超像素分割。原图像分割得到的超像素块集合记为X＝{r₁,r₂,...,r_N}，其对应的显著性值记为V＝{v₁,v₂,...,v_N}，N是分割的超像素块的个数；

第三步：判断超像素块是否属于凸包区域R。首先计算每个超像素块中心的位置，判断超像素中心是否在凸包区域R中，这样超像素块集合分为两个部分，一个是超像素块在凸包区域R内，记为R_F，表示前景区域；另外一个是超像素块不在凸包区域R内，记为R_B，表示背景区域。

第四步：计算每个超像素块的前景显著性值和背景显著性值。把每个超像素块看做一个顶点，连接所有相邻的超像素块构建成无向图，图的每条边的权重是相邻两个超像素块的平均颜色之间的欧式距离，该权重在CIELab颜色空间内计算；定义一个超像素块的前景显著性值为SF_i，它是这个超像素块和所有在凸包区域R内的超像素块最短路径之和，计算公式为：

其中，dist(c_i,c_j)表示两个超像素块之间的最短路径，c_i,c_j是这两个超像素块的平均颜色。超像素块r_j属于R_F。N₁表示属于R_F的超像素块的个数。

同理，定义一个超像素块的前景显著性值为SB_i，它是这个超像素块和所有在凸包区域R外的超像素块最短路径之和，计算公式为：

其中，超像素块r_j属于R_B，N₂表示属于R_F的超像素块的个数。可以看到N＝N₁+N₂。

第五步：根据凸包区域R计算前景先验图。对于每一个超像素块，定义它的显著性值为：

FC_i＝SB_i/SF_i

这样得到的显著性图称为前景先验图，它可以使得凸包内的超像素块的显著性值比凸包外的高；

第六步：根据凸包区域R计算背景先验图。对于每一个超像素块，定义它的显著性值为：

BC_i＝SF_i/SB_i

这样得到的显著性图称为背景先验图，它可以使得凸包内的超像素块的显著性值比凸包外的低；

第七步：计算凸包区域R为中心先验的全局对比图。定义凸包区域R的中心为μ，那么对每一个超像素块，基于凸包区域R为中心的全局对比图计算公式如下：

其中，φ(r_i,r_j)是高斯加权函数，r_i表示一个超像素块，定义为表示两个超像素块中心之间的空间距离差异；||c_i-c_j||表示两个超像素块之间的平均颜色距离差异；ψ(r_i,μ)表示每个超像素和凸包区域R中心的距离差异，定义为经验上设置δ₁＝0.4，δ₂＝0.2。

第八步：根据前景先验图和背景先验图得到凸包先验图，对每一个超像素块计算公式如下：

其中，*为乘法运算，参数σ₁,σ₂控制着背景区域的强弱，经验上设置σ₁＝2.5，σ₂＝6。

第九步：融合凸包先验图和全局对比图为显著性结果图，对每一个超像素块，计算公式如下：

S_i＝CH_i*G_i

其中，*为乘法运算，

第十步：优化显著性结果图得到最终的显著性图，优化函数定义如下：

其中，v_i表示一个超像素块的显著性值，B_i定义为B_i＝(1-S_i)BC_i，参数B_i和S_i分别控制着背景区域和前景区域的显著性值。第三项是一个平滑约束，它控制值从前景到背景区域的平滑过渡，优化后的结果就是本方法最终的显著性图。

实施例的作用与效果

依据上述步骤，在公开的图像数据集MSRA5000和ECSSD上进行测试。所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R)Core(TM)i5-3470CPU@3.2GHz，内存4G RAM,Windows 8。

图2a为本发明实施例的测试原图；图2b为本发明实施例的改进凸包交集图；图2c为本发明实施例的前景先验图；图2d为本发明实施例的背景先验图；图2e为本发明实施例的基于凸包中心的全局对比图；图2f为本发明实施例的凸包先验图；图2g为本发明实施例的融合凸包先验图和全局对比图为显著性结果图；图2h为本发明实施例的最终显著性图。

图3为本发明实施例在数据集MSRA5000和ECSSD上的PR曲线图。从中可以看出本发明提出的基于凸包先验的显著性区域检测计算方法明显优于很多以往的算法，分析比较测试图片的正确率和召回率，通过对比分析曲线显示了本文提出的算法有很大的改进提高。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (1)

1.一种基于改进凸包的显著性检测方法，其特征在于，包括以下步骤：

第一步：先对原图像进行Harris角点检测，然后用Graham扫描算法得到所述角点的凸包，该凸包区域记为R1，对所述原图像进行高斯滤波，然后再次得到滤波后图像的凸包区域，记为R2，将R1和R2这两个凸包区域的交集区域作为输入图像前景目标的近似位置，记为R；

第二步：对所述原图像采用SLIC方法进行超像素分割，所述原图像分割得到的超像素块集合记为X＝{r₁,r₂,...,r_N}，其对应的显著性值记为V＝{v₁,v₂,...,v_N}，N是分割的所述超像素块的个数；

第三步：判断所述超像素块是否属于凸包区域R，首先计算每个所述超像素块的中心的位置，判断超像素中心是否在所述凸包区域R中，这样所述超像素块集合分为两个部分，一个是所述超像素块在所述凸包区域R内，记为R_F，表示前景区域；另外一个是所述超像素块不在所述凸包区域R内，记为R_B，表示背景区域；

第四步：计算每个所述超像素块的前景显著性值和背景显著性值，把每个所述超像素块看做一个顶点，连接所有相邻的所述超像素块构建成无向图，图的每条边的权重是相邻两个所述超像素块的平均颜色之间的欧式距离，该权重在CIELab颜色空间内计算；定义一个所述超像素块的所述前景显著性值为SF_i，它是这个所述超像素块和所有在所述凸包区域R内的所述超像素块最短路径之和，计算公式为：

其中，dist(c_i,c_j)表示两个所述超像素块之间的最短路径，c_i,c_j是这两个所述超像素块的平均颜色，所述超像素块r_j属于R_F，N₁表示属于R_F的所述超像素块的个数，

同理，定义一个所述超像素块的所述前景显著性值为SB_i，它是这个所述超像素块和所有在所述凸包区域R外的所述超像素块最短路径之和，计算公式为：

其中，所述超像素块r_j属于R_B，N₂表示属于R_F的所述超像素块的个数，可以看到N＝N₁+N₂；

第五步：根据所述凸包区域R计算前景先验图，对于每一个所述超像素块，定义它的显著性值为：

FC_i＝SB_i/SF_i

这样得到的显著性图称为所述前景先验图，它可以使得凸包内的所述超像素块的所述显著性值比凸包外的高；

第六步：根据所述凸包区域R计算背景先验图，对于每一个所述超像素块，定义它的显著性值为：

BC_i＝SF_i/SB_i

这样得到的显著性图称为所述背景先验图，它可以使得凸包内的所述超像素块的所述显著性值比凸包外的低；

第七步：计算所述凸包区域R为中心先验的全局对比图，定义所述凸包区域R的中心为μ，那么对每一个所述超像素块，基于所述凸包区域R为中心的全局对比图计算公式如下：

其中，φ(r_i,r_j)是高斯加权函数，r_i表示一个所述超像素块，定义为表示两个所述超像素块中心之间的空间距离差异；||c_i-c_j||表示两个超像素块之间的平均颜色距离差异；ψ(r_i,μ)表示每个超像素和凸包区域R中心的距离差异，定义为经验上设置δ₁＝0.4，δ₂＝0.2；

第八步：根据所述前景先验图和所述背景先验图得到凸包先验图，对每一个所述超像素块计算公式如下：

其中，*为乘法运算，为参数σ₁,σ₂控制着所述背景区域的强弱，经验上设置σ₁＝2.5，σ₂＝6；

第九步：融合所述凸包先验图和全局对比图为显著性结果图，对每一个所述超像素块，计算公式如下：

S_i＝CH_i*G_i

其中，*为乘法运算，

第十步：优化显著性结果图得到最终的显著性图，优化函数定义如下：

其中，v_i表示一个所述超像素块的显著性值，B_i定义为B_i＝(1-S_i)BC_i，参数B_i和S_i分别控制着所述背景区域和所述前景区域的显著性值，第三项是一个平滑约束，它控制值从所述前景区域到所述背景区域的平滑过渡，优化后的结果就是本方法最终的显著性图。