CN109583455A - 一种融合递进图排序的图像显著性检测方法 - Google Patents

一种融合递进图排序的图像显著性检测方法 Download PDF

Info

Publication number
CN109583455A
CN109583455A CN201811383563.8A CN201811383563A CN109583455A CN 109583455 A CN109583455 A CN 109583455A CN 201811383563 A CN201811383563 A CN 201811383563A CN 109583455 A CN109583455 A CN 109583455A
Authority
CN
China
Prior art keywords
pixel
node
super
saliency value
prospect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811383563.8A
Other languages
English (en)
Inventor
汪丽华
王泽梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huangshan University
Original Assignee
Huangshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huangshan University filed Critical Huangshan University
Priority to CN201811383563.8A priority Critical patent/CN109583455A/zh
Publication of CN109583455A publication Critical patent/CN109583455A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合递进图排序的图像显著性检测方法,该方法包括以下步骤:S1、首先利用超像素分割算法构图,与传统流形排序算法不同的是,在此阶段基于背景的显著值计算中,采用与流形排序构图思想一致的吸收马尔可夫链模型,利用吸收时间得到更鲁棒的显著图结果,从而获得更准确的前景查询节点;S2、接着再进行基于流形排序的前景显著值计算;S3、最后为了克服超像素分割带来的分块化显著图结果,进行显著值的像素级扩散和多尺度融合,以得到最终平滑的显著图。本发明利用吸收马尔可夫链来获得鲁棒的前景查询,为后续的流形排序提供标记良好的查询/种子数据;采用递进图的随机游走进行显著性估计,可很好地用于建模一幅图像中的显著目标。

Description

一种融合递进图排序的图像显著性检测方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种融合递进图排序的图像显著性检测方法。
背景技术
显著性检测定义为从图像或视频中检测出显著目标或区域,以节省后续图像理解等任务中的存储资源和运算时间。近年来,显著性检测已被广泛应用于图像质量评价、目标识别、图像/视频智能压缩、视频跟踪等。
从人类视觉注意机制来看,可将显著性检测算法分为基于底层视觉激励的自底向上和基于视觉任务驱动的自顶向下两类。自底向上方法仅从图像的底层特征出发,例如颜色、方向、纹理等。自顶向下方法大都需要通过训练样本的真值图学习出显著目标检测器,在样本真值标注、训练时间和硬件计算性能方面均有较高要求。从显著性检测的目标来分,显著性检测分为人眼注意点预测模型和显著目标检测两类。早期显著性检测模型主要针对前者,检测目标为一幅图像中人眼关注最多的像素点。随着对显著性检测性能要求的逐渐增加,检测目标升级为快速检测出一幅图像中的显著区域。部分自底向上的显著性检测方法是基于对比度实现显著性检测,依据对比的区域范围可以分为局部对比度和全局对比度两类。Itti等人最早提出使用局部对比度的显著性检测模型。他们利用中心-四周差异并结合多尺度图像特征(颜色,强度和方向)计算出显著图。Jiang等人引入中心加权局部对比度计算初始显著图,并使用边缘检测获得显著目标的形状。然后将初始显著图和形状先验融入能量最小化模型,并迭代更新以生成最终显著图。基于局部对比度的方法更倾向于在物体附近产生高显著值边界,但是这些方法无法突出显示整个显著目标,基于全局对比度的方法可缓解这一问题。Cheng等介绍了一种基于全局对比度的方法,该方法同时考虑空间关系。Tong等人通过使用CIELAB颜色,RGB颜色,纹理,局部二值模式(LBP)和定向梯度(HOG)特征直方图的全局对比度信息构建显著性模型。为了降低显著性检测的计算复杂度,现有算法大多先对输入图像进行分割得到超像素,以超像素作为基本计算单元。此外,基于图的显著性检测算法,考虑图像中像素点之间的内在结构,取得了较高的检测效果。Yang等人基于两级流形排序进行显著性检测,首先利用超像素构图,分别基于背景和前景查询节点进行计算。该算法的检测性能在背景复杂、显著目标为小目标或多目标时欠佳。
据此,为了在复杂背景和多显著目标下,仍能获得鲁棒的检测效果,目前急需一种鲁棒性更高的融合递进图排序的图像显著性检测方法。
发明内容
本发明所要解决的技术问题在于提供一种鲁棒性更高的融合递进图排序的图像显著性检测方法。
本发明采用以下技术方案解决上述技术问题:
一种融合递进图排序的图像显著性检测方法,该方法包括以下步骤:
S1、首先利用超像素分割算法构图,与传统流形排序算法不同的是,在此阶段基于背景的显著值计算中,采用与流形排序构图思想一致的吸收马尔可夫链模型,利用吸收时间得到更鲁棒的显著图结果,从而获得更准确的前景查询节点;
S2、接着再进行基于流形排序的前景显著值计算;
S3、最后为了克服超像素分割带来的分块化显著图结果,进行显著值的像素级扩散和多尺度融合,以得到最终平滑的显著图。
作为本发明的优选方式之一,在所述步骤S1中基本图模型记作Gb=(Vb,Eb),Vb为图的顶点集合,Eb为顶点之间的边。
作为本发明的优选方式之一,所述基本图模型具体构建方法具体为:首先对输入图像采用简单线性迭代分簇算法进行超像素分割,以超像素点作为基本图中的图节点,构成节点集合Vb;然后节点间的边连接采用k正则图(k=2),即每个超像素点仅与直接邻居和二级邻居间有边连接;同时对图像四周的超像素点进行全连接,上述连接构成边集合Eb;边的权重定义为采用节点在CIELAB颜色空间的距离计算边的权重
其中ci,cj分别为节点i和j在CIELAB颜色空间的平均值,σ为控制常量。
作为本发明的优选方式之一,在所述步骤S1中基于背景的显著值计算的具体方法为:复制四边界超像素点作为r个虚拟吸收节点,基本图模型中的所有节点为t个暂态节点,扩展图记为Ge=(Ve,Ee),其中Ve和Ee为分别在Vb和Eb中增加虚拟吸收节点,计算暂态节点在被吸收前随机游走于各暂态节点之间的总时间,作为该暂态节点的显著值。
作为本发明的优选方式之一,所述基于背景的显著值计算的具体计算过程为:转移概率矩阵P可简写为分块矩阵:
式中Q为暂态节点之间的转移概率矩阵,R为暂态节点和吸收节点之间的转移概率矩阵,I为单位矩阵;
由Q可得到吸收马尔可夫链的基本矩阵T=(I-Q)-1,其元素tij表示从暂态i出发到达暂态j所需要的期望时间,其行和表示暂态节点i在被吸收前所需的总期望时间;则所有暂态节点的被吸收时间可计算为:
对式进行归一化操作,可得所有超像素点的基于背景的显著值:
将式计算的超像素显著值扩散到对应的像素点,得到初始显著图。
作为本发明的优选方式之一,在所述步骤S2中基于前景的显著值计算具体为:超像素初始显著值通过自适应阈值进行二值分割可得查询向量q,对应值为1的节点作为前景查询节点,0则为背景节点;采用基本图模型构图,通过调整式(1)中控制常量σ来减小边之间的整体权重,以获得新的边权重;由优化求解公式,可求解基于前景的显著值为:
sf=(Df-αWf)-1q (5);
其元素式中Wf为新的边权重矩阵,Df为Wf对应的度矩阵,α为控制常量;
由式(5)计算出各超像素点的显著值,扩散赋值给每个像素点,得到基于前景的显著图。
作为本发明的优选方式之一,在所述步骤S3中显著值的像素级扩散具体为:采用在随机游走中加入先验作为正则化项,节点范围扩展到像素级别上,像素点i和j之间的边权重值记作kij,节点像素值构成向量p,为向量sf所对应的像素级的显著值,代入公式
得到像素级正则化后的显著图。
作为本发明的优选方式之一,在所述步骤S3中多尺度融合具体为:在超像素分割阶段,分别采用不同超像素数目进行分割,再计算各个显著值,平均值作为最终显著值。
本发明相比现有技术的优点在于:(1)利用吸收马尔可夫链来获得鲁棒的前景查询,为后续的流形排序提供标记良好的查询/种子数据;(2)采用递进图的随机游走进行显著性估计,此举可很好地用于建模一幅图像中的显著目标;(3)使用多尺度显著性来检测在复杂背景下的小尺寸和多显著目标。
附图说明
图1是实施例1中融合递进图排序的图像显著性检测方法流程图;
图2是实施例1中融合递进图排序的图像显著性检测方法的算法流程图;
图3是实施例1中基本图模型;
图4是实施例1中扩展图模型;
图5是实施例1中流形排序(MR)算法和本发明算法基于背景计算的显著图对比;
图6是实施例1中基于前景的显著图对比;
图7是实施例1中各步骤显著图对比;
图8是实验验证与分析中MR方法与本发明方法在三个数据集上的PR曲线比较效果;
图9是实验验证与分析中组成成分分析一;
图10是实验验证与分析中组成成分分析二;
图11是实验验证与分析中组成成分分析三;
图12是实验验证与分析中组成成分分析四;
图13是实验验证与分析中定量分析在DUT-OMRON数据集上比较效果;
图14是实验验证与分析中定量分析在ECSSD数据集上比较效果;
图15是实验验证与分析中定量分析在PASCAL-S数据集上比较效果;
图16是实验验证与分析中定量分析在SED数据集上比较效果;
图17是实验验证与分析中定量分析在SOD数据集上比较效果;
图18是实验验证与分析中定性分析图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
通过基于前景线索、背景线索和图的显著性检测方法可知,之前的一些检测方法倾向于选图像中心区域作为前景区域。然而,这些方法涉及对前景的大小和位置的严格假设。此外,当显著目标远离图像中心时,此类方法检测失败。为了克服这个问题,许多工作试图通过使用凸包来预测显著区域。Yang等人应用感兴趣点的凸包来估计显著目标,然后通过图正则化最小化显著性能量函数来平滑初始显著性图。Xie等人使用凸包提供粗糙区域估计,从中提取有用信息以计算先验分布和观测可能性。最后,他们使用贝叶斯框架来计算最终的显著性值。通常,这些基于前景线索的方法会产生额外的背景噪声。
此外,许多检测方法引入了边界先验,并将图像边界区域视为背景。Wei等人利用边界和连通性先验,并将图像块的显著性定义为到虚拟背景节点的测地距离。Li等人基于图像四周作为背景模板,分别利用主成分重构和稀疏重构获得重构误差,以重构误差作为初始显著值并进行误差传播,最后通过贝叶斯方法融合两种显著图。Wang等人同时考虑背景和前景,他们先计算基于背景的显著性图,然后使用它来计算基于前景的显著性图。最后融合上述两类显著图。Tu等人引入最小生成树来实现实时显著目标检测。此外,他们使用边界差异度量来缓解距离变换的不足。
近年来,基于图的显著性检测算法,考虑图像中像素点之间的内在结构,取得了较高的检测效果。为了考虑计算复杂性,将图像分割成块/超像素,以其作为图节点,像素块间的特征距离作为边的权重。为了更有效地生成可靠的超像素,最近提出了几种算法,如Turbo像素,SLIC,DBSCAN等。Gopalakrishnan等人将图像分割成8*8像素块,然后构建完全连通图和k-正则图,以模拟显著区域的全局和局部特征。Yan等人提出了一种层次模型,以便在树结构中最佳地选择显著值,这在处理小规模和高对比度情况时特别有用。Jiang等人引入吸收马尔可夫链来计算显著性值。构图时四边界节点作为吸收节点,其他节点作为暂态节点。从暂态节点到吸收节点的吸收时间被认为是其显著值。Sun等人使用顶部和左侧边界节点和吸收马尔可夫链来获得初始显著图,再对节点与前景线索的相关性进行排序,以获得更好的结果。Li等人使用图像边界选择方法去除一侧边界并执行两阶段MR。此外,为了提高第二阶段的前景显著性,他们提出了正则化随机游走排序以获得像素化显著图。他们在后续工作提出了一种逆向校正过程,以提高鲁棒性,并将其作为基于边界先验的显著性检测方法的通用优化算法。
实施例1
基于以上设计思路与准备工作,参见图1-2:本实施例公开了一种融合递进图排序的图像显著性检测方法,该方法包括以下步骤:
S1、首先利用超像素分割算法构图,与传统流形排序算法不同的是,在此阶段基于背景的显著值计算中,采用与流形排序构图思想一致的吸收马尔可夫链模型,利用吸收时间得到更鲁棒的显著图结果,从而获得更准确的前景查询节点;
S2、接着再进行基于流形排序的前景显著值计算;
S3、最后为了克服超像素分割带来的分块化显著图结果,进行显著值的像素级扩散和多尺度融合,以得到最终平滑的显著图。
作为本发明的优选方式之一,在所述步骤S1中基本图模型记作Gb=(Vb,Eb),Vb为图的顶点集合,Eb为顶点之间的边。
作为本发明的优选方式之一,所述基本图模型具体构建方法具体为:首先对输入图像采用简单线性迭代分簇(SLIC)算法进行超像素分割,以超像素点作为基本图中的图节点,构成节点集合Vb;然后考虑颜色特征的全局性和显著目标的紧凑性,节点间的边连接采用k正则图(k=2),即每个超像素点仅与直接邻居和二级邻居间有边连接;同时,考虑图像四周为背景的概率极大,对于复杂背景情况,为了减少背景节点间的颜色距离,对图像四周的超像素点进行全连接,上述连接构成边集合Eb;边的权重定义为采用节点在CIELAB颜色空间的距离计算边的权重
其中ci,cj分别为节点i和j在CIELAB颜色空间的平均值,σ为控制常量。基本图模型的构建如图3所示,图中红色网状线为超像素分割后的结果,黄色圆点表示超像素,节点间蓝色连线表示直接邻居,紫色连线表示二级邻居,图像四周节点的连线用绿色线简化表示,实际为任意两个边界超像素点间均有连接。
作为本发明的优选方式之一,在所述步骤S1中基于背景的显著值计算的具体方法为:吸收马尔可夫链的检测算法为了获得全尺寸的显著图,需要对图3的基本图模型进行四边界节点的扩充,即复制四边界超像素点作为r个虚拟吸收节点,基本图模型中的所有节点为t个暂态节点,扩展图记为Ge=(Ve,Ee),其中Ve和Ee为分别在Vb和Eb中增加虚拟吸收节点,如图4所示。计算暂态节点在被吸收前随机游走于各暂态节点之间的总时间,作为该暂态节点的显著值。
作为本发明的优选方式之一,所述基于背景的显著值计算的具体计算过程为:对于暂态节点被吸收时间的计算,关键是获取扩展图中各节点之间的转移概率矩阵P可简写为分块矩阵:
式中Q为暂态节点之间的转移概率矩阵,R为暂态节点和吸收节点之间的转移概率矩阵,I为单位矩阵;
由Q可得到吸收马尔可夫链的基本矩阵T=(I-Q)-1,其元素tij表示从暂态i出发到达暂态j所需要的期望时间,其行和表示暂态节点i在被吸收前所需的总期望时间;则所有暂态节点的被吸收时间可计算为:
对式进行归一化操作,可得所有超像素点的基于背景的显著值:
将式计算的超像素显著值扩散到对应的像素点,得到初始显著图。其中可能包含大量中心区域为背景的灰色区域,即背景未被充分抑制,采用更新操作对其进行初步抑制。图5所示为流形排序(MR)算法和本文算法基于背景计算的显著图对比,从左到右分别为输入图像,原始流形排序算法的背景查询,流形排序算法基于背景的显著图,本文算法的背景查询,本文算法基于背景的显著图和真值图;由图知本文算法比MR算法得到了更准确的前景目标,但与真值图之间仍存在显著目标不够均匀完整,背景区域未被充分抑制的缺陷,故需要进行下一步处理。
作为本发明的优选方式之一,在所述步骤S2中基于前景的显著值计算具体为:超像素初始显著值通过自适应阈值进行二值分割可得查询向量q,对应值为1的节点作为前景查询节点,0则为背景节点;采用基本图模型构图,通过调整式(1)中控制常量σ来减小边之间的整体权重,以获得新的边权重;由优化求解公式,可求解基于前景的显著值为:
sf=(Df-αWf)-1q (5);
其元素式中W'为新的边权重矩阵,Df为Wf对应的度矩阵,α为控制常量;
由式(5)计算出各超像素点的显著值,扩散赋值给每个像素点,得到基于前景的显著图,如图6所示;图6基于前景的显著图对比。从左到右依次为原图,原始流形排序算法的前景查询,流形排序算法基于前景的显著图,本文算法的前景查询,本文算法基于前景景的显著图和真值图。综合图5和6结果可知,在第一阶段基于背景的显著值计算中,若不能获得鲁棒前景查询节点,则获得的显著图会丢失部分显著目标。图6第一行图片在进行前景排序后,其显著目标检测部分增加,并且相对于第一阶段的大幅中心背景区域,第二阶段中已得到抑制。图6第二行图片的显著目标接触到图像边界,在第一阶段基于背景的显著性检测中将其大部分错误判别为背景,但引入图的流形排序后,显著目标已被大幅修正。观察图6中本文算法的显著图结果,不难发现由于超像素分割算法的影响,像素点的显著值与它所处的超像素显著值相同,导致显著图结果不够平滑。故后续采用显著值扩散算法进行改进。
作为本发明的优选方式之一,在所述步骤S3中显著值的像素级扩散具体为:采用在随机游走中加入先验作为正则化项,以获得像素级的精度提升。构图与基本图相似,节点范围扩展到像素级别上,像素点i和j之间的边权重值记作kij,节点像素值构成向量p,为向量sf所对应的像素级的显著值,代入公式
像素级正则化后的显著图,如图7所示,图中显著目标中的白色显著点为运用正则随机游走后的优化效果,其效果相对于第二阶段显著图有了较大改善,但是白色点较离散化。故下一步采用多尺度获得更精确融合结果。
作为本发明的优选方式之一,在所述步骤S3中多尺度融合具体为:在超像素分割阶段,分别采用不同超像素数目进行分割,再计算各个显著值,平均值作为最终显著值。本文进行四个尺度分割,记为L1,L2,L3和L4,超像素数目分别为200,250,300,350。图7所示为L2级各阶段与融合L1~L4级的显著图对比。在四个尺度上分别进行计算显著值,以四者的平均值作为最终显著值。
实验验证与分析:
为了评价算法的性能,本实施例在5个数据集DUT-OMRON,SED,PASCAL-S,ECSSD和SOD上进行实验对比分析。对比包括与原始MR算法对比、分步骤检测效果对比、与已有22种显著性检测算法的定量和定性对比。其余检测算法分别是BFS,CA,COV,FES,GS,HS,LMLC,MC,MAP,MR,MS,PCA,RCRR,RRWR,SEG,SeR,SF,SUN,SWD,GP,LPS,PRMGR,DS和UCF。
(1)数据集和实验设置
本文使用的数据集依次为:DUT-OMRON中有5168张含像素级标注真值的图片,与ASD和MSRA相比,该数据集中图片均人工从140,000张自然场景图片中选取,平均每幅图片含有5个目标,背景复杂,挑战度高。SED包含200张自然图片和对应的真值图。该数据集分为100张含有1个显著目标的SED1数据集和100张含有2个显著目标的SED2数据集。SED2中两个显著目标常分散与图片两侧位置,故中心先验知识在其上失效,因此更具有挑战性。PASCAL-S含有850张自然场景图片,选自PASCAL VOC 2010,背景复杂且平均每幅图片含有5个目标。ECSSD含有999张语义丰富且背景复杂的图片,图片选自BSD数据集、PASCAL VOC和互联网。SOD数据集含有300张图片,其显著目标通常占据图片大部分区域,且常与边界有大面积接触。
所有实验均在具有Intel i5-7500 CPU(3.4GHZ)和16GB RAM的PC上运行。提出的方法中使用的参数σ2f 2,α和μ在所有实验中均分别设置为1/10,1/13,0.99和0.01。
(2)评价指标
我们使用查准率-查全率曲线(PR曲线)和F-measure评估指标。为了获得PR曲线,我们需要将显著图进行二值化,阈值范围为0到255,然后分别计算相应准确率和查全率的值。为了更全面地比较这些方法,我们还将F-measure度量与自适应阈值一起使用。F-measure测量值是查准率和查全率的加权平均值,其定义如下:
式中γ取0.3,为了表明准确率占有更重要的地位。
(3)组成成分分析如图9-12;
(4)定量分析如图13-17;其中图13为DUT-OMRON数据集上比较效果、图14为ECSSD数据集上比较效果、图15为PASCALS数据集上比较效果、图16为SED数据集上比较效果、图17为SOD数据集上比较效果;
(5)定性分析如图18。
综上所述:本发明构建的一种融合递进图排序的图像显著性检测方法。为了提供鲁棒的前景查询,我们探索扩展图并利用吸收马尔可夫链排序来获得基于背景的显着图。接下来,我们利用具有新边缘权重的基本图来获得基于前景的显着性图。上述两个阶段均基于超像素,这会导致显著图中的分块现象。因此在第三阶段中,利用像素级图和正则化随机游走排序来扩散显著值。最后整合第三阶段的四个结果,以平滑最终的显著图。由此可以得出:定量和定性分析表明,本发明所提出的方法比其他多种检测方法获得了更好的性能。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种融合递进图排序的图像显著性检测方法,其特征在于,该方法包括以下步骤:
S1、首先利用超像素分割算法构图,与传统流形排序算法不同的是,在此阶段基于背景的显著值计算中,采用与流形排序构图思想一致的吸收马尔可夫链模型,利用吸收时间得到更鲁棒的显著图结果,从而获得更准确的前景查询节点;
S2、接着再进行基于流形排序的前景显著值计算;
S3、最后为了克服超像素分割带来的分块化显著结果,进行显著值的像素级扩散和多尺度融合,以得到最终平滑的显著图。
2.根据权利要求1所述的融合递进图排序的图像显著性检测方法,其特征在于,在所述步骤S1中基本图模型记作Gb=(Vb,Eb),Vb为图的顶点集合,Eb为顶点之间的边。
3.根据权利要求2所述的融合递进图排序的图像显著性检测方法,其特征在于,所述基本图模型具体构建方法具体为:首先对输入图像采用简单线性迭代分簇算法进行超像素分割,以超像素点作为基本图中的图节点,构成节点集合Vb;然后节点间的边连接采用k正则图(k=2),即每个超像素点仅与直接邻居和二级邻居间有边连接;同时对图像四周的超像素点进行全连接,上述连接构成边集合Eb;边的权重定义为采用节点在CIELAB颜色空间的距离计算边的权重:
其中ci,cj分别为节点i和j在CIELAB颜色空间的平均值,σ为控制常量。
4.根据权利要求1所述的融合递进图排序的图像显著性检测方法,其特征在于,在所述步骤S1中基于背景的显著值计算的具体方法为:复制四边界超像素点作为r个虚拟吸收节点,基本图模型中的所有节点为t个暂态节点,扩展图记为Ge=(Ve,Ee),其中Ve和Ee为分别在Vb和Eb中增加虚拟吸收节点,计算暂态节点在被吸收前随机游走于各暂态节点之间的总时间,作为该暂态节点的显著值。
5.根据权利要求4所述的融合递进图排序的图像显著性检测方法,其特征在于,所述基于背景的显著值计算的具体计算过程为:转移概率矩阵P可简写为分块矩阵:
式中Q为暂态节点之间的转移概率矩阵,R为暂态节点和吸收节点之间的转移概率矩阵,I为单位矩阵;
由Q可得到吸收马尔可夫链的基本矩阵T=(I-Q)-1,其元素tij表示从暂态i出发到达暂态j所需要的期望时间,其行和表示暂态节点i在被吸收前所需的总期望时间;则所有暂态节点的被吸收时间可计算为:
对式进行归一化操作,可得所有超像素点的基于背景的显著值:
将式计算的超像素显著值扩散到对应的像素点,得到初始显著图。
6.根据权利要求1所述的融合递进图排序的图像显著性检测方法,其特征在于,在所述步骤S2中基于前景的显著值计算具体为:超像素初始显著值通过自适应阈值进行二值分割可得查询向量q,对应值为1的节点作为前景查询节点,0则为背景节点;采用基本图模型构图,通过调整式(1)中控制常量σ来减小边之间的整体权重,以获得新的边权重;由优化求解公式,可求解基于前景的显著值为:
sf=(Df-αWf)-1q (5);
其元素式中Wf为新的边权重矩阵,Df为Wf对应的度矩阵,α为控制常量;
由式(5)计算出各超像素点的显著值,扩散赋值给每个像素点,得到基于前景的显著图。
7.根据权利要求1所述的融合递进图排序的图像显著性检测方法,其特征在于,在所述步骤S3中显著值的像素级扩散具体为:采用在随机游走中加入先验作为正则化项,节点范围扩展到像素级别上,像素点i和j之间的边权重值记作kij,节点像素值构成向量p,为向量sf所对应的像素级的显著值,代入公式
得到像素级正则化后的显著图。
8.根据权利要求1所述的融合递进图排序的图像显著性检测方法,其特征在于,在所述步骤S3中多尺度融合具体为:在超像素分割阶段,分别采用不同超像素数目进行分割,再计算各个显著值,平均值作为最终显著值。
CN201811383563.8A 2018-11-20 2018-11-20 一种融合递进图排序的图像显著性检测方法 Pending CN109583455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811383563.8A CN109583455A (zh) 2018-11-20 2018-11-20 一种融合递进图排序的图像显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811383563.8A CN109583455A (zh) 2018-11-20 2018-11-20 一种融合递进图排序的图像显著性检测方法

Publications (1)

Publication Number Publication Date
CN109583455A true CN109583455A (zh) 2019-04-05

Family

ID=65922978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811383563.8A Pending CN109583455A (zh) 2018-11-20 2018-11-20 一种融合递进图排序的图像显著性检测方法

Country Status (1)

Country Link
CN (1) CN109583455A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009654A (zh) * 2019-04-10 2019-07-12 大连理工大学 基于最大流策略的三维体数据分割方法
CN110188763A (zh) * 2019-05-28 2019-08-30 江南大学 一种基于改进图模型的图像显著性检测方法
CN110399528A (zh) * 2019-08-05 2019-11-01 北京深醒科技有限公司 一种自动跨特征推理式目标检索方法
CN111539916A (zh) * 2020-04-08 2020-08-14 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN111583245A (zh) * 2020-05-11 2020-08-25 江苏迪赛司自动化工程有限公司 一种多特征耦合及目标探测的工业自动化监控方法
CN113159025A (zh) * 2021-03-26 2021-07-23 西安交通大学 一种图像显著性检测方法、系统、终端及可读存储介质
CN113553966A (zh) * 2021-07-28 2021-10-26 中国科学院微小卫星创新研究院 一种单一星图的有效星空区域的提取方法
CN117058061A (zh) * 2023-10-12 2023-11-14 广东工业大学 一种基于目标检测的多聚焦图像融合方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127785A (zh) * 2016-06-30 2016-11-16 重庆大学 基于流形排序和随机游走的图像显著性检测方法
CN106157266A (zh) * 2016-07-07 2016-11-23 江苏城乡建设职业学院 一种果园果实图像获取方法
CN106815843A (zh) * 2016-11-30 2017-06-09 江苏城乡建设职业学院 一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法
US20170351941A1 (en) * 2016-06-03 2017-12-07 Miovision Technologies Incorporated System and Method for Performing Saliency Detection Using Deep Active Contours
CN107622280A (zh) * 2017-09-14 2018-01-23 河南科技大学 基于场景分类的模块化处方式图像显著性检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351941A1 (en) * 2016-06-03 2017-12-07 Miovision Technologies Incorporated System and Method for Performing Saliency Detection Using Deep Active Contours
CN106127785A (zh) * 2016-06-30 2016-11-16 重庆大学 基于流形排序和随机游走的图像显著性检测方法
CN106157266A (zh) * 2016-07-07 2016-11-23 江苏城乡建设职业学院 一种果园果实图像获取方法
CN106815843A (zh) * 2016-11-30 2017-06-09 江苏城乡建设职业学院 一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法
CN107622280A (zh) * 2017-09-14 2018-01-23 河南科技大学 基于场景分类的模块化处方式图像显著性检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIHUA WANG: "Robust pixelwise saliency detection via progressive graph rankings", 《NEUROCOMPUTING》 *
汪丽华等: "基于流形正则化随机游走的图像显著性检测", 《激光与光电子学进展》 *
黄烨: "视觉显著性检测技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009654B (zh) * 2019-04-10 2022-11-25 大连理工大学 基于最大流策略的三维体数据分割方法
CN110009654A (zh) * 2019-04-10 2019-07-12 大连理工大学 基于最大流策略的三维体数据分割方法
CN110188763A (zh) * 2019-05-28 2019-08-30 江南大学 一种基于改进图模型的图像显著性检测方法
CN110188763B (zh) * 2019-05-28 2021-04-30 江南大学 一种基于改进图模型的图像显著性检测方法
CN110399528A (zh) * 2019-08-05 2019-11-01 北京深醒科技有限公司 一种自动跨特征推理式目标检索方法
CN110399528B (zh) * 2019-08-05 2023-11-07 北京深醒科技有限公司 一种自动跨特征推理式目标检索方法
CN111539916B (zh) * 2020-04-08 2023-05-26 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN111539916A (zh) * 2020-04-08 2020-08-14 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN111583245A (zh) * 2020-05-11 2020-08-25 江苏迪赛司自动化工程有限公司 一种多特征耦合及目标探测的工业自动化监控方法
CN113159025A (zh) * 2021-03-26 2021-07-23 西安交通大学 一种图像显著性检测方法、系统、终端及可读存储介质
CN113159025B (zh) * 2021-03-26 2024-04-05 西安交通大学 一种图像显著性检测方法、系统、终端及可读存储介质
CN113553966A (zh) * 2021-07-28 2021-10-26 中国科学院微小卫星创新研究院 一种单一星图的有效星空区域的提取方法
CN113553966B (zh) * 2021-07-28 2024-03-26 中国科学院微小卫星创新研究院 一种单一星图的有效星空区域的提取方法
CN117058061A (zh) * 2023-10-12 2023-11-14 广东工业大学 一种基于目标检测的多聚焦图像融合方法及相关装置
CN117058061B (zh) * 2023-10-12 2024-01-30 广东工业大学 一种基于目标检测的多聚焦图像融合方法及相关装置

Similar Documents

Publication Publication Date Title
CN109583455A (zh) 一种融合递进图排序的图像显著性检测方法
Shen et al. Detection of stored-grain insects using deep learning
CN108549891B (zh) 基于背景与目标先验的多尺度扩散显著目标检测方法
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN108416307B (zh) 一种航拍图像路面裂缝检测方法、装置及设备
CN109583425A (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN110363201A (zh) 基于协同学习的弱监督语义分割方法及系统
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN107403200A (zh) 改进图像分割算法结合深度学习的多重不良图片分类方法
Morris A pyramid CNN for dense-leaves segmentation
CN108830870A (zh) 基于多尺度结构学习的卫星影像高精度农田边界提取方法
CN107730515A (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN110569782A (zh) 一种基于深度学习目标检测方法
CN106778687A (zh) 基于局部评估和全局优化的注视点检测方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN110263731B (zh) 一种单步人脸检测系统
CN112270331A (zh) 一种基于yolov5改进的广告牌检测方法
CN112052772A (zh) 一种人脸遮挡检测算法
CN110008853A (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN109509191A (zh) 一种图像显著性目标检测方法及系统
CN108734200A (zh) 基于bing特征的人体目标视觉检测方法和装置
CN112598031A (zh) 一种蔬菜病害检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication