CN106056590B - 基于Manifold Ranking和结合前景背景特征的显著性检测方法 - Google Patents

基于Manifold Ranking和结合前景背景特征的显著性检测方法 Download PDF

Info

Publication number
CN106056590B
CN106056590B CN201610355027.1A CN201610355027A CN106056590B CN 106056590 B CN106056590 B CN 106056590B CN 201610355027 A CN201610355027 A CN 201610355027A CN 106056590 B CN106056590 B CN 106056590B
Authority
CN
China
Prior art keywords
background
ranking
node
image data
prospect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610355027.1A
Other languages
English (en)
Other versions
CN106056590A (zh
Inventor
朱征宇
汪梅
徐强
郑加琴
袁闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201610355027.1A priority Critical patent/CN106056590B/zh
Publication of CN106056590A publication Critical patent/CN106056590A/zh
Application granted granted Critical
Publication of CN106056590B publication Critical patent/CN106056590B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Abstract

本发明提出了一种基于Manifold Ranking和结合前景背景特征的显著性检测方法,包括:S1,获取图像数据,对图像数据的前景特征和背景特征进行流形排序,获得每个图像数据中的超像素部分的显著值,得到该图像数据的显著图;S2,对图像数据的前景特征和背景特征的显著图进行二值化,获得图像数据的前景特征的前景种子和背景特征的背景种子;S3,对前景种子和背景种子作为最终查询节点进行流形排序,对候选查询节点进行计算,将计算结果进行排序获得最终的排序值,根据排序值得到图像数据中的显著图。本发明融合全局对比度和以边界信息为参考的背景特征,并结合多次流形排序算法为计算显著值提供了更准确的查询节点。

Description

基于Manifold Ranking和结合前景背景特征的显著性检测 方法
技术领域
本发明涉及计算机图像特征提取领域,尤其涉及一种基于Manifold Ranking和结合前景背景特征的显著性检测方法。
背景技术
图像的显著性检测(Saliency Detection),简单来说是指将图片中的显著性区域(前景)从非显著性区域(背景)中分离出来。作为一种图像预处理技术,可以用于后期的图像分割、物体检测、自适应图像压缩、基于内容的图像检索、视频目标检测等等领域。显著性检测算法可以分为两类:眼动点预测模型和显著目标检测模型。眼动点检测模型主要为了检测出图像中引起人眼注意的显著位置,以此分析和指导人的注意力;而显著目标检测模型则是为了准确地从图像中提取出显著目标区域,以此为基础进行更为复杂的图像处理。显著性检测模型根据实现思路的不同可以分为两种:自上而下和自下而上。自上而下的方法是由任务驱动的,从高层语义入手,如目标检测等;自下而上的方法是由数据驱动的,从底层特征入手,如颜色、边缘、纹理信息等。
近几年来,越来越多新颖的算法被应用到显著值计算这个环节中来,为显著性检测的算法研究提供了一些新的角度。最直观的显著性检测方法是基于对比度的算法,提出了一种基于全局对比度的显著区域检测算法Region-based Contract(以下简称RC算法)。该算法采用图像各分割区域之间的颜色距离作 为全局对比度的衡量方法。
然而,RC算法没有体现区域特征的空间分布对显著性的重要影响,即特征分布越集中显著性越大,并且在处理复杂纹理背景的图像时效果一般。基于此,本领域技术人员又提出了一种Saliency Filter算法(以下简称SF算法)。该算法使用改进的超像素分割方法来进行图像预处理,并提出了结合颜色独立性和空间颜色分布的显著性计算方法。此外,其他技术人员提出了一种基于闭环图和背景先验的显著检测方法(以下简称MR算法),将Manifold Ranking算法引入到显著性检测的应用中来。将图像抽象为一个基于超像素的闭环图模型,然后基于Manifold Ranking算法分两个阶段来计算每个节点的显著值。
然而MR算法中的两阶段计算方法都依赖于第一步背景种子的选取。使用图像的边界节点作为初始查询节点以求得第一阶段的图像显著值,又使用第一阶段的计算结果作为第二阶段的输入,这样过多依赖了图像的背景特征而忽略了前景特征。对此,这就亟需本领域技术人员解决相应的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于Manifold Ranking和结合前景背景特征的显著性检测方法。
本发明主要关注自下而上的显著目标检测模型。
为了实现本发明的上述目的,本发明提供了一种基于Manifold Ranking和结合前景背景特征的显著性检测方法,包括:
S1,获取图像数据,对图像数据的前景特征和背景特征进行流形排序,获得每个图像数据中的超像素部分的显著值,得到该图像数据的显著图;
S2,对图像数据的前景特征和背景特征的显著图进行二值化,获得图像数 据的前景特征的前景种子和背景特征的背景种子;
S3,对前景种子和背景种子作为最终查询节点进行流形排序,对候选查询节点进行计算,将计算结果进行排序获得最终的排序值,根据排序值得到图像数据中的显著图。
所述的基于Manifold Ranking和结合前景背景特征的显著性检测方法,优选的,所述S1包括:
S1-1,将图像数据分割为n个超像素区域,以每个超像素为节点建立闭环图G,计算度矩阵D和权重矩阵W;
S1-2,计算矩阵A=(D-αW)-1并将其对角元素设置为0;
S1-3,基于背景特征的流形排序:以四个方向的边界节点作为查询节点进行流形排序计算,由公式Sbg=St×Sb×Sl×Sr得到背景特征显著图,以自适应阈值二值化后得到背景种子Query1;
S1-4,基于前景特征的流形排序,根据公式Sfg=A×[1,1,...,1]T,将所有节点作为查询节点进行流形排序计算,得到前景特征显著图,以自适应阈值二值化后得到前景种子Query2。
所述的基于Manifold Ranking和结合前景背景特征的显著性检测方法,优选的,所述S2包括:
S2-1,根据公式计算初始前景fgQuery、初始背景bgQuery,候选查询节点candidate;
S2-2,根据公式
判断是否符合场景1或场景3,若符合场景1或场景3,令y=Query1,直接跳到S3;否则,执行S2-3;
S2-3,y初始化为初始前景y=fgQuery,对于每个候选节点candidate,根据公式判断其是否为查询节点。
所述的基于Manifold Ranking和结合前景背景特征的显著性检测方法,优选的,所述S3包括:
S3-1,利用公式f*=Ay计算各个节点的排序值,得到的排序值即为各个超像素的显著值,并以此求得图像数据的显著图。
所述的基于Manifold Ranking和结合前景背景特征的显著性检测方法,优选的,所述候选节点满足以下两个要求之一的节点,也设为查询节点:
(1)亮度参数(L分量)更接近初始前景;
(2)颜色参数(a、b分量)更接近初始前景。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
图像显著性检测越来越得到广泛的研究和关注,然而仍然存在许多问题尚待改进。本发明基于Manifold Ranking(MR)算法提出了一种结合前景背景特征的显著性检测方法,融合全局对比度和以边界信息为参考的背景特征,并结合多次流形排序算法为计算显著值提供了更准确的查询节点。实验证明,本发明方法与近期算法比较来看取得了不错的效果,解决了MR算法存在的部分缺陷。
(1)除了将背景(边界节点)作为查询节点,还加入基于全局对比度的前景特征。将两者结合形成最终的查询节点;
(2)根据前景种子和背景种子,结合亮度、颜色等多种特征,筛选更准确的查询节点;
通过实验,本发明的改进方法在效果上取得了一定的提升。下文将依次介绍Manifold Ranking与显著性检测、基于Manifold Ranking和结合前景背景特征的显著性检测算法、实验结果与分析等内容。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明闭环图模型示意图;
图2是本发明前景种子与特征种子提取场景图;
图3是本发明总体工作流程图;
图4是本发明Lab分量综合判定和分开判定示意图;
图5是本发明自适应阈值下各个算法的精确率、召回率、F值柱状图;
图6是本发明固定阈值下各个算法的P-R曲线线形图;
图7是本发明固定阈值下各个算法的F值曲线线形图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
如图1所示,Manifold Ranking(流形排序)算法以图模型来模拟数据集内在的流形结构,所有的数据点通过这个图模型来将它们的排序值传播给邻接点,直到排序值收敛到稳定状态。它的具体算法描述如下:
给定一个数据集X={x1,...,xi,xi+1,...,xn}∈Rm×n,i是数据的下标,1≤i≤n。包括已标记的查询数据以及需要进行排序的未标记数据。令f:X→Rn表示一个排序方程,其中每个值fi表示数据点xi的排序值。f可以看作一个向量f=[f1,...,fn]T。令y=[y1,...,yn]T表示一个标签向量,其中当xi为查询节点时yi=1,否则yi=0。流形排序算法步骤如下:
(1)构建一个图G(V,E),其中节点V为数据集X,边E的权重表示为相似度矩阵W=[wij]n×n。n为节点数,i、j是节点的下标,1≤i、j≤n)计算图的度矩阵D=diag{d1,...,dn},其中dii=∑jwij。(dii指D的对角线元素,j为节点下标,1≤j≤n)S是W的归一化矩阵S=D-1/ 2WD-1/2
(2)利用公式f(t+1)=αSf(t)+(1-α)y进行迭代,直到收敛。其中α∈[0,1)。
(3)令fi *代表数列{fi(t)}的极值。最后根据fi *对数据点进行排序。
序列最终将收敛到如下闭合解:fi *和f*含义相同,t表示当前迭代,t+1表示下一次迭代。
f*=(I-αS)-1y (1)
其中I为单位矩阵,参数α决定了平滑约束(smoothness constraint)和适应性约束(fitting constraint)的权重比例。其中平滑约束代表相邻节点之间的排序值不应变化太大,适应性约束是指最终得到的排序值结果与初始查询要大致接近。
公式(1)的非归一化的解为:
f*=(D-αW)-1y (2)
实验证明,应用在显著性检测这一问题中,非归一化的公式(2)比归一化的公式(1)有更好的实验效果,因此本发明也采用公式(2)进行流形排序计算。
令A=(D-αW)-1,则:
f*=Ay (3)
矩阵A可以看作通过排序算法学习到的最优相似度矩阵,它相比W更好地描述了节点之间的关联程度。第i个节点的排序值可以看成是矩阵A的第i行与向量y的内积。
流形排序算法提出后,被相继应用在文档搜索、图像搜索等领域。在MR算法中,作者将流形排序的思想结合到显著性检测中来。文中将图像抽象为一个闭环图模型,如图1为闭环图模型
其中,(1)对一个图像,使用SLIC超像素方法将图像分割成若干超像素,每个超像素作为图G中的一个“节点”;(2)边界节点之间两两有边,每个节点都与其邻节点、间接邻节点之间有边;(3)边的权重定义为两节点的平均Lab颜色的欧几里得距离,具体计算公式如下:
其中ci是节点i中包含所有像素点的Lab平均颜色,cj是节点j中包含所有像素点的Lab平均颜色。
基于以上闭环图模型,选取初始显著节点作为查询节点,可以通过ManifoldRanking算法中的公式(2)得到每个节点的排序值。这个排序值即 作为该节点所包含像素的显著值,以此得到图像的显著图。
前景和背景特征的流形排序
MR算法提出的两阶段显著性检测方法是以背景特征为查询节点的流形排序,其背景特征从四个方向的边界节点获取。在公式(2)中令yi=1,i是上边界的节点,得到以上边界节点为查询种子的排序结果ft。那么以上边界节点为背景特征的图像显著值St可通过公式(5)计算得到。
其中是ft的归一化到[0,1]之间的结果。同理可以得到以其他三个边界节点作为背景特征得到的显著值Sb、Sl、Sr。这四个显著图可以通过公式(6)进行整合,得到的结果即为以背景特征为先验的显著值Sbg。将显著图Sbg二值化,得到背景特征种子节点(后文简称“背景种子”)。Sbg既可称为显著值,也可称为显著图。严格来说,Sbg与f*等同,是一个长度为n的矩阵,矩阵中的值代表了各个节点的显著值。显著值的图形化表示就是显著图。公式(6)既可以认为是几个矩阵的乘法,也可以认为是显著图的结合。
Sbg=St×Sb×Sl×Sr (6)
然而由于MR算法只考虑了背景特征而没有考虑全局前景特征,本发明方法基于MR算法中的闭环图模型,将所有节点设为查询节点,即在公式(2)中令y=[1,1,...,1]T。以此进行流形排序得到一个显著图Sfg,该显著图即为考虑全局特征得到各个节点的显著值,计算公式如公式(7)。将前景显著图Sfg二值化,得到前景特征种子节点(后文简称“前景种子”)。
Sfg=A×[1,1,...,1]T (7)
实验发现,部分图片的前景种子与背景种子有着很大的相似性(场景1),如图2中的(a)(b)组图片:此类图片的显著区域既与背景特征区别显著,也在 全局范围内有着排序靠前的特征显著性。因此使用前景或者背景种子作为查询节点,都可以得到良好的实验结果。
然而,大部分的前景种子与特征种子存在部分差异(场景2),如图2中的(c)(d)组图片:有时前景种子作为查询节点更准确,有时背景种子表现更佳。因此不能单纯使用前景或背景种子进行计算,需根据一定规则将两者进行有机结合。3.2节将详细阐述如何进行结合。
图2图像的原图(左)、背景种子(中)、前景种子(右)
特别地,还存在个别图片的前景种子与背景种子存在显著差异(场景3),如图2中的(e)(f)组图片:此类图片的前景种子与背景种子的交集非常有限,即以边界节点特征作为先验与计算全局对比度得到的显著区域几乎完全相反。通过实验发现,背景特征种子往往更贴近理想的查询节点,因此对于这类图片,我们直接采取背景特征种子作为最终查询节点。
结合前景和背景特征的显著性检测
针对上文描述的前景特征与背景特征的不同表现,本发明提出了一种结合背景和前景特征的显著性检测方法。通过MR算法得到背景特征显著图,再以公式(2)设全1的查询节点y得到前景特征显著图。对前景特征显著图和背景特征显著图分别进行二值化,得到前景种子和背景种子。结合这两类种子节点作为最终查询节点进行流形排序,即可得到更准确的显著值。过程如图3所示。
得到前景种子和背景种子的前提下,关于如何计算选取最终查询节点,本发明提出了一种结合亮度和颜色特征的种子选取规则。
定义初始前景fgQuery=[q1,q2,...,qn]T,其中qi=0或1。fgQuery为两次被标记为显著区域的节点,用于计算图像前景特征,也作为初始查询节点。 同理初始背景bgQuery为两次被标记为非显著区域的节点,用于计算图像背景特征。候选查询节点candidate为待判定为前景或背景的节点。计算公式如下:
其中Query1是前景种子,Query2是背景种子。
首先判断图像的前景种子是否符合3.1中描述的场景1或场景3。若符合,则最终查询节点y即为背景种子Query1;否则将y初始化为初始前景fgQuery,然后判断候选查询节点是否被选为最终查询节点。公式如下:
其中num(Query)表示节种子节点的个数,μ表示初始前景至少占背景种子的比例,实验中取50%。即当初始前景的节点个数小于背景种子个数的一半时,则认为前景种子与背景种子的差异过大,初始前景的特征不足以用来作为判断是否显著的参考。因此,当前景种子与背景种子个数相同,或者初始前景节点数明显不足的情况下,直接采用背景种子作为最终查询节点。
对于候选查询节点,根据亮度和颜色两种特征来判定其属于前景还是背景,即是否被选为查询节点。之所以将亮度参数和颜色参数分开考虑,是针对MR算法中两种表现不佳的情况:
(1)显著区域因亮度存在差异,部分亮度较低的区域被判断为非显著区域;
(2)显著区域因颜色存在差异,部分与背景颜色更洁接近的区域被判定 为非显著区域。针对以上两种情况,候选节点满足以下两个要求之一的节点,也设为查询节点:
(1)亮度参数(L分量)更接近初始前景;
(2)颜色参数(a、b分量)更接近初始前景。
图3算法过程示意图
具体判断公式如下:
其中L代表Lab颜色空间中的L分量,AB表示Lab颜色空间中的a、b两个分量。表示当前节点与初始前景或初始背景之间L分量的欧氏距离,表示当前节点与初始前景或初始背景之间a、b分量的欧氏距离。
图4 Lab分量综合判定和分开判定
(a)原图(b)背景种子(c)前景种子(d)Lab三个分量综合判定的最终查询节点(e)L分量和ab分量分别判定的最终查询节点
图4展示了两种判定方式得到的查询种子,可以看出,将亮度和颜色分量分开判定比Lab三个分量综合判定,得到的查询节点更准确。
算法过程形式化描述
综上分析,本发明提出算法的形式化描述如下:
Input:图像Image
Output:图像的各个超像素部分的显著值,即得到一个图像的显著图saliencymap
(1)将图像分割为n个超像素区域,以每个超像素为节点建立闭环图G,计算度矩阵D和权重矩阵W;
(2)计算A=(D-αW)-1并将其对角元素设置为0;
(3)基于背景特征的流形排序:以四个方向的边界节点作为查询节点进行流形排序计算,由公式(5)(6)得到背景特征显著图,以自适应阈值二值化后得到背景种子Query1;
(4)基于前景特征的流形排序:根据公式(7),将所有节点作为查询节点进行流形排序计算,得到前景特征显著图,以自适应阈值二值化后得到前景种子Query2;
(5)计算查询节点y:
(a)根据公式(8)计算初始前景fgQuery、初始背景bgQuery,候选查询节点candidate;
(b)根据公式(9)判断是否符合场景1(case1)或场景3(case3),若符合,令y=Query1,直接跳到第6步;否则,继续下列步骤。
(c)y初始化为初始前景y=fgQuery,对于每个候选节点candidate,根据公式(10)判断其是否为查询节点。
(6)利用公式(3)计算各个节点的排序值,得到的排序值即为各个超像素的显著值,并以此求得图像的显著图。
本发明实验数据集采用的是MSRA数据集的子集,由人工标记了显著区 域GroundTruth(GT)。以下实验中,本发明方法(简写为Ours)三种state-of-art类算法:MR算法、SF算法、RC算法进行了对比分析。
实验中涉及到几个参数,它们分别是:超像素个数(闭环图节点个数)n,公式(2)中的调节参数α。本发明实验中,参考MR算法中的设定,取n=200,α=0.99。
实验中,使用了三种常用的评价指标:精确率(Precision)、召回率(Recall)、F值(F-measure)将本发明算法与其他三种算法进行分析对比。其中,精确率表示算法得出的显著区域中真实显著区域的比例,召回率表示GT中的显著区域被正确标记的比例。F值则是对精确率和召回率进行整合的一个综合指标。设β2=0.3以强调精确率的重要性。
图5是自适应阈值下各个算法的精确率、召回率、F值;
图6是固定阈值下各个算法的P-R曲线;
图7是固定阈值下各个算法的F值曲线;
图5-7是MSRA-1000数据集上四种算法对比
显著图的二值化使用下面两种方式:自适应阈值方式和固定阈值方式。自适应阈值是指针对每个图片自适应地选择对应该图片的阈值进行分割,实验结果直接使用平均精确率、召回率和F值的方式来表示。固定阈值是指对所有数据集中的图片,固定阈值为0~255,以此获得在不同阈值下的精确率和召回率,一般使用P-R曲线和F值曲线来表示。可以认为,自适应阈值方式是该算法的最佳表现结果,固定阈值方式体现了算法的平均表现结果。图5分别是本发 明算法、MR算法、SF算法、RC算法在自适应阈值和固定阈值下的实验对比结果。
为了更直观地分析本发明算法在实验效果上的改进,下图展示了12组本发明算法得到的显著图与其他三种算法:MR算法、SF算法、RC算法的对比结果,其中GT是人工标记的显著区域。可以看出,以GT为参照,本发明算法的效果普遍好于其他三种算法。
各个算法显著图对比结果,
通过试验看出本发明算法更能够均匀地突出前景,即显著区域的显著值更大而非显著区域的显著值减小。这是由于本发明结合了前景和背景特征得到的查询节点,采取了比MR算法(仅由背景特征得到的)更准确的查询节点,使得噪声数据减少,显著与非显著区域的排序值区分更大。
通过试验可以看出本发明算法可以检测到MR算法“丢失”的显著区域,这是由于本发明方法结合了全局对比度的前景特征。MR算法由于依赖于边界背景特征,容易在以下两种情况下表现不佳,一是显著区域与边界区域特征近似时,难以区分是否显著;二是当显著区域由几个特征差异较大的部分组成时,难以区分是否显著。而这两个问题在使用前景特征进行流形排序时可以得到很好地解决。SF算法和RC算法是基于全局对比度的算法,这两种算法在后6幅图片中表现比MR好,也可以间接证明这一点。
综合来说,使用背景特征先验可以更均匀地突出显著区域,使用前景特征先验可以检测到更完整的显著区域。本发明方法采取结合前景和背景特征的方式,有效结合了以上两个优点。
当前,许多自下而上的显著性检测方法都主要是计算前景显著物体在局部或整体区域的显著性,最常使用的方法就是考虑显著物体与其他邻接区域的对 比度。该文采用结合前景特征(全局对比度)和背景特征(图像边界)的方法来进行显著性检测,提出了一种改进的基于流形排序(Manifold Ranking,MR)的显著性检测方法。与现有方法不同的是,该文中的方法借鉴闭环图的建模思想,根据图像前景特征和背景特征分别得出不同种子节点,再通过亮度和颜色特征对两者进行有机结合,筛选出更为准确的查询节点。最后再通过流形排序算法进行显著值计算,得到图像对应的显著图。实验表明,该文方法相比现有方法具有一定改进效果,精确率和召回率均有提升。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于Manifold Ranking和结合前景背景特征的显著性检测方法,其特征在于,包括:
S1,获取图像数据,对图像数据的前景特征和背景特征进行流形排序,获得每个图像数据中的超像素部分的显著值,得到该图像数据的显著图;
S2,对图像数据的前景特征和背景特征的显著图进行二值化,获得图像数据的前景特征的前景种子和背景特征的背景种子;
S3,对前景种子和背景种子作为最终查询节点进行流形排序,对候选查询节点进行计算,将计算结果进行排序获得最终的排序值,根据排序值得到图像数据中的显著图;
所述S2包括:
S2-1,根据公式计算初始前景fgQuery、初始背景bgQuery,候选查询节candidate;
S2-2,根据公式
判断是否符合场景1或场景3,若符合场景1或场景3,令y=Query1,直接跳到S3;否则,执行S2-3;
S2-3,y初始化为初始前景y=fgQuery,对于每个候选节点candidate,
根据公式判断其是否为查询节点。
2.根据权利要求1所述的基于Manifold Ranking和结合前景背景特征的显著性检测方法,其特征在于,所述S1包括:
S1-1,将图像数据分割为n个超像素区域,以每个超像素为节点建立闭环图G,计算度矩阵D和权重矩阵W;
S1-2,计算矩阵A=(D-αW)-1并将其对角元素设置为0;
S1-3,基于背景特征的流形排序:以四个方向的边界节点作为查询节点进行流形排序计算,由公式Sbg=St×Sb×Sl×Sr得到背景特征显著图,以自适应阈值二值化后得到背景种子Query1;
S1-4,基于前景特征的流形排序,根据公式Sfg=A×[1,1,...,1]T,将所有节点作为查询节点进行流形排序计算,得到前景特征显著图,以自适应阈值二值化后得到前景种子Query2。
3.根据权利要求1所述的基于Manifold Ranking和结合前景背景特征的显著性检测方法,其特征在于,所述S3包括:
S3-1,利用公式f*=Ay计算各个节点的排序值,得到的排序值即为各个超像素的显著值,并以此求得图像数据的显著图。
4.根据权利要求1所述的基于Manifold Ranking和结合前景背景特征的显著性检测方法,其特征在于,所述候选节点满足以下两个要求之一的节点,也设为查询节点:
(1)亮度参数更接近初始前景,所述亮度参数为L分量;
(2)颜色参数更接近初始前景,所述颜色参数为a、b分量。
CN201610355027.1A 2016-05-26 2016-05-26 基于Manifold Ranking和结合前景背景特征的显著性检测方法 Expired - Fee Related CN106056590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610355027.1A CN106056590B (zh) 2016-05-26 2016-05-26 基于Manifold Ranking和结合前景背景特征的显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610355027.1A CN106056590B (zh) 2016-05-26 2016-05-26 基于Manifold Ranking和结合前景背景特征的显著性检测方法

Publications (2)

Publication Number Publication Date
CN106056590A CN106056590A (zh) 2016-10-26
CN106056590B true CN106056590B (zh) 2019-02-22

Family

ID=57174646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610355027.1A Expired - Fee Related CN106056590B (zh) 2016-05-26 2016-05-26 基于Manifold Ranking和结合前景背景特征的显著性检测方法

Country Status (1)

Country Link
CN (1) CN106056590B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016680B (zh) * 2017-02-24 2019-07-09 中国科学院合肥物质科学研究院 一种基于显著性检测的害虫图像背景去除方法
CN106952301B (zh) * 2017-03-10 2020-04-03 安徽大学 一种rgb-d图像显著性计算方法
CN107092870B (zh) * 2017-04-05 2019-11-26 武汉大学 一种高分辨率影像语义信息提取方法
CN108198172B (zh) * 2017-12-28 2022-01-28 北京大学深圳研究生院 图像显著性检测方法和装置
CN109886267A (zh) * 2019-01-29 2019-06-14 杭州电子科技大学 一种基于最优特征选择的低对比度图像显著性检测方法
CN111028259B (zh) * 2019-11-15 2023-04-28 广州市五宫格信息科技有限责任公司 一种通过图像显著性改进适应的前景提取方法
CN111539420B (zh) * 2020-03-12 2022-07-12 上海交通大学 基于注意力感知特征的全景图像显著性预测方法及系统
CN115858855B (zh) * 2023-02-28 2023-05-05 江西师范大学 一种基于情景特征的视频数据查询方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240244A (zh) * 2014-09-10 2014-12-24 上海交通大学 一种基于传播模式和流形排序的显著性物体检测方法
CN104715476A (zh) * 2015-02-13 2015-06-17 河南科技大学 一种基于直方图幂函数拟合的显著目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6135283B2 (ja) * 2013-04-26 2017-05-31 オムロン株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6232982B2 (ja) * 2013-12-02 2017-11-22 オムロン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240244A (zh) * 2014-09-10 2014-12-24 上海交通大学 一种基于传播模式和流形排序的显著性物体检测方法
CN104715476A (zh) * 2015-02-13 2015-06-17 河南科技大学 一种基于直方图幂函数拟合的显著目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Salient Region Detection based on Compactness with Manifold Ranking;Li Zhou 等;《2015 5th International Conference on Information Science and Technology(ICIST)》;20150426;1-5
一种基于图的流形排序的显著性目标检测改进方法;吕建勇 等;《电子与信息学报》;20151130;第37卷(第11期);2555-2563
基于先验融合和流形排序的显著目标检测;杨川;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130815(第08期);摘要第3段,正文第22页第5段,第23页第1段,第25页第3-4段,第26页第1段,第27页第3段,第31页表3.1

Also Published As

Publication number Publication date
CN106056590A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106056590B (zh) 基于Manifold Ranking和结合前景背景特征的显著性检测方法
CN109961051B (zh) 一种基于聚类和分块特征提取的行人重识别方法
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
Yin et al. Recurrent convolutional network for video-based smoke detection
Fan et al. Combining local appearance and holistic view: Dual-source deep neural networks for human pose estimation
CN106127785B (zh) 基于流形排序和随机游走的图像显著性检测方法
CN103996046B (zh) 基于多视觉特征融合的人员识别方法
CN108960059A (zh) 一种视频动作识别方法及装置
CN103714181B (zh) 一种层级化的特定人物检索方法
CN108600865B (zh) 一种基于超像素分割的视频摘要生成方法
CN103679142B (zh) 一种基于空间约束的目标人体识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN105528575B (zh) 基于上下文推理的天空检测方法
US20130250181A1 (en) Method for face registration
CN104281572B (zh) 一种基于互信息的目标匹配方法及其系统
Lian et al. Spatial–temporal consistent labeling of tracked pedestrians across non-overlapping camera views
CN106325485A (zh) 一种手势检测识别方法及系统
CN113239801B (zh) 基于多尺度特征学习和多级域对齐的跨域动作识别方法
CN102521616A (zh) 基于稀疏表示的行人检测方法
CN110245611A (zh) 图像识别方法、装置、计算机设备和存储介质
CN114078223A (zh) 视频语义识别方法及设备
CN113065568A (zh) 目标检测、属性识别与跟踪方法及系统
Talukdar et al. Human action recognition system using good features and multilayer perceptron network
Thøgersen et al. Segmentation of RGB-D indoor scenes by stacking random forests and conditional random fields
CN111738039A (zh) 一种行人重识别方法、终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190222

Termination date: 20210526