CN107977660A - 基于背景先验和前景节点的感兴趣区域检测方法 - Google Patents

基于背景先验和前景节点的感兴趣区域检测方法 Download PDF

Info

Publication number
CN107977660A
CN107977660A CN201710963434.5A CN201710963434A CN107977660A CN 107977660 A CN107977660 A CN 107977660A CN 201710963434 A CN201710963434 A CN 201710963434A CN 107977660 A CN107977660 A CN 107977660A
Authority
CN
China
Prior art keywords
mrow
notable
background
pixel
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710963434.5A
Other languages
English (en)
Inventor
张芳
肖志涛
王萌
耿磊
吴骏
刘彦北
王雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201710963434.5A priority Critical patent/CN107977660A/zh
Publication of CN107977660A publication Critical patent/CN107977660A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于背景先验和前景节点的感兴趣区域检测方法,包括:1)利用SLIC算法将原始图像分割成超像素;2)利用K‑means聚类算法对边界超像素进行聚类,根据聚类结果构建全局颜色差异矩阵和全局空间距离矩阵并将它们融合成基于背景先验的显著图,最后利用单层元胞自动机初步优化基于背景的显著图;3)将得到的基于背景的显著图进行自适应阈值分割,得到前景节点,根据对比度关系得到基于前景节点的显著图,并利用偏置的高斯滤波进行优化;4)将基于背景先验和前景节点的显著图进行融合,得到最终的显著图。本发明作为图像预处理过程,可以被广泛的应用到视觉跟踪、图像分割和目标重定位等视觉工作领域。

Description

基于背景先验和前景节点的感兴趣区域检测方法
技术领域
本发明涉及一种基于背景先验和前景节点的感兴趣区域检测方法,该方法对与背景对比度不同、背景复杂度不同的感兴趣区域以及不同面积的感兴趣区域的图像都具有很好的检测效果,本发明作为图像预处理过程,可以被广泛的应用到视觉跟踪、图像分类、图像分割和目标重定位等视觉工作领域。
背景技术
随着信息科技的快速发展与推广,图像数据成为人类重要信息来源之一,人们所接收的信息量呈指数级增长,如何在海量的图像信息中筛选出人类感兴趣的目标区域具有重要研究意义。研究发现,在复杂场景下,人类视觉处理系统会将视觉注意力集中在该场景的少数几个对象,也称为感兴趣区域。感兴趣区域与人类视觉感知关系较为密切,具有一定的主观性。感兴趣区域检测作为图像预处理过程,可以被广泛的应用到视觉跟踪、图像分类、图像分割和目标重定位等视觉工作领域。
感兴趣区域检测方法分为自上而下和自下而上两种。自上而下的检测方法[1,2,3]是任务驱动型的,需要人工标注真值图进行监督训练,融入更多的人类感知(例如中心先验信息、色彩先验信息和语义先验信息等等)得到显著图。而自下而上的方法[4-10]是数据驱动型,更注重于利用对比度、位置和纹理等图像特征得到显著图。最早的研究者Itti等人[4]提出一种基于局部对比度的空间域视觉模型,使用由中心向四周变化的图像差异性得到显著图。Cheng等人[5]提出了基于直方图计算全局对比度的方法。Perazzi等人[6]引进了一种将显著性检测看作滤波的思想,提出了saliency filters方法。Achanta等人[7]提出基于图像频域计算显著度的Ft算法。Ruhtu等人[8]提出基于贝叶斯框架的方法。还有一些研究者基于信息论的观点,提出相位谱法和谱残差法。近来,Wei等人[9]提出了利用背景先验知识得到显著图。文献[10]通过流行排序的方法,将图像边界作为背景种子,对其他相关区域进行排序,构造显著图。自下而上的检测方法大部分利用的是对比度原则。此类方法中,有些方法是直接计算目标的显著性,也称为“前景优先”。基于前景优先的方法能够获得感兴趣区域,在部分图像上取得了不错的效果,但同时也存在诸多问题,例如,高显著性值大多集中在对比度较高的边缘部分,物体内部显著性值较低,故感兴趣区域显著度不突出,或者提取的感兴趣区域不完整。与“前景优先”相对应的便是“背景优先”,基于“背景优先”的检测方法主要是利用背景先验知识得到显著图,图像边缘有很大的可能成为背景,这种检测方法对大多数图像还是有效的,可以突出前景目标,得到较好的结果。但是基于背景优先的方法将边界上的所有像素归为背景是不合理的,如果目标物体出现在边缘,则会直接导致结果偏差较大;另外,仅仅利用边界信息也具有一定的局限性。
目前感兴趣区域检测的主要问题是感兴趣区域不突出,背景噪声得不到较好的抑制。本发明提出基于背景先验和前景节点的感兴趣区域检测方法,基于背景的显著图可以突出目标物体,基于前景节点的显著图可以抑制背景噪声,检测到的感兴趣区域准确有效。
参考文献:
[1]Marchesotti L,Cifarelli C,Csurka G.A framework for visual saliencydetection with applications to image thumbnailing[C]IEEE InternationalConference on Computer Vision, 2010,30(2):2232-2239.
[2]Yang J,Yang M H.Top-down visual saliency via joint CRF anddictionary learning[C] IEEE International Conference on Computer Vision,2012,157(10):2296-2303.
[3]Ng A Y,Jordan M I,Weiss Y.On Spectral Clustering:Analysis and analgorithm[J]. Proceedings of Advances in Neural Information ProcessingSystems,2002,14:849--856.
[4]Itti L,Kouch C,Niebur E.A model of saliency-based visual attentionfor rapid scene analysis[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,1998,20(11): 1254-1259.
[5]Cheng M M,Zhang G X,Mitra N J,et al.Global contrast based salientregion detection[C] IEEE International Conference on Computer Vision,2011,37(3):409-416.
[6]Perazzi F,KrAahenbAuhl P,Pritch Y,et al.Saliency filters:contrastbased filtering for salient region detection[C]IEEE International Conferenceon Computer Vision,2012, 157(10):733-740.
[7]Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient regiondetection[C]IEEE International Conference on Computer Vision,2009,22(9-10):1597-1604.
[8]Rahtu E,Kannala J,Salo M,et al.Segmenting salient objects fromimages and videos[J] Springer Berlin Heidelberg,2010,6315:366-379.
[9]Wei Y,Wen F,Zhu W,et al.Geodesic Saliency Using Background Priors[M]Computer Vision-ECCV 2012.Springer Berlin Heidelberg,2012:29-42.
[10]Yang C,Zhang L,Lu H,et al.Saliency Detection via Graph-BasedManifold Ranking[C] IEEE International Conference on Computer Vision,2013,9(4):3166-3173.
发明内容
本发明提出了一种基于背景先验和前景节点的感兴趣区域检测方法,将基于背景与前景相结合,同时分别利用了元胞自动机与偏置的高斯滤波进行优化,并且取到了非常好的效果。实现本发明目的技术方案,包括下列步骤:
步骤1:输入一幅原始图像,利用SLIC算法将图像分割成N个超像素。
步骤2:每个超像素利用其包含像素点的平均颜色特征和平均坐标来表示自身。将图像四个边界的超像素作为初始化背景种子集合,然后利用K-means聚类算法将图像边界超像素分成K类,根据经验设K=3。
在得到边缘聚类结果后,利用分类的背景种子点计算全局颜色差异矩阵和全局空间距离差异矩阵,并据此得到初始背景显著图。首先属于第k类的超像素的总数用nk表示,其中k=1,2,…,K。根据K类不同的种子点,利用如下公式可以构建K个不同的全局颜色差异图GCD(global color distinction maps)。
其中sk,i表示第k个GCD图中第i个超像素的显著值,||ci,cj||表示超像素i与超像素j在 CIElab颜色空间中的欧氏距离,σ1和β是平衡权重值,本发明设σ1=0.2,β=10。
由图2可以看出,每个全局颜色差异图中都有准确度较高的超像素,且K个全局颜色差异图之间有很大的互补性,当一个超像素的显著性是基于离它最近的背景类计算时,它的显著性值越准确。为了利用不同GCD图中准确度高的超像素,因此,利用如下公式构建全局空间距离矩阵GSD(global spacial distance),用来权衡不同GCD图中不同超像素的重要性。
其中,dk,i表示第i个超像素与第k类背景种子点之间的空间距离,ri和rj表示超像素i和 j的坐标,σ2表示控制权重的常量,本发明设σ2=1.3。
在得到GCD和GSD之后,利用如下公式计算得到基于背景得到的显著图
再利用元胞自动机的同步更新原则优化基于背景的显著图。将每个超像素看作是一个元胞,利用如下公式所定义的更新机制同步更新显著图中各个元胞的状态,
St+1=C*·St+(I-C*)·F*·St
其中,St和St+1分别表示t时刻和t+1时刻元胞自动机的状态,C*是置信度矩阵,F*是影响因子矩阵,I是单位矩阵。F*的定义如下:
F*=D-1·F
矩阵F中的元素如下式所示,
σ3是控制相似性力度的参数,本发明设置σ3=0.1,NB(i)是元胞i的二环邻接点的超像素集合。矩阵D=diag{d1,d2,…,dN},其中di=∑jfij
C*的定义如下:
其中将参数设置为a=0.6和b=0.2。
步骤3:基于前景节点的感兴趣区域检测方法。算法步骤如下:
(1)首先对基于背景先验的显著图进行自适应阈值分割,得到二值图像,根据二值图像可以得到前景目标的近似位置,得到前景节点的集合FG。
(2)利用超像素的颜色信息和位置信息的对比度关系来计算显著度,与前景节点进行对比,颜色越接近、位置距离越近显著性值越高,相反显著性值越低。本发明利用如下公式计算基于前景节点的显著性结果:
其中,l(ci,cj)表示第i个超像素与前景节点集合中第j个超像素在CIElab颜色空间中的欧氏距离,l(Ii,Ij)表示第i个超像素与前景节点集合中第j个超像素的空间距离,λ1和λ2是权重系数。
(3)为了更好地抑制背景噪声,利用目标偏置的高斯滤波优化基于前景节点的显著图,根据前景节点目标的位置构建高斯模型,公式如下:
G(x,y)=exp(-λ(((x-dx)/w)2+((y-dy)/h)2))
其中,(dx,dy)是图像前景节点的中心坐标,w和h分别是图像的宽度和高度,λ是权重系数。再利用该模型优化基于前景节点的显著图公式如下:
步骤4:将基于背景先验和前景节点的显著图进行融合,得到最终的显著图。计算公式如下:
其中,是优化后的基于背景的显著图,是优化后的基于前景节点的显著图,β是权衡系数。
与现有技术相比,本发明的有益效果是:
1.利用单层细胞自动机优化后的基于背景的显著图可以选择更准确的前景种子,进而可以生成更好的基于前景的显着图。实验结果验证了本发明提出的基于背景先验和前景节点的感兴趣区域检测方法的有效性。
2.为了抑制背景噪声,利用偏置的高斯滤波优化基于前景的显著图,同时考虑元胞自动机和高斯滤波的优点,合并后的显著图表现良好,通过实验证明了本发明的优越性。
附图说明
图1感兴趣区域检测模型,即摘要附图;
图2基于背景先验过程图;
图3(a)真值图;
图3(b)原图;
图3(c)前景节点
图3(d)基于前景节点的显著图;
图3(e)利用偏置高斯滤波后的显著图;
图4(a)真值图;
图4(b)原图;
图4(c)优化后的基于背景的显著图;
图4(d)优化后基于前景的显著图;
图4(e)融合后的结果图;
图5(a)原图;
图5(b)真值图;
图5(c)FT算法结果图;
图5(d)SR算法结果图;
图5(e)SUN算法结果图;
图5(f)CA算法结果图;
图5(g)SF算法结果图;
图5(h)BFS算法结果图;
图5(i)GR算法结果图;
图5(j)MR算法结果图;
图5(k)本发明算法结果图;
图6(a)MSRA-1000数据库中准确率-召回率对比;
图6(b)ECSSD数据库中准确率-召回率对比;
图6(c)PASCAL_S数据库中准确率-召回率对比;
图7(a)MSRA-1000数据库中F-measure对比;
图7(b)ECSSD数据库中F-measure对比;
图7(c)PASCAL_S数据库中F-measure对比。
具体实施方式
下面结合具体实施方式对本发明作进一步详细地描述。
目前感兴趣区域检测的主要问题是感兴趣区域不突出,背景噪声得不到较好的抑制。本发明提出基于背景先验和前景节点的感兴趣区域检测方法,基于背景的显著图可以突出目标物体,基于前景节点的显著图可以抑制背景噪声,检测到的感兴趣区域准确有效。
本发明通过以下步骤实现了基于背景先验和前景节点的感兴趣区域检测方法,具体步骤如下所示:
步骤1:输入一幅原始图像,利用SLIC算法将图像分割成N个超像素。
步骤2:每个超像素利用其包含像素点的平均颜色特征和平均坐标来表示自身。将图像四个边界的超像素作为初始化背景种子集合,然后利用K-means聚类算法将图像边界超像素分成K类,根据经验设K=3。边界种子点的提取过程见图2。
在得到边缘聚类结果后,利用分类的背景种子点计算全局颜色差异矩阵和全局空间距离差异矩阵,并据此得到初始背景显著图。首先属于第k类的超像素的总数用nk表示,其中k=1,2,…,K。根据K类不同的种子点,利用如下公式可以构建K个不同的全局颜色差异图GCD(global color distinction maps)。
其中sk,i表示第k个GCD图中第i个超像素的显著值,||ci,cj||表示超像素i与超像素j在 CIElab颜色空间中的欧氏距离,σ1和β是平衡权重值,本发明设σ1=0.2,β=10。
由图2可以看出,每个全局颜色差异图中都有准确度较高的超像素,且K个全局颜色差异图之间有很大的互补性,当一个超像素的显著性是基于离它最近的背景类计算时,它的显著性值越准确。为了利用不同GCD图中准确度高的超像素,因此,利用如下公式构建全局空间距离矩阵GSD(global spacial distance),用来权衡不同GCD图中不同超像素的重要性。
其中,dk,i表示第i个超像素与第k类背景种子点之间的空间距离,ri和rj表示超像素i和 j的坐标,σ2表示控制权重的常量,本发明设σ2=1.3。
在得到GCD和GSD之后,利用如下公式计算得到基于背景得到的显著图
再利用元胞自动机的同步更新原则优化基于背景的显著图。将每个超像素看作是一个元胞,利用如下公式所定义的更新机制同步更新显著图中各个元胞的状态,
St+1=C*·St+(I-C*)·F*·St
其中,St和St+1分别表示t时刻和t+1时刻元胞自动机的状态,C*是置信度矩阵,F*是影响因子矩阵,I是单位矩阵。F*的定义如下:
F*=D-1·F
矩阵F中的元素如下式所示,
σ3是控制相似性力度的参数,设置σ3=0.1,NB(i)是元胞i的二环邻接点的超像素集合。矩阵D=diag{d1,d2,…,dN},其中di=∑jfij
C*的定义如下:
其中将参数设置为a=0.6和b=0.2。
步骤3:基于前景节点的感兴趣区域检测方法。算法步骤如下:
(1)首先对基于背景先验的显著图进行自适应阈值分割,得到二值图像,根据二值图像可以得到前景目标的近似位置,得到前景节点的集合FG。
(2)利用超像素的颜色信息和位置信息的对比度关系来计算显著度,与前景节点进行对比,颜色越接近、位置距离越近显著性值越高,相反显著性值越低。本发明利用如下公式计算基于前景节点的显著性结果:
其中,l(ci,cj)表示第i个超像素与前景节点集合中第j个超像素在CIElab颜色空间中的欧氏距离,l(Ii,Ij)表示第i个超像素与前景节点集合中第j个超像素的空间距离,λ1和λ2是权重系数。
(3)为了更好地抑制背景噪声,利用目标偏置的高斯滤波优化基于前景节点的显著图,根据前景节点目标的位置构建高斯模型,公式如下:
G(x,y)=exp(-λ(((x-dx)/w)2+((y-dy)/h)2))
其中,(dx,dy)是图像前景节点的中心坐标,w和h分别是图像的宽度和高度,λ是权重系数。再利用该模型优化基于前景节点的显著图公式如下:
步骤4:将基于背景先验和前景节点的显著图进行融合,得到最终的显著图。计算公式如下:
其中,是优化后的基于背景的显著图,是优化后的基于前景节点的显著图,β是权衡系数。
现结合附图对整个过程做详细介绍:
1.基于背景先验的感兴趣区域检测
由于图像的感兴趣区域大部分在图像的中心或者接近中心,大多数图像的边界即为背景区域,因此合理利用边界信息可以为感兴趣区域的提取奠定基础,可以得到基于背景先验的显著图,由于其对背景噪声抑制不足,因此本发明利用元胞自动机的同步更新原则优化基于背景的显著图。图2为基于背景先验过程图。
2.基于前景节点的感兴趣区域检测
基于背景先验得到的显著图有一定的优势,但上述背景种子集合只涵盖图像边界处的超像素,并不能包含所有背景成分,因此突出目标前景的同时并不能很好的抑制背景噪声,为了解决这一问题本发明引入基于前景节点的感兴趣区域检测方法。图3基于前景节点的显著图利用偏置高斯滤波处理前后对比图,由图可以看出该方法可以很好地抑制背景噪声。
3.显著性融合
基于背景先验的显著图可以突出前景目标,但背景噪声较强,即使利用单层元胞自动机初步优化,起到了抑制噪声的作用,但有些背景噪声还是无法得到抑制。而基于前景节点的显著图虽然突出前景目标方面稍有不足,但是可以很好的抑制背景噪声。为了综合二者的长处,采用如下公式融合两个显著图。图4为融合效果对比图,由图可以看出基于前景节点的显著图可以进一步完善优化后的基于背景先验的显著图,达到进一步抑制背景噪声、突出目标的效果。
4.主观评价
图5是本发明算法结果与其他8种算法的结果对比图。由图中对比效果可以直观看出, FT、SR、SUN和CA算法虽然能够较为准确的定位感兴趣区域,但是感兴趣区域不完整,背景噪声多,结果图显著度较低;SF算法背景噪声小,但是感兴趣区域显著度不高;MC、 GR和MR算法都是比较优秀的算法,对显著性区域定位准确,但是对背景噪声抑制不足,尤其是对背景复杂的图像,感兴趣区域显著度不够高;本发明方法可以在准确定位显著性区域的前提下很好的抑制背景噪声,与其他8种算法相比更接近于真值图。
5.客观评价
为了对本发明方法的性能进行客观评价,采用四个评价指标,即准确率(Precision)、召回率(Recall)、F-measure以及平均绝对误差(MAE)进行对比分析。
(1)准确率和召回率
首先采用最常用的准确率-召回率曲线对算法进行客观比较。如公式(13)所示,依次选取0到255之间的灰度值作为阈值Ti,分别将各算法的结果图进行二值化,得到二值图,并与人工标注的真值图进行比较,利用公式(14)和公式(15)计算各算法的准确率Pi和召回率Ri,并画出Precision-Recall曲线。
式中STi表示显著图经过二值分割后值为1的区域,GT表示真值图中值为1的区域,|R|表示区域R的像素个数。
Precision-Recall曲线与横坐标包围的面积越大,即相同召回率下准确率越高,说明方法越有效。图6是9种算法在MASR-1000、ECSSD和PASCAL_S三个数据库上的Precision-Recall曲线,由图可以看出在这三个数据库上本发明方法的Precision-Recall曲线与横坐标包围的面积均大于其他曲线与横坐标所包围的面积,说明优于其他算法。
(2)F-measure
为了综合考虑准确率和召回率,本发明采用F-measure(Fβ)进一步评价各个算法。
其中,P是准确率,R是召回率,β是权重系数,这里将β设置为β2=0.3,可以达到突出准确率的目的。F-measure衡量了准确率和召回率的整体性能,其数值越大说明方法性能越好。计算F-measure时,需要将各个算法结果在同等条件进行二值化,本发明采用自适应阈值分割算法,即将阈值设置为每幅显著图的平均值,然后与真值图进行比较,计算得到准确率和召回率,再利用公式(16)计算F-measure值。图6是9种算法在三个数据库上的比较结果,可以看出在三个数据库中本发明算法的F-measure最大。
(3)平均绝对误差
Precision-Recall曲线只是评价目标的准确性,而对于非显著区域并没有评判,即不能表征算法对背景噪声的抑制情况,因此本发明利用平均绝对误差(MAE)对整幅图进行评价。MAE是以像素点为单位计算显著图与真值图之间的平均差异,计算公式如下:
式中M和N代表图像的高度和宽度,S(i,j)代表显著图对应的像素值,GT(i,j)代表真值图对应的像素值。显然MAE的值越小,显著图越接近于真值图。表1为9种算法的MAE 比较结果。可以看出,在三个数据库中本发明算法的MAE值均小于其他8种算法,这说明本发明算法的显著图更接近于真值图。
表1 MAE比较
综上所述,本发明既可以突出前景目标,又可以很好地抑制背景噪声。在公开的MASR-1000、ECSSD和PASCAL_S数据集上进行实验验证,在准确率-召回率曲线、 F-measure和MAE指标上均优于当前流行算法。

Claims (1)

1.一种基于背景先验和前景节点的感兴趣区域检测方法,包括下列步骤:
步骤1:输入一幅原始图像,利用SLIC算法将图像分割成N个超像素;
步骤2:计算基于背景的显著图,并利用元胞自动机进行优化;
步骤2-1:利用K-means聚类算法对边界超像素进行聚类得到分类的边缘种子;
步骤2-2:根据聚类结果构建全局颜色差异矩阵和全局空间距离矩阵并将它们融合成基于背景先验的显著图;
步骤2-3:利用单层元胞自动机初步优化基于背景的显著图,得到优化后的基于背景的显著图
步骤3:计算基于前景节点的显著图,并利用偏置的高斯滤波进行优化;
步骤3-1:对基于背景先验的显著图进行自适应阈值分割,根据所得的二值图像得到前景目标的初始位置,得到前景节点的集合FG;
步骤3-2:利用超像素的颜色信息和位置信息的对比度关系计算显著度,得到基于前景节点的显著性结果:
<mrow> <msubsup> <mi>S</mi> <mi>i</mi> <mrow> <mi>F</mi> <mi>G</mi> </mrow> </msubsup> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;NotEqual;</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>F</mi> <mi>G</mi> </mrow> </munder> <mfrac> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mrow> <mi>l</mi> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>c</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <mi>l</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中,l(ci,cj)表示第i个超像素与前景节点集合中第j个超像素在CIElab颜色空间中的欧氏距离,l(Ii,Ij)表示第i个超像素与前景节点集合中第j个超像素的空间距离,λ1和λ2是权重系数;
步骤3-3:根据前景节点目标的位置构建高斯模型:
G(x,y)=exp(-λ(((x-dx)/w)2+((y-dy)/h)2))
其中,(dx,dy)是图像前景节点的中心坐标,w和h分别是图像的宽度和高度,λ是权重系数;
步骤3-4:利用目标偏置的高斯滤波优化基于前景节点的显著图,
<mrow> <msubsup> <mi>Sal</mi> <mi>i</mi> <mrow> <mi>F</mi> <mi>G</mi> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>S</mi> <mi>i</mi> <mrow> <mi>F</mi> <mi>G</mi> </mrow> </msubsup> <mo>*</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
步骤4:将基于背景先验和前景节点的显著图进行融合,得到最终的显著图:
<mrow> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>=</mo> <msubsup> <mi>Sal</mi> <mi>i</mi> <mrow> <mi>B</mi> <mi>G</mi> </mrow> </msubsup> <mo>*</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>exp</mi> <mo>(</mo> <mrow> <mo>-</mo> <mi>&amp;beta;</mi> <mo>*</mo> <msubsup> <mi>Sal</mi> <mi>i</mi> <mrow> <mi>F</mi> <mi>G</mi> </mrow> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
其中,β是权衡系数。
CN201710963434.5A 2017-10-13 2017-10-13 基于背景先验和前景节点的感兴趣区域检测方法 Pending CN107977660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710963434.5A CN107977660A (zh) 2017-10-13 2017-10-13 基于背景先验和前景节点的感兴趣区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710963434.5A CN107977660A (zh) 2017-10-13 2017-10-13 基于背景先验和前景节点的感兴趣区域检测方法

Publications (1)

Publication Number Publication Date
CN107977660A true CN107977660A (zh) 2018-05-01

Family

ID=62012420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710963434.5A Pending CN107977660A (zh) 2017-10-13 2017-10-13 基于背景先验和前景节点的感兴趣区域检测方法

Country Status (1)

Country Link
CN (1) CN107977660A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287802A (zh) * 2019-05-29 2019-09-27 南京邮电大学 基于优化图像前景和背景种子的人眼凝视点预测方法
CN110853030A (zh) * 2019-11-19 2020-02-28 长春理工大学 生物反应器病毒感染细胞质量评价方法
CN110866896A (zh) * 2019-10-29 2020-03-06 中国地质大学(武汉) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN110991547A (zh) * 2019-12-12 2020-04-10 电子科技大学 一种基于多特征最优融合的图像显著性检测方法
CN111091129A (zh) * 2019-12-24 2020-05-01 沈阳建筑大学 一种基于多重颜色特征流形排序的图像显著区域提取方法
CN111178163A (zh) * 2019-12-12 2020-05-19 宁波大学 基于立方体投影格式的立体全景图像显著区域预测方法
CN111815610A (zh) * 2020-07-13 2020-10-23 广东工业大学 一种病变图像的病灶检测方法及装置
CN111913873A (zh) * 2020-06-17 2020-11-10 浙江数链科技有限公司 图片校验方法、装置、系统和计算机可读存储介质
CN113345052A (zh) * 2021-06-11 2021-09-03 山东大学 基于相似显著性的分类数据多视图可视化着色方法及系统
CN113469175A (zh) * 2021-06-22 2021-10-01 成都理工大学 一种结合图论与改进层次元胞自动机的图像显著性检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAO QIN 等: "Saliency Detection via Cellular Automata", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
王建鹏: "基于背景和前景节点的图像显著性检测算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287802B (zh) * 2019-05-29 2022-08-12 南京邮电大学 基于优化图像前景和背景种子的人眼凝视点预测方法
CN110287802A (zh) * 2019-05-29 2019-09-27 南京邮电大学 基于优化图像前景和背景种子的人眼凝视点预测方法
CN110866896A (zh) * 2019-10-29 2020-03-06 中国地质大学(武汉) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN110853030A (zh) * 2019-11-19 2020-02-28 长春理工大学 生物反应器病毒感染细胞质量评价方法
CN110853030B (zh) * 2019-11-19 2023-08-25 长春理工大学 生物反应器病毒感染细胞质量评价方法
CN110991547A (zh) * 2019-12-12 2020-04-10 电子科技大学 一种基于多特征最优融合的图像显著性检测方法
CN111178163A (zh) * 2019-12-12 2020-05-19 宁波大学 基于立方体投影格式的立体全景图像显著区域预测方法
CN111178163B (zh) * 2019-12-12 2023-06-09 宁波大学 基于立方体投影格式的立体全景图像显著区域预测方法
CN111091129A (zh) * 2019-12-24 2020-05-01 沈阳建筑大学 一种基于多重颜色特征流形排序的图像显著区域提取方法
CN111091129B (zh) * 2019-12-24 2023-05-09 沈阳建筑大学 一种基于多重颜色特征流形排序的图像显著区域提取方法
CN111913873A (zh) * 2020-06-17 2020-11-10 浙江数链科技有限公司 图片校验方法、装置、系统和计算机可读存储介质
CN111815610A (zh) * 2020-07-13 2020-10-23 广东工业大学 一种病变图像的病灶检测方法及装置
CN111815610B (zh) * 2020-07-13 2023-09-12 广东工业大学 一种病变图像的病灶检测方法及装置
CN113345052A (zh) * 2021-06-11 2021-09-03 山东大学 基于相似显著性的分类数据多视图可视化着色方法及系统
CN113469175A (zh) * 2021-06-22 2021-10-01 成都理工大学 一种结合图论与改进层次元胞自动机的图像显著性检测方法
CN113469175B (zh) * 2021-06-22 2024-02-02 成都理工大学 一种结合图论与改进层次元胞自动机的图像显著性检测方法

Similar Documents

Publication Publication Date Title
CN107977660A (zh) 基于背景先验和前景节点的感兴趣区域检测方法
Wang et al. Visual saliency guided complex image retrieval
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN108665481B (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN111144490B (zh) 一种基于轮替知识蒸馏策略的细粒度识别方法
CN108460356B (zh) 一种基于监控系统的人脸图像自动处理系统
EP3254238B1 (en) Method for re-identification of objects
US10984289B2 (en) License plate recognition method, device thereof, and user equipment
Li et al. Robust capsule network based on maximum correntropy criterion for hyperspectral image classification
CN104866810B (zh) 一种深度卷积神经网络的人脸识别方法
Subudhi et al. A survey on superpixel segmentation as a preprocessing step in hyperspectral image analysis
Cui et al. Superpixel-based extended random walker for hyperspectral image classification
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110533077B (zh) 用于高光谱图像分类的形状自适应卷积深度神经网络方法
CN112395442B (zh) 移动互联网上的低俗图片自动识别与内容过滤方法
Lu et al. Learning transform-aware attentive network for object tracking
CN107977661A (zh) 基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN113808166B (zh) 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN109146925A (zh) 一种动态场景下显著性目标检测方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN110751670B (zh) 一种基于融合的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180501