CN109472259B - 基于能量优化的图像协同显著性检测方法 - Google Patents

基于能量优化的图像协同显著性检测方法 Download PDF

Info

Publication number
CN109472259B
CN109472259B CN201811272236.5A CN201811272236A CN109472259B CN 109472259 B CN109472259 B CN 109472259B CN 201811272236 A CN201811272236 A CN 201811272236A CN 109472259 B CN109472259 B CN 109472259B
Authority
CN
China
Prior art keywords
image
region
formula
saliency
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811272236.5A
Other languages
English (en)
Other versions
CN109472259A (zh
Inventor
于明
王红义
刘依
朱叶
郝小可
师硕
于洋
郭迎春
阎刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201811272236.5A priority Critical patent/CN109472259B/zh
Publication of CN109472259A publication Critical patent/CN109472259A/zh
Application granted granted Critical
Publication of CN109472259B publication Critical patent/CN109472259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于能量优化的图像协同显著性检测方法，涉及图像数据处理领域，将三个重要的显著性线索进行融合，对融合后能量方程进行优化，步骤是：输入图像组{I1,I2,...,In}，进行预处理；确定初始候选简单显著性图
Figure DDA0001846258140000011
计算初始协同显著性图
Figure DDA0001846258140000012
设置简单图像Isim；分别提取简单图像的前景区域和背景区域的颜色特征；完成图像协同显著性检测。本发明克服了现有技术中人工标记复杂、背景噪声过多以及目标缺失的缺陷。

Description

基于能量优化的图像协同显著性检测方法
技术领域
本发明涉及图像数据处理领域,具体地说是基于能量优化的图像协同显著性检测方法。
背景技术
图像协同显著性检测作为计算机视觉新兴的研究领域,其目的在于从两幅及以上图像中检测相同物体或相同类别物体,已被广泛应用于图像检索、图像协同分割和弱监督定位等。
与传统的单张图像显著性检测相比,图像协同显著性检测是视觉显著性分析在多张图像上的扩展,旨在检测多张图像中的相同物体或相同类别物体,因此,图像协同显著性检测方法不仅受单张图像中对比度影响,而且还受多个相关图像中关联性影响。
现有技术中,图像协同显著性检测方法主要由三部分组成:提取有效的表征图像区域的特征、探索重要的显著性线索以及设计高效的计算框架。基于此,图像协同显著性检测模型大体上可以分为两类:自底向上的方法和基于显著性图融合的方法。
典型的自底向上的方法为Fu等人于2013年在“Cluster-based Co-saliencyDetection”一文中提出基于聚类的协同显著性检测方法,其主要思路是将多张图像中的重复性区域作为附加约束来检测多张图像中的相同物体或相同类别的显著物体,既考虑了单张图像内的显著性线索,又考虑到图间重复性线索。该方法最大优点在于利用图像间全局聚类实现图间重复性线索。但是该模型的问题也同样源于聚类,即对聚类结果过于依赖。基于显著性图融合的方法旨在从现有的多种显著性图中获取更多的显著性信息。2014年Cao等人在“self-adaptively Weighted Co-saliency Detection via Rank Constraint”论文中提出利用低秩能量为每一个参与融合的显著性图计算自适应权重,然后通过加权相加获得最终的显著性图。其存在的问题是:单张显著性图中所有的超像素区域公用一个权重系数,当显著目标和背景区域相似或者背景区域较复杂时,导致显著性检测结果中引入过多的背景噪声。CN107103326A公开基于超像素区域聚类的协同显著性检测方法,融合部分包括多尺度融合和弱显著性图与弱协同显著性图融合,两种融合方式均采用加权融合的方法,导致显著目标不能一致突出。CN106780450A公开基于低秩多尺度融合的图像显著性检测方法,该方法运用基于GMM的协同显著性先验为单一显著性图二值化之后的前景像素构建颜色模型,当图像背景颜色和前景目标颜色比较相似时,利用GMM模型评估得到的协同显著性图中前景区域会引入部分背景噪声。CN107133955A公开一种多层次结合地协同显著性检测方法,该方法中显著性图采用简单地线性加权相加融合方式,导致协同显著性检测结果不能均匀地突出显著目标。CN108009549A公开一种迭代协同显著性检测方法,该方法提出共有概率,利用某个超像素区域在其他图像中的最大匹配概率之和计算该区域属于共有区域的概率,当背景区域中存在与前景较为相似的区域时,协同显著性图中容易引入过多背景噪声。CN107909079A公开一种协同显著性检测方法,该方法将优化后的图内图间显著性图进行加权融合得到最终的协同显著性图,导致显著目标不能一致突出。CN107169417A公开基于多核增强和显著性融合的RGBD图像协同显著性检测方法,该方法根据显著对象和背景的直方图分布评估显著对象和背景的分离度,当前景目标和背景颜色较为相似时,用直方图评估两者的分离度往往会出现一定误差。CN106780582A公开基于纹理特征和颜色特征融合的图像显著性检测方法,该方法利用超像素区域的广度面积和边界连接函数计算背景概率,当显著目标较大且位于图像边界位置时,显著目标往往会被误检测为背景区域。
图像协同显著性检测作为新兴的研究方向,目前已存在较多的协同显著性相关的工作,然而,目前该领域仍然存在如下很多技术难题:复杂的人工标记过程、图内和图间显著性线索利用不够充分,导致协同显著性检测结果中包含过多的背景噪声和目标缺失等现象。
发明内容
本发明所要解决的技术问题是:提供基于能量优化的图像协同显著性检测方法,将三个重要的显著性线索进行融合,对融合后能量方程进行优化,克服了现有技术中人工标记复杂、背景噪声过多以及目标缺失的缺陷。
本发明解决该技术问题所采用的技术方案是:基于能量优化的图像协同显著性检测方法,是将三个重要的显著性线索进行融合,对融合后能量方程进行优化,具体步骤如下:
第一步,输入图像组{I1,I2,...,In},进行预处理:
输入一组包含相同类别目标的图像组{I1,I2,...,In},利用SLIC超像素区域分割算法对该图像组中的所有图像分别进行超像素区域分割,其中,图像Ii预分割为区域
Figure GDA0002894011790000021
对图像Ii中的每个超像素区域提取平均CIE-Lab颜色空间颜色特征
Figure GDA0002894011790000022
和空间位置特征
Figure GDA0002894011790000023
用公知方法RBD算法计算图像Ii中的第s个超像素区域
Figure GDA0002894011790000024
和图像Ii中的第s′个超像素区域
Figure GDA0002894011790000025
之间的颜色距离和空间位置距离,对上述输入图像组中所有图像
Figure GDA0002894011790000026
利用RBD算法获得初始显著性图
Figure GDA0002894011790000027
上述式子中,Ii为输入图像组中的第i张图像,超像素区域
Figure GDA0002894011790000028
为图像Ii的第s个超像素区域,下标s为超像素区域的标号,
Figure GDA0002894011790000029
为图像Ii的第s个超像素区域的颜色特征,
Figure GDA00028940117900000210
为图像Ii的第s个超像素区域的空间位置特征,
Figure GDA00028940117900000211
为图像Ii的初始显著性图,N(ri)为图像Ii预分割超像素区域的总个数,n为输入图像组中图像的个数,至此完成输入图像组{I1,I2,...,In}的预处理,以下步骤中的n均为输入图像组中图像的个数；
第二步,确定初始候选简单显著性图
Figure GDA00028940117900000212
对上述第一步中的图像
Figure GDA00028940117900000213
的初始显著性图
Figure GDA00028940117900000214
进行质量评估,将初始显著性图中的质量评估分数在排序中占据前一半的显著性图，作为初始候选简单显著性图
Figure GDA0002894011790000031
具体操作方法如下:
对初始显著性图
Figure GDA0002894011790000032
利用分离度测度
Figure GDA0002894011790000033
计算前景区域和背景区域的分离程度,具体步骤如下:
首先利用OTSU算法对初始显著性图
Figure GDA0002894011790000034
进行二值化,获得前景区域
Figure GDA0002894011790000035
的二维高斯分布曲线和背景区域
Figure GDA0002894011790000036
的二维高斯分布曲线,二者的显著性值均服从二维高斯分布,
前景区域
Figure GDA0002894011790000037
的二维高斯分布曲线表示为公式(1):
Figure GDA0002894011790000038
公式(1)中,z表示从0:1变化的显著性值,
Figure GDA0002894011790000039
为二维高斯分布的均值,定义为前景区域
Figure GDA00028940117900000310
的平均显著性值,
Figure GDA00028940117900000311
为前景区域
Figure GDA00028940117900000312
显著性值的标准差,
背景区域
Figure GDA00028940117900000313
的二维高斯分布曲线表示为公式(2):
Figure GDA00028940117900000314
公式(2)中,z表示从0:1变化的显著性值,
Figure GDA00028940117900000315
为二维高斯分布的均值,定义为背景区域
Figure GDA00028940117900000316
的平均显著性值,
Figure GDA00028940117900000317
为背景区域
Figure GDA00028940117900000318
显著性值的标准差,
然后,计算初始显著性图
Figure GDA00028940117900000319
中的前景区域
Figure GDA00028940117900000320
的二维高斯分布曲线和背景区域
Figure GDA00028940117900000321
的二维高斯分布曲线的重叠面积,具体步骤如下:
假设z*表示前景区域和背景区域二维高斯分布曲线交点对应的显著性值,该显著性值可以通过求解以下公式(3)和公式(4)所示的二次方程获得:
Figure GDA00028940117900000322
将公式(3)展开得公式(4):
Figure GDA00028940117900000323
求解上述二次方程获得前景区域
Figure GDA00028940117900000324
和背景区域
Figure GDA00028940117900000325
的分布曲线交点对应的显著性值z*如公式(5)所示:
Figure GDA00028940117900000326
公式(5)中,μf表示初始显著性图
Figure GDA0002894011790000041
前景区域
Figure GDA0002894011790000042
二维高斯分布曲线的均值,μb表示初始显著性图
Figure GDA0002894011790000043
背景区域
Figure GDA0002894011790000044
二维高斯分布曲线的均值,σf表示初始显著性图
Figure GDA0002894011790000045
前景区域
Figure GDA0002894011790000046
显著性值的标准差,σb表示初始显著性图
Figure GDA0002894011790000047
背景区域
Figure GDA0002894011790000048
显著性值的标准差,log(·)为对数运算,
初始显著性图
Figure GDA0002894011790000049
中的前景区域
Figure GDA00028940117900000410
的二维高斯分布曲线和背景区域
Figure GDA00028940117900000411
的二维高斯分布曲线的重叠面积
Figure GDA00028940117900000412
如公式(6)所示:
Figure GDA00028940117900000413
公式(6)中,
Figure GDA00028940117900000414
表示初始显著性图
Figure GDA00028940117900000415
前景区域
Figure GDA00028940117900000416
的二维高斯分布曲线,
Figure GDA00028940117900000417
表示初始显著性图
Figure GDA00028940117900000418
背景区域
Figure GDA00028940117900000419
的二维高斯分布曲线,z*表示初始显著性图
Figure GDA00028940117900000420
前景区域
Figure GDA00028940117900000421
的二维高斯分布曲线和背景区域
Figure GDA00028940117900000422
的二维高斯分布曲线的交点所对应的显著性值,
Figure GDA00028940117900000423
表示初始显著性图
Figure GDA00028940117900000424
前景区域
Figure GDA00028940117900000425
的二维高斯分布曲线在0≤z≤z*时,与横轴正半轴所组成区域的面积,
Figure GDA00028940117900000426
表示初始显著性图
Figure GDA00028940117900000427
背景区域
Figure GDA00028940117900000428
的二维高斯分布曲线在z*≤z≤1时,与横轴正半轴所组成区域的面积,
最后,计算初始显著性图
Figure GDA00028940117900000429
的分离度测度
Figure GDA00028940117900000430
如公式(7)所示:
Figure GDA00028940117900000431
公式(7)中,
Figure GDA00028940117900000432
表示初始显著性图
Figure GDA00028940117900000433
中的前景区域
Figure GDA00028940117900000434
的二维高斯分布曲线和背景区域
Figure GDA00028940117900000435
的二维高斯分布曲线的重叠面积,
初始显著性图
Figure GDA00028940117900000436
最终的质量评估得分由分离度测度
Figure GDA00028940117900000437
决定,分离度测度
Figure GDA00028940117900000438
的数值越大说明初始显著性图
Figure GDA00028940117900000439
的前景区域和背景区域分离越明显,其质量评估分数越高,将初始显著性图
Figure GDA00028940117900000440
中质量评估分数较高的前一半作为初始候选简单显著性图
Figure GDA00028940117900000441
由此完成确定初始候选简单显著性图
Figure GDA00028940117900000442
第三步,计算初始协同显著性图
Figure GDA00028940117900000443
对上述第二步得到的初始候选简单显著性图
Figure GDA0002894011790000051
引入全局一致性项Yi进行优化计算初始协同显著性图
Figure GDA0002894011790000052
具体操作如下:
首先,将上述第一步的输入图像组{I1,I2,...,In}里的所有的图像
Figure GDA0002894011790000053
进行k-means聚类获得
Figure GDA0002894011790000054
其中K表示所有图像聚类总个数,
然后,利用一个具有n个bin的直方图
Figure GDA0002894011790000055
按公式(8)来描述聚类
Figure GDA0002894011790000056
在n张图像中的重复性,
Figure GDA0002894011790000057
公式(8)中,mk表示聚类
Figure GDA0002894011790000058
中类k的超像素总个数,
Figure GDA0002894011790000059
表示超像素
Figure GDA00028940117900000510
的类索引,
最后,引入全局一致性项Yi为公式(9)所示:
Figure GDA00028940117900000511
公式(9)中,var(qk)表示聚类
Figure GDA00028940117900000512
中直方图qk的方差,
将初始候选简单显著性图
Figure GDA00028940117900000513
和全局一致性项Yi进行融合计算初始协同显著性图
Figure GDA00028940117900000514
如公式(10)所示:
Figure GDA00028940117900000515
公式(10)中,“*”表示点乘,即将初始候选简单显著性图
Figure GDA00028940117900000516
和全局一致性项Yi中对应像素点的显著性值逐个相乘,完成计算初始协同显著性图
Figure GDA00028940117900000517
得到初始协同显著性图
Figure GDA00028940117900000518
中对应像素的协同显著性值,由此完成计算初始协同显著性图
Figure GDA00028940117900000519
第四步,设置简单图像Isim:
利用上述第二步中的初始候选简单显著性图
Figure GDA00028940117900000520
和上述第三步中的初始协同显著性图
Figure GDA00028940117900000521
选取包含相同类别目标简单图像Isim,具体操作步骤如下:
首先,利用OTSU算法对上述第二步中的初始候选简单显著性图
Figure GDA00028940117900000522
进行阈值分割获得前景区域
Figure GDA00028940117900000523
如公式(11)所示:
Figure GDA00028940117900000524
然后,利用OTSU算法对上述第三步中的初始协同显著性图
Figure GDA00028940117900000525
进行阈值分割获得前景区域
Figure GDA0002894011790000061
如公式(12)所示:
Figure GDA0002894011790000062
最后,选择Nsim个简单图像,比较上述前景区域
Figure GDA0002894011790000063
和上述前景区域
Figure GDA0002894011790000064
比较结果表示为公式(13):
Figure GDA0002894011790000065
公式(13)中,θ＝0.8,当IOU≥θ,说明初始候选简单显著性图
Figure GDA0002894011790000066
经过阈值分割获得的前景区域
Figure GDA0002894011790000067
和初始协同显著性图
Figure GDA0002894011790000068
经过阈值分割获得的前景区域
Figure GDA0002894011790000069
包含相同的目标,因此,选取IOU≥0.8的图像设置为简单图像Isim,由此完成设置简单图像Isim；
第五步,分别提取简单图像的前景区域和背景区域的颜色特征:
利用上述第四步得到的简单图像Isim,获得简单图像的前景区域
Figure GDA00028940117900000610
的颜色特征
Figure GDA00028940117900000611
和简单图像的背景区域
Figure GDA00028940117900000612
的颜色特征
Figure GDA00028940117900000613
具体操作步骤如下:
首先,假设上述第四步得到的简单图像Isim的初始协同显著性图表示为
Figure GDA00028940117900000614
利用OTSU算法对
Figure GDA00028940117900000615
进行阈值分割,获得简单图像的前景区域
Figure GDA00028940117900000616
和简单图像的背景区域
Figure GDA00028940117900000617
其中sim＝1,2,...,Nsim,表示简单图像个数,
然后,用公知方法提取,对简单图像的前景区域
Figure GDA00028940117900000618
对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的前景区域
Figure GDA00028940117900000619
的平均颜色值
Figure GDA00028940117900000620
对简单图像的背景区域
Figure GDA00028940117900000621
对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的背景区域
Figure GDA00028940117900000622
的平均颜色值
Figure GDA00028940117900000623
其中
Figure GDA00028940117900000624
表示简单图像的前景区域
Figure GDA00028940117900000625
包含的超像素区域的个数,
Figure GDA00028940117900000626
表示简单图像的背景区域
Figure GDA00028940117900000627
包含的超像素区域个数,由此完成提取简单图像的前景区域和简单图像的背景区域的颜色特征；
第六步,完成图像协同显著性检测:
将图内显著性线索和图间显著性线索进行融合构造二次能量方程求解最终的协同显著性图,以完成图像协同显著性检测,具体操作步骤如下:
第(6.1)步,获取图内显著性线索:
图内显著性线索包括:对比度线索和位置线索,
第(6.1.1)步,获取对比度线索:
进一步利用OTSU算法对上述第五步所述的简单图像Isim的初始协同显著性图
Figure GDA00028940117900000628
进行阈值分割,得到前景超像素区域集
Figure GDA00028940117900000629
和背景超像素区域集
Figure GDA00028940117900000630
对于上述第一步的输入图像组{I1,I2,...,In},其中图像Ii任一区域
Figure GDA00028940117900000631
的对比度线索表示为如下的公式(14):
Figure GDA0002894011790000071
公式(14)中,
Figure GDA0002894011790000072
表示背景超像素区域
Figure GDA0002894011790000073
的平均颜色特征,
Figure GDA0002894011790000074
表示前景超像素区域
Figure GDA0002894011790000075
的平均颜色特征,
Figure GDA0002894011790000076
表示超像素区域
Figure GDA0002894011790000077
的平均CIE-Lab颜色特征，
第(6.1.2)步,获取位置线索:
(1)当图像的边界位置为背景区域时,定义上述第一步中所述的图像Ii的超像素区域
Figure GDA0002894011790000078
的边界连通性为如下公式(15)所示:
Figure GDA0002894011790000079
公式(15)表明,超像素区域
Figure GDA00028940117900000710
的边界连通性为分子所示的区域接触图像边界部分的周长占其分母所示的整体面积的平方根的比例,
(2)当前景显著性物体目标接触图像边界时,该目标会被误判为背景区域,导致显著性图目标缺失现象,为此引入差异性,超像素区域
Figure GDA00028940117900000711
的差异性如下公式(16)所示:
Figure GDA00028940117900000712
公式(16)中,
Figure GDA00028940117900000713
表示超像素区域
Figure GDA00028940117900000714
的平均CIE-Lab颜色特征,
Figure GDA00028940117900000715
表示超像素区域
Figure GDA00028940117900000716
的平均CIE-Lab颜色特征,
(3)超像素区域
Figure GDA00028940117900000717
的差异性越大说明该超像素区域
Figure GDA00028940117900000718
为背景区域的概率越小,将背景先验用如下公式(17)表示:
Figure GDA00028940117900000719
公式(17)中,
Figure GDA00028940117900000720
表示公式(15)中超像素区域
Figure GDA00028940117900000721
的边界连通性,
Figure GDA00028940117900000722
表示公式(16)中超像素区域
Figure GDA00028940117900000723
的差异性,
当上述背景先验越大时,超像素区域
Figure GDA00028940117900000724
属于背景区域的概率越高,当上述背景先验越小时,超像素区域
Figure GDA00028940117900000725
属于背景区域的概率越低,因此,超像素区域
Figure GDA00028940117900000726
的背景概率定义为如下公式(18)所示:
Figure GDA00028940117900000727
公式(18)中,
Figure GDA00028940117900000728
表示公式(17)中超像素区域
Figure GDA00028940117900000729
的背景先验,
Figure GDA00028940117900000730
表示
Figure GDA00028940117900000731
的平方，σbndCon为常数,设置为1,
由此获取位置线索定义为公式(19)所示:
Figure GDA0002894011790000081
由此完成获取图内显著性线索；
第(6.2)步,获取图间显著性线索:
图间显著性线索
Figure GDA0002894011790000082
用来测量上述第一步的输入图像组{I1,I2,...,In}中所有图像前景区域的相似度,首先对图像组{I1,I2,...,In}中的任意一个图像Ii利用直方图Hi建立前景模型,然后计算图像组{I1,I2,...,In}中所有上述第四步中所设置的简单图像Isim的前景区域的平均直方图
Figure GDA0002894011790000083
如下公式(20)所示:
Figure GDA0002894011790000084
公式(20)中,
Figure GDA0002894011790000085
sim＝1,2,...,Nsim表示简单图像Isim的前景区域直方图,最后计算图像Ii和所有简单图像Isim前景区域的平均直方图
Figure GDA0002894011790000086
的相似性,如下公式(21)所示:
Figure GDA0002894011790000087
公式(21)中,
Figure GDA0002894011790000088
表示超像素区域
Figure GDA0002894011790000089
的颜色直方图,由此获得图间显著性线索
Figure GDA00028940117900000810
第(6.3)步,图内显著性线索和图间显著性线索的融合:
采用能量方程融合不同图内显著性线索和图间显著性线索,最终的图像协同显著性图通过公式(22)所示的最小化能量方程即二次能量方程获得:
Figure GDA00028940117900000811
公式(22)中,数据项ECtr(·)表示对比度线索SCtr(·)的花费,由公式(23)定义如下:
Figure GDA00028940117900000812
公式(23)中,
Figure GDA00028940117900000813
表示在图像Ii的待求解的协同显著性图中的第s个超像素区域
Figure GDA00028940117900000814
的显著性值，该项将按公式(22)至公式(30)逐步优化而得到，
公式(22)中,数据项EPos(·)表示位置线索SPos(·)的花费,由公式(24)定义如下:
Figure GDA00028940117900000815
公式(24)中,
Figure GDA00028940117900000816
表示图像Ii中的第s个超像素区域
Figure GDA00028940117900000817
的位置线索定义，
公式(22)中,数据项EInter(·)表示图间显著性线索SInter(·)的花费,由公式(25)定义如下:
Figure GDA00028940117900000818
公式(22)中,数据项
Figure GDA0002894011790000091
表示平滑能量项,图像上具有相似颜色特征的超像素区域
Figure GDA0002894011790000092
分配得到相似的显著性值,平滑能量项由如下公式(26)定义:
Figure GDA0002894011790000093
公式(26)中,权重系数
Figure GDA0002894011790000094
定义为超像素区域
Figure GDA0002894011790000095
和超像素区域
Figure GDA0002894011790000096
的CIE-Lab颜色空间相似性,如公式(27)所示:
Figure GDA0002894011790000097
公式(27)中,
Figure GDA0002894011790000098
表示超像素区域
Figure GDA0002894011790000099
的CIE-Lab颜色空间的颜色值,
Figure GDA00028940117900000910
表示超像素区域
Figure GDA00028940117900000911
的CIE-Lab颜色空间的颜色值,
将上述公式(22)写为矩阵形式:
Figure GDA00028940117900000912
公式(28)中,
Figure GDA00028940117900000913
Di的对角线元素
Figure GDA00028940117900000914
Figure GDA00028940117900000915
表示超像素区域
Figure GDA00028940117900000916
和超像素区域
Figure GDA00028940117900000917
的颜色空间相似性,
Figure GDA00028940117900000918
上述公式(22)通过凸优化求解,如下面公式(29)所示:
Figure GDA00028940117900000919
公式(29)中,Si表示图像Ii待求解的协同显著性图,
Figure GDA00028940117900000920
表示图像Ii的对比度线索,
Figure GDA00028940117900000921
表示图像Ii的位置线索,
Figure GDA00028940117900000922
表示图像Ii的图间显著性线索,
求解公式(29),得到最终的协同显著性图Si,如下面公式(30)所示:
Figure GDA00028940117900000923
公式(30)中,最终的协同显著性图Si由对比度线索
Figure GDA00028940117900000924
位置线索
Figure GDA00028940117900000925
和图间显著性线索
Figure GDA00028940117900000926
共同决定,公式(28)、公式(29)和公式(30)体现了对融合后能量方程进行优化,
至此,完成对一组包含相同类别目标图像组的协同显著性检测,即完成图像协同显著性检测。
上述基于能量优化的图像协同显著性检测方法中,所述第一步中,n为输入图像组中图像的个数,该n＝1,2,...,22。
上述基于能量优化的图像协同显著性检测方法中,所述RBD算法的全称为Saliency Optimization from Robust Background Detection,中文意义为基于测地距的显著性检测方法,本技术领域公知的算法；SLIC超像素区域分割算法的全称为Simplelinear iterative clustering,中文意义为简单的线性迭代聚类,本技术领域公知的算法；OTSU算法的全称为A threshold selection method from gray-level histograms,中文意义为最大类间方差,本技术领域公知的算法；k-means聚类方法全称为k均值聚类方法,本技术领域公知的算法；以上几种方法均是本技术领域的公知方法。
本发明的有益效果是:与现有技术相比,本发明的突出的实质性特点和显著性进步如下:
(1)本发明方法与CN107103326A相比,本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项可以使获得的协同显著性图中显著目标一致高亮。
(2)本发明方法与CN106780450A相比,本发明方法利用显著性图的分离度测度挑选一组图像中背景和前景分离度较高的显著性图作为简单图像,对简单图像进行二值化之后前景区域颜色模型中背景噪声明显减少。
(3)本发明方法与CN107133955A相比,本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项可以使获得的协同显著性图中显著目标一致高亮。
(4)本发明方法与CN108009549A相比,本发明方法利用候选简单图像的显著性图和其协同显著性图的交并比,大于某一阈值的选为简单图像,对简单图像的显著性图中前景区域构建颜色直方图,利用其余区域和简单图像直方图之间的差异作为图像间协同显著性线索,减少背景噪声干扰。
(5)本发明方法与CN107909079A相比,本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项可以使获得的协同显著性图中显著目标一致高亮。
(6)本发明方法与CN107169417A相比,本发明方法根据前景区域和背景区域的显著性值均服从二维高斯分布,计算两者高斯分布曲线的重叠面积,用重叠面积作为分离度评估的重要依据,从而避免当前景目标和背景颜色较为相似时的情况。
(7)本发明方法与CN106780582A相比,本发明方法对边界连通性进行优化,引入差异性,即超像素区域之间的CIE-Lab颜色距离,超像素区域的差异性越大说明其为背景的概率越小,引入差异性明显改善显著目标位于边界的情况。
(8)本发明方法与本发明人团队早先的CN106373126A基于融合类测地线和边界对比的图像显著性检测方法相比,其实质性区别在于背景选取和融合方式的不同。首先,CN106373126A只是简单地将图像边界区域作为背景,当显著目标位于边界时,往往会被检测为背景,本发明方法对边界先验进行改进,在边界连通性基础上进一步优化,引入差异性,即超像素区域之间的颜色距离,超像素区域的差异性越大说明其为背景的概率越小,引入差异性可以明显改善目标位于边界的情况；其次,CN106373126A采用直接相乘的方式融合边界对比图、有颜色对比度地测地线图和无颜色对比地测地线图,最终的显著性检测效果往往不能一致高亮显著目标,而本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项使获得的最终的协同显著性图中显著目标一致高亮。
总之,在CN106373126A的基础上结合本领域的公知常识要得出本发明的技术方案,对本领域技术人员来说绝非显而易见的。
(9)本发明方法将三个重要的显著性线索进行融合,对融合后能量方程进行优化,克服了现有技术中存在的人工标记过程复杂、图内和图间显著性线索利用不够充分,导致协同显著性检测结果中包含过多的背景噪声和目标缺失的缺陷。
(10)本发明方法利用简单图片的前景和背景颜色构建对比度线索,省去了交互式协同显著性检测算法中复杂地人工标记环节。
(11)本发明方法利用能量方程思想融合显著性线索,实现了对显著目标的一致均匀突出。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明基于能量优化的图像协同显著性检测方法的流程示意框图。
图2是图像Ii的最终的协同显著性图Si。
具体实施方式
图1所示实施例表明,本发明基于能量优化的图像协同分割方法的流程如下:
输入图像组{I1,I2,...,In},进行预处理→确定初始候选简单显著性图
Figure GDA0002894011790000111
→计算初始协同显著性图
Figure GDA0002894011790000112
→设置简单图像Isim→分别提取简单图像的前景区域和背景区域的颜色特征→完成图像协同显著性检测。
图2显示图像Ii的最终的协同显著性图Si，可见本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项使获得的最终的协同显著性图中显著目标一致高亮。
实施例1
本实施例中显著性目标为一架飞机,输入的图像组共包含22张图像,每张图像中均包含显著目标飞机,本实施例所述的基于能量优化的图像协同显著性检测方法,具体步骤如下:第一步,输入图像组{I1,I2,...,In},进行预处理:
输入一组包含相同类别目标的图像组{I1,I2,...,In},利用SLIC超像素区域分割算法对该图像组中的所有图像分别进行超像素区域分割,其中,图像Ii预分割为区域
Figure GDA0002894011790000121
对图像Ii中的每个超像素区域提取平均CIE-Lab颜色空间颜色特征
Figure GDA0002894011790000122
和空间位置特征
Figure GDA0002894011790000123
用公知方法RBD算法计算图像Ii中的第s个超像素区域
Figure GDA0002894011790000124
和图像Ii中的第s′个超像素区域
Figure GDA0002894011790000125
之间的颜色距离和空间位置距离,对上述输入图像组中所有图像
Figure GDA0002894011790000126
利用RBD算法获得初始显著性图
Figure GDA0002894011790000127
上述式子中,Ii为输入图像组中的第i张图像,超像素区域
Figure GDA0002894011790000128
为图像Ii的第s个超像素区域,下标s为超像素区域的标号,
Figure GDA0002894011790000129
为图像Ii的第s个超像素区域的颜色特征,
Figure GDA00028940117900001210
为图像Ii的第s个超像素区域的空间位置特征,
Figure GDA00028940117900001211
为图像Ii的初始显著性图,N(ri)为图像Ii预分割超像素区域的总个数,n为输入图像组中图像的个数,至此完成输入图像组{I1,I2,...,In}的预处理,以下步骤中的n均为输入图像组中图像的个数；
第二步,确定初始候选简单显著性图
Figure GDA00028940117900001212
对上述第一步中的图像
Figure GDA00028940117900001213
的初始显著性图
Figure GDA00028940117900001214
进行质量评估,将初始显著性图中的质量评估分数在排序中占据前一半的显著性图，作为初始候选简单显著性图
Figure GDA00028940117900001215
具体操作方法如下:
对初始显著性图
Figure GDA00028940117900001216
利用分离度测度
Figure GDA00028940117900001217
计算前景区域和背景区域的分离程度,具体步骤如下:
首先利用OTSU算法对初始显著性图
Figure GDA00028940117900001218
进行二值化,获得前景区域
Figure GDA00028940117900001219
的二维高斯分布曲线和背景区域
Figure GDA00028940117900001220
的二维高斯分布曲线,二者的显著性值均服从二维高斯分布,
前景区域
Figure GDA00028940117900001221
的二维高斯分布曲线表示为公式(1):
Figure GDA00028940117900001222
公式(1)中,z表示从0:1变化的显著性值,
Figure GDA00028940117900001223
为二维高斯分布的均值,定义为前景区域
Figure GDA00028940117900001224
的平均显著性值,
Figure GDA00028940117900001225
为前景区域
Figure GDA00028940117900001226
显著性值的标准差,
背景区域
Figure GDA00028940117900001227
的二维高斯分布曲线表示为公式(2):
Figure GDA0002894011790000131
公式(2)中,z表示从0:1变化的显著性值,
Figure GDA0002894011790000132
为二维高斯分布的均值,定义为背景区域
Figure GDA0002894011790000133
的平均显著性值,
Figure GDA0002894011790000134
为背景区域
Figure GDA0002894011790000135
显著性值的标准差,
然后,计算初始显著性图
Figure GDA0002894011790000136
中的前景区域
Figure GDA0002894011790000137
的二维高斯分布曲线和背景区域
Figure GDA0002894011790000138
的二维高斯分布曲线的重叠面积,具体步骤如下:
假设z*表示前景区域和背景区域二维高斯分布曲线交点对应的显著性值,该显著性值可以通过求解以下公式(3)和公式(4)所示的二次方程获得:
Figure GDA0002894011790000139
将公式(3)展开得公式(4):
Figure GDA00028940117900001310
求解上述二次方程获得前景区域
Figure GDA00028940117900001311
和背景区域
Figure GDA00028940117900001312
的分布曲线交点对应的显著性值z*如公式(5)所示:
Figure GDA00028940117900001313
公式(5)中,μf表示初始显著性图
Figure GDA00028940117900001314
前景区域
Figure GDA00028940117900001315
二维高斯分布曲线的均值,μb表示初始显著性图
Figure GDA00028940117900001316
背景区域
Figure GDA00028940117900001317
二维高斯分布曲线的均值,σf表示初始显著性图
Figure GDA00028940117900001318
前景区域
Figure GDA00028940117900001319
显著性值的标准差,σb表示初始显著性图
Figure GDA00028940117900001320
背景区域
Figure GDA00028940117900001321
显著性值的标准差,log(·)为对数运算,
初始显著性图
Figure GDA00028940117900001322
中的前景区域
Figure GDA00028940117900001323
的二维高斯分布曲线和背景区域
Figure GDA00028940117900001324
的二维高斯分布曲线的重叠面积
Figure GDA00028940117900001325
如公式(6)所示:
Figure GDA00028940117900001326
公式(6)中,
Figure GDA00028940117900001327
表示初始显著性图
Figure GDA00028940117900001328
前景区域
Figure GDA00028940117900001329
的二维高斯分布曲线,
Figure GDA00028940117900001330
表示初始显著性图
Figure GDA00028940117900001331
背景区域
Figure GDA00028940117900001332
的二维高斯分布曲线,z*表示初始显著性图
Figure GDA00028940117900001333
前景区域
Figure GDA00028940117900001334
的二维高斯分布曲线和背景区域
Figure GDA00028940117900001335
的二维高斯分布曲线的交点所对应的显著性值,
Figure GDA0002894011790000141
表示初始显著性图
Figure GDA0002894011790000142
前景区域
Figure GDA0002894011790000143
的二维高斯分布曲线在0≤z≤z*时,与横轴正半轴所组成区域的面积,
Figure GDA0002894011790000144
表示初始显著性图
Figure GDA0002894011790000145
背景区域
Figure GDA0002894011790000146
的二维高斯分布曲线在z*≤z≤1时,与横轴正半轴所组成区域的面积,
最后,计算初始显著性图
Figure GDA0002894011790000147
的分离度测度
Figure GDA0002894011790000148
如公式(7)所示:
Figure GDA0002894011790000149
公式(7)中,
Figure GDA00028940117900001410
表示初始显著性图
Figure GDA00028940117900001411
中的前景区域
Figure GDA00028940117900001412
的二维高斯分布曲线和背景区域
Figure GDA00028940117900001413
的二维高斯分布曲线的重叠面积,
初始显著性图
Figure GDA00028940117900001414
最终的质量评估得分由分离度测度
Figure GDA00028940117900001415
决定,分离度测度
Figure GDA00028940117900001416
的数值越大说明初始显著性图
Figure GDA00028940117900001417
的前景区域和背景区域分离越明显,其质量评估分数越高,将初始显著性图
Figure GDA00028940117900001418
中质量评估分数较高的前一半作为初始候选简单显著性图
Figure GDA00028940117900001419
由此完成确定初始候选简单显著性图
Figure GDA00028940117900001420
第三步,计算初始协同显著性图
Figure GDA00028940117900001421
对上述第二步得到的初始候选简单显著性图
Figure GDA00028940117900001422
引入全局一致性项Yi进行优化计算初始协同显著性图
Figure GDA00028940117900001423
具体操作如下:
首先,将上述第一步的输入图像组{I1,I2,...,In}里的所有的图像
Figure GDA00028940117900001424
进行k-means聚类获得
Figure GDA00028940117900001425
其中K表示所有图像聚类总个数,
然后,利用一个具有n个bin的直方图
Figure GDA00028940117900001426
按公式(8)来描述聚类
Figure GDA00028940117900001427
在n张图像中的重复性,
Figure GDA00028940117900001428
公式(8)中,mk表示聚类
Figure GDA00028940117900001429
中类k的超像素总个数,
Figure GDA00028940117900001430
表示超像素
Figure GDA00028940117900001431
的类索引,
最后,引入全局一致性项Yi为公式(9)所示:
Figure GDA0002894011790000151
公式(9)中,var(qk)表示聚类
Figure GDA0002894011790000152
中直方图qk的方差,
将初始候选简单显著性图
Figure GDA0002894011790000153
和全局一致性项Yi进行融合计算初始协同显著性图
Figure GDA0002894011790000154
如公式(10)所示:
Figure GDA0002894011790000155
公式(10)中,“*”表示点乘,即将初始候选简单显著性图
Figure GDA0002894011790000156
和全局一致性项Yi中对应像素点的显著性值逐个相乘,完成计算初始协同显著性图
Figure GDA0002894011790000157
得到初始协同显著性图
Figure GDA0002894011790000158
中对应像素的协同显著性值,由此完成计算初始协同显著性图
Figure GDA0002894011790000159
第四步,设置简单图像Isim:
利用上述第二步中的初始候选简单显著性图
Figure GDA00028940117900001510
和上述第三步中的初始协同显著性图
Figure GDA00028940117900001511
选取包含相同类别目标简单图像Isim,具体操作步骤如下:
首先,利用OTSU算法对上述第二步中的初始候选简单显著性图
Figure GDA00028940117900001512
进行阈值分割获得前景区域
Figure GDA00028940117900001513
如公式(11)所示:
Figure GDA00028940117900001514
然后,利用OTSU算法对上述第三步中的初始协同显著性图
Figure GDA00028940117900001515
进行阈值分割获得前景区域
Figure GDA00028940117900001516
如公式(12)所示:
Figure GDA00028940117900001517
最后,选择Nsim个简单图像,比较上述前景区域
Figure GDA00028940117900001518
和上述前景区域
Figure GDA00028940117900001519
比较结果表示为公式(13):
Figure GDA00028940117900001520
公式(13)中,θ＝0.8,当IOU≥θ,说明初始候选简单显著性图
Figure GDA00028940117900001521
经过阈值分割获得的前景区域
Figure GDA00028940117900001522
和初始协同显著性图
Figure GDA00028940117900001523
经过阈值分割获得的前景区域
Figure GDA00028940117900001524
包含相同的目标,因此,选取IOU≥0.8的图像设置为简单图像Isim,由此完成设置简单图像Isim；
第五步,分别提取简单图像的前景区域和背景区域的颜色特征:
利用上述第四步得到的简单图像Isim,获得简单图像的前景区域
Figure GDA00028940117900001525
的颜色特征
Figure GDA00028940117900001526
和简单图像的背景区域
Figure GDA00028940117900001527
的颜色特征
Figure GDA00028940117900001528
具体操作步骤如下:
首先,假设上述第四步得到的简单图像Isim的初始协同显著性图表示为
Figure GDA0002894011790000161
利用OTSU算法对
Figure GDA0002894011790000162
进行阈值分割,获得简单图像的前景区域
Figure GDA0002894011790000163
和简单图像的背景区域
Figure GDA0002894011790000164
其中sim＝1,2,...,Nsim,表示简单图像个数,
然后,用公知方法提取,对简单图像的前景区域
Figure GDA0002894011790000165
对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的前景区域
Figure GDA0002894011790000166
的平均颜色值
Figure GDA0002894011790000167
对简单图像的背景区域
Figure GDA0002894011790000168
对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的背景区域
Figure GDA0002894011790000169
的平均颜色值
Figure GDA00028940117900001610
其中
Figure GDA00028940117900001611
表示简单图像的前景区域
Figure GDA00028940117900001612
包含的超像素区域的个数,
Figure GDA00028940117900001613
表示简单图像的背景区域
Figure GDA00028940117900001614
包含的超像素区域个数,由此完成提取简单图像的前景区域和简单图像的背景区域的颜色特征；
第六步,完成图像协同显著性检测:
将图内显著性线索和图间显著性线索进行融合构造二次能量方程求解最终的协同显著性图,以完成图像协同显著性检测,具体操作步骤如下:
第(6.1)步,获取图内显著性线索:
图内显著性线索包括:对比度线索和位置线索,
第(6.1.1)步,获取对比度线索:
进一步利用OTSU算法对上述第五步所述的简单图像Isim的初始协同显著性图
Figure GDA00028940117900001615
进行阈值分割,得到前景超像素区域集
Figure GDA00028940117900001616
和背景超像素区域集
Figure GDA00028940117900001617
对于上述第一步的输入图像组{I1,I2,...,In},其中图像Ii任一区域
Figure GDA00028940117900001618
的对比度线索表示为如下的公式(14):
Figure GDA00028940117900001619
公式(14)中,
Figure GDA00028940117900001620
表示背景超像素区域
Figure GDA00028940117900001621
的平均颜色特征,
Figure GDA00028940117900001622
表示前景超像素区域
Figure GDA00028940117900001623
的平均颜色特征,
Figure GDA00028940117900001624
表示超像素区域
Figure GDA00028940117900001625
的平均CIE-Lab颜色特征，
第(6.1.2)步,获取位置线索:
(1)当图像的边界位置为背景区域时,定义上述第一步中所述的图像Ii的超像素区域
Figure GDA00028940117900001626
的边界连通性为如下公式(15)所示:
Figure GDA00028940117900001627
公式(15)表明,超像素区域
Figure GDA00028940117900001628
的边界连通性为分子所示的区域接触图像边界部分的周长占其分母所示的整体面积的平方根的比例,
(2)当前景显著性物体目标接触图像边界时,该目标会被误判为背景区域,导致显著性图目标缺失现象,为此引入差异性,超像素区域
Figure GDA0002894011790000171
的差异性如下公式(16)所示:
Figure GDA0002894011790000172
公式(16)中,
Figure GDA0002894011790000173
表示超像素区域
Figure GDA0002894011790000174
的平均CIE-Lab颜色特征,
Figure GDA0002894011790000175
表示超像素区域
Figure GDA0002894011790000176
的平均CIE-Lab颜色特征,
(3)超像素区域
Figure GDA0002894011790000177
的差异性越大说明该超像素区域
Figure GDA0002894011790000178
为背景区域的概率越小,将背景先验用如下公式(17)表示:
Figure GDA0002894011790000179
公式(17)中,
Figure GDA00028940117900001710
表示公式(15)中超像素区域
Figure GDA00028940117900001711
的边界连通性,
Figure GDA00028940117900001712
表示公式(16)中超像素区域
Figure GDA00028940117900001713
的差异性,
当上述背景先验越大时,超像素区域
Figure GDA00028940117900001714
属于背景区域的概率越高,当上述背景先验越小时,超像素区域
Figure GDA00028940117900001715
属于背景区域的概率越低,因此,超像素区域
Figure GDA00028940117900001716
的背景概率定义为如下公式(18)所示:
Figure GDA00028940117900001717
公式(18)中,
Figure GDA00028940117900001718
表示公式(17)中超像素区域
Figure GDA00028940117900001719
的背景先验,
Figure GDA00028940117900001720
表示
Figure GDA00028940117900001721
的平方，σbndCon为常数,设置为1,
由此获取位置线索定义为公式(19)所示:
Figure GDA00028940117900001722
由此完成获取图内显著性线索；
第(6.2)步,获取图间显著性线索:
图间显著性线索
Figure GDA00028940117900001723
用来测量上述第一步的输入图像组{I1,I2,...,In}中所有图像前景区域的相似度,首先对图像组{I1,I2,...,In}中的任意一个图像Ii利用直方图Hi建立前景模型,然后计算图像组{I1,I2,...,In}中所有上述第四步中所设置的简单图像Isim的前景区域的平均直方图
Figure GDA00028940117900001724
如下公式(20)所示:
Figure GDA00028940117900001725
公式(20)中,
Figure GDA00028940117900001726
sim＝1,2,...,Nsim表示简单图像Isim的前景区域直方图,最后计算图像Ii和所有简单图像Isim前景区域的平均直方图
Figure GDA00028940117900001727
的相似性,如下公式(21)所示:
Figure GDA0002894011790000181
公式(21)中,
Figure GDA0002894011790000182
表示超像素区域
Figure GDA0002894011790000183
的颜色直方图,由此获得图间显著性线索
Figure GDA0002894011790000184
第(6.3)步,图内显著性线索和图间显著性线索的融合:
采用能量方程融合不同图内显著性线索和图间显著性线索,最终的图像协同显著性图通过公式(22)所示的最小化能量方程即二次能量方程获得:
Figure GDA0002894011790000185
公式(22)中,数据项ECtr(·)表示对比度线索SCtr(·)的花费,由公式(23)定义如下:
Figure GDA0002894011790000186
公式(23)中,
Figure GDA0002894011790000187
表示在图像Ii的待求解的协同显著性图中的第s个超像素区域
Figure GDA0002894011790000188
的显著性值，该项将按公式(22)至公式(30)逐步优化而得到，
公式(22)中,数据项EPos(·)表示位置线索SPos(·)的花费,由公式(24)定义如下:
Figure GDA0002894011790000189
公式(24)中,
Figure GDA00028940117900001810
表示图像Ii中的第s个超像素区域
Figure GDA00028940117900001811
的位置线索定义，
公式(22)中,数据项EInter(·)表示图间显著性线索SInter(·)的花费,由公式(25)定义如下:
Figure GDA00028940117900001812
公式(22)中,数据项
Figure GDA00028940117900001813
表示平滑能量项,图像上具有相似颜色特征的超像素区域
Figure GDA00028940117900001814
分配得到相似的显著性值,平滑能量项由如下公式(26)定义:
Figure GDA00028940117900001815
公式(26)中,权重系数
Figure GDA00028940117900001816
定义为超像素区域
Figure GDA00028940117900001817
和超像素区域
Figure GDA00028940117900001818
的CIE-Lab颜色空间相似性,如公式(27)所示:
Figure GDA00028940117900001819
公式(27)中,
Figure GDA00028940117900001820
表示超像素区域
Figure GDA00028940117900001821
的CIE-Lab颜色空间的颜色值,
Figure GDA00028940117900001822
表示超像素区域
Figure GDA00028940117900001823
的CIE-Lab颜色空间的颜色值,
将上述公式(22)写为矩阵形式:
Figure GDA00028940117900001824
公式(28)中,
Figure GDA0002894011790000191
Di的对角线元素
Figure GDA0002894011790000192
Figure GDA0002894011790000193
表示超像素区域
Figure GDA0002894011790000194
和超像素区域
Figure GDA0002894011790000195
的颜色空间相似性,
Figure GDA0002894011790000196
上述公式(22)通过凸优化求解,如下面公式(29)所示:
Figure GDA0002894011790000197
公式(29)中,Si表示图像Ii待求解的协同显著性图,
Figure GDA0002894011790000198
表示图像Ii的对比度线索,
Figure GDA0002894011790000199
表示图像Ii的位置线索,
Figure GDA00028940117900001910
表示图像Ii的图间显著性线索,
求解公式(29),得到最终的协同显著性图Si,如下面公式(30)所示:
Figure GDA00028940117900001911
公式(30)中,最终的协同显著性图Si由对比度线索
Figure GDA00028940117900001912
位置线索
Figure GDA00028940117900001913
和图间显著性线索
Figure GDA00028940117900001914
共同决定,公式(28)、公式(29)和公式(30)体现了对融合后能量方程进行优化,
至此,完成对一组包含相同类别目标图像组的协同显著性检测,即完成图像协同显著性检测。
上述实施例中,上述实施例中,所述RBD算法的全称为Saliency Optimizationfrom Robust Background Detection,中文意义为基于测地距的显著性检测方法,本技术领域公知的算法；SLIC超像素区域分割算法的全称为Simple linear iterativeclustering,中文意义为简单的线性迭代聚类,本技术领域公知的算法；OTSU算法的全称为A threshold selection method from gray-level histograms,中文意义为最大类间方差,本技术领域公知的算法；k-means聚类方法全称为k均值聚类方法,本技术领域公知的算法；以上几种方法均是本技术领域的公知方法。

Claims (2)

1.基于能量优化的图像协同显著性检测方法，其特征在于:是将三个重要的显著性线索进行融合，对融合后能量方程进行优化，具体步骤如下:
第一步,输入图像组{I1,I2,...,In},进行预处理:
输入一组包含相同类别目标的图像组{I1,I2,...,In},利用SLIC超像素区域分割算法对该图像组中的所有图像分别进行超像素区域分割,其中,图像Ii预分割为区域
Figure FDA0002894011780000011
对图像Ii中的每个超像素区域提取平均CIE-Lab颜色空间颜色特征
Figure FDA0002894011780000012
和空间位置特征
Figure FDA0002894011780000013
用公知方法RBD算法计算图像Ii中的第s个超像素区域
Figure FDA0002894011780000014
和图像Ii中的第s′个超像素区域
Figure FDA0002894011780000015
之间的颜色距离和空间位置距离,对上述输入图像组中所有图像
Figure FDA0002894011780000016
利用RBD算法获得初始显著性图
Figure FDA0002894011780000017
上述式子中,Ii为输入图像组中的第i张图像,超像素区域
Figure FDA0002894011780000018
为图像Ii的第s个超像素区域,下标s为超像素区域的标号,
Figure FDA0002894011780000019
为图像Ii的第s个超像素区域的颜色特征,
Figure FDA00028940117800000110
为图像Ii的第s个超像素区域的空间位置特征,
Figure FDA00028940117800000111
为图像Ii的初始显著性图,N(ri)为图像Ii预分割超像素区域的总个数,n为输入图像组中图像的个数,至此完成输入图像组{I1,I2,...,In}的预处理,以下步骤中的n均为输入图像组中图像的个数；
第二步,确定初始候选简单显著性图
Figure FDA00028940117800000112
对上述第一步中的图像
Figure FDA00028940117800000113
的初始显著性图
Figure FDA00028940117800000114
进行质量评估,将初始显著性图中的质量评估分数在排序中占据前一半的显著性图，作为初始候选简单显著性图
Figure FDA00028940117800000115
具体操作方法如下:
对初始显著性图
Figure FDA00028940117800000116
利用分离度测度
Figure FDA00028940117800000117
计算前景区域和背景区域的分离程度,具体步骤如下:
首先利用OTSU算法对初始显著性图
Figure FDA00028940117800000118
进行二值化,获得前景区域
Figure FDA00028940117800000119
的二维高斯分布曲线和背景区域
Figure FDA00028940117800000120
的二维高斯分布曲线,二者的显著性值均服从二维高斯分布,
前景区域
Figure FDA00028940117800000121
的二维高斯分布曲线表示为公式(1):
Figure FDA00028940117800000122
公式(1)中,z表示从0:1变化的显著性值,
Figure FDA00028940117800000123
为二维高斯分布的均值,定义为前景区域
Figure FDA0002894011780000021
的平均显著性值,
Figure FDA0002894011780000022
为前景区域
Figure FDA0002894011780000023
显著性值的标准差,
背景区域
Figure FDA0002894011780000024
的二维高斯分布曲线表示为公式(2):
Figure FDA0002894011780000025
公式(2)中,z表示从0:1变化的显著性值,
Figure FDA0002894011780000026
为二维高斯分布的均值,定义为背景区域
Figure FDA0002894011780000027
的平均显著性值,
Figure FDA0002894011780000028
为背景区域
Figure FDA0002894011780000029
显著性值的标准差,
然后,计算初始显著性图
Figure FDA00028940117800000210
中的前景区域
Figure FDA00028940117800000211
的二维高斯分布曲线和背景区域
Figure FDA00028940117800000212
的二维高斯分布曲线的重叠面积,具体步骤如下:
假设z*表示前景区域和背景区域二维高斯分布曲线交点对应的显著性值,该显著性值可以通过求解以下公式(3)和公式(4)所示的二次方程获得:
Figure FDA00028940117800000213
将公式(3)展开得公式(4):
Figure FDA00028940117800000214
求解上述二次方程获得前景区域
Figure FDA00028940117800000215
和背景区域
Figure FDA00028940117800000216
的分布曲线交点对应的显著性值z*如公式(5)所示:
Figure FDA00028940117800000217
公式(5)中,μf表示初始显著性图
Figure FDA00028940117800000218
前景区域
Figure FDA00028940117800000219
二维高斯分布曲线的均值,μb表示初始显著性图
Figure FDA00028940117800000220
背景区域
Figure FDA00028940117800000221
二维高斯分布曲线的均值,σf表示初始显著性图
Figure FDA00028940117800000222
前景区域
Figure FDA00028940117800000223
显著性值的标准差,σb表示初始显著性图
Figure FDA00028940117800000224
背景区域
Figure FDA00028940117800000225
显著性值的标准差,log(·)为对数运算,
初始显著性图
Figure FDA00028940117800000226
中的前景区域
Figure FDA00028940117800000227
的二维高斯分布曲线和背景区域
Figure FDA00028940117800000228
的二维高斯分布曲线的重叠面积
Figure FDA00028940117800000229
如公式(6)所示:
Figure FDA00028940117800000230
公式(6)中,
Figure FDA00028940117800000231
表示初始显著性图
Figure FDA00028940117800000232
前景区域
Figure FDA00028940117800000233
的二维高斯分布曲线,
Figure FDA00028940117800000234
表示初始显著性图
Figure FDA00028940117800000235
背景区域
Figure FDA00028940117800000236
的二维高斯分布曲线,z*表示初始显著性图
Figure FDA0002894011780000031
前景区域
Figure FDA0002894011780000032
的二维高斯分布曲线和背景区域
Figure FDA0002894011780000033
的二维高斯分布曲线的交点所对应的显著性值,
Figure FDA0002894011780000034
表示初始显著性图
Figure FDA0002894011780000035
前景区域
Figure FDA0002894011780000036
的二维高斯分布曲线在0≤z≤z*时,与横轴正半轴所组成区域的面积,
Figure FDA0002894011780000037
表示初始显著性图
Figure FDA0002894011780000038
背景区域
Figure FDA0002894011780000039
的二维高斯分布曲线在z*≤z≤1时,与横轴正半轴所组成区域的面积,
最后,计算初始显著性图
Figure FDA00028940117800000310
的分离度测度
Figure FDA00028940117800000311
如公式(7)所示:
Figure FDA00028940117800000312
公式(7)中,
Figure FDA00028940117800000313
表示初始显著性图
Figure FDA00028940117800000314
中的前景区域
Figure FDA00028940117800000315
的二维高斯分布曲线和背景区域
Figure FDA00028940117800000316
的二维高斯分布曲线的重叠面积,
初始显著性图
Figure FDA00028940117800000317
最终的质量评估得分由分离度测度
Figure FDA00028940117800000318
决定,分离度测度
Figure FDA00028940117800000319
的数值越大说明初始显著性图
Figure FDA00028940117800000320
的前景区域和背景区域分离越明显,其质量评估分数越高,将初始显著性图
Figure FDA00028940117800000321
中质量评估分数较高的前一半作为初始候选简单显著性图
Figure FDA00028940117800000322
由此完成确定初始候选简单显著性图
Figure FDA00028940117800000323
第三步,计算初始协同显著性图
Figure FDA00028940117800000324
对上述第二步得到的初始候选简单显著性图
Figure FDA00028940117800000325
引入全局一致性项Yi进行优化计算初始协同显著性图
Figure FDA00028940117800000326
具体操作如下:
首先,将上述第一步的输入图像组{I1,I2,...,In}里的所有的图像
Figure FDA00028940117800000327
进行k-means聚类获得
Figure FDA00028940117800000328
其中K表示所有图像聚类总个数,
然后,利用一个具有n个bin的直方图
Figure FDA00028940117800000329
按公式(8)来描述聚类
Figure FDA00028940117800000330
在n张图像中的重复性,
Figure FDA00028940117800000331
公式(8)中,mk表示聚类
Figure FDA00028940117800000332
中类k的超像素总个数,
Figure FDA00028940117800000333
表示超像素
Figure FDA00028940117800000334
的类索引,
最后,引入全局一致性项Yi为公式(9)所示:
Figure FDA0002894011780000041
公式(9)中,var(qk)表示聚类
Figure FDA0002894011780000042
中直方图qk的方差,
将初始候选简单显著性图
Figure FDA0002894011780000043
和全局一致性项Yi进行融合计算初始协同显著性图
Figure FDA0002894011780000044
如公式(10)所示:
Figure FDA0002894011780000045
公式(10)中,“*”表示点乘,即将初始候选简单显著性图
Figure FDA0002894011780000046
和全局一致性项Yi中对应像素点的显著性值逐个相乘,完成计算初始协同显著性图
Figure FDA0002894011780000047
得到初始协同显著性图
Figure FDA0002894011780000048
中对应像素的协同显著性值,由此完成计算初始协同显著性图
Figure FDA0002894011780000049
第四步,设置简单图像Isim:
利用上述第二步中的初始候选简单显著性图
Figure FDA00028940117800000410
和上述第三步中的初始协同显著性图
Figure FDA00028940117800000411
选取包含相同类别目标简单图像Isim,具体操作步骤如下:
首先,利用OTSU算法对上述第二步中的初始候选简单显著性图
Figure FDA00028940117800000412
进行阈值分割获得前景区域
Figure FDA00028940117800000413
如公式(11)所示:
Figure FDA00028940117800000414
然后,利用OTSU算法对上述第三步中的初始协同显著性图
Figure FDA00028940117800000415
进行阈值分割获得前景区域
Figure FDA00028940117800000416
如公式(12)所示:
Figure FDA00028940117800000417
最后,选择Nsim个简单图像,比较上述前景区域
Figure FDA00028940117800000418
和上述前景区域
Figure FDA00028940117800000419
比较结果表示为公式(13):
Figure FDA00028940117800000420
公式(13)中,θ＝0.8,当IOU≥θ,说明初始候选简单显著性图
Figure FDA00028940117800000421
经过阈值分割获得的前景区域
Figure FDA00028940117800000422
和初始协同显著性图
Figure FDA00028940117800000423
经过阈值分割获得的前景区域
Figure FDA00028940117800000424
包含相同的目标,因此,选取IOU≥0.8的图像设置为简单图像Isim,由此完成设置简单图像Isim；
第五步,分别提取简单图像的前景区域和背景区域的颜色特征:
利用上述第四步得到的简单图像Isim,获得简单图像的前景区域
Figure FDA00028940117800000425
的颜色特征
Figure FDA00028940117800000426
和简单图像的背景区域
Figure FDA00028940117800000427
的颜色特征
Figure FDA00028940117800000428
具体操作步骤如下:
首先,假设上述第四步得到的简单图像Isim的初始协同显著性图表示为
Figure FDA0002894011780000051
利用OTSU算法对
Figure FDA0002894011780000052
进行阈值分割,获得简单图像的前景区域
Figure FDA0002894011780000053
和简单图像的背景区域
Figure FDA0002894011780000054
其中sim＝1,2,...,Nsim,表示简单图像个数,
然后,用公知方法提取,对简单图像的前景区域
Figure FDA0002894011780000055
对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的前景区域
Figure FDA0002894011780000056
的平均颜色值
Figure FDA0002894011780000057
对简单图像的背景区域
Figure FDA0002894011780000058
对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的背景区域
Figure FDA0002894011780000059
的平均颜色值
Figure FDA00028940117800000510
其中
Figure FDA00028940117800000511
表示简单图像的前景区域
Figure FDA00028940117800000512
包含的超像素区域的个数,
Figure FDA00028940117800000513
表示简单图像的背景区域
Figure FDA00028940117800000514
包含的超像素区域个数,由此完成提取简单图像的前景区域和简单图像的背景区域的颜色特征；
第六步,完成图像协同显著性检测:
将图内显著性线索和图间显著性线索进行融合构造二次能量方程求解最终的协同显著性图,以完成图像协同显著性检测,具体操作步骤如下:
第(6.1)步,获取图内显著性线索:
图内显著性线索包括:对比度线索和位置线索,
第(6.1.1)步,获取对比度线索:
进一步利用OTSU算法对上述第五步所述的简单图像Isim的初始协同显著性图
Figure FDA00028940117800000515
进行阈值分割,得到前景超像素区域集
Figure FDA00028940117800000516
和背景超像素区域集
Figure FDA00028940117800000517
对于上述第一步的输入图像组{I1,I2,...,In},其中图像Ii任一区域
Figure FDA00028940117800000518
的对比度线索表示为如下的公式(14):
Figure FDA00028940117800000519
公式(14)中,
Figure FDA00028940117800000520
表示背景超像素区域
Figure FDA00028940117800000521
的平均颜色特征,
Figure FDA00028940117800000522
表示前景超像素区域
Figure FDA00028940117800000523
的平均颜色特征,
Figure FDA00028940117800000524
表示超像素区域
Figure FDA00028940117800000525
的平均CIE-Lab颜色特征，
第(6.1.2)步,获取位置线索:
(1)当图像的边界位置为背景区域时,定义上述第一步中所述的图像Ii的超像素区域
Figure FDA00028940117800000526
的边界连通性为如下公式(15)所示:
Figure FDA00028940117800000527
公式(15)表明,超像素区域
Figure FDA00028940117800000528
的边界连通性为分子所示的区域接触图像边界部分的周长占其分母所示的整体面积的平方根的比例,
(2)当前景显著性物体目标接触图像边界时,该目标会被误判为背景区域,导致显著性图目标缺失现象,为此引入差异性,超像素区域
Figure FDA0002894011780000061
的差异性如下公式(16)所示:
Figure FDA0002894011780000062
公式(16)中,
Figure FDA0002894011780000063
表示超像素区域
Figure FDA0002894011780000064
的平均CIE-Lab颜色特征,
Figure FDA0002894011780000065
表示超像素区域
Figure FDA0002894011780000066
的平均CIE-Lab颜色特征,
(3)超像素区域
Figure FDA0002894011780000067
的差异性越大说明该超像素区域
Figure FDA0002894011780000068
为背景区域的概率越小,将背景先验用如下公式(17)表示:
Figure FDA0002894011780000069
公式(17)中,
Figure FDA00028940117800000610
表示公式(15)中超像素区域
Figure FDA00028940117800000611
的边界连通性,
Figure FDA00028940117800000612
表示公式(16)中超像素区域
Figure FDA00028940117800000613
的差异性,
当上述背景先验越大时,超像素区域
Figure FDA00028940117800000614
属于背景区域的概率越高,当上述背景先验越小时,超像素区域
Figure FDA00028940117800000615
属于背景区域的概率越低,因此,超像素区域
Figure FDA00028940117800000616
的背景概率定义为如下公式(18)所示:
Figure FDA00028940117800000617
公式(18)中,
Figure FDA00028940117800000618
表示公式(17)中超像素区域
Figure FDA00028940117800000619
的背景先验,
Figure FDA00028940117800000620
表示
Figure FDA00028940117800000621
的平方，σbndCon为常数,设置为1,
由此获取位置线索定义为公式(19)所示:
Figure FDA00028940117800000622
由此完成获取图内显著性线索；
第(6.2)步,获取图间显著性线索:
图间显著性线索
Figure FDA00028940117800000623
用来测量上述第一步的输入图像组{I1,I2,...,In}中所有图像前景区域的相似度,首先对图像组{I1,I2,...,In}中的任意一个图像Ii利用直方图Hi建立前景模型,然后计算图像组{I1,I2,...,In}中所有上述第四步中所设置的简单图像Isim的前景区域的平均直方图
Figure FDA00028940117800000624
如下公式(20)所示:
Figure FDA00028940117800000625
公式(20)中,
Figure FDA00028940117800000626
表示简单图像Isim的前景区域直方图,最后计算图像Ii和所有简单图像Isim前景区域的平均直方图
Figure FDA00028940117800000627
的相似性,如下公式(21)所示:
Figure FDA00028940117800000628
公式(21)中,
Figure FDA0002894011780000071
表示超像素区域
Figure FDA0002894011780000072
的颜色直方图,由此获得图间显著性线索
Figure FDA0002894011780000073
第(6.3)步,图内显著性线索和图间显著性线索的融合:
采用能量方程融合不同图内显著性线索和图间显著性线索,最终的图像协同显著性图通过公式(22)所示的最小化能量方程即二次能量方程获得:
Figure FDA0002894011780000074
公式(22)中,数据项ECtr(·)表示对比度线索SCtr(·)的花费,由公式(23)定义如下:
Figure FDA0002894011780000075
公式(23)中,
Figure FDA0002894011780000076
表示在图像Ii的待求解的协同显著性图中的第s个超像素区域
Figure FDA0002894011780000077
的显著性值，该项将按公式(22)至公式(30)逐步优化而得到，
公式(22)中,数据项EPos(·)表示位置线索SPos(·)的花费,由公式(24)定义如下:
Figure FDA0002894011780000078
公式(24)中,
Figure FDA0002894011780000079
表示图像Ii中的第s个超像素区域
Figure FDA00028940117800000710
的位置线索定义，
公式(22)中,数据项EInter(·)表示图间显著性线索SInter(·)的花费,由公式(25)定义如下:
Figure FDA00028940117800000711
公式(22)中,数据项
Figure FDA00028940117800000712
表示平滑能量项,图像上具有相似颜色特征的超像素区域
Figure FDA00028940117800000713
分配得到相似的显著性值,平滑能量项由如下公式(26)定义:
Figure FDA00028940117800000714
公式(26)中,权重系数
Figure FDA00028940117800000715
定义为超像素区域
Figure FDA00028940117800000716
和超像素区域
Figure FDA00028940117800000717
的CIE-Lab颜色空间相似性,如公式(27)所示:
Figure FDA00028940117800000718
公式(27)中,
Figure FDA00028940117800000719
表示超像素区域
Figure FDA00028940117800000720
的CIE-Lab颜色空间的颜色值,
Figure FDA00028940117800000721
表示超像素区域
Figure FDA00028940117800000722
的CIE-Lab颜色空间的颜色值,
将上述公式(22)写为矩阵形式:
Figure FDA00028940117800000723
公式(28)中,
Figure FDA00028940117800000724
Di的对角线元素
Figure FDA0002894011780000081
Figure FDA0002894011780000082
表示超像素区域
Figure FDA0002894011780000083
和超像素区域
Figure FDA0002894011780000084
的颜色空间相似性,
Figure FDA0002894011780000085
上述公式(22)通过凸优化求解,如下面公式(29)所示:
Figure FDA0002894011780000086
公式(29)中,Si表示图像Ii待求解的协同显著性图,
Figure FDA0002894011780000087
表示图像Ii的对比度线索,
Figure FDA0002894011780000088
表示图像Ii的位置线索,
Figure FDA0002894011780000089
表示图像Ii的图间显著性线索,
求解公式(29),得到最终的协同显著性图Si,如下面公式(30)所示:
Figure FDA00028940117800000810
公式(30)中,最终的协同显著性图Si由对比度线索
Figure FDA00028940117800000811
位置线索
Figure FDA00028940117800000812
和图间显著性线索
Figure FDA00028940117800000813
共同决定,公式(28)、公式(29)和公式(30)体现了对融合后能量方程进行优化,
至此,完成对一组包含相同类别目标图像组的协同显著性检测,即完成图像协同显著性检测。
2.根据权利要求1所述基于能量优化的图像协同显著性检测方法,其特征在于:所述第一步中,n为输入图像组中图像的个数,该n＝1,2,...,22。
CN201811272236.5A 2018-10-30 2018-10-30 基于能量优化的图像协同显著性检测方法 Active CN109472259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811272236.5A CN109472259B (zh) 2018-10-30 2018-10-30 基于能量优化的图像协同显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811272236.5A CN109472259B (zh) 2018-10-30 2018-10-30 基于能量优化的图像协同显著性检测方法

Publications (2)

Publication Number Publication Date
CN109472259A CN109472259A (zh) 2019-03-15
CN109472259B true CN109472259B (zh) 2021-03-26

Family

ID=65666648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811272236.5A Active CN109472259B (zh) 2018-10-30 2018-10-30 基于能量优化的图像协同显著性检测方法

Country Status (1)

Country Link
CN (1) CN109472259B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211090B (zh) * 2019-04-24 2021-06-29 西安电子科技大学 一种用于评价视角合成图像质量的方法
CN110276350B (zh) * 2019-06-25 2021-08-27 上海海事大学 一种海上船舶目标检测方法
CN111833303B (zh) * 2020-06-05 2023-07-25 北京百度网讯科技有限公司 产品的检测方法、装置、电子设备及存储介质
CN112581446A (zh) * 2020-12-15 2021-03-30 影石创新科技股份有限公司 一种图像的显著性物体检测方法、装置、设备及存储介质
CN113345052B (zh) * 2021-06-11 2023-01-10 山东大学 基于相似显著性的分类数据多视图可视化着色方法及系统
CN114743027B (zh) * 2022-04-11 2023-01-31 郑州轻工业大学 弱监督学习引导的协同显著性检测方法
CN116758081B (zh) * 2023-08-18 2023-11-17 安徽乾劲企业管理有限公司 一种无人机道路桥梁巡检图像处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327507A (zh) * 2016-08-10 2017-01-11 南京航空航天大学 一种基于背景和前景信息的彩色图像显著性检测方法
CN106373126A (zh) * 2016-09-04 2017-02-01 河北工业大学 基于融合类测地线和边界对比的图像显著性检测方法
CN107169487A (zh) * 2017-04-19 2017-09-15 西安电子科技大学 基于超像素分割及深度特征定位的显著性目标检测方法
CN107862702A (zh) * 2017-11-24 2018-03-30 大连理工大学 一种结合边界连通性与局部对比性的显著性检测方法
CN107909079A (zh) * 2017-10-11 2018-04-13 天津大学 一种协同显著性检测方法
CN108320281A (zh) * 2018-01-19 2018-07-24 福建师范大学 一种基于多特征扩散的图像显著性检测方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327507A (zh) * 2016-08-10 2017-01-11 南京航空航天大学 一种基于背景和前景信息的彩色图像显著性检测方法
CN106373126A (zh) * 2016-09-04 2017-02-01 河北工业大学 基于融合类测地线和边界对比的图像显著性检测方法
CN107169487A (zh) * 2017-04-19 2017-09-15 西安电子科技大学 基于超像素分割及深度特征定位的显著性目标检测方法
CN107909079A (zh) * 2017-10-11 2018-04-13 天津大学 一种协同显著性检测方法
CN107862702A (zh) * 2017-11-24 2018-03-30 大连理工大学 一种结合边界连通性与局部对比性的显著性检测方法
CN108320281A (zh) * 2018-01-19 2018-07-24 福建师范大学 一种基于多特征扩散的图像显著性检测方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"多幅图像协同显著性检测";周培云;《中国优秀硕士学位论文全文数据库（电子期刊）》;20160715(第7期);全文 *

Also Published As

Publication number Publication date
CN109472259A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109472259B (zh) 基于能量优化的图像协同显著性检测方法
CN109522908B (zh) 基于区域标签融合的图像显著性检测方法
CN107680054B (zh) 雾霾环境下多源图像融合方法
CN107977671B (zh) 一种基于多任务卷积神经网络的舌象分类方法
Borenstein et al. Learning to segment
CN108537239B (zh) 一种图像显著性目标检测的方法
US9042648B2 (en) Salient object segmentation
CN107330875B (zh) 基于遥感图像正反向异质性的水体周边环境变化检测方法
Li et al. Automatic example-based image colorization using location-aware cross-scale matching
CN104751187A (zh) 抄表图像自动识别方法
CN105404861A (zh) 人脸关键特征点检测模型的训练、检测方法及系统
Li et al. Example-based image colorization via automatic feature selection and fusion
CN107909079B (zh) 一种协同显著性检测方法
CN104598908A (zh) 一种农作物叶部病害识别方法
CN104200461A (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN105513070A (zh) 一种基于前景背景优化的rgb-d显著物体检测方法
CN108629783A (zh) 基于图像特征密度峰值搜索的图像分割方法、系统及介质
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
Chai A probabilistic framework for building extraction from airborne color image and DSM
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN111047603A (zh) 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法
CN104881668B (zh) 一种基于代表性局部模式的图像指纹提取方法及系统
CN113989299A (zh) 一种基于k均值聚类的露天矿岩层图像分割方法
Sima et al. Bottom-up merging segmentation for color images with complex areas
CN107527348B (zh) 基于多尺度分割的显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant