CN111209918A - 一种图像显著性目标检测方法 - Google Patents
一种图像显著性目标检测方法 Download PDFInfo
- Publication number
- CN111209918A CN111209918A CN202010008328.3A CN202010008328A CN111209918A CN 111209918 A CN111209918 A CN 111209918A CN 202010008328 A CN202010008328 A CN 202010008328A CN 111209918 A CN111209918 A CN 111209918A
- Authority
- CN
- China
- Prior art keywords
- original image
- map
- superpixel
- graph
- output layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 13
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000001179 sorption measurement Methods 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明是一种图像显著性目标检测方法，涉及图像分析的区域分割，是基于多图模型先验和短连接网络优化的图像显著性检测方法，该方法是对每张输入图像利用颜色和位置信息，计算KNN图模型和K正则图模型，得到在KNN图模型下的显著图S1和在K正则图模型下的显著图S2，再将KNN图模型和K正则图模型进行像素级别的融合，得到原图像的初始显著图S3，利用短连接网络优化初始显著图S3，获得原图像的最终的显著图Sfinal，完成图像显著性目标检测，克服了图像显著性目标检测的现有技术中存在的显著目标检测不完整、当前景背景颜色相似时算法检测不准确的缺陷。
Description
技术领域
本发明的技术方案涉及图像分析的区域分割，具体地说是一种图像显著性目标检测方法。
背景技术
图像显著性目标检测是指利用计算机模拟人眼的视觉注意力机制，从图像中提取人类感兴趣的区域，是计算机视觉领域的关键技术之一。
图像显著性目标检测的现有技术中，根据所提取图像特征类型的不同，图像显著性目标检测方法分为手工模型和深度学习模型。图像显著性目标检测的手工模型是指根据图像手工特征，例如颜色、纹理、位置和梯度，计算区域的显著值，但低级的图像手工特征无法描述对象的语义信息，在复杂场景中，无法精确描述对象边界；图像显著性目标检测的深度学习模型是指利用卷积神经网络提取图像的高级语义特征计算图像显著值，得到更丰富的深度特征，进而得到更准确的检测结果，但采用深度卷积神经网络会丢失图像显著性目标的位置信息和细节信息，在检测图像显著目标时可能会引入误导信息，导致检测到的图像显著性目标不完整。
2014年，Zhu等人在“Saliency Optimization from Robust BackgroundDetection”一文中提出的基于边界连通性的背景检测方法，其主要思路是提取图像边界作为背景先验，通过计算每个区域的边界连通性扩大显著目标和背景区域的差异，从而得到更准确的图像显著区域，解决了图像显著目标处于边界时检测不准确的问题，但是当背景区域较复杂时，图像显著性检测目标会缺失。Yu等人于2019年在“基于多图流形排序的图像显著性检测”一文中提出的基于多图流形排序的检测方法，其主要思路是在对每个图像构造基于超像素的KNN图模型和K正则图模型，在两种模型上利用流形排序算法得到图像显著值，加权融合不同模型结果，得到最终的图像显著值，该方法通过构造不同的图模型得到更准确的显著区域，但在显著目标和背景区域相似或背景区域较复杂时，图像显著性检测结果引入较多的背景噪声。Zhao等人于2019年在“Pyramid Feature Attention Network forSaliency detection”一文中提出一种图像显著性目标检测的金字塔特征注意网络方法，该方法采用上下文感知金字塔模块提取多尺度高级特征，然后利用空间注意机制过滤低层空间结构特征，最后将两种特征融合在一起，该方法得到的结果显著目标边缘模糊，复杂环境下检测到的图像显著目标缺失。CN106780582A公开了基于纹理特征和颜色特征融合的图像显著性检测方法,该方法利用颜色特征计算初步对比度，利用纹理特征计算背景概率，融合初步对比度得到新的对比度，即得到图像显著图，其存在是当图像显著目标较大且位于图像边界位置时,图像显著目标往往会被误检测为背景区域的缺陷。CN110188763A公开了基于改进图模型的图像显著性检测方法，该方法在改进图模型的基础上，根据底层特征得到基于底层特征的显著图，利用底层特征和先验知识提取高层特征，并结合显著物体的紧凑性确定阈值，得到前景、背景种子节点，得到基于前景、背景的显著图并融合，最后融合基于底层特征的显著图，得到最终显著图，其存在是前景、背景种子选择部分很难找到一个合适阈值导致基于该种子节点的显著图不准确，导致最终显著图不准确且对噪声敏感的缺陷。CN106780430B公开了基于被包围状态和马尔科夫模型的图像显著性检测方法，该方法利用被包围状态得到显著性物体的大概区域，并将该区域作为前景先验，同时将距离该区域最远的两条边界作为背景，利用吸收马尔可夫链得到基于前景的显著图和基于背景的显著图，并融合两个显著图得到最终显著图，其存在是该方法没有考虑复杂背景的情况，导致显著性检测结果中引入过多的背景噪声的缺陷。CN108898136A公开了跨模态图像显著性检测方法，该方法利用多模态图像和流形排序算法，以图像边界为种子节点，计算节点的背景概率，其存在当显著目标触及图像边界时，显著目标会被误检测为背景的缺陷。CN106952251B公开了基于吸附模型的图像显著性检测方法，该方法利用模糊C均值聚类算法得到候选显著性区域和背景区域，利用基于漏电的积分放电模型的胜者得全网络确定场景中的关注点，使用基于关注点和背景区域的吸附过程筛选候选区域，利用区域的颜色差异和空间距离计算显著性值，通过显著性传播和高斯滤波优化最终结果，其存在是当显著图像较大且位于图像边界时，利用高斯滤波优化后的显著图存在主体缺失的情况的缺陷。CN106373126A公开了基于融合类测地线和边界对比的图像显著性检测方法，该方法通过融合边界对比图、有颜色对比的测地线图和无颜色对比的测地线图得到最终显著图，其存在是该方法在前景背景颜色相似情况下，基于颜色对比度的测地线图中存在过多的背景噪声的缺陷。CN107169954A公开了基于并行卷积神经网络的图像显著性检测方法，该方法设计全局检测模块CNN#G和局部检测模块CNN#L，并通过一个全连接层实现并行，实现对图像进行显著性检测，其存在是没有充分利用CNN模块得到的深度特征，显著目标边缘不精细的缺陷。
总之，图像显著性目标检测的现有技术中仍存在显著目标检测不完整、当前景背景颜色相似时算法检测不准确的缺陷。
发明内容
本发明所要解决的技术问题是：提供一种图像显著性目标检测方法，是基于多图模型先验和短连接网络优化的图像显著性检测方法，该方法是对每张输入图像利用颜色和位置信息，计算KNN图模型和K正则图模型，得到在KNN图模型下的显著图S1和在K正则图模型下的显著图S2，再将KNN图模型和K正则图模型进行像素级别的融合，得到原图像的初始显著图S3，利用短连接网络优化初始显著图S3，获得原图像的最终的显著图 Sfinal，完成图像显著性目标检测，克服了图像显著性目标检测的现有技术中存在的显著目标检测不完整、当前景背景颜色相似时算法检测不准确的缺陷。
本发明解决该技术问题所采用的技术方案是：一种图像显著性目标检测方法，是基于多图模型先验和短连接网络优化的图像显著性检测方法，具体步骤如下：
第一步，输入原图像I，进行预处理:
输入原图像I，使用SLIC超像素区域分割算法进行预分割，得到超像素集 sp＝{spi,i＝1,2,...,n}，其中，i为超像素的排序数(下同)，spi为原图像I的第i个超像素， n为图像I的预分割超像素的个数(下同)，对每个超像素区域提取平均CIE-Lab颜色空间特征
和空间位置特征
其中，ci为原图像I的第i个超像素的颜色特征(下同)， pi为原图像I的第i个超像素的空间位置特征(下同)，至此完成输入原图像I的预处理；
第二步，获得原图像I在KNN图模型下的显著图S1：
第(2.1)步，对原图像I构造KNN图模型：
用如下公式(1)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的颜色特征的欧式距离dist(ci,cj)，
dist(ci，cj)＝||ci，cj||2 (1)，
公式(1)中，cj为原图像I的第j个超像素的颜色特征，
用如下公式(2)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的空间位置距离dist(pi，pj)，
公式(2)中，pj为原图像I的第j个超像素的空间位置特征,
用如下公式(3)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的特征距离dist(spi，spj),
dist(spi，spj)＝λp×dist(pi，pj)+λc×dist(ci，cj) (3)，
公式(3)中，λp为用来控制dist(pi，pj)对特征距离dist(spi，spj)的权重值，λc为用来控制 dist(ci，cj)对特征距离dist(spi，spj)的权重值，设定为λp＝0.5，λc＝1，
对特征距离dist(spi，spj)按照从小到大顺序排序，选择前5个值，其对应的超像素设置为近邻超像素，然后对原图像I构造KNN图模型为G1＝<V1,E1>，其中V1为节点集合，每个超像素为一个节点，E1为边集合，E1＝[e1,ij]n×n；
第(2.2)步，确定内边缘权重和外边缘权重：
根据上述第(2.1)中提及的超像素的颜色特征和空间位置特征，为每个超像素选择5 个近邻超像素，每个超像素不仅连接它的相邻超像素，还和与它的相邻超像素共享一个超像素边界的超像素相连，
当一个超像素在图像内部时，与它的5个近邻超像素构成的边称为内边缘E1,Bondrary_i，内边缘权重由权重矩阵W1＝[w1]n×n定义，如下公式(4)所示，
W1，Boundary_i(e1,ij)＝exp(-dist(ci,cj)/2σ2) (4)，
公式(4)中，σ为一个常数(下同)，设定σ＝10，
当一个超像素在图像边界时，与它的5个邻接节点构成的边称为外边缘E1,Bondrary_o，外边缘权重定义如下公式(5)所示，
W1,Boundary_o(e1,ij)＝exp(-dist(pi,pj)/2σ2) (5)，
公式(5)中，设定σ＝10；
第(2.3)步，筛选边界背景节点：
利用边界连通性筛选图像I的边界背景节点，具体步骤如下：
设定原图像I的四条边界超像素为背景集合，记为Bnd，使用如下公式(6)计算原图像 I的超像素sp与背景边界的连通程度，即原图像I超像素spi的边界连通性值，
公式(6)中，LenBnd(spi)为原图像I超像素spi的边界周长，Area(spi)为原图像I超像素 spi的区域面积，
LenBnd(sp)的定义如下公式(7)所示，
公式(7)中，dist(spi,spj)为原图像I超像素spi与原图像I超像素spj之间的特征距离，当原图像I超像素spj被归为背景集合Bnd时，δ(spj∈Bnd)＝1，否则为0，
Area(sp)的定义如下公式(8)所示，
公式(8)中，σclr为常数，σclr＝10，dgeo(spi,spj)为原图像I第i个超像素spi与原图像 I第j个超像素spj之间沿KNN图模型最短路径的边缘权重的测地线距离，
dgeo(spi,spj)的定义如下公式(9)所示，
公式(9)中，dapp(spl,spl+1)为原图像I超像素spl和原图像I超像素spl+1在CIE-Lab颜色空间中的欧氏距离，p1为超像素spi，p2为原图像I第i个超像素spi到原图像I第j个超像素spj中可以连接到的所有超像素、pn为超像素spj,
然后，根据原图像I超像素sp的边界连通性值BndCon(·)，利用k-means方法将背景集合Bnd聚为两类，计算每个聚类中原图像I超像素的边界连通性值的平均值，选择边界连通性平均值最大的一类背景集合Bnd作为背景节点，
由此完成筛选边界背景节点；
第(2.4)步，获得原图像I在KNN图模型下的显著图S1：
设置上述第(2.3)步筛选得到的边界背景节点为查询节点，利用流形排序算法计算超像素与边界背景节点的相关性，并进行排序，得到原图像I在KNN图模型下的显著图S1，计算公式如下公式(10)所示，
S1＝(D-αW1)-1y (10)，
公式(10)中，D为原图像I对应的度矩阵，W1为权重矩阵，y为指示向量，
当超像素spi是查询节点时，则yi＝1，否则yi＝0，
原图像I对应的度矩阵D的定义如下公式(11)所示，
公式(11)中，dii为度矩阵D中的元素，w1,ij为KNN图模型下超像素spi和超像素spj之间的边缘权重值，
由此获得原图像I在KNN图模型下的显著图S1；
第三步：获得原图像I在K正则图模型下的显著图S2：
定义超像素的空间接近度和外观相似度，结合影响因子、空间接近度和外观相似度计算图像显著值，具体操作如下：
第(3.1)步，对上述第一步中的原图像I构造K正则图模型：
对上述第一步的原图像I，以超像素为节点构造其K正则图模型为G2＝<V2,E2>，其中， V2为节点集合，E2为边集合，E2＝[e2,ij]n×n；
第(3.2)步，获得每个超像素的影响因子Inf(spi)：
每个超像素节点不仅与它的相邻节点相连，而且还和与它共享同一超像素边界的超像素节点相连，由此定义边缘权重矩阵W2＝[w2,ij]n×n如下公式(12)所示，
公式(12)中，设定σ＝10，e2,ij为K正则图模型下超像素spi和超像素spj之间的边缘(下同)，
然后，根据上述定义边缘权重矩阵计算超像素spi受到超像素spj的影响即 Spt(spi,spj)，如下公式(13)所示，
公式(13)中，w2,ij为K正则图模型下超像素spi和超像素spj之间的边缘权重值，w2,it为原图像I超像素spi与原图像I超像素spt之间的边缘权重，
进而由如下公式(14)计算每个超像素的影响因子Inf(spi)，
由此获得每个超像素的影响因子Inf(spi)；
第(3.3)步，获得超像素之间的外观相似性Distc(spi,spj)：
超像素之间的外观相似性Distc(spi,spj)由如下公式(15)计算而获得，
公式(15)中，
为超像素spi对应的颜色直方图，
为超像素spj对应的颜色直方图，由此获得超像素之间的外观相似性Distc(spi,spj)；
第(3.4)步，获得超像素之间的空间接近度Distp(spi,spj)：
超像素之间的空间接近度Distp(spi,spj)由如下公式(16)计算而获得，
由此获得超像素之间的空间接近度Distp(spi,spj)
第(3.5)步，获得原图像I在K正则图模型下的显著图S2：
根据上述第(3.3)步所计算超像素之间的外观相似性和上述第(3.4)步所计算超像素之间的空间接近度，用如下公式(17)计算而获得原图像I在K正则图模型下的显著图S2，
由此获得原图像I在K正则图模型下的显著图S2；
第四步：获得原图像I的初始显著图S3：
对上述第二步获得的原图像I在KNN图模型下的显著图S1和第三步获得原图像I在K正则图模型下的显著图S2进行自适应融合，具体操作如下所示，
通过公式(18)计算显著图S1和显著图S2的融合权重ε，
ε＝max(S1)-median(S2) (18)，
公式(18)中，max(S1)为显著图S1中的最大显著值对应的超像素的显著值， median(S2)为显著图S2中的显著值中值对应的超像素的显著值；
根据如下自适应融合公式(19)计算而得到融合后的原图像I的初始显著图S3，
S3＝ρ1((1-ε)S1+εS2)+ρ2(S1·S2) (19)，
公式(19)中，ρ1和ρ2为控制该公式中前一项((1-ε)S1+εS2)和后一项(S1·S2)融合时的参数，设定为ρ1＝ρ2＝0.5，
由此获得原图像I的初始显著图S3；
第五步：获得原图像I的最终的显著图Sfinal：
通过短连接网络优化上述第四步得到的原图像I的初始显著图S3，即将上述第四步得到的原图像I的初始显著图S3作为先验知识映射到显著性先验中，与原图I一起输入短连接网络，输出的结果为最终显著图Sfinal，具体操作如下：
第(5.1)步，提取原图像I的深度特征：
选用VGG16卷积部分提取原图像I的深度特征，即用如下公式(20)提取原图像I的深度特征f(I),
f(I)＝ω1*HI*I+ω2*HS*S3+b (20)，
公式(20)中，HI为原图像I的卷积核，HS为初始显著图S3的卷积核，ω1为原图像I卷积的融合权重，ω2为初始显著图S3卷积的融合权重，b为偏置量，
第(5.2)步，得到侧输出层的深度特征图：
在VGG16卷积部分中的卷积层conv1_2、conv2_2、conv3_2、conv4_2和conv5_2 后面添加使用卷积核通道和空间大小不同的卷积层的侧输出层，使用双线性插值法在这些侧输出层上采样，得到侧输出层的深度特征图，分别为第1侧输出层深度特征图，第2侧输出层深度特征图，第3侧输出层深度特征图，第4侧输出层深度特征图，第5侧输出层深度特征图，
第(5.3)步，将各侧输出层深度特征图进行连接：
利用短连接方式将上述第(5.2)步得到的各侧输出层深度特征图进行连接，具体操作如下：
对第5侧输出层深度特征图引入一个1×1的卷积层作为第5侧输出层深度特征图的预测图Z5，
然后，对第4侧输出层深度特征图引入一个1×1的卷积层，然后与第5侧输出层深度特征图的预测图Z5进行连接，得到第4侧输出层深度特征图的预测图Z4，
然后，对第3侧输出层深度特征图引入一个1×1的卷积层，然后与第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第3侧输出层深度特征图的预测图Z3，
然后，对第2侧输出层深度特征图引入一个1×1的卷积层，然后与第3侧输出层深度特征图的预测图Z3、第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第2侧输出层深度特征图的预测图Z2，
然后，对第1侧输出层深度特征图引入一个1×1的卷积层，然后与第2侧输出层深度特征图的预测图Z2、第3侧输出层深度特征图的预测图Z3、第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第1侧输出层深度特征图的预测图Z1，
然后，用下公式(21)融合预测图Z5、预测图Z4、预测图Z3、预测图Z2和预测图Z1，得到所有侧输出层深度特征图的融合预测图Zfusion，
公式(21)中，fm为各侧输出层深度特征图所对应的融合权重，Zm为第m个侧输出层深度特征图，
第(5.4)步，获得最终输出预测图Zfinal：
在上述第(5.3)步得到的所有侧输出层深度特征图的融合预测图Zfusion中添加预测图 Z2、预测图Z3、预测图Z4，以补充原图像I的细节特征，得到所有侧输出层深度特征图的最终输出预测图Zfinal如下公式(22)所示，
Zfinal＝mean(Zfusion,Z2,Z3,Z4) (22)，
公式(22)中，mean(·)为均值，
上述所有侧输出层深度特征图的最终输出预测图Zfinal即为原图像I的最终显著图Sfinal，
由此获得原图像I的最终的显著图Sfinal；
至此，完成基于多图模型先验和短连接网络优化的图像显著性检测。
上述一种图像显著性目标检测方法，所述“SLIC超像素区域分割算法”、“KNN图模型”、“K近邻节点”、“K正则图模型”、“流形排序算法”、“CIE-Lab颜色空间”、“k-means 方法”、“双线性插值”、“短连接网络”都是本技术领域的公知技术。
本发明的有益效果是:与现有技术相比,本发明的突出的实质性特点和显著性进步如下：
(1)与CN106780582A一种基于纹理特征和颜色特征融合的图像显著性检测方法相比，本发明具有的突出的实质性特点和显著进步是：CN106780582A在利用颜色特征和纹理特征计算相似度和背景概率时使用同一种图结构，本发明针对颜色特征构造KNN图模型，针对空间位置特征构造K正则图模型，分别在这两个模型上得到不同的显著图，通过自适应融合两个不同图结构，本发明的所具有的优点是获得的显著性图中的显著目标一致高亮。
(2)与CN110188763A一种基于改进图模型的图像显著性检测方法相比，本发明具有的突出的实质性特点和显著进步是：CN110188763A利用底层特征和多种先验知识得到高层特征，仅利用底层特征没有充分利用图像中的语义信息，得到的检测结果不能得到完整的图像显著目标，本发明通过神经网络提取高级特征，得到更加丰富的语义信息，最终得到的显著目标更加准确。
(3)与CN106780430B一种基于被包围状态和马尔科夫模型的图像显著性检测方法相比，本发明具有的突出的实质性特点和显著进步是：CN106780430B利用被包围状态得到显著性物体的大概区域，将距离该区域最远的两条边界作为背景，此方法适用图像显著目标触及图像边界的情况，当显著图目标处于图像中心且背景复杂的情况下无法准确的检测图像显著目标，本发明对边界超像素聚类，利用边界连通性剔除边界中属于前景的超像素，将剩余边界超像素作为背景种子节点，克服了当前景目标触及图像边界时导致的显著性目标检测存在缺失的缺陷。
(4)与CN108898136A一种跨模态的图像显著性检测方法相比，本发明具有的突出的实质性特点和显著进步是：CN108898136A在利用流形排序算法计算显著性值时，直接将图像边界作为背景种子节点，图像边界中会存在一定的前景，直接将图像边界作为背景种子节点得到的显著图得到的图像显著目标缺失，本发明利用边界连通性剔除边界中的前景目标超像素，将优化后的边界超像素作为种子节点，克服了显著目标位于边界时所导致的显著目标检测存在缺失的缺陷。
(5)与CN106952251B一种基于吸附模型的图像显著性检测方法相比，本发明具有的突出的实质性特点和显著进步是：CN106952251B利用模糊C均值聚类算法得到显著区域和背景区域，利用区域的颜色差异和空间距离计算显著值，当处理低对比度图像时利用聚类方法得到显著区域和背景区域不准确，本发明通过超像素的颜色特征计算超像素的影响因子，同时结合外观相似性和空间接近度得到基于K正则图的显著值，明显减少了K正则图模型中的背景噪声。
(6)与本发明人团队早先的CN106373126A基于融合类测地线和边界对比的图像显著性检测方法相比,本发明具有的突出的实质性特点和显著进步是：首先,CN106373126A只将图像边界区域作为背景,当显著目标位于边界时,往往会被检测为背景,本发明方法对边界超像素节点进行改进，利用边界连通性剔除边界中的前景目标超像素，将优化后的边界超像素作为种子节点，本发明的优点是克服了显著目标位于边界时所导致的显著目标检测存在缺失的缺陷；其次，CN106373126A只是构造了K正则图模型结构，本发明方法对图像构造KNN图模型和K正则图模型，从不同角度刻画节点之间的连接性，使获得的显著性图中显著目标一致高亮；CN106373126A还存在采用直接相乘的方式融合边界对比图、有颜色对比度地测地线图和无颜色对比地测地线图,最终的显著性检测效果往往不能一致高亮显著目标的缺陷,而本发明方法通过自适应方法融合不同图模型检测结果，融合权重是根据两个模型的检测结果共同决定，本发明的优点是通过融合KNN图模型的检测结果和 K正则图模型的检测结果，避免当前景目标和背景颜色相似时所导致的显著性目标检测缺失的情况。
总之,在CN106373126A的基础上结合本领域的公知常识要得出本发明的技术方案,对本领域技术人员来说绝非显而易见的。
(7)本发明方法将KNN图模型和K正则图模型进行融合，对融合后结果作为先验输入深度网络进行优化，克服了单一图模型下生成的显著图中噪声较多和显著目标不完整的问题。
(8)本发明方法利用边界连通性和k-means方法优化图像边界超像素，剔除边界中的显著目标，克服了显著目标触及图像边界时，直接利用图像边界区域作为背景而导致的部分前景目标误当作背景的缺陷。
(9)本发明方法利用图结构中节点与节点之间的边权重，定义影响因子，结合超像素之间的外观相似性和空间接近度，克服了现有技术中图内显著性线索利用不够充分，导致显著性检测结果中包含过多的背景噪声和目标缺失的缺陷。
(10)本发明将传统模型检测结果为先验映射并以此作为网络输入，并通过一个短连接网络得到最终预测图，实现了传统模型与深度模型的融合，克服了在复杂背景下显著目标检测存在的目标缺失情况的缺陷。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2是原图像I的显著性图Sfinal。
具体实施方式
图1所示实施例表明,本发明方法的流程如下：
输入图像I，进行预处理→获得原图像I在KNN图模型下的显著图S1→获得原图像I在K正则图模型下的显著图S2→获得原图像I的初始显著图S3→获得最终的显著图Sfinal→完成基于多图模型先验和短连接网络优化的图像显著性检测。
图2显示原图像I一个女人和一头大象的最终的显著性图Sfinal，图中黑色线条是原图像中显著目标区域与非显著区域的分界结果，边界线内部是检测到的图像显著目标，边界线外部是图像背景。
实施例
本实施例中图像显著性目标为一个女人和一头大象，本实施例基于多图模型先验和短连接网络优化的图像显著性检测方法，具体步骤如下：
第一步，输入原图像I，进行预处理:
输入原图像I，使用SLIC超像素区域分割算法进行预分割，得到超像素集 sp＝{spi,i＝1,2,...,n}，其中，i为超像素的排序数(下同)，spi为原图像I的第i个超像素， n为图像I的预分割超像素的个数(下同)，对每个超像素区域提取平均CIE-Lab颜色空间特征
和空间位置特征
其中，ci为原图像I的第i个超像素的颜色特征(下同)， pi为原图像I的第i个超像素的空间位置特征(下同)，至此完成输入原图像I的预处理；
第二步，获得原图像I在KNN图模型下的显著图S1：
第(2.1)步，对原图像I构造KNN图模型：
用如下公式(1)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的颜色特征的欧式距离dist(ci,cj)，
dist(ci，cj)＝||ci，cj||2 (1)，
公式(1)中，cj为原图像I的第j个超像素的颜色特征，
用如下公式(2)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的空间位置距离dist(pi，pj)，
公式(2)中，pj为原图像I的第j个超像素的空间位置特征,
用如下公式(3)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的特征距离dist(spi，spj),
dist(spi，spj)＝λp×dist(pi，pj)+λc×dist(ci，cj) (3)，
公式(3)中，λp为用来控制dist(pi，pj)对特征距离dist(spi，spj)的权重值，λc为用来控制 dist(ci，cj)对特征距离dist(spi，spj)的权重值，设定为λp＝0.5，λc＝1，
对特征距离dist(spi，spj)按照从小到大顺序排序，选择前5个值，其对应的超像素设置为近邻超像素，然后对原图像I构造KNN图模型为G1＝<V1,E1>，其中V1为节点集合，每个超像素为一个节点，E1为边集合，E1＝[e1,ij]n×n；
第(2.2)步，确定内边缘权重和外边缘权重：
根据上述第(2.1)中提及的超像素的颜色特征和空间位置特征，为每个超像素选择5 个近邻超像素，每个超像素不仅连接它的相邻超像素，还和与它的相邻超像素共享一个超像素边界的超像素相连，
当一个超像素在图像内部时，与它的5个近邻超像素构成的边称为内边缘E1,Bondrary_i，内边缘权重由权重矩阵W1＝[w1]n×n定义，如下公式(4)所示，
W1，Boundary_i(e1,ij)＝exp(-dist(ci,cj)/2σ2) (4)，
公式(4)中，σ为一个常数(下同)，设定σ＝10，
当一个超像素在图像边界时，与它的5个邻接节点构成的边称为外边缘E1,Bondrary_o，外边缘权重定义如下公式(5)所示，
W1,Boundary_o(e1,ij)＝exp(-dist(pi,pj)/2σ2) (5)，
公式(5)中，设定σ＝10；
第(2.3)步，筛选边界背景节点：
利用边界连通性筛选图像I的边界背景节点，具体步骤如下：
设定原图像I的四条边界超像素为背景集合，记为Bnd，使用如下公式(6)计算原图像I的超像素sp与背景边界的连通程度，即原图像I超像素spi的边界连通性值，
公式(6)中，LenBnd(spi)为原图像I超像素spi的边界周长，Area(spi)为原图像I超像素 spi的区域面积，
LenBnd(sp)的定义如下公式(7)所示，
公式(7)中，dist(spi,spj)为原图像I超像素spi与原图像I超像素spj之间的特征距离，当原图像I超像素spj被归为背景集合Bnd时，δ(spj∈Bnd)＝1，否则为0， Area(sp)的定义如下公式(8)所示，
公式(8)中，σclr为常数，σclr＝10，dgeo(spi,spj)为原图像I第i个超像素spi与原图像 I第j个超像素spj之间沿KNN图模型最短路径的边缘权重的测地线距离，
dgeo(spi,spj)的定义如下公式(9)所示，
公式(9)中，dapp(spl,spl+1)为原图像I超像素spl和原图像I超像素spl+1在CIE-Lab颜色空间中的欧氏距离，p1为超像素spi，p2为原图像I第i个超像素spi到原图像I第j个超像素spj中可以连接到的所有超像素、pn为超像素spj,
然后，根据原图像I超像素sp的边界连通性值BndCon(·)，利用k-means方法将背景集合Bnd聚为两类，计算每个聚类中原图像I超像素的边界连通性值的平均值，选择边界连通性平均值最大的一类背景集合Bnd作为背景节点，
由此完成筛选边界背景节点；
第(2.4)步，获得原图像I在KNN图模型下的显著图S1：
设置上述第(2.3)步筛选得到的边界背景节点为查询节点，利用流形排序算法计算超像素与边界背景节点的相关性，并进行排序，得到原图像I在KNN图模型下的显著图S1，计算公式如下公式(10)所示，
S1＝(D-αW1)-1y (10)，
公式(10)中，D为原图像I对应的度矩阵，W1为权重矩阵，y为指示向量，
当超像素spi是查询节点时，则yi＝1，否则yi＝0，
原图像I对应的度矩阵D的定义如下公式(11)所示，
公式(11)中，dii为度矩阵D中的元素，w1,ij为KNN图模型下超像素spi和超像素spj之间的边缘权重值，
由此获得原图像I在KNN图模型下的显著图S1；
第三步：获得原图像I在K正则图模型下的显著图S2：
定义超像素的空间接近度和外观相似度，结合影响因子、空间接近度和外观相似度计算图像显著值，具体操作如下：
第(3.1)步，对上述第一步中的原图像I构造K正则图模型：
对上述第一步的原图像I，以超像素为节点构造其K正则图模型为G2＝〈V2,E2〉，其中， V2为节点集合，E2为边集合，E2＝[e2,ij]n×n；
第(3.2)步，获得每个超像素的影响因子Inf(spi)：
每个超像素节点不仅与它的相邻节点相连，而且还和与它共享同一超像素边界的超像素节点相连，由此定义边缘权重矩阵W2＝[w2,ij]n×n如下公式(12)所示，
公式(12)中，设定σ＝10，e2,ij为K正则图模型下超像素spi和超像素spj之间的边缘(下同)，
然后，根据上述定义边缘权重矩阵计算超像素spi受到超像素spj的影响即 Spt(spi,spj)，如下公式(13)所示，
公式(13)中，w2,ij为K正则图模型下超像素spi和超像素spj之间的边缘权重值，w2,it为原图像I超像素spi与原图像I超像素spt之间的边缘权重，
进而由如下公式(14)计算每个超像素的影响因子Inf(spi)，
由此获得每个超像素的影响因子Inf(spi)；
第(3.3)步，获得超像素之间的外观相似性Distc(spi,spj)：
超像素之间的外观相似性Distc(spi,spj)由如下公式(15)计算而获得，
公式(15)中，
为超像素spi对应的颜色直方图，
为超像素spj对应的颜色直方图，由此获得超像素之间的外观相似性Distc(spi,spj)；
第(3.4)步，获得超像素之间的空间接近度Distp(spi,spj)：
超像素之间的空间接近度Distp(spi,spj)由如下公式(16)计算而获得，
由此获得超像素之间的空间接近度Distp(spi,spj)
第(3.5)步，获得原图像I在K正则图模型下的显著图S2：
根据上述第(3.3)步所计算超像素之间的外观相似性和上述第(3.4)步所计算超像素之间的空间接近度，用如下公式(17)计算而获得原图像I在K正则图模型下的显著图S2，
由此获得原图像I在K正则图模型下的显著图S2；
第四步：获得原图像I的初始显著图S3：
对上述第二步获得的原图像I在KNN图模型下的显著图S1和第三步获得原图像I在K正则图模型下的显著图S2进行自适应融合，具体操作如下所示，
通过公式(18)计算显著图S1和显著图S2的融合权重ε，
ε＝max(S1)-median(S2) (18)，
公式(18)中，max(S1)为显著图S1中的最大显著值对应的超像素的显著值， median(S2)为显著图S2中的显著值中值对应的超像素的显著值；
根据如下自适应融合公式(19)计算而得到融合后的原图像I的初始显著图S3，
S3＝ρ1((1-ε)S1+εS2)+ρ2(S1·S2) (19)，
公式(19)中，ρ1和ρ2为控制该公式中前一项((1-ε)S1+εS2)和后一项(S1·S2)融合时的参数，设定为ρ1＝ρ2＝0.5，
由此获得原图像I的初始显著图S3；
第五步：获得最终的显著图Sfinal：
通过短连接网络优化上述第四步得到的初始显著图S3，即将上述第四步得到的原图像I的初始显著图S3作为先验知识映射到显著性先验中，与原图I一起输入短连接网络，输出的结果为最终显著图Sfinal，具体操作如下：
第(5.1)步，提取原图像I的深度特征：
选用VGG16卷积部分提取原图像I的深度特征，即用如下公式(20)提取原图像I的深度特征f(I),
f(I)＝ω1*HI*I+ω2*HS*S3+b (20)，
公式(20)中，HI为原图像I的卷积核，HS为初始显著图S3的卷积核，ω1为原图像I卷积的融合权重，ω2为初始显著图S3卷积的融合权重，b为偏置量，
第(5.2)步，得到侧输出层的深度特征图：
在VGG16卷积部分中的卷积层conv1_2、conv2_2、conv3_2、conv4_2和conv5_2 后面添加使用卷积核通道和空间大小不同的卷积层的侧输出层，使用双线性插值法在这些侧输出层上采样，得到侧输出层的深度特征图，分别为第1侧输出层深度特征图，第2侧输出层深度特征图，第3侧输出层深度特征图，第4侧输出层深度特征图，第5侧输出层深度特征图，
第(5.3)步，将各侧输出层深度特征图进行连接：
利用短连接方式将上述第(5.2)步得到的各侧输出层深度特征图进行连接，具体操作如下：
对第5侧输出层深度特征图引入一个1×1的卷积层作为第5侧输出层深度特征图的预测图Z5，
然后，对第4侧输出层深度特征图引入一个1×1的卷积层，然后与第5侧输出层深度特征图的预测图Z5进行连接，得到第4侧输出层深度特征图的预测图Z4，
然后，对第3侧输出层深度特征图引入一个1×1的卷积层，然后与第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第3侧输出层深度特征图的预测图Z3，
然后，对第2侧输出层深度特征图引入一个1×1的卷积层，然后与第3侧输出层深度特征图的预测图Z3、第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第2侧输出层深度特征图的预测图Z2，
然后，对第1侧输出层深度特征图引入一个1×1的卷积层，然后与第2侧输出层深度特征图的预测图Z2、第3侧输出层深度特征图的预测图Z3、第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第1侧输出层深度特征图的预测图Z1，
然后，用下公式(21)融合预测图Z5、预测图Z4、预测图Z3、预测图Z2和预测图Z1，得到所有侧输出层深度特征图的融合预测图Zfusion，
公式(21)中，fm为各侧输出层深度特征图所对应的融合权重，Zm为第m个侧输出层深度特征图，
第(5.4)步，获得最终输出预测图Zfinal：
为了减少背景噪声，提高最终预测结果的准确率，在上述第(5.3)步得到的所有侧输出层深度特征图的融合预测图Zfusion中添加预测图Z2、预测图Z3、预测图Z4，以补充原图像I的细节特征，得到所有侧输出层深度特征图的最终输出预测图Zfinal如下公式(22) 所示，
Zfinal＝mean(Zfusion,Z2,Z3,Z4) (22)，
公式(22)中，mean(·)为均值，
上述所有侧输出层深度特征图的最终输出预测图Zfinal即为原图像I的最终显著图Sfinal，
由此获得最终的显著图Sfinal；
至此，完成基于多图模型先验和短连接网络优化的图像显著性检测。
上述实施例中，所述“SLIC超像素区域分割算法”、“KNN图模型”、“K近邻节点”、“K正则图模型”、“流形排序算法”、“CIE-Lab颜色空间”、“k-means方法”、“双线性插值”、“短连接网络”都是本技术领域的公知技术。
Claims (1)
1.一种图像显著性目标检测方法，其特征在于：是基于多图模型先验和短连接网络优化的图像显著性检测方法，具体步骤如下：
第一步，输入原图像I，进行预处理:
输入原图像I，使用SLIC超像素区域分割算法进行预分割，得到超像素集sp＝{spi,i＝1,2,...,n}，其中，i为超像素的排序数(下同)，spi为原图像I的第i个超像素，n为图像I的预分割超像素的个数(下同)，对每个超像素区域提取平均CIE-Lab颜色空间特征
和空间位置特征
其中，ci为原图像I的第i个超像素的颜色特征(下同)，pi为原图像I的第i个超像素的空间位置特征(下同)，至此完成输入原图像I的预处理；
第二步，获得原图像I在KNN图模型下的显著图S1：
第(2.1)步，对原图像I构造KNN图模型：
用如下公式(1)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的颜色特征的欧式距离dist(ci,cj)，
dist(ci，cj)＝||ci，cj||2 (1)，
公式(1)中，cj为原图像I的第j个超像素的颜色特征，
用如下公式(2)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的空间位置距离dist(pi，pj)，
公式(2)中，pj为原图像I的第j个超像素的空间位置特征,
用如下公式(3)计算上述第一步中的原图像I的第i个超像素spi和原图像I的第j个超像素spj之间的特征距离dist(spi，spj),
dist(spi，spj)＝λp×dist(pi，pj)+λc×dist(ci，cj) (3)，
公式(3)中，λp为用来控制dist(pi，pj)对特征距离dist(spi，spj)的权重值，λc为用来控制dist(ci，cj)对特征距离dist(spi，spj)的权重值，设定为λp＝0.5，λc＝1，
对特征距离dist(spi，spj)按照从小到大顺序排序，选择前5个值，其对应的超像素设置为近邻超像素，然后对原图像I构造KNN图模型为G1＝<V1,E1>，其中V1为节点集合，每个超像素为一个节点，E1为边集合，E1＝[e1,ij]n×n；
第(2.2)步，确定内边缘权重和外边缘权重：
根据上述第(2.1)中提及的超像素的颜色特征和空间位置特征，为每个超像素选择5个近邻超像素，每个超像素不仅连接它的相邻超像素，还和与它的相邻超像素共享一个超像素边界的超像素相连，
当一个超像素在图像内部时，与它的5个近邻超像素构成的边称为内边缘E1,Bondrary_i，内边缘权重由权重矩阵W1＝[w1]n×n定义，如下公式(4)所示，
W1，Boundary_i(e1,ij)＝exp(-dist(ci,cj)/2σ2) (4)，
公式(4)中，σ为一个常数(下同)，设定σ＝10，
当一个超像素在图像边界时，与它的5个邻接节点构成的边称为外边缘E1,Bondrary_o，外边缘权重定义如下公式(5)所示，
W1,Boundary_o(e1,ij)＝exp(-dist(pi,pj)/2σ2) (5)，
公式(5)中，设定σ＝10；
第(2.3)步，筛选边界背景节点：
利用边界连通性筛选图像I的边界背景节点，具体步骤如下：
设定原图像I的四条边界超像素为背景集合，记为Bnd，使用如下公式(6)计算原图像I的超像素sp与背景边界的连通程度，即原图像I超像素spi的边界连通性值，
公式(6)中，LenBnd(spi)为原图像I超像素spi的边界周长，Area(spi)为原图像I超像素spi的区域面积，
LenBnd(sp)的定义如下公式(7)所示，
公式(7)中，dist(spi,spj)为原图像I超像素spi与原图像I超像素spj之间的特征距离，
当原图像I超像素spj被归为背景集合Bnd时，δ(spj∈Bnd)＝1，否则为0，
Area(sp)的定义如下公式(8)所示，
公式(8)中，σclr为常数，σclr＝10，dgeo(spi,spj)为原图像I第i个超像素spi与原图像I第j个超像素spj之间沿KNN图模型最短路径的边缘权重的测地线距离，
dgeo(spi,spj)的定义如下公式(9)所示，
公式(9)中，dapp(spl,spl+1)为原图像I超像素spl和原图像I超像素spl+1在CIE-Lab颜色空间中的欧氏距离，p1为超像素spi，p2为原图像I第i个超像素spi到原图像I第j个超像素spj中可以连接到的所有超像素、pn为超像素spj,
然后，根据原图像I超像素sp的边界连通性值BndCon(·)，利用k-means方法将背景集合Bnd聚为两类，计算每个聚类中原图像I超像素的边界连通性值的平均值，选择边界连通性平均值最大的一类背景集合Bnd作为背景节点，
由此完成筛选边界背景节点；
第(2.4)步，获得原图像I在KNN图模型下的显著图S1：
设置上述第(2.3)步筛选得到的边界背景节点为查询节点，利用流形排序算法计算超像素与边界背景节点的相关性，并进行排序，得到原图像I在KNN图模型下的显著图S1，计算公式如下公式(10)所示，
S1＝(D-αW1)-1y (10)，
公式(10)中，D为原图像I对应的度矩阵，W1为权重矩阵，y为指示向量，
当超像素spi是查询节点时，则yi＝1，否则yi＝0，
原图像I对应的度矩阵D的定义如下公式(11)所示，
公式(11)中，dii为度矩阵D中的元素，w1,ij为KNN图模型下超像素spi和超像素spj之间的边缘权重值，
由此获得原图像I在KNN图模型下的显著图S1；
第三步：获得原图像I在K正则图模型下的显著图S2：
定义超像素的空间接近度和外观相似度，结合影响因子、空间接近度和外观相似度计算图像显著值，具体操作如下：
第(3.1)步，对上述第一步中的原图像I构造K正则图模型：
对上述第一步的原图像I，以超像素为节点构造其K正则图模型为G2＝<V2,E2>，其中，V2为节点集合，E2为边集合，E2＝[e2,ij]n×n；
第(3.2)步，获得每个超像素的影响因子Inf(spi)：
每个超像素节点不仅与它的相邻节点相连，而且还和与它共享同一超像素边界的超像素节点相连，由此定义边缘权重矩阵W2＝[w2,ij]n×n如下公式(12)所示，
公式(12)中，设定σ＝10，e2,ij为K正则图模型下超像素spi和超像素spj之间的边缘(下同)，
然后，根据上述定义边缘权重矩阵计算超像素spi受到超像素spj的影响即Spt(spi,spj)，如下公式(13)所示，
公式(13)中，w2,ij为K正则图模型下超像素spi和超像素spj之间的边缘权重值，w 2,it为原图像I超像素spi与原图像I超像素spt之间的边缘权重，
进而由如下公式(14)计算每个超像素的影响因子Inf(spi)，
由此获得每个超像素的影响因子Inf(spi)；
第(3.3)步，获得超像素之间的外观相似性Distc(spi,spj)：
超像素之间的外观相似性Distc(spi,spj)由如下公式(15)计算而获得，
公式(15)中，
为超像素spi对应的颜色直方图，
为超像素spj对应的颜色直方图，
由此获得超像素之间的外观相似性Distc(spi,spj)；
第(3.4)步，获得超像素之间的空间接近度Distp(spi,spj)：
超像素之间的空间接近度Distp(spi,spj)由如下公式(16)计算而获得，
由此获得超像素之间的空间接近度Distp(spi,spj)
第(3.5)步，获得原图像I在K正则图模型下的显著图S2：
根据上述第(3.3)步所计算超像素之间的外观相似性和上述第(3.4)步所计算超像素之间的空间接近度，用如下公式(17)计算而获得原图像I在K正则图模型下的显著图S2，
由此获得原图像I在K正则图模型下的显著图S2；
第四步：获得原图像I的初始显著图S3：
对上述第二步获得的原图像I在KNN图模型下的显著图S1和第三步获得原图像I在K正则图模型下的显著图S2进行自适应融合，具体操作如下所示，
通过公式(18)计算显著图S1和显著图S2的融合权重ε，
ε＝max(S1)-median(S2) (18)，
公式(18)中，max(S1)为显著图S1中的最大显著值对应的超像素的显著值，median(S2)为显著图S2中的显著值中值对应的超像素的显著值；
根据如下自适应融合公式(19)计算而得到融合后的原图像I的初始显著图S3，
S3＝ρ1((1-ε)S1+εS2)+ρ2(S1·S2) (19)，
公式(19)中，ρ1和ρ2为控制该公式中前一项((1-ε)S1+εS2)和后一项(S1·S2)融合时的参数，设定为ρ1＝ρ2＝0.5，
由此获得原图像I的初始显著图S3；
第五步：获得原图像I的最终的显著图Sfinal：
通过短连接网络优化上述第四步得到的原图像I的初始显著图S3，即将上述第四步得到的原图像I的初始显著图S3作为先验知识映射到显著性先验中，与原图I一起输入短连接网络，输出的结果为最终显著图Sfinal，具体操作如下：
第(5.1)步，提取原图像I的深度特征：
选用VGG16卷积部分提取原图像I的深度特征，即用如下公式(20)提取原图像I的深度特征f(I),
f(I)＝ω1*HI*I+ω2*HS*S3+b (20)，
公式(20)中，HI为原图像I的卷积核，HS为初始显著图S3的卷积核，ω1为原图像I卷积的融合权重，ω2为初始显著图S3卷积的融合权重，b为偏置量，
第(5.2)步，得到侧输出层的深度特征图：
在VGG16卷积部分中的卷积层conv1_2、conv2_2、conv3_2、conv4_2和conv5_2后面添加使用卷积核通道和空间大小不同的卷积层的侧输出层，使用双线性插值法在这些侧输出层上采样，得到侧输出层的深度特征图，分别为第1侧输出层深度特征图，第2侧输出层深度特征图，第3侧输出层深度特征图，第4侧输出层深度特征图，第5侧输出层深度特征图，
第(5.3)步，将各侧输出层深度特征图进行连接：
利用短连接方式将上述第(5.2)步得到的各侧输出层深度特征图进行连接，具体操作如下：
对第5侧输出层深度特征图引入一个1×1的卷积层作为第5侧输出层深度特征图的预测图Z5，
然后，对第4侧输出层深度特征图引入一个1×1的卷积层，然后与第5侧输出层深度特征图的预测图Z5进行连接，得到第4侧输出层深度特征图的预测图Z4，
然后，对第3侧输出层深度特征图引入一个1×1的卷积层，然后与第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第3侧输出层深度特征图的预测图Z3，
然后，对第2侧输出层深度特征图引入一个1×1的卷积层，然后与第3侧输出层深度特征图的预测图Z3、第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第2侧输出层深度特征图的预测图Z2，
然后，对第1侧输出层深度特征图引入一个1×1的卷积层，然后与第2侧输出层深度特征图的预测图Z2、第3侧输出层深度特征图的预测图Z3、第4侧输出层深度特征图的预测图Z4和第5侧输出层深度特征图的预测图Z5进行连接，得到第1侧输出层深度特征图的预测图Z1，
然后，用下公式(21)融合预测图Z5、预测图Z4、预测图Z3、预测图Z2和预测图Z1，得到所有侧输出层深度特征图的融合预测图Zfusion，
公式(21)中，fm为各侧输出层深度特征图所对应的融合权重，Zm为第m个侧输出层深度特征图，
第(5.4)步，获得最终输出预测图Zfinal：
在上述第(5.3)步得到的所有侧输出层深度特征图的融合预测图Zfusion中添加预测图Z2、预测图Z3、预测图Z4，以补充原图像I的细节特征，得到所有侧输出层深度特征图的最终输出预测图Zfinal如下公式(22)所示，
Zfinal＝mean(Zfusion,Z2,Z3,Z4) (22)，
公式(22)中，mean(·)为均值，
上述所有侧输出层深度特征图的最终输出预测图Zfinal即为原图像I的最终显著图Sfinal，
由此获得原图像I的最终的显著图Sfinal；
至此，完成基于多图模型先验和短连接网络优化的图像显著性检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010008328.3A CN111209918B (zh) | 2020-01-06 | 2020-01-06 | 一种图像显著性目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010008328.3A CN111209918B (zh) | 2020-01-06 | 2020-01-06 | 一种图像显著性目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111209918A true CN111209918A (zh) | 2020-05-29 |
| CN111209918B CN111209918B (zh) | 2022-04-05 |
Family
ID=70786674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010008328.3A Expired - Fee Related CN111209918B (zh) | 2020-01-06 | 2020-01-06 | 一种图像显著性目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209918B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860235A (zh) * | 2020-07-06 | 2020-10-30 | 中国科学院空天信息创新研究院 | 高低层特征融合的注意力遥感图像描述的生成方法及系统 |
| CN111966857A (zh) * | 2020-08-19 | 2020-11-20 | 南京英德利汽车有限公司 | 一种检测改装车辆的方法及检测系统 |
| CN112329796A (zh) * | 2020-11-12 | 2021-02-05 | 北京环境特性研究所 | 基于视觉显著性的红外成像卷云检测方法和装置 |
| CN112766195A (zh) * | 2021-01-26 | 2021-05-07 | 西南交通大学 | 一种电气化铁路弓网燃弧视觉检测方法 |
| CN112907595A (zh) * | 2021-05-06 | 2021-06-04 | 武汉科技大学 | 一种表面缺陷检测方法及装置 |
| CN113095332A (zh) * | 2021-04-13 | 2021-07-09 | 南京大学 | 一种基于特征学习的显著性区域检测方法 |
| CN113591579A (zh) * | 2021-06-28 | 2021-11-02 | 河北师范大学 | 基于注意机制卷积神经网络的显著性目标检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160086052A1 (en) * | 2014-09-19 | 2016-03-24 | Brain Corporation | Apparatus and methods for saliency detection based on color occurrence analysis |
| US20160163058A1 (en) * | 2013-07-31 | 2016-06-09 | Yichen Wei | Geodesic saliency using background priors |
| CN105869173A (zh) * | 2016-04-19 | 2016-08-17 | 天津大学 | 一种立体视觉显著性检测方法 |
| CN106373126A (zh) * | 2016-09-04 | 2017-02-01 | 河北工业大学 | 基于融合类测地线和边界对比的图像显著性检测方法 |
| CN106909902A (zh) * | 2017-03-01 | 2017-06-30 | 北京航空航天大学 | 一种基于改进的层次化显著模型的遥感目标检测方法 |
| CN107274419A (zh) * | 2017-07-10 | 2017-10-20 | 北京工业大学 | 一种基于全局先验和局部上下文的深度学习显著性检测方法 |
| CN107392968A (zh) * | 2017-07-17 | 2017-11-24 | 杭州电子科技大学 | 融合颜色对比图和颜色空间分布图的图像显著性检测方法 |
| CN109448015A (zh) * | 2018-10-30 | 2019-03-08 | 河北工业大学 | 基于显著图融合的图像协同分割方法 |
-
2020
- 2020-01-06 CN CN202010008328.3A patent/CN111209918B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160163058A1 (en) * | 2013-07-31 | 2016-06-09 | Yichen Wei | Geodesic saliency using background priors |
| US20160086052A1 (en) * | 2014-09-19 | 2016-03-24 | Brain Corporation | Apparatus and methods for saliency detection based on color occurrence analysis |
| CN105869173A (zh) * | 2016-04-19 | 2016-08-17 | 天津大学 | 一种立体视觉显著性检测方法 |
| CN106373126A (zh) * | 2016-09-04 | 2017-02-01 | 河北工业大学 | 基于融合类测地线和边界对比的图像显著性检测方法 |
| CN106909902A (zh) * | 2017-03-01 | 2017-06-30 | 北京航空航天大学 | 一种基于改进的层次化显著模型的遥感目标检测方法 |
| CN107274419A (zh) * | 2017-07-10 | 2017-10-20 | 北京工业大学 | 一种基于全局先验和局部上下文的深度学习显著性检测方法 |
| CN107392968A (zh) * | 2017-07-17 | 2017-11-24 | 杭州电子科技大学 | 融合颜色对比图和颜色空间分布图的图像显著性检测方法 |
| CN109448015A (zh) * | 2018-10-30 | 2019-03-08 | 河北工业大学 | 基于显著图融合的图像协同分割方法 |
Non-Patent Citations (9)
| Title |
|---|
| ACHANTA R, ESTRADA F, WILS P, ET AL.: "Salient Region Detection and Segmentation", 《PROCEEDINGS OF THE 6TH INTERNATIONAL CONFERENCE ON COMPUTER VISION SYSTEMS》 * |
| QIBIN HOU;MING-MING CHENG;XIAOWEI HU;ALI BORJI;ZHUOWEN TU;PHILIP: "Deeply Supervised Salient Object Detection with Short Connections.", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| SHIQI LI;CHENG ZENG;YAN FU;SHIPING LIU: "Optimizing multi-graph learning based salient object detection", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
| 于明，李博昭，于洋: "基于多图流形排序的图像显著性检测", 《自动化学报 》 * |
| 李东民; 李静; 梁大川; 王超: "基于多尺度先验深度特征的多目标显著性检测方法", 《自动化学报》 * |
| 杨旭坤: "基于特征融合的复杂纹理图像显著性检测", 《硕士学位论文电子期刊信息科技辑》 * |
| 王文冠; 沈建冰; 贾云得: "视觉注意力检测综述", 《软件学报》 * |
| 蒋寓文, 谭乐怡, 王守觉.: "基选择性背景优先的显著性检测模型", 《电子与信息学报 》 * |
| 邢晴,张锁平,李明兵,等.: "融合颜色特征和对比度特征的图像显著性检测", 《半导体光电》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860235A (zh) * | 2020-07-06 | 2020-10-30 | 中国科学院空天信息创新研究院 | 高低层特征融合的注意力遥感图像描述的生成方法及系统 |
| CN111966857A (zh) * | 2020-08-19 | 2020-11-20 | 南京英德利汽车有限公司 | 一种检测改装车辆的方法及检测系统 |
| CN111966857B (zh) * | 2020-08-19 | 2023-09-29 | 南京英德利汽车有限公司 | 一种检测改装车辆的方法及检测系统 |
| CN112329796A (zh) * | 2020-11-12 | 2021-02-05 | 北京环境特性研究所 | 基于视觉显著性的红外成像卷云检测方法和装置 |
| CN112329796B (zh) * | 2020-11-12 | 2023-05-23 | 北京环境特性研究所 | 基于视觉显著性的红外成像卷云检测方法和装置 |
| CN112766195A (zh) * | 2021-01-26 | 2021-05-07 | 西南交通大学 | 一种电气化铁路弓网燃弧视觉检测方法 |
| CN112766195B (zh) * | 2021-01-26 | 2022-03-29 | 西南交通大学 | 一种电气化铁路弓网燃弧视觉检测方法 |
| CN113095332A (zh) * | 2021-04-13 | 2021-07-09 | 南京大学 | 一种基于特征学习的显著性区域检测方法 |
| CN113095332B (zh) * | 2021-04-13 | 2022-08-19 | 南京大学 | 一种基于特征学习的显著性区域检测方法 |
| CN112907595A (zh) * | 2021-05-06 | 2021-06-04 | 武汉科技大学 | 一种表面缺陷检测方法及装置 |
| CN113591579A (zh) * | 2021-06-28 | 2021-11-02 | 河北师范大学 | 基于注意机制卷积神经网络的显著性目标检测方法 |
| CN113591579B (zh) * | 2021-06-28 | 2024-02-13 | 河北师范大学 | 基于注意机制卷积神经网络的显著性目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111209918B (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209918B (zh) | 一种图像显著性目标检测方法 | |
| Zhang et al. | Learning signed distance field for multi-view surface reconstruction | |
| Huang et al. | Indoor depth completion with boundary consistency and self-attention | |
| CN105894502B (zh) | 基于超图模型的rgbd图像显著性检测方法 | |
| CN109741331B (zh) | 一种图像前景物体分割方法 | |
| CN110796026A (zh) | 一种基于全局特征拼接的行人重识别方法 | |
| CN109448015B (zh) | 基于显著图融合的图像协同分割方法 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN106815323B (zh) | 一种基于显著性检测的跨域视觉检索方法 | |
| CN111797841B (zh) | 一种基于深度残差网络的视觉显著性检测方法 | |
| CN107066916A (zh) | 基于反卷积神经网络的场景语义分割方法 | |
| CN115272196B (zh) | 组织病理图像中病灶区域预测方法 | |
| CN113159043B (zh) | 基于语义信息的特征点匹配方法及系统 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN113592894B (zh) | 一种基于边界框和同现特征预测的图像分割方法 | |
| CN114332214A (zh) | 物体姿态估计方法、装置、电子设备及存储介质 | |
| CN113095371A (zh) | 一种面向三维重建的特征点匹配方法及系统 | |
| CN117372898A (zh) | 一种基于改进yolov8的无人机航拍图像目标检测方法 | |
| CN109658523A (zh) | 利用ar增强现实应用实现车辆各功能使用说明的方法 | |
| CN113592893A (zh) | 一种确定主体和精准化边缘相结合的图像前景分割方法 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| CN112926667A (zh) | 深度融合边缘与高层特征的显著性目标检测方法及装置 | |
| CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
| CN110766609B (zh) | 一种针对ToF相机的景深图超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220405 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |