CN105809651B - 基于边缘非相似性对比的图像显著性检测方法 - Google Patents
基于边缘非相似性对比的图像显著性检测方法 Download PDFInfo
- Publication number
- CN105809651B CN105809651B CN201410771507.7A CN201410771507A CN105809651B CN 105809651 B CN105809651 B CN 105809651B CN 201410771507 A CN201410771507 A CN 201410771507A CN 105809651 B CN105809651 B CN 105809651B
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- value
- edge
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
一种基于边缘非相似性对比的图像显著性检测方法，属于图像识别领域。本发明的目的是提供一种能够很好地突出显著目标，使显著目标有很好的完整性和一致性的基于边缘非相似性对比的图像显著性检测方法。本发明的步骤是：对被检测图像进行预分割，提取预分割之后的这些超像素块的一系列特征值，计算每个超像素值的边缘非相似性和超像素对之间的最短路径，计算出每个超像素属于背景区域的概率，显著性概率值进行优化，得到最终的超像素显著值；将超像素的值赋予相应的像素点，得到最终的显著图。本发明对噪声的鲁棒性强，结果的误差小，有助于后续图像分割等应用的显著目标提取处理。
Description
技术领域
本发明属于图像识别领域。
背景技术
随着计算机视觉领域的发展，显著目标检测技术已经成为计算视觉领域的基本问题，并且成为很多图像应用上的常用工具，比如图像分割，图像信息检索，目标识别，图像压缩等等。显著目标指的是图像中的一个人或者一个事物甚至只是一个像素吸引了我们的注意力。随着显著目标检测方向的发展，显著目标检测算法可以被分为两类：自顶向下从高层语义入手的算法和自底向上从底层特征入手的算法，其中后者一直是显著目标检测中的主流方法。
早期显著目标检测起源于Itti关于灵长类动物视觉系统的研究，其最出名的文章是A model of saliency based visual attention for rapid scene analysis，发表在1998年的PAMI上，他最初的着眼点是对人眼关注点的预测，它是一种基于局部对比的显著性算法，基础思想是通过背景与显著目标的对比来获得每个点的显著性值，这篇文章基本奠定了显著度研究的基本思路，即：特征提取，归一化，特征融合，显著性计算，显著性区域划分。
随后的很多研究都采用了这个框架，比如J.Harel,C.Koch,&P.Perona在2006年发表于Advances in Neural Information Processing Systems的文章“Graph-basedvisual saliency”。它仍采用Itti的特征提取方式，但是综合阶段使用的不是线性组合而是马尔科夫随机场，获得了比Itti更好的效果。Xiaodi Hou,Jonathan Harel andChristof Koch在2012年发表于PAMI的论文“Image Signature:Highlighting SparseSalient Regions”则是定义了一种新的底层特征提取方法，计算saliency的过程仍采用马尔科夫随机场。
然而，通过实验我们发现，基于全局或者局部对比的显著性算法有着很大的局限性和不稳定性，通过不同的基于对比的算法的实验，我们看到他们的结果有很大的差异，对于同样一副图片不同的算法提取出不同的显著目标。出现这个结果的原因在于对显著性缺乏有效的定义，单纯依靠对比不能得出优秀的结果。基于对比的方法应该提取更多不是基于对比的特征来指导显著度的计算。
近几年Y.Wei,F.Wen,W.Zhu,J.Sun发表于ECCV2012的论文“Geodesic saliencyusing background priors”(以下简称GS算法)和C.Yang,L.Zhang,H.Lu,X.Ruan,M.-H.Yang发表于CVPR2013的论文“Saliency detection via graph-based manifoldranking”(以下简称MR算法)探讨了基于图像边缘特征的显著目标提取算法，通过实验，他们取得了良好的效果，证明了基于图像边缘特征的显著目标提取算法的可行性，我们发现他们的算法也有以下两个缺点：1，GS算法只考虑了每个超像素到边缘超像素的最短路径，只用到一个边缘超像素来决定当前超像素块的显著度值，而其他边缘超像素的影响被忽略了；2，MR算法虽然考虑了所有的边缘超像素，但是他将所有的边缘超像素分成上下左右四个方向来计算显著性，破坏了原本完整的边缘信息，不利于更好地计算每块超像素的显著性。
发明内容
本发明的目的是提供一种能够很好地突出显著目标，使显著目标有很好的完整性和一致性的基于边缘非相似性对比的图像显著性检测方法。
本发明的步骤是：
(1)对被检测图像进行预分割，利用超像素算法，将它分割成一系列紧密均匀的超像素块，每个超像素块都有一定的完整性和一致性；
(2)提取预分割之后的这些超像素块的一系列特征值，包括边缘超像素的序号，超像素的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标，超像素对在LAB空间的距离，超像素对在源图像上的欧几里得几何距离；
(3)根据上一步的超像素的特征值计算每个超像素值的边缘非相似性和超像素对之间的最短路径；
(4)融合超像素不相似性和到边缘超像素的最短路径长度值，计算出每个超像素属于背景区域的概率；
(5)通过我们建立的最优化方法对暂时计算出的显著性概率值进行优化，得到最终的超像素显著值；
(6)将超像素的值赋予相应的像素点，得到最终的显著图。
本发明的步骤(1)所述对待检测图像进行超像素分割，具体为采用SLIC算法，步骤是：
(1-1)将待检测图像从RGB空间转换到CIELab色彩空间；
(1-2)SLIC最主要的两个参数是compactness和spNumber，compactness的范围为[10,40]，pixelNumber的范围为[200,600]，假设源图像大小为H*W，则
(1-3)利用SLIC算法将图像分割成N≈spNumber个超像素。因为考虑到算法性能还有最终效果的问题，最后分割成的超像素的个数和每块超像素内部所拥有的像素数和设定有略微的差别。
本发明的步骤(2)所述提取预分割之后的超像素块的一系列特征值，包括边缘超像素的序号，超像素的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标，超像素对在LAB空间的距离，超像素对在源图像上的距离；其具体步骤如下：
(2-1)计算边缘超像素的序号通过遍历所有的超像素，检查他们是否含有边缘像素点来得到；
(2-2)计算超像素的邻接矩阵，通过检查每个像素点的邻接像素点所属的超像素编号来确定超像素之间的邻接性；
(2-3)超像素在LAB色彩空间的平均颜色值通过计算每个超像素块内部所有像素值的平均值来确定；
(2-4)超像素的中心位置坐标通过超像素块内部所有超像素的坐标的平均值进行计算；
(2-5)超像素对在LAB空间的距离通过计算这两个超像素的LAB色彩空间的平均颜色值的欧几里得距离来确定，假设两个超像素a和b的LAB色彩空间平均颜色值为(La,Aa,Ba)和(Lb,Ab,Bb)：
(2-6)超像素对在源图像上的距离是他们中心位置坐标的欧几里得距离
本发明的步骤(3)所述计算每个超像素块的边缘非相似性值和超像素对之间的最短路径，将预分割之后的图像看做无向图，G＝(V,E)，其中G表示这个无向图，V表示无向图的结点，每个结点对应一个超像素，E表示相邻超像素也即相邻结点之间的权值，相邻超像素权值由以下公式确定：
则这两项特征的计算步骤如下：
(3-1)超像素的边缘非相似性值：
D(a，b)＝Dcolor*log(Dposition)
(3-2)超像素对之间的最短路径：
本发明的步骤(4)所述融合超像素不相似性和到边缘超像素的最短路径长度值，计算出每个超像素属于背景区域的概率，融合的公式如下，其中第一项为到边缘超像素的最短路径长度值，具体为：
将超像素的SD值标准化得到每个超像素的显著目标概率：
Pf(a)＝normalize(SD(a))
同时，每个超像素的背景概率则是：
Pb(a)＝1-Pf(a)。
本发明的步骤(5)所述通过我们建立的最优化方法对暂时计算出的显著性概率值进行优化，得到最终的超像素显著值，我们建立关于最终显著度值的最优化方程：
W(a，b)＝exp(-Dcolor(a，b)/2s2)
将关于N块超像素的最优化方程融合在一起写成矩阵的形式则是：
解这个最优化方程我们可以得到S*作为最终的显著度值：
S*＝(D-W+P′f+P′b)-1P′f＝(D-W+I)-1P′f。
本发明的步骤(6)所述将超像素的值赋予相应的像素点，得到最终的显著图，对于上一步得到的S*，将它归一化到[0,1]，每个像素点的显著值就是其对应的超像素的显著度的归一化的值，最终得到显著图。
本发明对噪声的鲁棒性强，结果的误差小，有助于后续图像分割等应用的显著目标提取处理。具有以下优点和有益效果：
(1)本发明创造性地提出了一种基于边缘非相似性对比的图像显著性检测的具体可行的方法，得到的最终显著图考虑了图像的色彩和位置信息，利用绝大多数边缘点属于背景区域的先验知识，均匀地突出显著区域，很好地抑制了噪声的干扰，对复杂图像也有很好的效果。
(2)本发明完整地利用了边缘超像素的信息，摒弃了只利用边缘超像素的一部分或者将边缘信息分成多次进行统计的办法，我们在认识到边缘超像素更多属于背景的同时，将当前超像素与所有边缘超像素对比得到边缘非相似性，并且突出当前超像素到边缘超像素的最短路径，得到了更优秀的效果。
(3)本发明创造性地提出了一种最优化方案，我们将显著性的运算过程看做计算每个点属于显著目标的概率问题，通过一种类似最小二乘的最优化算法，使得目标区域的概率值更大，而背景区域的概率值更小，从而更好地突出了图像上的显著目标。
(4)本发明利用超像素而不是单个像素点作为计算单元，极大地减少了运算量，近似将单个超像素下O(n2k)的计算方法减少到O(nk)，其中n代表源图像的像素总数。
(5)本发明由于采用了内聚性，内部完整性和内部一致性较好的超像素作为基本计算单位，很好地保证了显著目标的完整性和一致性，使得最终显著图更均匀，显著目标更突出。
附图说明
图1是本发明的实施例的基于边缘非相似性对比的图像显著性检测的工作流程图；
图2是原始图像；
图3是本发明的实施例的待检测源图像；
图4是本发明的实施例的经过计算边缘非相似性后的显著性图像；
图5是本发明的实施例的融合边缘非相似性和到边缘超像素最短路径值的显著性图像；
图6是本发明的实施例的经过最优化的最终显著度图像；
图7是本发明的实施例的理想显著图；
图8是本发明与现有十三种算法的直观比较图；
图9是本发明与现有十三种算法的Precision值；
图10是本发明与现有十三种算法的Recall值；
图11是本发明和现有十三种算法的MAE值；
图12是本发明和现有十三种算法的F-measure(beta＝1)值；
图13是本发明和现有十三种算法的F-measure(beta＝0.3)值。
具体实施方式
本发明的步骤是：
(1)对被检测图像进行预分割，利用超像素算法，将它分割成一系列紧密均匀的超像素块，每个超像素块都有一定的完整性和一致性；
(2)提取预分割之后的这些超像素块的一系列特征值，包括边缘超像素的序号，超像素的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标，超像素对在LAB空间的距离，超像素对在源图像上的欧几里得几何距离；
(3)根据上一步的超像素的特征值计算每个超像素值的边缘非相似性和超像素对之间的最短路径；
(4)融合超像素不相似性和到边缘超像素的最短路径长度值，计算出每个超像素属于背景区域的概率；
(5)通过我们建立的最优化方法对暂时计算出的显著性概率值进行优化，得到最终的超像素显著值；
(6)将超像素的值赋予相应的像素点，得到最终的显著图。
本发明的步骤(1)所述对待检测图像进行超像素分割，具体为采用SLIC算法，步骤是：
(1-1)将待检测图像从RGB空间转换到CIELab色彩空间；
(1-2)SLIC最主要的两个参数是compactness和spNumber，其中compactness的范围为[10,40]，pixelNumber的范围为[200,600]，假设源图像大小为H*W，则
(1-3)利用SLIC算法将图像分割成N≈spNumber个超像素。
本发明步骤(2)所述提取预分割之后的超像素块的一系列特征值，包括边缘超像素的序号，超像素的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标，超像素对在LAB空间的距离，超像素对在源图像上的距离；其具体步骤如下：
(2-1)计算边缘超像素的序号通过遍历所有的超像素，检查他们是否含有边缘像素点来得到；
(2-2)计算超像素的邻接矩阵，通过检查每个像素点的邻接像素点所属的超像素编号来确定超像素之间的邻接性；
(2-3)超像素在LAB色彩空间的平均颜色值通过计算每个超像素块内部所有像素值的平均值来确定；
(2-4)超像素的中心位置坐标通过超像素块内部所有超像素的坐标的平均值进行计算；
(2-5)超像素对在LAB空间的距离通过计算这两个超像素的LAB色彩空间的平均颜色值的欧几里得距离来确定，假设两个超像素a和b的LAB色彩空间平均颜色值为(La,Aa,Ba)和(Lb,Ab,Bb)：
Dcolor(a，b)表示两个超像素a和b在LAB空间的距离，即两个超像素a和b的LAB色彩空间的平均颜色值的欧几里得距离；La和Lb分别表示两个超像素a和b的亮度；Aa和Ab分别表示两个超像素a和b的红绿之间的位置；Ba和Bb分别表示两个超像素a和b的蓝黄之间的位置；
(2-6)超像素对在源图像上的距离是他们中心位置坐标的欧几里得距离
Dposition(a，b)表示两个超像素a和b在源图像上的距离，即两个超像素a和b中心位置坐标的欧几里得距离。
本发明步骤(3)所述计算每个超像素块的边缘非相似性值和超像素对之间的最短路径，将预分割之后的图像看做无向图，G＝(V,E)，其中G表示这个无向图，V表示无向图的结点，每个结点对应一个超像素，E表示相邻超像素也即相邻结点之间的权值，相邻超像素权值由以下公式确定：
则这两项特征的计算步骤如下：
(3-1)超像素的边缘非相似性值：
D(a，b)＝Dcolor*log(Dposition)
(3-2)超像素对之间的最短路径：
经过超像素的边缘非相似性的计算后显著性图像如图4所示。
我们通过实验发现超过98％的边缘像素属于背景区域，如果我们利用这个先验知识进行显著目标检测将会有很好的效果，我们将每个超像素与边缘超像素进行比较，如果这个非相似性越高就说明这块超像素与图像背景的非相似性就越高，也就具有更高的显著度值，随后我们考虑到距离当前超像素最近的边缘超像素对于当前超像素属于显著目标的概率有更大的影响，我们对每块超像素找到它到边缘超像素的最短路径。
本发明的步骤(4)所述融合超像素不相似性和到边缘超像素的最短路径长度值，计算出每个超像素属于背景区域的概率，融合的过程如图5所示，融合的公式如下，其中第一项为到边缘超像素的最短路径长度值，具体为：
将超像素的SD值标准化得到每个超像素的显著目标概率：
Pf(a)＝normalize(SD(a))
同时，每个超像素的背景概率则是：
Pb(a)＝1-Pf(a)。
由于边缘的非相似性和到边缘超像素的最短路径长度这两种度量不是相同的单位，所以他们的融合采用乘法更为合适。由于求显著性值的过程就是对每块超像素属于显著目标的概率进行度量，所以我们将计算得到的SD值标准化到[0,1]得到超像素属于显著目标的概率。这一步的结果如图5所示。
本发明的步骤(5)所述通过我们建立的最优化方法对暂时计算出的显著性概率值进行优化，得到最终的超像素显著值，我们建立关于最终显著度值的最优化方程：
W(a，b)＝exp(-Dcolor(a，b)/2s2)
将关于N块超像素的最优化方程融合在一起写成矩阵的形式则是：
解这个最优化方程我们可以得到S*作为最终的显著度值：
S*＝(D-W+P′f+P′b)-1P′f＝(D-W+I)-1P′f。
在这个最优化公式中一共有三项，第一项的目的是使显著目标区域的概率值接近于1，第二项的目的是使背景区域的概率值更接近0，第三项属于平滑项，用来平滑相近的超像素之间的不平滑的过渡，使图像看起来更均匀，显著目标区域的一致性和完整性更强，一定程度上也能抑制噪声。
本发明的步骤(6)所述将超像素的值赋予相应的像素点，得到最终的显著图，对于上一步得到的S*，将它归一化到[0,1]，每个像素点的显著值就是其对应的超像素的显著度的归一化的值，最终得到显著图。
本实施得到的示例图像的最终显著图如图6所示。图7为微软研究院标准的理想显著图，其中白色区域为显著区域，通过比较图6和图7我们发现我们的结果与理想显著图相吻合，误差较小，本发明有着良好的显著性检测效果。本实施例得到的最终结果是灰度显著图，可以归一化到[0,1]区间或者[0,255]区间方便显示和存储。最终显著图综合考虑了颜色和位置信息，结合边缘像素点的先验知识，均匀地突出了显著目标区域，保证了显著目标的完整性和一致性，对噪声有着很高的鲁棒性，达到了理想的效果。
上述实施例为本发明较好的实施方式，但本发明实施方式不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
实践例1：和其他十三种算法的比较
主要和以下13种算法进行了比较：IT,GB,MZ,SR,AC,IG,SIM,GS,SF,ES,MR,SA,LR这些算法来源如下：
IT：A model of saliency based viausl attention for rapid sceneanalysis,1998
MZ：Contrast-based image attention analysis by using fuzzy growing,2003
GB：graph based saliency detection，2007
SR:saliency detection:a spectral residual approach,cvpr2007
AC:salient region detection and segmentation,icvs2008
IG：frequency tuned saliency detection，cvpr2009
SIM:saliency estimation using a non-parametric low-level visionmodel,cvpr 2011
GS：geodesic saliency detection，cvpr2012
SF:saliency filters:contrast based filtering for salient regiondetection,cvpr2012
ES:Efficient Salient Region Detection with Soft Image Abstraction,ICCV 2013
MR:saliency detection via graph based manifold ranking,cvpr 2013
SA:Saliency Aggregation A Data-driven Approach,cvpr 2013
LR:A unified approach to salient object detection via low rank matrixrecovery,cvpr 2012。
直观比较：(见图8)
从左到右为源图像，IT,GB,MZ,SR,AC,IG,SIM,GS,SF,ES,MR,SA,LR，我们的算法产生的图像，标准显著图可以看出本发明算法十分接近标准显著图，直观效果在这些方法中最为突出。保证了显著目标的完整性和一致性，最终图像的噪声比较小，与标准显著图的误差也比较小。
实践例2：Precision和Recall
Precision和Recall分别代表查准率和查全率，这两项数值越高就意味着算法的精确度越高，利用自适应阈值分割的Precision和Recall数值由以下步骤得到：
1，将显著图标准化到[0，255]之间；
2，通过自适应阈值分割显著图得到二值图像；
3，将这个二值图像与标准显著图对比来得到一对PR值。
自适应阈值Thresh由以下公式得到：
这13种方法和本申请算法的自适应阈值的Precision和Recall统计表和图9和图10如下：
| P | R | |
| ours | 0.8039 | 0.8876 |
| MR | 0.7213 | 0.7959 |
| SA | 0.8024 | 0.7540 |
| ES | 0.6824 | 0.7862 |
| GS | 0.7160 | 0.7132 |
| SF | 0.3888 | 0.8305 |
| IT | 0.0677 | 0.6573 |
| IG | 0.4284 | 0.5024 |
| SR | 0.0604 | 0.4089 |
| AC | 0.1875 | 0.4569 |
| GB | 0.2515 | 0.4182 |
| MZ | 0.2027 | 0.4027 |
| SIM | 0.6612 | 0.2729 |
| LR | 0.6010 | 0.5211 |
从图中可以看出，无论是查全率还是查准率，本算法都比其他方法要优秀。
实践例3：MAE值
MAE(Mean absolute error)指的是显著图和标准显著图之间的误差，这个值越小代表显著图越接近标准结果。(图11)
| MAE | |
| ours | 0.0622 |
| MR | 0.0918 |
| SA | 0.0936 |
| ES | 0.1016 |
| GS | 0.1140 |
| SF | 0.1356 |
| IT | 0.1938 |
| IG | 0.2046 |
| SR | 0.2056 |
| AC | 0.2089 |
| GB | 0.2181 |
| MZ | 0.2216 |
| SIM | 0.4022 |
| LR | 0.1850 |
可以看出本发明的MAE值在这些算法中是最小的，也即本发明结果最贴近标准结果。认为显著度的计算的最终结果就是要尽可能的产生一副可以用于显著目标分割的二值图像，因为一般的显著性算法的应用就是用这种方法来提取显著目标。通过一系列的最优化过程将显著区域的概率变得更接近1而背景区域的概率值更接近0，从而得到最终的显著图，就可以达到这种目的。
实践例4：F-measure
F-measure测评方法是从Precision和Recall发展出来的，他是综合考虑Precision和Recall的一种度量。得到F-measure参数需要我们将显著图通过自适应阈值分割算法进行二值化变成黑白图像。然后与标准显著图进行比较得到相应的P，R和F值。相应的F值越大，代表算法的结果越优秀。(图12和图13)
| F-measure(beta＝1) | f-measure(beta＝0.3) | |
| ours | 0.8267 | 0.8218 |
| MR | 0.7334 | 0.7372 |
| SA | 0.7616 | 0.7907 |
| ES | 0.7071 | 0.7038 |
| GS | 0.6936 | 0.7154 |
| SF | 0.504 | 0.4432 |
| IT | 0.1185 | 0.0854 |
| IG | 0.4374 | 0.4435 |
| SR | 0.099 | 0.0752 |
| AC | 0.2486 | 0.217 |
| GB | 0.2907 | 0.277 |
| MZ | 0.2542 | 0.2289 |
| SIM | 0.3619 | 0.4978 |
| LR | 0.5342 | 0.5879 |
从图中可以看出，两种常用的β值下的F-measure参数都有很好的效果。证明了本发明的有效性。
本发明之所以能取得较好的结果主要是因为本算法保证在算法的进行中坚持以下几条显著性计算当中必须坚守的准则：
1，显著图必须与源图像有相同的分辨率和大小，如果我们想将显著图应用到实际当中，而又不损失图像的高频细节，就必须坚持这一原则，本算法提取特征的方法直接从源图像中提取而不是通过建立高斯金字塔的方式，这样就能保证特征图的分辨率和源图像一致，最终保证显著图的分辨率和大小与源图像一致。
2，必须保证显著目标的完整性和一致性，只有完整的目标才有实际意义，一个残缺的目标不利于下一步的识别。而目标内部的一致性也保证了目标被下一步处理的准确性。我们的算法通过超像素的方法进行预分割，使得显著目标的完整性和一致性得到了保障。
3，我们应当将显著目标整体都凸显出来，并且提供完整的目标边缘。我们通过计算边缘非相似性来获得每个超像素的显著性值，这个方法使得显著目标整体都能获得较高的显著性值，从而整体都得到了加强显示。
Claims (7)
1.一种基于边缘非相似性对比的图像显著性检测方法，其特征在于：其步骤是：
(1)对被检测图像进行预分割，利用超像素算法，将它分割成一系列紧密均匀的超像素块，每个超像素块都有一定的完整性和一致性；
(2)提取预分割之后的这些超像素块的一系列特征值，包括边缘超像素的序号，超像素的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标，超像素对在LAB空间的距离，超像素对在源图像上的欧几里得几何距离；
(3)根据上一步的超像素的特征值计算每个超像素值的边缘非相似性和超像素对之间的最短路径；
(4)融合超像素边缘非相似性和到边缘超像素的最短路径长度值，计算出每个超像素属于背景区域的概率；
(5)通过对步骤(4)的概率进行优化，得到最终的超像素显著值；
(6)将超像素的值赋予相应的像素点，得到最终的显著图。
2.根据权利要求1所述的基于边缘非相似性对比的图像显著性检测方法，其特征在于：步骤(1)所述利用超像素算法对被检测图像进行预分割，具体为采用SLIC算法，步骤是：
(1-1)将待检测图像从RGB空间转换到CIELab色彩空间；
(1-2)SLIC最主要的两个参数是compactness和spNumber，compactness的范围为
[10,40]，pixelNumber的范围为[200,600]，假设源图像大小为H*W，则
(1-3)利用SLIC算法将图像分割成N≈spNumber个超像素。
3.根据权利要求1所述的基于边缘非相似性对比的图像显著性检测方法，其特征在于：步骤(2)所述提取预分割之后的超像素块的一系列特征值，包括边缘超像素的序号，超像素的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标，超像素对在LAB空间的距离，超像素对在源图像上的距离；其具体步骤如下：
(2-1)计算边缘超像素的序号通过遍历所有的超像素，检查他们是否含有边缘像素点来得到；
(2-2)计算超像素的邻接矩阵，通过检查每个像素点的邻接像素点所属的超像素编号来确定超像素之间的邻接性；
(2-3)超像素在LAB色彩空间的平均颜色值通过计算每个超像素块内部所有像素值的平均值来确定；
(2-4)超像素的中心位置坐标通过超像素块内部所有超像素的坐标的平均值进行计算；
(2-5)超像素对在LAB空间的距离通过计算这两个超像素的LAB色彩空间的平均颜色值的欧几里得距离来确定，假设两个超像素a和b的LAB色彩空间平均颜色值为(La,Aa,Ba)和(Lb,Ab,Bb)：
Dcolor(a，b)表示两个超像素a和b在LAB空间的距离，即两个超像素a和b的LAB色彩空间的平均颜色值的欧几里得距离；La和Lb分别表示两个超像素a和b的亮度；Aa和Ab分别表示两个超像素a和b的红绿之间的位置；Ba和Bb分别表示两个超像素a和b的蓝黄之间的位置；(2-6)超像素对在源图像上的距离是他们中心位置坐标的欧几里得距离
Dposition(a，b)表示两个超像素a和b在源图像上的距离，即两个超像素a和b中心位置坐标的欧几里得距离。
4.根据权利要求3所述的基于边缘非相似性对比的图像显著性检测方法，其特征在于：步骤(3)所述计算每个超像素块的边缘非相似性值和超像素对之间的最短路径，将预分割之后的图像看做无向图，G＝(V,E)，其中G表示这个无向图，V表示无向图的结点，每个结点对应一个超像素，E表示相邻超像素也即相邻结点之间的权值，相邻超像素权值由以下公式确定：
则这两项特征的计算步骤如下：
(3-1)超像素的边缘非相似性值：
D(a，b)＝Dcolor*log(Dposition)
(3-2)超像素对之间的最短路径：
5.根据权利要求4所述的基于边缘非相似性对比的图像显著性检测方法，其特征在于：步骤(4)所述融合超像素边缘非相似性和到边缘超像素的最短路径长度值，计算出每个超像素属于背景区域的概率，融合的公式如下，其中第一项为到边缘超像素的最短路径长度值，具体为：
L(a，Bi)表示超像素a与集合B中第i个边缘超像素Bi之间的最短路径；D(a，Bi)表示超像素a与边缘超像素Bj的非相似度；
将超像素的SD值标准化得到每个超像素的显著目标概率：
Pf(a)＝nnormalize(SD(a))
同时，每个超像素的背景概率则是：
Pb(a)＝1-Pf(a)。
6.根据权利要求5所述的基于边缘非相似性对比的图像显著性检测方法，其特征在于：步骤(5)所述通过对步骤(4)的概率进行优化，得到最终的超像素显著值，建立关于最终显著度值的最优化方程：
W(a，b)＝exp(-Dcolor(a，b)/2s2)
Dcolor(a，b)表示两个超像素a和b对在LAB空间的距离，即两个超像素a和b的LAB色彩空间的平均颜色值的欧几里得距离，Pf(a)表示超像素块a属于前景的概率，Pb(a)表示超像素块a属于背景的概率；
将关于N块超像素的最优化方程融合在一起写成矩阵的形式则是：
解这个最优化方程我们可以得到S*作为最终的显著度值：
S*＝(D-W+P′f+P′b)-1P′f＝(D-W+I)-1P′f，其中D是指D(a，b)。
7.根据权利要求6所述的基于边缘非相似性对比的图像显著性检测方法，其特征在于：对于得到的S*，将它归一化到[0,1]，每个像素点的显著值就是其对应的超像素的显著度的归一化的值，最终得到显著图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410771507.7A CN105809651B (zh) | 2014-12-16 | 2014-12-16 | 基于边缘非相似性对比的图像显著性检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410771507.7A CN105809651B (zh) | 2014-12-16 | 2014-12-16 | 基于边缘非相似性对比的图像显著性检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105809651A CN105809651A (zh) | 2016-07-27 |
| CN105809651B true CN105809651B (zh) | 2019-02-22 |
Family
ID=56981025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410771507.7A Active CN105809651B (zh) | 2014-12-16 | 2014-12-16 | 基于边缘非相似性对比的图像显著性检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105809651B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651937B (zh) * | 2016-10-19 | 2019-10-18 | 成都电科智达科技有限公司 | 一种基于超像素和场景预测的小型无人机目标检测方法 |
| CN106780430B (zh) * | 2016-11-17 | 2019-08-09 | 大连理工大学 | 一种基于被包围状态和马尔可夫模型的图像显著性检测方法 |
| CN108073937A (zh) * | 2016-11-18 | 2018-05-25 | 北京体基科技有限公司 | 一种在图像中识别手部区域的方法及装置 |
| CN108073882A (zh) * | 2016-11-18 | 2018-05-25 | 北京体基科技有限公司 | 基于连通路径的手部区域识别方法及装置 |
| CN108073878A (zh) * | 2016-11-18 | 2018-05-25 | 北京体基科技有限公司 | 基于预定区域和连通路径识别手部区域的方法及装置 |
| CN108073870A (zh) * | 2016-11-18 | 2018-05-25 | 北京体基科技有限公司 | 基于种子区域和连通路径识别手部区域的方法及装置 |
| CN108073935A (zh) * | 2016-11-18 | 2018-05-25 | 北京体基科技有限公司 | 基于临近像素和连通路径识别手部区域的方法及装置 |
| CN107729903A (zh) * | 2017-10-17 | 2018-02-23 | 内蒙古科技大学 | 基于区域概率统计和显著性分析的sar图像目标检测方法 |
| CN108230340B (zh) * | 2018-02-05 | 2021-11-26 | 南京邮电大学 | 一种基于mmtd的slic超像素提取权值确定方法及超像素提取方法 |
| CN109101978B (zh) * | 2018-07-06 | 2021-08-24 | 中国地质大学（武汉） | 基于加权低秩矩阵恢复模型的显著性目标检测方法与系统 |
| CN111583279A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于pcba的超像素图像分割方法 |
| CN112446417B (zh) * | 2020-10-16 | 2022-04-12 | 山东大学 | 基于多层超像素分割的纺锤形果实图像分割方法及系统 |
| CN113298763B (zh) * | 2021-05-09 | 2022-08-19 | 复旦大学 | 一种基于显著性窗口策略的图像质量评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136766A (zh) * | 2012-12-28 | 2013-06-05 | 上海交通大学 | 一种基于颜色对比和颜色分布的物体显著性检测方法 |
| CN103927758A (zh) * | 2014-04-30 | 2014-07-16 | 重庆大学 | 一种基于对比度与角点最小凸包的显著性检测方法 |
| CN103971365A (zh) * | 2014-04-16 | 2014-08-06 | 宁波大学 | 一种图像显著图提取方法 |
| US8879855B2 (en) * | 2012-08-17 | 2014-11-04 | Nec Laboratories America, Inc. | Image segmentation for large-scale fine-grained recognition |
| CN104134217A (zh) * | 2014-07-29 | 2014-11-05 | 中国科学院自动化研究所 | 一种基于超体素图割的视频显著物体分割方法 |
-
2014
- 2014-12-16 CN CN201410771507.7A patent/CN105809651B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8879855B2 (en) * | 2012-08-17 | 2014-11-04 | Nec Laboratories America, Inc. | Image segmentation for large-scale fine-grained recognition |
| CN103136766A (zh) * | 2012-12-28 | 2013-06-05 | 上海交通大学 | 一种基于颜色对比和颜色分布的物体显著性检测方法 |
| CN103971365A (zh) * | 2014-04-16 | 2014-08-06 | 宁波大学 | 一种图像显著图提取方法 |
| CN103927758A (zh) * | 2014-04-30 | 2014-07-16 | 重庆大学 | 一种基于对比度与角点最小凸包的显著性检测方法 |
| CN104134217A (zh) * | 2014-07-29 | 2014-11-05 | 中国科学院自动化研究所 | 一种基于超体素图割的视频显著物体分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 视觉显著目标的自适应分割;赵宏伟，陈霄，刘萍萍，耿庆田;《光学精密工程》;20130228(第2期);第531-838页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105809651A (zh) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105809651B (zh) | 基于边缘非相似性对比的图像显著性检测方法 | |
| Wei et al. | Toward automatic building footprint delineation from aerial images using CNN and regularization | |
| Fan et al. | Pothole detection based on disparity transformation and road surface modeling | |
| US9619691B2 (en) | Multi-view 3D object recognition from a point cloud and change detection | |
| Lin et al. | Line segment extraction for large scale unorganized point clouds | |
| Zamir et al. | Accurate image localization based on google maps street view | |
| US9142011B2 (en) | Shadow detection method and device | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN105005760B (zh) | 一种基于有限混合模型的行人再识别方法 | |
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
| CN107358189B (zh) | 一种基于多视目标提取的室内环境下物体检测方法 | |
| CN108537816A (zh) | 一种基于超像素和背景连接先验的显著物体分割方法 | |
| CN109583493A (zh) | 一种基于深度学习的信用卡检测和数字识别方法 | |
| CN114283343B (zh) | 基于遥感卫星图像的地图更新方法、训练方法和设备 | |
| Manandhar et al. | Segmentation based building detection in high resolution satellite images | |
| CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
| CN106897683A (zh) | 一种遥感图像的地物检测方法及系统 | |
| Elashry et al. | Feature matching enhancement using the graph neural network (gnn-ransac) | |
| Dong et al. | Building Extraction from High Spatial Resolution Remote Sensing Images of Complex Scenes by Combining Region-Line Feature Fusion and OCNN | |
| KR20160148806A (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
| Joshi et al. | Automatic rooftop detection using a two-stage classification | |
| Moussa et al. | Manmade objects classification from satellite/aerial imagery using neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |