CN109509191A - 一种图像显著性目标检测方法及系统 - Google Patents
一种图像显著性目标检测方法及系统 Download PDFInfo
- Publication number
- CN109509191A CN109509191A CN201811361543.0A CN201811361543A CN109509191A CN 109509191 A CN109509191 A CN 109509191A CN 201811361543 A CN201811361543 A CN 201811361543A CN 109509191 A CN109509191 A CN 109509191A
- Authority
- CN
- China
- Prior art keywords
- saliency
- image
- matrix
- map
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 50
- 239000013598 vector Substances 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000017105 transposition Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像显著性目标检测方法及系统,具体提出了一个自下而上的通过相似图的学习和加权流行排序的显著性检测方法,引入一种无监督的学习方法来学习基于图像数据表象的相似图,通过将图像边界超像素设置为背景种子,利用相似矩阵中隐含的全局显著性置信度来对显著性排序进行加权。在这种方式下,具有较高显著性置信度的超像素将在最终显著图中被分配较高的显著性值,并且可以有效地抑制背景超像素。在三个数据集上进行综合评估表明,本发明的方法及系统普遍优于其他无监督的基于图的显著性检测方法。
Description
技术领域
本发明涉及计算机图形图像处理技术领域,更具体地说,涉及一种基于相似图学习和加权流行排序的图像显著性目标检测方法与系统。
背景技术
人类可以快速识别特定场景中的视觉特色部分,但是如何使计算机以快速和无监督的方式完成这项任务是一个具有挑战性的问题,在计算机视觉领域也称为“视觉显著性检测”。
视觉显著性长期以来一直是神经科学、心理学和视觉感知的基础研究问题。显著目标检测作为视觉显著性检测的一个重要和有用的分支,旨在定位和分割场景中信息最丰富的前景物体。由于其在计算机视觉领域的广泛应用,如目标检测与识别、图像分类与检索、目标协同分割以及基于内容的图像编辑等,近十五年来一直是一个蓬勃发展的研究课题。
在过去的几十年中,已经提出了许多显著性检测模型来计算给定图像的显著图并检测显著目标。这些模型可以主要分为两类:自上而下的方法和自下而上的方法。自上而下的模型是任务驱动的,通常利用高层次的人类感知知识,如上下文,语义和背景先验等来指导显著性检测。然而,由于对象和任务类型的高度多样性,自上而下模型的泛化和可拓展性受到限制。自下而上模型是受刺激驱动的,通常利用低级图像属性(如颜色,梯度,边缘和边界)来构建显著图。
与传统方法相比,深度神经网络在显著性检测方面也取得了最先进的成果。成功源于深层体系结构的可表达性和能力,这有助于学习复杂的高级特征和模型,以便从训练样本直接说明交互关系。
近年来,由于图论算法的简单性和高效性,越来越多的基于图论的显著性检测方法被提出并取得了巨大的成功。Harel等人提出了基于图的视觉显著性(GBVS),这是一种基于图论的自下而上的显著性模型,通过不相似性度量来提取显著性信息。
随机游走模型已被用于自动显著区域提取方法中,有效检测图像中最突出物体的大致位置。Chang等人通过构建一个图模型引入了可计算的框架,来融合目标与区域显著性。Yang等人利用输入图像的四个边界作为背景种子,将显著性检测转换为基于图的流行排序过程。考虑到图像细节和基于区域的评估,Li等人提出了一种正则随机游走排序从基于超像素的背景和前景显著性评估来制定像素方面的显著性图。Wang等人提出了一种能够有效捕捉局部和全局显著性线索的新型图模型,显著性检测也是通过流行排序来实现的。
上面提到的基于图的显著性检测模型大多数可以被看作是排序或标签传播问题,并且这些算法普遍优于大多数最新的显著性检测方法,计算效率更高。然而,通过手动设置的函数往往对参数敏感,并且构建的图可能无法揭示从不同得图像元素提取的特征向量之间的本质联系。另外,在显著性排序过程中,没有考虑每个图像元素的全局显著性置信度。
发明内容
为了解决上述技术问题,本发明基于相似图的学习和加权流行排序,提出了一种自下而上的显著性检测方法。与以前的基于图论的显著性检测方法不同,在发明以无监督方式学习相似图,而不是通过手动设置函数来计算,通过使用学习到的相似图,两级加权流行排序得到最终的显著图。
具体来说,本发明首先利用边界优先,选择背景排序种子来执行初始背景查询。然后,得到的显著图进一步用于生成前景排序种子以执行前景查询,获得最终的显著图。在排序过程中,相似图中隐含的全局显著性置信度用于对排序函数加权,这使得具有较高显著性置信度的图像区域在最终结果中被分配更高的显著性分数。
本发明解决其技术问题所采用的技术方案是:构造一种图像显著性目标检测方法,包含如下步骤:
S1、对于给定的输入图像I,运用超像素分割方法将它分割成多个不重叠的超像素数据集X;
S2、将输入图像I的边界区域设置为背景种子,使用传统的流行排序模型得到一个粗略的显著性图;
S3、基于图像区域表象的无监督的相似图学习方法,学习一个所述输入图像I的相似矩阵,在学习相似矩阵时用Laplacian正则化来确保图像区域之间的局部平滑;
S4、基于得到的粗略的显著性图,提取一些较高显著性值的区域作为前景种子,通过已学习到的相似矩阵中得到的每个区域的显著性置信度,利用加权流行排序模型,从提取的前景种子中估计出最终的显著性图。
在本发明的图像显著性目标检测方法中,步骤S2中,使用传统的流行排序模型得到一个粗略的显著性图为的原理为:
对于超像素数据集X={x1,…,xl,xl+1,…,xn}∈Rd×n,其中d是每个数据的维数,而n是数据点的总数;数据点的一部分被标记为查询种子,其余的需要根据它们与查询种子的相关性进行排序,即用一个指示向量y=[y1,…,yn]T来描述,如果xi是一个查询,那么yi=1,否则yi=0;
流行排序的目的是找到一个排序函数F:X→Rn,为每个数据点xi分配一个等级值fi,记排序函数F的向量形式为:f=[f1,…fn]T;
在数据集上建立了带有节点V和边E的图G=(V,E),其中节点V对应于X的数据点,而边缘E则由一个相似矩阵A=[ai,j]n×n加权;图G的度矩阵是D=diag{d11,…,dnn},aij表示相似矩阵A=[ai,j]n×n中的元素;
通过求解以下优化问题,得到了查询的最优排序解决方案:
其中,μ表示预设的常数。
在本发明的图像显著性目标检测方法中,步骤S3中,相似矩阵是根据下述优化问题得出:
其中,特征矩阵X={x1,…,xn}∈Rd×n,n为超像素个数,xi表示对于每个超像素i,提取颜色和纹理信息,形成一个d维区域特征向量xi∈Rd,W={w1,…,wn}∈Rn×n,wi是特征向量xi的用不同系数的其他特征向量的线性组合表示时的系数,F表示F范,λ和β是正平衡参数,L是一个给定的权重矩阵Z的Laplacian形式:L=DZ-Z,DZ是一个对角矩阵:T表示转置,tr表示对角线元素之和,权重矩阵Z=A。
在本发明的图像显著性目标检测方法中,对于优化问题:
求解方案是采用Matlab的Sylvester函数求解下述方程得到W:
(XTX+λI)W+W(2βL)=XTX;
其中,I表示n×n的单位矩阵。
在本发明的图像显著性目标检测方法中,步骤S4中显著性置信度较高的超像素在最后的显著性图中,将被赋予更高的显著性值,且通过Otsu计算阈值T,显著性值小于T的区域设为锚点;最终的著性图根据如下优化问题的结果得到:
其中,n为超像素个数,m为预设的常数,m决定初始标签上的显著性置信度,将每个区域i的显著性置信度作为其在相似图上的度值dii,μ表示预设的常数,如果i是锚点,则δi=1,否则δi=0。
本发明为解决其技术问题,还提供了一种图像显著性目标检测系统,包含如下模块:
超像素分割模块,用于对于给定的输入图像I,运用超像素分割方法将它分割成多个不重叠的超像素区域;
粗略显著性图处理模块,用于将输入图像I的边界区域设置为背景种子,使用传统的流行排序模型得到一个粗略的显著性图;
相似矩阵学习模块,用于基于图像区域表象的无监督的相似图学习方法,学习一个所述输入图像I的相似矩阵,在学习相似矩阵时用Laplacian正则化来确保图像区域之间的局部平滑;
最终显著性图处理模块,用于基于得到的粗略的显著性图,提取一些较高显著性值的区域作为前景种子,通过已学习到的相似矩阵中得到的每个区域的显著性置信度,利用加权流行排序模型,从提取的前景种子中估计出最终的显著性图。
进一步地,在本发明的图像显著性目标检测系统中,粗略显著性图处理模块中,使用传统的流行排序模型得到一个粗略的显著性图为的原理为:
对于超像素数据集X={x1,…,xl,xl+1,…,xn}∈Rd×n,其中d是每个数据的维数,而n是数据点的总数;数据点的一部分被标记为查询种子,其余的需要根据它们与查询种子的相关性进行排序,即用一个指示向量y=[y1,…,yn]T来描述,如果xi是一个查询,那么yi=1,否则yi=0;
流行排序的目的是找到一个排序函数F:X→Rn,为每个数据点xi分配一个等级值fi,记排序函数F的向量形式为:f=[f1,…fn]T;
在数据集上建立了带有节点V和边E的图G=(V,E),其中节点V对应于X的数据点,而边缘E则由一个相似矩阵A=[ai,j]n×n加权;图G的度矩阵是D=diag{d11,…,dnn},aij表示相似矩阵A=[ai,j]n×n中的元素;
通过求解以下优化问题,得到了查询的最优排序解决方案:
其中,μ表示预设的常数。
进一步地,在本发明的图像显著性目标检测系统中,相似矩阵学习模块中,相似矩阵是根据下述优化问题得出:
其中,特征矩阵X={x1,…,xn}∈Rd×n,n为超像素个数,xi表示对于每个超像素i,提取颜色和纹理信息,形成一个d维区域特征向量xi∈Rd,W={w1,…,wn}∈Rn×n,wi是特征向量xi的用不同系数的其他特征向量的线性组合表示时的系数,F表示F范,λ和β是正平衡参数,L是一个给定的权重矩阵Z的Laplacian形式:L=DZ-Z,DZ是一个对角矩阵:T表示转置,tr表示对角线元素之和,权重矩阵Z表示=A。
进一步地,在本发明的图像显著性目标检测系统中,对于优化问题:
求解方案是采用Matlab的Sylvester函数求解下述方程得到W:
(XTX+λI)W+W(2βL)=XTX;
其中,I表示n×n的单位矩阵。
进一步地,在本发明的图像显著性目标检测系统中,最终显著性图处理模块中显著性置信度较高的超像素在最后的显著性图中,将被赋予更高的显著性值,且通过Otsu计算阈值T,显著性值小于T的区域设为锚点;最终的著性图根据如下优化问题的结果得到:
其中,n为超像素个数,m为预设的常数,m决定初始标签上的显著性置信度,将每个区域i的显著性置信度作为其在相似图上的度值dii,μ表示预设的常数,如果i是锚点,则δi=1,否则δi=0。
实施本发明的图像显著性目标检测方法及系统,具有以下有益效果:提出了一个自下而上的通过相似图的学习和加权流行排序的显著性检测方法,引入一种无监督的学习方法来学习基于图像数据表象的相似图。通过将图像边界超像素设置为背景种子,利用相似矩阵中隐含的全局显著性置信度来对显著性排序进行加权,在这种方式下,具有较高显著性置信度的超像素将在最终显著图中被分配较高的显著性值,并且可以有效地抑制背景超像素,在三个数据集上进行综合评估表明,本发明的算法普遍优于其他无监督的基于图的显著性检测方法。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为本发明实施例提供的基于相似图的学习和加权的流行排序的显著性检测模型的总框架叙述。
图2为无监督的相似图学习算法图。
图3是我们的模型与一些最先进的方法在不同数据集上的表现的比较。
图4是不同的显著性检测方法在DUT-OMRON数据集上的Precision-recall曲线和F-measure曲线。
图5、图6、图7分别是不同的方法在DUT-OMRON数据集上的MAE值、AUC值、和OR值。
图8为不同的显著性检测方法在ECSSD数据集上的Precision-recall曲线和F-measure曲线。
图9、图10、图11分别是不同的方法在ECSSD数据集上的MAE值、AUC值、和OR值。
图12为不同的显著性检测方法在SOD数据集上的Precision-recall曲线和F-measure曲线。
图13、图14、图15分别是不同的方法在SOD数据集上的MAE值、AUC值、和OR值。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
如图1所示,本发明实例中,提出的基于相似图学习和加权流行排序的图像显著性目标检测方法,包括步骤:
步骤1,对于给定的输入图像I,本发明首先运用超像素分割方法(SLIC)将它分割成n个不重叠的超像素区域X={x1,…,xl,xl+1,…,xn}。
步骤2,将图像边界区域设置为背景查询,使用传统的流行排序模型得到一个粗略的显著性图。具体步骤包括:
具体步骤为:
1)对于给定的数据集X={x1,…,xl,xl+1,…,xn}∈Rd×n,其中d是每个数据的维数,而n是数据点的总数。数据点的一部分被标记为查询种子,其余的需要根据它们与查询种子的相关性进行排序。这可以用一个指示向量y=[y1,…,yn]T来描述,如果xi是一个查询,那么yi=1,否则yi=0。
2)流行排序的目的是找到一个排序函数F:X→Rn,它为每个数据点xi分配一个等级值fi,它可以写成向量形式f=[f1,…fn]T。
3)在数据集上建立了带有节点V和边E的图G=(V,E),其中节点V对应于X的数据点,而边缘E则由一个相似矩阵A=[ai,j]n×n加权。G的度矩阵是D=diag{d11,…,dnn},其中aij表示相似矩阵A=[ai,j]n×n中的元素。
4)通过求解以下优化问题,得到了查询的最优排序解决方案:
其中,μ表示预设的常数。
步骤3,基于图像区域表象的无监督的相似图学习方法,学习一个相似矩阵,在学习时用Laplacian正则化来确保图像区域之间的局部平滑。
具体过程为:
对于每个超像素,本发明提取颜色和纹理信息,形成一个d维区域特征向量xi∈Rd,然后对所有超像素的特征向量进行集合,形成一个特征矩阵X={x1,…,xn}∈Rd×n。
基于自表达理论,每个特征向量都可以用不同系数的其他特征向量的线性组合表示。目标是获得系数矩W={w1,…,wn}∈Rn×n,其中wi是xi的系数。传统的求W的方法为:
式中,F表示矩阵的F范,p表示矩阵的p范。
通常相似的原始数据的系数向量也应该是相似的。具体地说,如果xi与xj非常相似,那么相应的系数向量wi和wj应该彼此接近。根据Laplacian算子平滑度标准约束,对于所有的数据对,这个标准可以写成:zij表示超像素i和j的相似度值,T表示转置。
通过考虑Laplacian平滑,本发明的相似图学习模型如下:
LW是相似矩阵W的Laplacian形式,λ和β是两个正平衡参数。在这里,强制最小化以提高计算效率,如果LW是固定的,那么上式的最小化问题将是凸的,并且有一个具有全局最小值的封闭形式解。然而,LW是未知的。为了解决这一问题,本发明提出了一个递归方法得到最优系数矩阵(即相似矩阵)。具体地说,利用任意的传统的图构造方法来计算粗权矩阵Z,其Laplacian矩阵L=Dz-Z,权重矩阵Z表示A,然后通过最小化下面的问题来估计系数矩阵:
其中,
W的解可以通过对H(W)对W求微分来得到:
令上式等于零,有:(XTX+λI)W+W(2βL)=XTX,。I一个n×n的单位矩阵,本式是一个Sylvester方程,本发明用Matlab的Sylvester函数来得到W。
最后得到了相似矩阵学得相似矩阵的整个算法过程如图2所示。具体包括:
A1、获取初始特征矩阵X和相似矩阵A0;
A2、初始化参数λ和β,迭代次数t初始化为0,并初始化最大差值ε;
A3、计算A的图拉普拉斯算子Lt=Dt-At;
A4、由公式计算出Wt;
A5、通过更新A;将t更新为t+1;
A6、返回至步骤A3直至时结束;
A7、输出相似矩阵A。
步骤4,基于得到的粗略的显著性图,本发明提取了一些显著性值较高的区域作为前景种子。通过已学习到的相似矩阵,得到的每个区域的显著性置信度,利用加权流行排序模型,从提取的前景种子中估计出最终的显著性图。具体过程为:
为了充分捕捉显著区域,本发明简单地设置粗略显著图中一半的显著值较高的超像素作为前景种子,每个区域的最终显著值是通过前景种子的显著性置信度加权排序得到的。
本发明将每个区域i的显著性置信度作为其在相似图上的度值dii进行建模。给定学习到的相似矩阵A,其中Aij代表了区域i与j的相似性。对于A的度矩阵,如果图像区域i属于显著目标部分,那么dii应该是小的。此属性隐含在相似矩阵中,可作为不同图像区域的显著性置信度。
在考虑显著性信赖度的前提下,显著性置信度较高(具有较小程度的值)的超像素在最后的显著性图中,将被赋予更高的显著性值。此外,为了减少排序错误,本发明还将粗略显著图中具有较小的显著性值的一部分加权排序过程中设置为锚点。具体地说,在本发明获得粗略显著性图后,本发明通过Otsu计算阈值T。显著性值小于T的区域设为锚点。最后,本发明推导出加权MR模型如下:
其中,n为超像素个数,m为预设的常数,m决定初始标签上的显著性置信度,将每个区域i的显著性置信度作为其在相似图上的度值dii,μ表示上述的预设的常数,如果i是锚点,则δi=1,否则δi=0。
求微分:其中,α=1/(1+μ),A是学习到的相似矩阵,Is=diag(δ1,δ2,…δn)是锚点指示矩阵。
最后,每个超像素S(i)的显著值可以由排序分数直接得到:
S(i)=f(i),i=1,2,…,n.
本发明使用sigmoid映射为最终的显著图做了一个自适应的对比度增强:τ是利用Otsu的二进制阈值方法获得的自适应阈值,γ控制整体的锐度,在本发明的实验中,设置γ=20。
参考图4至图15,对于大多数显著性检测数据集,图像大小大约为300×400像素。为了平衡计算效率和精度,在以往的实验中,分割的超像素数量通常被设置为200。实验也表明,当图像大小大约为300×400像素时,分割的超级像素个数在150~300之间,最终结果变化不大。因此,为了与之前的研究保持一致,本发明在实验中也将分割的超像素数量设为200,即在所有实验中,n=200。在相似图学习步骤中,根据经验将λ和β设置为1,在学习的相似图矩阵的影响下,α=1/(1+μ)被设置为0.99。
在本发明的实验中,本发明使用了颜色和纹理特征,包括RGB颜色、Lab颜色,HSV颜色、对立色和局部二值模式(LBP)。对于每个超像素,本发明使用每个特征的平均值来组合成一个13维特征向量。然后利用超像素的所有特征向量进行相似图学习。
本发明在SOD、ECSSD、DUT-OMRON三个具有挑战性的数据集上进行性能评价。SOD包括从Berkeley分割数据集中收集的300幅图像,其中大部分具有多个突出的对象。ECSSD包含1000个语义上有意义但结构上复杂的图像。DUTOMRON是另一个具有挑战性的数据集,它包含5168张复杂背景的图像。
在实验中,本发明定性和定量地将提出的方法和15种最先进的方法进行比较,其中包括13种无监督算法:SEG,RC,SF,MR,DSR,PCA,CA,RBD,RRW,CHS,MST,SMD和RS,以及两种有监督的基于深度学习的算法:DS和DCL。图3显示了本发明的方法和其他不同方法生成的显著性图的定性比较。可以看出,本发明的方法可以清晰地突出图像中的突出目标,背景区域也被有效地抑制。这验证了加权流行排序可以给那些具有更高的显著性置信度值的超像素分配更高的显著性值,反之亦然。因为事实上学习到的相似矩阵可以揭示不同超像素之间的内在关联,因此本发明的方法也适用于背景复杂的图像。
对于定量的评价,本发明使用precision-recall曲线、F-measure曲线、均值、绝对误差(MAE)、曲线下面积(AUC)和重叠率(OR)来评估算法的性能。F-measure曲线被定义为:这里设置β2=0.3来提高精度。
MAE分数计算出了显著性图M和真值图GT的平均差值,H和W是输入图像的高度和宽度。
不同方法对三个数据集的定量评价结果分别如图所示。可以看出,本发明的方法可以超越所有的最先进的无监督方法。注意,对于这三个数据集,本发明的方法可以比所有基于图的方法(如MR、RRW和RS)表现得更好,这些方法证明了所提出的相似图学习和加权流行排序的有效性。与基于深度学习的方法相比,本发明的方法并不能取得较好的效果。然而,基于深度学习的方法需要大量的训练实例,而本发明的方法是完全无监督的。
为了验证本发明学习到的相似矩阵的优越性和全局显著性置信度的影响,本发明还给出了使用传统的欧式距离和基于高斯核函数的相似矩阵的结果,以及没有全局显著性置信度的结果。经证明,学习到的相似矩阵可以显著促进最终的结果。相似矩阵中隐含的全局置信度也有益于最终的结果。此外,为了验证相似图学习模型中使用的Laplacian正则化项的效果,本发明还试验了没有Laplacian正则化的相似图,并绘制了相应的PR曲线。结果可以看出,Laplacian正则化项也可以促进最终的结果。
为了测试本方法的运行时间,本发明在带有Intel Core i5-4200M 2.5GHz CPU和8GB RAM的笔记本上使用Matlab R2016a实现了本系统。在ECSSD数据集中,400×300像素大小的图像的平均运行时间约为1.4秒。主要的时间成本部分是相似矩阵的学习过程和超像素分割,它花费了0.4秒生成超像素和0.7秒来学习相似矩阵,实际的显著性计算只花费了0.3秒。
本发明所提供的图像显著性目标检测系统与上述的图像显著性目标检测系统对应,具体的可参考上述,这里就不在赘述。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.一种图像显著性目标检测方法,其特征在于,包含如下步骤:
S1、对于给定的输入图像I,运用超像素分割方法将它分割成多个不重叠的超像素数据集X;
S2、将输入图像I的边界区域设置为背景种子,使用传统的流行排序模型得到一个粗略的显著性图;
S3、基于图像区域表象的无监督的相似图学习方法,学习一个所述输入图像I的相似矩阵,在学习相似矩阵时用Laplacian正则化来确保图像区域之间的局部平滑;
S4、基于得到的粗略的显著性图,提取一些较高显著性值的区域作为前景种子,通过已学习到的相似矩阵中得到的每个区域的显著性置信度,利用加权流行排序模型,从提取的前景种子中估计出最终的显著性图。
2.根据权利要求1所述图像显著性目标检测方法,其特征在于,步骤S2中,使用传统的流行排序模型得到一个粗略的显著性图为的原理为:
对于超像素数据集X={x1,…,xl,xl+1,…,xn}∈Rd×n,其中d是每个数据的维数,而n是数据点的总数;数据点的一部分被标记为查询种子,其余的需要根据它们与查询种子的相关性进行排序,即用一个指示向量y=[y1,…,yn]T来描述,如果xi是一个查询,那么yi=1,否则yi=0;
流行排序的目的是找到一个排序函数F:X→Rn,为每个数据点xi分配一个等级值fi,记排序函数F的向量形式为:f=[f1,…fn]T;
在数据集上建立了带有节点V和边E的图G=(V,E),其中节点V对应于X的数据点,而边缘E则由一个相似矩阵A=[ai,j]n×n加权;图G的度矩阵是D=diag{d11,…,dnn},aij表示相似矩阵A=[ai,j]n×n中的元素;
通过求解以下优化问题,得到了查询的最优排序解决方案:
其中,μ表示预设的常数。
3.根据权利要求2所述图像显著性目标检测方法,其特征在于,步骤S3中,相似矩阵是根据下述优化问题得出:
其中,特征矩阵X={x1,…,xn}∈Rd×n,n为超像素个数,xi表示对于每个超像素i,提取颜色和纹理信息,形成一个d维区域特征向量xi∈Rd,W={w1,…,wn}∈Rn×n,wi是特征向量xi的用不同系数的其他特征向量的线性组合表示时的系数,F表示F范,λ和β是正平衡参数,L是一个给定的权重矩阵Z的Laplacian形式:L=DZ-Z,DZ是一个对角矩阵:T表示转置,tr表示对角线元素之和,权重矩阵Z=A。
4.根据权利要求3所述图像显著性目标检测方法,其特征在于,对于优化问题:
求解方案是采用Matlab的Sylvester函数求解下述方程得到W:
(XTX+λI)W+W(2βL)=XTX;
其中,I表示n×n的单位矩阵。
5.根据权利要求3所述图像显著性目标检测方法,其特征在于,步骤S4中显著性置信度较高的超像素在最后的显著性图中,将被赋予更高的显著性值,且通过Otsu计算阈值T,显著性值小于T的区域设为锚点;最终的著性图根据如下优化问题的结果得到:
其中,n为超像素个数,m为预设的常数,m决定初始标签上的显著性置信度,将每个区域i的显著性置信度作为其在相似图上的度值dii,μ表示预设的常数,如果i是锚点,则δi=1,否则δi=0。
6.一种图像显著性目标检测系统,其特征在于,包含如下模块:
超像素分割模块,用于对于给定的输入图像I,运用超像素分割方法将它分割成多个不重叠的超像素区域;
粗略显著性图处理模块,用于将输入图像I的边界区域设置为背景种子,使用传统的流行排序模型得到一个粗略的显著性图;
相似矩阵学习模块,用于基于图像区域表象的无监督的相似图学习方法,学习一个所述输入图像I的相似矩阵,在学习相似矩阵时用Laplacian正则化来确保图像区域之间的局部平滑;
最终显著性图处理模块,用于基于得到的粗略的显著性图,提取一些较高显著性值的区域作为前景种子,通过已学习到的相似矩阵中得到的每个区域的显著性置信度,利用加权流行排序模型,从提取的前景种子中估计出最终的显著性图。
7.根据权利要求6所述图像显著性目标检测系统,其特征在于,粗略显著性图处理模块中,使用传统的流行排序模型得到一个粗略的显著性图为的原理为:
对于超像素数据集X={x1,…,xl,xl+1,…,xn}∈Rd×n,其中d是每个数据的维数,而n是数据点的总数;数据点的一部分被标记为查询种子,其余的需要根据它们与查询种子的相关性进行排序,即用一个指示向量y=[y1,…,yn]T来描述,如果xi是一个查询,那么yi=1,否则yi=0;
流行排序的目的是找到一个排序函数F:X→Rn,为每个数据点xi分配一个等级值fi,记排序函数F的向量形式为:f=[f1,…fn]T;
在数据集上建立了带有节点V和边E的图G=(V,E),其中节点V对应于X的数据点,而边缘E则由一个相似矩阵A=[ai,j]n×n加权;图G的度矩阵是D=diag{d11,…,dnn},aij表示相似矩阵A=[ai,j]n×n中的元素;
通过求解以下优化问题,得到了查询的最优排序解决方案:
其中,μ表示预设的常数。
8.根据权利要求7所述图像显著性目标检测系统,其特征在于,相似矩阵学习模块中,相似矩阵是根据下述优化问题得出:
其中,特征矩阵X={x1,…,xn}∈Rd×n,n为超像素个数,xi表示对于每个超像素i,提取颜色和纹理信息,形成一个d维区域特征向量xi∈Rd,W={w1,…,wn}∈Rn×n,wi是特征向量xi的用不同系数的其他特征向量的线性组合表示时的系数,F表示F范,λ和β是正平衡参数,L是一个给定的权重矩阵Z的Laplacian形式:L=DZ-Z,DZ是一个对角矩阵:T表示转置,tr表示对角线元素之和,权重矩阵Z=A。
9.根据权利要求8所述图像显著性目标检测系统,其特征在于,对于优化问题:
求解方案是采用Matlab的Sylvester函数求解下述方程得到W:
(XTX+λI)W+W(2βL)=XTX;
其中,I表示n×n的单位矩阵。
10.根据权利要求8所述图像显著性目标检测系统,其特征在于,最终显著性图处理模块中显著性置信度较高的超像素在最后的显著性图中,将被赋予更高的显著性值,且通过Otsu计算阈值T,显著性值小于T的区域设为锚点;最终的著性图根据如下优化问题的结果得到:
其中,n为超像素个数,m为预设的常数,m决定初始标签上的显著性置信度,将每个区域i的显著性置信度作为其在相似图上的度值dii,μ表示预设的常数…,如果i是锚点,则δi=1,否则δi=0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811361543.0A CN109509191A (zh) | 2018-11-15 | 2018-11-15 | 一种图像显著性目标检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811361543.0A CN109509191A (zh) | 2018-11-15 | 2018-11-15 | 一种图像显著性目标检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109509191A true CN109509191A (zh) | 2019-03-22 |
Family
ID=65748737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811361543.0A Pending CN109509191A (zh) | 2018-11-15 | 2018-11-15 | 一种图像显著性目标检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109509191A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993736A (zh) * | 2019-03-29 | 2019-07-09 | 浙江大学 | 一种基于改进加权otsu算法的电气设备热成像分割查异方法 |
CN112329662A (zh) * | 2020-11-10 | 2021-02-05 | 西北工业大学 | 基于无监督学习的多视角显著性估计方法 |
CN112579979A (zh) * | 2020-12-21 | 2021-03-30 | 支付宝(杭州)信息技术有限公司 | 自适应数据分析中的错误发现率控制方法及装置 |
CN112581446A (zh) * | 2020-12-15 | 2021-03-30 | 影石创新科技股份有限公司 | 一种图像的显著性物体检测方法、装置、设备及存储介质 |
CN114484148A (zh) * | 2022-02-15 | 2022-05-13 | 河海大学常州校区 | 一种地下管道检测机器人检测系统及检测方法 |
CN116630651A (zh) * | 2023-05-19 | 2023-08-22 | 中国人民解放军国防科技大学 | 一种显著性目标检测方法、系统、电子设备、存储介质 |
CN117152127A (zh) * | 2023-10-26 | 2023-12-01 | 深圳市兴东泰电子有限公司 | 基于机器视觉的ptfe成品外观缺陷检测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106127785A (zh) * | 2016-06-30 | 2016-11-16 | 重庆大学 | 基于流形排序和随机游走的图像显著性检测方法 |
-
2018
- 2018-11-15 CN CN201811361543.0A patent/CN109509191A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106127785A (zh) * | 2016-06-30 | 2016-11-16 | 重庆大学 | 基于流形排序和随机游走的图像显著性检测方法 |
Non-Patent Citations (3)
Title |
---|
CHUAN YANG等: "Saliency Detection via Graph-Based Manifold Ranking", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
XINZHONG ZHU等: "Saliency Detection via Affinity Graph Learning and Weighted Manifold Ranking", 《NEUROCOMPUTING》 * |
刘亚宁等: "基于流行排序的前景背景显著性检测算法", 《科学技术与工程》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993736A (zh) * | 2019-03-29 | 2019-07-09 | 浙江大学 | 一种基于改进加权otsu算法的电气设备热成像分割查异方法 |
CN112329662A (zh) * | 2020-11-10 | 2021-02-05 | 西北工业大学 | 基于无监督学习的多视角显著性估计方法 |
CN112329662B (zh) * | 2020-11-10 | 2024-05-10 | 西北工业大学 | 基于无监督学习的多视角显著性估计方法 |
CN112581446A (zh) * | 2020-12-15 | 2021-03-30 | 影石创新科技股份有限公司 | 一种图像的显著性物体检测方法、装置、设备及存储介质 |
CN112579979A (zh) * | 2020-12-21 | 2021-03-30 | 支付宝(杭州)信息技术有限公司 | 自适应数据分析中的错误发现率控制方法及装置 |
CN112579979B (zh) * | 2020-12-21 | 2024-06-25 | 支付宝(杭州)信息技术有限公司 | 自适应数据分析中的错误发现率控制方法及装置 |
CN114484148A (zh) * | 2022-02-15 | 2022-05-13 | 河海大学常州校区 | 一种地下管道检测机器人检测系统及检测方法 |
CN114484148B (zh) * | 2022-02-15 | 2024-01-02 | 河海大学常州校区 | 一种地下管道检测机器人检测系统及检测方法 |
CN116630651A (zh) * | 2023-05-19 | 2023-08-22 | 中国人民解放军国防科技大学 | 一种显著性目标检测方法、系统、电子设备、存储介质 |
CN117152127A (zh) * | 2023-10-26 | 2023-12-01 | 深圳市兴东泰电子有限公司 | 基于机器视觉的ptfe成品外观缺陷检测方法 |
CN117152127B (zh) * | 2023-10-26 | 2024-01-16 | 深圳市兴东泰电子有限公司 | 基于机器视觉的ptfe成品外观缺陷检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109509191A (zh) | 一种图像显著性目标检测方法及系统 | |
US9881380B2 (en) | Methods and systems of performing video object segmentation | |
CN110111338B (zh) | 一种基于超像素时空显著性分割的视觉跟踪方法 | |
CN110033007B (zh) | 基于深度姿态预估和多特征融合的行人衣着属性识别方法 | |
CN105825502B (zh) | 一种基于显著性指导的词典学习的弱监督图像解析方法 | |
CN105321176A (zh) | 一种基于分层高阶条件随机场的图像分割方法 | |
CN109002755B (zh) | 基于人脸图像的年龄估计模型构建方法及估计方法 | |
US11138464B2 (en) | Image processing device, image processing method, and image processing program | |
CN111091129B (zh) | 一种基于多重颜色特征流形排序的图像显著区域提取方法 | |
CN110738672A (zh) | 一种基于分层高阶条件随机场的图像分割方法 | |
Filali et al. | Multi-scale salient object detection using graph ranking and global–local saliency refinement | |
CN114049531A (zh) | 一种基于弱监督人体协同分割的行人再识别方法 | |
Pan et al. | Deep learning for object saliency detection and image segmentation | |
CN111815582A (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
Kuai et al. | Learning adaptively windowed correlation filters for robust tracking | |
CN113361329A (zh) | 一种基于实例特征感知的鲁棒单目标跟踪方法 | |
Yu et al. | Pedestrian segmentation based on a spatio-temporally consistent graph-cut with optimal transport | |
US20240249547A1 (en) | Pedestrian attribute recognition method based on a pedestrian attribute recognition system and method for training the same | |
CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
Turtinen et al. | Contextual analysis of textured scene images. | |
Hassan et al. | Salient object detection based on CNN fusion of two types of saliency models | |
Scharfenberger et al. | Salient region detection using self-guided statistical non-redundancy in natural images | |
Wu et al. | Learning distance metric for object contour tracking | |
Yao et al. | Extracting robust distribution using adaptive Gaussian Mixture Model and online feature selection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190322 |