CN106874917A - 一种基于Harris角点的显著性目标检测方法 - Google Patents

Abstract

本发明公开了一种基于Harris角点的显著性目标检测方法，包括步骤：利用Harris角点检测方法检测原始图像和滤波后图像中目标的特征点以生成凸包；将输入的原始图像超像素分割成N个超像素，及根据计算的基于凸包外和凸包内超像素的显著值分别生成背景线索显著图和前景线索显著图；基于凸包中心算法将所生成背景线索显著图和前景线索显著图结合，获得统一的显著图；利用贝叶斯公式对所得统一的显著图加强及计算获得后验概率图；利用K‑means聚类算法计算所得后验概率图中的超像素来扩散它们之间的显著性，以获得最终的显著图。本发明的方法可以使得显著目标在图像边界区域完整，提高了图像显著性效果。

Description

一种基于Harris角点的显著性目标检测方法

技术领域

本发明涉及一种基于Harris角点的显著性目标检测方法，属于图像处理的技术领域。

背景技术

作为计算机视觉和模式识别的一个分支，图像的显著性检测是一个有趣的和具有挑战性的问题，涉及到如数学、生物学、神经科学、计算机科学等多个学科的知识。显著性目标检测已被广泛应用于许多项目中，包括目标检测和识别，图像分割和压缩，视频摘要等。显著性检测的目的是估计作为前景部分出现的图像区域的概率。

先前的显著性检测方法可以分为两种：自下而上和自上而下。自上而下的方法是通过培训过程中学习任务驱动的模型，这需要特定的先验知识。自下而上的方法也被称为数据驱动的模型，主要是检测全局或局部对比的显著性，没有任何先验知识。在本发明中，主要关注自下而上的显著性检测。

近年来，显著性检测采用图像边界先验，假设一个图像的窄边框是非显著区域。换言之图像的边界通常是背景。有许多基于边界先验的先进方法，它们都有不错的效果。然而，这些方法的一个限制是显著的目标可能会稍微接触图像边缘。因此，检测到的显著的目标在图像边界区域是不完整。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于Harris角点的显著性目标检测方法，解决现有的检测方法中显著的目标可能会稍微接触图像边缘，导致目标在图像边界区域是不完整，降低了图像显著性效果的问题。

本发明具体采用以下技术方案解决上述技术问题：

一种基于Harris角点的显著性目标检测方法，包括以下步骤：

步骤A、利用Harris角点检测方法分别检测原始图像和滤波后的原始图像中目标的特征点以生成对应凸包，及整合得到两凸包的交叉部分；

步骤B、将输入的原始图像超像素分割成若干个超像素，及根据所得两凸包的交叉部分确定图像中的凸包外区域和凸包内区域，并根据计算的凸包外和凸包内超像素显著值分别生成背景线索显著图和前景线索显著图；

步骤C、基于凸包中心算法将所生成背景线索显著图和前景线索显著图结合，获得统一的显著图；利用贝叶斯公式对所得统一的显著图计算获得后验概率图；并利用K-means聚类算法聚类所得后验概率图中的超像素，及通过公式扩散超像素间的显著性突出显著目标，以获得最终的显著图。

进一步地，作为本发明的一种优选技术方案：所述步骤B中，计算凸包外超像素的显著值采用公式：

其中，d(c_i,c_n)和d(I_i,I_n)分别是凸包外区域R_B中的超像素i和n之间的欧式颜色和空间距离；θ是调节颜色和空间条件之间的重要性权衡参数。

进一步地，作为本发明的一种优选技术方案：所述步骤B中，计算凸包内超像素的显著值采用公式：

其中，d(r_i,r_n)和d(S_i,S_n)分别是凸包内R_F中的超像素i和n之间的欧式颜色和空间距离；并且λ和是平衡颜色和位置距离的重要性参数。

进一步地，作为本发明的一种优选技术方案：所述步骤C中，基于凸包中心算法将所生成背景线索显著图和前景线索显著图结合具体为：

将所生成背景线索显著图和前景线索显著图结合统一的显著图；

计算获得基于凸包中心作为加权因子的全局区域对比度；

将所得统一的显著图和全局区域对比度结合获得处理后的统一显著图。

进一步地，作为本发明的一种优选技术方案：所述步骤C中所获得统一的显著图为：

进一步地，作为本发明的一种优选技术方案：所述步骤C计算获得基于凸包中心作为加权因子的全局区域对比度为：

其中，exp(-d(i,j)/(2δ₁ ²)是一个高斯加权函数，表示两个超像素i和j中心之间的空间距离；exp(-d(i,μ)/(2δ₂ ²)是加权因子，c_i和c_j是超像素i和j的平均颜色距离；d(i,μ)是超像素i中心和凸包中心的欧式距离。

本发明采用上述技术方案，能产生如下技术效果：

本发明所提供的基于Harris角点的显著性目标检测方法，使用原图像和滤波图像的凸包来大致定位前景目标。它们的相交区域围绕一个显著目标且不包括更多的杂乱背景。然后，通过结合背景和前景线索显著图，把一个区域的显著值分为两个方面：凸包内为显著区域可能包含少许背景，凸包外为背景区域，它们被组合成一个统一的显著图。最后，本发明通过贝叶斯优化和显著扩散的优化方法得到最终的显著图。本发明与现有方法相比更能快速准确的检测显著目标，具有较好的精确率和召回率，较低的计算复杂度，能得到高质量的均匀的显著图。

附图说明

图1为本发明的基于Harris角点的显著性目标检测方法的流程示意图。

图2(a)为原图像，图2(b)为两个凸包的交叉区域示意图，图2(c)为超像素分割示意图。

图3(a)为输入图像，图3(b)为背景线索显著图，图3(c)为前景线索显著图，图3(d)为组合显著图和图3(e)为最终优化后的显著图。

图4(a)为本发明方法在数据集MSRA5000上的召回曲线图；图4(b)本发明方法在数据集THUS10000上的召回曲线图。图4(c)为本发明方法在数据集MSRA5000上的条形图对比图；图4(d)为本发明方法在数据集THUS10000上的条形图对比图。

图5(a)为输入图像，图5(b)为标准图，图5(c)为CA方法的效果图，图5(d)为RC方法的效果图，图5(e)为SR方法的效果图，图5(f)为wOC方法的效果图，图5(g)为HDTC方法的效果图，图5(h)为GS方法的效果图，图5(i)为GMR方法的效果图，图5(j)为BL方法的效果图，图5(k)为本发明方法的效果图。

图6为ASD数据集上每个组成部分的精确率和召回率的比对图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明提出的基于Harris角点的显著性目标检测方法，具体包括以下步骤：

步骤A、利用Harris角点检测方法分别检测原始图像和滤波后的原始图像中目标的特征点以生成对应的凸包，通过整合得到两凸包的交叉部分。具体过程如下：

根据视觉注意力机制，许多研究表明显著区域有和它周围明显不同的外观。根据这个原理本发明使用图像的特征点生成的凸包然后大约定位前景目标。这里有许多特征点检测器，尺度不变特征转换，加速鲁棒特征和Harris。考虑到计算的低复杂度，本发明使用Harris角点检测方法来检测显著性目标的特征点。在实验中发现，仅仅使用Harris角点得到的凸包检测显著区域是不够的，因为凸包区域可能包含一些背景。为了更准确地定位前景对象，需要进一步消除凸包区域的背景影响。

一般来说，突出的对象是图像中最注目的区域，其边缘或轮廓上的像素的强度或颜色是不连续的。然而，在频域中，亮度变化可能对应于高频部分。因此，对于原始图像如图2(a)，为了抑制一些属于背景的高频部分，可以使用低通滤波器平滑原始图像，例如用平均滤波器和高斯低通滤波器来平滑原始图像。然后利用Harris算子再次检测滤波图像中的角点，得到相应的凸包。经分别检测原始图像和滤波后的图像中目标的特征点生成对应的凸包后，两个凸包区域分别表示为R₁和R₂，它们的交叉部分如图2(b)所示。本发明定义交叉区域为：

R_F＝R₁∩R₂ (1)

其中，R_F为交叉区域，即可作为凸包内区域，在图像中除凸包内区域R_F外的区域视为凸包外的区域。

步骤B、将输入的原始图像超像素分割成N个超像素，根据所得两凸包的交叉部分确定图像中的凸包外区域和凸包内区域，及根据计算的凸包外和凸包内超像素的显著值分别生成背景线索显著图和前景线索显著图；使用原图像和滤波图像的凸包来大致定位前景目标。它们的相交区域围绕一个显著目标且不包括更多的杂乱背景。

为了更好地捕捉图像的结构信息，本发明利用超像素作为最小的处理单元，通过简单的线性迭代聚类SLIC算法生成超像素。如图2(c)所示,假设输入图像被分割成N个超像素。I_i和c_i分别表示第i个超像素的质心位置矢量和在CIELab色彩空间中的平均颜色矢量。

如果超像素和背景线索有明显的差异它更有可能是显著目标。因此，对于输入图像图3(a)，本发明利用空间加权的颜色对比，制定背景线索显著图。

本发明把凸包外的区域设为R_B。然后计算凸包外的超像素i的显著值如下：

其中，d(c_i,c_n)和d(I_i,I_n)分别是凸包外区域R_B中的超像素i和n之间的欧式颜色和空间距离。两种距离都归一化到[0,1]。θ是调节颜色和空间条件之间的重要性权衡参数。此外，为了避免在凸包外的超像素的零自相似性，本发明重新计算公式2中的显著值如下:

这里|R_B|表示背景线索R_B的基数，δ(m,i)是权重参数。最终通过以上方法得到背景线索显著图S^b如图3(b)所示。

对于前景线索显著图，由于超像素和前景线索有更多相似性则它很可能是显著目标。本发明计算凸包内每个超像素的颜色空间相似性来描述前景线索显著图。类似于公式(2)中的背景线索显著图，基于前景的显著图计算如下：

其中，d(r_i,r_n)和d(S_i,S_n)分别是凸包内R_F中的超像素i和n之间的欧式颜色和空间距离。并且λ和是平衡颜色和位置距离的重要性参数。实验中都设为1。本发明也重新通过公式(3)来重新计算公式(4)中的显著值来避免凸包内的自相似性的影响。然后得到最后的前景线索显著图S^f如图3(c)所示。

步骤C、首先，基于凸包中心算法将所生成背景线索显著图和前景线索显著图结合，获得统一的显著图。

前景线索显著图是不够均匀的，因为一些背景区域具有很高的显著性，但背景线索显著图也会突出一些非显著性目标区域。因此，本发明提出了一种结合两种显著图的算法得到统一的显著图如下：

其中，i是超像素区域，和分别为背景线索显著图和前景线索显著图。事实上，背景线索显著图对背景有很大的影响，所以通过参数β₁和β₂来平衡。当i∈R_F时，赋给β₁一个小一点的值；当i∈R_B时，赋给β₂一个大一点的值。实验中，设β₁＝2，β₂＝7。

视觉注意力的研究表明，人们往往集中在一个图像的中心区域。有一些特征模型利用中心先验，考虑靠近图像中心区域可能是一个显著的对象。换言之，背景区域往往远离图像中心。然而，在许多情况下，中心先验模型可能错过了一些显著的区域是无效的。因此，本发明充分利用基于凸包中心作为加权因子的全局区域对比度。使凸包的中心为μ(x_c,y_c)，然后在本发明的算法中的区域的全局对比度写成：

其中，exp(-d(i,j)/(2δ₁ ²)是一个高斯加权函数，表示两个区域i和j中心之间的空间距离；exp(-d(i,μ)/(2δ₂ ²)是加权因子，c_i和c_j是超像素i和j的平均颜色距离；d(i,μ)是区域i中心和凸包中心的欧式距离。δ₁和δ₂是高斯参数，实验中，把δ₁和δ₂分别设为0.5和0.3.

统一显著图和基于凸包中心算法是互补的，但仍有一些背景区域没有从显著目标区域明显分离出来。与前景对象相比，显著图中的背景区域被削弱。因此，可以利用这两者的优势，并用一个简单的方法把他们结合成一个粗糙的显著图。本发明定义组合的显著图如图3(d)所示：

S_i＝CH_i*G_i (7)

其次，利用贝叶斯公式对所得统一的显著图加强及计算获得后验概率图，以来消除一些背景中误判为显著图的部分。该过程为：本发明认为图像的显著性用贝叶斯公式作为后验概率像一样来加强显著图S_i。通过直接阈值化粗糙显着图S_i与其平均值来提取前景区域，然后，定义每个像素的可能性：

其中，g(i)＝(L(i)；A(i)；B(i))是像素i在CIELab颜色空间下的三个颜色通道L,A和B中所观察到的矢量特征；R¹表示提取的前景，R⁰表示提取的背景；N_R ¹表示R¹中总共的像素数量，或N_R ⁰表示R⁰中总共的像素数量；对于通道L，b¹(L(i))(或b⁰(L(i)))是R¹(or R⁰)内包含值L(i)的二进制像素点颜色直方图，并且N_b ¹(L(i))(或N_b ⁰(L(i)))表示二进制直方图b¹(L(i))(或b⁰(L(i)))的总和，通道A和B同理可得。此外，本发明把粗糙的显著图S_i作为先验概率，并且计算后验概率图如下：

最后，利用K-means聚类算法计算所得后验概率图中超像素的扩散显著性，再通过公式扩散超像素间的显著性来更均匀的突出显著目标。以获得最终的显著图。具体过程如下：

通过贝叶斯增强后一些可能误判的显著性区域被排除。但是，最好的分割算法也不能避免将图像区域分割成多个较小的均匀的块。因此，两个超像素共享特征空间中的相似的功能可能会有不同的显着性值，这会导致不连续的显著图。因此，本发明采用显着扩散的方法，迫使类似的超像素之间的显著连续性。

首先用K-means聚类算法来聚类超像素，假设经过贝叶斯视角得到的后验概率图中有M个超像素在集群k中，其中k＝1,2,...,K。属于集群k超像素i(i＝1,2,...,M)的显著值表示为S_P(i) ^(k)，本发明利用集群中其它超像素的显著值来计算超像素的扩散显著性如下：

公式(11)中，是背景和前景线索显著图整合再通过贝叶斯视角的结果，右边第二项是同一聚类中其他超像素的加权平均显著值，μ₁和μ₂是这两项的权重参数，δ_c是高斯参数。利用公式(11)，在图像超像素间扩散显著值，以改进显著图。

通过以上步骤，本发明得到最后的显著图，由于贝叶斯视角消除了一些背景噪声，而利用显著扩散则能更均匀的突出显著目标，如图3(e)所示。

为了测试本发明的算法的性能，进行了两种类型的实验：(1)性能评价，包括精确率和召回率(PR)曲线，F值和平均绝对误差(MAE)；(2)所提出算法中的每个组成部分的评价。把本发明的算法和其它先进的8个已有算法进行比较，包括CA，RC，SR,wOC，HDTC，GS，GMRand BL.这些算法的结果是使用相应的作者的公开可用的源代码或演示。本发明在三个标准数据集ASD,MSRA5000和THUS10000上进行实验测试。

定量评价过程为：本发明选择两个客观评价方法，固定阈值和自适应阈值来评估所有的显著性检测算法。首先，对于每个显著图，生成一个增量为1范围在[0,255]内固定阈值和自适应阈值的二进制图。然后，使用精度和召回的结果与标准图比较。精确召回(PR)曲线的结果如图4(a)和图4(b)所示，从左至右分别是MSRA5000和THUS10000数据集，及图4(c)和图4(d),分别是本发明方法在数据集MSRA5000和THUS10000上的条形图对比图，图中上面是显著方法的精确召回曲线，下面是精确率，召回率，F值和平均绝对误差值的条形图。因此，本发明算法比其它的算法有更好的精确率和召回率。

其次，本发明也计算每个算法的精确率，召回率，F值和平均绝对误差。本发明设置自适应阈值T＝2*Mean(S)(S是最终的显著图)并且F值的表示如下：

这里设定w²＝0。这些值的结果如图4(a)和图4(b)所示的条形图。总之，本发明的算法在F值和平均绝对误差上比其它8个算法有更好的表现。为了更清楚地评估这些显著性算法的性能，本发明提供和其它八个算法在两个数据集上的F值和平均绝对误差的定量结果如表1所示。可以看到，本发明的算法优于其他最先进的算法。

F-measure	CA	RC	SR	wOC	HDTC	GS	GMR	BL	Ours
										MSRA5000	0.531	0.579	0.789	0.799	0.781	0.723	0.805	0.792	0.823
THUS10000	0.581	0.812	0.815	0.845	0.798	0.783	0.837	0.824	0.876
										MARA5000	0.254	0.282	0.121	0.115	0.154	0.154	0.123	0.178	0.097
THUS10000	0.233	0.137	0.127	0.112	0.156	0.137	0.121	0.159	0.096

表1：F值和平均绝对误差的定量结果。

本发明在两个数据集上与其它8个算法进行比较。上面是F值的结果，下面是平均绝对误差。

定性评价过程为：本发明提供了一些显著图的算法和其它8个最先进的算法比较如图5(a)至图5(k)所示。从结果中可以看出，本发明的算法生成的显著图可以清楚地从背景中区分出显著的目标。当图像具有复杂的背景时，本发明的算法仍然产生良好的结果和更少的背景噪声。例如，在第二和第五列，本发明的显著算法可以均匀地突出前景对象，但其他算法无法从分散的背景中提取显著目标。此外，当显著目标和背景有相似的颜色时，本发明的算法能够准确地检测到显著的区域如第六和第七列所示。一般情况下，本发明的算法可以生成良好的显著图，并有效地抑制背景区域如图5(k)所示。

每个组成部分的评价过程为：为了证明本发明提出的算法的有效性，本发明也评估本发明的算法中的每个组成部分的性能。每个组成部分都有助于最终的结果，例如背景线索显著图，前景线索显著图，统一的显著图，最终优化的显著图。图6显示的是ASD数据集上每个组成部分的精确率和召回率的比对图。很明显，每个显著图会产生不同的结果。

时间复杂度过程为：本发明在ASD数据集上与最具有代表性的算法比较速度。每个算法的平均运行时间如表2所示。本发明使用他们公开的代码，并且本发明的算法是基于Matlab R2014a平台，所有的实验都是在具有Intel Core i5-4460 CPU@3.2GHz，8G RAM和Windows 8的计算机上进行的。很显然，本发明的算法具有低的计算复杂度。

Method	CA	RC	SR	wOC	HDTC	GS	GMR	BL	Ours
										Time(s)	1.862	1.715	2.134	1.212	3.635	3.812	0.875	1.714	0.614

表2：ASD数据集上的时间复杂度

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于Harris角点的显著性目标检测方法，其特征在于，包括以下步骤：

步骤A、利用Harris角点检测方法分别检测原始图像和滤波后的原始图像中目标的特征点以生成对应凸包，及整合得到两凸包的交叉部分；

步骤B、将输入的原始图像超像素分割成若干个超像素，及根据所得两凸包的交叉部分确定图像中的凸包外区域和凸包内区域，并根据计算的凸包外和凸包内超像素显著值分别生成背景线索显著图和前景线索显著图；

步骤C、基于凸包中心算法将所生成背景线索显著图和前景线索显著图结合，获得统一的显著图；利用贝叶斯公式对所得统一的显著图计算获得后验概率图；并利用K-means聚类算法聚类所得后验概率图中的超像素，及通过公式扩散超像素间的显著性突出显著目标，以获得最终的显著图。

2.根据权利要求1所述基于Harris角点的显著性目标检测方法，其特征在于，所述步骤B中，计算凸包外超像素的显著值采用公式计算：

$S_i^b=\underset{n\≠i,n\∈R_B}{\Σ}d(c_i,c_n)(1-d(I_i,I_n)/\mathrm{\θ})$

其中，d(c_i,c_n)和d(I_i,I_n)分别是凸包外区域R_B中的超像素i和n之间的欧式颜色和空间距离；θ是调节颜色和空间条件之间的重要性权衡参数。

3.根据权利要求1所述基于Harris角点的显著性目标检测方法，其特征在于：所述步骤B中，计算凸包内超像素的显著值采用公式计算：

$S_i^f=\underset{n\≠i,n\∈R_F}{\Σ}\frac{\mathrm{\λ}}{d(r_i,r_n)+\∂d(S_i,S_n))}$

其中，d(r_i,r_n)和d(S_i,S_n)分别是凸包内区域R_F中的超像素i和n之间的欧式颜色和空间距离；并且λ和是平衡颜色和位置距离的重要性参数。

4.根据权利要求1所述基于Harris角点的显著性目标检测方法，其特征在于，所述步骤C中，基于凸包中心算法将所生成背景线索显著图和前景线索显著图结合，具体为：

将所生成背景线索显著图和前景线索显著图结合统一的显著图；

计算获得基于凸包中心作为加权因子的全局区域对比度；

将所得统一的显著图和全局区域对比度结合获得处理后的统一显著图。

5.根据权利要求1所述基于Harris角点的显著性目标检测方法，其特征在于，所述步骤C中所获得统一的显著图为：

${\mathrm{CH}}_i=\left\{\begin{array}{c}{S_i}^f*\exp (-{\mathrm{\β}}_1{S_i}^b),i\∈R_F\\ {S_i}^f*\exp (-{\mathrm{\β}}_2{S_i}^b),i\∈R_B\end{array}\right.$

其中i表示一个超像素，Si^b和Si^f分别为背景线索显著图和前景线索显著图，R_F为凸包内区域，R_B为凸包外区域，β₁和β₂是平衡参数。

6.根据权利要求4所述基于Harris角点的显著性目标检测方法，其特征在于，所述步骤C计算获得基于凸包中心作为加权因子的全局区域对比度为：

$G\left(i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\exp (-d(i,j)/(2{\mathrm{\δ}}_1^2\left)\right)\left|\right|c_i-c_j|{|}_2\exp (-d(i,\mathrm{\μ})/(2{\mathrm{\δ}}_2^2\left)\right)$

其中，exp(-d(i,j)/(2δ₁ ²)是一个高斯加权函数，表示两个超像素i和j中心之间的空间距离；exp(-d(i,μ)/(2δ₂ ²)是加权因子，c_i和c_j是超像素i和j的平均颜色距离；d(i,μ)是超像素i中心和凸包中心的欧式距离，δ₁和δ₂是高斯参数。