CN113379785A - 一种融合边界先验与频域信息的显著性目标检测方法 - Google Patents

Abstract

本发明公开了一种融合边界先验与频域信息的显著性目标检测方法，主要步骤包括：利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图片的特征信息；边界先验模型假设图像的边界为非显著区域，并以此作为先验知识；选取LBP纹理特征来衡量超像素间的纹理差异，以表征超像素块的边界特征；通过傅里叶变换将边界先验特征图的非边界区域转换到频率域，来实现频域显著性区域的检测；将边界先验显著图和频域特征显著图融合；采用同态滤波对初级显著图进行图像增强，得到显著区域较为清晰的最终显著图。本发明的结合了边界信息与频域信息，对于复杂场景下的显著性目标，能够检测出边界更加完整的显著区域。

Description

一种融合边界先验与频域信息的显著性目标检测方法

技术领域

本发明属于图像处理的技术领域，尤其涉及一种融合边界先验与频域信息的显著性目标检测方法。

背景技术

显著性检测，就是使用图像处理技术和计算机视觉算法来定位图片中最“显著”的区域。显著区域就是指图片中引人注目的区域或比较重要的区域，例如人眼在观看一幅图片时会首先关注的区域，人类的视觉系统对图像中的瞩目部分或者感兴趣部分优先进行理解和数据处理。锁定视觉场景中的感兴趣区域或者目标区域，从而减少数据的处理量、加快信息处理的速度，这对于计算资源有限以及实时性要求较高的各种机器视觉应用来说具有非常大的吸引力，因而目标检测受到学术界的广泛关注。

近些年来，一些高性能的显著性物体检测方法相继被提出，总的来说可分为传统的显著性物体检测方法和基于深度学习的显著性物体检测方法。传统方法属于自底向上的检测方法，主要利用低级特征，如颜色、纹理、亮度等信息，通过颜色对比、图像周边和中心的差异等获得显著图。基于深度学习的方法属于自顶向下的检测方法，主要利用任务先验和高级特征，可以认为是任务驱动的检测方法，如在驾驶场景下司机更关注于前方的信号灯、标识牌、前车尾灯等，通过这些目标的先验特征，进行显著目标的检测。

Zhu等人基于边界连续性提出RBD(Robust Background Dtection)算法，利用背景连通度度量节点与边界之间的关系，评估分离显著目标，表征了图像区域对于图像边界的空间布局，并通过最小二乘法优化得到显著图。相对于图像区域，它可以表征图像区域的空间布局图像边界，并且更加健壮。它具有直观的几何解释，并提供了以前的显着性度量所没有的独特优势。利用对比度先验等融合优化的方式达到最优的效果，获得的显著图能够突出前景区域的更多信息。

该算法对于亮度较低和背景复杂的图像，在处理背景区域时抑制效果不佳，仍有待改进。

Li等人提出多尺度空间的超复数傅里叶变换HFT(Hypercomplex FourierTransform)算法，利用振幅谱上被忽略的图像信息，采用不同的高斯核函数对幅度谱进行平滑滤波，通过对非显著区域的抑制得到显著性区域。

HFT算法能够对大部分背景区域进行抑制，但是前景区域的边界不清晰，不能很好的突出目标，不符合人类视觉感受层面的需求。

发明内容

为了解决上述技术问题，本发明所解决的技术问题在于提供一种融合边界先验与频域信息的显著性目标检测方法，能够较好地分离显著前景与背景，完整清晰地保留显著物体的轮廓，并在准确率-召回率(PR)曲线等评价指标上有所提升。

本发明通过以下技术方案来实现：本发明的融合边界先验与频域信息的显著性目标检测方法，包括以下步骤：

(1)、利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图片的特征信息；

(2)、边界先验模型假设图像的边界为非显著区域，并以此作为先验知识，对图像中的区域进行相似度分析，评估分离显著目标，得到前景目标突出的边界先验特征图；

(3)、将超像素间的纹理差异融入到边缘先验的方法，并选取LBP纹理特征来衡量超像素间的纹理差异，以表征超像素块的边界特征；

(4)、通过傅里叶变换将边界先验特征图的非边界区域转换到频率域，来实现频域显著性区域的检测；

(5)、将边界先验显著图和频域特征显著图融合；

(6)、采用同态滤波对初级显著图进行图像增强，得到显著区域较为清晰的最终显著图。

进一步的，在所述步骤(5)中，利用低秩能量为参与融合的显著性图计算自适应的权重，再通过加权相加，获得初级显著图：

其中，

表示显著图的自适应权重，

表示每幅显著图的能量。

由上，本发明的融合边界先验与频域信息的显著性目标检测方法具有如下效果：

首先，采用简单线性迭代聚类的SLIC超像素分割算法将图像进行预处理，基于超像素块检测并提取图像的边缘像素，得到初选边界图；其次，通过计算边界连通度并结合超像素的纹理特征获得显著区域边界完整的边界先验显著图。再利用改进的超复数傅里叶变换算法，在频域优化初选边界图的背景抑制效果，得到频域特征显著图；最后，将边界先验显著图与频域特征显著图采用自适应权重融合，得到初级显著图。通过同态滤波增强图像，得到最终显著图。通过在标准数据集MSRA1000、ECSSD上进行显著性目标检测实验以验证本发明方法的功能，并与主流的算法进行对比，实验结果表明，本发明方法在准确率-召回率(PR)曲线等评价指标上有所提升。本发明的融合边界先验与频域信息的显著性目标检测方法，结合了边界信息与频域信息，对于复杂场景下的显著性目标，能够检测出边界更加完整的显著区域，证明了本发明方法的有效性和适用性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的融合边界先验与频域信息的显著性目标检测方法的流程图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

如图1所示，本发明提出一种融合边界先验与频域信息的显著性目标检测方法，超像素利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图片的特征信息，有效降低了图像处理的复杂度。SLIC算法能够生成紧凑、近似均匀的超像素，符合期望的分割效果。本发明采用SLIC算法将彩色图像转化为CIELAB颜色空间和(x,y)坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类。

超像素SLIC聚类的一般步骤可概括为：

(1)初始化种子点：按照超像素的个数，在图像内分配种子点，这些种子点在图像上是均匀分配的。假设图片有M个像素点，预分割为K个大小相近的超像素块，那么每个超像素的大小为M/K，相邻种子点的距离近似为：

(2)为了避免所选种子点是边缘或噪声点，计算每个种子点3*3领域内所有像素的梯度值，将聚类中心移到该领域内梯度最小的像素上；

(3)对每个像素，在其2S*2S周围内搜索与其最近的种子点，并分配他们属于某一种子类，直到所有像素点都归类完毕，得到K个超像素；

其中颜色距离和空间距离分别用d_c和d_s表示，D′表示最终距离，N_c随图像的不同而变化，一般取固定值10～40，本发明通过实验，取K为150。则类内最大空间距离为：

计算K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，再以这K个中心去搜索其周围与其最为相似的若干像素，将所有像素都归类后重新得到K个超像素，再更新聚类中心，如此迭代直到两次聚类中心点的差值小于一定的阈值。

根据日常的拍摄习惯，一般会将感兴趣区域放在图像的中心位置。并且，通过对多个现有的用于图像处理算法比较的公开测试数据集进行观察和分析，发现绝大数图像的显著性区域都位于整个图像空间的中心部分，这种区域分布特征在图像显著性检测中尤其明显。边界先验模型假设图像的边界为非显著区域，并以此作为先验知识，对图像中的区域进行相似度分析，评估分离显著目标，得到前景目标突出的边界先验特征图S_b。

根据先验假设，显著物体的区域与边界的连接部分较少，定义超像素p的边界连通性：

其中Bnd是在边界上的区域集合，R是所有区域集合。并对图像构建无向带权图，将超像素块与邻接的超像素块用带权边相连，定义权值d_app＝(p,q)为超像素块(p,q)在CIE-LAB颜色空间上的欧式距离。则任意两个超像素块的几何距离d_geo＝(p,q)由最小带权路径定义：

为了计算方便，令d_geo(p,p)＝0。算法将每个超像素块p的生成区域定义为：

其中，N是超像素块的总个数。和式中每一项S(p,p_i)的值域为(0，1)，值的大小代表超像素块p_i对p所在区域的贡献度。当p与p_i相同时，d_geo(p,p_i)＝0，S(p,p_i)＝1；当p与p_i所属区域的显著性不同时，S(p,p_i)会非常小，接近于0，即p_i对p几乎没有贡献。类似地，可定义超像素块沿边界长度：

其中，当且仅当超像素块在图像边界时δ(·)为1，否则为0。计算边界连通性：

这类模型利用超像素块分割技术，将图片预先分割成超像素块，再进行后续处理，这样获得的先验信息通常与图像中物体的结构和空间分布有关，得到的显著性图边缘分明。但是，如果边界区域与显著物体在颜色空间上过于相似，则检测结果较差。而除颜色特征之外，经过分割后的超像素区域间在纹理特征上也具有同质性。根据这一特性，本发明提出将超像素间的纹理差异融入到边缘先验的方法，并选取LBP纹理特征来衡量超像素间的纹理差异，以表征超像素块的边界特征。定义集合R中任意超像素p_i与边界集合Bnd中的超像素p_j的纹理特征差异d_w为：

d_w越小表明超像素间相似程度越高，且背景的超像素应该占比最多，并且纹理特征较为相近，纹理特征差异越大，越可能是显著区域。从而综合考虑超像素纹理特征和边界连通性，避免单一根据纹理特征或边界连通性，造成分析结果错误。

上面得到的边界先验特征图可以较好地突出显著目标，但存在对背景区域抑制效果有待改进。为了缓解这一问题，本发明通过傅里叶变换将边界先验特征图的非边界区域转换到频率域，来实现频域显著性区域的检测。

傅里叶变换是根据空间位置对图像灰度值进行拆分，分离出从高到低不同频率，用频谱图来展示图像从低频(频谱中心，图像灰度平均的区域)到高频(远离频谱中心，灰度变化大的区域)的分布情况。HFT频域检测模型将图像用四维超复数表示：

f(m,n)＝α₁f₁+α₂f₂+α₃f₃+α₄f₄

其中，f₁，f₂，f₃，f₄分别代表不同的特征图，且通常f₁代表运动特征，f₂是亮度特征，f₃和f₄是颜色特征。静态图像设置α₁为0，并根据RGB颜色空间f₂＝(r+g+b)/3，f₃＝R-G，f₄＝B-Y，R＝r-(g+b)/2，G＝g-(r+b)/2，B＝b-(r+g)/2，Y＝(R+G)-|r-g|/2-b。r，g，b是RGB颜色空间的红、绿、蓝3个颜色，α₂ ²＝α₃ ²＝α₄ ²＝-1，m和n是像素位置。

然而，HFT模型中的RGB颜色空间与人类视觉感知没有充分的符合度，RGB各个颜色通道的数值与其所表示的刺激强度成非线性关系，因此难以保证其对颜色差异计算的准确度。而CIELab颜色空间的色域更加宽阔，更加接近人类视觉系统(HVS)。因此本发明采用更符合人类视觉感知的CIELab颜色空间，并对亮度特征和颜色特征进行了调整：

I＝(L'+A'+B')/3

其中，I是亮度特征，L'＝L-L_m，A'＝A-A_m，B'＝B-B_m。L，A，B是LAB空间的三颜色组件；L_m，A_m，B_m分别是其相邻像素点颜色的平均值。

HFT模型对图像进行四元傅里叶变换，f(m,n)的频域表示为：

其中，μ²＝-1，M和N表示图像的高度和宽度。在频域空间取图像的幅度谱A(u，v)和相位谱P(u，v)和纯超复数矩阵χ(u，v)：

A(u,v)＝||F_h(u,v)||

对幅度谱进行多尺度变换，不同的幅度谱平滑滤波后构成了一个谱尺度空间，不同尺度高斯核函数对幅度谱滤波的结果，如下所示:

A(u,v；k)＝(g(.,.；k)*A)(u,v)

其中，k是空间尺度参数，k＝1,2,3...K，K由图像的大小决定，K＝|lbmin{M,N}|+1。根据多尺度频域滤波得到的一组谱尺度空间，以及原有的相位谱，就可以得到不同尺度上的一系列显著图S_k。

其中，g是一个固定尺度的高斯核函数，低通高斯函数g与二维信号x卷积后计算熵：

H(x)＝H{g*x}

HFT模型在从计算出的一系列显著图中选择最终显著图时，将信息熵最小的显著图作为最终显著图。而不同熵的显著图中有不同的显著信息，并且熵越大，其包含的显著信息越少，采用信息熵最小的方法有时会不同程度地丢失其他显著图中的显著信息。通过实验发现，在熵从小到大排序的前4幅图中往往包含重要的显著信息，并且融合复杂度相对较低。为提高本发明方法的鲁棒性和自适应性，本发明提出选取显著图中最优的4幅显著图进行融合，并对融合图进行中央偏见优化后作为最终的频域特征图：

其中，ψ为中央偏见矩阵，S₁，S₂，S₃，S₄为尺度空间中熵值由小到大的显著图；H₁，H₂，H₃，H₄是显著图的熵值。

由上面步骤可获得两个显著图：其中边界先验显著图可以更好地突出目标，但存在对背景区域抑制不准确不彻底的问题；频域特征显著图可以准确获得目标轮廓，更好地抑制背景噪声，二者能够互为补充。本发明采用SACS(Self-adaptively Weighted Go-saliency)方法将边界先验显著图和频域特征显著图融合，该方法利用低秩能量为参与融合的显著性图计算自适应的权重，再通过加权相加，获得初级显著图。

其中，

表示显著图的自适应权重，

表示每幅显著图的能量。

以上得到的初级显著图可以较好地抑制背景，但是显著区域较为模糊，不符合人类视觉感受，本发明采用同态滤波对初级显著图进行图像增强，得到显著区域较为清晰的最终显著图。同态滤波通过在频域中压缩图像亮度和增强图像对比度，可以灵活地解决加性噪声问题。具体处理过程如下：

对于一幅图像f(x,y)，可表示为其照射成分i(x,y)与反射成分r(x,y)的乘积，即

f(x,y)＝i(x,y)r(x,y)

在此基础上，分步运算过程如下：

两边取对数：lnf(x,y)＝lni(x,y)+lnr(x,y)

两边取傅氏变换：F(u,v)＝I(u,v)+R(u,v)

用频域函数处理：H(u,v)F(u,v)＝H(u,v)I(u,v)+H(u,v)R(u,v)

反变换到空域：h_f(x,y)＝h_i(x,y)+h_r(x,y)

两边取指数：g(x,y)＝exp|h_f(x,y)|＝exp|h_i(x,y)|+exp|h_r(x,y)|

由此可见，增强后的图像依然是由照射成分i(x,y)与反射成分r(x,y)组成，照射成分在图像中表现为缓慢变化的部分，对应傅里叶变换的低频部分；而反射成分在图像中表现为边缘交界处，对应傅里叶变换的高频部分。通过设计一个滤波函数H(u,v)来影响傅里叶变换中的的高低频分量。

当选取HL＜1,HH＞1时，滤波函数将减弱低频部分，增强高频部分。在消除图像一定噪声的同时，强化了图像相邻区域间的对比度。

通过对标准数据集MSRA1000、ECSSD上进行显著性目标检测实验以验证本发明方法的功能，并与八种主流的算法进行对比，实验结果表明，本发明提出的融合边界先验与频域信息的图像显著性检测方法，能够较好地分离显著前景与背景，完整清晰地保留显著物体的轮廓，并在准确率-召回率(PR)曲线等评价指标上有所提升。

本发明采用带有人工标注的MSRA和ESSCD两个数据集，选取当前最为常用的SR、HFT、LRR、MR、BM、WMR、RBD、GS、BFS九种显著性检测算法进行对比实验，相比于这些显著性检测方法，本发明提出的方法能够有效的抑制背景，准确地突出显著区域，而且检测出的显著图边缘轮廓更加完整、接近真值图，优于其他显著性检测算法。

通过显著性结果图的对比，可以看出本发明方法明显优于其他方法，效果上更接近人工标记的二值图。除此之外，本节将通过准确率-召回率曲线(PR曲线)、综合评价指标(F-measure)、平均绝对误差(MAE值)和结构度量(S-measure值)对本发明方法进行客观比较和分析。

PR曲线是用来评价算法性能的重要指标之一，PR曲线越靠近右上方，F-measure值越大，说明算法的整体性能越好。本发明方法与9种对比算法在MSRA和ESSCD数据集上的PR曲线、F-measure值，本发明方法的PR曲线在两个数据集上均最靠近右上方，F-measure值大于其他算法，说明本发明方法检测精度优于其它对比算法，能够得到较高质量的显著图。

MAE值通过计算输出的显著性图谱与人工标注的二值图之间的平均绝对误差，并对数据集中所有图像的平均绝对误差求均值的方法评价算法的性能。MAE值越小，说明算法输出的图像越接近真值图。其计算公式为：

式中，W、H分别代表图像的宽度和高度。

本发明方法在MSRA和ESSCD数据集上的MAE值见表1。从表1中可以看出，本发明检测方法的MAE值仅弱于于MR、RBD和WMR算法，强于其它对比算法，说明本发明方法的结果图更加接近于人工标注的二值图。

表1 MSRA和ESSCD数据集上的MAE

除以上3种评价指标外，为了更加全面地评价检测结果，本发明采用结构化度量指标S-measure评价显著图与真值图的结构越相似度。S-measure值越高，说明输出的显著图与真值图的结构越相似，其计算公式为：

式中，ε表示线性系，通常ε＝0.5，λ表示真值图中显著区域与图像区域的比率，O_FG表示对象级别中显著图和真值图的相似性，O_BG表示对象级别中的背景相似性。Num表示图像块的总数，ω_num表示不同图像块的权重，ssim(num)表示亮度、对比度和结构比较构成的产物。S-measure值越高，说明显著图与真值图的结构越相似。本发明方法的S-measure值均高于其它对比算法，说明本发明方法的检测结果更完善，输出的显著图与真值图的结构最相似。

在复杂场景下的显著性目标检测中，针对生成的显著效果图存在无法准确分离前景与背景、检测区域边界不完整的问题，提出一种融合边界先验与频域信息的图像显著性目标检测方法。首先，采用简单线性迭代聚类的SLIC超像素分割算法将图像进行预处理，基于超像素块检测并提取图像的边缘像素，得到初选边界图；其次，通过计算边界连通度并结合超像素的纹理特征获得显著区域边界完整的边界先验显著图。再利用改进的超复数傅里叶变换算法，在频域优化初选边界图的背景抑制效果，得到频域特征显著图；最后，将边界先验显著图与频域特征显著图采用自适应权重融合，得到初级显著图。通过同态滤波增强图像，得到最终显著图。通过在标准数据集MSRA1000、ECSSD上进行显著性目标检测实验以验证本发明方法的功能，并与主流的算法进行对比，实验结果表明，本发明方法在准确率-召回率(PR)曲线等评价指标上有所提升。融合边界先验与频域信息的显著性目标检测方法，结合了边界信息与频域信息，对于复杂场景下的显著性目标，能够检测出边界更加完整的显著区域，证明了本发明方法的有效性和适用性。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims (2)

1.一种融合边界先验与频域信息的显著性目标检测方法，其特征在于，包括以下步骤：

(1)、利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图片的特征信息；

(2)、边界先验模型假设图像的边界为非显著区域，并以此作为先验知识，对图像中的区域进行相似度分析，评估分离显著目标，得到前景目标突出的边界先验特征图；

(3)、将超像素间的纹理差异融入到边缘先验的方法，并选取LBP纹理特征来衡量超像素间的纹理差异，以表征超像素块的边界特征；

(4)、通过傅里叶变换将边界先验特征图的非边界区域转换到频率域，来实现频域显著性区域的检测；

(5)、将边界先验显著图和频域特征显著图融合；

(6)、采用同态滤波对初级显著图进行图像增强，得到显著区域较为清晰的最终显著图。

2.如权利要求1所述的融合边界先验与频域信息的显著性目标检测方法，其特征在于，在所述步骤(5)中，利用低秩能量为参与融合的显著性图计算自适应的权重，再通过加权相加，获得初级显著图：

其中，

表示显著图的自适应权重，

表示每幅显著图的能量。

Images