CN107527348B - 基于多尺度分割的显著性检测方法 - Google Patents

Abstract

基于多尺度分割的显著性目标检测方法，步骤1：利用双边滤波参数对输入图像进行平滑图像处理，再进行不同分割尺度的超像素分割；根据分割得到的超像素，计算全局平滑度；将全局平滑度与双边滤波参数结合，构建以分割效果为目标的自适应算法函数，求解不同尺度下的双边滤波参数，得到最优的平滑图像中的超像素点；步骤2：利用目标似然图技术来获得初始前景种子，并使用图像的边界作为初始背景种子，通过交叉验证法，从初始前景种子和初始背景种子中选择背景种子和前景种子，并生成基于背景的RBB显著图和基于前景的RFB显著图；步骤3：计算超像素点的尺度权重，背景种子和前景种子的种子权重；合并得到的RBB显著图和RFB显著图，最终获得显著图。

Description

基于多尺度分割的显著性检测方法

技术领域

本发明涉及图像数据处理领域，尤其涉及一种基于多尺度分割的显著性检测方法。

背景技术

近些年来,显著性检测一直是计算机视觉和图像处理领域的热门话题。目前计算机视觉领域的许多研究中都已经将显著性检测作为其预处理步骤,如图像压缩,图像分割,目标定位,图像分类等。

通常,将显著性检测方法按照信息处理的方式进行划分,可以大致分为两类,一类是自上而下的方法,一类是自下而上的方法。自上而下的方法，需要先知道所检测目标的基本属性,并且进行监督训练,因此大多数自上而下的方法可以取得较高的准确率,但这类方法往往会忽略显著性目标的细节信息。相反,自下而上的方法往往是从底层的视觉信息出发,即利用来自背景的先验线索，或仅使用来自前景的先验线索。同时，还有考虑全局先验信息的论文，即同时利用来自背景和前景的先验信息。利用全局先验的线索已被证明更有效。因而该类方法可以很好地适应不同背景的图像,也能够检测出原始图像的细节信息。

在显著性检测领域，大多数以前的文献主要在采用分割时都只使用单一尺度分割。也就是说，当它分割输入图像时，它们仅采用超像素数量的单个尺度。大多数基于单尺度分割的显著性检测算法对于尺度的大小是敏感的，图像中的目标的大小可能不一样，单次分割不能很好地适应所有图像。进而使得该类方法的显著性检测结果不准确。在考虑全局先验线索时，很少关注多尺度分割。

然而要将多尺度分割方法应用到显著性检测中，并对检测结果起到显著的进步性作用，通过现有技术表明困难有(1)现有的基于多尺度分割的算法无法灵活选择尺度，或者不能很好地处理纹理和噪声信息。(2)选择适当的背景和前景种子，以分别生成基于(粗糙)背景(RBB)和基于前景(RFB)的显著性映射是非常重要的。现有算法不能很好地处理复杂的图像，或者不能容易地控制一些阈值参数。(3)为了合并RBB和RFB显著性图，一个容易想到的方法是计算所有粗略显著结果的平均值。然而，这种方法可能产生相当差的结果，因为它忽略了不同的分割尺度可能具有不同的效果。

发明内容

本发明要解决的技术问题是：设计一种能够实现对应不同图像可以进行灵活选择分割尺度，从而能处理复杂图像，将图像的显著性目标提取出来的基于多尺度分割的显著性目标检测方法。

为了解决上述技术问题，本发明设计的基于多尺度分割的显著性目标检测方法，包括：

步骤1：利用双边滤波参数对输入图像进行双边滤波平滑处理得到平滑图像，并对平滑图像进行不同分割尺度的超像素分割；根据分割得到的所有超像素，计算得到全局平滑度；所述的全局平滑度用S表示，令|T|表示多分割尺度的整数集合，在每个尺度t_i∈T下分割图像时的超像素数的数量为k，c_i,j(＝{l,a,b})是超级像素的像素特征，以CIELab颜色空间为基础，所有c_i,j的特征向量在相应的超级像素中：对于在不同尺度序号i分割图像中的第j个超级像素，测量其中的局部平滑度

该超像素区域通过计算所有k个超级像素色差的和，即

对于图像中的所有超级像素，全局平滑度由S表示：

再利用自适应算法函数：

使用常数实数δ，将两个分量S和σ_r保持在相同的数量级，求解得到尺度为t_i的双边滤波参数σ_r的适当值；

将全局平滑度与双边滤波参数结合，构建以分割效果为目标的自适应算法函数，求解不同尺度下的双边滤波参数，得到最优的平滑图像中的超像素点；

步骤2：利用目标似然图技术来获得初始前景种子，并使用图像的边界作为初始背景种子，通过交叉验证法，从初始前景种子和初始背景种子中选择背景种子和前景种子，并生成基于背景的RBB显著图和基于前景的RFB显著图；所述的交叉验证方式包括以下步骤：

步1：使用目标似然图技术来获得初始前景种子，并使用图像的边界作为初始背景种子；

步2：is^j是第j个初始背景种子，isⁱ第i个初始前景种子；对于每个初始背景或前景种子，包括两种特征信息：CIELab颜色空间中的颜色，即{l，a，b}和{x，y}表示在欧氏空间的位置：由

表示颜色特征，和

表示位置特征；

步3：设定图像中有m个初始背景种子；让

表示每个背景种子和所有前景种子差异和：

其中

表示颜色差异信息，

表示位置差异信息，θ是位置差异信息的权重参数；

的值作为背景种子is_b的信用评分，得到n个信用评分，n个初始背景种子的集合数字：

删除部分信用分数较低的初始背景种子，得到所需的背景种子

步骤3：利用权重方法，计算步骤1得到超像素点的尺度权重，并计算步骤2的到背景种子和前景种子的种子权重；并用尺度权重和种子权重来合并步骤2得到的RBB显著图和RFB显著图，最终获得显著图；获得最终显著图中的每个像素的方法：

令c(p)＝{l,a,b}^T，∑_p表示包含在超像素p内的所有像素；

首先，对于每个尺度t_i，计算超像素p的尺度权重scw_i(p)：

其中

是∑_p{l,a,b}^T的平均特征向量，ε是任意的小常数；在第2步骤：从初始前景种子和初始背景种子中获得了m′前景种子或n′个背景种子：

表示为前景种子或背景种子中的所有像素；

对于每个尺度t_i，计算像素p的种子权重sew_i(p)：

其中

表示：

的平均特征向量；

令V(p)表示像素p的最终显著值，合并尺度权重和种子权重，计算公式如下：

其中

表示像素p在第i个RBB或RFB显著图中的值。

本发明有益效果：

在考虑前景和背景先验时使用多尺度分割。并在发明方法中中融入了(i)获得适当滤波参数的自适应方法；(ii)用于选择合适的背景和前景种子的交叉验证方法；和(iii)基于权重的方法来合并粗糙的显著图三项技术突破，使得在对输入图像的显著图获取时：(i)可灵活选择分割尺度，很好地处理纹理和噪声信息；(ii)轻松有效地获得适当的前景和背景种子；(iii)保证了显著对象区域和背景区域之间的差异，解决了不同的挑战。

附图说明

附图1：本发明方法在数据集OMRON下与其他现有技术方法在F度量和平均绝对误差MAE评价标准中的对比柱状图。

附图2：本发明与RC和IT两种图像处理方法在P-R曲线由精度值和回归值绘制。

附图3：本发明方法得到的显著图与7种现有技术方法的到的显著图对比效果图。

具体实施方式

基于多尺度分割的显著性目标检测方法，包括：

步骤1：利用双边滤波参数对输入图像进行双边滤波平滑处理得到平滑图像，并对平滑图像进行不同分割尺度的超像素分割；根据分割得到的所有超像素，计算得到全局平滑度；将全局平滑度与双边滤波参数结合，构建以分割效果为目标的自适应算法函数，求解不同尺度下的双边滤波参数，得到最优的平滑图像中的超像素点；

步骤2：利用目标似然图技术来获得初始前景种子，并使用图像的边界作为初始背景种子，通过交叉验证法，从初始前景种子和初始背景种子中选择背景种子和前景种子，并生成基于背景的RBB显著图和基于前景的RFB显著图；

步骤3：利用权重方法，计算步骤1得到超像素点的尺度权重，并计算步骤2的到背景种子和前景种子的种子权重；并用尺度权重和种子权重来合并步骤2得到的RBB显著图和RFB显著图，最终获得显著图。

(一)双边滤波参数的选择

步骤1的全局平滑度用S表示，令|T|表示多分割尺度的整数集合，在每个尺度t_i∈T下分割图像时的超像素数的数量为k，c_i,j(＝{l,a,b})是超级像素的像素特征，以CIELab颜色空间为基础，所有c_i,j的特征向量在相应的超级像素中：对于在不同尺度序号i分割图像中的第j个超级像素，，测量其中的局部平滑度

该超像素区域通过计算所有k个超级像素色差的和，

即

对于图像中的所有超级像素，全局平滑度由S表示：

再利用自适应算法函数：

使用常数实数δ，将两个分量S和σ_r保持在相同的数量级，使用梯度下降算法来求解，而梯度下降算法可以在MATLAB软件中找到可以直接调用的算法函数对所述的自适应算法函数求解，得到尺度为t_i的双边滤波参数σ_r的适当值。

(二)背景/前景种子选择

我们的交叉验证方法背后的理由是利用一种策略来精简基于现有技术获得的部分原始背景和前景种子。我们的策略是基于观察：背景和前景之间的差异通常大于背景(或前景)内部区域之间的差异。特别地，去除初始背景(或前景)种子的一部分的操作使用来自初始前景种子的特征信息(而不是背景种子)。

交叉验证方式包括以下步骤：

步骤1：使用目标似然图技术来获得初始前景种子，并使用图像的边界作为初始背景种子；

步骤2：is^j是第j个初始背景种子，isⁱ第i个初始前景种子；对于每个初始背景或前景种子，包括两种特征信息：CIELab颜色空间中的颜色，即{l，a，b}和{x，y}表示在欧氏空间的位置：由

表示颜色特征，和

表示位置特征；

步骤3：设定图像中有m个初始背景种子；让

表示每个背景种子和所有前景种子差异和：

其中

表示颜色差异信息，

表示位置差异信息，θ是位置差异信息的权重参数；

的值作为背景种子is_b的信用评分，得到n个信用评分，n个初始背景种子的集合数字：

删除部分信用分数较低的初始背景种子，得到所需的背景种子。

另一方面，对于m个初始前景种子，我们可以使用与上述类似的方法进行处理。

(三)RBB和RFB显著性图融合

获得最终显著图中的每个像素的方法：

令c(p)＝{l,a,b}^T，∑_p表示包含在超像素p内的所有像素。首先，对于每个尺度t_i，计算超像素p的尺度权重scw_i(p)：

其中

是∑_p{l,a,b}^T的平均特征向量，ε是任意的小常数；

在第2步骤：从初始前景种子和初始背景种子中获得了

m′前景种子或n′个背景种子：

表示为前景种子或背景种子中的所有像素；

对于每个尺度t_i，计算像素p种子权重sew_i(p)：

其中

表示：

的平均特征向量；

令V(p)表示像素p的最终显著值，合并尺度权重和种子权重，计算公式如下：

其中

表示像素p在第i个RBB或RFB显著图中的值。

实验及分析

我们使用1个代表性数据来评估我们的方法：OMRON数据集。这是一个更具挑战性的数据集，包含5168个具有复杂背景和纹理结构的图像，图像中物体/目标的位置和大小也是多样化的。我们将我们的算法与经典和最先进的方法进行比较，包括IT，FT，CA，SVO，RC，SF，PCA，LMLC，GC，GMR和LPS。在我们的实验中，我们使用典型的评估指标。

(1)准确率和回归率。分别用υ_p和υ_r表示准确率和回归率。我们通过使用[1,255]中的阈值二值化显著图来获得P-R曲线。

(2)F度量。它被计算为

其中η用于控制准确率和回归率的比例。

(3)平均绝对误差。由E_ma表示平均绝对误差(MAE)。计算为

其中N_p表示图像中所有像素的数量；S(p_i)和GT(p_i)分别表示来自显著图和真值图的第i个像素的信息。在以前的文献中，将参数η²设定为0.3。另外，在我们的论文中，参数σ²和c是经验选择的，所有实验分别设定为0.2和100。

从图1可以看出，我们提出的方法具有比其他方法更大的F度量值，表明当类似于在OMRON数据集(包含具有复杂背景的图像)时，我们提出的方法也表现得非常好。并且在图2中，在OMRON数据集环境中测试，本发明方法的MAE值都小于其他方法。这些结果从另一个角度证明了我们提出的方法的优越性。

图2所示的P-R曲线由精度值和回归值绘制；它可以更直接地反映算法的性能。从图中可以看出，对于这两个数据集中的每一个，我们的算法的P-R曲线都优于其他方法。这也进一步验证了我们的方法的有效性。

并且从图3中本发明方法得到的显著图与7种现有技术方法：(a)输入图像；(b)GC；(c)PCA；(d)LPS；(e)LMLC；(f)MR；(g)本发明方法；(h)标准图。可见本发明方法得到的显著图和标准图是很非常接近了，显著性目标能在图像中能有效的从背景中剥离，并清晰的凸显出来，实际证明该方法的有效性。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界。

Claims (1)

1.基于多尺度分割的显著性目标检测方法，包括：

步骤1：利用双边滤波参数对输入图像进行双边滤波平滑处理得到平滑图像，并对平滑图像进行不同分割尺度的超像素分割；根据分割得到的所有超像素，计算得到全局平滑度；所述的全局平滑度用S表示，令|T|表示多分割尺度的整数集合，在每个尺度t_i∈T下分割图像时的超像素数的数量为k，c_i,j(＝{l,a,b})是超级像素的像素特征，以CIELab颜色空间为基础，所有c_i,j的特征向量在相应的超级像素中：对于在不同尺度序号i分割图像中的第j个超级像素，测量其中的局部平滑度

该超像素区域通过计算所有k个超级像素色差的和，即

对于图像中的所有超级像素，全局平滑度由S表示：

再利用自适应算法函数：F＝arg min_σr∈R(S+δσ_r)；使用常数实数δ，将两个分量S和σ_r保持在相同的数量级，求解得到尺度为t_i的双边滤波参数σ_r的适当值；

将全局平滑度与双边滤波参数结合，构建以分割效果为目标的自适应算法函数，求解不同尺度下的双边滤波参数，得到最优的平滑图像中的超像素点；

步骤2：利用目标似然图技术来获得初始前景种子，并使用图像的边界作为初始背景种子，通过交叉验证法，从初始前景种子和初始背景种子中选择背景种子和前景种子，并生成基于背景的RBB显著图和基于前景的RFB显著图；所述的交叉验证方式包括以下步骤：

步1：使用目标似然图技术来获得初始前景种子，并使用图像的边界作为初始背景种子；

步2：is^j是第j个初始背景种子，isⁱ第i个初始前景种子；对于每个初始背景或前景种子，包括两种特征信息：CIELab颜色空间中的颜色，即{l，a，b}和{x，y}表示在欧氏空间的位置：由

表示颜色特征，和

表示位置特征；

步3：设定图像中有m个初始背景种子；让

表示每个背景种子和所有前景种子差异和：

其中

表示颜色差异信息，

表示位置差异信息，θ是位置差异信息的权重参数；

的值作为背景种子is_b的信用评分，得到n个信用评分，n个初始背景种子的集合数字：

删除部分信用分数较低的初始背景种子，得到所需的背景种子

步骤3：利用权重方法，计算步骤1得到超像素点的尺度权重，并计算步骤2的到背景种子和前景种子的种子权重；并用尺度权重和种子权重来合并步骤2得到的RBB显著图和RFB显著图，最终获得显著图；获得最终显著图中的每个像素的方法：

令c(p)＝{l,a,b}^T，∑_p表示包含在超像素p内的所有像素；

首先，对于每个尺度t_i，计算超像素p的尺度权重scw_i(p)：

其中

是∑_p{l,a,b}^T的平均特征向量，ε是任意的小常数；在第2步骤：从初始前景种子和初始背景种子中获得了m′前景种子或n′个背景种子：

表示为前景种子或背景种子中的所有像素；

对于每个尺度t_i，计算像素p的种子权重sew_i(p)：

其中

表示：

的平均特征向量；

令V(p)表示像素p的最终显著值，合并尺度权重和种子权重，计算公式如下：

其中

表示像素p在第i个RBB或RFB显著图中的值。

Images