CN106056165A - 一种基于超像素关联性增强Adaboost分类学习的显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于超像素关联性增强Adaboost分类学习的显著性检测方法，属于图像处理领域。首先，生成基于背景的显著图，由超像素在颜色特征空间和位置空间上的全局对比度得到。然后在背景显著图基础上，采用K‑最近邻算法作为弱分类器，使用AdaBoost算法进行增强学习，得到一个强学习的分类器，对图像超像素进行分类，得到分类显著图，并使用邻居超像素关联矩阵分别对背景显著图和分类显著图进行优化。最后对分类后得到的显著图和背景显著图进行加权融合，生成最终的显著图。该发明在PASCAL数据集上进行测试，能够得到较好的显著性检测结果。显著性分析结果可用于促进图像分割、对象检测与跟踪、头像分析理解等应用。

Description

一种基于超像素关联性增强Adaboost分类学习的显著性检测 方法

技术领域

本发明属于图像处理领域，涉及一种基于超像素关联性增强AdaBoost分类学习的显著性检测方法，采用K-最近邻分类算法作为基本分类器，考虑邻居超像素之间的关联性，属于自底向上显著性检测模型。

背景技术

一般情况下，人们只会对视觉场景中感兴趣的只是某个局部而不是视力范围内的所有物体。显著性检测技术能够模拟人类的视觉系统，检测出图像中最能吸引人们注意最能表现图像内容的显著部分。这部分相对于它的邻近区域突出，比如在颜色、纹理、形状等方面与邻近区域有较明显的区别。

目前，随着人们对显著性检测的研究越来越深入，已经涌现出来很多好的检测方法与检测模型。自底向上的显著性检测模型是图像显著性检测中运用比较广泛的一种模型，相比于基于高层语义信息的自顶向下显著性检测模型，它基于底层特征，能更有效的检测图像的细节信息。同时，人们发现对比度是对检测结果影响较大的因素。对比度即两个单元在颜色、梯度、亮度、空间距离、形状等特征上的差别程度。根据对比单元分布，对比度分为全局对比度和局部对比度。局部对比度方法是基于周围邻近像素估计一特定区域的显著性，这类方法能产生较清晰的显著图，但忽略了全局关系结构，而且对图像的高频部分更为敏感。全局对比度方法在整幅图像上考察对比度关系。这类方法倾向于将大范围的目标同周围环境分离开，检测结果通常优于会在轮廓附近产生较高显著性的局部对比度方法，但是由于较多关注整幅图像的结构和统计特征，需要解决复杂的整合问题。对于特征差异较明显的图像，利用对比度理论能够得到较好的显著性检测结果，但是对于那些颜色等底层特征不够突出即与周围边缘特征相近的图像，检测结果还不够精确。

发明内容

本发明考虑超像素之间的联系，提出了一种基于超像素关联性增强AdaBoost分类学习的显著性检测方法，目的在于克服现有技术的不足，在背景显著图基础上，从邻近超像素的关联性角度出发，对图像超像素进行分类，以更有效的区分目标超像素和背景超像素，得到较好的显著性图。

本发明的技术方案：

一种基于超像素关联性增强AdaBoost分类学习的显著性检测方法，步骤如下：

步骤1.生成背景显著图并用超像素关联矩阵进行优化

生成背景显著图：确定背景超像素种子，将背景超像素种子依据颜色特征分类聚簇；依据空间位置(W)、CIELab、HSV和纹理(T)等四个特征，将非背景超像素与上述各分类聚簇的背景超像素种子进行对比度计算，生成背景显著图S_BG；

用超像素关联矩阵对背景显著图进行优化：

在空间位置(W)、CIELab、HSV和纹理(T)等特征上建立超像素关联矩阵A＝[a_ij]_N×N，其中N为超像素数。邻居超像素在上述四个特征间具有关联性，采用欧式距离判定邻居超像素关联性，公式为：

$a_{ij}=\left\{\begin{array}{cc}\exp (-\frac{\left|\right|feat\left(i\right),feat\left(j\right)\left|\right|}{{{\mathrm{\σ}}_1}^2}),& j\∈n\left(i\right)\\ 0,& j\∉n\left(i\right)\end{array}\right.---\left(1\right)$

其中，本发明中此处feat(i)、feat(j)分别为超像素i和超像素j的HSV颜色特征，n(i)为超像素i的邻居超像素集合，σ₁为常量。

对背景显著图S_BG进行优化，优化公式为：

${\hat{S}}_{BG}=(D^{-1}\×A)\×{S_{BG}}^T---\left(2\right)$

其中，D＝diag{d₁₁,d₂₂,…,d_NN},

步骤2.对背景显著图超像素进行分类：采用AdaBoost增强学习分类算法，为考虑邻近超像素之间的相互影响，将K-最近邻分类算法作为AdaBoost算法的弱分类器，在背景显著图上，依据超像素的显著性值对超像素进行分类，即划分为目标超像素和背景超像素。

步骤3.生成分类显著图并使用超像素关联矩阵进行优化：在步骤2分类结果上，对超像素显著性重新赋值，得到分类显著图。同理步骤1中对背景显著图的优化，使用超像素关联矩阵对分类显著图进行进一步优化。

步骤4.生成融合显著图：将步骤3和步骤1得到的显著图进行加权融合，得到最终的显著图。

本发明的有益效果：本发明所提出的基于超像素关联性增强Adaboost分类学习的显著性检测方法，无论是在背景区域与目标区域的划分上，还是在对显著图的优化上，都着重考虑了邻近超像素之间的关联性。而且这种邻近关系不仅仅是指空间位置上的邻近，还包括纹理特征空间以及CIELab和HSV两个相互补的颜色特征空间上的邻近，使得背景区域与目标区域的划分更加精确，得到高质量的显著图。

附图说明

图1是本发明图像显著性检测方法的流程图。

图2是本发明的实例检测流程的效果图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

针对上述四个步骤，对每一个步骤进行以下具体说明：

步骤1：生成背景显著图

1-1用PB(probability of boundary)方法检测出图像的边界信息，得到超像素i的边缘像素的平均PB值，计算公式为其中I^pb是超像素i中像素I的PB值，|B_i|是超像素i中像素数量。采用OTSU方法得到一个自适应阈值，把PB值小于阈值的超像素作为背景种子。

1-2采用K-means方法将背景种子依据CIELab颜色特征分类聚簇，聚类中心点数量用K_M表示。这里的K_M值依据一般性边缘颜色数量取为K_M＝3。然后在空间位置(W)、纹理(T)、CIELab、HSV等特征上，将非背景超像素与上述各分类聚簇的背景超像素种子进行对比度计算。针对上述四个特征分别得到K_M个簇的特征显著图。第k_m(k_m∈{1,2,…,K_M})个簇类特征显著图可表示为S_feat(k_m,i)，其中，feat∈{W,T,CIELab,HSV}。超像素显著性值计算公式分别为：

$S_W(k_m,i)=\frac{1}{\left|P_{k_m}\right|}\underset{j=1}{\overset{\left|P_{k_m}\right|}{\mathrm{\Σ}}}\frac{\left|\right|W\left(i\right),W\left(j\right)|{|}^2}{2{{\mathrm{\σ}}_2}^2}---\left(3\right)$

$S_T(k_m,i)=\frac{1}{\left|P_{k_m}\right|}\underset{j=1}{\overset{\left|P_{k_m}\right|}{\mathrm{\Σ}}}\frac{\left|\right|T\left(i\right),T\left(j\right)\left|\right|}{2{{\mathrm{\σ}}_3}^2}---\left(4\right)$

$S_{Lab}(k_m,i)=\frac{1}{\left|P_{k_m}\right|}\underset{j=1}{\overset{\left|P_{k_m}\right|}{\mathrm{\Σ}}}\frac{\left|\right|c_{Lab}\left(i\right),c_{Lab}\left(j\right)\left|\right|}{2{{\mathrm{\σ}}_4}^2}---\left(5\right)$

$S_{HSV}(k_m,i)=\frac{1}{\left|P_{k_m}\right|}\underset{j=1}{\overset{\left|P_{k_m}\right|}{\mathrm{\Σ}}}\frac{\left|\right|c_{HSV}\left(i\right),c_{HSV}\left(j\right)\left|\right|}{2{{\mathrm{\σ}}_5}^2}---\left(6\right)$

其中上述公式左边(k_m,i)表示第k_m个簇中第i个超像素，公式右边表示第k_m个簇中超像素个数，在公式(3)中||W(i),W(j)||为超像素i与超像素j在空间位置上的欧式距离，公式(4)中||T(i),T(j)||为超像素i和超像素j在纹理特征上的欧式距离，公式(5)中||c_Lab(i),c_Lab(j)||为超像素i与超像素j在CIELab颜色空间上的欧式距离，公式(6)中||c_HSV(i),c_HSV(j)||为超像素i与超像素j在HSV颜色空间上的欧式距离，σ₂、σ₃、σ₄、σ₅为常量。

1-3对步骤1-2中得到的S_W、S_T、S_Lab、S_HSV特征显著图进行融合，生成背景显著图S_BG，其超像素显著性值计算公式为：

$S_{BG}\left(i\right)=\underset{k_m=1}{\overset{K_M}{\mathrm{\Σ}}}{S}_W(k_m,i)\×\left(S_{Lab}\right(k_m,i)+S_{HSV}(k_m,i)+S_T(k_m,i)/3)---\left(7\right)$

1-4在上述特征空间上建立超像素关联矩阵A＝[a_ij]_N×N，其中N为超像素数。邻居超像素在特征上相互影响，依旧采用欧式距离来判定关联性的大小，计算公式为：

$a_{ij}=\left\{\begin{array}{cc}\exp (-\frac{\left|\right|feat\left(i\right),feat\left(j\right)\left|\right|}{{{\mathrm{\σ}}_1}^2}),& j\∈n\left(i\right)\\ 0,& j\∉n\left(i\right)\end{array}\right.---\left(8\right)$

其中，本发明中此处feat为HSV颜色特征，n(i)为超像素i的邻居集合，σ₅为常量参数。

对步骤1-4中得到的背景显著图S_BG采用超像素关联矩阵进行优化，优化公式为：

${\hat{S}}_{BG}=(D^{-1}\×A)\×{S_{BG}}^T---\left(9\right)$

其中，D＝diag{d₁₁,d₂₂,…,d_NN},

步骤2：对背景显著图的超像素进行分类

2-1获取分类样本：为同一张背景显著图选取两个阈值：目标像素阈值T_f和背景像素阈值T_b；阈值是由OTSU方法依据超像素的显著性值确定，然后赋予两个不同的权重，设定目标阈值权重ρ_f＝1.45，背景阈值权重ρ_b＝0.95；背景显著图中显著性值大于目标超像素阈值T_f的超像素为目标超像素，定义其类别标签label＝1，同理小于T_b的确定为背景超像素，定义其类别标签label＝-1，处于两者之间的为待分类样本；将确定的目标超像素和背景超像素作为分类器训练样本，表示为X:{x₁,x₂,...,x_n}，对应类别集合表示为label:{label(x_i)|x_i∈X,label∈{1,-1}}。

2-2构造弱分类器，即K-最近邻分类器(KNN)；KNN算法中一个超像素的邻近超像素是由该超像素与其他超像素在空间位置、纹理、CIELab和HSV四个特征的欧式距离来确定的；KNN算法中邻近超像素选取个数用K_N表示；KNN算法中的测试集中超像素i与训练集中超像素j在特征feat上的欧式距离表示为：

D_feat＝||Test_feat(i)-Train(j)|| (10)

其中，Test_feat(i)、Train_feat(j)分别为测试集中超像素i和训练集中超像素j的feat特征，feat∈{CIELab,HSV,T,W}，此处的测试集为在样本集合X中随机选取的一部分样本，样本集合X中剩余部分样本作为此处的训练集。

选取前K_N个最小D_feat值所对应的超像素j作为超像素i的K_N个最近邻超像素；分别计算K_N个超像素中目标超像素个数NUM_label＝1和背景超像素个数NUM_label＝-1，如果NUM_label＝1≥NUM_label＝-1，则超像素i为目标超像素，反之为背景超像素。最后计算分类误差率ε。

在KNN算法中，K_N值的选择对算法的性能有着很大影响。本发明中采用10折交叉验证算法，选取平均分类误差率最小时的K_N值作为KNN算法的最优K_N值。

2-3构造强分类器。采用AdaBoost增强学习算法，在训练样本上对步骤2-2中构造的弱分类器进行迭代训练得到多个弱分类器，把多个弱分类器依据权重融合成一个强分类器。

首先，按如下方法改进样本初始权重分布：

$Weight\left(x_i\right)=\left\{\begin{array}{cc}\frac{1}{2\&times;\left|X_{positive}\right|},& label\left(x_i\right)>0\\ \frac{1}{2\&times;\left|X_{negative}\right|},& label\left(x_i\right)<0\end{array}\right.---\left(11\right)$

其中，|X_positive|为目标超像素个数，|X_negaive|为背景超像素个数，label(x_i)为样本x_i的初始类别标签。

其次，使用初始权重分布，对弱分类器进行训练学习；设定T轮训练，针对图像四个特征及分别对应的K_N值，每轮训练得到四个单特征的弱分类器，选取使误差率ε_t最小的弱分类器，作为本轮训练的最优弱分类器。第t轮训练得到的最优弱分类器可表示为h_t。

最后，计算弱分类器权重并更新样本初始权重。

第t轮弱分类器h_t权重计算公式为：

$a_t=log\left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right)---\left(12\right)$

其中，

其中N为样本数,h_t(x_i)为第t个弱分类器对样本x_i的分类输出。

样本权重更新公式为：

$Weight\left(x_i\right)=\frac{Weight\left(x_i\right)}{{\mathrm{\&Sigma;}}_{i=1}^{N}Weight\left(x_i\right)}\left\{\begin{array}{cc}\frac{{\mathrm{\&epsiv;}}_t}{1-{\mathrm{\&epsiv;}}_t},& h_t\left(x_i\right)=label\left(x_i\right)\\ 1,& h_t\left(x_i\right)\&NotEqual;label\left(x_i\right)\end{array}\right.---\left(13\right)$

组成强分类器：

$H\left(x_i\right)=sign\left(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t{h}_t\right(x_i\left)\right)---\left(14\right)$

步骤3：生成分类显著图并使用超像素关联矩阵进行优化

3-1使用步骤2中生成的强分类器对步骤1中生成的背景显著图中的超像素进行分类，对分类后的超像素重新赋予显著性值，使目标更突出。计算公式如下：

$S_{label}\left(i\right)=\left\{\begin{array}{cc}{\hat{S}}_{BG}\left(i\right)+\max \left(\right|{\hat{S}}_{BG}\left(i\right)\left|\right)/{{\mathrm{\&delta;}}_1}^2,& label\left(i\right)=1\\ {\hat{S}}_{BG}\left(i\right)+\min \left({\hat{S}}_{BG}\right(i\left)\right)/{{\mathrm{\&delta;}}_2}^2,& label\left(i\right)=-1\end{array}\right.---\left(15\right)$

其中，δ₁，δ₂为常量。

3-2对步骤3-1中生成的分类显著图进行关联矩阵优化，同步骤1-4中对背景显著的优化，对分类显著图优化公式为：

${\hat{S}}_{label}=(D^{-1}\&times;A)\&times;S_{label}---\left(16\right)$

步骤4：生成融合显著图

最后一步是把步骤1生成的背景显著图和步骤3-2生成的分类显著图进行加权融合，生成最终的显著图。融合公式为：

$S_{label}={\mathrm{\&beta;}}_1\&times;{\hat{S}}_{BG}+{\mathrm{\&beta;}}_2\&times;{\hat{S}}_{label}---\left(17\right)$

其中，β₁+β₂＝1。

Claims (1)

1.一种基于超像素关联性增强AdaBoost分类学习的显著性检测方法，其特征在于，步骤如下：

步骤1：生成背景显著图并用超像素关联矩阵进行优化

生成背景显著图：确定背景超像素种子，将背景超像素种子依据颜色特征分类聚簇；依据空间位置W、CIELab、HSV和纹理T四个特征，将非背景超像素与上述各分类聚簇的背景超像素种子进行对比度计算，生成背景显著图S_BG；

用超像素关联矩阵对背景显著图进行优化：

在空间位置W、CIELab、HSV和纹理T上建立超像素关联矩阵A＝[a_ij]_N×N，其中N为超像素数；邻居超像素在上述四个特征间具有关联性，采用欧式距离判定邻居超像素关联性，公式为：

$a_{ij}=\left\{\begin{array}{cc}\exp (-\frac{\left|\right|feat\left(i\right),feat\left(j\right)\left|\right|}{{{\mathrm{\&sigma;}}_1}^2}),& j\&Element;n\left(i\right)\\ 0,& j\&NotElement;n\left(i\right)\end{array}\right.---\left(1\right)$

其中，feat(i)、feat(j)分别为超像素i和超像素j的HSV颜色特征，n(i)为超像素i的邻居超像素集合，σ₁为常量；

对背景显著图S_BG进行优化，优化公式为：

${\hat{S}}_{BG}=(D^{-1}\&times;A)\&times;{S_{BG}}^T---\left(2\right)$

其中，D＝diag{d₁₁,d₂₂,…,d_NN},

步骤2：对背景显著图的超像素进行分类

2-1获取分类样本：为同一张背景显著图选取两个阈值：目标像素阈值T_f和背景像素阈值T_b；阈值是由OTSU方法依据超像素的显著性值确定，然后赋予两个不同的权重，设定目标阈值权重ρ_f＝1.45，背景阈值权重ρ_b＝0.95；背景显著图中显著性值大于目标超像素阈值T_f的超像素为目标超像素，定义其类别标签label＝1，同理小于T_b的确定为背景超像素，定义其类别标签label＝-1，处于两者之间的为待分类样本；将确定的目标超像素和背景超像素作为分类器训练样本，表示为X：{x₁，x₂，...，x_n}，对应类别集合表示为label：{label(x_i)|x_i∈X，label∈{1，-1}}；

2-2构造弱分类器：即K-最近邻分类器KNN；KNN算法中一个超像素的邻近超像素是由该超像素与其他超像素在空间位置、纹理、CIELab和HSV四个特征的欧式距离来确定的；KNN算法中邻近超像素选取个数用K_N表示；KNN算法中的测试集中超像素i与训练集中超像素j在特征feat上的欧式距离表示为：

D_feat＝||Test_feat(i)-Train(j)|| (10)

其中，Test_feat(i)、Train_feat(j)分别为测试集中超像素i和训练集中超像素j的feat特征，feat∈{CIELab，HSV，T，W}，此处的测试集为在样本集合X中随机选取的一部分样本，样本集合X中剩余部分样本作为此处的训练集；

选取前K_N个最小D_feat值所对应的超像素j作为超像素i的K_N个最近邻超像素；分别计算K_N个超像素中目标超像素个数NUM_label＝1和背景超像素个数NUM_label＝-1，如果NUM_label＝1≥NUM_label＝-1，则超像素i为目标超像素，反之为背景超像素；最后计算分类误差率ε；

采用10折交叉验证算法，选取平均分类误差率最小时的K_N值作为KNN算法的最优K_N值；

2-3构造强分类器：采用AdaBoost增强学习算法，在训练样本上对步骤2-2中构造的弱分类器进行迭代训练得到多个弱分类器，把多个弱分类器依据权重融合成一个强分类器；

首先，按如下方法改进样本初始权重分布：

$Weight\left(x_i\right)=\left\{\begin{array}{cc}\frac{1}{2\&times;\left|X_{positive}\right|},& label\left(x_i\right)>0\\ \frac{1}{2\&times;\left|X_{negative}\right|},& label\left(x_i\right)<0\end{array}\right.---\left(11\right)$

其中，|X_positive|为目标超像素个数，|X_negaive|为背景超像素个数，label(x_i)为样本x_i的初始类别标签；

其次，使用初始权重分布，对弱分类器进行训练学习；设定T轮训练，针对图像四个特征及分别对应的K_N值，每轮训练得到四个单特征的弱分类器，选取使误差率ε_t最小的弱分类器，作为本轮训练的最优弱分类器；第t轮训练得到的最优弱分类器可表示为h_t；

最后，计算弱分类器权重并更新样本初始权重；

第t轮弱分类器h_t权重计算公式为：

$a_t=log\left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right)---\left(12\right)$

其中，

其中N为样本数，h_t(x_i)为第t个弱分类器对样本x_i的分类输出；

样本权重更新公式为：

$Weight\left(x_i\right)=\frac{Weight\left(x_i\right)}{{\mathrm{\&Sigma;}}_{i=1}^{N}Weight\left(x_i\right)}\left\{\begin{array}{cc}\frac{{\mathrm{\&epsiv;}}_t}{1-{\mathrm{\&epsiv;}}_t},& h_t\left(x_i\right)=label\left(x_i\right)\\ 1,& h_t\left(x_i\right)\&NotEqual;label\left(x_i\right)\end{array}\right.---\left(13\right)$

组成强分类器：

$H\left(x_i\right)=sign\left(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t{h}_t\right(x_i\left)\right)---\left(14\right)$

步骤3：生成分类显著图并使用超像素关联矩阵进行优化

3-1使用步骤2中生成的强分类器对步骤1中生成的背景显著图中的超像素进行分类，对分类后的超像素重新赋予显著性值，使目标更突出；计算公式如下：

$S_{label}\left(i\right)=\left\{\begin{array}{cc}{\hat{S}}_{BG}\left(i\right)+\max \left(\left|{\hat{S}}_{BG}\left(i\right)\right|\right)/{{\mathrm{\&delta;}}_1}^2,& label\left(i\right)=1\\ {\hat{S}}_{BG}\left(i\right)+\min \left({\hat{S}}_{BG}\left(i\right)\right)/{{\mathrm{\&delta;}}_2}^2,& label\left(i\right)=-1\end{array}\right.---\left(15\right)$

其中，δ₁，δ₂为常量；

3-2对步骤3-1中生成的分类显著图进行关联矩阵优化，同步骤1中对背景显著的优化，对分类显著图优化公式为：

${\hat{S}}_{label}=(D^{-1}\&times;A)\&times;S_{label}---\left(16\right)$

步骤4：生成融合显著图

最后一步是把步骤1生成的背景显著图和步骤3-2生成的分类显著图进行加权融合，生成最终的显著图；融合公式为：

$S_{label}={\mathrm{\&beta;}}_1\&times;{\hat{S}}_{BG}+{\mathrm{\&beta;}}_2\&times;{\hat{S}}_{label}---\left(17\right)$

其中，β₁+β₂＝1。