CN104392231A - 基于分块与稀疏主特征提取的快速协同显著性检测方法 - Google Patents

Abstract

一种基于分块与稀疏主特征提取的快速协同显著性检测方法，依次包括图像分块与原始像素的特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生成这样的四个步骤，有效地避免了现有技术中的忽略其它显著性目标、随着图像的趋于高清化和处理图像数量的增加带来的计算机内存问题和耗时问题无疑会给协同显著性检测方法在各种应用中的使用带来巨大的限制的缺陷。

Description

基于分块与稀疏主特征提取的快速协同显著性检测方法

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于分块与稀疏主特征提取的快速协同显著性检测方法。

背景技术

最初对于显著性检测的研究的动机是通过模拟人的视觉注意力机制来预测人的注意力。在过去的十多年里，研究者们已经提出了许多针对单幅图像显著性检测方法，并且在显著目标检与分割、图像检索等应用中大量使用。协同显著性检测是从一组图像中发现其间共有的显著性目标，对于目标协同分割与协同识别等研究具有重要的作用，是近年来显著性检测中一个比较新颖的研究领域。与针对单幅图像的显著性检测方法相比，协同显著性检测方法考虑了不同图像间的关联，突出强调在一组幅图像中同时存在的共有的显著目标，而忽略其它显著性目标。协同显著图作为协同显著性检测的输出可以被用于目标的协同分割、协同定位和图像检索，也是互联网视觉媒体检索的关键。

Jacobs从同一场景中捕获的一对图像，对图像中的每个像素点进行特征分析，再利用由显著目标引起的图像局部结构变化来进行协同显著性检测。这个方法需要这对图像有着高度相似的背景。Chen提出的协同显著性方法，通过计算K-L散度来衡量两幅图像间所有预注意力块的相似程度。值得注意的是，这里预注意力块并不是一般的均匀分块，而是以图像中所有的像素点为中心取块。不过分块的方法在增加了样本属性的同时也大幅增加了该方法的计算复杂性。Li提出了一种通过使用复杂的协同多分子层图像方法将三种单一图像的显著性和协同显著性图像进行线性组合。该方法中使用超像素块来代替原始像素点进行相似度计算。虽然使用超像素块能够有效的减少样本点的个数，但是进行超像素分块处理和三种针对单幅图像进行显著性检测方法的使用已经使该方法具有较高的时间复杂性。只能运用在两幅图像上相比，可以处理两幅以上的图像。Chang同样使用了超像素技术，首先为每一幅图像分别生成显著图，然后将在大多数图像中频繁出现的显著性部分作为协同显著区域。Fu对输入图像的所有原始像素点进行聚类，合了对比特征、空间特征和相似特征来检测聚类级的协同显著性。由于该方法的聚类时针对原始图像中的每一个像素点的，因此随着输入图像数量的增加，因聚类而带来的耗时也不断增加。

从上面的这些研究中可以看出，与对单幅图像进行显著性检测的研究相比，研究者利用额外的相似图像作为一种特征来进行显著性检测研究的方法是十分有效的。但是，随着图像的趋于高清化和处理图像数量的增加带来的计算机内存问题和耗时问题，无疑会给协同显著性检测方法在各种应用中的使用带来巨大的限制。

发明内容

本发明的目的提供一种基于分块与稀疏主特征提取的快速协同显著性检测方法，依次包括图像分块与底层特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生成这样的四个步骤，首先，通过图像分块与底层特征抽取的步骤对已设定大小的图像进行均匀分块，从Lab颜色空间和RGB颜色空间这两种颜色空间进行针对原始像素的特征抽取来构成图像块的原始像素的特征矩阵；然后，通过稀疏主特征提取的步骤来经过截断幂Truncated_Power方法对图像块的原始像素的特征矩阵进行稀疏主成分分析，以此来在得到的图像块的稀疏特征进行选取；接着通过基于聚类的特征计算步骤来使用K-Means聚类算法对选取出来的的图像块的稀疏特征进行聚类，计算出三种基于聚类的显著性的特征权值；最后，通过协同显著图生成步骤来结合三种基于聚类的显著性的特征权值对经过特征融合方法生成的单幅图像显著图和若干幅图像显著图进行组合生成协同显著图。有效地避免了现有技术中的忽略其它显著性目标、随着图像的趋于高清化和处理图像数量的增加带来的计算机内存问题和耗时问题无疑会给协同显著性检测方法在各种应用中的使用带来巨大的限制的缺陷。

为了克服现有技术中的不足，本发明提供了一种基于分块与稀疏主特征提取的快速协同显著性检测方法的解决方案，具体如下：

一种基于分块与稀疏主特征提取的快速协同显著性检测方法，依次包括图像分块与底层特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生成这样的四个步骤，首先，通过图像分块与底层特征抽取的步骤对已设定大小的图像进行均匀分块，从Lab颜色空间和RGB颜色空间这两种颜色空间进行针对原始像素的特征抽取来构成图像块的原始像素的特征矩阵；然后，通过稀疏主特征提取的步骤来经过截断幂Truncated_Power方法对图像块的原始像素的特征矩阵进行稀疏主成分分析，以此来对得到的图像块的稀疏特征进行选取；接着通过基于聚类的特征计算步骤来使用K-Means聚类算法对选取出来的的图像块的稀疏特征进行聚类，计算出三种基于聚类的显著性的特征权值；最后，通过协同显著图生成步骤来结合三种基于聚类的显著性的特征权值对经过特征融合方法生成的单幅图像显著图和若干幅图像显著图进行组合生成协同显著图，所述的选取出来的的图像块的稀疏特征即为图像的稀疏主特征。

由这些技术特征，本发明通过对底层特征的基本分块操作达到减少样本数和增加特征数量的效果。使用截断幂Truncated_Power方法在分块的基础上进行稀疏主成分分析并对得到的图像块的稀疏特征进行选取。在使用K-Means聚类方法对选取的图像块的稀疏特征进行聚类的结果上进行三种显著的特征权值的度量，并从单幅图像和多幅图像两个角度进行特征融合生成最终的协同显著图。实验结果表明，该方法在保证具有协同显著性检测效果的同时，大幅的缩短了处理图像所需的时间，具有更好的协同显著性检测性能。

附图说明

图l为本发明的基于分块与稀疏主特征提取的快速协同显著性检测方法的流程图。

图2为本发明的实施例的主成分个数与可解释率关系图。

图3为本发明的实施例的非零个数与可解释率关系图。

图4为本发明的实施例中针对CP数据集的协同显著性检测实验，从上至下依次是5对原始图像、人工分割图、Li的方法生成的显著图、Fu的方法生成的显著图和本专利方法生成的显著图。

图5为本发明的实施例中针对iCoseg数据集的协同显著性检测实验，从上至下依次是5对原始图像、人工分割图、Fu的方法生成的显著图和本专利方法生成的显著图。

图6为本发明的实施例的针对CP数据集的不同协同显著性检测方法的PR曲线。

图7为本发明的实施例的针对iCoseg数据集的不同协同显著性检测方法的PR曲线。

图8为本发明的实施例的当输入图像数量改变时，Fu和本专利方法平均处理每幅图像所需的时间的坐标示意图。

具体实施方式

如图1所示，基于分块与稀疏主特征提取的快速协同显著性检测方法，依次包括图像分块与原始像素的特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生成这样的四个步骤，首先，通过图像分块与原始像素的特征抽取的步骤对已设定大小的图像进行均匀分块，从Lab颜色空间和RGB颜色空间这两种颜色空间进行针对原始像素的特征的抽取来构成图像块的原始像素的特征矩阵；然后，通过稀疏主特征提取的步骤来经过截断幂Truncated_Power方法对图像块的原始像素的特征矩阵进行稀疏主成分分析，以此来对得到的图像块的稀疏特征进行选取；接着通过基于聚类的特征计算步骤来使用K-Means聚类算法对选取出来的的图像块的稀疏特征进行聚类，计算出三种基于聚类的显著性的特征权值；最后，通过协同显著图生成步骤来结合三种基于聚类的显著性的特征权值对经过特征融合方法生成的单幅图像显著图和若干幅图像显著图进行组合生成协同显著图，所述的选取出来的的图像块的稀疏特征即为图像的稀疏主特征。

所述的图像分块与底层特征抽取的步骤具体如下：

如果图像中一个区域为显著区域，那么在图像中该区域至少有一种特征与其周围环境不同，同一特征对视觉显著性的影响是不同的，有的图像中亮度为显著特征，有的图像中颜色为显著特征，因此提取图像的各种不同底层视觉特征更加有助于显著性区域的检测。本发明的方法选用Lab颜色空间和RGB颜色空间这两种颜色空间，同时考虑亮度和颜色两种视觉特征。

对于每一幅待检测的图像，不论其特点如何，都被视为一个矩阵来处理，首先将图像按照设定的大小均匀的分成若干个图像块，然后对每个图像块进行原始像素的特征的抽取，这样每个图像块中抽取到的所有的原始像素的特征在矩阵中用行向量表示，而对应的所有图像块存储为列向量，这样该矩阵就构成了图像块的原始像素的特征矩阵，而当抽取若干幅图像间的原始像素的特征时，是将所有的输入图像组合构成一个整体的矩阵，每一组输入图像有M幅且对于一幅像素大小为I_x×I_y的图像I_k，k＝1,2,…,M，I_x表示I_k的行像素，I_y表示I_k的列像素，I_k表示图像，M和k为自然数，每幅图像被分成p×q个像素大小为m×n的图像块，p、q、m和n均为自然数，图像I_k的矩阵如公式(1)所示：

公式(1)中每个图像块(I_k)_ij(i＝1,2,…，p；j＝1，2，…，q)都是m×n大小的图像矩阵的矩阵元素，i和j均为自然数且I_x＝p×m，I_y＝q×n，图像被均匀分块后，每个图像块像素大小相等，且单独从Lab颜色空间和RGB颜色空间这两种颜色空间进行原始像素的特征的抽取，将每个图像块中抽取到的所有原始像素的特征用行向量(I_k)_t表示，即对于图像I_k有 $A_k=\left(\begin{array}{c}{\left(I_k\right)}_1\\ {\left(I_k\right)}_2\\ .\\ .\\ .\\ {\left(I_k\right)}_K\end{array}\right),$ A_k即为原始像素的特征矩阵，其中，t为小于等于K的自然数，K＝p×q；而当抽取若干幅图像的原始像素的特征的时候，将所有图像存在一个整体的矩阵A中，即 $A=\left(\begin{array}{c}{A}_1\\ A_2\\ .\\ .\\ .\\ A_M\end{array}\right).$

所述的稀疏主特征提取的步骤具体如下：

上一步骤通过对输入的原始图像进行图像均匀分块和底层特征抽取的操作，已经达到减少样本数和增加特征属性的效果。这里使用截断幂方法在抽取的原始像素的特征基础上进行稀疏主成分分析以此来提取稀疏主特征。截断幂稀疏主成分分析(principal componentanalysis),是一种经典的数据降维方法。通过数据变换方法将原数据集映射到低维空间，在不损失精度的前提下，使得提取的主成分可以更好的对数据的结构分布进行分析。因此，主成分分析在降维和数据处理方面得到了广泛的应用。如手写数字的识别、人脸识别和基因表达数据处理等。

但是在主成分分析中，新的主成分是所有原始变量的线性组合，每个变量的权值大小不一且都不为0，使得提取出的主成分的解释能力较差。为了解决这一问题，研究者们在主成分分析中引入“稀疏性”，对所求的负载因子(Loadings)进行稀疏化处理，其目的在于最大化方差的同时保证主成分由个别的变量决定，以增强主成分的可解释性。当给定一个数据集A∈R^n×m，n个样本，m个属性，稀疏主成分的求解模型如公式(2)所示：

x^*＝argmaxx^TΣx,subject to||x^Tx||＝1 and||x||₀≤k   (2)

x^*是所求的稀疏负载因子，∑为协方差矩阵，x表示多维向量，负载因子的稀疏程度由参数k(k＞0)决定，||·||₀为0-范数，表示的是向量中非零个数总和，表1为截断幂方法的流程：

表1

k₁，k₂，…，k_m均为自然数，x¹，x²，…，x^m为稀疏负载因子向量集合的分量，稀疏主成分的模型求解是一个非凸优化问题，其求解方法目前已存在的方法可以大致分为阈值压缩、近似回归、正定规划、局部优化和幂收缩。综合考虑求解主成分的可解释能力、负载因子的稀疏度和算法的运行时间三个因素，本文选用截断幂方法对图像块底层特征矩阵进行稀疏主特征提取。截断幂方法结合幂迭代和矩阵收缩求解稀疏主成分，表1描述了截断幂方法的计算流程，在每次迭代过程中，应用幂方法求解主成分负载因子，然后根据定义的截断算子，即公式(3)对其进行稀疏化处理。

$\mathrm{Truncate}(x,F)=\left\{\begin{array}{cc}{\left[x\right]}_i& i\∈F\\ 0& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

F是向量下标的集合，指示每个系数向量的非零位置，||F||₀≤n。当一个主成分的求解迭代结束之后，对xti进行单位化即得到稀疏主成分对应的负载因子，在每一个主成分确定之后，对协方差矩阵根据公式(4)进行收缩操作。

Σ'＝(I_p×p-x^*x^T)Σ(I_p×p-x^*x^T)   (4)

当所有的负载因子都确定之后，即可以得到一个稀疏向量集合x＝{x¹,x²,…，x^m}作为稀疏主特征提取的调优参数。这样就能如下确定稀疏处理参数方案：

先执行稀疏处理参数的过程，所述的执行稀疏处理参数的过程是把图像块数据描述为一个矩阵A(n×p)，n表示样本个数，p是属性个数，a(i,j)表示A中第i行第j个元素，也即表示第i个样本的第j个属性，i和j为自然数，稀疏处理参数的过程具体如下：

(1)：对输入的矩阵A(n×p)的数据进行标准化，然后计算样本间的协方差矩阵Σ(p×p)，Σ_ij表示第i个样本的第j个样本间的相关性；

(2)：使用PCA算法计算协方差矩阵的特征值Σ，并且对特征值λ_i按降序进行排序，i为自然数，每个特征值λ_i决定了相对应的主成分的贡献度，主成分的个数与它们的累计贡献率有关，前k个主成分的累积贡献率的计算如公式(5)所示；

$\underset{i}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\λ}}_i/\underset{j}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\λ}}_j\≥\mathrm{\ϵ}---\left(5\right)$

满足条件的最小k值就是主成分的个数，ε为设定的临界值；

(3)在使用截断幂方法的稀疏主成分分析中存在的一个主要问题是每个主成分的非零个数值需要事先指定，因此本发明用一种局部搜素的方法来平衡方差与稀疏度以确定调优参数，具体如下：

首先，一个方差阈值δ被给定，第i个稀疏主成分的方差范围为(pev_i-δ,pev_i+δ)(pev_i是第i个主成分的方差)，然后，根据对应的负载因子(l₁,l₂),每个主成分的非零个数的上限φ和下限能被近似的计算出来,因为方差 $\mathrm{pev}\left(i\right)=R_{i1}^2/\mathrm{tr}\left(A^{T}A\right),$ 为对A进行qr算法处理后所得的右部矩阵的第i行第1列的元素的平方值，同时，稀疏主成分Z_i＝Q_iR_i，Q_i表示对A进行qr算法处理后所得的左部矩阵，而R_i表示对A进行qr算法处理后所得的右部矩阵，所以稀疏负载因子l_i可以被计算，稀疏负载因子l_i＝Z_iA^-1,(i＝1,2)，最后，在每个稀疏主成分的非零个数范围内进行局部搜素，当满足|pev(t)-pev|＜ξ_t，则非零个数t的最佳参数值被确定；

完成对稀疏处理方案的确定，就进入特征提取阶段，所述的特征提取阶段具体如下：

使用截断幂方法的稀疏主成分分析对抽取的图像的原始像素的特征进行降维并求取主成分，利用稀疏主成分分析获取的稀疏负载因子l_i,稀疏主特征Z＝A×l_i。

所述的基于聚类的特征计算的步骤具体如下：

对于显著性特征的计算，本发明在Fu的基于聚类的显著性特征计算方法的基础上进行了改进。利用图像的稀疏主特征，进行对单幅图像或者若干幅图像的两层聚类，并在聚类的结果上进行显著性特征计算，具体如下：

当获得单幅图像或者若干幅图像的稀疏主特征 $Z=\left\{\begin{array}{c}{z}_1\\ z_2\\ .\\ .\\ .\\ z_n\end{array}\right\},$ 利用K-Means聚类算法是将所有的图像块聚类成k个簇，稀疏特征相似的图像块被集中到一个簇中，并计算得到k个簇中心C＝{c₁,c₂,…,c_k}；通过三种基于聚类的特征，在聚类生成的簇中心上检测聚类级的显著性。首先，前两个是对比特征和位置优先特征，它们同时被用于单幅图像和多幅图像中计算特征权重。对于多幅图像的显著性检测额外使用了一种全局分布特征来发现一组图像中共同出现的目标。本发明之所以使用聚类级的显著性计算方法是因为聚类将图像块按相似度进行划分，可以进一步减少了后续处理的样本数量，降低计算复杂性。对比特征是在单幅图像显著性检测算法中检测显著性最常用的特征之一。与Fu相同，为每个簇C^k计算出其对应的对比特征权值w^c(k)，在人类的视觉系统里，越靠近图像中心的区域往往比其他区域更加能够吸引我们的注意力。越到图像的边缘，其吸引力越低。因此基于各个像素点到图像中心的距离的计算通过使用如公式(6)所示的高斯分布函数)生成位置优先图。

并将这个概念运用到聚类级的位置优先特征的计算中，再对聚类C^k的位置优先特征w^l(k)进行求解，求解过程如公式(7)所示：

$w^l\left(k\right)=\frac{1}{n^k}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}\left[N\left({\left|\right|z_i^j-o^j\left|\right|}_2\right|0,{\mathrm{\σ}}^2)\right]---\left(7\right)$

其中，o^j表示图像I^j的中心，变量σ²是图像的标准半径，n^k表示簇C^k中图像块的个数。根据图像块到图像I^j中心o^j的空间距离，利用高斯函数N(·)计算位置优先特征权值，N_j为图像块第几块的块数，包含图像块数越多且距离图像中心越近的聚类将得到较大的位置优先特征权值；与对比特征和位置优先特征不同，全局分布特征是用来衡量各个簇在若干幅图像中是如何分布的。它是协同显著性一个重要的全局指标。实际上，在图像间的聚类基本上保持着在多幅图像上的全局一致性。因此，本发明使用各个簇的全局分布的变化来大致的描述各个簇在多幅图像中的分布情况。在使用Fu的方法计算簇C^k的全局分布特征权值w^d(k)的基础上进一步增强全局分布特征的重要性。接着用公式(8)计算出簇C^k的全局分布特征权值w^d(k)：

$w^d\left(i\right)=2*w^d\left(i\right),w^d\left(i\right)=\max \left[{\left\{w^d\left(i\right)\right\}}_{j=1}^K\right]---\left(8\right)$

当一个簇中的图像块在每一幅图像中的分布越均匀，这个簇将得到更大的全局分布特征权值。

所述的协同显著图生成步骤具体如下：

上面介绍了三种自底向上的显著性特征。每个特征单独使用，既有它的优势也有它的不足。这里使用与Fu相似的特征融合方法完成协同显著图的生成。在融合这个特征之前，本发明利用标准的高斯归一化函数让每个特征的值分布到每个类中，然后一个聚类级的簇k的协同显著概率p(k)由公式(9)得到：

p(C^k)＝w^c(k)*w^l(k)*w^d(k)   (9)

到此，离散分布的聚类级协同显著值已经计算完成。然后将协同显著特征权值赋予每个图像块，再通过图像块还原每个像素点显著特征权值，获得最终像素级的协同显著图。

实施例在Intel Core^TMi3-3220处理器，4G内存的硬件环境下进行。操作系统为Microsoft Windows 7，实验仿真环境是Matlab 2008a。为了验证上述方法的有效性，在Co-saliency Pairs与CMU CornelliCoseg这两个带有人工分割结果的标准数据集进行实验仿真，通过考察显著图与基于显著图的分割图显示目标的效率来评价方法的性能，并且与已公开实验代码的Li(只比较处理两幅图像)和Fu的方法进行分析比较。其中Co-saliency Pairs数据集包含105组共210幅图像，CMU Cornell iCoseg数据集包含38组共643幅图像(每个目标类包含有5至41幅不等的图像)。为了便于计算与处理，将所有输入的图像统一为200×200的大小，图像块大小取4×4。

首先，在两个标准数据集中随机选取100幅图像，使用本发明描述的方法对这些图像生成的图像底层特征矩阵分别进行分析，确定稀疏化参数。对100幅图像处理的平均结果如图2和图3所示，随着主成分个数的增加，主成分的可解释力也越来越低，当主成分的个数超过3时，可解释率(percent explained variance)的值几乎为0。因此，在后续应用稀疏主成分分析时，提取的主成分个数为3，其总的可解释率为0.9894。当提取的主成分个数确定后，再调节负载因子的非零个数。前3个主成分的非零个数的调节基本呈上升趋势，当达到一定的数量时可解释力的值基本不变，因此，将各个主成分负载因子中的非零个数的确定为16。此外，对于单幅图像内的聚类使用一个固定值k₁＝6，对于一组图像间的聚类，令k₂＝min{max{2*M,10},30}，其中M表示这组图像中图像的数量。本发明主要针对协同显著性检测的检测效果与计算处理时间两个方面设计实验。实验包括主观上对协同显著图的观察，客观上PR曲线(Precision-Recall Curve)与F_β值的计算，以及各方法在处理时间上的比较。

从主观上的比较，图4、图5中分别列举了一些从两个数据集中生成的协同显著图。为了公平起见这些显著图都已经被规范化到[0,255]。从图中可以看出，本发明的协同显著图能够完整的标出协同显著目标、边界清晰并且抑制了背景区域，相比Li和Fu的协同显著图依然保持着良好的检测效果。从客观上的比较，对给定的灰度值在[0,255]范围内的显著图，进行固定阈值分割，阈值范围为[0,255]。当阈值从0变化到255，可以到的多组不同的查准率(Precision,P)和查全率(Recall,R)并且能够画出一条PR曲线。最终的PR曲线通过平均所有的测试图像的结果得到。这里给出查准率与查全率的计算如公式(10)所示。

$P\frac{\mathrm{sum}(S,A)}{\mathrm{sum}\left(S\right)},R=\frac{\mathrm{sum}(S,A)}{\mathrm{sum}\left(A\right)}---\left(10\right)$

其中sum(S,A)表示的是显著图S和人工分割图A对应像素点的值相乘后的和，sum(S)，sum(A)分别表示的是显著图S和人工分割图A所有像素点的值之和。查全率与查准率有互逆的关系。P，R值越大显著图显示目标的绝对效率越高。

在另一个实验中，使用每个显著图的自适应阈值来进行阈值分割。通常这样(式11)取一幅图像的自适应阈值T_a。

$T_a=\frac{2}{W\×H}\underset{x=1}{\overset{W}{\mathrm{\Σ}}}\underset{y=1}{\overset{H}{\mathrm{\Σ}}}S(x,y)---\left(11\right)$

其中W和H是一副图像的宽和高，S(x,y)是位置(x,y)处像素点的显著值。使用这个自适应阈值，获得基于显著图的自适应阈值分割图。然后为每幅图像计算F_β值(式12)。

$F_{\mathrm{\β}}=\frac{({\mathrm{\β}}^2+1)\mathrm{PR}}{{\mathrm{\β}}^{2}P+R}---\left(12\right)$

一般在实验中取β²＝0.3。F_β是查准率与查全率加权调和平均。它是一个要求两者同时提高的一个值，可以反映了算法的整体预测精度。图6和图7中分别给出了对两个数据集进行实验分析得到的PR曲线和F_β值。从上面的实验结果可以看出，虽然本发明的方法只是用了图像块的稀疏主特征，但是在检测的性能上并无劣势，并且略优于目前已经提出的较好的协同显著性检测方法。然而，本文的方法在处理时间上的优势远优于他们。表2给出了各种方法在这两个分别包括210幅图像和643幅图像的标准数据集下，平均处理每一幅图像所需的时间，本发明的计算处理效率是最高的。

表2

图8给出了在iCoseg标准数据集下，通过控制输入图像的数量，分别记录当输入图像数量从2变化到41时，Fu和本文方法平均处理每幅图像所需的时间，本发明的也即BSFCoS的计算处理效率一直保持在一个降低的水平。

本发明提出了一种基于图像分块与稀疏主特征提取的协同显著性检测方法。从Lab和RGB两种颜色空间对输入图像进行底层特征的抽取，通过对原始像素特征的基本分块操作达到减少样本数和增加特征数量的效果。使用截断幂方法在分块的基础上进行稀疏主成分分析并提取稀疏主特征。在使用K-Means对稀疏主特征进行聚类的结果上进行三种显著特征权值的度量，并从单幅图像和多幅图像两个角度进行特征融合生成最终的协同显著图。实验结果表明，该方法在保证具有协同显著性检测效果的同时，大幅的缩短了处理图像所需的时间，具有更好的协同显著性检测性能。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (5)

1.一种基于分块与稀疏主特征提取的快速协同显著性检测方法，其特征在于依次包括图像分块与原始像素的特征抽取、稀疏主特征提取、基于聚类的特征计算和协同显著图生成这样的四个步骤，首先，通过图像分块与原始像素的特征抽取的步骤对已设定大小的图像进行均匀分块，从Lab颜色空间和RGB颜色空间这两种颜色空间进行针对原始像素的特征抽取来构成图像块的原始像素的特征矩阵；然后，通过稀疏主特征提取的步骤来经过截断幂Truncated_Power方法对图像块的原始像素的特征矩阵进行稀疏主成分分析，以此来对得到的图像块的稀疏特征进行选取；接着通过基于聚类的特征计算步骤来使用K-Means聚类算法对选取出来的的图像块的稀疏特征进行聚类，计算出三种基于聚类的显著性的特征权值；最后，通过协同显著图生成步骤来结合三种基于聚类的显著性的特征权值对经过特征融合方法生成的单幅图像显著图和若干幅图像显著图进行组合生成协同显著图，所述的选取出来的的图像块的稀疏特征即为图像的稀疏主特征。

2.根据权利要求1所述的基于分块与稀疏主特征提取的快速协同显著性检测方法，其特征在于，所述的图像分块与原始像素的特征抽取的步骤具体如下：

对于每一幅待检测的图像，都被视为一个矩阵来处理，首先将图像按照设定的大小均匀的分成若干个图像块，然后对每个图像块进行原始像素的特征的抽取，这样每个图像块中抽取到的所有的原始像素的特征在矩阵中用行向量表示，而对应的所有图像块存储为列向量，这样该矩阵就构成了图像块的原始像素的特征矩阵，而当抽取若干幅图像间的原始像素的特征时，是将所有的输入图像组合构成一个整体的矩阵，每一组输入图像有M幅且对于一幅像素大小为I_x×I_y的图像I_k，k＝1,2,…,M，I_x表示I_k的行像素，I_y表示I_k的列像素，I_k表示图像，M和k为自然数，每幅图像被分成p×q个像素大小为m×n的图像块，p、q、m和n均为自然数，图像I_k的矩阵如公式(1)所示：

公式(1)中每个图像块(I_k)_ij(i＝1,2,…,p；j＝1,2,…,q)都是m×n大小的图像矩阵的矩阵元素，i和j均为自然数且I_x＝p×m，I_y＝q×n，图像被均匀分块后，每个图像块像素大小相等，且单独从Lab颜色空间和RGB颜色空间这两种颜色空间进行原始像素的特征的抽取，将每个图像块中抽取到的所有原始像素的特征用行向量(I_k)_t表示，即对于图像I_k有 $A_k=\left(\begin{array}{c}{\left(I_k\right)}_1\\ {\left(I_k\right)}_2\\ \·\\ \·\\ \·\\ {\left(I_k\right)}_K\end{array}\right),$ A_k即为原始像素的特征矩阵，其中，t为小于等于K的自然数，K＝p×q；而当抽取若干幅图像的原始像素的特征的时候，将所有图像存在一个整体的矩阵A中，即 $A=\left(\begin{array}{c}{A}_1\\ A_2\\ \·\\ \·\\ \·\\ A_M\end{array}\right).$

3.根据权利要求2所述的基于分块与稀疏主特征提取的快速协同显著性检测方法，其特征在于，所述的稀疏主特征提取的步骤具体如下：

先执行稀疏处理参数的过程，所述的执行稀疏处理参数的过程是把图像块数据描述为一个矩阵A(n×p)，n表示样本个数，p是属性个数，a(i,j)表示A中第i行第j个元素，也即表示第i个样本的第j个属性，i和j为自然数，确定稀疏处理参数的过程具体如下：

(1)对输入的矩阵A(n×p)的数据进行标准化，然后计算样本间的协方差矩阵Σ(p×p)，Σ_ij表示第i个样本的第j个样本间的相关性；

(2)使用PCA算法计算协方差矩阵的特征值Σ，并且对特征值λ_i按降序进行排序，i为自然数，每个特征值λ_i决定了相对应的主成分的贡献度，主成分的个数与它们的累计贡献率有关，前k个主成分的累积贡献率的计算如公式(5)所示；

$\underset{i}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\λ}}_i/\underset{j}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\λ}}_j\≥\mathrm{\ϵ}---\left(5\right)$

满足条件的最小k值就是主成分的个数，ε为设定的临界值；

(3)用一种局部搜素的方法来平衡方差与稀疏度以确定调优参数，具体如下：

首先，一个方差阈值δ被给定，第i个稀疏主成分的方差范围为(pev_i-δ,pev_i+δ)(pev_i是第i个主成分的方差)，然后，根据对应的负载因子(l₁,l₂),每个主成分的非零个数的上限φ和下限能被近似的计算出来,因为方差 $\mathrm{pev}\left(i\right)=R_{i1}^2/\mathrm{tr}\left(A^{T}A\right),$ 为对A进行qr算法处理后所得的右部矩阵的第i行第1列的元素的平方值，同时，稀疏主成分Z_i＝Q_iR_i，Q_i表示对A进行qr算法处理后所得的左部矩阵，而R_i表示对A进行qr算法处理后所得的右部矩阵，稀疏负载因子l_i＝Z_iA^-1,(i＝1,2)，最后，在每个稀疏主成分的非零个数范围内进行局部搜素，当满足|pev(t)-pev|＜ξ_t，则非零个数t的最佳参数值被确定；

完成对稀疏处理方案的确定，就进入特征提取阶段，所述的特征提取阶段具体如下：

使用截断幂方法的稀疏主成分分析对抽取的图像的原始像素的特征进行降维并求取主成分，利用稀疏主成分分析获取的稀疏负载因子l_i,稀疏主特征Z＝A×l_i。

4.根据权利要求3所述的基于分块与稀疏主特征提取的快速协同显著性检测方法，其特征在于，所述的基于聚类的特征计算的步骤具体如下：

利用图像的稀疏主特征，进行对单幅图像或者若干幅图像的两层聚类，并在聚类的结果上进行显著性特征计算，具体如下：

当获得单幅图像或者若干幅图像的稀疏主特征 $Z=\left(\begin{array}{c}{z}_1\\ z_2\\ \·\\ \·\\ \·\\ z_n\end{array}\right),$ 利用K-Means聚类算法是将所有的图像块聚类成k个簇，稀疏特征相似的图像块被集中到一个簇中，并计算得到k个簇中心C＝{c₁,c₂,…,c_k}；为每个簇C^k计算出其对应的对比特征权值w^c(k)，基于各个像素点到图像中心的距离的计算通过使用如公式(6)所示的高斯分布函数)生成位置优先图。

再对簇C^k的位置优先特征w^l(k)进行求解，求解过程如公式(7)所示：

$w^l\left(k\right)=\frac{1}{n^k}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}\left[N\left({\left|\right|z_i^j-o^j\left|\right|}_2\right|0,{\mathrm{\σ}}^2)\right]---\left(7\right)$

其中，o^j表示图像I^j的中心，变量σ²是图像的标准半径，n^k表示簇C^k中图像块的个数。根据图像块到图像I^j中心o^j的空间距离，利用高斯函数N(·)计算位置优先特征权值，N_j为图像块第几块的块数，接着用公式(8)计算出簇C^k的全局分布特征权值w^d(k)：

$w^d\left(i\right)=2*w^d\left(i\right),w^d\left(i\right)=\max \left[{\left\{w^d\left(i\right)\right\}}_{j=1}^K\right]---\left(8\right)$ 。

5.根据权利要求4所述的基于分块与稀疏主特征提取的快速协同显著性检测方法，其特征在于所述的协同显著图生成步骤具体如下：利用标准的高斯归一化函数让每个特征的值分布到每个类中，然后一个聚类级的簇k的协同显著概率p(k)由公式(9)得到：

p(C^k)＝w^c(k)*w^l(k)*w^d(k)                 (9)

然后将协同显著特征权值赋予每个图像块，再通过图像块还原每个像素点显著特征权值，获得最终像素级的协同显著图。