CN106096615A - 一种基于随机游走的图像显著区域提取方法 - Google Patents

Abstract

本发明公开了一种基于随机游走的图像显著区域提取方法，属于图像处理技术领域。所述提取方法包括对原始图像进行超像素分割，得到K个超像素块；分别计算每两个超像素块间的距离形成距离矩阵；采用置信传播算法，得到优化后的距离矩阵，据此生成随机游走的转移概率矩阵，并计算随机游走的平稳分布，映射到颜色空间，获得显著度图。本发明利用随机游走理论作为整体框架，模拟人眼在图像像素间的游走，在模型选择上具有一定科学性；自定义超像素块邻域，使得距离矩阵的计算在降低计算复杂度的同时兼顾信息可靠度。利用置信传播理论对稀疏的距离矩阵进行优化，进一步提高矩阵内元素可靠度，使得整个计算结果更加准确。

Description

一种基于随机游走的图像显著区域提取方法

技术领域

本发明属于图像处理技术领域，具体是指一种基于随机游走的图像显著区域提取方法，所述的图像显著区域是指对于人眼来说较为显著的区域。

背景技术

人类获取的大部分信息都来源于视觉，在海量的视觉信息中，人眼能自动识别较易引起关注的部分，进而为其分配更多注意。随着计算机视觉的不断发展，显著区域提取技术能模拟人眼的这种能力，使得更重要的视觉信息能获得更快速、优质的资源，提高了机器视觉领域的计算效率。因而，如何更为科学地模拟人眼的注意机制，准确提取出图像的显著区域，引起了业内越来越广泛的关注。

图像显著区域提取方法包含多种类型的模型(A.Borji and L.Itti,“State-of-the-art in visual attention modeling,”Pattern Analysis and MachineIntelligence,IEEE Transactions on,vol.35,no.1,pp.185–207,Jan 2013.)。L.Itti等人首次结合颜色、亮度和方向构成特征图，用于特征提取，是认知模型的代表(L.Itti,C.Koch,and E.Niebur,“A model of saliency-based visual attention for rapidscene analysis,”Pattern Analysis and Machine Intelligence,IEEE Transactionson,vol.20,no.11,pp.1254–1259,Nov 1998.)，但由于其采用中央-周边滤波方式，使得图像中非高斯冗余信息不能被过滤；贝叶斯模型主要利用场景信息和先验约束；信息论模型则选取熵较大的部分作为显著区域；图模型利用图论相关理论模拟人眼功能，提取显著区域，主要研究点在对提取特征的处理方式及图表示方式上；频谱分析模型(X.Hou andL.Zhang,“Saliency detection:A spectral residual approach,”in Computer Visionand Pattern Recognition,2007.CVPR’07.IEEE Conference on,June 2007,pp.1–8.)则在频域通过对信号的数学分析实现对显著区域的提取，但其是否能表达图像显著性有待商榷。相较于其他模型，图模型能够对较为复杂的注意机制建模。

图模型利用各种概率方式来提取显著区域，常见的如：条件随机场、隐马尔科夫模型等。当人眼观察图像时，视线可被视为在显著区域上随机游走的一个点(G.Boccignoneand M.Ferraro,“Modelling gaze shift as a constrained random walk,”Physica A:Statistical Mechanics and its Applications,vol.331,no.1-2,pp.207–218,2004.)，且区域的显著度已被证明能通过随机游走的平稳分布测量(da Fontoura Costa andLuciano,“Visual saliency and attention as random walks on complex networks,”2006.)。GBVS(J.Harel,C.Koch,and P.Perona,“Graph-based visual saliency,”inProceedings of Neural Information Processing Systems(NIPS),2006.)是最具代表性的图模型方法，但其对图像特征的提取较为粗糙，使得最终显著区域不够精确，包含较多冗余。J.Hare等人利用L.Itti等人提出的特征图构建方式，再用随机游走理论求解出显著区域，但由于缺少对全局信息的考虑，其对目标边缘的提取效果不理想。

总而言之，已有图像显著区域提取方法虽然能模拟人眼的一部分注意机制，但并不够科学、准确，输出的显著图大多边缘模糊，或显著度集中在目标边缘或颜色纹理明显变化的地方。这使得二值化后得到的目标区域包含较多冗余，不能准确提取目标的整体轮廓。因此，科学地模拟人眼注意机制，优化图像特征信息并合理利用，是提高提取准确度行之有效的方法，也是图像显著区域提取领域值得研究的课题。

发明内容

本发明采用随机游走理论提取图像中的显著区域，通过超像素分割、二层邻域及置信传播，使得在降低计算复杂度的同时，提高了提取区域的准确度。

本发明提供一种基于随机游走的图像显著区域提取方法，包括以下步骤：

步骤1：输入的原始图像，用简单线性迭代聚类(Simple Linear IterativeClustering，SLIC)对原始图像进行超像素分割，得到K个超像素块；K为整数，K取值优选为200。

步骤2：在CIE-Lab空间中，分别计算每个超像素块内所有像素亮度的平均值，作为每个超像素块的特征I(i)；

步骤3：计算每两个超像素块间的距离w_ij，形成距离矩阵W_K×K＝{w_ij≥0}(以下简写为W)，其中i,j为超像素块的编号，i＝1,2,…,K,j＝1,2…,K；距离计算公式为：

其中σ是控制参数，为常量；

步骤4：采用置信传播算法，利用距离矩阵W中非零数据，估计人工置零的部分，得到优化后的距离矩阵W^*。

步骤5：根据优化后的距离矩阵W^*生成随机游走的转移概率矩阵P＝{p_ij≥0}，计算公式为：

$p_{ij}=\frac{w_{ij}^{*}}{d_i^{*}}$

其中，为随机游走理论中，在距离矩阵W^*中，对应于结点i(即第i个超像素块)的总度数；为优化后的距离矩阵W^*中的矩阵元素，p_ij为转移概率矩阵P中的矩阵元素。

步骤6：由转移概率矩阵计算随机游走的平稳分布Π＝{π_i≥0}，π_i为第i个超像素块的概率值，通过求解以下方程组获得：

步骤7：将π_i映射到[0,255]，获得显著度图；可在此基础上进一步操作，如二值化后与原始图像点乘，以获得原始图像中显著目标的区域。

所述步骤3中，使用自定义的超像素邻域：定义图像边缘的所有超像素块为相邻块，定义与当前超像素块相邻的块的相邻块也与当前块相邻(即二层邻域)；

所述步骤4中，置信传播算法迭代规则为：

F(t+1)＝αSF(t)+(1-α)Y

其中，F:w_ij→Rⁿ是为w_ij分配置信度的中间量，F中的元素对应表示W中元素的可信度，Rⁿ表示实数空间；括号内索引t表示对F的迭代次数；α∈(0,1]为控制前次迭代对当前迭代影响程度的参数；是初始置信度矩阵，设置W矩阵中非零值相应初始置信度为1，零值对应初始置信度为0；S＝D^-1/2WD^-1/2为归一化的W矩阵；D＝diag{d₁,...,d_K}为W的度矩阵。令收敛时的F为F^*则有：

$F\left(t\right)={\left(\mathrm{\α}S\right)}^{i-1}Y+(1-\mathrm{\α})\underset{i=0}{\overset{i-1}{\Σ}}{\left(\mathrm{\α}S\right)}^{i}Y$

因为α∈(0,1]且S的特征值在[-1,1]之间，则：

$\underset{i\→\mathrm{\∞}}{\lim }{\left(\mathrm{\α}S\right)}^{t-1}=0,\underset{i\→\mathrm{\∞}}{\lim }\underset{i=0}{\overset{i-1}{\Σ}}{\left(\mathrm{\α}S\right)}^i={(E-\mathrm{\α}S)}^{-1}$

可推导出：

$F^{*}=\underset{t\→\mathrm{\∞}}{\lim }F\left(t\right)=(1-\mathrm{\α}){(E-\mathrm{\α}S)}^{-1}Y$

其中E为K阶单位矩阵。为节省计算资源，使用非归一化矩阵：

$F^{*}=\underset{t\→\mathrm{\∞}}{\lim }F\left(t\right)={(D-\mathrm{\α}W)}^{-1}Y$

其中(D-αW)^-1＝W^*。

以上技术方法可以看出，本发明一种基于随机游走的图像显著区域提取方法的优点在于：

(1)利用随机游走理论作为整体框架，模拟人眼在图像像素间的游走，在模型选择上具有一定科学性；

(2)自定义超像素块邻域，使得距离矩阵的计算在降低计算复杂度的同时兼顾信息可靠度。

(3)利用置信传播理论对稀疏的距离矩阵进行优化，进一步提高矩阵内元素可靠度，使得整个计算结果更加准确。

附图说明

图1为本发明一种基于随机游走的图像显著区域提取方法的流程图。

图2是二层邻域定义示意图，颜色填充超像素块为中间像素块的邻域，斜线填充超像素块为自定义的边缘相邻区域。

图3是本方法与目前流行的四种方法的实验评测结果对比图。

具体实施方式

本发明在于提供一种基于随机游走的图像显著区域提取方法，为将本发明的技术方法优势描述的更加清楚，下面结合附图对本发明的具体实施方式作进一步的详细阐述，本实例在配备4GB RAM的Intel Core 3.4GHz CPU上实施。

如图1所示，本实例的方法分以下步骤：

步骤1：输入原始图像，用SLIC分割程序生成基于原图像的K个超像素块，在后续计算中则以超像素块代替像素作为执行单元，减少计算复杂度；根据实验的原始图像大小，SLIC分割中超像素块数目参数设为K＝200，控制距离权值的参数m设为10；

步骤2：由于CIE-Lab能较好反映人眼对色彩的感知，提取原始图像在此空间中的亮度L、红绿对抗色a、蓝黄对抗色b三个颜色分量，再对每个超像素块计算一个三维颜色特征I(i)：超像素块内包含的所有像素，分别在L、a、b三个通道内求平均；将I(i)作为每个超像素块的特征。

步骤3：计算K个超像素块的特征两两间的距离w_ij，生成距离矩阵W_K×K，按如下公式计算：

其中，w_ij为距离矩阵W_K×K中的元素，i＝1,2,…,K；j＝1,2,…,K；I(i)和I(j)分别为第i个超像素块和第j个超像素块的特征。所述的第i个超像素块和第j个超像素块相邻，如图2所示，按二层邻域定义，且图像边缘超像素块皆视为相邻，按最大值最小值归一化到区间[0,1]，控制参数σ满足σ²＝0.1；

步骤4：步骤3所得距离矩阵W较为稀疏，设定距离矩阵W中非0元素置信度为1，0元素置信度为0，为提高其可靠度，利用置信传播算法，优化距离矩阵W，得到新的优化后的距离矩阵其中D为距离矩阵W的度矩阵，α＝0.99，为避免超像素块自干扰，优化后的距离矩阵W^*对角线上元素置零；

步骤5：根据随机游走理论，计算基于优化后的距离矩阵W^*的转移概率矩阵表征人眼在各个超像素块间游走的概率，其中

步骤6：按以下方程组求解基于P的平稳分布Π，表征人眼长时间观看图像后，视线停留在各个超像素块上的概率：

步骤7：将步骤6中计算所得每个超像素块的概率值π_i映射到[0,255]灰度空间中，得到显著度图像，其中越亮的区域代表了更高的显著度。

结果表示：

选择四种目前流行的显著区域提取方法(SR、GBVS、SUN和CA)，与本方法按照测试领域公认的P、R、F参数进行比较；在实验使用的图像库上，根据图3的实验结果可以看出：在F参数大致相同的情况下，本发明方法(图中RW)的准确度(图中precision)远高于其余四种方法，而召回率(recall)偏低的原因是，只赋予较明显区域较高显著度使得提取区域面积较小，并不像其余方法提取显著区域面积较大，其中包含较多非显著冗余区域。

Claims (5)

1.一种基于随机游走的图像显著区域提取方法，其特征在于：所述提取方法包括以下步骤，

步骤1：输入的原始图像，对原始图像进行超像素分割，得到K个超像素块；K为整数；

步骤2：在CIE-Lab空间中，分别计算每个超像素块内所有像素亮度的平均值，作为每个超像素块的特征I(i)，i＝1,2,…,K；

步骤3：计算每两个超像素块间的距离w_ij，形成距离矩阵W_K×K＝{w_ij≥0}，其中i,j为超像素块的编号，i＝1,2,…,K,j＝1,2…,K；距离计算公式为：

其中σ是控制参数，为常量；

步骤4：采用置信传播算法，利用距离矩阵W中非零数据，估计人工置零的部分，得到优化后的距离矩阵W^*；

步骤5：根据优化后的距离矩阵W^*生成随机游走的转移概率矩阵P＝{p_ij≥0}，计算公式为：

其中，为随机游走理论中，在距离矩阵W^*中，对应于第i个超像素块的总度数；为优化后的距离矩阵W^*中的矩阵元素，p_ij为转移概率矩阵P中的矩阵元素；

步骤6：由转移概率矩阵计算随机游走的平稳分布Π＝{π_i≥0}，π_i为第i个超像素块的概率值，通过求解以下方程组获得：

步骤7：将π_i映射到[0,255]，获得显著度图。

2.根据权利要求1所述的一种基于随机游走的图像显著区域提取方法，其特征在于：在获得显著度图后，二值化后与原始图像点乘，以获得原始图像中显著目标的区域。

3.根据权利要求1所述的一种基于随机游走的图像显著区域提取方法，其特征在于：所述两个超像素块相邻采用二层邻域定义，是指图像边缘的所有超像素块为相邻块，与当前超像素块相邻的超像素块的相邻超像素块也与当前超像素块相邻。

4.根据权利要求1所述的一种基于随机游走的图像显著区域提取方法，其特征在于：所述 的优化后的距离矩阵W^*＝(D-αW)^-1，其中W为距离矩阵，D为距离矩阵W的度矩阵，α∈(0,1]为控制前次迭代对当前迭代影响程度的参数。

5.根据权利要求4所述的一种基于随机游走的图像显著区域提取方法，其特征在于：所述的参数α＝0.99。