CN103208115B - 基于测地线距离的图像显著性区域检测方法 - Google Patents

Abstract

本发明提供了一种基于测地线距离的图像显著性区域检测方法，步骤包括S1：将输入图像过分割为面积小的超像素并计算超像素内部的平均颜色与位置；S2：遍历所有超像素，得到粗糙显著性能量值；S3：检测图像中的Harris角点并排序，保留一定数量得分靠前的角点。最后寻找这些角点的最小外接凸包；S4：将位于凸包外的超像素的粗糙显著性能量值置为0，凸包内超像素的显著性值保持不变；S5：根据测地线距离传播显著性能量，计算每个超像素经传播后获得的最终显著性值。本发明得到的显著性图能均匀的突出图像中的显著性物体或者区域，同时较强抑制背景干扰，有利于后续诸如目标物体分割等处理。

Description

基于测地线距离的图像显著性区域检测方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于测地线距离的图像显著性区域检测方法。

背景技术

显著性检测（计算）是目前计算机视觉领域研究的一个课题，其输出结果一般被称为“显著性图”（SaliencyMap），图上亮度越大的区域意味着越容易吸引人的注意。显著性检测在自动目标定位与分割，图像检索，基于内容的图像缩放等方向都有很广泛的应用。目前的显著性检测方法通常可以分为两类：自底向上与自上而下。自底向上的显著性检测方法模拟人本能的视觉注意机制，利用底层特征如颜色，边缘，纹理等进行检测。自上而下的显著性检测方法利用人的视觉注意机制受先验知识与任务等影响，旨在开发目标驱动的显著性检测方法。本发明主要利用图像中的颜色信息作为显著性检测的依据，因此本发明属于自底向上的显著性检测方法。而自底向上的显著性检测方法又可以进一步分为两个子类，一类旨在模拟人类视觉注意机制，另一类旨在检测出整个显著性物体或区域，而本发明提出的显著性检测方法属于后者。

下面对国内外的旨在检测整个显著性物体或区域的自底向上的方法以及专利做相关介绍。Zhai等人于2006年提出“Visualattentiondetectioninvideosequencesusingspatiotem-poralcues”，该方法定义一个像素的显著性值为该像素与图像中其余像素的亮度差异。Achanta等人（“Frequency-tunedsalientregiondetection”）于2009年提出一种计算快速的显著性检测方法，该方法定义一个像素的显著性值为该像素在颜色空间上与图像均值的欧氏距离。但是在具有复杂背景与纹理的自然图像上该方法很难获得令人满意的结果。Goferman等人（“Context-awaresaliencydetection”）于2010年利用局部特征与全局特征在多尺度估计一个图像块的显著性。该方法的缺点是计算量大，并且由于采用了局部特征，该方法有时会高亮显示目标物体的边缘部分，并不能突显整个目标。Xie等人（“Visualsaliencydetectionbasedonbayesianmodel”）于2011年提出利用贝叶斯概率框架来进行显著性检测，并在该框架下提出了一种显著性先验分布。Perazzi等人（“SaliencyFilters:ContrastBasedFilteringforSalientRegionDetection”）于2012年提出将显著性检测视为图像特征上的高维高斯滤波操作。Wei等人（“Geodesicsaliencyusingbackgroundpriors”）于2012年提出利用一种背景先验来进行显著性检测。但是仅仅使用背景先验可能将从背景独立的物体或区域（一些可能属于背景干扰）都检测出来，并没有结合显著性物体自身的特性。

目前国内相关专利有：基于学习的视频中显著物体序列自动检测方法（专利申请号200810150324）与基于色彩直方图和全局对比度的图像视觉显著性计算方法（专利申请号201110062520）。前者由于引入了条件随机场框架对多种特征进行融合并分割显著性物体，处理一幅图片往往需要很长时间，因此很难满足一些实时的应用。后者定义一个像素的显著性为其与图像中其他像素的颜色对比，并且转化为颜色直方图上的量化与计算操作。

本发明公开的方法不同于上述所有方法，因为本发明旨在得到高质量的显著性图，其能利用显著性物体的全局对比特性，结合角点外接凸包与基于测地线距离的显著性能量传播，使得最终的显著性图能均匀的突出目标物体，并且与Wei等人（“Geodesicsaliencyusingbackgroundpriors”）的方法相比能够更好的抑制背景噪声的干扰。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于测地线距离的图像显著性区域检测方法，该方法利用显著性物体的全局对比特性，结合角点外接凸包与基于测地线距离的显著性能量传播，使得最终的显著性图能均匀的突出目标物体，并且能够更好的抑制背景噪声的干扰。

为实现上述目的，本发明具体包括以下技术步骤：

S1：将输入图像过分割为面积小的超像素并计算超像素内部的平均颜色与位置，将这些超像素作为后续的计算单元；

以R_i代表图像中第i个超像素，I_m∈R_i为R_i中的像素，那么R_i的平均颜色c_i与位置p_i定义公式为

$c_i=\frac{\underset{I_m\∈R_i}{\mathrm{\Σ}}{I}_m^C}{\left|R_i\right|},$ $p_i=\frac{\underset{I_m\∈R_i}{\mathrm{\Σ}}{I}_m^P}{\left|R_i\right|}---\left(1\right)$

其中为像素I_m的颜色向量，为像素I_m的位置向量，|R_i|表示R_i中像素的个数，即该超像素的总面积。使用超像素代替单个像素作为计算单元的好处是能大大减少运算量。

S2：遍历所有超像素，计算每个超像素的全局颜色对比度，将该对比度值称为粗糙显著性能量值；

其中全局颜色对比度按照公式

$S_i^{\mathrm{coarse}}=\underset{j\≠i}{\mathrm{\Σ}}{\left|\right|c_i-c_j\left|\right|}_2^2---\left(2\right)$

上式中c_i与c_j分别为第i个和第j个超像素的平均颜色向量。||c_i-c_j||₂为c_i与c_j的欧氏距离，将称为粗糙显著性能量值。

S3：检测图像中的Harris角点，并按照分数从高到低对角点进行排序，保留一部分得分靠前的角点，之后计算这些角点的最小外接凸包；

S4：将位于凸包外的超像素的粗糙显著性能量值置为0，凸包内超像素的显著性值保持不变；即按照下式对粗糙显著性能量值进行调整

$S_i^{\mathrm{coarse}}=0,$ ifpi位于凸包内(3)由于凸包很可能包含整个或者部分显著性物体，而凸包外的部分作为背景部分被排除，因此经过该操作后能进一步过滤掉背景干扰。

S5：根据测地线距离传播显著性能量，计算每个超像素经传播后获得的最终显著性值；超像素R_i与R_j的测地线距离d(R_i,R_j)定义为

$d(R_i,R_j)=\underset{P_i=i,P_2,...,P_n=j}{\min }\underset{k=1}{\overset{n-1}{\mathrm{\Σ}}}\mathrm{ColorDifference}\left(R_{P_k,}{R}_{P_{k+1}}\right)$

$=\underset{P_1=i,P_2,...,P_n=j}{\min }\underset{k=1}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{\Δ}}_{P_k}---\left(4\right)$

与为空间上相邻的超像素；

式中注意式(4)为标准测地线距离定义(Criminisi等人“GeodesicImageandVideoEditing”)的一个近似，并且根据对称性，上式满足d(R_i,R_j)=d(R_j,R_i)。之后第i个超像素经过传播后的显著性值按照以下公示计算

$S_i^{\mathrm{propagation}}=\underset{j}{\mathrm{\Σ}}{f}_{j->i}{S}_j^{\mathrm{coarse}}---\left(5\right)$

其中为传播后的显著性值，f_j->i为第j个超像素向第i个超像素的传播强度，基于测地线距离，将其定义为

$f_{j->i}=\frac{1}{N}{e}^{-\mathrm{\βd}(R_i,R_j)}---\left(6\right)$

其中β为控制传播强度的系统参数；为归一化参数。由于d(R_i,R_j)=d(R_j,R_i)，意味着f_j->i=f_i->j。可见通过计算(6)式，若两个超像素间的测地线距离越小，意味着之间显著性能量的传播强度越大。

与现有技术相比，本发明具有如下的有益效果：

本发明每个超像素的粗糙显著性能量能够均匀传播至与其测地线距离较小的超像素，最终得到的显著性图能均匀的突出图像中的显著性物体或者区域，同时较强抑制背景干扰，有利于后续诸如目标物体分割等处理。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为输入图像过分割示意图，其中输入图像（左），过分割后图像（右）；

图2为计算超像素的全局对比度示意图；

图3为寻找角点最小外接凸包示意图；

图4为调整粗糙显著性能量值示意图；

图5为根据测地线距离进行显著性能量传播示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

在本实施例中对于一幅输入图像，首先按比例调整分辨率至长和宽的最大值为400像素以加快处理速度，然后按照如下详细步骤进行处理：

[1]首先使用SLIC超像素分割（Achanta等人于2010年提出“SLICSuperpixels”）将图像过分割为约500个超像素，然后按照(1)计算每个超像素的平均颜色与位置，输入图像与过分割图像示例见图1。

[2]遍历每个超像素，按照(2)计算每个超像素的全局颜色对比度，即粗糙显著性能量值，计算结果见图2。

[3]检测图像中的Harris角点（根据Weijer等人的“Boostingcolorsaliencyinimagefeaturedetection”），并按照分数从高到低对角点进行排序，保留一定数量得分靠前的角点（在本实施例中选择保留前30个角点），之后计算这些角点的最小外接凸包，结果见图3。

[4]按照(3)式对粗糙显著性能量值进行调整，即将位于凸包外的超像素的粗糙显著性能量值置为0，凸包内超像素的显著性值保持不变，调整结果见图4。

[5]遍历每个超像素，按照(4)式计算每个超像素与其余超像素的测地线距离，求解测地线距离可采用著名的Dijkstra最短路径算法。之后根据计算的测地线距离按照式(6)计算超像素间的传播强度，最后根据式(5)计算每个超像素经过显著性能量传播后的最终显著性值，最后的结果见图5。

本实施例中，首先利用显著性物体的全局对比特性计算超像素的全局对比度。对度越大的超像素越可能属于显著物体。之后利用角点凸包进一步过滤掉背景干扰，最后使用显著性能量传播使得每个超像素的粗糙显著性能量值能均匀的传播至与其测地线距离较小的超像素上，使得整个显著性物体得以凸出。而凸包内的属于背景的超像素的粗糙显著性能量值能均匀的传播至整个背景，使得背景噪声进一步抑制(注意图5中人物背后的树与天空等噪声在本发明方法中得到抑制)。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (2)

1.一种基于测地线距离的图像显著性区域检测方法，其特征在于，利用显著性物体的全局对比特性，结合角点外接凸包与基于测地线距离的显著性能量传播，使得最终的显著性图能均匀的突出目标物体；

所述方法具体包括如下步骤：

S1：将输入图像过分割为面积较小的超像素并计算超像素内部的平均颜色与位置，将这些超像素作为后续的计算单元；

S2：遍历所有超像素，计算每个超像素的全局颜色对比度，将该对比度值称为粗糙显著性能量值；

S3：检测图像中的Harris角点，并按照得分从高到低对角点进行排序，保留一部分得分靠前的角点，最后寻找这些角点的最小外接凸包；

S4：将位于凸包外的超像素的粗糙显著性能量值置为0，凸包内超像素的显著性值保持不变；

S5：根据测地线距离传播显著性能量，计算每个超像素经传播后获得的最终显著性值。

2.如权利要求1所述的一种基于测地线距离的图像显著性区域检测方法，其特征在于，所述步骤S5中，根据测地线距离传播显著性能量，计算每个超像素经传播后获得的最终显著性值，具体为：

首先遍历每个超像素，计算每个超像素与其余超像素的测地线距离，两个超像素R_i,R_j间的测地线距离d(R_i,R_j)的计算公式为

$\begin{array}{c}d(R_i,R_j)=\underset{P_1=i,P_2,\mathrm{...},P_n=j}{\min }\underset{k=1}{\overset{n-1}{\Σ}}ColorDifference(R_{P_k},R_{P_{k+1}})\\ =\underset{P_1={\mathrm{iP}}_2,\mathrm{...},P_n=j}{\min }\underset{k=1}{\overset{n-1}{\Σ}}{\mathrm{\Δ}}_{P_k}\end{array}$

s.t.与为空间上相邻的超像素；

式中j，i为表示超像素的下标，其中与分别为超像素与超像素的平均颜色向量；

之后根据计算的测地线距离计算超像素间的传播强度，两个超像素R_i,R_j间的传播强度计算公式为

$f_{j->i}=\frac{1}{N}{e}^{-\mathrm{\β}d(R_i,R_j)}$

其中j，i为表示超像素的下标；β为控制传播强度的系统参数； $N={\mathrm{\Σ}}_j{e}^{-\mathrm{\β}d(R_i,R_j)}$ 为归一化参数；

最后计算每个超像素经过显著性能量传播后的最终显著性值，计算公式为

$S_i^{propagation}=\underset{j}{\Σ}{f}_{j->i}{S}_j^{coarse}$

其中i,j为超像素下标，为第j个超像素的粗糙显著性能量值；为传播后的显著性值，f_j-＞i为第j个超像素与第i个超像素间的传播强度。