CN106373131A - 基于边缘的图像显著性区域检测方法 - Google Patents

Abstract

本发明公开了一种基于边缘的图像显著性区域检测方法，包括以下步骤:步骤一：将原始图像通过边缘检测得到超度量等高线图UCM；步骤二：针对UCM通过不同的门限去得到两个不同尺度的超像素划分；步骤三：在细颗粒度的超像素划分层面上同时考虑颜色对比度、空间先验和边界先验去得到初始显著性值；步骤四：在细颗粒度的超像素划分层面上，以每个超像素为节点，边缘强度为边建立一个无方向的图，通过计算图上不同节点的测地距离得到背景先验；步骤五：联合考虑初始显著性值、背景先验和不同尺度的一致性去得到最终的显著性值。本发明能够得到统一高亮的显著性物体或者区域，能够有助于图像缩放和图像分割等应用。

Description

基于边缘的图像显著性区域检测方法

技术领域

本发明涉及一种计算机视觉技术，特别是涉及一种基于边缘的图像显著性区域检测方法。

背景技术

现在，人们对高质量和高清晰度的图像内容的需求日益增多。然而，人眼在面对复杂场景的时候，往往注意力只会集中到少数几个比较突出的区域，这些突出的区域被称为视觉显著性区域。目前国内外提出了一些视觉显著性算法，例如，Cheng(M.Cheng，N.J.Mitra，X.Huang，P.H.S.Torr，S.Hu，Global contrast based salient regiondetection，IEEE Transactions on Pattern Analysis and Machine Intelligence 37(3)(2015)569–582.)提出了一种基于区域直方图的全局对比度算法，通过直方图计算对比度来度量区域间的颜色距离。该方法在区域对比度明显的时候能够取得不错的效果，当区域对比度不明显的时候效果会有显著的下降。Perazzi(F.Perazzi，P.Krahenbuhl，Y.Pritch，A.Hornung，Saliency filters:Contrast based filtering for salientregion detection，in:IEEE Conference on Computer Vision and PatternRecognition(CVPR)，2012，pp.733–740.)提出了一种基于颜色对比度和空间分布的显著性算法。在考虑颜色对比度的基础上，同时考虑了颜色的空间分布先验，能够取得更好的效果。Wei(Y.Wei，F.Wen，W.Zhu，J.Sun，Geodesic saliency using background priors，in:European Conference on Computer Vision(ECCV)，2012，pp.29–42.)提出了一个基于背景先验的显著性算法，由于显著性物体一般会远离图像的边缘，所以该方法能够取得较好的效果。然而，当显著性物体接触到图像边缘的时候，该方法性能下降明显。

目前国内专利有：基于色彩直方图和全局对比度的图像视觉显著性计算方法(中国专利申请号201110062520)与基于测地线距离的图像显著性区域检测方法(中国专利申请号201310066844)。前者只考虑了颜色对比度，后者过于依赖Harris角点检测的结果。

本发明公开的方法不同于上述所有方法，因为本发明目的在于得到统一高亮的显著性图，其能利用颜色对比度、空间先验和边界先验去得到初始的显著性值，然后通过背景先验和不同尺度的一致性的联合优化去得到最终的显著性图。

发明内容

本发明所要解决的技术问题是提供一种基于边缘的图像显著性区域检测方法，使得最终的显著性物体能被统一高亮，有效的选择人眼感兴趣的区域。

本发明是通过下述技术方案来解决上述技术问题的：一种基于边缘的图像显著性区域检测方法，其特征在于，其包括以下步骤：

步骤一：将原始图像通过边缘检测得到超度量等高线图UCM；

步骤二：针对UCM通过不同的门限去得到两个不同尺度的超像素划分{R_i},i＝1,2,…,N_R和{r_i},i＝1,2,…,N_r，其中N_R代表细颗粒度的超像素的个数，R_i代表细颗粒度的第i个超像素，N_r代表粗颗粒度的超像素的个数，r_i代表粗颗粒度的第i个超像素；

步骤三：在细颗粒的超像素划分层面上同时考虑颜色对比度、空间先验和边界先验，从而得到初始显著性值；

步骤四：在细颗粒的超像素划分层面上，以每个超像素为节点，边缘强度为边，建立一个无方向的图，通过计算图上不同节点的测地距离得到背景先验；

步骤五：联合考虑初始显著性值、背景先验和不同尺度的一致性去得到最终的显著性值。

优选地，所述步骤二中，使用不同的门限去截取UCM，得到两个不同尺度的超像素分割。

优选地，所述步骤三同时考虑颜色对比度、空间先验和边界先验去得到初始显著性值。

优选地，所述步骤四中，利用边缘强度而不是超像素块的亮度平均值的差异去表示图上面的不同节点之间边缘的幅度，同时利用测地距离去得到背景先验概率。

本发明的积极进步效果在于：本发明提供的方法在考虑不同尺度分割的前提下，利用颜色对比度、空间先验和边界先验在细颗粒度的分割下得到初始的显著性值，然后通过计算测地距离得到背景概率，最后把初始显著性值、背景先验和不同尺度的一致性联合优化，得到最终的显著性值，能够得到统一高亮的显著性值。

附图说明

图1为本发明所提出的基于边缘的图像显著性区域检测方法的流程图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1所示，为本发明基于边缘的图像显著性区域检测方法的一个实例的处理流程图，包括以下步骤：

步骤一：将原始图像通过边缘检测得到超度量等高线图UCM；

步骤二：针对UCM通过不同的门限去得到两个不同尺度的超像素划分{R_i},i＝1,2,…,N_R和{r_i},i＝1,2,…,N_r，其中N_R代表细颗粒度的超像素的个数，R_i代表细颗粒度的第i个超像素，N_r代表粗颗粒度的超像素的个数，r_i代表粗颗粒度的第i个超像素；使用0.01去得到细颗粒度的超像素分割，使用得到的超像素个数不大于50去得到粗颗粒度的超像素分割。

步骤三：在细颗粒的超像素划分层面上同时考虑颜色对比度、空间先验和边界先验，从而得到初始显著性值；

其中颜色对比度计算公式如下式(1)：

${\mathrm{CC}}_i=\underset{j=1}{\overset{N_R}{\mathrm{\Σ}}}\left|R_i\right|(1-\frac{\left|\right|c_i-c_j|{|}_2}{\sqrt{M^2+N^2}})\left|\right|c_i-c_j|{|}_2......\left(1\right)$

上式中M和N代表图像的长和宽，|R_i|代表超像素R_i的像素数目，μ_i代表超像素R_i的中心，c_i代表超像素R_i的颜色平均值。

其中空间先验计算公式如下式(2)：

${\mathrm{SP}}_i=1-\frac{\underset{j=1}{\overset{N_R}{\mathrm{\Σ}}}\mathrm{\χ}(H_i,H_j)\·\left|\right|{\mathrm{\μ}}_j-(\frac{M}{2}-\frac{N}{2})|{|}_2}{\underset{j=1}{\overset{N_R}{\mathrm{\Σ}}}\mathrm{\χ}(H_i,H_j)}......\left(2\right)$

上式中H_i代表超像素R_i的归一化的颜色直方图，χ(·,·)代表两个矢量的卡方距离。

其中边界先验计算公式如下式(3)：

${\mathrm{BP}}_i=\exp (-2\frac{|R_i\∩B|}{\∂R_i}\·\mathrm{\δ}(R_i\∈Bnd\left)\right)......\left(3\right)$

上式中B代表图像边界像素的集合，代表R_i周长上的像素，Bnd代表图像边界上超像素的集合，|R_i∩B|代表R_i在图像边界上的像素数目，δ(·)是狄拉克函数。

把归一化的颜色对比度、空间先验和边界先验相乘得到初始的显著性图，计算公式如下式(4)：

CS_i＝CC_i·SP_i·BP_i……(4)

按照(2)式对颜色空间进行量化的时候，每个通道采用12个bin，按照(4)式计算得到每个超像素的初始显著性值。

步骤四：在细颗粒的超像素划分层面上，以每个超像素为节点，边缘强度为边，建立一个无方向的图，通过计算图上不同节点的测地距离得到背景先验；

其中任意两个超像素的距离通过计算对应的节点在图上面的最短路径来得到，计算公式如下式(5)：

$d(v_i,v_j)={\min }_{u_1=v_1,...,u_n=v_j}{\mathrm{\Σ}}_{k=1}^{n-1}e(u_k,u_{k+1})......\left(5\right)$

上式中v_i表示R_i对应的节点，e(i,j)表示对应R_i和R_j的边缘强度。

其中背景概率计算公式如下式(6)：

$p_i^{bg}=1-\exp (-\frac{\underset{j=1}{\overset{N_R}{\mathrm{\Σ}}}S(R_i,R_j)\·\mathrm{\δ}(R_i\∈Bnd)}{2{\mathrm{\σ}}_2^2\sqrt{\underset{j=1}{\overset{N_R}{\mathrm{\Σ}}}S(R_i,R_j)}})......\left(6\right)$

上式中用来度量R_i对R_j的贡献。

按照(6)式计算得到背景先验，其中σ₁＝0.1，σ₂＝1。在具体计算过程中，如果边界上的超像素也属于显著的物体，直接使用(6)式会降低算法性能。在这里引入了一个操作来排除边界上的不显著的超像素，计算公式如下式(7)所示：

$distinctiveness\left(R_i\right)=\underset{R_j\∈Bnd\backslash R_i}{\mathrm{\Σ}}\frac{d(v_i,v_j)}{1+3\left|\right|u_i-v_j|{|}_2}......\left(7\right)$

当边界上的某个超像素与集合中的其它所有超像素的差异值的和大于所有差异值的平均值的时候，我们就认为当前超像素是显著的。

步骤五：联合考虑初始显著性值、背景先验和不同尺度的一致性去得到最终的显著性值。

记s为N_R个超像素的显著性值，优化的目标函数为如下式(8)：

$s^{*}=\arg \underset{s}{min}\underset{i}{\Σ}{\mathrm{CS}}_i{(s_i-1)}^2+\mathrm{\λ}\underset{i}{\Σ}{p}_i^{bg}{s_i}^2+\underset{i,j}{\Σ}{w}_{i,j}{(s_i-s_j)}^2......\left(8\right)$

上式中w_i,j是平滑项，用来度量相邻超像素的一致性。

由于考虑到不同尺度下超像素之间的相关性，我们赋予在同一个粗颗粒度的超像素下面的细颗粒度的超像素更高的一致性，计算公式如下式(9)：

$w_{ij}=\left\{\begin{array}{cc}\mathrm{\α}\·\exp (-0.5||c_i-c_j||/{\mathrm{\σ}}_3^2)+0.1,& if{R}_i,R_j\⊆r_k\\ \exp (-0.5||c_i-c_j||/{\mathrm{\σ}}_3^2)+0.1,& otherwise\end{array}\right.......\left(9\right)$

最终的显著性值计算公式如下式(10)：

s^*＝(D-W+λW^bg+W^fg)^-1w^fg……(10)

上式中：W＝[2w_ij]，φ＝[1,1,…,1]^T，w^fg＝φ^TW^fg。

按照(10)式得到最终显著性值，其中σ₁＝10。

综上所述，本发明提供的方法在考虑不同尺度分割的前提下，利用颜色对比度、空间先验和边界先验在细颗粒度的分割下得到初始的显著性值，然后通过计算测地距离得到背景概率，最后把初始显著性值、背景先验和不同尺度的一致性联合优化，得到最终的显著性值，能够得到统一高亮的显著性值。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于边缘的图像显著性区域检测方法，其特征在于，其包括以下步骤：

步骤一：将原始图像通过边缘检测得到超度量等高线图UCM；

步骤二：针对UCM通过不同的门限去得到两个不同尺度的超像素划分{R_i},i＝1,2,…,N_R和{r_i},i＝1,2,…,N_r，其中N_R代表细颗粒度的超像素的个数，R_i代表细颗粒度的第i个超像素，N_r代表粗颗粒度的超像素的个数，r_i代表粗颗粒度的第i个超像素；

步骤三：在细颗粒的超像素划分层面上同时考虑颜色对比度、空间先验和边界先验，从而得到初始显著性值；

步骤四：在细颗粒的超像素划分层面上，以每个超像素为节点，边缘强度为边，建立一个无方向的图，通过计算图上不同节点的测地距离得到背景先验；

步骤五：联合考虑初始显著性值、背景先验和不同尺度的一致性去得到最终的显著性值。

2.根据权利要求1所述的基于边缘的图像显著性区域检测方法，其特征在于，所述步骤二中，使用不同的门限去截取UCM，得到两个不同尺度的超像素分割。

3.根据权利要求1所述的基于边缘的图像显著性区域检测方法，其特征在于，所述步骤三同时考虑颜色对比度、空间先验和边界先验去得到初始显著性值。

4.根据权利要求1所述的基于边缘的图像显著性区域检测方法，其特征在于，所述步骤四中，利用边缘强度而不是超像素块的亮度平均值的差异去表示图上面的不同节点之间边缘的幅度，同时利用测地距离去得到背景先验概率。