CN103927758B - 一种基于对比度与角点最小凸包的显著性检测方法 - Google Patents

Abstract

本发明公开一种基于对比度与角点最小凸包的显著性检测方法。首先根据超像素的全局对比计算全局显著图，然后使用中心—周围算子计算局部显著图，最后根据Harris角点的最小凸包估计主要目标的位置与大小过滤到背景中部分区域的干扰，使得主要目标得以突出。

Description

一种基于对比度与角点最小凸包的显著性检测方法

技术领域

本发明涉及一种利用对比度与角点最小凸包的方法对图像显著性目标进行检测，不需要目标图像的先验知识，是一种由图像本身数据驱动的检测方法。

背景技术

人眼在观察一副复杂的图像时可以迅速找到自己感兴趣的区域，图像的显著性检测就是利用计算机模拟人眼这种视觉特性。显著性检测是目前计算机视觉领域研究的一个热点课题，其结果可以从一个复杂的图像中提取出更容易吸引人注意力的区域即显著性高的区域。图像的显著区域常含有丰富的信息，所以显著性检测的结果可以广泛地应用于图像压缩、目标识别、图像检索等领域。目前的显著性检测方法主要基于两种视觉模型：自下向上与自上向下。自下向上的计算模型由数据驱动，根据图像本身的数据进行检测，不需要事先对图像进行学习，处理速度较快。自上向下的计算模型由任务、知识驱动，需要对大量图像进行学习，处理的速度较慢，并且检测结果很大程度上取决于观察的目的性。本发明基于自下向上的计算模型，根据图像本身的颜色与方向等信息计算显著性。

下面对国内外自下向上的显著性检测算法做相关的介绍。Itti于1998年提出的Itti模型为以后的显著性研究提供了一个很好的思路，Itti将图像分成颜色、亮度和方向三个通道，通过向下采样、高斯滤波和中心—周围算子计算图像的显著图。Harel等人于2007年提出了GBVS(Grahp-Based Visual Saliency)算法，根据Itti的思路也将图像分为多个通道，根据图像中像素之间的差异与欧式距离建立马尔科夫链，根据马尔科夫链的平稳分布计算图像的显著图。HOU等人与2007年从频域幅度角度出发提出了基于频域的残余光谱方法”Saliency detection:a spectral residual approach”。Gopalakrishnan于2009年提出”Salient region detection by modeling distributions of color andorientation”，根据空间域中颜色和方向分量所占比例计算显著性，但是当图像中颜色种类比较多时检测效果不够理想。Goferman等人与2010年提出了“Context-aware saliencydetection”算法，利用多尺度下的局部特征与全局特征估计一个图像块的显著性，这种方法计算量大，由于采用了局部特征有时会对物体的边缘过于敏感而不能突出整个目标。Wei等人于2012年提出“Geodesic saliency using background priors”算法，使用背景先验可能将背景独立的物体检测出来，并没有结合显著物体本身的特性。ZHU等人于2013年提出“Multi-scale region-based saliency detection using W2 distance on N-dimensional normal distributions”算法，根据多个尺度下超像素之间的W2距离计算图像的全局与局部显著图，这种方法基于超像素之间的对比度计算显著性，当背景比较复杂时容易出现误判。

目前国内关于显著性的算法多基于图像中各个区域之间的对比度计算显著性，但是在很多图像中背景的部分区域也有较高的对比度，导致检测结果不能有效地将主要目标与这部分区域区分开。本发明采取不同的方法，基于图像的局部、全局对比度与Harris角点的最小凸包确定显著目标，使得最终显著图可以有效地将主要目标从背景中提取出来。

发明内容

根据现有技术中的缺陷，本发明的目的提出一种基于对比度与角点最小凸包的显著性检测算法。该方法首先根据区域之间的对比度找出对比度较高的区域，然后计算出图像中Harris角点的最小凸包，根据最小凸包估计出主要目标的位置与大小，将背景区域滤除掉，使得最终的显著图能有效地提取出主要目标。

为实现本发明目的而采用的技术方案是这样的，一种基于对比度与角点最小凸包的显著性检测方法，其特征在于，包括以下步骤：

1)将图像分割成若干个超像素,以S_i表示第i个超像素，i＝1、2……M，即得到超像素集合S＝{S₁,S₂…S_M}，以每一个超像素作为基本计算单位；

2)S_i的特征表示为：

其中：是第i个超像素中每个像素点CIELab颜色空间的三维正太分布，是第i个超像素中每个像素点CIELab颜色空间三维正太分布中每一维均值组成的向量、n_c(i)是第i个超像素中每个像素点CIELab颜色空间三维正太分布的协方差矩阵；是Gabor滤波得到的第i个超像素中每个像素点在四个角度的方向数值拟合的四维正太分布，是第i个超像素中每个像素点方向数值拟合的四维正太分布中每一维均值组成的向量、n_o(i)是第i个超像素中每个像素点方向数值拟合的四维正太分布的协方差矩阵；c_(i)(x_(i),y_(i))是集合S中第i个超像素的几何中心点；

3)根据式(1)计算集合S中任意两个超像素S_a和S_b之间的沃瑟斯坦距离W_co2(a,b)，其中，W_c2(a,b)表示沃瑟斯坦距离的颜色分量、W_o2(a,b)表示沃瑟斯坦距离的方向分量、W_c为颜色的权重值、W_o为方向的权重值；

4)使用超像素之间的W_co2(a,b)平方的相反数构建聚类的相似矩阵，对集合S中的超像素进行AP聚类，即能从S＝{S₁,S₂...S_M}中提取出若干超像素作为聚类的中心点C＝{C₁,C₂...C_K}，

将聚类的r参数r(S_i,C_j)全部标准化为到[-1,0]后，按式(2)进行指数处理，其中：S_i∈S、C_j∈C，j＝1、2……K：

5)计算每个超像素S_i处于各个中心点聚类的概率P_g(C_j|S_i)：

然后按式(4)计算每个聚类是显著的概率P_g(C_n)，其中：D(i,j)为超像素S_i与中心点C_j的欧氏距离，C_n∈C：

将上述式(3)和式(4)相结合，即可得到全局显著图P_g(S_i)：

6)根据超像素之间的Wasserstein距离和欧式距离，使用“中心-周围算子”按照式(6)计算局部显著图；式中，σ表示集合S中的所有超像素的中心点的距离平均值；得到局部显著图P_l(S_i)，其中(x_i,y_i)是集合S中第i个超像素的几何中心点，(x_q,y_q)是集合S中第q个超像素的几何中心点，(x_j,y_j)是集合C中第j个超像素的几何中心点；

7)计算出图像中的哈里斯角点，将靠近图像边缘的角点去除，计算角点的最小凸包以及最小凸包的中心点；根据式(7)计算中心显著图；(x_Hm，y_Hm)表示最小凸包的中心点坐标，得到中心显著图P_c(i)，σ_x表示集合S中的所有超像素的中心点的x坐标的方差，σ_y表示集合S中的所有超像素的中心点的y坐标的方差：

8)求全局显著图P_g(S_i)与局部显著图P_l(S_i)的均值，该均值乘以中心显著图P_c(i)得到最终的显著图。

本发明的技术效果是毋庸置疑的，首先根据超像素的全局对比计算全局显著图，然后使用中心—周围算子计算局部显著图，最后根据Harris角点的最小凸包估计主要目标的位置与大小过滤到背景中部分区域的干扰，使得主要目标得以突出。

附图说明

图1为步骤1中待处理的图片；

图2为步骤1中分割成若干超像素的图片；

图3为步骤5得到的可得到全局显著图；

图4为步骤6得到的局部显著图；

图5为步骤7得到的角点的最小凸包；

图6为步骤7得到的中心显著图；

图7为步骤8得到的为最终的显著图；

图8为本发明的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

通过扫描或数码相机拍照的方式，得到一幅待处理图像，如图1所示。

1)使用步长为25、紧致性参数为20的SLIC图像分割方法(Achanta等人于2012年提出“SLICSuperpixels”),将图像分割成若干个超像素(superpixel),以S_i表示第i个超像素，i＝1、2……M，即得到超像素集合S＝{S₁,S₂…S_M}，以每一个超像素作为基本计算单位，如图2所示。

2)S_i的特征表示为：

其中：是第i个超像素中每个像素点CIELab颜色空间的三维正太分布，是第i个超像素中每个像素点CIELab颜色空间三维正太分布中每一维均值组成的向量、n_c(i)是第i个超像素中每个像素点CIELab颜色空间三维正太分布的协方差矩阵；是使用波长为3、X比例因子为0.5、Y比例因子为0.5的Gabor滤波得到的第i个超像素中每个像素点在0度、45度、90度和135度四个角度的方向数值拟合的四维正太分布，是第i个超像素中每个像素点方向数值拟合的四维正太分布中每一维均值组成的向量、n_o(i)是第i个超像素中每个像素点方向数值拟合的四维正太分布的协方差矩阵；c_(i)(x_(i),y_(i))是集合S中第i个超像素的几何中心点。

3)根据下式计算集合S中任意两个超像素S_a和S_b之间的沃瑟斯坦距离(Wasserstein)W_co2(a,b)，其中，W_c2(a,b)表示沃瑟斯坦距离的颜色分量、W_o2(a,b)表示沃瑟斯坦距离的方向分量、W_c为颜色的权重值、W_o为方向的权重值，可以根据实际情况进行修改。优选地，W_c＝0.5、W_o＝0.5。

4)使用超像素之间的W_co2(a,b)平方的相反数构建聚类的相似矩阵(Brendan等人于2012年提出“Clustering by passing messages between data points”)，对集合S中的超像素进行AP聚类，即能从S＝{S₁,S₂...S_M}中提取出若干超像素作为聚类的中心点C＝{C₁,C₂...C_K}，

将聚类的r参数(responsibility)r(S_i,C_j)全部标准化为到[-1,0]后进行指数处理，其中：S_i∈S、C_j∈C，j＝1、2……K：

5)计算每个超像素S_i处于各个中心点聚类的概率P_g(C_j|S_i)：

然后计算每个聚类是显著的概率P_g(C_n)，其中：D(i,j)为超像素S_i与中心点C_j的欧氏距离，C_n∈C：

将上述两式相结合即可得到全局显著图P_g(S_i)，计算结果如图3：

6)根据超像素之间的Wasserstein距离和欧式距离，使用“中心-周围算子”计算局部显著图，为了确保相邻范围内空间的半径按照比例缩放，式中σ表示集合S中的所有超像素的中心点的距离平均值；得到局部显著图P_l(S_i)，其中(x_i,y_i)是集合S中第i个超像素的几何中心点，(x_q,y_q)是集合S中第q个超像素的几何中心点，(x_j,y_j)是集合C中第j个超像素的几何中心点。计算结果如图4：

7)计算出图像中的哈里斯角点(Harris角点，Weijer等人与2006年提出“Boostingcolor saliency in image feature detection”)，将靠近图像边缘的角点去除，计算角点的最小凸包以及最小凸包的中心点。根据下式计算中心显著图。(x_Hm，y_Hm)表示最小凸包的中心点坐标，得到中心显著图P_c(i)，σ_x表示集合S中的所有超像素的中心点的x坐标的方差，σ_y表示集合S中的所有超像素的中心点的y坐标的方差，计算结果如图6：

8)求全局显著图P_g(S_i)与局部显著图P_l(S_i)的均值，该均值乘以中心显著图P_c(i)得到最终的显著图，计算结果如图7所示。

Claims (1)

1.一种基于对比度与角点最小凸包的显著性检测方法，其特征在于，包括以下步骤：

1)将图像分割成若干个超像素,以S_i表示第i个超像素，i＝1、2……M，即得到超像素集合S＝{S₁,S₂…S_M}，以每一个超像素作为基本计算单位；

2)S_i的特征表示为：

其中：是第i个超像素中每个像素点CIELab颜色空间的三维正太分布，是第i个超像素中每个像素点CIELab颜色空间三维正太分布中每一维均值组成的向量、n_c(i)是第i个超像素中每个像素点CIELab颜色空间三维正太分布的协方差矩阵；是Gabor滤波得到的第i个超像素中每个像素点在四个角度的方向数值拟合的四维正太分布，是第i个超像素中每个像素点方向数值拟合的四维正太分布中每一维均值组成的向量、n_o(i)是第i个超像素中每个像素点方向数值拟合的四维正太分布的协方差矩阵；c_(i)(x_(i),y_(i))是集合S中第i个超像素的几何中心点；

3)根据式(1)计算集合S中任意两个超像素S_a和S_b之间的沃瑟斯坦距离W_co2(a,b)，其中，W_c2(a,b)表示沃瑟斯坦距离的颜色分量、W_o2(a,b)表示沃瑟斯坦距离的方向分量、W_c为颜色的权重值、W_o为方向的权重值；

$\left\{\begin{array}{c}{W}_{co}2(a,b)=W_{c}2(a,b)\×W_c+W_{o}2(a,b)\×W_o\\ W_{c}2(a,b)=\sqrt{\left|\right|{\stackrel{\→}{m}}_{c\left(a\right)}-{\stackrel{\→}{m}}_{c\left(b\right)}|{|}^2+tr(n_{c\left(a\right)}+n_{c\left(b\right)})-2tr\left(\sqrt{n_{c\left(a\right)}\×n_{c\left(b\right)}}\right)}\\ W_{o}2(a,b)=\sqrt{\left|\right|{\stackrel{\→}{m}}_{o\left(a\right)}-{\stackrel{\→}{m}}_{o\left(b\right)}|{|}^2+tr(n_{o\left(a\right)}+n_{o\left(b\right)})-2tr\left(\sqrt{n_{o\left(a\right)}\×n_{o\left(b\right)}}\right)}\end{array}\right.---\left(1\right)$

4)使用超像素之间的W_co2(a,b)平方的相反数构建聚类的相似矩阵，对集合S中的超像素进行AP聚类，即能从S＝{S₁,S₂…S_M}中提取出若干超像素作为聚类的中心点C＝{C₁,C₂…C_K}，

将聚类的r参数r(S_i,C_j)全部标准化为到[-1,0]后，按式(2)进行指数处理，其中：S_i∈S、C_j∈C，j＝1、2……K：

${\hat{r}}_e(S_i,C_j)=\exp \left(\frac{\hat{r}(S_i,C_j)}{{\mathrm{Var}}_{s_i\∈S}\left\{\hat{r}(S_i,C_j)\right\}}\right)---\left(2\right)$

5)计算每个超像素S_i处于各个中心点聚类的概率P_g(C_j|S_i)：

$P_g\left(C_j\right|S_i)=\frac{{\hat{r}}_e(S_i,C_j)}{{\mathrm{\Σ}}_{j=1}^K{\hat{r}}_e(S_i,C_j)}---\left(3\right)$

然后按式(4)计算每个聚类是显著的概率P_g(C_n)，其中：D(i,j)为超像素S_i与中心点C_j的欧氏距离，C_n∈C：

$P_g\left(C_n\right)={\left(\underset{j=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{M}{\Σ}}{P}_g\right(C_n|S_i)*D(i,j\left)\right)}^{-1}---\left(4\right)$

将上述式(3)和式(4)相结合，即可得到全局显著图P_g(S_i)：

$P_g\left(S_i\right)=\underset{n=1}{\overset{K}{\Σ}}{P}_g\left(C_n\right)*P_g\left(C_n\right|S_i)---\left(5\right)$

6)根据超像素之间的Wasserstein距离和欧式距离，使用“中心-周围算子”按照式(6)计算局部显著图；式中，σ表示集合S中的所有超像素的中心点的距离平均值；得到局部显著图P_l(S_i)，其中(x_i,y_i)是集合S中第i个超像素的几何中心点，(x_q,y_q)是集合S中第q个超像素的几何中心点，(x_j,y_j)是集合C中第j个超像素的几何中心点；

$\left\{\begin{array}{c}{P}_l\left(S_i\right)=\frac{1}{g}\underset{j=1}{\overset{K}{\Σ}}{W}_{co}2(i,j)\×\exp (-\frac{{(x_i-x_j)}^2+{(y_i-y_j)}^2}{{\mathrm{\σ}}^2})\\ g=\underset{q=1}{\overset{M}{\Σ}}\exp (-\frac{{(x_i-x_q)}^2+{(y_i-y_q)}^2}{{\mathrm{\σ}}^2})\end{array}\right.---\left(6\right)$

7)计算出图像中的哈里斯角点，将靠近图像边缘的角点去除，计算角点的最小凸包以及最小凸包的中心点；根据式(7)计算中心显著图；(x_Hm，y_Hm)表示最小凸包的中心点坐标，得到中心显著图P_c(i)，σ_x表示集合S中的所有超像素的中心点的x坐标的方差，σ_y表示集合S中的所有超像素的中心点的y坐标的方差：

8)求全局显著图P_g(S_i)与局部显著图P_l(S_i)的均值，该均值乘以中心显著图P_c(i)得到最终的显著图。