CN104408711A - 一种基于多尺度区域融合的显著区域检测方法 - Google Patents

Abstract

本发明涉及一种基于多尺度区域融合的显著区域检测方法，其技术特征在于：首先计算图像的最佳颜色梯度与归一化梯度；然后用梯度索引遍历图像，把满足融合门限的像素对合并，得到第一个尺度的标签图像；再计算该标签图像的边缘梯度图；接着在各个尺度下迭代计算出多尺度标签图；然后利用互信息求出多尺度候选显著图；最后利用空间几何信息熵找出最优尺度，则该尺度下的候选显著图就是最终显著图。该方法概念简单，无需对图像数据提前训练，可以很容易地进行参数修改，处理速度快，极大的提高了显著区域检测的准确性和效率。本发明可以被广泛应用到计算机视觉与其他相关的图像处理问题中。

Description

一种基于多尺度区域融合的显著区域检测方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于多尺度区域融合的显著区域检测方法。

背景技术

显著区域指的是在视觉系统中自发的，具有较高鉴别性的图像细节所组成的图像区域，这里的鉴别性是一个相对属性，取决于该图像细节与其背景的视觉区分程度。而显著区域检测，就是重现人眼如何在复杂视觉场景当中迅速将注意力聚焦到这些感兴趣的区域。因此显著区域检测可以准确的预测的在自由观察下对静态和动态场景的注意力分配，该检测也反映了人眼在视觉场景中能够找到哪些感兴趣的图像细节。正确地提取这些关键区域，可以大大提高图像分析、处理效率和准确度，降低计算的复杂度，显著区域检测可以被广泛应用到计算机视觉与其他相关的图像处理问题当中，在当今大多数视觉任务中是一个至关重要的环节，一直以来都是图像处理领域一个研究热点。

目前显著区域检测的主要方法大多集中在自底向上的处理上，这类处理机制上符合人眼的作用原理。在这类处理机制当中，E.Rahtu等在“Segmenting Salient Objects from Imagesand Videos”in ECCV 2010提出了利用滑动窗和条件随机场结合的方法，通过观察不同尺度窗口内的区域与邻域分布来分析图像的局部细节，该方法考虑了不同尺度的局部特征，但未涉及全局显著度，并且该方法需要对最后的结果用图切的方法进行加工，运行时间受到影响。相应的，不少方法从频域的角度来解决全局性显著检测问题如：X.Hou等在“Saliencydetection A spectral residual approach”in CVPR 2007提出的频谱残差法、B.Schauerte等在“Quaternion-based Spectral Saliency Detection for Eye Fixation Prediction”in ECCV 2012提出的四元数方法。这些方法实现简单，但存在如下的问题：当图像尺寸不同时，检测结果有较大差异，对大尺寸的显著区域往往只能检测到轮廓；当图像尺寸过小时，对尺寸较小的目标区域检测结果较差。一般来说，这种方法是对采样后的图像进行显著性检测，因此得到的显著图分辨率较低。

发明内容

为了解决现有技术的不足之处，本发明提出了一种在多尺度下结合图像全局属性和局部细节来融合显著区域并确定其位置的方法，利用空间几何信息熵找到最佳分辨率尺度，从而准确的检测出显著区域。

为实现上述目的，本发明的技术方案包括如下几个步骤：

步骤1)用一个标准差为1，3×3大小的高斯滤波器来平滑图像T。

步骤2)计算图像T在x和y轴上的最佳颜色梯度和归一化梯度。

2a)设置一个sobel算子大小为1×7，值为[-1，9，-45，0，45，-9，1]/6·t，用于对图像求边缘响应。t为最小允许区域，取值10。

2b)用步骤2a)设置的sobel算子对图像做卷积，分别得到RGB三个颜色通道的x轴梯度，将该算子转置后再对图像做卷积得到三个颜色通道的y轴梯度。

2c)计算x轴和y轴的最佳颜色梯度I_x和I_y，计算方法是从三个通道中选取梯度值最大的通道，该通道的梯度即为图像在该轴上的最佳颜色梯度。

2d)计算图像的归一化梯度：

步骤3)定义尺度参数Q＝[1，2...，2ⁿ]，n取值从0到7，一共8个尺度。

步骤4)求梯度索引index＝[I_y；I_x]_↓，该梯度索引的大小为l×1，计算方法是将y轴和x轴的最佳颜色梯度合并为一列，并降序排列。

步骤5)用梯度索引依次遍历图像的所有4邻域像素对，满足融合门限的像素合并为一个区域，得到标签图。

5a)建立邻域像素对p和p′，方法是p为T(index)，即用梯度索引的图像像素，p′是p的4-邻域像素。

5b)计算三个通道的邻域像素对的标准差：f_{R，G，B}(p，p′)＝|p-p′|＝(p-p′)²。

5c)计算融合门限，该门限包含尺度参数，其表达形式为：

$\sqrt{b^2\left(p\right)+b^2(p\′)}=g^2\·(1/\left(2Q\right|p\left|\right))1n\left(\right|p_{\left|p\right|}|/\mathrm{\δ})+g^2\·(1/\left(2Q\right|p\′\left|\right))1n\left(\right|{p\′}_{|p\′|}|/\mathrm{\δ})$

其中，g是图像最大像素值，取值256；而|p|是像素点p的像素值，|p_|p||＝(|p|+1)^min{|p|，g}；δ＝1/(6n²)，n是图像T的像素个数。

5d)若三个通道的像素对标准差都小于其融合门限，即三个通道的像素对都满足条件，那么像素p和p′属于同一区域R，否则两像素分属不同区域。

5e)重复步骤5a)-5d)，执行l次邻域像素对，得到标签图L，该标签图L是由k个互相独立的连通区域{R₁，R₂...，R_k}所组成，标签图L所包含的标签值V＝[1，2，...，k]。

步骤6)计算边缘梯度图，并建立新的领域像素对，具体计算步骤如下：

6a)设置初始化边缘梯度图A，方法是设置一个大小为k×k，值为0的矩阵。

6b)计算边缘梯度图A，方法是用标签图L上各个区域的边缘像素(u，v)所对应的标签值L(u，v)作为索引，将边缘梯度图A(L(u，v))的值用归一化梯度图的值I(u，v)来代替。

6c)将边缘梯度图A中的非0像素值进行排序，得到边缘梯度索引index′

6d)建立新的邻域像素对p和p′，p是边缘梯度索引对应的标签值下的图像像素T(V(index′))，p′是p的四邻域像素。

步骤7)重复执行步骤5b)-6)，在新的尺度下计算新的标签图，一共执行Q次，可以得到Q个标签图{L₁，...L_Q}。

步骤8)计算多尺度候选显著图{S₁，...S_Q}。方法是分别计算标签图L_Q中各连通区域{R₁，R₂...，R_k}与原图像的互信息，选出互信息最大的区域R，该区域所构成的图即该尺度下的候选显著图。

步骤9)计算显著图S，方法是从多尺度候选显著图{S₁，...S_Q}中找到最优的尺度，该尺度下的候选显著图即为最终显著图。

9a)定义各候选显著图抑制参数λ为： ${\mathrm{\λ}}_Q=\underset{n}{\mathrm{\Σ}}\underset{m}{\mathrm{\Σ}}\frac{K(n.,m)}{\max \left\{K(n,m)\right\}}\·N\left(S_Q(n,m)\right).$

其中K是一个大小与S相同的2维高斯掩模，其方差σ_w＝W/4，σ_h＝H/4，W和H为图像T的宽和高，并且∑∑K(n，m)＝1，N(·)用来归一化S。

9b)求解空间几何信息熵，其计算方法为：H_2D(S_Q)＝H{g_n*S_Q}，其中，H是一个二维熵，g_n为一个尺度ζ的低通高斯核，这里ζ是我们期望能够检测到的最小区域，ζ的取值范围为0.01·W到0.04·W。

9c)计算最优尺度计算方法是用各候选显著图的空间几何信息熵除以对应尺度下的抑制参数，选择值最小的尺度，该尺度即为最优尺度。

9d)在该尺度Q_P下的候选显著图即为最终显著图S。

所述sobel算子采用文章Optimal Operators in Digital Image Processing中的sobel算子。

有益效果

本发明涉及一种基于多尺度区域融合的显著区域检测方法，该方法是一种无监督的自底向上的检测方法，能够自动检测出显著区域。该方法利用了融合区域是一组具有同类性质的像素集合这一设定，用最简单的像素数值属性空间来实现区域融合，通过在多个尺度下结合较小的区域或像素来迭代增长。该方法概念简单，无需对图像数据提前进行训练，可以很容易地进行参数修改，处理速度快。

本发明通过计算最佳颜色梯度与归一化梯度，保留了影响视觉感知单元的图像像素，这些代表了图像全局属性的像素，共同组成了显著区域。而为了解决融合区域边缘的不确定性，方法进一步计算了边缘梯度来弥补图像的局部细节，从而确定了融合区域的边缘，抑制了非显著区域像素点的错误融合。该发明提出空间几何信息熵来选择针对最优尺度，充分考虑了毗邻像素的空间几何相关性和显著图熵较小这两个特点，很好的解决了由于尺度过小时造成的图像噪声不能充分被抑制，和尺度过大时产生显著区域过度融合所带来的问题，极大的提高了显著区域检测的准确性和效率。

附图说明

图1是本发明方法的工作原理流程图。

图2是本发明方法的实例操作图示。

具体实施方式

现结合实施例、附图对本发明作进一步的描述：

用于实施的硬件环境是：Intel core 2T7250CPU、3GB内存、集成显卡计算机，运行的软件环境是：Matlab 2012a、WindowsXP。使用数据库为公开可下载的MSRA显著性图像集进行实验，该数据库是由20000幅图像组成，被三个人进行显著区域标注，图2中的实例就取自于该数据库。我们用Matlab软件实现了本发明提出的方法。

本发明的具体实施步骤如下：

步骤1)用一个标准差为1，3×3大小的高斯滤波器来平滑图像T。

步骤2)计算图像T在x和y轴上的最佳颜色梯度和归一化梯度。

2a)设置一个sobel算子大小为1×7，值为[-1，9，-45，0，45，-9，1]/6·t，用于对图像求边缘响应。t为最小允许区域，取值10。

2b)用步骤2a)设置的sobel算子对图像做卷积，分别得到RGB三个颜色通道的x轴梯度，将该算子转置后再对图像做卷积得到三个颜色通道的y轴梯度。

2c)计算x轴和y轴的最佳颜色梯度I_x和I_y，计算方法是从三个通道中选取梯度值最大的通道，该通道的梯度即为图像在该轴上的最佳颜色梯度。

2d)计算图像的归一化梯度：

步骤3)定义尺度参数Q＝[1，2…，2ⁿ]，n取值从0到7，一共8个尺度。

步骤4)求梯度索引该梯度索引的大小为l×1，计算方法是将y轴和x轴的最佳颜色梯度合并为一列，并降序排列。

步骤5)用梯度索引依次遍历图像的所有4邻域像素对，满足融合门限的像素合并为一个区域，得到标签图。

5a)建立邻域像素对p和p′，方法是p为T(index)，即用梯度索引的图像像素，p′是p的4-邻域像素。

5b)计算三个通道的邻域像素对的标准差：f_{R，G，B}(p，p′)＝|p-p′|＝(p-p′)²。

5c)计算融合门限，该门限包含尺度参数，其表达形式为：

$\sqrt{b^2\left(p\right)+b^2(p\′)}=g^2\·(1/\left(2Q\right|p\left|\right))1n\left(\right|p_{\left|p\right|}|/\mathrm{\δ})+g^2\·(1/\left(2Q\right|p\′\left|\right))1n\left(\right|{p\′}_{|p\′|}|/\mathrm{\δ})$

其中，g是图像最大像素值，取值256；而|p|是像素点p的像素值，|p_|p||＝(|p|+1)^min{|p|，g}；δ＝1/(6n²)，n是图像T的像素个数。

5d)若三个通道的像素对标准差都小于其融合门限，即三个通道的像素对都满足条件，那么像素p和p′属于同一区域R，否则两像素分属不同区域。

5e)重复步骤5a)-5d)，执行l次邻域像素对，得到标签图L，该标签图L是由k个互相独立的连通区域{R₁，R₂…，R_k}所组成，标签图L所包含的标签值V＝[1，2，...，k]。

步骤6)计算边缘梯度图，并建立新的领域像素对，具体计算步骤如下：

6a)设置初始化边缘梯度图A，方法是设置一个大小为k×k，值为0的矩阵。

6b)计算边缘梯度图A，方法是用标签图L上各个区域的边缘像素(u，v)所对应的标签值L(u，v)作为索引，将边缘梯度图A(L(u，v))的值用归一化梯度图的值I(u，v)来代替。

6c)将边缘梯度图A中的非0像素值进行排序，得到边缘梯度索引index′。

6d)建立新的邻域像素对p和p′，p是边缘梯度索引对应的标签值下的图像像素T(V(index′))，p′是p的四邻域像素。

步骤7)重复执行步骤5b)-6)，在新的尺度下计算新的标签图，一共执行Q次，可以得到Q个标签图{L₁，...L_Q}。

步骤8)计算多尺度候选显著图{S₁，...S_Q}。方法是分别计算标签图L_Q中各连通区域{R₁，R₂...，R_k}与原图像的互信息，选出互信息最大的区域R，该区域所构成的图即该尺度下的候选显著图。

步骤9)计算显著图S，方法是从多尺度候选显著图{S₁，...S_Q}中找到最优的尺度，该尺度下的候选显著图即为最终显著图。

9a)定义各候选显著图抑制参数λ为： ${\mathrm{\λ}}_Q=\underset{n}{\mathrm{\Σ}}\underset{m}{\mathrm{\Σ}}\frac{K(n.,m)}{\max \left\{K(n,m)\right\}}\·N\left(S_Q(n,m)\right).$

其中K是一个大小与S相同的2维高斯掩模，其方差σ_w＝W/4，σ_h＝H/4，W和H为图像T的宽和高，并且∑∑K(n，m)＝1，N(·)用来归一化S。

9b)求解空间几何信息熵，其计算方法为：H_2D(S_Q)＝H{g_n*S_Q}，其中，H是一个二维熵，g_n为一个尺度ζ的低通高斯核，这里ζ是我们期望能够检测到的最小区域，ζ的取值范围为0.01·W到0.04·W。

9c)计算最优尺度计算方法是用各候选显著图的空间几何信息熵除以对应尺度下的抑制参数，选择值最小的尺度，该尺度即为最优尺度。

9d)在该尺度Q_P下的候选显著图即为最终显著图S。

所述sobel算子采用文章Optimal Operators in Digital Image Processing中的sobel算子。

Claims (2)

1.本发明涉及一种基于多尺度区域融合的显著区域检测方法，其特征在于步骤如下：

步骤1)用一个标准差为1，3×3大小的高斯滤波器来平滑图像T。

步骤2)计算图像T在x和y轴上的最佳颜色梯度和归一化梯度。

2a)设置一个sobel算子大小为1×7，值为[-1，9，-45，0，45，-9，1]/6·t，用于对图像求边缘响应。t为最小允许区域，取值10。

2b)用步骤2a)设置的sobel算子对图像做卷积，分别得到RGB三个颜色通道的x轴梯度，将该算子转置后再对图像做卷积得到三个颜色通道的y轴梯度。

2c)计算x轴和y轴的最佳颜色梯度I_x和I_y，计算方法是从三个通道中选取梯度值最大的通道，该通道的梯度即为图像在该轴上的最佳颜色梯度。

2d)计算图像的归一化梯度：

步骤3)定义尺度参数Q＝[1，2...，2ⁿ]，n取值从0到7，一共8个尺度。

步骤4)求梯度索引index＝[I_y；I_x]_↓，该梯度索引的大小为l×1，计算方法是将y轴和x轴的最佳颜色梯度合并为一列，并降序排列。

步骤5)用梯度索引依次遍历图像的所有4邻域像素对，满足融合门限的像素合并为一个区域，得到标签图。

5a)建立邻域像素对p和p′，方法是p为T(index)，即用梯度索引的图像像素，p′是p的4-邻域像素。

5b)计算三个通道的邻域像素对的标准差：f_{R，G，B}(p，p′)＝|p-p′|＝(p-p′)²。

5c)计算融合门限，该门限包含尺度参数，其表达形式为：

$\sqrt{b^2\left(p\right)+b^2\left(p^{\′}\right)}=g^2\·(1/\left(2Q\right|p\left|\right))\ln \left(\right|p_{\left|p\right|}|/\mathrm{\δ})+g^2\·(1/\left(2Q\right|p^{\′}\left|\right))\ln \left(\right|p_{\left|p^{\′}\right|}^{\′}\left|\right)/\mathrm{\δ}$

其中，g是图像最大像素值，取值256；而|p|是像素点p的像素值，|p_|p||＝(|p|+1)^min{|p|，g}；δ＝1/(6n²)，n是图像T的像素个数。

5d)若三个通道的像素对标准差都小于其融合门限，即三个通道的像素对都满足条件，那么像素p和p′属于同一区域R，否则两像素分属不同区域。

5e)重复步骤5a)-5d)，执行l次邻域像素对，得到标签图L，该标签图L是由k个互相独立的连通区域{R₁，R₂...，R_k}所组成，标签图L所包含的标签值V＝[1，2，...，k]。

步骤6)计算边缘梯度图，并建立新的领域像素对，具体计算步骤如下：

6a)设置初始化边缘梯度图A，方法是设置一个大小为k×k，值为0的矩阵。

6b)计算边缘梯度图A，方法是用标签图L上各个区域的边缘像素(u，v)所对应的标签值L(u，v)作为索引，将边缘梯度图A(L(u，v))的值用归一化梯度图的值I(u，v)来代替。

6c)将边缘梯度图A中的非0像素值进行排序，得到边缘梯度索引index′。

6d)建立新的邻域像素对p和p′，p是边缘梯度索引对应的标签值下的图像像素T(V(index′))，p′是p的四邻域像素。

步骤7)重复执行步骤5b)-6)，在新的尺度下计算新的标签图，一共执行Q次，可以得到Q个标签图{L₁，...L_Q}。

步骤8)计算多尺度候选显著图{S₁，...S_Q}。方法是分别计算标签图L_Q中各连通区域{R₁，R₂...，R_k}与原图像的互信息，选出互信息最大的区域R，该区域所构成的图即该尺度下的候选显著图。

步骤9)计算显著图S，方法是从多尺度候选显著图{S₁，...S_Q}中找到最优的尺度，该尺度下的候选显著图即为最终显著图。

9a)定义各候选显著图抑制参数λ为：

其中K是一个大小与S相同的2维高斯掩模，其方差σ_w＝W/4，σ_h＝H/4，W和H为图像T的宽和高，并且∑∑K(n，m)＝1，N(·)用来归一化S。

9b)求解空间几何信息熵，其计算方法为：H_2D(S_Q)＝H{g_n*S_Q}，其中，H是一个二维熵，g_n为一个尺度ζ的低通高斯核，这里ζ是我们期望能够检测到的最小区域，ζ的取值范围为0.01·W到0.04·W。

9c)计算最优尺度计算方法是用各候选显著图的空间几何信息熵除以对应尺度下的抑制参数，选择值最小的尺度，该尺度即为最优尺度。

9d)在该尺度Q_P下的候选显著图即为最终显著图S。

2.根据权利要求1所述sobel算子采用文章Optimal Operators in Digital Image Processing中的sobel算子。