CN102129694B - 一种图像显著区域检测方法 - Google Patents

Abstract

本发明提供一种图像显著区域检测方法，包括：步骤1)将图像进行中频带通滤波；步骤2)根据中频带通滤波后的图像获得显著性图。上述方法不仅对图像的信噪比等鲁棒，而且计算简单快速。

Description

一种图像显著区域检测方法

技术领域

本发明涉及图像处理领域，特别涉及图像中的区域分析。

背景技术

在人类所有的感觉中，至少有70％的外界信息是通过视觉系统获取的。生物视觉系统，包括人类视觉系统，能自动选择并注意场景中少数“相关”的位置。图1示出了用视点跟踪仪记录的人眼观察所示图像的视点轨迹。从图1中可以看出，人眼对长颈鹿的头部区域给予了较多关注，而对天空和草地等背景区域一扫而过。生物视觉系统这种在面对复杂场景时，能够迅速将注意力集中在少数几个显著的视觉对象上的过程被称为视觉注意选择。这种能力使得生物组织将其有限的感知认知资源集中于最相关的部分数据，使得他们能快速有效地处理大量的信号，在复杂变化的环境中生存。

如果能够将这种机制引入图像分析领域，将计算资源优先分配给那些容易引起观察者注意的显著区域，必将极大地提高现有图像分析方法的工作效率。显著区域检测正是在这种思想的基础上提出并发展起来的。

图像中的显著区域通常被定义成与邻域对比二者差异显著的区域。这种定义最常见的一种实现是中央—周边机制，即中央和周边差异大的区域是显著区域。这种差异可以是颜色差异、朝向差异和纹理差异等。最著名的Itti和Koch等提出的显著区域检测模型就是先对图像进行多尺度、多方向的Gabor卷积，提取图像的颜色、亮度和朝向等特征，然后用差分高斯近似中央—周边差。另外，Gao和Vasconcelos的工作也是对图像进行Gabor卷积提取相应特征，然后假设图像区域的Gabor特征幅值满足广义高斯分布，分别估计中央和周边的特征分布，用两个分布的相对熵表示中央和周边的差异，差异较大的区域为显著区域。图2是采用经典的Itti显著区域检测模型进行图像中显著区域检测的流程图。上述方法在大多数自然图像上都取得了较好的结果，因为Gabor小波被认为是能较好地模拟生物视觉系统的V1细胞的反映，而中央—周边机制也能解释大多数的显著性。但上述方法中所采用的多尺度、多方向的Gabor卷积计算复杂高，对大多数工程应用来说不够实用。

发明内容

本发明的目的是克服现有方法采用Gabor卷积提取特征计算复杂度高的缺陷，提供一种高效实用的图像显著区域检测方法。

为实现上述目的，根据本发明的一个方面，提供了一种图像显著区域检测方法，包括下列步骤：

步骤1)将图像进行中频带通滤波；

步骤2)根据中频带通滤波后的图像获得显著性图。

在上述方法中，所述步骤1)前包括：

步骤0)将图像进行缩放。

在上述方法中，所述步骤2)后还包括：

步骤3)将所述显著性图进行平滑。

在上述方法中，所述步骤3)采用高斯平滑算子实现。

在上述方法中，所述步骤1)进一步包括：

111)将所述图像用频域表示；

112)将所述图像的频域幅值谱进行中频带通滤波；

所述步骤2)进一步包括：

21)将所述中频带通滤波后的图像用空间域表示，获得显著性图。

在上述方法中，所述步骤111)采用傅里叶变换来实现，所述步骤21)采用反傅里叶变换来实现。

在上述方法中，所述傅里叶变换是快速傅里叶变换。

在上述方法中，所述步骤112)的所述中频带通滤波为高斯带通滤波：

$H\left(\mathrm{\ω}\right)=\exp ({-\mathrm{\ω}}^2/2{\mathrm{\σ}}_1^2)-\exp ({-\mathrm{\ω}}^2/2{\mathrm{\σ}}_2^2),$

其中，σ₁和σ₂为标准差，且σ₁＜σ₂。

在上述方法中，所述步骤1)进一步包括：

12)将所述图像进行标准差σ₁和标准差σ₂平滑，分别得到图像I₁和I₂，其中σ₁＜σ₂；

所述步骤2)进一步包括：

22)根据如下公式获得显著性图S″(x，y)：

S′(x，y)＝I₁(x，y)-I₂(x，y)，其中(x，y)为像素的空间坐标。

本发明所涉及的参数很少，只有中频带通滤波器的参数，无需考虑例如Gabor变换中的尺度和方向参数，也无需考虑中央—周边区域的大小以及中央—周边区域差异的计算等，因而不仅对图像信噪比等鲁棒，而且计算简单快速。

附图说明

图1是采用视点跟踪仪记录的人眼观察所示图像的视点轨迹示意图；

图2是采用Itti显著区域检测模型进行图像显著区域检测的流程图；

图3是现有技术中对比敏感度函数示意图；

图4是根据本发明优选实施例的图像中显著区域的检测方法的流程图；

图5(a)是一幅输入的原始图像的示例；

图5(b)是根据本发明的一个实施例的中频带通滤波器；

图5(c)是采用图5(b)所示的中频带通滤波器对图5(a)所示的原始图像进行滤波后的幅值谱；

图5(d)是根据本发明的一个实施例的图5(a)所示的原始图像的显著性图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的图像显著区域的检测方法进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

虽然自然图像中包含不同尺度的对象和视觉模式，人类视觉系统对不同尺度的视觉模式的感知是不同的。生理学上有实验证明人们对不同频率的视觉信息的感知阈值不同。人类视觉系统对不同频率视觉信号的感知阈值用“对比敏感度函数”(contrast-sensitivity function，CSF)表示。Blackmore和Campbell发表的一个CSF如图3所示，从中可以看出人们对中频信号最敏感，即3.5cycles/deg～14.0cycles/deg，而对其它低频信号和高频信号的敏感度低。

本发明根据人类视觉系统对图像中的中频成分更敏感的事实，提供了一种图像显著区域检测方法。图4示出了根据本发明优选实施例的图像中显著区域的检测方法的流程图，该方法具体包括下列步骤：

假设有一幅输入图像I，其长宽分别为W、H，优选地，为了大幅度提高方法的运算速度，首先将其按比例缩放到长为M＝64，宽为

这是因为人眼对高频分量不敏感，适当降低图像分辨率不会影响人眼的主要关注的显著区域的检测。

为了利用人类视觉系统对不同频率信号的敏感性来检测图像中的显著区域，将输入图像从空间域表示变成频域表示。例如：可以采用傅里叶变换、离散余弦变换等得到图像的频率表示。在本实施例中以傅里叶变换为例来进行说明。图像的二维傅里叶变换表示为：

$F(u,v)=\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}I(x,y)e^{-j2\mathrm{\π}(\mathrm{ux}/M+\mathrm{vy}/N)},\left(1\right)$

其中I(x，y)为所输入的自然图像的灰度函数，(x，y)为像素点的空间坐标，u和v分别表示自然图像在水平和垂直方向上的空间频率坐标，u∈[0，M-1]，v∈[0，N-1]。于是，各频带上的幅值(能量)表示为：

$A(u,v)=\left|F(u,v)\right|=\sqrt{R{e}^2(u,v)+I{m}^2(u,v)},\left(2\right)$

相位信息表示为：

$\mathrm{\φ}(u,v)=\arctan \left[\frac{\mathrm{Im}(u,v)}{\mathrm{Re}(u,v)}\right],\left(3\right)$

其中Re(u，v)表示复数F(u，v)的实部，Im(u，v)表示复数F(u，v)的虚部。优选地，上述傅里叶变换可采用快速傅里叶变换(FFT)实现。

在得到输入图像I的幅值谱和相位谱后，对幅值谱进行中频带通滤波，增强图像中的中频部分而减小低频和高频部分。在此实施例中，所述的中频带通滤波器以高斯带通滤波器为例进行说明。但本领域普通技术人员可以理解也可以采用其他带通滤波器，例如利用两种不同带宽的其他低通滤波之差实现。高斯带通滤波器用两个高斯函数的差来表示，即高斯带通滤波器表示为：

$H\left(\mathrm{\ω}\right)=\exp ({-\mathrm{\ω}}^2/2{\mathrm{\σ}}_1^2)-\exp ({-\mathrm{\ω}}^2/2{\mathrm{\σ}}_2^2),\left(4\right)$

其中ω为频率，σ₁，σ₂分别为两个高斯核的标准差，根据本发明的优选实施例，上述标准差根据高斯带通滤波器的中心频率ω₀和截止频率ω₁和ω₂来计算，具体计算过程如下：

${\mathrm{\σ}}_1={\mathrm{\ω}}_1\frac{1}{\sqrt{2\ln 2}},$ ${\mathrm{\σ}}_2={\mathrm{\ω}}_2\frac{1}{\sqrt{2\ln 2}},$

其中， ${\mathrm{\ω}}_1={\mathrm{\ω}}_0-\frac{1}{2}\mathrm{\Δ\ω},$ ${\mathrm{\ω}}_2={\mathrm{\ω}}_0+\frac{1}{2}\mathrm{\Δ\ω}.$

根据人类视觉系统对不同空间频率视觉信号的感知能力，优选地，

其中ω_max为输入图像的最大频率，

更优选地，所述中心频率ω₀取输入图像的最大频率ω_max的

滤波器的带宽Δω取输入图像最大频率ω_max的

利用高斯带通滤波器得到图像各频率上的幅值加权，加权后各频率上的幅值B(u，v)可以表示为：

B(u，v)＝A(u，v)·H(u，v)，

其中H(u，v)＝H(ω)，

图5(a)是一幅输入的原始图像的示例I(x，y)；图5(b)示出了根据本发明的一个实施例的中频带通滤波器；图5(c)是采用图5(b)所示的中频带通滤波器对图5(a)所示的原始图像进行滤波后的幅值谱B(u，v)

在得到通过滤波器加权后的幅值谱B(u，v)后，结合输入图像的相位谱φ(u，v)，利用傅里叶反变换可以在空间域得到图像的显著性图(saliencymap)。该显著性图表示为：

$S^{\′}(x,y)=\left|\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}{F}^{\′}(u,v)e^{j2\mathrm{\π}(\mathrm{ux}/M+\mathrm{vy}/N)}\right|,F^{\′}(u,v)=B(u,v)\·\exp (i\·\mathrm{\φ}(u,v)).$

上述显著性图更多的是在物体的边缘处有较大的响应。而在一些应用中，人类视觉系统更倾向于关注物体的中心。因此，根据本发明的优选实施例，对上述得到的显著性图S′(x，y)施加一个平滑，以得到与人类视觉系统更相似的结果，即最终的显著性图为：

S(x，y)＝g(x，y)*S′(x，y)，

其中g(x，y)为二维平滑算子。对于上述按比例缩放到长为M＝64，宽为

的图像，优选地，g(x，y)为标准差是8的高斯平滑算子，如果输入图像缩放到其他尺寸，则可以按比例调整此高斯平滑算子的标准差。本领域普通技术人员可以理解，该平滑步骤也可以采用另外的方法，例如中值滤波、其他权重的均值滤波等。图5(d)为图5(a)中所示的原始图像的显著性图。

优选地，在上述显著性图的基础上，还可以根据具体应用对所得到的显著性图做进一步处理，如进行二值化，从而更凸显图像中的显著区域。在真实数据上的实验表明，本发明所提供的方法可以有效地检测到图像中的显著区域。

上面结合图4的流程图，详细描述了根据本发明优选实施例的图像中显著区域的检测方法。为了计算效率更高，上述优选实施例中在频域中实现中频带通滤波，但本领域普通技术人员可以理解，也可以直接在空域中实现中频带通滤波。在空域中进行中频带通滤波的具体实现如下：

对输入图像I进行较小标准差σ₁和较大标准差σ₂平滑，得到图像I₁和I₂，其中σ₁和σ₂的含义与频域中的实现时的计算方法相同。优选地，图像I₂的平滑可以直接在图像I₁上进行，以加快平滑速度。则中频带通滤波后的图像，即显著性图为：

S′(x，y)＝I₁(x，y)-I₂(x，y)

最后应当说明的是，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种图像显著区域检测方法，包括：

步骤1）将图像进行中频带通滤波；包括：

111）将所述图像用频域表示；

112）将所述图像的频域幅值谱进行中频带通滤波；所述中频带通滤波为高斯带通滤波：

$H\left(\mathrm{\ω}\right)=\exp ({-\mathrm{\ω}}^2/{2\mathrm{\σ}}_1^2)-\exp ({-\mathrm{\ω}}^2/{2\mathrm{\σ}}_2^2),$

其中，H(ω)表示高斯带通滤波器，ω为频率，σ₁和σ₂分别为两个高斯核的标准差，且σ₁<σ₂，

${\mathrm{\&omega;}}_1={\mathrm{\&omega;}}_0-\frac{1}{2}\mathrm{\&Delta;\&omega;},$ ${\mathrm{\&omega;}}_2={\mathrm{\&omega;}}_0+\frac{1}{2}\mathrm{\&Delta;\&omega;},$ ${\mathrm{\&omega;}}_0\&Element;[\frac{1}{4}{\mathrm{\&omega;}}_{\max },\frac{5}{12}{\mathrm{\&omega;}}_{\max }],$ $\mathrm{\&Delta;\&omega;}\&Element;[\frac{1}{16}{\mathrm{\&omega;}}_{\max },\frac{1}{18}{\mathrm{\&omega;}}_{\max }],$

ω₀为高斯带通滤波器的中心频率，ω₁和ω₂为高斯带通滤波器的截止频率，ω_max为输入图像的最大频率，Δω为滤波器的带宽，M和N分别为所述图像的长和宽；

步骤2）根据中频带通滤波后的图像获得显著性图。

2.根据权利要求1所述的方法，其特征在于，所述步骤1）前包括：

步骤0）将图像进行缩放。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤2）后还包括：

步骤3）将所述显著性图进行平滑。

4.根据权利要求3所述的方法，其特征在于，所述步骤3）采用高斯平滑算子实现。

5.根据权利要求1或2所述的方法，其特征在于，

所述步骤2）进一步包括：

21）将所述中频带通滤波后的图像用空间域表示，获得显著性图。

6.根据权利要求5所述的方法，其特征在于，所述步骤111）采用傅里叶变换来实现，所述步骤21）采用反傅里叶变换来实现。

7.根据权利要求6所述的方法，其特征在于，所述傅里叶变换是快速傅里叶变换。

Images