CN106326902A - 基于显著性结构直方图的图像检索方法 - Google Patents

Abstract

本发明公开一种基于显著性结构直方图的图像检索方法，其关注基于视觉注意机制和初级视觉皮层方向选择性机制的优势来进行图像检索，提出显著性结构直方图的新型图像特征表达方法。显著性结构直方图可看作为基于视觉显著性模型的图像特征描述方法，专门用于自然图像分析，并且比经典的直方图方法具有更丰富信息。它整合了视觉注意机制，方向选择性机制和直方图的优点，它在某种程度上模拟了人类视觉注意机制，能够表达图像局部结构的空间信息，视觉显著性信息和颜色信息。显著性结构直方图所包含的信息量明显地高于经典的直方图模型，可以视为基于视觉计算模型的图像检索框架雏型。

Description

基于显著性结构直方图的图像检索方法

技术领域

本发明涉及图像检索技术领域，具体涉及一种基于显著性结构直方图的图像检索方法。

背景技术

视觉信息是人类感知外界信息的主要来源，而人类视觉系统拥有近乎完美的信息处理能力，因此研究视觉信息处理机制已经成为模式识别，计算机视觉，神经科学和认知科学等领域的热点。随着对视觉信息处理机制的不断深入了解，如何依据视觉信息处理机制来建立视觉计算模型以及应用于图像检索已成为研究者关注的焦点。一般而言，图像检索技术主要包括基于局部特征的图像检索和基于全局特征的图像检索。鉴于目前人工智能和相关技术的局限性，图像检索仍然是一个公开的难题。因此，基于内容的图像检索(CBIR)仍然是非常重要而高效的图像检索方法，并且CBIR系统仍然被广泛应用于学术和工业领域。视觉信息处理机制的研究成果为解决模式识别和计算机视觉领域的应用问题提供了新思路，研究者也提出了很多视觉计算模型，所以如何应用视觉计算模型来进行图像检索是一个非常重要并且具有挑战性的问题。

发明内容

本发明所要解决的技术问题是提供一种基于显著性结构直方图的图像检索方法，其能够利用直方图来表达局部结构的空间信息，视觉显著性信息和颜色信息，并且还能够模拟初级视皮层(V1)神经元方向选择性机制来描述图像特征。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于显著性结构直方图的图像检索方法，包括如下步骤：

步骤1、将彩色图像从RGB颜色空间转换到HSV颜色空间，得到颜色体积，并构建颜色体积的高斯金字塔；

步骤2、在HSV颜色空间中，对V分量进行边缘检测，得到边缘图像，并构建边缘图像的高斯金字塔；

步骤3、分别对颜色体积和边缘图像的高斯金字塔进行跨尺度抽样后，得到颜色体积的特征映射和边缘图像的特征映射；

步骤4、分别对颜色体积和边缘图像的特征映射进行缩小尺度和逐点相加后，得到2个独立显著性图像映射；

步骤5、将2个独立显著性图像映射整合为一个显著图，并将该显著图进行放大，直到与原始彩色图像具有相同大小；

步骤6、在HSV颜色空间中，对原始彩色图像进行颜色量化、灰度量化和方向量化，得到颜色映射、灰度映射和方向映射；

步骤7、分别对颜色映射、灰度映射和方向映射进行局部棒状结构检测，得到颜色、灰度和方向的局部棒状结构；

步骤8、基于步骤5所得到的显著图，检测并统计步骤7所得到的颜色、灰度和方向的局部棒状结构中显著性结构的能量，并获得基于颜色、灰度和方向的显著性结构直方图；

步骤9、将基于颜色、灰度和方向的显著性结构直方图中的特征向量作为最终特征应用于图像检索。

步骤2中，采用Sobel算子对V分量进行边缘检测。

步骤5中，采用双线性插值方法对显著图进行放大。

步骤8中，采用Gabor滤波器来实现局部棒状结构中显著性结构的能量检测。

步骤9中，采用L1距离来进行图像匹配检索。

与现有技术相比，本发明关注基于视觉注意机制和初级视觉皮层方向选择性机制的优势来进行图像检索，提出显著性结构直方图的新型图像特征表达方法。显著性结构直方图可看作为基于视觉显著性模型的图像特征描述方法，专门用于自然图像分析，并且比经典的直方图方法具有更丰富信息。它整合了视觉注意机制，方向选择性机制和直方图的优点，它在某种程度上模拟了人类视觉注意机制，能够表达图像局部结构的空间信息，视觉显著性信息和颜色信息。显著性结构直方图所包含的信息量明显地高于经典的直方图模型，可以视为基于视觉计算模型的图像检索框架雏型。

附图说明

图1为图像局部结构检测的示例。

图2(a)-(d)为显著性结构检测的示例图。

具体实施方式

为了充分利用视觉注意机制和初级视皮层(V1)神经元方向选择性机制来进行图像检索，本发明提出了一种新颖的方法来描述图像特征，它被称之为显著性结构直方图。显著性结构根据Gabor滤波器和局部棒形(bar-shaped)结构信息来定义，它在某种程度上模拟了人类视觉注意机制，能够表达图像局部结构的空间信息，视觉显著性信息和颜色信息。显著性结构直方图所包含的信息量明显地高于经典的直方图模型，可以视为基于视觉计算模型的图像检索框架雏型。

一种基于显著性结构直方图的图像检索方法，包括如下步骤：

(1)将彩色图像从RGB颜色空间转换到HSV颜色空间；HSV颜色空间可以表示为一个圆锥模型或者圆柱体模型，因此我们可以采用圆柱体体积来表示图像的颜色信息，在本发明中被称之为颜色体积，将它定义为cv。

(2)在HSV彩色空间中，用Sobel算子对V分量进行边缘检测，将边缘图像定义为g，将颜色体积cv和边缘图像g用于构建高斯金字塔cv(σ)和g(σ)，其中σ∈[0...5]表示尺度。

(3)通过跨尺度抽样并产生所谓的特征映射：

F(c,s,cv)＝|cv(c)θcv(s)| (1)

F(c,s,g)＝|g(c)θg(s)| (2)

式中，F(c,s,cv)表示颜色体积cv的特征映射，F(c,s,g)表示边缘图像g的特征映射，cv(c)表示颜色体积cv在细尺度c的高斯金字塔，cv(s)表示颜色体积cv在粗尺度s的高斯金字塔，g(c)表示边缘图像g在细尺度c的高斯金字塔，g(s)表示边缘图像g粗尺度s的高斯金字塔。操作符“θ”表示中心-周边差操作，它是在“中心”细尺度(c)和“周边”粗尺度(s)之间进行，并产生特征映射图；

(4)将每个特征映射图缩小到尺度5，然后进行逐点相加，最后得到2个独立显著性图像映射和

$\stackrel{\‾}{CV}=\underset{c=0}{\overset{4}{\⊕}}\underset{s=5}{\overset{5}{\⊕}}N\left(F\right(c,s,cv\left)\right)---\left(3\right)$

$\stackrel{\‾}{G}=\underset{c=0}{\overset{4}{\⊕}}\underset{s=5}{\overset{5}{\⊕}}N\left(F\right(c,s,g\left)\right)---\left(4\right)$

式中，表示颜色体积cv的显著性图像映射，表示边缘图像g的显著性图像映射，c表示细尺度，s表示粗尺度，⊕表示映射图的跨尺度相加，N(.)表示标准化；

(5)将2个独立显著性图像映射和整合为一个显著图S_hsv。

$S_{hsv}=\frac{1}{2}\left(N\right(\stackrel{\‾}{CV})+N(\stackrel{\‾}{G}\left)\right)---\left(5\right)$

式中，S_hsv表示显著图，N(.)表示标准化；

(6)采用双线性插值方法，对显著图S_hsv进行放大，直到与原始输入图像具有相同大小。

(7)HSV颜色空间中，进行颜色量化，灰度量化以及方向量化。

在HSV颜色空间中，将H，S和V颜色分量均匀量化为6，3和3直方条，于是可以得到6×3×3＝54颜色组合，本发明用M_C(x,y)表示颜色组合或者颜色映射，其中M_C(x,y)＝w,w∈{0,1,...,N_C-1}，w表示量化颜色的索引值，最大颜色组合数量设置为N_C＝54。

将V颜色分量进行均匀量化，可以得到灰度映射M_I(x,y)，灰度映射的索引值为M_I(x,y)＝s,s∈{0,1,..,N_I-1}，最大灰度直方条数量设置为N_I＝16。

采用Sobel算子对V分量进行边缘检测，根据水平和垂直方向的Sobel算子模版，可以得到水平方向的梯度值G_x和垂直方向的梯度值G_y，则梯度方向O(x,y)可以表示为atan(Gy/Gx)。对O(x,y)进行均匀量化，可以得到灰度映射M_O(x,y)，方向映射的索引值为M_O(x,y)＝θ,θ∈{0,1,..,N_O-1}，最大方向直方条数量设置为N_O＝60。

(8)以颜色映射M_C(x,y)，灰度映射M_I(x,y)和灰度映射M_O(x,y)为基准，分别对它们进行局部棒状(bar-shaped)结构检测，可以分别得到颜色，灰度和方向的局部结构模式。

上述局部棒状(bar-shaped)结构检测方法如下：

在M_C(x,y)中，其中(x,y)表示离散坐标，将它划分为一系列3×3的，相互重叠方格；在图像块中，中心坐标(x₀,y₀)的值表示为M_I(x₀,y₀)，假设中心坐标(x₀,y₀)两侧分别有一个坐标点(x₁,y₁)和(x₂,y₂)。如果它们的索引值M_I(x₁,y₁)＝M_I(x₀,y₀)＝M_I(x₂,y₂)，则如此结构则称之为灰度映射M_I(x,y)一个棒状(bar-shaped)结构，例如图1所示。在这种情况下，棒状结构和水平方向之间的夹角表示为α,α＝{0°,45°,90°,135°}，因此可以得到4种方向的棒状结构，例如图2(a)所示。颜色映射M_C(x,y)和边缘方向映射M_O(x,y)的棒状结构检测原理和M_I(x,y)检测原理相同。

(9)为了在棒状结构中检测显著性结构，需要构造Gabor滤波器。Gabor滤波器的定义如下：

其中X＝xcosθ+ysinθ，Y＝-xsinθ+ycosθ，θ为滤波器的方向，γ为椭圆率，λ为波长，δ为标准方差。本发明初步拟定N_θ＝6，γ＝0.25，λ＝0.56和δ＝2.333。

对显著图S_hsv进行Gabor滤波后可得显著图S_hsv的Gabor能量图像E(x,y)。

在本发明中，Gabor滤波器采用4个方向θ,θ＝{0°,45°,90°,135°}，例如图2(b)所示。例如在灰度映射中，当一个棒状结构遇见具有相同参考方向的Gabor滤波器g(x,y,φ,θ),θ＝{0°,45°,90°,135°}，即α＝θ时，则如此的棒状结构即为一个显著性结构，例如图2(c)所示。则相应的Gabor能量定义为ES(x,y,I,θ)，其中ES(x,y,I,θ)＝E(x,y,θ),θ＝{0°,45°,90°,135°}，当α≠θ时候，则如此的棒状结构则不是显著性结构，依据相同道理，可以得到颜色映射M_C(x,y)和方向映射M_O(x,y)的显著性结构的能量ES(x,y,C,θ)和ES(x,y,O,θ)。本发明最终可获得4种显著性结构用于描述图像内容，例如图2(d)所示。

(10)分别统计M_C(x,y)，M_I(x,y)和M_O(x,y)中显著性结构的能量，最后综合它们来描述图像内容。

假设(x,y)为离散坐标，0≤x≤wid-1,0≤y≤hei-1，wid表示图像宽度，hei表示图像高度，M_C(x,y)，M_I(x,y)和M_O(x,y)的量化数目分别是N_C,N_I和N_O。假设在彩色图像中有一个3×3图像块，其中(x,y)表示3×3图像块的中心坐标，从左到右，从上到下，以一个像素为步长，不断地移动3×3图像块，如果3×3图像块中出现了显著性结构，则它们对应的能量表示为ES(x,y,C,θ)，ES(x,y,O,θ)和ES(x,y,I,θ)，其中参考方向θ＝{0°,45°,90°,135°}，则显著性结构直方图定义为:

SSH＝conca{[H_C[i]]⁺,[H_O[j]]⁺,[H_I[k]]⁺} (7)

式中，H_C[i]，H_O[j]和H_I[k]分别表示基于颜色，方向和灰度信息的显著性结构直方图，conca{.}表示将上述H_C，H_O和H_I三个直方图串联起来形成一个最终的直方图，即是显著性结构直方图，[.]⁺表示半波校正操作，并且将所有负值设为0值。i，j和k用做直方图的下标，其中i，j和k可表示颜色，方向和灰度的索引值。

其中，计算基于颜色的显著性结构直方图方法如下：

假设在颜色的显著性结构能量图像ES(x,y,C,θ)中，坐标点(x,y)对应的颜色索引值为M_C(x,y)，则以索引值M_C(x,y)作为直方图下标，将此处的显著性结构能量值累加到对应直方图中，历遍整幅图像则可以得到一个基于颜色的直方图，并且对直方图进行sigmoid变换，则可以得到基于颜色的显著性结构直方图，它可以表示为：

同理可得，基于方向的显著性结构直方图H_O以及基于灰度的显著性结构直方图H_I。

(11)将显著性结构直方图中的特征向量作为最终特征应用于图像检索，并且采用L1距离来进行图像匹配。

Claims (5)

1.一种基于显著性结构直方图的图像检索方法，其特征是，包括如下步骤：

步骤1、将彩色图像从RGB颜色空间转换到HSV颜色空间，得到颜色体积，并构建颜色体积的高斯金字塔；

步骤2、在HSV颜色空间中，对V分量进行边缘检测，得到边缘图像，并构建边缘图像的高斯金字塔；

步骤3、分别对颜色体积和边缘图像的高斯金字塔进行跨尺度抽样后，得到颜色体积的特征映射和边缘图像的特征映射；

步骤4、分别对颜色体积和边缘图像的特征映射进行缩小尺度和逐点相加后，得到2个独立显著性图像映射；

步骤5、将2个独立显著性图像映射整合为一个显著图，并将该显著图进行放大，直到与原始彩色图像具有相同大小；

步骤6、在HSV颜色空间中，对原始彩色图像进行颜色量化、灰度量化和方向量化，得到颜色映射、灰度映射和方向映射；

步骤7、分别对颜色映射、灰度映射和方向映射进行局部棒状结构检测，得到颜色、灰度和方向的局部棒状结构；

步骤8、基于步骤5所得到的原始彩色图像具有相同大小的显著图，检测并统计步骤7所得到的颜色、灰度和方向的局部棒状结构中显著性结构的能量，并获得基于颜色、灰度和方向的显著性结构直方图；

步骤9、将基于颜色、灰度和方向的显著性结构直方图中的特征向量作为最终特征应用于图像检索。

2.根据权利要求1所述的一种基于显著性结构直方图的图像检索方法，其特征是，步骤2中，采用Sobel算子对V分量进行边缘检测。

3.根据权利要求1所述的一种基于显著性结构直方图的图像检索方法，其特征是，步骤5中，采用双线性插值方法对显著图进行放大。

4.根据权利要求1所述的一种基于显著性结构直方图的图像检索方法，其特征是，步骤8中，采用Gabor滤波器来实现局部棒状结构中显著性结构的能量检测。

5.根据权利要求1所述的一种基于显著性结构直方图的图像检索方法，其特征是，步骤9中，采用L1距离来进行图像匹配检索。