CN1286064C - 一种基于显著兴趣点的图像检索方法 - Google Patents

Abstract

本发明涉及一种基于显著兴趣点的图像检索方法，其基本思想是：不使用兴趣点自身的信息来描述图像，而是将兴趣点作为一个线索，通过它们来找到用户真正感兴趣的部分，利用这些部分的特征来描述图像、检索图像。其特征：对于待查询图像，进行自适应平滑滤波器滤波，来增强图像中的显著边缘，同时滤除噪声；然后，使用兴趣点检测器来检测显著兴趣点；接着，在每一个兴趣点周围选取一个小的区域，使用颜色聚类特征来形成特征矢量，描述图像特征；最后，将待查询图像形成的图像特征与图像库中的图像进行图像匹配。具有两个明显的优点：计算简单和能够提高检索的准确率。

Description

一种基于显著兴趣点的图像检索方法

所属技术领域：本发明涉及一种基于显著兴趣点的图像检索方法，属于计算机视觉、图像理解以及模式识别等领域。

背景技术：自90年代以来，随着计算机技术、多媒体技术以及网络技术的飞速发展，越来越多的图像出现在人们的日常生活中。图像数据的爆炸性增长使得对图像的管理和检索成为关键。目前，许多图像检索方法都使用形状来描述图像的特征。的确，形状是表征物体的本质特征之一，形状特征是一种能够表征图像的有效特征。利用边缘信息来描述图像形状信息，并且应用提取出的图像特征来进行图像检索。然而，形状特征并不是内容丰富的图像的全部，很多情况下，形状都会“失灵”，例如，如果用边缘信息来描述一块方砖和一本书，几乎是无法区分它们的。因此，要进一步提高检索的准确率，必须将图像的形状信息与其它特征相结合，而如何很好地结合它们就成了关键。兴趣点是一种重要的图像视觉特征，它有着计算量小、信息含量高的特点。因此，它已经在双目匹配、三维解释、运动估计、图像匹配的许多领域得到了广泛的应用。兴趣点在三维解释、运动估计、图像匹配、目标识别等方面都有着很多的应用，但是，在图像检索领域，应用兴趣点进行图像检索还没有引起广泛的注意，这方面的相关工作还不多见。基本的方法是简单的将兴趣点的匹配算法直接移植到图像检索中，它首先利用Harris的检测算子发现兴趣点，然后在兴趣点处计算出一组灰度差分不变量，基于这些灰度差分不变量生成特征矢量，在匹配时，还考虑到了一些局部几何的限制条件。另外，也有研究人员提出采用了一种多尺度算法来提取兴趣点，并采用金字塔形的结构来进行匹配；还有一种把兴趣点对距离和测度值分布的直方图作为特征来代表图像，进而进行检索的方法。但是已有的方法并没有太多的创新工作，只是把成熟的兴趣点检测算法和匹配算法直接照搬到图像检索中。由于，图像检索具有自身的特点，没有如何将兴趣点的优势与基于内容图像检索应用的特点和要求很好的结合的问题。所以，上述的方法由于没有和图像检索的要求和特点合理地结合起来，使得这些方法的图像检索效率很低，难于进入实用。另外，由于兴趣点的检测对光照、遮挡、噪声等都比较敏感，因此，兴趣点的位置一般比较难确定。但传统的兴趣点匹配都需要几何关系的限制，所以企图直接移植传统的兴趣点检测和匹配算法的图像检索方案往往不会成功。

发明内容：为避免现有技术的缺陷，本发明提出了基于显著兴趣点的图像检索方法，集中在显著边缘上的兴趣点，与一般的兴趣点相比，显著兴趣点具有更高的信息量，而且更能代表图像的特征。

本发明具有两个明显的优点：第一，对兴趣点进行筛选，挑选出显著的兴趣点，它们包含更高的信息量，而且计算简单；第二，在显著兴趣点周围的局部区域内提取颜色信息，将形状信息和颜色特征结合起来，而且得到了局部的图像特征，此特征能够提高检索的准确率。

本发明的基本思想是：兴趣点尽管处于视觉重要区域，但对图像检索来说意义不大，人们真正感兴趣的是被兴趣点分开的物体。所以，不使用兴趣点自身的信息来描述图像，而是将兴趣点作为一个线索，通过它们来找到用户真正感兴趣的部分，利用这些部分的特征来描述图像、检索图像。

本发明的技术特征在于：首先，对于待查询图像，进行自适应平滑滤波器滤波，来增强图像中的显著边缘，同时滤除噪声；然后，使用兴趣点检测器来检测显著兴趣点；接着，在每一个兴趣点周围选取一个小的区域，使用颜色聚类特征来形成特征矢量，描述图像特征；最后，将待查询图像形成的图像特征与图像库中的图像进行图像匹配。

由于一般的兴趣点检测方法只适用于灰度图像，所以，在检测兴趣点前，先将原始的彩色图像转化为灰度图像，而在后面提取颜色特征时，又使用原始的彩色图像。

为提高自兴趣点检测稳定和收敛，适应平滑滤波器采用非线性滤波器。它通过反复地迭代，可以增强图像中的显著边缘，同时抑止掉噪声。对于兴趣点检测，自适应平滑滤波器具有较强的收敛性和平稳性。当迭代进行到一定程度，检测出的兴趣点趋向于稳定和收敛，具有保持显著边缘的特点，能够为后续的显著兴趣点提取提供很好的基础。

兴趣点检测器是：对经过非线性滤波的图像的每一象素计算每一象素的兴趣点测度值，并对重叠的兴趣点进行合并。计算每一象素的兴趣点测度值K，当测度值大于某一个阈值λ时，确定该点为兴趣点。

兴趣点检测算子K计算如下：

$K=\frac{I_{\mathrm{xx}}{I}_y^2+I_{\mathrm{yy}}{I}_x^2-2I_{\mathrm{xy}}{I}_x{I}_y}{I_x^2+I_y^2}$

其中，I表示象素点的灰度值，I_x表示对I在x方向上求一次偏导，K是梯度幅值与梯度方向变化率之积。

另外，由于在每一个显著兴趣点的周围取一个小邻域，通过这些小邻域中的象素来表征图像特征。所以，对于距离很近的显著兴趣点，它们的小邻域往往会发生重叠。因此，我们需要将发生重叠的兴趣点进行合并。步骤为：对显著兴趣点按照测度值进行由大到小排序，然后依次计算兴趣点对之间的距离，如果距离小于阈值γ，则把测度值小的兴趣点去掉，即为合并它们。得到最终的显著兴趣点集合。

使用颜色聚类特征来形成特征矢量：首先，以每一个显著兴趣点为中心，在1×1大小的区域内提取象素点；然后对提取出的所有象素点，用一个聚类算法来提取它们的聚类颜色直方图，用此直方图表征图像，可以生成每一幅图像的特征矢量，称之为：基于显著兴趣点的颜色特征，以进行后面的图像匹配。

由于每一幅图像，包括图像库中的一幅图像，都使用基于显著兴趣点的颜色特征来描述，因此，图像匹配是依据图像间的相似性度量准则，进行匹配时基于此特征矢量。首先进行置换变换，即将查询图像的颜色映射到图像数据库中的一幅图像与之最相近的颜色上；然后计算对应颜色类的距离，并构成距离矩阵；计算复杂度。

附图说明：

图1：本发明方法的基本流程图

图2：使用本方法完成检索例子

具体实施方式：

现结合附图对本发明作进一步描述：

用于实施的硬件环境是：Pentium-4 1.7G计算机、512MB内存，运行的软件环境是：VC++6.0和Windows 2000。我们用C++程序设计语言实现了本发明提出的方法，使用的图像是从Corel Image Gallery_★中抽取的7,000幅图像，这些图像分属于70个图像类，每一类有100幅图像，图像类包括“scene”、“tiger”、“model”、“horse”、“flower”、“building”等。

假设一个待查询图像Q，在图像数据库中检索与Q相似的图像I。

在本实施例中，待查询图像Q经过迭代次数取为3次的非线性滤波后，得到增强图像中的显著边缘。使用

$K=\frac{I_{\mathrm{xx}}{I}_y^2+I_{\mathrm{yy}}{I}_x^2-2I_{\mathrm{yy}}{I}_x{I}_y}{I_x^2+I_y^2}$

计算每一象素(x、y)的兴趣点测度值K(x、y)。其中，I表示象素点的灰度值，I_x表示对I在x方向上求一次偏导。当测度值K(x、y)大于阈值λ＝100时，则该点被认为兴趣点。合并重叠的兴趣点，在小邻域大小为5×5的区域内，对显著兴趣点按照测度值进行由大到小排序，然后依次计算兴趣点对之间的距离。如果距离小于γ＝10，则把测度值小的兴趣点去掉。

对提取出的所有象素点，用一个聚类算法来提取它们的聚类颜色直方图，

H_c＝{(r_i＇，g_i＇，b_i＇，h_i＇)，1≤i≤m}

其中：(r_i，g_i，b_i)，1≤i≤n表示颜色，h_i，1≤i≤n表示对应的点频数，n表示所有的颜色数目，m表示颜色峰值序列个数。用此直方图表征图像，进行后序的图像匹配。

表示Q的聚类颜色直方图用：

$H_Q=\{C_i^Q.h_i^Q|i=\mathrm{1,2},...,m\}$

表示I的聚类颜色直方图用：

$H_I=\{C_j^I.h_j^I|j=\mathrm{1,2},...,n\}$

m、n分别表示它们的颜色聚类数目，它们间的相似度用距离D(Q，I)来表示。由于图像的聚类颜色数目一般不会相同，因此，它们的特征矢量的维数也会不同，为了计算距离，进行置换变换：即将一幅图像的颜色映射到另一幅图像中与之最相近的颜色上。经过置换变换后，图像Q中的每一个颜色类都在图像I中找到了对应，则它们之间的距离可以通过下式来计算：

$D(Q,I)=\underset{i=1}{\overset{\min (m,n)}{\mathrm{\Σ}}}{w}_i\sqrt{{(h_i^Q-h_{P\left(i\right)}^I)}^2}+\underset{i=1}{\overset{\min (m,n)}{\mathrm{\Σ}}}\mathrm{cdis}(C_i^Q,C_{P\left(i\right)}^I)$

其中：

$w_i=\left\{\begin{array}{cc}{h}_i^Q& \mathrm{if}{h}_i^Q,h_{P\left(i\right)}^j>0\\ 1& \mathrm{elsewise}\end{array}\right.$

$\mathrm{cdis}(C_i^Q,C_{P\left(i\right)}^I)=\left\{\begin{array}{cc}\mathrm{dis}(C_i^Q,C_{P\left(i\right)}^I)& \mathrm{if}{h}_i^Q,h_{P\left(i\right)}^I>0\\ 1& \mathrm{elsewise}\end{array}\right.$

可知：距离公式由两部分构成，其一是聚类颜色的象素点频数，其二是聚类参考色之间的距离。注意第一部分的权值w_i的选取，如果两幅图像的聚类颜色数目相同，则取 $w_i=h_i^Q,$ 这种情况下考虑了颜色i在图像中的比例；如果聚类颜色的数目不相同，则取w_i＝1，加强了不相似的程度，给图像差别一个增大的趋势。如果两幅图像的聚类颜色相同且对应类的象素点频数相等，则第二部分的代表颜色之间的距离就成了主导因素，很明显，如果Q与I完全相同，则D(Q，I)＝0。

我们以Corel.数据库中的7,000幅图像为测试平台，从70个图像语义类中挑选10个类作测试，每一个图像类中随机挑选10幅图像分别作为查询图像，和传统方法的对比，我们发现：本发明的方法对于图像检索来说很有效。

Claims (7)

1、一种基于显著兴趣点的图像检索方法，其特征在于：首先，对于待查询图像，进行自适应平滑滤波器滤波，来增强图像中的显著边缘，同时滤除噪声；然后，使用兴趣点检测器来检测显著兴趣点；接着，在每一个兴趣点周围选取一个小的区域，使用颜色聚类特征来形成特征矢量，描述图像特征；最后，将待查询图像形成的图像特征与图像库中的图像进行图像匹配。

2、根据权利要求1所述的一种基于显著兴趣点的图像检索方法，其特征在于：在检测兴趣点前，先将原始的彩色图像转化为灰度图像。

3、根据权利要求1或2所述的一种基于显著兴趣点的图像检索方法，其特征在于：平滑滤波器采用非线性滤波器。

4、根据权利要求1或2所述的一种基于显著兴趣点的图像检索方法，其特征在于：对经过非线性滤波的图像的每一象素计算每一象素的兴趣点测度值，并对重叠的兴趣点进行合并；计算每一象素的兴趣点测度值K：

$K=\frac{I_{\mathrm{xx}}{I}_y^2+{I_{\mathrm{yy}}I}_x^2-2I_{\mathrm{xy}}{I}_x{I}_y}{I_x^2+I_y^2}$

当测度值大于某一个阈值λ时，确定该点为兴趣点；其中，I表示象素点的灰度值，I_x表示对I在x方向上求一次偏导，K是梯度幅值与梯度方向变化率之积。

5、根据权利要求4所述的一种基于显著兴趣点的图像检索方法，其特征在于：合并是对显著兴趣点按照测度值进行由大到小排序，然后依次计算兴趣点对之间的距离，如果距离小于阈值γ，则把测度值小的兴趣点去掉合并。

6、根据权利要求1或2所述的一种基于显著兴趣点的图像检索方法，其特征在于：使用颜色聚类特征来形成特征矢量：首先，以每一个显著兴趣点为中心，在l×l大小的区域内提取象素点；然后对提取出的所有象素点，用一个聚类算法来提取它们的聚类颜色直方图，用此直方图表征图像，生成每一幅图像的特征矢量。

7、根据权利要求1或2所述的一种基于显著兴趣点的图像检索方法，其特征在于：图像匹配是依据图像间的相似性度量准则，进行匹配时基于此特征矢量，首先进行置换变换，即将查询图像的颜色映射到图像数据库图中的一幅图像与之最相近的颜色上；然后计算对应颜色类的距离，并构成距离矩阵；计算复杂度。

Images