CN103136292B - 一种基于图像特征的图像检索方法和装置 - Google Patents

Abstract

本发明公开了一种基于图像特征的图像检索方法，包括：A、提取图像的SIFT特征点和MSER区域，获取包含在同一MSER区域内的所有SIFT特征点；B、结合各个SIFT特征点的主方向和主尺度以及在MSER区域内的位置特征，提取包含在同一个MSER区域内的各个SIFT特征点的空间特征参数；C、基于SIFT特征点的SIFT特征和空间特征参数进行图像的检索。在进行图像匹配时，利用这两个参数值对匹配上的SIFT特征点进行空间限制，大大提高了SIFT特征点的分辨率，从而剔除误匹配的点，提高图像检索性能。此外，本发明还公开了一种基于图像特征的图像检索装置。

Description

一种基于图像特征的图像检索方法和装置

技术领域

本发明涉及一种图像检索方法，具体来说，涉及一种基于图像特征的图像检索方法和装置，属于图像识别领域。

背景技术

随着通信技术和多媒体技术的发展，图像视频数据每天以爆炸性速度增长和传播。面对大规模的图像视频数据，如何有效地分析、分类、检索成为非常棘手的问题。

目前，基于内容的图像检索已经成为一种热门的研究技术，可以广泛应用于手机图像库检索管理系统，手机视频业务检索系统，视频监控检索系统等，及诸多互联网业务中。

目前，应用最为广泛的图像检索方法是，首先对查询图像提取SIFT特征，然后利用查询图像的SIFT特征对比图像库里参考图像的SIFT特征，然后将查询图像和参考图像的相似性从大到小进行排列，返回最终的图像检索结果。为了提高图像检索的速度，需要对SIFT特征进行量化。

但是，对SIFT特征进行量化后，SIFT特征的分辨能力大大降低，因此利用量化后的SIFT特征进行匹配，大大降低图像检索的性能。

中国专利名称：《图像检索系统中数据聚类方法》，申请号：201110039139.3，公开日：2011-07-20，在这篇专利中，描述了一种图像检索系统中SIFT特征聚类的方法，用来量化SIFT特征，然后再进行图像检索，从而提高了图像检索的速度。所以，该方法依然存在“SIFT特征量化引起鉴别能力变弱，影响图像检索性能”这一问题。

发明内容

本发明针对现有技术中的对SIFT特征进行量化后，SIFT特征的分辨能力降低的缺点，提供了一种基于图像特征的图像检索方法，所述方法能够增强SIFT特征的鉴别能力，提高图像检索的性能。

根据本发明的第一目的，本发明提供了一种基于图像特征的图像检索方法，包括：A、提取图像的SIFT特征点和MSER区域，获取包含在同一MSER区域内的所有SIFT特征点；

B、结合各个SIFT特征点的主方向和主尺度以及在MSER区域内的位置特征，提取包含在同一个MSER区域内的各个SIFT特征点的空间特征参数；

C、基于SIFT特征点的SIFT特征和空间特征参数进行图像的检索。

优选的是，步骤A中，获取图像上的SIFT特征点后还包括：

对所述SIFT特征点进行量化，获得量化后的特征信息。

优选的是，步骤A中，获取包含在同一MSER区域内的所有SIFT特征点后，进一步包括：

提取所述MSER区域内的所有SIFT特征点在MSER极坐标系下的半径和角度；其中，

所述MSER极坐标系中，MSER区域中心为坐标原点，水平方向为极方向。

其中，所述空间特征参数包括：主尺度和半径一致性参数和主方向和角度一致性参数，其中，所述主尺度和半径一致性参数＝S/R；

所述

S、 R、γ分别是SIFT特征点的主尺度和主方向以及SIFT特征点在极坐标系下的半径和角度。

此外，步骤C中，具体包括：根据所述主尺度和半径一致性参数和主方向和角度一致性参数以及SIFT特征或量化后的特征信息比较图像库的图像和查询图像的相似性；

按照相似性的多少从大到小返回图像列表，并输出最终的图像检索结果。

本发明采取了以上技术方案，能够结合所述图像的SIFT特征点与MSER区域的位置特征并生成图像的SIFT特征点的空间特征参数，进而提高了SIFT特征点的分辨率，并且还能够提高图像检索性能。

根据本发明的另一目的，本发明提供了一种基于图像特征的图像检索装置，包括：

图像特征提取单元，用于提取图像的SIFT特征点和MSER区域；获取包含在同一MSER区域内的所有SIFT特征点；

特征参数提取单元，用于结合各个SIFT特征点的主方向和主尺度以及在MSER区域内的位置特征，提取包含在同一个MSER区域内的各个SIFT特征点的空间特征参数；

图像检索单元，用于基于SIFT特征点的SIFT特征和空间特征参数进行图像的检索。

其中，所述图像特征提取单元，还包括：

SIFT特征点量化处理子单元，用于对SIFT特征点进行量化，获得量化后的特征信息。

此外，所述图像特征提取单元中，还包括：

SIFT特征点极化处理子单元，用于提取所述MSER区域内的所有SIFT特征点在MSER极坐标系下的半径和角度；其中，

所述MSER极坐标系中，MSER区域中心为坐标原点，水平方向为极方向。

进一步地，所述特征参数提取单元，包括：主尺度和半径一致性参数提取子单元，用于根据所述SIFT特征点的主尺度和半径形成主尺度和半径一致性参数；

主方向和角度一致性参数提取子单元，用于根据所述SIFT特征点的主方向和角度形成主方向和角度一致性参数；其中，

所述主尺度和半径一致性参数＝S/R；所述

S、 R、γ分别是SIFT特征点的主尺度和主方向以及SIFT特征点在极坐标系下的半径和角度。

此外，所述图像检索单元，进一步包括：

相似性检索子单元，根据所述主尺度和半径一致性参数和主方向和角度一致性参数以及SIFT特征或量化后的特征信息比较图像库和查询图像的相似性；

图像结果输出子单元，按照相似性的多少从大到小返回图像列表，并输出最终的图像检索结果。

本发明采取了以上技术方案以后，由于所述装置能够对图像进行SIFT特征和MSER区域特征提取并形成MSER区域内的SIFT特征点的空间特征参数，且该参数在在进行图像匹配时，具有提高了SIFT特征点的分辨率，剔除误匹配的特征点，因此，该方案具有很好的技术效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。

图1是本发明基于图像特征的图像检索方法的流程示意图；

图2是本发明图像检索方法的实施例的流程示意图；

图3是本发明SIFT特征点在MSER区域内的特征示意图；

图4是本发明SIFT特征点在MSER极坐标系下的特征示意图；

图5是本发明基于图像特征的图像检索装置的结构示意图；

具体实施方式

以下结合附图对本发明进行详细的描述。

方法实施例一：

以下结合附图对本发明进行详细的描述；

其中，图1是本发明基于图像特征的图像检索方法的流程示意图；

如图1所示，所述方法包括下列步骤：

S101：提取图像的SIFT特征点和MSER区域，并获取包含在同一MSER区域内的所有SIFT特征点；

具体来说，在该实施例之中，包括：

1)对待匹配图像进行所有的SIFT特征提取，并提取图像的所有SIFT特征点，其中，根据现有技术，每一个SIFT特征点的SIFT特征都是一个128维的特征向量；

同时，在该步骤中，还提取所述SIFT特征点的主方向和主尺度，其中，这两个参数是SIFT特征点在尺度空间和周围领域结构中的重要的信息。

2)对待匹配图像进行MSER特征提取，以提取出MSER区域，其中，一个MSER就是对一副图像选择适当的阈值而得到连通分量，并对这些联通分量的平稳性进行检测获得的最终平稳区域；

根据现有技术，所述MSER区域多为一个椭圆形的区域，其主要反映了所述图像的局部区域的稳定特征。

3)根据所述SIFT特征点和MSER区域在图像中的位置关系，获取包含在同一个MSER区域内的所有SIFT特征点。

S102：结合所述图像的SIFT特征点的主方向和主尺度与MSER区域的位置特征，提取包含在同一个MSER区域内的SIFT特征点的空间特征参数；

其中，所述空间特征参数结合图像中的SIFT特征点的位置特征和所述SIFT特定点在所述MSER区域内的相对位置特征而生成；

根据一个实施例，所述空间特征参数包括：主尺度和半径一致性参数和主方向和角度一致性参数，其中，所述主尺度和半径一致性参数＝S/R；

所述

S、 R、γ分别是SIFT特征点的主尺度和主方向以及SIFT特征点在极坐标系下的半径和角度。

申请人发现，上述空间特征参数，具有良好的尺度不变性、旋转不变性和翻转不变性的良好优点，即所述空间特征参数具有很好的鲁棒性，因此，可以利用其鲁棒性对SIFT特征误匹配进行限制，并应用于图像匹配和检索之中。

S103：基于所述空间特征参数进行图像的检索。

具体包括：根据所述主尺度和半径一致性参数和主方向和角度一致性参数以及SIFT特征比较图像库的图像和查询图像的相似性；按照相似性的多少从大到小返回图像列表，并输出最终的图像检索结果。

本发明采取了以上技术方案，能够结合所述图像的SIFT特征点与MSER区域的位置特征并生成图像的SIFT特征点的空间特征参数，进而提高了SIFT特征点的分辨率，并且还能够提高图像检索性能，具有很好的效果。

方法实施例二：

以下结合具体实施例对本发明进行更进一步详细的描述。

其中，图2是本发明一个具体实施例的流程示意图。

如图2所述，在该实施例之中，所述方法具体包括：

S201：对查询图像进行SIFT特征提取，并提取出所述图像的所有SIFT特征点，其中，这些SIFT特征点的SFT特征每一个都具有128维的向量，并获取量化后的SIFT特征点的主方向和主尺度，例如，针对某一个SIFT特征点，记录主尺度为S，主方向为

S202：对所述SIFT特征点进行量化，以提取出量化后的SIFT特征，该量化后的SIFT特征是一些一维的特征信息，因此，可以解决采取由于采取128维的SIFT特征所带来的运算问题，提高图像检索的速度。

S203：对查询的图像进行MSER特征提取，并获取到所述图像的MSER区域，其中，所述MSER区域是一个MSER椭圆区域；

S204：获取包含在同一MSER区域内的所有SIFT特征点，并利用所述MSER椭圆区域对所述SIFT特征点进行捆绑，并将包含在同一个MSER椭圆区域内的SIFT特征点作为一个整体特征进行匹配；

在该步骤之中，根据所述SIFT特征点和MSER区域在图像中的二维位置关系，获取包含在同一个MSER区域内的所有SIFT特征点。

其中，在实施例中，设定一个MSER区域内有3个SIFT特征点，如图3所示，其中，(S，γ)代表SIFT特征点在提取过程中所确定的主尺度和主方向，根据本领域技术人员可知，上述参数是图像中的SIFT特征点在尺度空间和周围邻域结构中的重要潜在信息。

具体来说，S1，S2，S3分别代表3个SIFT特征点的主尺度；γ1，γ2，γ3分别代表3个SIFT特征点的主方向。

S205：建立以MSER区域的中心为原点，水平方向为极方向的MSER极坐标系；根据步骤S204可知，针对在同一个MSER区域内的所有SIFT特征点来说，其所有的点都落在该MSER极坐标系之中，因此，每一个SIFT特征点都有其在该MSER极坐标系中具体位置；

S206：提取SIFT特征点在MSER极坐标系下的半径和角度，该步骤的具体方法如下，图4示例性地给出了本实施例之中的上述3个SIFT特征点在MSER区域内的具体方向示意图；

其中，所述3个SIFT特征点都具有在该MSER极坐标系下的半径和角度，分别将其记为分别记为

其中， 代表一个SIFT点在MSER极坐标系中的半径和角度，是所述各个SIFT点在所述MSER区域内的相对空间位置关系，代表了SIFT点在所述MSER区域内的重要信息。

由于SIFT特征点的主尺度和主方向以及SIFT特征点的极坐标半径和角度分别表示了SIFT特征点在图像中的具体空间特征信息和在图像的MSER区域内的相对空间特征信息，因此，可以利用这两个空间特征信息生成一个具有尺度不变性的空间特征参数。

其中，在该实施例之中，所述空间特征参数是：主尺度和半径一致性参数和主方向和角度一致性参数，其中，所述主尺度和半径一致性参数＝S/R；

所述

S、 R、γ分别是SIFT特征点的主尺度和主方向以及SIFT特征点在MSER极坐标系下的半径和角度。

具体来说，所述步骤还包括：

S207：提取SIFT特征点的主尺度和半径一致性参数；

S208：提取SIFT特征点的主方向和角度一致性参数；

S209：利用两个参数和量化后的特征信息比较图像之间的相似性；S210：按照相似性大小从大到小进行排序，并输出最终的检索结果。

其中，所述主尺度和半径一致性参数和主方向和角度一致性参数具有尺度不变性特征可以参照以下的证明过程：

其中，对于原始图像I(x，y)，一个SIFT点的主尺度、主方向、MSER极坐标系中的半径和角度依次被记为S、 R、γ。给定一个尺度参数a，尺度变换图像I′(x，y)定义为

I′(x，y)＝I(ax，ay)；

对于尺度变换图像I′(x，y)，一个SIFT点的主尺度、主方向、MSER极坐标系中的半径和角度依次被记为S′、 R′、γ′。由于图像发生了尺度变换，所以SIFT点在图像I(x，y)和I′(x，y)的主尺度和MSER极坐标系中半径应满足关系

S＝S′×a

R＝R′×a

那么，SIFT点在图像I(x，y)和I′(x，y)的主方向和MSER极坐标系中角度应满足

γ＝γ′

得到图像I(x，y)和I′(x，y)中的主尺度和半径一致性参数R/S之间应满足关系

R′/S′＝R/S

图像I(x，y)和I′(x，y)中的主方向和角度一致性参数 之间应满足关系；

由此可知，所述两个参数是具有尺度不变性的。也即是说，对于相同的两幅图像，在缩放的环境下，不论这几个参数R、S如何变化，其相互之间的比例关系是不发生变化的，即这两个参数不受图像的缩放所影响。

进一步地，对于图像发生了翻转、旋转，基于前面类似的证明原理，所述两个参数同样具有旋转不变性和翻转不变性的特征，即对于相同的两幅图像，在翻转或者旋转的环境下，不论这几个参数R、S如何变化，R/S， 的这两个参数不受图像的变化而影响。

测试结果：利用20幅查询图像，在10000幅图像的数据库中进行检索，对比两种不同的检索方法：

不同的检索方法	检索的准确度
		现有方法	60％
我们提出的改进方法	88％

由此，本发明所采取的技术方案，克服了现有技术中利用量化后的SIFT特征点的特征信息进行图像检索，其鉴别能力较低的缺点，同时，该方法具有节省运算量，提高匹配速度的优点，并且，所述方法能够提高SIFT特征点的分辨力和鉴别力，对图像的尺度、旋转、翻转等变化都具有鲁棒性，进而提高了在图像检索领域中的图像检索的精度和性能。

装置实施例一：

以下结合附图对本发明所述的基于图像特征的图像检索装置进行说明，其中，图5是本发明所述的基于图像特征的图像检索装置的示意图；

如图5所示，所述基于图像特征的图像检索装置，具体包括：

图像特征提取单元，用于提取图像的SIFT特征点和MSER区域；获取包含在同一MSER区域内的所有SIFT特征点；

特征参数提取单元，用于结合各个SIFT特征点的主方向和主尺度以及在MSER区域内的位置特征，提取包含在同一个MSER区域内的各个SIFT特征点的空间特征参数；

图像检索单元，用于基于SIFT特征点的SIFT特征和空间特征参数进行图像的检索。

其中，根据该实施例，所述图像特征提取单元，还包括：

特征点量化处理子单元，用于对所述SIFT特征进行量化，获得量化后的特征信息。

其中，所述图像特征提取单元中，具体包括：

特征点匹配子单元，用于获取包含在同一MSER区域内的所有SIFT特征点；特征点极化处理子单元，用于提取所述MSER区域内的所有SIFT特征点在MSER极坐标系下的半径和角度；其中，

所述MSER极坐标系中，MSER区域中心为坐标原点，水平方向为极方向。

并且，所述特征参数提取单元，具体包括：

主尺度和半径一致性参数提取子单元，用于根据所述SIFT特征点的主尺度和半径形成主尺度和半径一致性参数；

主方向和角度一致性参数提取子单元，用于根据所述SIFT特征点的主方向和角度形成主方向和角度一致性参数；其中，

所述主尺度和半径一致性参数＝S/R；所述

S、 R、γ分别是SIFT特征点的主尺度和主方向以及SIFT特征点在极坐标系下的半径和角度。

此外，所述图像检索单元，进一步包括：

相似性检索子单元，根据所述主尺度和半径一致性参数和主方向和角度一致性参数和SIFT特征或量化后的特征信息比较图像库和查询图像的相似性；

图像结果输出子单元，按照相似性的多少从大到小返回图像列表，并输出最终的图像检索结果。

本发明采取了以上技术方案以后，由于所述装置能够对图像进行SIFT特征和MSER区域特征提取并形成MSER区域内的SIFT特征点的空间特征参数，且该参数在在进行图像匹配时，具有提高SIFT特征点的分辨率，剔除误匹配的特征点，因此，该方案具有很好的技术效果。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像特征的图像检索方法，包括：

A、提取图像的SIFT特征点和MSER区域，获取包含在同一MSER区域内的所有SIFT特征点；

B、结合各个SIFT特征点的主方向和主尺度以及在MSER区域内的位置特征，提取包含在同一个MSER区域内的各个SIFT特征点的空间特征参数,所述空间特征参数包括：主尺度和半径一致性参数和主方向和角度一致性参数，其中，所述主尺度和主方向是SIFT特征点的主尺度和主方向，以及所述半径和角度是SIFT特征点在MSER极坐标系下的半径和角度；所述主尺度和半径一致性参数＝S/R；所述S、R、γ分别是SIFT特征点的主尺度和主方向以及SIFT特征点在MSER极坐标系下的半径和角度；

C、基于SIFT特征点的SIFT特征和空间特征参数进行图像的检索。

2.根据权利要求1所述的图像检索方法，其特征在于，还包括：

对所述SIFT特征进行量化，获得量化后的特征信息；根据所述量化后的特征信息和空间特征参数进行图像的检索。

3.根据权利要求1或2所述的图像检索方法，其特征在于，步骤A中，获取包含在同一MSER区域内的所有SIFT特征点后，进一步包括：

提取所述MSER区域内的所有SIFT特征点在MSER极坐标系下的半径和角度；其中，

所述MSER极坐标系中，MSER区域中心为坐标原点，水平方向为极方向。

4.根据权利要求3所述的图像检索方法，其特征在于，步骤C中，具体包括：根据所述主尺度和半径一致性参数和主方向和角度一致性参数以及SIFT特征或量化后的特征信息比较图像库的图像和查询图像的相似性；

按照相似性的多少从大到小返回图像列表，并输出最终的图像检索结果。

5.一种基于图像特征的图像检索装置，包括：

图像特征提取单元，用于提取图像的SIFT特征点和MSER区域；获取包含在同一MSER区域内的所有SIFT特征点；

特征参数提取单元，用于结合各个SIFT特征点的主方向和主尺度以及在MSER区域内的位置特征，提取包含在同一个MSER区域内的各个SIFT特征点的空间特征参数，所述空间特征参数包括：主尺度和半径一致性参数和主方向和角度一致性参数，其中，所述主尺度和主方向是SIFT特征点的主尺度和主方向，以及所述半径和角度是SIFT特征点在MSER极坐标系下的半径和角度；

所述特征参数提取单元，具体包括：

主尺度和半径一致性参数提取子单元，用于根据所述SIFT特征点的主尺度和半径形成主尺度和半径一致性参数；

主方向和角度一致性参数提取子单元，用于根据所述SIFT特征点的主方向和角度形成主方向和角度一致性参数；

其中，所述主尺度和半径一致性参数＝S/R；所述 S、R、γ分别是SIFT特征点的主尺度和主方向以及SIFT特征点在MSER极坐标系下的半径和角度；

图像检索单元，用于基于SIFT特征点的SIFT特征和空间特征参数进行图像的检索。

6.根据权利要求5所述的图像检索装置，其特征在于，所述图像特征提取单元，还包括：

特征点量化处理子单元，用于对SIFT特征进行量化，获得量化后的特征信息。

7.根据权利要求6所述的图像检索装置，其特征在于，所述图像特征提取单元中，还包括：

特征点极化处理子单元，用于提取所述MSER区域内的所有SIFT特征点在MSER极坐标系下的半径和角度；其中，

所述MSER极坐标系中，MSER区域中心为坐标原点，水平方向为极方向。

8.根据权利要求5所述的图像检索装置，其特征在于，所述图像检索单元，进一步包括：

相似性检索子单元，根据所述主尺度和半径一致性参数和主方向和角度一致性参数和SIFT特征或量化后的特征信息比较图像库和查询图像的相似性；

图像结果输出子单元，按照相似性的多少从大到小返回图像列表，并输出最终的图像检索结果。