CN104199842A - 一种基于局部特征邻域信息的相似图片检索方法 - Google Patents

Abstract

本发明涉及一种基于局部特征邻域信息的相似图片检索方法，包括：1)获取训练图片；2)采用Hessian-Affine特征点检测算法和SIFT局部特征描述子在多尺度空间上对图片进行特征检测和描述；3)根据步骤2)提取的特征构造相对应的影子特征；4)利用k均值聚类算法对步骤2)中提取的特征进行聚类并生成包括K个视觉词的视觉字典；5)将上述所有特征逐个映射到与其L2距离最小的视觉词汇上，并存储在倒排索引结构中；6)保存所述倒排索引，形成查询数据库；7)获取查询图片相应的倒排索引，并将其与查询数据库进行比对，获得检索结果列表。与现有技术相比，本发明具有图片检索准确率高等优点。

Description

一种基于局部特征邻域信息的相似图片检索方法

技术领域

本发明涉及一种图片检索方法，尤其是涉及一种基于局部特征邻域信息的相似图片检索方法。

背景技术

近年来，计算机视觉正在飞速发展。其中，相似图片检索是一个基础但是很具有挑战性的任务，因此备受关注。

目前，基于局部特征和倒排索引结构的词袋模型是最常用的图像检索模型之一。图像局部特征是用于图像处理领域的一类特征，在尺度空间寻找极值点，提取位置、尺度、旋转不变量，可在图像中检测出关键点。词袋模型是特征匹配的一种近似方法。在此模型中，局部特征被量化到与它最近的事先训练好的字典中的视觉词语上，并存储于倒排索引中以作查询使用。

然而，上述图像检索模型目前还存在以下问题：

第一，由于特征的局部性和量化误差，导致特征匹配精度很低，存在大量的错误匹配，影响最终的检索精度。

第二，大量的算法着重于研究特征点本身的信息，忽略了特征点邻域信息与特征点之间的强关联性。

第三，一些算法试图利用特征点之间的空间关系来进行空间验证，但是此类方法一般都消耗额外的计算资源和计算步骤，计算效率不高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种图片检索准确率高的基于局部特征邻域信息的相似图片检索方法。

本发明的目的可以通过以下技术方案来实现：

一种基于局部特征邻域信息的相似图片检索方法，包括：

1)获取训练图片；

2)采用Hessian-Affine特征点检测算法和SIFT局部特征描述子在多尺度空间上对图片进行特征检测和描述；

3)根据步骤2)提取的特征构造相对应的影子特征；

4)利用k均值聚类算法对步骤2)中提取的特征进行聚类并生成包括K个视觉词的视觉字典；

5)将上述所有特征逐个映射到与其L2距离最小的视觉词汇上，并存储在倒排索引结构中，所有特征包括步骤2)提取的特征和步骤3)构造的影子特征；

6)保存所述倒排索引，形成查询数据库；

7)获取查询图片，对查询图片依次执行步骤2)、3)、5)，获得相应的倒排索引，并将其与查询数据库进行比对，获得检索结果列表。

所述的步骤2)具体为：

2a)采用Hessian-Affine特征点检测算法对图片I_i进行检测，得到相应的局部特征点集P_i＝{p_i，1，...，p_i，m}，i＝1，2，...n，n为图片总数，m为每张图片中局部特征点的个数；

2b)采用SIFT局部特征描述子对P_i进行描述，得到对应的局部特征F_i＝{f_i，1，...，f_i，m}，其中，f_i，j＝{(x_i，j，y_i，j)，σ_i，j，θ_i，j，s_i，j，D_i，j}，依次代表特征的位置信息、尺度信息、主方向、局部图像块半径以及128维特征向量，

所述的步骤3)中，构造的影子特征表示为fs_i，j＝{(xs_i，j，ys_i，j)，σs_i，j，θs_i，j，ss_i，j，Ds_i，j}，其中，

xs_i，j＝x_i，j+α·s_i，j·cosθ_i，j

ys_i，j＝y_i，j+α·s_i，j·sinθ_i，j

θs_i，j＝θ_i，j+π

σs_i，j＝σ_i，j

ss_i，j＝s_i，j

为采用SIFT局部特征描述子对影子特征fs_i，j进行描述，得到的128维特征向量；

α为构造参数。

所述的α取值为2，以提高检索准确率。

所述的步骤4)具体为：

4a)对从训练图片中提取出的特征集为F＝{F₁，...，F_n}，利用k均值聚类算法将F聚成k个类；

4b)记录并保存k个类的中心点，作为视觉词，形成视觉字典：K＝{K₁，...，K_k}，其中每一个视觉词都是一个128维向量。

所述的步骤5)具体为：

5a)对于每一个特征f_i，j，依次计算其与每一个视觉词K_l的l₂距离d，并找出距离最小的视觉词c：

c＝arg min_ld(f_i，j，K_l)，l＝1，2，...k

5b)对于每一个影子特征fs_i，j，依次计算其与每一个视觉词典K_l的l₂距离d，并找出距离最小的视觉词cs：

$\mathrm{cs}=\arg \underset{l}{\min }d({\mathrm{fs}}_{i,j},K_l)$

5c)将特征f_i，j、影子特征fs_i，j与它们各自所属的视觉词汇信息c和cs分别存储在倒排索引结构中。

所述的步骤7)中，将查询图片的倒排索引与查询数据库进行比对，具体为：计算查询图片的倒排索引与查询数据库保存的各倒排索引的余弦距离，按从大到小排序，得到最终结果列表。

与现有技术相比，本发明具有以下优点：

第一，本发明首次提出利用原局部特征的信息构造相对应的“影子特征”，从而将特征邻域信息引入视觉算法，增强视觉匹配性；

第二，本发明首次提出将邻域信息通过“影子”特征融入倒排索引结构，从而提高图片检索系统的准确率；

第三，本发明的检索准确率在Oxford5k、Paris6k等标准数据集上与主流算法有可比性，且与一些增强算法如HE、MA等有很好的兼容性，并且具有较高的计算效率。

附图说明

图1为本发明的离线训练的流程示意图；

图2为本发明在线检索的流程示意图；

图3为本发明中影子特征构造方法示意图；

图4为使用“影子”特征进行图像匹配的效果图，其中，(a)是基于标准词袋模型的匹配效果；(b)是基于标准词袋模型并加入“影子”特征后的匹配效果；

图5为本发明中构建的倒排索引结构；

图6为本发明中在构建“影子”特征时，参数α对于最终相似图片检索系统性能的影响示意图；

图7为将本发明结合增强算法，如HE和MA后对于最终相似图片系统检索性能的影响示意图，其中，(a)为Oxford5k测试数据集的实验结果，(b)为Paris6k测试数据集的实验结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图1和图2所示，本发明提供的基于局部特征邻域信息的相似图片检索方法包括离线训练和在线检索两个部分。如图1所示，离线训练具体过程为：

步骤S101，获取训练图片，采用Hessian-Affine特征点检测算法和SIFT局部特征描述子在多尺度空间上对图片进行特征检测和描述，具体为：

a)采用Hessian-Affine特征点检测算法对图片I_i进行检测，得到相应的局部特征点集P_i＝{p_i，1，...，p_i，m}，i＝1，2，...n，n为图片总数，m为每张图片中局部特征点的个数；

b)采用SIFT局部特征描述子对P_i进行描述，得到对应的局部特征F_i＝{f_i，1，...，f_i，m}，其中，f_i，j＝{(x_i，j，y_i，j)，σ_i，j，θ_i，j，s_i，j，D_i，j}，依次代表特征的位置信息、尺度信息、主方向、局部图像块半径以及128维特征向量，

步骤S102，根据步骤S101提取的特征构造相对应的影子特征，构造的影子特征表示为fs_i，j＝{(xs_i，j，ys_i，j)，σs_i，j，θs_i，j，ss_i，j，Ds_i，j}，其中，

xs_i，j＝x_i，j+α·s_i，j·cosθ_i，j

ys_i，j＝y_i，j+α·s_i，j·sinθ_i，j

θs_i，j＝θ_i，j+π

σs_i，j＝σ_i，j

ss_i，j＝s_i，j

为采用SIFT局部特征描述子对影子特征fs_i，j进行描述，得到的128维特征向量。

需要注意的是，若不考虑旋转不变形，则在原特征周围有无数个与到原特征等距的候选“影子特征”存在，如图3所示。为保持统一性和旋转不变形，在本发明中，“影子特征”取在与原点主方向一致的那一个特征。

α为构造参数，控制影子特征与原特征之间的距离。α取值为2时，性能最佳，如图6所示。

步骤S103，利用k均值聚类算法对步骤S101中提取的特征进行聚类并生成包括K个视觉词的视觉字典，具体为：

a)对从训练图片中提取出的特征集为F＝{F₁，...，F_n}，利用k均值聚类算法将F聚成k个类；

b)记录并保存k个类的中心点，作为视觉词，形成视觉字典：K＝{K₁，...，K_k}，其中每一个视觉词都是一个128维向量。

步骤S104，将上述所有特征逐个映射到与其L2距离最小的视觉词汇上，并存储在倒排索引结构中，形成查询数据库，所有特征包括步骤S101提取的特征和步骤S102构造的影子特征。形成倒排索引的具体步骤为：

a)对于每一个特征f_i，j，依次计算其与每一个视觉词K_l的l₂距离d，并找出距离最小的视觉词c：

c＝arg min_ld(f_i，j，K_l)，l＝1，2，...k

b)对于每一个影子特征fs_i，j，依次计算其与每一个视觉词典K_l的l₂距离d，并找出距离最小的视觉词cs：

$\mathrm{cs}=\arg \underset{l}{\min }d({\mathrm{fs}}_{i,j},K_l)$

c)将特征f_i，j、影子特征fs_i，j与它们各自所属的视觉词汇信息c和cs分别存储在倒排索引结构中。

倒排索引结构中，每个节点所包含的信息包括：图片ID、影子ID(影子特征所属词汇ID)、二值信息(用于与其他算法兼容)，如图5所示。

如图2所示，在线检索具体过程为：

步骤S201，获取查询图片，采用Hessian-Affine特征点检测算法和SIFT局部特征描述子提取查询图片的局部特征，过程如步骤S101所述。

步骤S202，构造与步骤S201提取的特征相对应的影子特征。

步骤S203，将所有查询图片的特征映射到步骤S103构造的视觉字典中，获得相应的倒排索引；

步骤S204，将倒排索引与查询数据库进行比对，计算查询图片的倒排索引与查询数据库保存的各倒排索引的余弦距离，按从大到小排序。余弦距离的计算采用现有技术中的常规方法。

步骤S205，获得检索结果列表。

为了验证本发明的性能，设计了以下两组实验。

实验一：参数α对于最终相似图片检索系统性能的影响。

实验选取Oxford5k和Paris6k测试数据集，Flickr00k为字典训练数据集进行实验。在该实验中，字典大小为20,000。分别设置参数α为0，1，2，3，4，进行图片检索实验。当α为0时，等同于基于标准词袋模型进行图片检索。

上述实验结果如图6所示。从结果中可知，当α为2时，检索精度(mAP)达到最高值，且使用了“影子”特征的组性能皆高于基于标准词袋模型的检索方法(α为0)。

实验二：结合增强算法HE和MA的检索性能比较。

实验选取Oxford5k和Paris6k测试数据集，Flickr00k为字典训练数据集进行实，在该实验中，字典大小为20,000和200,000，α为2。

实验结果如图7所示，当“影子”特征与HE、MA相结合后，整个系统的性能得到进一步提升，且MA和“影子”特征能够有机地互补。最后的检索精度在Oxford5k和Paris6k数据集上分别比基于标准词袋模型的检索方法提高了26.3％和20.7％。

以上所述仅为本发明的优选实施例，并不用于限制本发明。本发明还包括由以上技术特征任意组合所组成的技术方案。

Claims (7)

1.一种基于局部特征邻域信息的相似图片检索方法，其特征在于，包括：

1)获取训练图片；

2)采用Hessian-Affine特征点检测算法和SIFT局部特征描述子在多尺度空间上对图片进行特征检测和描述；

3)根据步骤2)提取的特征构造相对应的影子特征；

4)利用k均值聚类算法对步骤2)中提取的特征进行聚类并生成包括K个视觉词的视觉字典；

5)将上述所有特征逐个映射到与其L2距离最小的视觉词汇上，并存储在倒排索引结构中，所有特征包括步骤2)提取的特征和步骤3)构造的影子特征；

6)保存所述倒排索引，形成查询数据库；

7)获取查询图片，对查询图片依次执行步骤2)、3)、5)，获得相应的倒排索引，并将其与查询数据库进行比对，获得检索结果列表。

2.根据权利要求1所述的一种基于局部特征邻域信息的相似图片检索方法，其特征在于，所述的步骤2)具体为：

2a)采用Hessian-Affine特征点检测算法对图片I_i进行检测，得到相应的局部特征点集P_i＝{p_i，1，...，p_i，m}，i＝1，2，...n，n为图片总数，m为每张图片中局部特征点的个数；

2b)采用SIFT局部特征描述子对P_i进行描述，得到对应的局部特征F_i＝{f_i，1，...，f_i，m}，其中，f_i，j＝{(x_i，j，y_i，j)，σ_i，j，θ_i，j，s_i，j，D_i，j}，依次代表特征的位置信息、尺度信息、主方向、局部图像块半径以及128维特征向量，

3.根据权利要求2所述的一种基于局部特征邻域信息的相似图片检索方法，其特征在于，所述的步骤3)中，构造的影子特征表示为fs_i，j＝{(xs_i，j，ys_i，j)，σs_i，j，θs_i，j，ss_i，j，Ds_i，j}，其中，

xs_i，j＝x_i，j+α·s_i，j·cosθ_i，j

ys_i，j＝y_i，j+α·s_i，j·sinθ_i，j

θs_i，j＝θ_i，j+π

σs_i，j＝σ_i，j

ss_i，j＝s_i，j

为采用SIFT局部特征描述子对影子特征fs_i，j进行描述，得到的128维特征向量；

α为构造参数。

4.根据权利要求3所述的一种基于局部特征邻域信息的相似图片检索方法，其特征在于，所述的α取值为2。

5.根据权利要求2所述的一种基于局部特征邻域信息的相似图片检索方法，其特征在于，所述的步骤4)具体为：

4a)对从训练图片中提取出的特征集为F＝{F₁，...，F_n}，利用k均值聚类算法将F聚成k个类；

4b)记录并保存k个类的中心点，作为视觉词，形成视觉字典：K＝{K₁，...，K_k}，其中每一个视觉词都是一个128维向量。

6.根据权利要求5所述的一种基于局部特征邻域信息的相似图片检索方法，其特征在于，所述的步骤5)具体为：

5a)对于每一个特征f_i，j，依次计算其与每一个视觉词K_l的l₂距离d，并找出距离最小的视觉词c：

c＝arg min_ld(f_i，j，K_l)，l＝1，2，...k

5b)对于每一个影子特征fs_i，j，依次计算其与每一个视觉词典K_l的l₂距离d，并找出距离最小的视觉词cs：

$\mathrm{cs}=\arg \underset{l}{\min }d({\mathrm{fs}}_{i,j},K_l)$

5c)将特征f_i，j、影子特征fs_i，j与它们各自所属的视觉词汇信息c和cs分别存储在倒排索引结构中。

7.根据权利要求1所述的一种基于局部特征邻域信息的相似图片检索方法，其特征在于，所述的步骤7)中，将查询图片的倒排索引与查询数据库进行比对，具体为：计算查询图片的倒排索引与查询数据库保存的各倒排索引的余弦距离，按从大到小排序，得到最终结果列表。