CN104615676A - 一种基于最大相似度匹配的图片检索方法 - Google Patents

Abstract

本发明涉及一种基于最大相似度匹配的图片检索方法，包括以下步骤：1)获取训练图片集；2)在多尺度空间上对获取的图片进行特征点检测和描述；3)对步骤2)提取的特征集进行聚类并生成包含k个视觉词汇的视觉字典；4)将步骤2)提取的每个特征映射到与当前特征l₂距离最小的视觉词汇上，并将当前特征与相应视觉词汇的归一化残差向量存储在倒排索引结构中，形成查询数据库；5)获取待检索图片，执行步骤2)和4)，获得待检索图片的倒排索引结构，根据该倒排索引结构检索查询数据库，基于最大相似度匹配，获得待检索图片的检索结果。与现有技术相比，本发明具有鲁棒性好、计算效率高等优点。

Description

一种基于最大相似度匹配的图片检索方法

技术领域

本发明涉及一种相似图片检索方法，尤其是涉及一种基于最大相似度匹配的图片检索方法。

背景技术

计算机视觉在近几年内得到了快速发展，尤其是图像检索，由于其丰富的应用场景而备受关注。

图像局部特征是用于图像处理领域的一类特征，在尺度空间寻找极值点，提取位置、尺度、旋转不变量，可在图像中检测出关键点。

非聚合模型是特征匹配的一种近似方法。在此模型中，局部特征被量化到与它最近的事先训练好的字典中的视觉词语上，并存储下此特征与相应视觉词语的残差向量，置入倒排索引中以作查询使用。

现如今，基于局部特征和非聚合模型的图像检索系统是最为常用的系统之一，它具有精度高、速度快等特点，但是，此模型还存在以下问题：

由于非聚合模型的近似特性，使得多重匹配问题不可避免地出现在视觉匹配过程中，从而影响了最终的精度。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种鲁棒性好、计算效率高的基于最大相似度匹配的图片检索方法。

本发明的目的可以通过以下技术方案来实现：

一种基于最大相似度匹配的图片检索方法，包括以下步骤：

1)获取训练图片集；

2)在多尺度空间上对获取的图片进行特征点检测和描述；

3)对步骤2)提取的特征集进行聚类并生成包含k个视觉词汇的视觉字典；

4)将步骤2)提取的每个特征映射到与当前特征l₂距离最小的视觉词汇上，并将当前特征与相应视觉词汇的归一化残差向量存储在倒排索引结构中，形成查询数据库；

5)获取待检索图片，执行步骤2)和4)，获得待检索图片的倒排索引结构，根据该倒排索引结构检索查询数据库，基于最大相似度匹配，获得待检索图片的检索结果。

所述步骤2)中，采用改进版本Hessian-Affine特征点检测算法和SIFT局部特征描述子在多尺度空间上进行特征点检测和描述，具体为：

1a)使用Hessian-Affine特征点检测算法对图片进行检测，得到局部特征点集Z＝{z₁，...，z_n}，n为特征点数量；

1b)对于Z，使用SIFT局部特征描述子进行描述，得到对应的特征向量X＝{x₁，...，x_n}，其中，x_i为128维特征向量，i＝1，...，n。

所述改进版本Hessian-Affine特征点检测算法中，固定特征点主方向为垂直向下。

所述步骤3)具体为：

3a)利用k均值聚类算法将提取出的特征集F中的所有特征聚成k个类，其中，F＝{F₁，...，F_s}，为从拥有s张图片的图片集N中提取出的特征集；

3b)记录并保存每个类的中心点，组成视觉词典：C＝{c₁，...，c_k}，其中，每一个视觉词汇c_i都是一个128维向量，i＝1，...，k。

所述步骤4)具体为：

4a)对于某一特征x，依次计算其与每一个视觉词汇的l₂距离d，并找出距离最小的视觉词汇c：

$c=\arg \underset{1\≤j\≤k}{\min }d(x,c_j)$

4b)对X进行上述操作，则获得X中属于词汇c的特征子集：

X_c＝{x∈X：q(x)＝c}

4c)将每一个特征x与所属的视觉词汇向量c的归一化残差向量r(x)存储在倒排索引结构中，其中：

$r\left(x\right)=\frac{x-q\left(x\right)}{|x-q\left(x\right)|}.$

所述步骤5)中，根据待检索图片倒排索引结构采用最大相似度匹配在查询数据库中进行检索，获得与该待检索图片的检索结果，所述最大相似度匹配的核函数为：

${\mathrm{SMK}}_{\mathrm{smm}}(X_c,Y_c)=\underset{1\≤k\≤m!}{\max }\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\σ}\left(r{\left(x_i\right)}^{T}r\left(y_j\right)\right)\right)$

其中，X_c＝{x∈X：q(x)}，Y_c＝{y∈Y：q(y)}分别表示待检索图片特征点集合X和与其对应的训练图片特征点集合Y中属于视觉词汇c的特征子集，m＝max(#X_c，#Y_c)，#X_c、#Y_c分别为集合X_c、Y_c的基数，r(x_i)为X_c中第i个特征所对应的归一化残差向量，r(y_j)为Y_c中第j个特征所对应的归一化残差向量，k表示集合X_c的第k种排列，σ(·)为非线性函数，定义为：

$\mathrm{\σ}\left(u\right)=\left\{\begin{array}{ccc}\mathrm{sign}=\left(u\right){\left|u\right|}^3,& \mathrm{if}& u>0\\ 0,& & \mathrm{otherwise}\end{array}\right..$

与现有技术相比，本发明具有以下优点：

第一，本发明首次提出引入最大相似度匹配概念，消除多重匹配，增强视觉匹配性；

第二，本发明首次提出将最大相似度匹配融入非聚合模型和倒排索引结构，从而提高图片检索系统的准确率；

第三，本发明的检索准确率在Oxford5k、Paris6k等标准数据集上优于主流算法，并且具有较高的计算效率。

附图说明

图1为本发明的图片离线训练示意图；

图2为本发明的图片在线检索示意图；

图3为对于Oxford5k测试数据集，传统的基于局部特征和非聚合模型的图像检索系统和本发明检索精度的对比示意图；

图4为对于Paris6k测试数据集，传统的基于局部特征和非聚合模型的图像检索系统和本发明检索精度的对比示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明实施例提供一种基于最大相似度匹配的图片检索方法，包括离线训练步骤和在线检索步骤。如图1所示，离线训练步骤包括：

步骤s101：获取训练图片集。

步骤s102：采用改进版本Hessian-Affine特征点检测算法和SIFT局部特征描述子在多尺度空间上进行特征点检测和描述，具体为：

1a)使用Hessian-Affine特征点检测算法对图片进行检测，得到局部特征点集Z＝{z₁，...，z_n}，n为特征点数量；

1b)对于Z，使用SIFT局部特征描述子进行描述，得到对应的特征向量X＝{x₁，...，x_n}，其中，x_i为128维特征向量，i＝1，...，n。

所述改进版本Hessian-Affine特征点检测算法中，固定特征点主方向为垂直向下。

步骤s103：对提取的特征集进行聚类并生成包含k个视觉词汇的视觉字典，具体为：

3a)利用k均值聚类算法将提取出的特征集F中的所有特征聚成k个类，其中，F＝{F₁，...，F_s}，为从拥有s张图片的图片集N中提取出的特征集，将此执行聚类操作的函数称为q：

x→q(x)

3b)记录并保存每个类的中心点，组成视觉词典：C＝{c₁，...，c_k}，其中，每一个视觉词汇c_i都是一个128维向量，i＝1，...，k。

步骤s104：将提取的每个特征映射到与当前特征l₂距离最小的视觉词汇上，并将当前特征与相应视觉词汇的归一化残差向量存储在倒排索引结构中，形成查询数据库，具体为：

4a)对于某一特征x，依次计算其与每一个视觉词汇的l₂距离d，并找出距离最小的视觉词汇c：

$c=\arg \underset{1\≤j\≤k}{\min }d(x,c_j)$

4b)对X进行上述操作，则获得X中属于词汇c的特征子集：

X_c＝{x∈X：q(x)＝c}

4c)将每一个特征x与所属的视觉词汇向量c的归一化残差向量r(x)存储在倒排索引结构中，其中：

$r\left(x\right)=\frac{x-q\left(x\right)}{|x-q\left(x\right)|}.$

如图2所示，在线检索步骤包括：

步骤s201：获取待检索图片。

步骤s202：根据步骤s102，采用改进版本Hessian-Affine特征点检测算法和SIFT局部特征描述子在多尺度空间上获得待检索图片的特征点检测和描述。

步骤s203：根据步骤s104，获得待检索图片的倒排索引结构。

步骤s204：基于最大相似度匹配算法，将根据待检索图片的倒排索引结构检索查询数据库。

步骤s205：获得待检索图片的检索结果。

使用待检索图片的倒排索引在查询数据库中进行查询时，使用最大相似度匹配消除多重匹配问题，计算余弦距离，得到最终结果列表。在具体实施时，使用匈牙利算法解最优匹配问题，从而将复杂度降低到多项式时间内。

对于两张图片，匹配过程具体为：

设X为查询图片特征点集合，Y为待查询图片特征点集合，X_c＝{x∈X：q(x)},Y_c＝{y∈Y：q(y)}分别表示X和Y中属于词汇c的特征子集，m＝#X_c，n＝#Y_c。分别代表两个集合的基数，则对于某一个特定的特征词汇c，相似度匹配的核函数定义为：

$\mathrm{SMK}(X_c,Y_c)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\σ}\left(r{\left(x_i\right)}^{T}r\left(y_i\right)\right)$

其中，非线性函数σ(·)定义为：

$\mathrm{\σ}\left(u\right)=\left\{\begin{array}{ccc}\mathrm{sign}=\left(u\right){\left|u\right|}^3,& \mathrm{if}& u>0\\ 0,& & \mathrm{otherwise}\end{array}\right.$

为了简便而又不失普遍性，可以设m≥n，并在集合Y_c中添加m-n个0元素，从而使得m＝n。

下面引入集合P＝{p₁，...，p_k，...，p_m！}，表示m个正整数的所有排列所组成的集合，其中， $p_k=\{a_1^k,...,a_j^k,...,a_m^k\},$

因此，对于集合X_c中的所有元素，一种特定的排列情况可以表示为：

$X_c^{p_k}=\{x_c^{a_1^k},...,x_c^{a_1^k}\}$

设ξ(x_i，y_i)代表一种匹配算子，则和Y的相似度可以定义为：

$S_k=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\ξ}(x_i^k,y_i)$

则对于X_c和Y_c，最优的匹配核函数可以定义为：

$\mathrm{SMM}=\underset{1\≤k\≤m!}{\max }\left(S_k\right)=\underset{1\≤k\≤m!}{\max }\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\ξ}\left(x_i^k,y_i\right)\right)$

将上式中的替换为SMK中的σ(u)，则最终X_c与Y_c的相似度匹配核函数定义为：

${\mathrm{SMK}}_{\mathrm{smm}}(X_c,Y_c)=\underset{1\≤k\≤m!}{\max }\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\σ}\left(r{\left(x_i\right)}^{T}r\left(y_j\right)\right)\right)$

r(x_i)为X_c中第i个特征所对应的归一化残差向量，r(y_j)为Y_c中第j个特征所对应的归一化残差向量，k表示集合X_c的第k种排列。

为了验证本发明的性能，设计了以下实验。

实验选取Oxford5k和Paris6k测试数据集，Oxford5k的字典由Paris6k生成，而Paris6k的字典由Oxford5k生成。在该实验中，字典大小分别为：8000，16000,32000,65000和100000。SMK代表标准的基于局部特征和非聚合模型的检索精度，而SMK_smm代表加入本方法后的检索精度。

可以从图3和图4中看到，两个数据库中，在加入最大相似度匹配算法后，检索精度都有了不同程度的提升，且在不同的字典下皆适用，证明了此方法的可行性和优势。

以上所述仅为本发明的优选实施例，并不用于限制本发明。本发明还包括由以上技术特征任意组合所组成的技术方案。

Claims (6)

1.一种基于最大相似度匹配的图片检索方法，其特征在于，包括以下步骤：

1)获取训练图片集；

2)在多尺度空间上对获取的图片进行特征点检测和描述；

3)对步骤2)提取的特征集进行聚类并生成包含k个视觉词汇的视觉字典；

4)将步骤2)提取的每个特征映射到与当前特征l₂距离最小的视觉词汇上，并将当前特征与相应视觉词汇的归一化残差向量存储在倒排索引结构中，形成查询数据库；

5)获取待检索图片，执行步骤2)和4)，获得待检索图片的倒排索引结构，根据该倒排索引结构检索查询数据库，基于最大相似度匹配，获得待检索图片的检索结果。

2.根据权利要求1所述的基于最大相似度匹配的图片检索方法，其特征在于，所述步骤2)中，采用改进版本Hessian-Affine特征点检测算法和SIFT局部特征描述子在多尺度空间上进行特征点检测和描述，具体为：

1a)使用Hessian-Affine特征点检测算法对图片进行检测，得到局部特征点集Z＝{Z₁,…,z_n}，n为特征点数量；

1b)对于Z，使用SIFT局部特征描述子进行描述，得到对应的特征向量X＝{X₁,…,x_n}，其中，x_i为128维特征向量，i＝1,…,n。

3.根据权利要求2所述的基于最大相似度匹配的图片检索方法，其特征在于，所述改进版本Hessian-Affine特征点检测算法中，固定特征点主方向为垂直向下。

4.根据权利要求1所述的基于最大相似度匹配的图片检索方法，其特征在于，所述步骤3)具体为：

3a)利用k均值聚类算法将提取出的特征集F中的所有特征聚成k个类，其中，F＝{F₁,…，F_s}，为从拥有s张图片的图片集N中提取出的特征集；

3b)记录并保存每个类的中心点，组成视觉词典：C＝{c₁,…,c_k}，其中，每一个视觉词汇c_i都是一个128维向量，i＝1,…,k。

5.根据权利要求2所述的基于最大相似度匹配的图片检索方法，其特征在于，所述步骤4)具体为：

4a)对于某一特征x，依次计算其与每一个视觉词汇的l₂距离d，并找出距离最小的视觉词汇c：

4b)对X进行上述操作，则获得X中属于词汇c的特征子集：

X_c＝{x∈X:q(x)＝c}

4c)将每一个特征x与所属的视觉词汇向量c的归一化残差向量r(x)存储在倒排索引结构中，其中：

。

6.根据权利要求1所述的基于最大相似度匹配的图片检索方法，其特征在于，所述步骤5)中，根据待检索图片倒排索引结构采用最大相似度匹配在查询数据库中进行检索，获得与该待检索图片的检索结果，所述最大相似度匹配的核函数为：

其中，X_c＝{x∈X:q(x)}，Y_c＝{y∈Y:q(y)}分别表示待检索图片特征点集合X和与其对应的训练图片特征点集合Y中属于视觉词汇c的特征子集，m＝max(#X_c,#Y_c)，#X_c、#Y_c分别为集合X_c、Y_c的基数，r(x_i)为X_c中第i个特征所对应的归一化残差向量，r(y_j)为Y_c中第j个特征所对应的归一化残差向量，k表示集合X_c的第k种排列，σ(·)为非线性函数，定义为：

。