CN105843925A - 一种基于改进bow算法的相似图片搜索方法 - Google Patents

Abstract

本发明涉及一种基于改进BOW算法的相似图片搜索方法，大规模图片库中相似图片的快速和准确的搜索一直是互联网图像处理领域一个非常重要的研究方向，本发明给定一张图片，在线实时在海量图片集中搜索与其相似或含有相同主要物体或区域的图片。现有的方法一方面实时性比较低，另一方面准确率也很难得到保证。在图片库中图片存在旋转、尺度拉伸等变化的情况下很难实现。本发明可以在图片存在旋转、尺度变化的情况下实现相似图片的检索，并且可以保证检索的实时性和准确率，这也为本发明的实践应用提供了理论基础。

Description

一种基于改进BOW算法的相似图片搜索方法

技术领域

本发明涉及数字图像处理和检索算法技术领域，具体涉及一种基于改进BOW算法的相似图片搜索方法，

背景技术

大规模图片集中相似图片的检索是现今计算机视觉领域一个非常重要的研究方向。其主要需要解决的问题是给定一张图片，在图片集中在线搜索与其外观相似或含有相同主要物体或区域的图片。该研究方向在现实中已经有了一些相关的应用，比如，百度推出的以图识图和淘宝根据图片搜索商品的应用。该问题的难点在于：实时性和准确率的要求比较高；快速判别图像相似性的算法。

近年来大规模图片库中相似图片的搜索研究已经取得了一定的成果，其中最经典的就是J.Philbin等人提出的Bag of Visual Words算法(BOW)(参考文献[1]J.philbin,O.Chum,M.Isard,J.Sivic,and A.Zisserman.Object retrieval with largevocabularies and fast spatial matching.In CVPR,2007.809,810,812,814)，该算法首先对图片集中的每一张图片提取一定数量的SIFT点，对所有图片中的SIFT进行k-means聚类，根据得到的聚类中心，将每张图片中的SIFT点量化到最近邻的聚类中心处，这样，每张图片就可以使用一个高维向量表示。而两张图片的相似性度量标准就是表示这两张图片的向量的相似性。该算法是目前使用最为广泛的相似图片检索算法，经过近几年的使用证明了该方法的实用性，并且在实际系统中已经有所应用。此后，根据BOW算法的思想，一些研究对BOV算法进行了改进：Divid Nister和Henrik Arewenius等人(参考文献[2]DavidNister and Henrik Stewenius.Scalable Recognition with a Vocabulary Tree.InCVPR,2006)在SIFT点聚类算法部分提出了一种分层的聚类算法(HKM)来取代原有的k-means聚类算法，该改进的主要目的在于提高聚类的速度，但该方法会在一定程度上降低聚类的精度，如果将聚类算法在线下进行，则应该以准确率作为最重要指标；Zhong Wu(参考文献[3]Zhong Wu,Qifa Ke,Jian Sun,Heung-Yeung Shum.A multi-Sample,Multi-TreeApproach to Bag-of-Words Image Representation for Image Retrieval.In ICCV,2009)等人提出了一种采用多棵聚类树进行SIFT点的聚类表示，并将每个SIFT点量化到多棵树的相应聚类中心的方法，但该算法在量化时存在过分依赖于阈值的问题，导致实际结果在阈值不同时差距很大。Christoph H.Lampert等人(参考文献[4]ChristophH.Lampert,Matthew B.Blaschko,and Thomas Hofmann.Beyond Sliding Windows:ObjectLocalization by Efficient Subwindow Search.In CVPR 2008)在考虑图片中相似物体的检测时引入了滑动窗口的方法，该方法可以在一定程度上提高检测的准确率，但由于该方法在每幅图片中需要提取大量窗口导致时间复杂度比高，在给定一张图片检索与其相似的图片时很难达到实时；另外一些研究主要考虑到提到的SIFT点的空间信息：Xiaoyu Wang和Ming Yang(参考文献[5]Xiaoyu Wang,Ming Yang,Timothee Cour,Shenghuo Zhu,KaiYu,and Tony X.Han.Contextual Weighting for Vocabulary Tree based ImageRetrieval.In ICCV,2011)等人指出在两幅图片中的SIFT点匹配时考虑该点周围一定半径内点的尺度和角度信息；Svetlana Lazebnik等人(参考文献[6]Svetlana Lazebnik,Cordelia Schmid,Jean Ponce.Beyond Bags of Features:Spatial Pyramid Matchingfor Recognizing Natural Scene Categories.In CVPR,2006)提出了一种经典的空间金字塔算法(SPM)，该算法考虑到图片中SIFT的位置排布，将图片分割成不同尺度的图像块，对每一层中的每一图像块分别进行匹配，但该算法的效果主要体现在场景分类上，对相同物体和区域的检索能力有限；另外一种考虑空间信息的算法是BOW算法(参考文献[7]Yimeng Zhang,Zhaoyin Jia,Tsuhan Chen.Image Retrieval with Geometry-PreservingVisual Phrases.In CVPR,2011)：该算法认为只有量化后SIFT点所属类别相同并且位置关系相同的点才属于匹配上点的点。

发明内容

本发明要解决技术问题为：克服现有技术的不足，提供一种基于改进BOW算法的相似图片搜索方法，在经典的BOW算法的基础之上通过考虑匹配SIFT点之间的较强的位置关系去除不满足几何关系的匹配点，并通过定义一个新的计算公式对相似度进行衡量，并提高了该算法的准确率。该方法具有旋转和尺度不变性，因此对于图片中物体的形变更加鲁邦，可以在一定程度上提高检索的准确率。

本发明解决上述技术问题采用的技术方案为：一种基于改进BOW算法的相似图片搜索方法，在经典bag of words算法的基础上考虑匹配点之间的几何关系，去除不满足几何关系的匹配点，并在相似度量函数中体现出来，从而提高了检索的准确率，具体实现步骤如下：

步骤(1)、对大规模图片库中的每张图片进行SIFT特征点的提取，并记录各自的位置坐标。

步骤(2)、对步骤(1)得到的SIFT点进行k-means聚类，得到一定数量的聚类中心，即字典。

步骤(3)、将图片库中每张图片中提取到的SIFT点量化到步骤(2)中的聚类中心，以字典中的单词(即聚类中心)为索引，记录包含该单词的图片和该SIFT点的位置坐标，即生成一个Inverted file。

步骤(4)、对于待检索图片提取该图片中的SIFT点，并且根据步骤(2)中的聚类中心进行量化。

步骤(5)、对待检索图片和图片库中的图片计算属于同一类别的SIFT点(即量化到同一个聚类中心的SIFT点)的数量。

步骤(6)、判断是否满足几何关系，并在度量函数中加上相应的得分，否则不计分。

步骤(7)、对最后的得分进行排序，得分越高表示待检索图片和图片库的该张图片越相似，并返回结果。

本发明与现有技术相比的优点在于：

(1)、在建立的索引表中添加了每个点的位置信息，可以将匹配点之间的位置关系进行比较，利用倒排索引表可以极大地提高检索速度避免重复的计算工作。

(2)、考虑了待检索图片和图片库中的图片之间匹配上的特征点之间的位置关系，只有满足相似的几何关系的特征点才判断为真正的匹配点，从而去除了一些由于量化所造成的误匹配点，提高了算法的鲁棒性，从而可以获得更高的准确率。

(3)、相似度量函数综合考虑了字典中单词的频率和特征代表性，并进行了归一化的处理，从而能够解决各张图片中提取到的特征点数量不一致的问题，使结果更具有代表性，也更加准确。

附图说明

图1为本发明方法实现流程图；

图2表示相似图片中对应特征点可以匹配上的三角形，其中图2(a)为待检索图片、(b)为图片库中原图片。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明。

如图1所示，本发明一种基于改进BOW算法的相似图片搜索方法的具体步骤如下：

1.提取SIFT特征

利用SIFT算法，从图片库中的每张图片中提取一定数量的SIFT点,SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量，并在寻找到的极值点计算4x4范围内，每块区域内8个方向的灰度梯度直方图，合并后可以得到128维向量，这样每个特征点就可以使用128维向量进行表示。这样的特征点具有高度的区分性，所以可以代表不同图片中的不同信息，这样每张图片可以使用一定数量的128SIFT点向量进行表示。

2.生成字典

将图片集中所有图片中提取到的SIFT点进行整合，并进行k-means聚类，生成一定数量的聚类中心，将这些128维向量作为字典。

k-means算法主要分为两个步骤：

步骤(1)随机选取k个聚类质心点(cluster centroids)为μ₁,μ₂…μ_k∈Rⁿ。

步骤(2)对于每一个样例i，使用如下公式计算其应该属于的类：

$c^{\left(i\right)}:=\arg \underset{j}{\min }\left|\right|x^{\left(i\right)}-{\mathrm{\μ}}_j|{|}^2$

对于每一个类j，使用如下公式重新计算该类的质心：

${\mathrm{\μ}}_j:=\frac{{\mathrm{\Σ}}_{i=1}^m\{c^{\left(i\right)}=j\}{x}^{\left(i\right)}}{{\mathrm{\Σ}}_{i=1}^m\{c^{\left(i\right)}=j\}}$

当所有样例所属类别不发生改变之后停止，否则重复步骤(2)。

但该算法的缺点是在数据量大，并且数据的维数比较高时收敛的速度比较慢，计算复杂度比较高，因此在图搜索这种大数据量且属于高维数据的聚类时并不适用，两种改进的算法如下：

1)HKM(Hierarchical k-means)算法：该算法对k-means算法进行了改进，将聚类过程分层化，即第一层只取少量的聚类中心，将大量数据聚类到少量的中心点，然后在每一类别的数据中继续进行聚类操作，这种分层的聚类算法极大的提高了聚类速度，但其存在严重的缺点：即如果在低层次聚类时被分到错误的类别，在后续的高层次聚类中无法进行修正。因此会在一定程度上影响聚类的准确性，也会导致后续量化的偏差。

2)AKM(Approximate k-means)算法：在典型的k-means算法中，主要的计算时间花费在计算点和最近邻的聚类中心的距离上，AKM算法就是使用近似最近邻查找取代原有的精确查找，并且在每次迭代之前在聚类中心处建立含有8棵k-d tree的随机森林来提高计算的速度。实验证明AKM算法以牺牲少量计算精度的代价极大的提高了计算的速度，将计算复杂度由O(NK)降为O(N*log(K))，其中N为需要聚类的点的数目，K为聚类中心的数目。

3.图片的量化

通过上一步生成的字典就可以将SIFT点量化到聚类中心。量化的过程实际上是最近邻匹配的过程，仍然使用近似最近邻匹配的思想，这样可以提高计算的速度并且可以和上一步的聚类达成一致。至此，每幅图片可以使用一个维数为该幅图片提取到的SIFT点的数目的高维向量表示。

4.Inverted File的建立

倒排索引文件是一种面向单词的索引机制，每个文件都可以用一系列关键字来表示。一个倒排索引主要由词汇表(也叫索引项)和事件表(也叫文件链表)这两部分组成。词汇表是用来存放分词词典的，通常称存放词汇表的文件为索引文件；事件表是用来存放这个文件中对应词汇表中词汇出现的位置和次数的，通常称存放出现位置的文件为位置文件。

下面举例说明建立Inverted file的方法，例如经过处理后得到三个文本中的关键字：

文章1：[i][am][student][i][come][chengdu]

文章2：[my][father][is][teacher][i][am][student]

文章3：[chengdu][is][my][hometown][my][father][hometown][is][wuhan]

上面的对应关系是顺排的，即“文章号→关键字”，倒排处理为“关键字→文章号”。文章1、2、3经过倒排后变成如表1所示：

表1倒排文件索引方式

关键字	文章号
		i	1，2
am	1，2
		student	1，2
come	1
		chengdu	1,3
my	2,3
		father	2,3
is	2,3
		teacher	2
hometown	3
		wuhan	3

这样存储的方式有利于后期的检索时速度的提升。

5.TF、IDF的确定

TF-IDF(term frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF的主要思想是：如果一个单词在某一文本中出现的频率较高，但在其他的文本中出现的频率很低，可以将该单词作为区分本文的重要单词，即赋予它更高的权重。另一方面，如果单词在某一文本中出现的频率很高，但在其他文本中出现的频率仍然很高，则该单词的区分度不高。TF词频(Term Frequency)，表示单词在文本中出现的频率，IDF逆向文件频率(Inverse Document Frequency)表示出现某单词的文本占全部文本的比例。经过上面的分析可知，某单词的TF越高，IDF越低，则其用于区分文本的区分度越高。某单词i在文本j中的TF表示为TF_i,j，则有：

${\mathrm{TF}}_{i,j}=\frac{n_{i,j}}{{\mathrm{\Σ}}_k{n}_{k,j}}$

某单词i的IDF表示为IDF_i，则有：

${\mathrm{IDF}}_i=\log \frac{\left|D\right|}{\left|\{j:t_i\∈d_j\}\right|}$

其中|D|：语料库中的文件总数

最后计算TF，IDF的乘积，即：

TFIDF_i，j＝TF_i，j×IDF_i

在计算相似度时，需要考虑能够匹配上的点的TF-IDF，以提高度量函数的准确性和合理性。因此在Inverted file的存储时需要考虑某一单词出现的文本序号，以及在该文本中出现的次数，对于步骤4中的例子，Inverted File应该表示为：

表2增加TF-IDF信息的倒排文件索引方式

因此，TF等于[]中的数字，IDF等于该单词出现的文章数和总文章数的比值。对于图片库来说，还需要在具体的每一项中添加位置信息。

表3图片库中的Inverted File的格式

关键字	图片标号[出现频率,[坐标]]
		SIFT1	1[2,[100,200],[217,375]],2[1,[500,325]]
SIFT2	1[1,[756,241]],2[1,[324,541]]
		SIFT3	1[1,[235,256]],2[1,[657,312]]
SIFT4	1[1,[467,211]]
		……	……

6.相似度的度量

1)、对图片库中的每张图片的score置为0；

2)、对于待检索图片中的包含的每一个单词j，查找Inverted file中包含该单词的图片，对于列表中的每张图片存储类别相同的点的坐标，即为每张图片存储一张记录匹配点位置坐标信息的表。

3)、对于图片i，取3的组合，计算原图中三点构成三角形和图片i中构成三角形是否相似，如果在一定的阈值范围内可以认定为相似，如图2所示，我们使用下面的公式增加该张图片的得分：

$score`\left(i\right)+={\mathrm{IDF}}_{i,j1}^2+{\mathrm{IDF}}_{i,j2}^2+{\mathrm{IDF}}_{i,j3}^2$

IDF_i,j1、IDF_i,j2、IDF_i,j3分别表示这三个点的IDF。当遍历了待检索图片中的所有SIFT点后，每张图片的score就被确定下来了。

4)、由于每张图片中提取到的SIFT点的数量不同，需要进行归一化，即：

$score\left(i\right)=\frac{score\left(i\right)}{\left|\right|q\left|\right|\left|\right|d_i|{|}^3}$

其中||q||表示待检索图片中的特征向量的L2范数，||d_i||表示图片库中第i张图片的特征向量的L₂范数。

5)、最后根据得分的高低进行排列，得分越高说明该图片与待检索的图片越相似。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (3)

1.一种基于改进BOW算法的相似图片搜索方法，其特征在于：该方法包括如下步骤：

步骤(1)、对大规模图片库中的每张图片进行SIFT特征点的提取，并记录各自的位置坐标；

步骤(2)、对步骤(1)得到的SIFT点进行k-means聚类，得到一定数量的聚类中心，即字典，聚类中心的数量由图片集和提取到的SIFT点的数量确定，使用改进的k-means算法AKM算法，以牺牲少量计算精度的代价极大的提高了计算的速度；

步骤(3)、将图片库中每张图片中提取到的SIFT点量化到步骤(2)中的聚类中心，这里为了提高速度，使用近似最近邻的聚类算法，在保证精度的情况下极大地提高量化的速度，这样每张图片可以使用一个由量化结果组成的高维向量表示，以字典中的单词即聚类中心为索引，记录包含该单词的图片和该SIFT点的位置坐标，即生成一个Inverted File；

步骤(4)、对于待检索图片提取该章图片中的SIFT点，并且根据步骤(2)中的聚类中心进行量化，这样待检索图片也使用一个高维的向量进行表示；

步骤(5)、对待检索图片和图片库中的图片计算属于同一类别的SIFT点即量化到同一个聚类中心的SIFT点的数量；

步骤(6)、对于属于同一类别的SIFT点取任意的三点进行组合，并计算这两张图片中的三点组成的三角形的相似性，对于满足一定阈值的这三个SIFT点，在度量函数中加上相应的得分，否则不计分；

步骤(7)、对最后的得分进行排序，得分越高表示待检索图片和图片库的该张图片越相似，并返回结果。

2.根据权利要求1所述的基于改进BOW算法的相似图片检索方法，其特征在于：所述步骤(6)中改进算法中对两张图片的相似性的判别规则如下：

首先记录下两张图片A和B中属于同一类别的SIFT点的坐标，假设有N点，在N个点任意取三个点组成一个三角形，计算A中的三角形和B中的三角形的相似性，并且保证A、B中相同类别的点作为三角形的顶角时角度的一致性，只有在满足以上条件的基础上，才判定三角形的三个顶点属于有效匹配，否则属于无效的匹配，不记入最终的相似度度量函数。

3.根据权利要求1所述的基于改进BOW算法的相似图片检索方法，其特征在于：所述步骤(6)中具体步骤如下：

步骤1)、对图片库中的每张图片的score置为0；

步骤2)、对于待检索图片中的包含的每一个单词j，查找Inverted file中包含该单词的图片，对于列表中的每张图片存储类别相同的点的坐标，即为每张图片存储一张记录匹配点位置坐标信息的表；

步骤3)、对于图片i，取3的组合，计算原图中三点构成三角形和图片i中构成三角形是否相似，如果在一定的阈值范围内可以认定为相似，使用下面的公式增加该张图片的得分：

$score`\left(i\right)+={\mathrm{IDF}}_{i,j1}^2+{\mathrm{IDF}}_{i,j2}^2+{\mathrm{IDF}}_{i,j3}^2$

IDF_i,j1、IDF_i,j2、IDF_i,j3分别表示这三个点的IDF，当遍历了待检索图片中的所有SIFT点后，每张图片的score就被确定下来了；

步骤4)、由于每张图片中提取到的SIFT点的数量不同，需要进行归一化，即：

$score\left(i\right)=\frac{score\left(i\right)}{\left|\right|q\left|\right|\left|\right|d_i|{|}^3}$

其中||q||表示待检索图片中的特征向量的L₂范数，||d_i||表示图片库中第i张图片的特征向量的L₂范数；

步骤5)、最后根据得分的高低进行排列，得分越高说明该图片与待检索的图片越相似。