CN102436491A

CN102436491A - 一种基于BigBase的海量图片搜索系统及方法

Info

Publication number: CN102436491A
Application number: CN2011103495854A
Authority: CN
Inventors: 张三明; 付希全
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-11-08
Filing date: 2011-11-08
Publication date: 2012-05-02

Abstract

本发明涉及一种基于BigBase的海量图片搜索系统和方法，方法包括：提取每张图片的SIFT特征向量存储到BigBase中；通过KDIndexer算法为特征向量编制索引，使具有相同索引号的向量成为一堆，每堆的向量个数在一个固定范围内。搜索时，首先，提取输入图片的SIFT特征向量；然后，逐一按SBBF算法计算其所属的堆号，到特征向量库的相应堆中查找与其匹配的特征向量；最后，按匹配结果得到相似图片的排序列表。本发明的关键在于通过建立索引将特征向量库分堆的方法，将全局计算变成了小范围固定规模的计算；这样就可以借助于BigBase良好的可扩展性，只要保证机器的规模与图片库的规模成固定比值，就可以确保查找操作在相对固定的时间内完成，以满足对海量图片库的实时搜索需求。

Description

一种基于BigBase的海量图片搜索系统及方法

技术领域

本发明涉及计算机处理领域，尤其涉及一种基于BigBase的海量图片搜索系统及方法。

背景技术

当前，国内外有很多的搜索引擎提供图片搜索服务，其搜索方式大都是按照图片的关键字进行搜索，而基于图像内容的海量图片搜索引擎还没有通用的成熟产品。所谓基于图片内容的搜索引擎是指给定一张图片，在海量的图片库中能够检索到所有与其内容相同或者相似图片的搜索引擎。这种搜索引擎难产的主要原因在于随着信息社会的不断发展，图片的数量呈现出爆炸性增长的趋势，从而导致图片的总量过于庞大；而当前的图像匹配方法经过多年的发展，虽然已经很好地解决了图片两两比对的问题，但是由于其计算的复杂性，难以满足海量图片的实时搜索需求。因此，迫切需要从系统结构的角度，利用当前分布式系统的新思想和新方法结合已有的技术来解决旧的问题。

一方面，在图像匹配领域，近几十年来，许多研究者进行了广泛深入的研究，提出了大量的算法。目前的图像匹配算法主要有基于特征和基于区域两种方法。由于视角、拍摄时间、分辨率、光照强度、传感器类型等的差异，待匹配的图像往往存在平移、旋转、光照、尺度变化等差别。基于特征的方法首先从待匹配图像中提取特征集合。特征是图像的一些显著位置例如图像的边缘、角点等。基于特征的方法利用了图像的显著特征，具有计算量小，速度较快等特点，对图像的几何变形、噪声、畸变等具有一定的鲁棒性。因此，基于特征的方法成为当前研究最多应用最广的方法。在基于特征的匹配方法方面，David G.Lowe在2004年提出了一种基于尺度空间的，对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子——SIFT(ScaleInvariant Feature Transform)算子。SIFT算法首先在尺度空间进行特征检测，并确定关键点(Keypoints)的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。SIFT特征向量对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；同时该类特征向量个数多，即使少数的几个物体也可以产生大量SIFT特征向量；每一个向量的维数多，一般为128维；可扩展性好，可以很方便的与其他形式的特征向量进行联合。因此，SIFT算法一经提出，迅速成为该领域的一个经典算法。但是，基于SIFT特征建立海量图片库存在着很多难题，一是由于SIFT特征数量多，一副图片往往具有成千上万个特征向量，导致图片的特征库非常巨大；二是每个特征向量的维数高，一般为128维，高维向量的相似性计算一直是计算机界的研究难题。一个包含一亿张图片的特征库，至少要存储千亿条特征向量，传统的数据库已经无法有效地支持这种规模的应用。因此，必须解决特征库的海量存储和实时检索问题。

另一方面，在分布式系统的研究领域，近几年来有关云计算的一系列理论、方法和工具为解决大规模数据处理问题提供了新的手段。其中，基于开源实现的Hadoop和由北京亿联国科数据科技有限公司研发的商业数据库产品BigBase就是两个重要的大规模数据处理工具，前者用于构建集大规模数据存储(HDFS)和分布式计算(Map-Reduce模型)为一体的分布式系统平台；后者基于HDFS提供高可扩展性、高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。BigBase是中国第一款通用的商业版本NoSQL数据库，支持多索引列，支持单行事务，可以用来存储非结构化和结构化的松散数据。该数据库的特点是读写速度快，可以做到在线查询，同时支持大量用户的并发查询。与hadoop一样，BigBase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。BigBase可以用来存储非常大规模的表，一个表可以有上亿行，上百万列；支持面向列(族)的存储和权限控制，列(族)独立检索；能够更好地支持稀疏表，对于为空(null)的列，并不占用存储空间。因此，Hadoop和BigBase等工具的出现，为解决上述海量图片以及对应的海量特征库的存储和查询问题提供了有力的支持。

然而，仅仅有SIFT算法和Hadoop、BigBase还不够，实现一个海量图片搜索系统必须要解决海量高维特征向量的快速匹配的问题。对于任何一条输入特征向量而言，基于SIFT特征的匹配方法要求在整个特征库中找到与输入特征向量欧氏距离最小和次小的两个特征向量，如果最小距离与次小距离的比值小于一个阈值，则认为最小距离的特征向量与输入的特征向量匹配。为此，要想精确地得到匹配的特征向量，输入特征向量必须与特征库中的每一个向量计算欧氏距离。由于特征库的巨大，采用这种蛮力搜索的方法是不可能实现实时搜索的。因此，必须采取某种方法有效地缩小搜索范围，同时保证该范围不会随着图片总量的扩大而增长，从而将搜索时间控制在用户可以接受的范围内。

发明内容

为了解决上述的技术问题，本发明提供了一种基于BigBase的海量图片搜索系统及方法，其目的在于：

1、应用SIFT算法，提取图片的特征值，从而确保搜索的结果对于图片的旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声保持一定程度的稳定性；

2、利用Hadoop的HDFS实现海量图片的存储，应用Hadoop的Map-Reduce框架实现图片特征提取、大规模并发查询等操作的并发执行；采用BigBase实现海量SIFT特征向量的存储和高效查询；

3、设计一种KDIndexer算法，为每一个特征向量编制索引，使得具有相同索引号的向量成为一堆，该索引号就是对应堆的堆号；每个堆中的向量个数设定为一个固定范围(默认值200到400)。在进行匹配时采用SBBF(Simplified Best Bin First)算法，仅对某一堆中的向量计算欧氏距离，从而将匹配算法复杂度控制在O(1)级。这样，整个检索的时间更多依赖于从BigBase中按照堆号查询堆中记录的时间，该时间为O(log₂ ⁿ)。BigBase良好的扩展性和实时性，使得当图片库的规模显著增大时可以通过扩展硬件资源的方法，保证这种查询操作的实时性。

本发明公开了一种基于内容的海量图片搜索系统的实现方法，包括：

步骤1，建立图片特征库。提取图片库中每张图片的SIFT特征向量；将所有图片的特征向量存储到BigBase的一个表中。

步骤2，为特征向量建立索引。通过KDIndexer算法，为每一个特征向量编制索引，通过索引号将向量分堆，每个向量的索引号就是其所在堆的堆号；

步骤3，对输入的图片检索实施按内容检索。首先，提取输入图片的SIFT特征向量；然后，将这些特征向量逐一到特征向量库中按照SBBF算法查找与其匹配的特征向量；最后，按照特征向量的匹配结果得到相似图片的排序列表。

步骤2中的KDIndexer算法描述如下：

有n(n＞0)个D(D＞0)维度的向量组成的集合S＝{v₀，v₁，…，v_n-1}，其中任何一个向量v_i可以表示为v_i＝{v_id₀，v_id₁，…，v_id_D-1}，将S分成k个规模为M的子集P₁，P₂，…，P_k，使得：

1)P₁∪P₂∪...∪P_k＝S；

2)对于任意的P_i(0≤i≤k)和P_j(0≤j≤k)，

3)对于任意的P_i，其所包含向量的个数为x，M≤x＜2M，M＞0；

如图3所示，该算法的主要思想是通过kd树的方法，将特征向量进行分堆。分堆时，所有的特征向量均处在kd树的叶子节点上，每个节点存放x(M≤x＜2M)个特征向量。在分堆时，只要当前堆的大小大于等于2M，则将当前堆分成左右两个堆，分堆的依据是计算当前堆中所有向量在不同维度上的标准差，以最大标准差的那个维度为依据，在该维度上凡是该维度的值比最大标准差小的向量一律放到左子树上，否则放到右子树上。

用index_vi表示v_i所在子集的编号，该值为一个字符串。用dmax(str)表示在KD树中路径为str的非叶子节点对应的标准差最大的维度的编号，用σmax(str)表示该节点对应的最大标准差的值。在执行KDIndexer算法时，必须保存整个KD树每个非叶子节点的dmax和σmax信息，以用于SBBF算法进行搜索。

具体的算法如下：

步骤3中对于指定的输入特征向量，查找其匹配的特征向量的方法如下：

步骤31，按照SBBF算法，计算输入特征向量的索引号；

步骤32，按照输入特征向量的索引号，到特征向量表中查询所有与该索引号相同的特征向量，得到一个特征向量列表；

步骤33，将输入特征向量与上述特征向量列表中的每一个向量分别计算欧氏距离，得到一个最小距离和一个次小距离；

步骤34，如果最小距离和次小距离的比值小于一个固定的阈值，则认为输入特征向量与最小距离对应的向量匹配，否则，认为没有匹配的特征向量。

步骤31中，SBBF算法的描述如下：

对于一个任意的SIFT特征向量v，在已经按照KDIndexer算法编制索引的特征库中，计算该向量所属的堆号。

本发明还公开了一种基于BigBase的海量图片搜索系统，如图1所示，该系统的主要功能模块包括：

图片爬取，用于从互联网上爬取图片；图片库，用于存储从互联网上爬取的图片；特征提取，用于抽取图片的特征值；特征向量库，用于存储图片的特征向量并支持对特征向量的查询功能；编制索引，用于对特征向量表构建索引；查询引擎，用于实现按输入图片的内容搜索相似或者相同的图片；结果排序，实现对搜索结果的排序；客户端，接收用户的查询请求以及向用户返回查询结果。

本发明的有益效果在于，能够保证图片检索的时间保持在相对固定的范围内，从而保证在图片库规模不断增长的情况，单幅图片的检索时间保持稳定。通过将特征向量按索引算法进行分堆的方法，与蛮力查找的方法相比，在欧式距离计算时，其性能提升的倍数IE(improvement in efficiency)为：

IE = \frac{\cos t (Q)}{\cos t^{A} (Q)}

其中，cost(Q)表示蛮力查找的方法下需要进行计算的次数，cost^A(Q)表示通过索引分堆的方式需要的计算次数。由于堆的大小是一个固定值，因此，特征库越大，提升效果越明显。对于包含600万个特征的图片库，提升6,000,000/200＝30,000(倍)。另外一个方面，当图片规模增大时，在BigBase中查找堆时的性能可以通过扩展节点的个数予以保证。假设N代表特征库扩展前特征向量的个数，N’代表扩展后的个数；M代表堆的大小；X代表扩展前节点的个数，X’代表扩展后节点个数。扩展后与扩展前的速度比：

S = \frac{\log_{2} \frac{N}{M}}{\log_{2} \frac{N^{'}}{M}} * \frac{X^{'}}{X}

例如，扩展前600万个特征值6个节点与扩展后60亿个特征值12个节点速度比：S＝1.2，说明在图片特征向量增加了1000倍(60亿/600万)的情况下，只需要将节点数目扩充一倍就可以获得原先1.2倍的处理速度。

实际测试结果表明，本发明在6台服务器的测试环境下，每台服务器的硬件配置为2个AMD双核处理器(主频2.0GHZ)，DDR 6GB内存，SCSI硬盘，千兆网，图片库的规模为10万张图片，特征库为600万个特征，平均每秒可以匹配2010.8个特征值。单张图片可以在1秒钟内得到匹配结果。在将硬件规模扩大至12台服务器(为原来的2倍)，每台服务器硬件配置不变的情况下，将图片数扩大至1200万张(为原来的120倍)，特征向量达到38亿个(为原来的633倍)，平均每秒可以匹配2316.3个特征值(为原来的1.15倍)。

附图说明

图1是本发明的系统组成结构示意图；

图2是本发明的系统实现逻辑结构示意图；

图3是本发明KDIndexer的索引结构示意图。

具体实施方式

本发明的一个具体实施例的系统结构如图2所示。系统的各个层次体现了非常典型的云计算模式。

在硬件资源层，系统的主要硬件设备是一组服务器，这些服务器可以选用一些廉价通用的设备，为了适应海量图片的需求，要求这些服务器具有较大的磁盘存储空间。通常，每台服务器的至少要求拥有1TB的存储空间。

在存储平台层，提供平台服务的主要是开源软件Hadoop和BigBase。图片库建立在Hadoop的文件系统HDFS之上，在使用HDFS时，由于Hadoop存储文件时要在头节点的内存中保存每一个文件的原信息，因此当用于存储大量的小文件时容易导致内存不够用的情况。为此，必须将小文件打包成相对较大的大文件，进行存储和处理。每一个图片文件的基本信息，如图片的大小、位置、特征值的个数等信息存储在BigBase的一张数据表中。此外，当图片存储到HDFS上之后，图片特征提取程序将在Hadoop平台上采用Map-Reduce的模式分布执行以提高特征提取的速度。图片的特征值保存在BigBase中的一个单独的数据表中。

在软件平台层，在图片的特征值提取完毕以后，编制索引程序负责按照KDInexder算法为所有的特征值编制索引，以此将特征库分成大小固定的堆。查询引擎主要完成接收用户的查询请求，提取输入图片的特征值，按照SBBF算法计算每个输入特征值的堆号，到相应堆中计算欧式距离，将所有匹配上的图片按照排序策略进行排序，然后将查询结果返回给客户。图片爬取程序主要负责到互联网上爬取图片，以不断地扩充图片库。

在客户端，客户端程序主要负责实现图片的上传和结果的显示功能。同时系统的查询引擎提供查询应用程序接口以支持用户进行二次开发。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

Claims

1.一种基于BigBase的海量图片搜索方法，其特征在于，包括：

步骤1，建立图片特征库：提取图片库中每张图片的SIFT特征向量；将所有图片的特征向量存储到BigBase的一个表中；

步骤2，为特征向量建立索引：通过KDIndexer算法，为每一个特征向量编制索引，通过索引号将向量分堆，每个向量的索引号就是其所在堆的堆号；

步骤3，对输入的图片检索实施按内容检索：首先，提取输入图片的SIFT特征向量；然后，将这些特征向量逐一到特征向量库中按照SBBF算法查找与其匹配的特征向量；最后，按照特征向量的匹配结果得到相似图片的排序列表。

2.如权利要求1所述的基于BigBase的海量图片搜索方法，其特征在于，步骤1中，海量的图片特征向量存储在BigBase的一个单表中，通过BigBase实现传统数据库难以实现的海量存储和并发查询功能。

3.如权利要求1所述的基于BigBase的海量图片搜索方法，其特征在于，步骤2中，在建立索引时采用KDIndexer算法，按照一种类似KD树的结构建立索引；KD树的每一个树叶代表一个堆，每个堆拥有200到400的固定范围数量的特征向量；该范围可以根据匹配的精度要求进行扩大或者减小；每个堆中的特征向量在数据库表中具有相同的ID前缀。

4.如权利要求1所述的基于BigBase的海量图片搜索方法，其特征在于，在步骤3中，通过SBBF算法，输入特征向量仅仅与某一个固定堆进行欧式距离计算。

5.如权利要求4所述的特征值匹配方法，其特征在于，特征值匹配的步骤具体包括：

步骤31，按照SBBF算法，计算输入特征向量的索引号；

6.一种基于BigBase的海量图片搜索系统，其特征在于，包括：

采用SIFT算法提取图片的特征值，从而确保系统对于图片的旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；采用Hadoop+BigBase的软件架构，为海量图片及其特征提供了分布式的存储和计算平台。

7.如权利要求6所述的基于BigBase的海量图片搜索系统，其特征在于，在Hadoop平台上存储海量的图片文件时，采用将多个小文件打包成大文件的方法避免HDFS对海量小文件存储的限制。

8.如权利要求6所述的基于BigBase的海量图片搜索系统，其特征在于，采用BigBase存储大量的图片特征值，通过BigBase的快速区间检索能力获得对权利要求4中所述的向量堆的快速读取。

9.如权利要求6所述的基于BigBase的海量图片搜索系统，其特征在于，当图片库的规模增加时，可以通过扩展硬件规模的方法，确保搜索速度不会降低，且硬件扩充的倍数远小于图片规模增加的倍数。