CN107526772A - Spark平台下基于SURF‑BIT算法的图像检索系统 - Google Patents

Abstract

Spark平台下基于SURF‑BIT算法的图像检索系统，Spark是专为大规模数据处理而设计的快速的计算引擎，用于克服检索速度和准确性方面的缺陷。相对于传统的SURF使用浮点数描述符表示图像特征点，BRISK使用均匀采样模式生成二进制描述符，本发明将两者融合减少了内存消耗并加快了图像检索速度。在图像匹配阶段，我们用RANSAC剔除预匹配点对中的误匹配点对，以进一步提高匹配点对的准确性。实验结果表明，与传统图像检索系统相比，我们提出的图像检索(CBIR)系统的检索速度和准确度达到了新的阶段。

Description

Spark平台下基于SURF-BIT算法的图像检索系统

技术领域

本发明涉及图像数据处理领域，尤其涉及一种自适应遗传方法的显著 性检测方法。

背景技术

图像是一个重要的信息载体。随着多媒体技术和互联网的蓬勃发展， 每天都会产生大量的图像数据。如何在海量图像数据库中快速准确地检索 所需图像正成为一个迫切的问题。如何在大型图像数据库中有效检索相关 图像是目前的图像检索CBIR(ContentBased Image Retrieval),即基于 内容的图像检索领域的一个热门话题。CBIR利用图像的低层特征(如形状， 颜色，纹理，空间布局等)进行图像检索。

在图像特征提取领域中，现有技术SIFT(Scale-Invariant Feature Transform)和SURF是两种杰出的算法。SIFT利用图像金字塔检测不同尺 度的特征点，并通过计算一个关键点的一组方向直方图来构建关键点描述 符。虽然SIFT具有良好的表现，但建立图像金字塔花费大量的时间。SURF 的特点是使用积分图像，大大加快了计算时间。一般来说，SURF具有更好 的鲁棒性，并且比SIFT更快，但构建特征描述符仍然需要很多时间。为了 进一步减少计算时间，研究人员提出了一些新的二进制特征描述符，如2011 年Rublee提出的ORB(OrientedFAST and Rotated BRIEF)描述符，2011 年由Leutenegger提出的BRISK描述符等。

CBIR广泛应用于图像检索，如医疗诊断，预防犯罪等领域。然而，在 TB或甚至PB级的图像数据库中，传统的CBIR的检索速度和准确度遇到瓶 颈。

发明内容

本发明要解决的技术问题是：设计一种在TB或甚至PB级的图像数据 库中，图像检索速度和准确度更高的图像检索系统。

为了解决上述技术问题，本发明提出一种。Spark平台下基于SURF-BIT 算法的图像检索系统，其特征在于：

步骤1：对图像预处理，将原始图像上传到HDFS，并为每个图像名称重 命名一个唯一的标识符ID；

步骤2：利用SURF-BIT算法开始提取图像特征，并获得二进制的特征描 述符，SURF-BIT算法的具体步骤如下：

1.基于SURF的特征点检测：

a)建立Hessian矩阵并得出Hessian矩阵的行列式近似值；

b)使用不同尺寸的盒式过滤器来构建尺度空间；

c)提取局部特征点；

d)确定特征点的主要方向；

2.建立基于BRISK的二进制的特征描述符：

a)构造不同半径的同心圆，其圆心是SURF检测到的特征点；

b)通过均匀采样模式获取N个采样点；

c)生成二进制的特征描述符；

步骤3：定义一个表示每个图像的图像类，所述的图像类包含该图像的 特征描述符集合和图像的唯一标识符ID；

步骤4：通过对象序列化技术，将所有图像对象保存到分布式文件系统 HDFS中，完成图像数据库的构建；

步骤5：将查询图像的特征描述符与步骤4中图像数据库中的图像的特 征描述符进行比较，生成初匹配点对；

步骤6：采用RANSAC消除误匹配的点对，从而获得更精确的匹配点对；

步骤7：如果两张图像的匹配点对数超过阈值，认为这两张图像相似， 并输出匹配图像的标识符ID。

作为一种优选：步骤5的生成初匹配点对的方法是基于SURF-BIT描述 符，通过计算描述符的汉明距离实现匹配：

假设两个SURF-BIT描述符S₁,S₂，其汉明距离D可以定义如下：

D的值越小，S₁和S₂之间的相似度越高；如果两个特征描述符的相似度 超过阈值，则认为这对特征描述符是匹配的。

本发明有益效果：

1.改进SURF算法：将SURF算法和BRISK算法结合进行特点提取，减 少了内存消耗并加快了图像检索速度。

2.特征点匹配时使用RANSAC算法剔除误匹配点，增加匹配点的精确度。

3.使用SPARK并行平台加快图像检索速度。

附图说明

附图1：本发明的CBIR系统工作流程图。

附图2：本发明的检索系统与传统检索系统在系统执行速度的比较。

具体实施方式

本发明方法采用的技术要点包括：基本的SURF特征提取、BRISK特征 描述符、Spark数据处理系统。

(一)基本的SURF特征提取

与SIFT不同，SURF的特征点检测基于Hessian矩阵。SURF通过查找 Hessian矩阵行列式的局部最大值来定位特征点，并使用积分图像来加快计 算速度。在σ尺度上，图像像素点X＝(x，y)的Hessian矩阵定义如下公 式(1)：

L_xx(x,σ)是高斯二阶微分和图像I＝(x,y)在点卷积的结果。L_xy(x,σ)和 L_yy(x,σ)意义类似。

为了提高计算速度，提出使用盒式滤波器来近似代替高斯滤波，并利 用积分图像加速卷积计算的过程。Hessian矩阵的近似行列式公式(2)是：

det(H_approx)＝D_xx×D_yy-(0.9×D_xy)²(2)

其中D_xx，D_yy和D_xy是L_xx，L_yy和L_xy的近似

通过不同尺寸的盒式过滤器，可以构建多尺度图像的金字塔。在多尺 度图像的金字塔上，SURF通过比较其在当前尺度和相邻尺度上的26个邻 域，对每个点执行非极大值抑制，找到一组候选特征点。然后，在尺度空 间和图像空间中，进行插值运算以获得最终特征点。最后，为了确保旋转 的不变性，SURF在特征点领域内计算Haar小波特征，为每个特征点分配主 方向。

(二)BRISK特征描述符

BRISK采用均匀采样模式，以特征点为中心构造不同半径的同心圆，并 且通过在每个圆上等间距采样获得N个采样点。为了避免混叠效应，BRISK 对同心圆的采样点进行高斯滤波。由于存在N个采样点，所以这些采样点 两两组合以形成N(N-1)/2点对，其由表达式_A表示。高斯滤波后，两个采 样点的像素分别为和，从而得出局部梯度g(p_i,p_j)。

A＝＝{(p_i,p_j)∈R²×R²|i＜N,j＜i,i,j∈N}.(3)

短距离点对集Σ公式(5)和长距离点对集Λ公式(6)分别定义如下。

利用上述公式，特征点的主要方向定义如下。

其中g_x是x方向的梯度，g_y是y方向的梯度，L是Λ的元素的数量。

为了保持旋转不变性，BRISK以角度α＝arctant2(g_x，g_y),旋转采样区域。 旋转后，在短距离配对S中比较点对构成长度为512的二进制特 征描述符。每个比特位对应如下公式(8)。

(三)Spark平台

加州大学伯克利分校开发的Apache Spark是一个大规模的数据处理系 统。用于图形并行计算的GraphX，用于机器学习的MLLib，以及用于处理 结构化数据的Spark SQL。不同的数据源可以访问Spark，包括分布式文件 系统(如Hadoop HDFS)，分布式数据库(如Apache HBase)和对象存储 (如Amazon S3)。在Spark平台，任务的中间结果可以保存到内存中，因 此Spark更适合迭代和交互式计算。Spark的所有分布式操作都是基于RDD(Resilient Distributed Dataset)，这是一个可并行化的数据集合。 Spark提供了两种类型的操作：Transformation和Action。Transformation 通过输入RDD处理产生一个新的RDD；Action计算所需的结果并将结果返 回给driver节点。RDD上的操作是在内存中完成的，从而减少了大量的磁 盘操作，并提高了分布式计算的性能。因此Spark更加适用于实时处理等 数据挖掘工作。

利用上述技术要点，本发明的图像检索系统进一步的采用SURF-BIT算 法来提取特征向量。SURF由于Hessian的行列式DOH(Determinant of Hessian)和积分图像组成，除了有更好的鲁棒性和可靠性之外，速度几乎 比SIFT快三倍。虽然SURF在SIFT的基础上有了很大的改进，但SURF仍 然存在一些缺陷，例如浪费大量时间来构建局部特征描述符，使得难以满 足有实时性和有限存储空间要求的某些特定场合。

基于这种情况，我们的系统使用BRISK来优化传统SURF的特征描述符 建立过程，这个优化的算法我们命名为SURF-BIT。与SURF为每个关键点生 成的浮动数的描述符不同，BRISK构建二进制描述符来存储特征点。在特征 匹配阶段，计算二进制描述符的汉明距离比计算浮点数描述符的欧几里得 距离的速度快得多。在数据存储方面，BRISK描述符需要较少的内存空间。SURF-BIT算法的具体步骤如下：

1.基于SURF的特征点检测

a)建立Hessian矩阵并得出Hessian矩阵的行列式近似值

b)使用不同尺寸的盒式过滤器来构建尺度空间

c)提取局部特征点

d)确定特征点的主要方向

2.建立基于BRISK的特征描述符

a)构造不同半径的同心圆，其圆心是SURF检测到的特征点

b)通过均匀采样模式获取N个采样点

c)生成二进制特征描述符

如图1的流程图所示，本发明的系统在使用时，首先需要创建用于检 索图像的数据库，即创建图像数据库100。

创建图像数据库100具体方法是在图像的预处理阶段，将原始图像上 传到分布式文件系统(HDFS)，并为每个图像名称重命名一个唯一的标识 符ID。然后，利用SURF-BIT算法开始提取图像特征，并获得每个关键点的 描述符。为了表示每个图像，我们定义一个图像类，其包含该图像的特征 描述符集合和图像的唯一标识符ID。最后，通过对象序列化技术，将所有 图像对象保存到HDFS中，完成图像数据库的构建。

之后查询图像200，首先，我们检测特征点(采用SURF特征提取)201 检测图像的关键点，接着构造特征描述符(采用BRISK构建二进制描述符) 202。通过将查询图像的特征描述符与创建图像数据库100中的图像的特征 描述符进行图像匹配300，生成初匹配点对。图像匹配的具体过程是当一张 图像包含多个特征点，即包含多个特征描述符，SURF-BIT描述符 S＝[x₁,x₂,x₃...x₅₁₂]，其中x_j是描述符中第j个值(1≤j≤512，x_j∈{0,1})。 基于SURF-BIT描述符，我们可以通过计算其汉明距离实现快速匹配。假 设两个SURF-BIT描述符S₁,S₂，其汉明距离D可以定义如下：

D的值越小，S₁和S₂之间的相似度越高。如果两个特征描述符的相似度 超过阈值，则认为这对特征描述符是匹配的。但是，初匹配阶段的描述符 匹配对可能包含一些误匹配点对。为了解决这个问题，采用RANSAC算法剔 除误匹配的点对。RANSAC算法对噪声点和误匹配点具有较好的鲁棒性，而 且其计算过程稳定可靠。如果匹配点数超过阈值，我们定义两个图像匹配 成功，并输出匹配图像的标识符ID。

接着采用RANSAC消除误匹配的点对301，从而获得更精确的匹配点对。 具体是判断两张图像匹配特征点对数超过阈值302，如果是，则我们认为这 两张图像相似，并输出匹配图像标识符ID 303，结束SPARK使用304；如 果否，则直接结束SPARK使用304。

实验与评估

为了验证我们CBIR系统的可靠性和有效性，通过仿真实验进行评估。 我们的系统部署在Spark集群中，由4个节点组成，1个主节点和3子节点。 实验环境的配置如表1所示。

表1.实验环境的配置

对不同容量的四个图像数据集进行系统评估。图像数据库的容量分别 为100，1K，10K，100K，1000K。为了评估，我们测试了三种CBIR系统： 单机+SURF-BIT算法的CBIR系统；Spark+传统算法的CBIR系统；本发明的 Spark+SURF-BIT算法的CBIR系统。试验结果列于表2中。

表2.不同CBIR系统的执行时间

通过对系统执行速度的比较，实验分析结果如图2所示。

如表2和图2所示，Spark集群相对于单机具有明显的优势，而我们改 进的算法在Spark平台上进一步加快了匹配速度。通过比较Spark平台上 的改进算法和原始算法，结果表明，当数据容量小时，我们的改进算法没 有明显的优势。然而，随着图像数据容量的增加，本发明的图像检索速度 显着提高，在1000k的情况下，利用我们的算法是本发明的图像检索系统 性能优化了44.7％。从实验结果可以看出，我们的CBIR系统的性能优于传 统的CBIR系统。

提出了一种在Spark平台上的通过提取图像特征和构造特征描述符的 SURF-BIT算法优化的图像检索(CBIR)系统。我们利用BRISK算法中提出 的二进制描述符替代SURF中的浮点数描述符来加速检索速度并减少内存消 耗。在此基础上引入了RANSAC来过滤出匹配点的一些错误检测。CBIR系统 部署在Spark分布式计算环境中，在HDFS中存储图像特征描述符，并利用 RDD加快大量图像数据中的图像检索速度。通过大量实验，结果表明，CBIR系统对于大规模图像数据具有更好的检索性能。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行 业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说 明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提 下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发 明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (2)

1.Spark平台下基于SURF-BIT算法的图像检索系统，其特征在于：

步骤1：对图像预处理，将原始图像上传到HDFS，并为每个图像名称重命名一个唯一的标识符ID；

步骤2：利用SURF-BIT算法开始提取图像特征，并获得二进制的特征描述符，SURF-BIT算法的具体步骤如下：

1.基于SURF的特征点检测：

a)建立Hessian矩阵并得出Hessian矩阵的行列式近似值；

b)使用不同尺寸的盒式过滤器来构建尺度空间；

c)提取局部特征点；

d)确定特征点的主要方向；

2.建立基于BRISK的二进制的特征描述符：

a)构造不同半径的同心圆，其圆心是SURF检测到的特征点；

b)通过均匀采样模式获取N个采样点；

c)生成二进制的特征描述符；

步骤3：定义一个表示每个图像的图像类，所述的图像类包含该图像的特征描述符集合和图像的唯一标识符ID；

步骤4：通过对象序列化技术，将所有图像对象保存到分布式文件系统HDFS中，完成图像数据库的构建；

步骤5：将查询图像的特征描述符与步骤4中图像数据库中的图像的特征描述符进行比较，生成初匹配点对；

步骤6：采用RANSAC消除误匹配的点对，从而获得更精确的匹配点对；

步骤7：如果两张图像的匹配点对数超过阈值，认为这两张图像相似，并输出匹配图像的标识符ID。

2.根据权利要求1所述的方法，其特征在于：步骤5的生成初匹配点对的方法是基于SURF-BIT描述符，通过计算描述符的汉明距离实现匹配：

假设两个SURF-BIT描述符S₁,S₂，其汉明距离D可以定义如下：

D的值越小，S₁和S₂之间的相似度越高；如果两个特征描述符的相似度超过阈值，则认为这对特征描述符是匹配的。