CN102831216B - 一种保持物体几何形状信息的图像检索系统及方法 - Google Patents

Abstract

本发明公开了一种保持物体几何形状信息的图像检索系统及方法，该系统包括：图像导入接口、图像检索客户端、接收系统管理命令的管理员接口、执行管理员请求的系统管理模块、将图像抽象为带权图的图像建模模块、挖掘视觉模式的图像频繁模式挖掘模块、将检索项与记录进行比对和匹配的图像检索模块和基于HBase图像数据库的数据存储、访问和管理服务模块。保持物体几何信息的图像建模能有效把握各种物体特征间的几何相对位置信息，使系统的查全率和查准率均比现有的模型有较大提升；结合HBase的布隆过滤器和频繁子图索引技术的使用提高了系统的响应速度，支持海量图片的在线查找。

Description

一种保持物体几何形状信息的图像检索系统及方法

技术领域

本发明涉及图像检索领域，特别涉及一种保持物体几何形状信息的图像检索系统及方法。

背景技术

图像检索通常被定义为：以特定的检索项，如关键词，语音，图像等，在已有图像库中检索符合检索项要求的图片。

在信息检索的一开始，图像检索已经吸引了大量用户的参与。图像检索的目标为如何根据检索项，快速返回需要检索的图片。根据检索项的不同，主流的图片检索技术主要有基于关键词和基于图像的图像检索技术。

现有的基于关键词的图像检索技术发展相对成熟，主要有：Google、Baidu和Bing等大型搜索网站推出的图像检索技术；

相比之下，基于图像的图像检索是刚刚起步的新兴领域，但其可观的应用前景引发了国内外的研究热潮，并取得了一定的研究成果。主要包括：IBM的QBIC、VIRAGE的VIR和Excalibur的RetrievalWare等一批具备一定实用价值的图像检索系统。

基于图像的图像检索技术与基于关键词的图像检索技术具有较大差别。基于图像的图像检索技术一般没有为图像打标签这个步骤，而是直接依据视觉特征或语义特征等图像本身具备的内容进行检索。为了保证检索的精度，北京工业大学、浙江大学、西北工业大学和三星电子等高校和企业已经开展相关研究工作，一些可行的图像检索方法被相应提出。

现有基于图像的图像检索系统主要存在一下几个方面的不足：A）、局限于局部特征信息，缺乏对物体形状信息的描述。虽然大部分图像检索系统都采用了颜色直方图、SIFT特征或SURF特征等各种特征描述，但是这些特征都是图片信息的孤立描述，缺乏有效的整合，尤其是缺乏对图片中各个特征的相对位置的描述。B）、在大规模数据库上的可用性弱。海量图像数据面临存储空间的有效利用和管理等问题，同时随着数据规模的日益膨胀，检索速度存在瓶颈。C）、缺乏有效索引机制。当前基于视觉特征的图像检索系统大多在提取的颜色、纹理、形状的基础上直接建立索引。对于这些高维的底层特征，传统的索引机制不再有效，性能急剧下降，甚至不如顺序扫描或穷举搜索，有维度灾难的危险。

发明内容

为了克服现有技术的不足，本发明提出了一种保持物体几何形状信息的图像检索系统及方法。提供一种更为有效和完整的图像描述方法；使得检索精度更高，系统性能更好，实用性更强。

为实现上述目的，本发明的技术方案为：

一种保持物体几何信息的图像检索系统，包括：

图像导入接口，用于将图像批量插入；

图像检索客户端，用于接收用户的图像检索查询请求和呈现查询结果；提供Web在线浏览、检索和客户端程序等多种渠道，对用户需求进行分析和转化，形成可以检索索引数据库的提问；

管理员接口，用于接收管理员提交的系统管理命令，还包括管理员设置的参数等；

系统管理模块，用于执行管理员接口接收到的请求，依据命令对系统进行一些设置操作；

基于带权图的图像建模模块，用于将图像抽象为带权图的图结构表示为后续的模式挖掘做准备；

图像频繁模式挖掘模块，用于挖掘图结构数据集范围内的频繁模式，识别具有显著语义特性的视觉模式；

图像检索模块，用于将检索项与预先建立数据库中的记录进行比对和匹配；获取查询图像的图结构表示，并以此作为索引检索数据库中的项，根据预先建立好的相似性度量方法得到每一项相对于检索项的相似度，最后按照相似度降序排列各项，并返回结果至图像检索客户端；

基于HBase图像数据库的数据存储、访问和管理服务模块，用于接收以查询图像为目的的数据库操作和存储图片。

所述基于带权图的图像建模模块分别与图像导入接口和图像检索客户端发生交互。由于带权图是索引和匹配的基本单位。图像导入接口接收的是即将被检索的项，而图像检索客户端接收的则是查询图像原型，即检索的依据。换言之，用户提交的示例图像和预先建立的图像数据库中的图像都需要用带权图模型加以描述，才能执行下一步的操作。

所述基于带权图的图像建模模块以图像提取的Surf特征点为图像的顶点；对Surf特征点进行量化和聚类得到的视觉单词作为顶点的标号；采用k近邻法建立每个顶点与其k个近邻间的无向边，再根据两点之间的欧式距离为边分配权值。

所述顶点的标号为顶点的分类号，是计算顶点频度的依据；而连接顶点的无向边表示Surf特征点之间的空间几何关系；边的权值等于欧式距离的倒数的向上取整，即权值与欧式距离成反比，这是因为相距越近的点被认为属于同一视觉模式的可能性越大，在检索匹配时往往作为一个整体被优先考虑。

所述图像检索模块的操作对象为基于带权图的图像建模模块抽象得到的带权图；图像检索模块采用基于图编辑距离的相似度量方法对查询图和检索图进行匹配，即图像检索模块的主要的操作是在查询图与检索图之间进行匹配，为了减少噪声和形变给匹配带来的负面影响，使用基于图编辑距离的相似度量方法提高容错性。

所述图像频繁模式挖掘模块根据顶点特征描述识别出在图结构数据集范围内频繁出现的模式，所述频繁是指出现次数不小于最小支持度阈值。图结构数据集范围内频繁出现的模式是一组公共子图结构，与图像本身及其分散的特征点相比，表达上较紧凑且语义层次较高。

所述检基于HBase图像数据库的数据存储、访问和管理服务模块包括面向HBase图像数据库的图像查询接口和基于HBase云存储平台的图像数据库；

面向HBase图像数据库的图像查询接口，用于接收以查询图像为目的的数据库操作；支持使用布隆过滤器进行快速查询预筛选和利用频繁子图对带权图进行索引；

基于HBase云存储平台的图像数据库，用于存储图片，另外整合并提供了快速存取、有效索引等机制。

本发明的另一目的是提出一种用于图像检索系统的图像检索方法，包括以下步骤：

S1）通过图像导入接口将图像数据批量导入；

S2）利用基于带权图的图像建模模块将导入的图像分别抽象化为图结构表示；

S3）利用图像频繁模式挖掘模块挖掘图结构表示数据范围内的频繁模式；

S4）根据频繁模式建立索引结构；

S5）通过图像检索客户端读取用户提交的查询图像；

S6）利用基于带权图的图像建模模块将查询图像分别抽象为带权图；

S7）将查询图像的带权图与索引结构中的索引项匹配，得到查询图像中含有的若干频繁模式，从而获得含有这些频繁模式的原图像列表；根据与索引结构的相似性排序图像得到图像列表；

S8）返回已被排序的图像列表到图像客户端供用户直接查看；

步骤S3）包括以下步骤：

S31）图像频繁模式挖掘模块扫描图集；根据顶点分类号计算顶点的支持度，忽略支持度小于最小支持度阈值的顶点；所述支持度不小于最小支持度阈值的顶点为频繁点，将两个频繁点和一条边组成的频繁一边图作为初始子图；

S32）将包含k条边的频繁子图作为种子图，添加一条边对其进行扩展，生成包含k++条边的候选子图，计算候选子图的支持度，若候选子图的支持度小于最小支持度阈值，将该候选子图舍弃；否则将候选子图作为含k++条边的频繁子图插入频繁子图集中；

S33）将步骤S32）挖掘所得的含k++条边的频繁子图作为新的种子图，重复步骤S32）；

S34）若由k条边频繁子图扩展所得的所有k++条边候选子图均被考虑过，回溯到其它k条边的频繁子图继续扩展； 

S35）重复步骤S32）、S33）、S34），直到没有新的频繁子图被发现为止。

保持物体几何信息的图像建模能有效把握各种物体特征间的几何相对位置信息，系统的查全率和查准率均比现有的模型有较大提升；结合HBase的布隆过滤器的使用，频繁子图索引技术提高了系统的响应速度，支持海量图片的在线查找。

使用本发明的图像检索系统及方法，具有以下几个方面的优点：

1)提供了一种更为有效和完整的图像描述方法。以Surf特征为基础建立起来的带权图相比于其他传统图像表示模型具有更强的表达能力，避免了特征点之间空间几何关系的丢失。

2) 系统性能高、实用性强。HBase的布隆过滤器和频繁子图索引技术“双管齐下”提高了系统的响应速度，削弱了大规模数据库所带来的压力，增强了系统的可用性，扩大了应用范围。

3) 检索的精确性更高。基于带权图的相似性检测依赖图的结构化在度量相似度时加入了对物体几何形状信息的考虑，使得匹配时具有一定的容错性，提高了检索精度。

附图说明

图1为本发明的保持物体几何信息的图像检索系统架构图；

图2为本发明的保持物体几何信息的图像检索方法的流程图；

图3为本发明的基于带权图的图像建模步骤的实现原理图；

图4为本发明的图像频繁模式挖掘步骤的实现原理图；

图5为本发明的图像检索步骤的实现原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1示出了本发明的保持物体几何信息的图像检索系统架构图。

参照图1，本发明的图像检索系统包括图像导入接口、图像检索客户端、基于带权图的图像建模模块、图像频繁模式挖掘模块、图像检索模块、系统管理模块、管理员接口、面向HBase图像数据库的图像查询接口和基于HBase云存储平台的图像数据库。其中：

图像导入接口，将图像批量插入，实现海量数据的快速导入。

图像检索客户端，主要将用户提交的查询图像传递给基于带权图的图像建模模块。另外，将用户通过该平台设置的其它相关参数，如希望检索得到的图像个数和检索结果的显示方式等传递给图像检索模块，以使查询的结果更符合用户的需求。

基于带权图的图像建模模块，对来自于图像检索客户端和图像导入接口的图像进行Surf特征提取。两个不同来源的建模结果去向不一致，前者直接作为检索图像数据库时的输入。后者要插入一个图集中，以送入图像频繁模式挖掘模块进行进一步的挖掘。

图像频繁模式挖掘模块，将基于带权图的图像建模模块生成的图集作为挖掘的基础。具体是从最简单的频繁子结构——频繁点开始，以不断添加频繁边的方式扩展出其它更为复杂的频繁子结构。将这些子结构的频度与用户预先设定好的最小支持度阈值，如10%，进行比较，不小于最小支持度即所需要识别的频繁模式，将其作为索引项插入到图像数据库中。

图像检索模块，以查询图像的带权图为根据去检索图像数据库，并以用户希望的方式将检索所得的图像列表呈现在图像检索客户端上。

管理员接口，与系统管理员发生直接交互的模块，系统管理员通过它可以向系统发送管理命令。

系统管理模块，执行来自管理员接口的命令。

面向HBase图像数据库的图像查询接口，接收并执行来自其它功能模块的数据库操作，包括来自图像频繁模式挖掘模块的插入请求、来自基于带权图的图像建模模块和图像检索模块的查询请求等。该模块根据这些请求对基于HBase云存储平台的图像数据库执行相应的操作。

图2为本发明的保持物体几何信息的图像检索方法的流程图。

参照图2，图像检索方法包括以下步骤：

S1）通过图像导入接口将图像数据批量导入；

S2）利用基于带权图的图像建模模块将导入的图像分别抽象化为图结构表示模型；

S3）利用图像频繁模式挖掘模块挖掘图表示模型的频繁模式；

S4）将频繁模式作为索引项建立倒排索引结构；

S5）通过图像检索客户端读取用户提交的查询图像；

S6）利用基于带权图的图像建模模块将查询图像分别抽象为带权图的表示模型；

S7）将查询图像的带权图与索引结构中的索引项匹配，得到查询图像中含有的若干频繁模式，从而获得含有这些频繁模式的原图像列表；根据与索引结构的相似性排序图像得到图像列表；

S8）返回已被排序的图像列表到图像客户端供用户直接查看。

步骤S2）的步骤包括：

S21）检测区域确定Surf特征点的坐标，以之建立图的顶点；

S22）所有Surf特征向量集合在一起，利用聚类算法分类并给每一类构造一个视觉词汇。采用该法即相当于给每个Surf特征点分配了一个视觉词汇，即在建模时也给每个顶点分配一个标号。

S23）在顶点之间建立无向边，必须为每个点找出k个与它距离最近的点。相距越近的点被认为相关性越大，因此被赋予的权值也越大。

步骤S3）包括以下步骤：

S31）图像频繁模式挖掘模块扫描图集；根据顶点分类号计算顶点的支持度，忽略支持度小于最小支持度阈值的顶点；所述支持度不小于最小支持度阈值的顶点为频繁点，将两个频繁点和一条边组成的频繁一边图作为初始子图；

S32）将包含k条边的频繁子图作为种子图，添加一条边对其进行扩展，生成包含k++条边的候选子图，计算候选子图的支持度，若候选子图的支持度小于最小支持度阈值，将该候选子图舍弃；否则将候选子图作为含k++条边的频繁子图插入频繁子图集中；

S33）将步骤S32）挖掘所得的含k++条边的频繁子图作为新的种子图，重复步骤S32）；

S34）若由k条边频繁子图扩展所得的所有k++条边候选子图均被考虑过，回溯到其它k条边的频繁子图继续扩展； 

S35）重复步骤S32）、S33）、S34），直到没有新的频繁子图被发现为止。

本发明的图像检索方法主要包括图像建模、频繁模式挖掘和图像检索。

图3是图像建模的实现原理图；图4是图像频繁模式挖掘的实现原理图；图5是图像检索的实现原理图。

参照图3，图像建模，从图像导入接口和图像客户端两个渠道获取用于建模的原图像数据，具体的建模过程则由基于带权图的图像建模模块完成。建模后的结果要作为检索项插入图像数据库中。

参照图4，频繁模式挖掘，其挖掘的对象是图结构表示数据而不是原图像数据，挖掘的范围是整个图集。首先是利用基于带权图的图像建模模块将来自图像导入接口的图像转换成图结构并集合成图集；再调用频繁模式挖掘算法得到频繁模式集，将它们插入到图像数据库中，作为其中的索引项。

参照图5，图像检索的依据来自于从图像客户端送入图像建模模块处理后得到的带权图，检索的对象来自于图像数据库。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种保持物体几何信息的图像检索系统，其特征在于包括：

图像导入接口，用于将图像批量插入；

图像检索客户端，用于接收用户的图像检索查询请求和呈现查询结果；

管理员接口，用于接收管理员提交的系统管理命令；

系统管理模块，用于执行管理员接口接收到的请求；

基于带权图的图像建模模块，用于将图像抽象为带权图的图结构表示；

图像频繁模式挖掘模块，用于挖掘图结构数据集范围内的频繁模式，识别具有显著语义特性的视觉模式；

图像检索模块，用于将检索项与预先建立数据库中的记录进行比对和匹配；

基于HBase图像数据库的数据存储、访问和管理服务模块，用于接收以查询图像为目的的数据库操作和存储图片；

所述基于带权图的图像建模模块分别与图像导入接口和图像检索客户端发生交互；

所述基于带权图的图像建模模块以图像提取的Surf特征点为图像的顶点；对Surf特征点进行量化和聚类得到的视觉单词作为顶点的标号；采用k近邻法建立每个顶点与其k个近邻间的无向边，再根据两点之间的欧式距离为边分配权值；

所述顶点的标号为顶点的分类号，是计算顶点频度的依据；连接顶点的无向边表示Surf特征点之间的空间几何关系；边的权值等于欧式距离的倒数的向上取整。

2.根据权利要求1所述保持物体几何信息的图像检索系统，其特征在于所述图像检索模块的操作对象为基于带权图的图像建模模块抽象得到的带权图；图像检索模块采用基于图编辑距离的相似度量方法对查询图和检索图进行匹配。

3.根据权利要求1所述保持物体几何信息的图像检索系统，其特征在于所述图像频繁模式挖掘模块根据顶点描述特征识别出在图结构数据集范围内频繁出现的模式，所述频繁是指出现次数不小于最小支持度阈值。

4.根据权利要求1所述保持物体几何信息的图像检索系统，其特征在于所述基于HBase图像数据库的数据存储、访问和管理服务模块包括面向HBase图像数据库的图像查询接口和基于HBase云存储平台的图像数据库；

面向HBase图像数据库的图像查询接口，用于接收以查询图像为目的的数据库操作；

基于HBase云存储平台的图像数据库，用于存储图片。

5.一种用于权利要求1至4所述任一项的图像检索系统的图像检索方法，其特征在于包括以下步骤：

S1）通过图像导入接口将图像数据批量导入；

S2）利用基于带权图的图像建模模块将导入的图像分别抽象化为图结构表示；

S3）利用图像频繁模式挖掘模块挖掘图结构表示数据范围内的频繁模式；

S4）根据频繁模式建立索引结构；

S5）通过图像检索客户端读取用户提交的查询图像；

S6）利用基于带权图的图像建模模块将查询图像分别抽象为带权图；

S7）将查询图像的带权图与索引结构中的索引项匹配，得到查询图像中含有的若干频繁模式，从而获得含有这些频繁模式的原图像列表；根据与索引结构的相似性排序图像得到图像列表；

S8）返回已被排序的图像列表到图像客户端供用户直接查看；

所述步骤S2）包括：

S21）检测区域确定Surf特征点的坐标，以之建立图的顶点；

S22）所有Surf特征向量集合在一起，利用聚类算法分类并给每一类构造一个视觉词汇；即在建模时也给每个顶点分配一个标号；

S23）在顶点之间建立无向边，必须为每个点找出k个与它距离最近的点。

6.根据权利要求5所述图像检索方法，其特征在于步骤S3）包括以下步骤：

S31）图像频繁模式挖掘模块扫描图集；根据顶点分类号计算顶点的支持度，忽略支持度小于最小支持度阈值的顶点；所述支持度不小于最小支持度阈值的顶点为频繁点，将两个频繁点和一条边组成的频繁一边图作为初始子图；

S32）将包含k条边的频繁子图作为种子图，添加一条边对其进行扩展，生成包含k++条边的候选子图，计算候选子图的支持度，若候选子图的支持度小于最小支持度阈值，将该候选子图舍弃；否则将候选子图作为含k++条边的频繁子图插入频繁子图集中；

S33）将步骤S32）挖掘所得的含k++条边的频繁子图作为新的种子图，重复步骤S32）；

S34）若由k条边频繁子图扩展所得的所有k++条边候选子图均被考虑过，回溯到其它k条边的频繁子图继续扩展； 

S35）重复步骤S32）、S33）、S34），直到没有新的频繁子图被发现为止。