CN102508901A

CN102508901A - 基于内容的海量图像检索方法和系统

Info

Publication number: CN102508901A
Application number: CN2011103480204A
Authority: CN
Inventors: 陈大炜
Original assignee: Konka Group Co Ltd
Current assignee: Konka Group Co Ltd
Priority date: 2011-11-07
Filing date: 2011-11-07
Publication date: 2012-06-20

Abstract

本发明适用于互联网搜索技术领域，提供了一种基于内容的海量图像检索方法和系统，通过图像数据采集单元从互联网上实时搜集图像信息，采集图像信息的URL资源链接获取图像数据，并将该图像数据传送给图像特征提取单元，图像特征提取单元对图像数据进行特征提取，并将聚合的图像特征编码保存在图像数据管理单元的数据库中；当用户需要进行查询时，利用不完全搜索技术使用基于变换编码的快速最近邻搜索算法，将搜索结果以图像的URL链接返回给用户，通过该方法可达到高效的图像快速检索目的。

Description

基于内容的海量图像检索方法和系统

技术领域

本发明属于互联网搜索技术领域，尤其涉及一种基于内容的海量图像检索方法和系统。

背景技术

图像检索的本质是对图像特征的提取与基于特征的匹配技术，图像的特征包括图像的文本特征、视觉特征，所谓图像的文本特征是指与图像相关的文本信息，比如图像的名称、对图像的注解文字等，图像的视觉特征是指图像本身所拥有的视觉信息，又可以进一步分为通用的视觉特征和领域特征，如颜色、纹理、形状等属于图像通用特征。

从发展演变历程来看，根据图像检索系统所提取图像特征可分为两类，第一类即基于文本的图像检索实际上是将图像检索转换为与该图像对于的文本标识的关键字检索，及在图像数据存入数据库时，首先将图像文件进行人工标注，建立相应的关键词或描述字段，并将图像信息与该关键字建立对应关系，然后用传统的基于关键字的信息方式检索出与关键字匹配的图像。第二类即基于内容的图像检索，即通过以图找图的方式进行图像内容检索，本质上是通过对图像的视觉特征信息，特别是颜色、纹理和形状等。在将图像保存至数据库时，首先对图像进行特征提取，将图像与其特征信息建立对象关系，用户在提供源图像后，搜索系统将对源图像进行相同的特征提取操作，让用提取的图像特征与图像数据库的特征进行相似度匹配，最后给出检索结果。

现有技术中，基于文本的图像检索的问题在于图像检索的效果实际上取决于图像人工标注的准确度，如果图像数据库中的标注信息与实际用户的检索需求关键字不匹配，则会导致检索结果相差甚远，检索效率不高。主要原因是，人工标注图像具有较大的主观性，不同的人对图像的描述可能由于理解不同相差很大，而且图像中蕴含的特征有时很难用文字表达或描述清楚，这个基于文本的图像搜索应用带来很大的局限性。而基于内容的图像检索的问题在于图像中蕴含的内容太多，以至于任意一种图像特征描述方法均不可能做到十分的精确，特征匹配只能就提取的特征本身采用相似性匹配方法进行；这种相似性是由多维特征空间的距离测度定义的（如彩色直方图查询），涉及到对象簇的检索表示方法。对于小型图像数据库，可以采用顺序浏览检索方法，即在检索时，将数据库中存储的特征与查询要求的特征作相似性比较，决定哪些图像是好的匹配，但是对于海量的图像数据库来说，这种检索速度就无法满足要求，通常还需要进行降维和过滤等操作。

所以现有技术存在不足，需要改进和提高。

发明内容

本发明的目的在于提供一种基于内容的海量图像检索方法和系统，解决了现有技术对海量图像检索所存在的检索速度慢，检索过程复杂的问题。

本发明是这样实现的，一种基于内容的海量图像检索方法，其特征在于，所述方法包括如下步骤：

A、从互联网上实时搜集图像信息，采集所述图像信息的URL资源链接获取图像数据，对所述图像数据进行特征提取，并将聚合的图像数据描述符编码保存至数据库中；

B、获取用户输入的图像文件并进行特征提取，将提取的所述图像文件特征描述符与所述数据库中的图像数据描述符编码进行匹配，将误差最小的若干幅图像特征结果作为搜索结果，并将对应的图像URL链接返回给用户。

其中，所述步骤A具体包括如下步骤：

A1、图像数据采集单元利用网站爬虫实时从所述互联网上搜集所述图像信息，将采集所述图像信息的URL资源链接发送至图像特征提取单元；

A2、所述图像特征提取单元根据所述URL资源链接获取图像数据，对所述图像数据进行特征提取，并将所提取的聚合的图像数据描述符编码保存至图像数据管理单元的数据库中。

其中，对所述图像数据进行特征提取具体包括如下处理：

A21、对所述图像数据的图像特征点进行提取，根据所述图像特征点生成视觉单词；

A22、利用所述视觉单词获得所述图像数据的描述符，并对所述图像数据的描述符进行聚合和压缩；

A23、对压缩后的所述图像数据描述符进行编码存储。

其中，所述编码的位数为64个比特。

其中，所述步骤B具体包括如下步骤：

B1、利用用户查询单元获取用户输入的源图像文件；

B2、实时对用户输入的所述源图像文件进行图像特征提取分析，并生成源图像文件的特征描述符；

B3、将所述源图像文件的特征描述符与所述数据库中的图像数据描述符编码进行匹配比较；

B4、按照所述源图像文件的特征描述符与所述数据库中的图像数据描述符编码之间的误差大小排序，将排序在前的若干幅图像特征结果作为搜索结果，根据所述搜索结果将对应的若干幅图像的URL链接返回给用户。

一种基于内容的海量图像检索系统，其特征在于，所述系统包括：图像数据采集单元、图像特征提取单元、图像数据管理单元和用户查询单元，所述图像数据采集单元用于负责利用网站爬虫实时从互联网上搜集图像信息，将采集所述图像信息的URL资源链接发送至所述图像特征提取单元；所述图像特征提取单元根据所述URL资源链接获取图像数据，对所述图像数据进行特征提取，并将所提取的图像数据描述符编码保存至所述图像数据管理单元中的数据库；所述用户查询单元用于负责获取用户输入的源图像文件，对所述源图像文件进行特征提取分析并与所述数据库中图像描述符编码进行匹配，将排序在前的误差最小的若干幅图像数据特征结果作为搜索结果。

其中，所述编码的位数为64个比特。

本发明的有益效果为：本发明所提供的一种基于内容的海量图像检索方法和系统，该方法可以有效避免基于文本的图像搜索歧义性问题，提升搜索效果，为用户提供更好的用户体验，在图像特征提取方面，使用基于聚合的图像特征描述符，可以用较小的储存空间保存海量的图像特征信息，在图像快速检索方面，利用不完全搜索技术使用基于变换编码的快速最近邻搜索算法，达到高效的图像快速检索目的。

附图说明

图1是本发明一实施例系统结构示意图。

图2 为本发明图像特征提取单元一实施例流程图。

图3为本发明用户搜索查询单元一实施例流程图。

具体实施方式

为了解决现在技术对海量图像检索所存在的检索速度慢，检索过程复杂的的问题，本发明旨在面向互联网上的海量图像数据信息，提出一套高效的基于内容的图像检索方法和系统，主要包括图像数据采集单元、图像特征提取单元、图像数据管理单元和用户查询单元，通过图像数据采集单元从互联网上实时搜集图像信息，采集图像信息的URL资源链接（ URL：Uniform Resource Locator 是WWW网页的地址获取图像数据），并将该图像数据传送给图像特征提取单元，图像特征提取单元对图像数据进行特征提取，并将所提取的图像数据描述符编码保存图像数据管理单元的数据库中；当用户需要进行查询时，通过用户查询单元来获取用户输入的源图像文件并对源图像文件进行特征提取，将提取的源图像文件特征描述符与保存在数据库中的图像数据描述符编码进行匹配，根据两者图像之间的误差大小，将误差小的若干幅图像特征结果作为搜索结果，根据所述搜索结果将对应的若干幅图像的URL链接返回给用户，通过该方法，本发明可实现快速的查询，得到所需图像的URL链接。

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

图1为本发明系统结构示意图，本实施例的图像检索系统主要包括图像数据采集单元10、图像特征提取单元20、图像数据管理单元30和用户查询单元40，其中，图像数据采集单元10主要负责网站爬虫自动从互联网上搜集图像信息，将搜索到的图像数据及其URL资源链接送往图像特征提取单元20；首先，爬虫从一个或一组给定的URL开始访问，记录该URL所指HTML文件中所有新的URL锚链，然后，以这些新的URL为起点，继续进行本地索引，直到再没有满足条件的新的URL为止；对于一些新出现的网站或在自动搜索中有所遗漏的站点，用户也可以自行向图像数据采集单元提交网站地址，使得站点内容能被及时搜索。网站爬虫通过两个HTML标签，即IMG SRC和HERF来检测是否存在可显示的图像文件，这里IMG SRC标签表示“显示下面的图像文件”，而 HREF标签则表示“下面是一个链接”，这两种标签经常导向一个图像文件；网站爬虫通过检查文件扩展名来判断链接是否是图像文件，如果链接文件是一个可显示的图像，网站爬虫就将该图像的URL链接送往图像特征提取单元20。图像特征提取单元20主要负责通过图像数据采集单元10送来的URL链接获取图像数据，并对其进行特征提取，并将图像特征数据保存至图像数据管理单元30的数据库中。

当用户进行查询时，用户查询单元40用于负责获取用户输入的源图像文件，对该源图像文件进行特征提取分析并与图像数据管理单元30数据库中图像特征编码进行匹配，通过投票方式返回最优搜索结果。

本发明通过图像特征提取单元20对图像数据的特征提取主要步骤包括如下，见图2所示：

步骤100、图像特征点提取；

图像特征点提取的任务是提取图像上的局部特征用于后续的图像描述符生成任务，本发明中最佳实例中使用快速角点检测作为图像的特征点提取方法，并利用SIFT算法直接在图像灰度空间上生成特征点对应的描述符，当然并不限于该计算方法，这里快速角点检测作为图像的特征点提取方法和利用SIFT算法生成特征点对应的描述符技术是本领域的常规技术，所以不做详细描述。

步骤110、视觉单词生成；

生成视觉单词主要用于生成图像数据的描述符，本发明中使用从图像数据采集单元10中获取的所有图像上提取到的特征点，是利用K-means算法生成若干个类心，每一个类心将被作为视觉单词用于后续的图像数据描述符生成，此处所描述的利用K-means算法生成若干个类心技术，以及每一个类心将被作为视觉单词用于后续的图像数据描述符生成均是本领域的常规技术，所以不做详述。

步骤120、图像数据描述符生成；

对于一幅图像上的每一个特征点，在步骤200的视觉单词（比如A1）当中查找一个与其最接近的视觉单词（比如A2）并求取两者之间的误差，当所有特征点处理完毕之后，将每一个视觉单词中的误差串联即可得到一幅图像数据的描述符。

步骤130、图像数据描述符聚合；

利用主成分分析方法对生成的图像数据描述符进行聚合，提取主成份以达到对描述符进行压缩的目的，其中主成分分析方法对生成的图像数据描述符进行聚合是本领域技术人员的惯用手段，所以如何聚合不做详细描述。

步骤140、图像数据描述符编码；

利用变换编码对压缩后的图像数据描述符进行编码存储，本发明利用不完全搜索技术使用基于变换编码的快速最近邻搜索算法，快速最近邻搜索算法是图像处理模式识别中常用算法，变换编码也为惯用技术，所以此处不做详述。本发明中最佳实践规定编码位数为64个比特，因此，一幅图像的描述符仅占用8个字节的空间。

这里图像数据管理单元30主要负责图像数据相关信息的保存、更新和管理，以关系型数据库的形式存储，主要信息字段包括但不限于：图像URL链接、图像大小、最近更新时间、图像数据描述符编码；通过网站爬虫自动从互联网上搜集到的原始图像数据经图像特征提取单元20处理后，将相关图像特征数据交由图像数据库管理单元30来维护。

当用户需要上网查询示例源图像文件时，通过用户搜索查询单元来完成查询，其主要负责获取用户输入的示例源图像文件，并对其进行特征提取，然后在与数据库中保存的图像特征进行匹配，通过投票方式返回最优的结果，其主要过程包括如下步骤，见图3所示：

步骤200、获取用户输入的源图像文件；

用户可以通过文件选择对话框输入要搜索的示例源图像文件。

步骤210、提取图像文件特征描述符；

系统实时对用户输入的源图像文件进行图像文件特征提取分析，具体过程与图像特征提取单元中步骤100至步骤140的工作过程一致，此处省略，并生成源图像的特征描述符。

步骤220、特征描述符搜索；

根据步骤210生成的图像特征描述符与图像数据管理单元20步骤100至步骤140中生成、被保存在图像特征库中的图像数据描述符编码进行匹配比较；进行图像检索时，需要将当前图像特征描述符与数据库中的所有图像数据描述符编码进行比较，当图像库规模较大时，使用传统方法为费时。为此本发明采用不完全搜索策略来加速上述搜索过程，这种不完全搜索策略描述为：由于数据库（图像特征库）中的所有图像描述符都将按照最近距离插入到若干个类心中的一个，进行搜索时，可以将与用户检索输入的源图像文件的特征描述符最为接近的若干类心中的已有图像特征描述符进行距离计算用以生成候选图像描述符集合，具体如何计算和如何生成候选图像描述符集合是本领域技术人员的惯用手段，此处不做描述，采用该方法可以大大加速搜索过程，并提高系统的可扩充性。

步骤230、通过投票方式返回最优的搜索结果；

本发明所述的投票方式为：按照源图像文件的特征描述符与数据库中的图像数据描述符编码之间的误差大小排序，误差最小的几个结果即为“投票”结果，将误差最小的前若干幅图像特征结果作为搜索结果，并将对应的图像URL链接返回给用户。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于内容的海量图像检索方法，其特征在于，所述方法包括如下步骤：

A、从互联网上实时搜集图像信息，采集所述图像信息的URL资源链接获取图像数据，对所述图像数据进行特征提取，并将所提取的图像数据描述符编码保存至数据库中；

2. 根据权利要求1所述的基于内容的海量图像检索方法，其特征在于，所述步骤A具体包括如下步骤：

A2、所述图像特征提取单元根据所述URL资源链接获取图像数据，对所述图像数据进行特征提取，并将聚合的图像数据描述符编码保存至图像数据管理单元的数据库中。

3.根据权利要求2所述的基于内容的海量图像检索方法，其特征在于，所述步骤A2中对所述图像数据进行特征提取具体包括如下处理：

A23、对压缩后的所述图像数据描述符进行编码存储。

4.根据权利要求3所述的基于内容的海量图像检索方法，其特征在于，所述编码的位数为64个比特。

5.根据权利要求1所述的基于内容的海量图像检索方法，其特征在于，所述步骤B具体包括如下步骤：

B1、利用用户查询单元获取用户输入的源图像文件；

B4、按照所述源图像文件的特征描述符与所述数据库中的图像数据描述符编码之间的误差大小排序，将排序在前的所述误差最小的若干幅图像特征结果作为搜索结果，根据所述搜索结果将对应的若干幅图像的URL链接返回给用户。

6.一种基于内容的海量图像检索系统，其特征在于，所述系统包括：图像数据采集单元、图像特征提取单元、图像数据管理单元和用户查询单元，所述图像数据采集单元用于负责利用网站爬虫实时从互联网上搜集图像信息，将采集所述图像信息的URL资源链接发送至所述图像特征提取单元；所述图像特征提取单元根据所述URL资源链接获取图像数据，对所述图像数据进行特征提取，并将所提取的图像数据描述符编码保存至所述图像数据管理单元中的数据库；所述用户查询单元用于负责获取用户输入的源图像文件，对所述源图像文件进行特征提取分析并与所述数据库中图像数据描述符编码进行匹配，将排序在前的误差最小的若干幅图像数据特征结果作为搜索结果。

7.根据权利要求6所述的基于内容的海量图像检索系统，其特征在于，所述编码的位数为64个比特。