CN106126572A - 基于区域验证的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于区域验证的图像检索方法。其中，该方法可以包括分别提取图像库中的图像和待检索图像的局部特征和区域特征；根据图像库中图像的局部特征和区域特征来构建特征索引；确定待检索图像与图像库中图像之间的局部特征匹配对；再基于特征索引并利用第一区域特征和第二区域特征对局部特征匹配对进行验证，确定匹配得分；根据匹配得分，确定图像库中图像与待检索图像之间的相似度；根据相似度反馈检索结果。本发明实施例具有很好的普适性，能够弥补局部描述子用于图像检索时的不足，减少了图像中遮挡、杂质等干扰项的影响，提高了图像检索的准确度。

Description

基于区域验证的图像检索方法

技术领域

本发明实施例涉及多媒体内容检索技术领域，具体涉及一种基于区域验证的图像检索方法。

背景技术

近年来，随着互联网技术和数字媒体技术的飞速发展，互联网上可供使用的图像资源也越来越多。如何为用户快速地找到有利用价值的图片，成为了一个重要研究课题。早先的基于关键字查找图片的形式已经无法满足用户日益广泛的需求，基于图像视觉内容的检索方式渐渐成为主流方向。基于视觉内容的图像检索作为一种基本方法，已经用于商品识别与搜索、位置识别和三维重建等应用场景中。

现有的图像检索方法通常利用底层视觉特征进行匹配与检索。通过关键点(Keypoints)检测算法，可以找到图像中包含关键信息的兴趣点，这些关键点具有可重复性，也就是在进行一定的尺度变换、旋转、位移和视角变化等情况下，仍然可以重复检测出这些关键点。随后再利用一些描述方法，对关键点附近的一定范围内进行视觉信息描述，提取局部描述子(Local Descriptor)。图像之间的相似度关系就通过这些局部描述子的匹配来进行计算。

一幅图像通常可提取出数千个局部描述子，且描述子一般为浮点型，若是通过线性方式计算欧式距离来进行匹配，将会有相当高的计算复杂度。现有的图像检索算法多数通过词袋模型(Bag-of-Visual-Words,BoW)和倒排索引来提高检索效率。一个视觉词典会在独立数据集上被训练出来，局部描述子会被量化到其中距离最近的一个视觉单词上，如果两个局部描述子被量化到同一个视觉单词上，即可认为这两个局部描述子是相似的，从而构成一个匹配对。两幅图像的相似度一般可以通过这两幅图像的局部描述子的匹配对数来进行衡量。倒排索引表的引入可以使这种检索方式变得非常高效。

但这种基于词典模型的检索方法存在两个问题。一个问题是量化误差，也就是不相似的两个局部描述子被量化到同一个视觉单词上。另一个问题是局部描述子本身的信息量不够充分。局部描述子仅仅描述局部区块的视觉信息，即使两个局部描述子是相似的或者是一致的，也不代表它们就是一个正确的匹配对，如果往更大的区域观察的话，这两个描述子可能完全表示不同的内容。因此，这两个问题通常会导致错误的匹配。一种解决方式就是考虑更大的区域信息，通过关键点所处的更大的区域内容，来进行关键点的匹配验证。

区域验证的匹配方式最关键的要素是，如何选择合适的区域来进行关键点匹配验证。一种方式是考虑整幅图像的内容来进行验证，比如预测两幅图像之间的全局变换模型，如果某个关键点匹配对不满足这种变换模型，便从匹配集合中筛除。还有的方式将图像分成多个区域，直接指定某一个区域来进行关键点匹配验证。这些方法在一定情况下有效果，但在遇到图像有遮挡、杂质等干扰项的情况下，效果可能会很小，甚至还会降低关键点匹配的准确度。

有鉴于此，特提出本发明。

发明内容

本发明实施例的主要目的在于提供一种基于区域验证的图像检索方法，其至少部分地解决了如何提高图像检索准确度的技术问题。

为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：

一种基于区域验证的图像检索方法，该方法包括：

提取图像库中图像的第一局部特征和第一区域特征，并构建特征索引；

提取待检索图像的第二局部特征和第二区域特征；

基于所述第二局部特征和所述特征索引，确定所述待检索图像与所述图像库中图像之间的局部特征匹配对；

基于所述特征索引并利用所述第一区域特征和所述第二区域特征对所述局部特征匹配对进行验证，确定匹配得分；

根据所述匹配得分，确定所述图像库中图像与所述待检索图像之间的相似度；

根据所述相似度反馈检索结果。

优选地，所述提取图像库中图像的第一区域特征包括：

在L个尺度下对所述图像库中的各图像进行划分；其中，所述L表示尺度数量，并取正整数；

针对第l个尺度，将所述图像库中各图像分别划分为l×l个大小相同、有重叠且覆盖所述整幅图像的区域；其中，所述l表示尺度序号并取正整数；

针对各区域分别提取第一区域特征。

优选地，所述提取图像库中图像的第一局部特征具体包括：

检测所述图像库中各图像的关键点；

利用描述算法对所述关键点邻域的内容提取第一局部特征；

所述构建特征索引具体包括：

基于所述第一局部特征，构建局部特征库；

使用k-均值算法对所述局部特征库进行聚类，并设置聚类中心，建立词袋模型；

根据所述词袋模型，构建倒排索引表；

为所述图像库中各图像的所述关键点分配区域指示器；

将所述第一局部特征量化到距离最近的所述词袋模型的视觉单词上；

根据所述视觉单词所对应的所述倒排索引表中的位置，将所述关键点的属性信息存入所述倒排索引表；其中，所述属性信息包括图像标识符和所述区域指示器；

将所述第一区域特征编码成二值化区域特征；

分配存储空间并存储与所述第一区域特征对应的所述二值化区域特征；

基于所述倒排索引表和所述存储空间，构建特征索引。

优选地，所述提取待检索图像的第二区域特征具体包括：

在L个尺度下对所述待检索图像进行划分；其中，所述L表示尺度数量，并取正整数；

针对第l个尺度，将所述待检索图像分别划分为l×l个大小相同、有重叠且覆盖所述整幅图像的区域；其中，所述l表示尺度序号并取正整数；

针对各区域分别提取第二区域特征。

优选地，所述基于所述第二局部特征和所述特征索引，确定所述待检索图像与所述图像库中图像之间的局部特征匹配对，具体包括：

对所述第二局部特征进行量化，且量化到距离最近的视觉单词上，并遍历视觉单词所对应的倒排索引表；

确定所述待检索图像与所述图像库中某一图像之间的所述局部特征匹配对。

优选地，所述提取待检索图像的第二局部特征具体包括：

检测所述待检索图像的关键点；

利用描述算法对所述关键点邻域的内容提取第二局部特征；

所述基于所述特征索引并利用所述第一区域特征和所述第二区域特征对所述局部特征匹配对进行验证，确定匹配得分，具体包括：

为与所述第二局部特征相关的所述关键点分配区域指示器；

将所述第二区域特征编码成二值化区域特征；

根据与所述局部特征匹配对对应的两个关键点的区域指示器以及所述二值化区域特征，构建二值化区域特征集合；

根据以下公式，从所述二值化区域特征集合中查找最佳区域对：

$(m,n)=\arg \underset{i,j}{\min }h(p_i^x,p_j^y)$

其中，所述表示所述待检索图像中关键点x对应的二值化区域特征；所述表示所述图像库中某一图像中关键点y对应的二值化区域特征；所述x和所述y为所述局部特征匹配对；p_i表示二值化区域特征；所述i和j满足条件i∈[1,T_x],j∈[1,T_y]；所述T_x表示所述x所处的区域的个数；所述T_y表示所述y所处的区域的个数；所述m和所述n表示查找出的最佳区域对的标号；所述h(,)表示汉明距离的计算函数；

基于所述最佳区域对，根据以下公式，进行区域验证，计算匹配得分：

$s(x,y)=1+\exp (-d^5/{\mathrm{\σ}}^5),d=h(p_m^x,p_n^y)$

其中，所述s(x,y)表示匹配分数；所述m和所述n表示查找出的最佳区域对的标号；所述σ表示可调参数。

优选地，所述根据所述匹配得分，确定所述图像库中图像与所述待检索图像之间的相似度，具体包括：

将所述匹配得分进行累加，得到总得分，并将所述总得分作为所述图像库中图像与所述待检索图像之间的相似度。

优选地，所述根据所述相似度反馈检索结果具体包括：

对所述相似度按照由大到小的顺序排序；

按照所述顺序反馈检索结果。

与现有技术相比，上述技术方案至少具有以下有益效果：

本发明实施例通过分别提取图像库中的图像和待检索图像的局部特征和区域特征，然后，根据图像库中图像的局部特征和区域特征来构建特征索引；接着确定待检索图像与图像库中图像之间的局部特征匹配对；再基于特征索引并利用第一区域特征和第二区域特征对局部特征匹配对进行验证，确定匹配得分；根据匹配得分，确定图像库中图像与待检索图像之间的相似度；最后，根据相似度反馈检索结果。上述技术方案在检索阶段，对于每个预匹配的局部特征对，根据查询情况会自适应地选择最合适区域作为验证线索，来对局部特征的匹配进行验证，可以尽量地减少图像中遮挡、杂质等干扰项的影响，从而提高关键点(或是局部特征)的匹配精度，进而提高了图像检索的准确度。在增加少量的存储空间和检索时间情况下，实现了比较精确的图像检索任务。

当然，实施本发明的任一产品不一定需要同时实现以上所述的所有优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明书、权利要求书以及附图中所特别指出的方法来实现和获得。

附图说明

附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：

图1为根据一示例性实施例示出的基于区域验证的图像检索方法的流程示意图；

图2为根据另一示例性实施例示出的查找最佳区域对的示意图；

图3为根据一示例性实施例示出的用以展现所选择的区域对可以有效辨别关键点匹配质量的示意图；

图4为根据一示例性实施例示出的对示例图像进行检索的结果示意图。

这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。

需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。

还需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。

本发明实施例提供一种基于区域验证的图像检索方法。如图1所示，该方法可以包括：步骤S100至步骤S150。

S100：提取图像库中图像的第一局部特征和第一区域特征，并构建特征索引。

其中，提取图像库中图像的第一局部特征具体可以包括步骤S101至步骤S102。

S101：检测图像库中各图像的关键点。

S102：利用描述算法对关键点邻域的内容提取第一局部特征。

其中，本发明实施例可以采用海森仿射不变检测子(Hessian-Affine Detector)方法来检测关键点。

上述步骤中提取的第一局部特征也即局部描述子。本发明实施例提取局部特征，用来描述一块区域，使其具有高区分度。优选地，局部描述子可以是SIFT描述子。SIFT描述子具有比较好的尺度与旋转不变性。每幅图像库中的图像提取到的局部特征数量由所采用的算法和图像内容自动决定。本步骤中涉及到的邻域的大小由描述算法(例如：SIFT算法)决定。提取关键点后，每一个关键点都有一个尺度值；而领域的大小为这个尺度值的固定倍数，例如，邻域可以是边长为尺度值六倍的方形区域。

其中，提取图像库中图像的第一区域特征包括步骤S103至步骤S105。

S103：在L个尺度下对图像库中的各图像进行划分。其中，L表示尺度数量，并取正整数。

S104：针对第l个尺度，将所述图像库中各图像分别划分为l×l个大小相同、有重叠且覆盖整幅图像的区域；其中，l表示尺度序号并取正整数。

具体地，针对第l个尺度，将图像库中的图像划分为l×l个大小相同、有重叠且能覆盖整幅图像的区域，则对于图像库中的每一幅图像，划分为G个区域。其中，l表示尺度序号并取正整数。G表示每一幅图像的区域数量且取正整数。

本发明实施例将图像库中的图像在多个尺度下进行分割，每个尺度下划分成多个大小一样的重叠的区域，将这些区域作为用于验证关键点匹配质量的候选选项。

作为示例，假设L取4，则每个尺度下划分的区域个数分别为1×1,2×2,3×3,4×4，所以，每幅图像最终划分成30个区域。

S105：针对各区域分别提取第一区域特征。

其中，针对G个区域中的每一个提取第一区域特征。该第一区域特征可以是描述区域整体视觉信息的特征。

在一个优选的实施例中，描述区域整体视觉信息的特征可以为HSV颜色直方图特征。在实际实施过程中，可以使用1000维的HSV颜色直方图特征。如果将图像划分为30个区域，则可以得到30个HSV颜色直方图特征。进一步地，本发明实施例可以采用局部敏感哈希(LSH)方法对HSV颜色直方图特征进行二值化，编码成二值化区域特征。

构建特征所引步骤具体可以包括步骤a1至步骤a9。

步骤a1：基于所述第一局部特征，构建局部特征库。

具体地，对图像库中所有图像提取局部特征，构建局部特征库。其中，图像库为独立的图像库，其用于训练数据，不作为检索图像库。

步骤a2：使用k-均值算法对第一局部特征库进行聚类，并设置聚类中心，建立词袋模型。

其中，k-均值算法即k-means算法。

需要说明的是，上述步骤a1和步骤a2可以是独立的步骤。在实际实施过程中，可以选取一个独立的数据集，来提取局部特征(例如，可以是SIFT特征)，通常其数量为几百万或上千万。利用k均值进行聚类，得到聚类中心，可以设置聚类中心为20000，每一个聚类中心即视为一个视觉单词，可以得到一个大小为20000的视觉词汇表。

步骤a3：根据词袋模型，构建倒排索引表。

步骤a4：为图像库中各图像的关键点分配区域指示器。

通过本步骤可以确定关键点所在的区域。

其中，区域指示器中的每一个比特对应一个区域，关键点处在哪些区域中，则相应的比特位置为1，其他比特位为0。例如：某一个关键点位于区域1、2、6、15中，则对应的区域指示器为110001000000001000000000000000。该区域指示器中1的个数表示该关键点所处的区域的个数。

步骤a5：将第一局部特征量化到距离最近的词袋模型的视觉单词上。

示例性地，如果将第一局部特征量化到视觉单词i上，则量化后的局部特征都需要存入视觉单词i所对应的倒排索引表中。

步骤a6：根据视觉单词所对应的倒排索引表中的位置，将关键点的属性信息存入倒排索引表；其中，属性信息包括图像标识符和区域指示器。

其中，图像标识符为图像库中图像的编号，其起始编号是1，最大编号为图像库中图像个数。

步骤a7：将第一区域特征编码成二值化区域特征。

步骤a8：分配存储空间并存储与第一区域特征对应的二值化区域特征。

作为示例，假设每个图像固定选取30个区域，那么就会有30个区域特征，然后，根据30个区域特征乘以图像库中图像的数量之积就可以确定存储空间的大小了。

步骤a9：基于倒排索引表和存储区域特征的存储空间，构建特征索引。

上述构建特征索引的目的是将图像库中图像的局部特征和区域特征入库。

需要说明的是，可以在将上述属性信息存入倒排索引表的同时将图像库中每幅图像的二值化区域特征依次存储到存储空间中。例如：在将图像库中图像的区域特征二值化成128比特以及将图像库中图像的局部特征量化到距离最佳(例如：其可以是距离最近的情况)的视觉单词上时，查找该视觉单词所对应的倒排索引表中的位置，将属性信息(其包括图像标识符和区域指示器)存入到倒排索引表中；同时，依次将图像库中每幅图像的二值化区域特征(例如：对于图像库中的每幅图像提取了30个128比特的二值化区域特征)，存入存储空间；例如：先存入第一幅图像的30个128bit的二值化区域特征，然后再存入第二幅图像的30个128bit的二值化区域特征……以此类推。

在查询检索阶段，待检索图像的局部特征(即第二局部特征)以及区域特征(即第二区域特征)是用来当作查询线索使用的，也就是通过第二局部特征去做检索，因此待检索图像的特征(包括局部特征、关键点区域指示器、区域特征)是不需要存储的。

S110：提取待检索图像的第二局部特征和第二区域特征。

本步骤与提取图像库中图像的第一局部特征和第一区域特征所采用的方法相同，在此不再赘述。

S120：基于第二局部特征，确定待检索图像与图像库中图像之间的局部特征匹配对。

具体地，本步骤可以包括步骤S121至步骤S122。

S121：对第二局部特征进行量化，且量化到距离最近的视觉单词上，并遍历视觉单词所对应的倒排索引表。

本步骤就是对待检索图像的关键点的第二局部特征进行量化，且量化到距离最近的视觉单词上，然后遍历视觉单词所对应的倒排索引表。

例如：对于待检索图像中的一个关键点x的局部特征SIFT进行量化，将其量化到距离最近的视觉单词w上。w所对应的倒排索引表存储的每一个关键点都视为关键点x的近似最近邻，即与关键点x预匹配成功。

S122：确定待检索图像与图像库中某一图像之间的局部特征匹配对。

本步骤基于上述步骤S121，构建待检索图像的关键点与图像库中某一图像的关键点之间的预匹配关键点对。该预匹配关键点对即为局部特征匹配对。

例如：对于来自待检索图像的关键点x以及图像库中某一个图像的关键点y，如果这两个关键点按照上述步骤预匹配成功，则可以构成一个预匹配点对＜x,y＞。

S130：基于特征索引并利用第一区域特征和第二区域特征对局部特征匹配对进行验证，确定匹配得分。

具体地，本步骤可以包括步骤S131至步骤S135

S131：为与第二局部特征相关的各关键点分配区域指示器。

S132：将第二区域特征编码成二值化区域特征。

由于图像库中的区域特征(即第一区域特征)已经被存储到上述独立的存储空间中，因此在查询检索阶段不需要对图像库中的区域特征进行处理，直接从特征索引中读取即可。

在一个优选的实施例中，将每个图像所有区域的HSV颜色直方图特征编码成二值化区域特征。

在另一个优选的实施例中，使用局部敏感哈希(LSH)方法将所有区域的HSV颜色直方图特征编码成二值化区域特征。

示例性地，若将一幅图像划分为30个区域，则将30个区域的HSV颜色直方图特征编码成128比特的二值化区域特征。

S133：根据与局部特征匹配对对应的两个关键点的区域指示器以及二值化区域特征，构建两个二值化区域特征集合。

在实际实施过程中，根据预匹配点对中的两个关键点的区域指示器，从存储了区域特征的存储空间中读取二值化的第一区域特征，构建二值化区域特征集合。

S134：根据以下公式，从二值化区域特征集合中查找最佳区域对：

$(m,n)=\arg \underset{i,j}{\min }h(p_i^x,p_j^y)$

其中，表示待检索图像中关键点x对应的二值化区域特征集合；表示图像库中某一图像中关键点y对应的二值化区域特征集合；x和y为局部特征匹配对；p_i表示二值化区域特征；i∈[1,T_x],j∈[1,T_y]；T_x表示x所处的区域的个数；T_y表示y所处的区域的个数；m和n表示查找出的最佳区域对的标号；h(,)表示汉明距离的计算函数。

最佳区域对也就是最相似的一对区域，记为

如图2所示，其中实线连接了一对预匹配的关键点(预匹配点)，图像中的矩形框分别是关键点所处的区域，这些区域根据步骤S103和步骤S104生成。其中的实线矩形框是根据步骤S134得到的最佳区域对，该区域对的区域特征用来进一步验证预匹配的关键点对的质量。

图3示例性地示出了用以展现所选择的区域对可以有效辨别关键点匹配质量的示意图。该图显示了预匹配点对所对应的最佳区域对的二值区域特征之间的汉明距离分布情况。由图3可以看出，如果一对关键点是真正的匹配项(真正例)，那么它所对应的最佳区域对有比较小的汉明距离。由此，可以利用此汉明距离来区分该关键点对(预匹配点对)是不是真正的匹配项。

S135：基于最佳区域对，根据以下公式，进行区域验证，计算匹配得分：

$s(x,y)=1+\exp (-d^5/{\mathrm{\σ}}^5),d=h(p_m^x,p_n^y)$

其中，s(x,y)表示匹配分数；m和n表示查找出的最佳区域对的标号；σ表示可调参数，优选地，σ取50。

在本步骤中，所得到的匹配得分即预匹配点对的匹配得分。如果预匹配点对有较好的匹配质量(也就是这个关键点对很有可能是一个真正的匹配对)，则根据s(x,y)可知这个关键点对将会获得一个较高的得分。这样，每个关键点对都会有一个匹配得分。

S140：根据所述匹配得分，确定所述图像库中图像与所述待检索图像之间的相似度。

具体地，本步骤可以包括将匹配得分进行累加，得到总得分，并将总得分作为所述图像库中图像与所述待检索图像之间的相似度。

在一个优选的实施例中，本步骤可以包括：将预匹配点对的匹配分数累加至该预匹配点对中图像库中图像的关键点所对应的图像计分器中，计算图像库中图像的总得分，并将该总得分作为图像库中图像与待检索图像的相似度。

S150：根据相似度反馈检索结果。

具体地，本步骤可以包括步骤S152至步骤S154。

S152：对相似度按照由大到小的顺序排序。

S154：按照顺序反馈检索结果。

图4为根据本发明一示例性实施例示出的对示例图像进行检索的结果示意图。其中，虚线左侧的上、中、下三幅图为待检索图像。虚线右侧的图像为从图像库中按照相似度由大到小的顺序反馈的检索结果。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序来执行，这些简单的变化都在本发明的保护范围之内。

以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。

需要说明的是，本文中涉及到的流程图或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。

还需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。

再需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

如本文中所使用的，术语“模块”可以指代在计算系统上执行的软件对象或例程。可以将本文中所描述的不同模块实现为在计算系统上执行的对象或过程(例如，作为独立的线程)。虽然优选地以软件来实现本文中所描述的系统和方法，但是以硬件或者软件和硬件的组合的实现也是可以的并且是可以被设想的。

本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。

本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于区域验证的图像检索方法，其特征在于，所述方法至少包括：

提取图像库中图像的第一局部特征和第一区域特征，并构建特征索引；

提取待检索图像的第二局部特征和第二区域特征；

基于所述第二局部特征和所述特征索引，确定所述待检索图像与所述图像库中图像之间的局部特征匹配对；

基于所述特征索引并利用所述第一区域特征和所述第二区域特征对所述局部特征匹配对进行验证，确定匹配得分；

根据所述匹配得分，确定所述图像库中图像与所述待检索图像之间的相似度；

根据所述相似度反馈检索结果。

2.根据权利要求1所述的方法，其特征在于，所述提取图像库中图像的第一区域特征包括：

在L个尺度下对所述图像库中的各图像进行划分；其中，所述L表示尺度数量，并取正整数；

针对第l个尺度，将所述图像库中各图像分别划分为l×l个大小相同、有重叠且覆盖所述整幅图像的区域；其中，所述l表示尺度序号并取正整数；

针对各区域分别提取第一区域特征。

3.根据权利要求1所述的方法，其特征在于：

所述提取图像库中图像的第一局部特征具体包括：

检测所述图像库中各图像的关键点；

利用描述算法对所述关键点邻域的内容提取第一局部特征；

所述构建特征索引具体包括：

基于所述第一局部特征，构建局部特征库；

使用k-均值算法对所述局部特征库进行聚类，并设置聚类中心，建立词袋模型；

根据所述词袋模型，构建倒排索引表；

为所述图像库中各图像的所述关键点分配区域指示器；

将所述第一局部特征量化到距离最近的所述词袋模型的视觉单词上；

根据所述视觉单词所对应的所述倒排索引表中的位置，将所述关键点的属性信息存入所述倒排索引表；其中，所述属性信息包括图像标识符和所述区域指示器；

将所述第一区域特征编码成二值化区域特征；

分配存储空间并存储与所述第一区域特征对应的所述二值化区域特征；

基于所述倒排索引表和所述存储空间，构建特征索引。

4.根据权利要求1所述的方法，其特征在于，所述提取待检索图像的第二区域特征具体包括：

在L个尺度下对所述待检索图像进行划分；其中，所述L表示尺度数量，并取正整数；

针对第l个尺度，将所述待检索图像分别划分为l×l个大小相同、有重叠且覆盖所述整幅图像的区域；其中，所述l表示尺度序号并取正整数；

针对各区域分别提取第二区域特征。

5.根据权利要求3所述的方法，其特征在于，所述基于所述第二局部特征和所述特征索引，确定所述待检索图像与所述图像库中图像之间的局部特征匹配对，具体包括：

对所述第二局部特征进行量化，且量化到距离最近的视觉单词上，并遍历视觉单词所对应的倒排索引表；

确定所述待检索图像与所述图像库中某一图像之间的所述局部特征匹配对。

6.根据权利要求5所述的方法，其特征在于：

所述提取待检索图像的第二局部特征具体包括：

检测所述待检索图像的关键点；

利用描述算法对所述关键点邻域的内容提取第二局部特征；

所述基于所述特征索引并利用所述第一区域特征和所述第二区域特征对所述局部特征匹配对进行验证，确定匹配得分，具体包括：

为与所述第二局部特征相关的所述关键点分配区域指示器；

将所述第二区域特征编码成二值化区域特征；

根据与所述局部特征匹配对对应的两个关键点的区域指示器以及所述二值化区域特征，构建二值化区域特征集合；

根据以下公式，从所述二值化区域特征集合中查找最佳区域对：

$(m,n)=\arg \underset{i,j}{\min }h(p_i^x,p_j^y)$

其中，所述表示所述待检索图像中关键点x对应的二值化区域特征；所述表示所述图像库中某一图像中关键点y对应的二值化区域特征；所述x和所述y为所述局部特征匹配对；p_i表示二值化区域特征；所述i和所述j满足条件:i∈[1,T_x],j∈[1,T_y]；所述T_x表示所述x所处的区域的个数；所述T_y表示所述y所处的区域的个数；所述m和所述n表示查找出的最佳区域对的标号；所述h(,)表示汉明距离的计算函数；

基于所述最佳区域对，根据以下公式，进行区域验证，计算匹配得分：

$s(x,y)=1+\exp (-d^5/{\mathrm{\σ}}^5),d=h(p_m^x,p_n^y)$

其中，所述s(x,y)表示匹配分数；所述m和所述n表示查找出的最佳区域对的标号；所述σ表示可调参数。

7.根据权利要求6所述的方法，其特征在于，所述根据所述匹配得分，确定所述图像库中图像与所述待检索图像之间的相似度，具体包括：

将所述匹配得分进行累加，得到总得分，并将所述总得分作为所述图像库中图像与所述待检索图像之间的相似度。

8.根据权利要求7所述的方法，其特征在于，所述根据所述相似度反馈检索结果具体包括：

对所述相似度按照由大到小的顺序排序；

按照所述顺序反馈检索结果。