CN108121806A - 一种基于局部特征匹配的图像搜索方法及系统 - Google Patents

Abstract

本发明公开一种基于局部特征匹配的图像搜索方法及系统，该方法包括预处理多幅搜索图像和一幅查询图像，获得多个预处理搜索图像和一个预处理查询图像；分别提取所述多个预处理搜索图像的局部特征和一个所述预处理查询图像的局部特征，获得搜索局部特征和查询局部特征；根据所述搜索局部特征获得哈希码索引库和哈希函数；将所述查询局部特征通过哈希函数计算对应的哈希码，获得查询哈希码；将所述查询哈希码与所述哈希码索引库匹配，计算所述查询图像与多幅所述搜索图像的相似度值；将所述相似度值按照降序排序，获取前N个相似度值对应的所述搜索图像。通过对查询图像的局部特征进行提取，通过哈希函数进行图像的编码匹配，提高了图像搜索的效率。

Description

一种基于局部特征匹配的图像搜索方法及系统

技术领域

本发明涉及图像搜索领域，特别是涉及一种基于局部特征匹配的图像搜索方法及系统。

背景技术

21世纪是数据信息时代，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域，由此而衍生的各类数据呈爆炸式地增长使得传统的分析手段已无法进行有效的数据分析。

智能图像搜索是利用图像处理技术和人工智能技术对图像进行处理、理解和分析，以便于检测和识别图像中的内容。

目前图像的搜索系统可以划分为两类：(1)基于属性组合的检索，将图像提供的颜色、形状、纹理的特征，然后将特征作为图像的属性，通过属性的组合进行查询与搜索；(2)基于可是词组的图像搜索，通过对图像提取特征，然后利用聚类方法将特征转化为可视词组，利用文本检索的相关索引技术，进行图像的搜索。

基于属性组合的检索的方法是粗粒度的，不能完全刻画图像的结构，因此搜索的结果存在大量的噪声，而正确的搜索结果无法找到，即使找到，也常常被淹没在大量噪音之中，用户不得不花费很多时间从中确定正确的结果，查询的效率低。

基于可视词组的视频搜索方法，首先是对视频图像检索，而不是针对视频对象级的，其次，由于聚类中心个数不可能设置过大，导致转化的词组不够精确，辨识力不足，因此返回大量的查询结果，存在大量的噪声，查询的效率低。

发明内容

本发明的目的是提供一种能够提高查询效率的基于局部特征匹配的图像搜索方法及系统。

为实现上述目的，本发明提供了如下方案：

一种基于局部特征匹配的图像搜索方法，所述搜索方法具体包括：

采集多幅搜索图像和一幅查询图像；

预处理所述多幅搜索图像和所述一幅查询图像，获得多个预处理搜索图像和一个预处理查询图像；

分别提取所述多个预处理搜索图像的局部特征和一个所述预处理查询图像的局部特征，获得搜索局部特征和查询局部特征；

根据所述搜索局部特征获得哈希码索引库和哈希函数；

将所述查询局部特征通过所述哈希函数计算对应的哈希码，获得查询哈希码；

将所述查询哈希码与所述哈希码索引库匹配，计算所述查询图像与多幅所述搜索图像的相似度值；

将所述相似度值按照降序排序，获取前N个相似度值对应的所述搜索图像。

可选的，所述根据所述搜索局部特征获得哈希码索引库和哈希函数具体包括：

根据所述搜索局部特征生成对应的哈希码，获得搜索哈希码；

将所述搜索哈希码存储到哈希码集合，获得哈希码索引库；

根据所述搜索局部特征和所述搜索哈希码构建哈希函数。

可选的，所述根据所述搜索局部特征和所述搜索哈希码构建哈希函数具体包括：

所述搜索局部特征X＝[x₁,x₂,x₃,......，x_n]，所述哈希码集合

Y＝[y₁,y₂,y₃,......，y_n]；

其中，x_i表示第i个局部特征，y_i表示第i个哈希码，i的取值为1,2,3，......，n，n为所述搜索局部特征中局部特征的数量；

所述哈希函数P满足公式

其中，0≤λ≤1，为正则项，I_m表示单位矩阵，L＝I-A，

其中，N_k(x_j)表示与第j个局部特征距离最近的k个局部特征集合，N_k(x_i)表示与第i个局部特征距离最近的k个局部特征集合，I表示单位矩阵。

可选的，所述局部特征具体包括：尺度不变特征、加速健壮特征、方向梯度直方图特征、环形方向梯度直方图特征中的至少一者。

可选的，所述预处理所述多幅搜索图像和所述一幅查询图像具体包括：

对所述多幅搜索图像和所述一幅查询图像进行图像变换，获得多个搜索变换图像和一个查询变换图像；

将所述多个搜索变换图像和所述一个查询变换图像进行图像增强处理，获得多个预处理搜索图像和一个预处理查询图像。

为了实现上述目的，本发明还提供了如下方案：

一种基于局部特征匹配的图像搜索系统，所述搜索系统具体包括：

图像采集模块，用于采集多幅搜索图像和一幅查询图像；

预处理模块与所述图像采集模块连接，所述预处理模块用于预处理所述多幅搜索图像和所述一幅查询图像，获得多个预处理搜索图像和一个预处理查询图像；

特征提取模块与所述预处理模块连接，所述特征提取模块用于分别提取所述多个预处理搜索图像的局部特征和一个所述预处理查询图像的局部特征，获得搜索局部特征和查询局部特征；

哈希模块与所述特征提取模块连接，所述哈希模块用于根据所述搜索局部特征获得哈希码索引库和哈希函数；

查询哈希码获取模块与所述哈希模块连接，所述查询哈希码获取模块用于将所述查询局部特征通过哈希函数计算对应的哈希码，获得查询哈希码；

搜索模块分别与所述哈希模块和所述查询哈希码获取模块连接，所述搜索模块用于将所述查询哈希码与所述哈希码索引库匹配，计算所述查询图像与多幅所述搜索图像的相似度值，将所述相似度值按照降序排序，获取前L个相似度值对应的所述搜索图像。

可选的，所述哈希模块具体包括：

搜索哈希码获取单元与所述特征提取模块连接，所述搜索哈希码获取单元用于根据所述搜索局部特征生成对应的哈希码，获得搜索哈希码；

存储单元与所述搜索哈希码获取单元连接，所述存储单元用于将所述搜索哈希码存储到哈希码集合，获得所述哈希码索引库；

哈希函数单元与所述查询哈希码获取模块连接，所述哈希函数单元用于根据所述搜索局部特征和所述搜索哈希码构建哈希函数，并将所述哈希函数发送至所述查询哈希码获取模块。

可选的，所述预处理模块具体包括：

图像变换单元与所述图像采集模块连接，所述图像变换单元用于对所述多幅搜索图像和所述一幅查询图像进行图像变换，获得多个搜索变换图像和一个查询变换图像；

图像增强单元分别与所述特征提取模块和所述图像变换单元连接，所述图像增强单元用于将所述多个搜索变换图像和所述一个查询变换图像进行图像增强处理，获得多个预处理搜索图像和一个预处理查询图像，并将所述多个预处理搜索图像和一个预处理查询图像发送至所述特征提取模块。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于局部特征匹配的图像搜索方法及系统，该方法包括分别提取搜索图像和查询图像的局部特征，根据所述搜索图像的局部特征获得哈希码索引库和哈希函数，将所述查询图像的局部特征根据哈希函数获得对应的查询哈希码，再将得出的查询哈希码与所述哈希码索引库匹配，最后输出多个与所述查询图像匹配的所述搜索图像，采用哈希码索引库和哈希函数，保证了图像搜索与匹配的准确度的同时，提高了图像搜索的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于局部特征匹配的图像搜索方法的流程图；

图2为本发明根据所述搜索局部特征获得哈希码索引库和哈希函数的具体流程图；

图3为本发明基于局部特征匹配的图像搜索系统的结构图；

图4为哈希码图像搜索过程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种能够提高查询效率的基于局部特征匹配的图像搜索方法及系统。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示的一种基于局部特征匹配的图像搜索方法的流程图，所述搜索方法具体包括：

步骤100：采集多幅搜索图像和一幅查询图像。

步骤200：预处理所述多幅搜索图像和所述一幅查询图像，获得多个预处理搜索图像和一个预处理查询图像。

步骤300：分别提取所述多个预处理搜索图像的局部特征和一个所述预处理查询图像的局部特征，获得搜索局部特征和查询局部特征。

步骤400：根据所述搜索局部特征获得哈希码索引库和哈希函数，将多个高维的搜索局部特征进行哈希计算生成低维的二值哈希表。

步骤500：将所述查询局部特征通过所述哈希函数计算对应的哈希码，获得查询哈希码。

步骤600：将所述查询哈希码与所述哈希码索引库匹配，计算所述查询图像与多幅所述搜索图像的相似度值，对搜索到的多幅匹配图像进行统计，重复出现率越高表示所述相似度值越高。

步骤700：将所述相似度值按照降序排序，获取前L个相似度值对应的所述搜索图像。

通过智能搜索的方法，提高了搜索系统的可靠性，通过利用鲁棒的局部特征，能够在所述出巡图像被部分遮挡、由于镜头远近导致尺寸变化的情况下，有效搜索出所述查询图像在不同视角不同位置的摄像头所拍摄的图像中出现的位置，从而为分析查询图像节约了大量的人力及时间成本。

引入优化理论和机器学习的知识，将局部特征的高维数据转化为保留大量语义信息的低维哈希码，一方面，保留的大量语义信息保证了搜索的精确度，另一方面，低维哈希码的构造使得搜索和匹配的过程中只需要计算二值哈希码之间的汉明距离，比采用欧氏距离的计算方式快，使本发明的搜索方法具有很高的效率。

本发明的搜索系统的成本低，需要的存储空间小于原始图像所占的空间，一般现有的图像搜索服务器就能够实现，不需要再额外加配置硬件。

如图2所示的所述根据所述搜索局部特征获得哈希码索引库和哈希函数具体流程图，所述步骤500具体包括：

步骤501：根据所述搜索局部特征生成对应的哈希码，获得搜索哈希码。

步骤502：将所述搜索哈希码存储到哈希码集合，获得哈希码索引库。

步骤503：根据所述搜索局部特征和所述搜索哈希码构建哈希函数。

如图4所示的哈希码集合中包含哈希码表，将这些哈希码存储到哈希码索引库中。

所述根据所述搜索局部特征和所述搜索哈希码构建哈希函数具体包括：

所述搜索局部特征X＝[x₁,x₂,x₃,......，x_n]，所述哈希码集合

Y＝[y₁,y₂,y₃,......，y_n]；

其中，x_i表示第i个局部特征，y_i表示第i个哈希码，i的取值为1,2,3，......，n，n为所述搜索局部特征中局部特征的数量；

所述哈希函数P满足公式

其中，0≤λ≤1，为正则项，I_m表示单位矩阵，L＝I-A

其中，N_k(x_j)表示与第j个局部特征距离最近的k个局部特征集合，N_k(x_i)表示与第i个局部特征距离最近的k个局部特征集合，k的取值范围为5～25，I表示单位矩阵。

所述局部特征具体包括：尺度不变特征、加速健壮特征、方向梯度直方图特征、环形方向梯度直方图特征中的至少一者。

所述预处理所述多幅搜索图像和所述一幅查询图像具体包括：

对所述多幅搜索图像和所述一幅查询图像进行图像变换，获得多个搜索变换图像和一个查询变换图像。

为了从图像中获取重要的信息，对图像进行数学变换，使得变换后的图像更适合进行所需要的处理和操作。

将所述多个搜索变换图像和所述一个查询变换图像进行图像增强处理，获得多个预处理搜索图像和一个预处理查询图像。

图像增强的目标是改善图像的质量，削弱或消除无关信息，从而有目的地强调图像的整体或局部特征，使观察者更加直接、清晰地分析信息。

为了实现上述目的，本发明还提供了如下方案：

如图3一种基于局部特征匹配的图像搜索系统的结构图所示，所述搜索系统具体包括：

图像采集模块1，用于采集多幅搜索图像和一幅查询图像。

预处理模块2与所述图像采集模块1连接，所述预处理模块2用于预处理所述多幅搜索图像和所述一幅查询图像，获得多个预处理搜索图像和一个预处理查询图像。

特征提取模块3与所述预处理模块2连接，所述特征提取模块3用于分别提取所述多个预处理搜索图像的局部特征和一个所述预处理查询图像的局部特征，获得搜索局部特征和查询局部特征。

哈希模块4与所述特征提取模块3连接，所述哈希模块4用于根据所述搜索局部特征获得哈希码索引库和哈希函数。

查询哈希码获取模块6与所述哈希模块4连接，所述查询哈希码获取模块5用于将所述查询局部特征通过哈希函数计算对应的哈希码，获得查询哈希码。

搜索模块5分别与所述哈希模块4和所述查询哈希码获取模块6连接，所述搜索模块5用于将所述查询哈希码与所述哈希码索引库匹配，计算所述查询图像与多幅所述搜索图像的相似度值，将所述相似度值按照降序排序，获取前L个相似度值对应的所述搜索图像。

为了实现两幅包含相同对象的不同图像的匹配，需要找到图像中的一些“稳定点”，这些点不会因为视角的改变、光照的变化、噪音的干扰而消失，如果两幅图像中有相同的对象，那么这些稳定点就会在两幅图像中相同对象上同时出现，从而实现匹配。

所述哈希模块4具体包括：

搜索哈希码获取单元41与所述特征提取模块3连接，所述搜索哈希码获取单元41用于根据所述搜索局部特征生成对应的哈希码，获得搜索哈希码。

存储单元42与所述搜索哈希码获取单元41连接，所述存储单元42用于将所述搜索哈希码存储到哈希码集合，获得所述哈希码索引库。

哈希函数单元43与所述查询哈希码获取模块6连接，所述哈希函数单元43用于根据所述搜索局部特征和所述搜索哈希码构建哈希函数，并将所述哈希函数发送至所述查询哈希码获取模块。

所述预处理模块2具体包括：

图像变换单元与所述图像采集模块1连接，所述图像变换单元用于对所述多幅搜索图像和所述一幅查询图像进行图像变换，获得多个搜索变换图像和一个查询变换图像。

图像增强单元分别与所述特征提取模块3和所述图像变换单元连接，所述图像增强单元用于将所述多个搜索变换图像和所述一个查询变换图像进行图像增强处理，获得多个预处理搜索图像和一个预处理查询图像，并将所述多个预处理搜索图像和一个预处理查询图像发送至所述特征提取模块。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于局部特征匹配的图像搜索方法，其特征在于，所述搜索方法具体包括：

采集多幅搜索图像和一幅查询图像；

预处理所述多幅搜索图像和所述一幅查询图像，获得多个预处理搜索图像和一个预处理查询图像；

分别提取所述多个预处理搜索图像的局部特征和一个所述预处理查询图像的局部特征，获得搜索局部特征和查询局部特征；

根据所述搜索局部特征获得哈希码索引库和哈希函数；

将所述查询局部特征通过所述哈希函数计算对应的哈希码，获得查询哈希码；

将所述查询哈希码与所述哈希码索引库匹配，计算所述查询图像与多幅所述搜索图像的相似度值；

将所述相似度值按照降序排序，获取前N个相似度值对应的所述搜索图像。

2.根据权利要求1所述的一种基于局部特征匹配的图像搜索方法，其特征在于，所述根据所述搜索局部特征获得哈希码索引库和哈希函数具体包括：

根据所述搜索局部特征生成对应的哈希码，获得搜索哈希码；

将所述搜索哈希码存储到哈希码集合，获得哈希码索引库；

根据所述搜索局部特征和所述搜索哈希码构建哈希函数。

3.根据权利要求2所述的一种基于局部特征匹配的图像搜索方法，其特征在于，所述根据所述搜索局部特征和所述搜索哈希码构建哈希函数具体包括：

所述搜索局部特征X＝[x₁,x₂,x₃,......，x_n]，所述哈希码集合

Y＝[y₁,y₂,y₃,......，y_n]；

其中，x_i表示第i个局部特征，y_i表示第i个哈希码，i的取值为1,2,3，......，n，n为所述搜索局部特征中局部特征的数量；

所述哈希函数P满足公式

<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>p</mi> </munder> <mi>T</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mi>T</mi> </msup> <msup> <mi>XLX</mi> <mi>T</mi> </msup> <mi>P</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>T</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mi>T</mi> </msup> <mo>(</mo> <mrow> <msub> <mi>I</mi> <mi>m</mi> </msub> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mrow> <msup> <mi>XX</mi> <mi>T</mi> </msup> <mo>+</mo> <msub> <mi>&amp;mu;I</mi> <mi>m</mi> </msub> </mrow> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>XAX</mi> <mi>T</mi> </msup> </mrow> <mo>)</mo> <mi>P</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;lambda;</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> <mi>P</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>,</mo> </mrow>

其中，0≤λ≤1，为正则项，I_m表示单位矩阵，L＝I-A，

其中，N_k(x_j)表示与第j个局部特征距离最近的k个局部特征集合，N_k(x_i)表示与第i个局部特征距离最近的k个局部特征集合，I表示单位矩阵。

4.根据权利要求1所述的一种基于局部特征匹配的图像搜索方法，其特征在于，所述局部特征具体包括：尺度不变特征、加速健壮特征、方向梯度直方图特征、环形方向梯度直方图特征中的至少一者。

5.根据权利要求1所述的一种基于局部特征匹配的图像搜索方法，其特征在于，所述预处理所述多幅搜索图像和所述一幅查询图像具体包括：

对所述多幅搜索图像和所述一幅查询图像进行图像变换，获得多个搜索变换图像和一个查询变换图像；

将所述多个搜索变换图像和所述一个查询变换图像进行图像增强处理，获得多个预处理搜索图像和一个预处理查询图像。

6.一种基于局部特征匹配的图像搜索系统，其特征在于，所述搜索系统具体包括：

图像采集模块，用于采集多幅搜索图像和一幅查询图像；

预处理模块与所述图像采集模块连接，所述预处理模块用于预处理所述多幅搜索图像和所述一幅查询图像，获得多个预处理搜索图像和一个预处理查询图像；

特征提取模块与所述预处理模块连接，所述特征提取模块用于分别提取所述多个预处理搜索图像的局部特征和一个所述预处理查询图像的局部特征，获得搜索局部特征和查询局部特征；

哈希模块与所述特征提取模块连接，所述哈希模块用于根据所述搜索局部特征获得哈希码索引库和哈希函数；

查询哈希码获取模块分别与所述特征提取模块和所述哈希模块连接，所述查询哈希码获取模块用于将所述查询局部特征通过哈希函数计算对应的哈希码，获得查询哈希码；

搜索模块分别与所述哈希模块和所述查询哈希码获取模块连接，所述搜索模块用于将所述查询哈希码与所述哈希码索引库匹配，计算所述查询图像与多幅所述搜索图像的相似度值，将所述相似度值按照降序排序，获取前L个相似度值对应的所述搜索图像。

7.根据权利要求6所述的一种基于局部特征匹配的图像搜索系统，其特征在于，所述哈希模块具体包括：

搜索哈希码获取单元与所述特征提取模块连接，所述搜索哈希码获取单元用于根据所述搜索局部特征生成对应的哈希码，获得搜索哈希码；

存储单元与所述搜索哈希码获取单元连接，所述存储单元用于将所述搜索哈希码存储到哈希码集合，获得哈希码索引库；

哈希函数单元与所述查询哈希码获取模块连接，所述哈希函数单元用于根据所述搜索局部特征和所述搜索哈希码构建哈希函数，并将所述哈希函数发送至所述查询哈希码获取模块。

8.根据权利要求6所述的一种基于局部特征匹配的图像搜索系统，其特征在于，所述预处理模块具体包括：

图像变换单元与所述图像采集模块连接，所述图像变换单元用于对所述多幅搜索图像和所述一幅查询图像进行图像变换，获得多个搜索变换图像和一个查询变换图像；

图像增强单元分别与所述特征提取模块和所述图像变换单元连接，所述图像增强单元用于将所述多个搜索变换图像和所述一个查询变换图像进行图像增强处理，获得多个预处理搜索图像和一个预处理查询图像，并将所述多个预处理搜索图像和一个预处理查询图像发送至所述特征提取模块。