CN109189964A - 基于局部敏感哈希索引和图像路标的场景识别方法 - Google Patents

Abstract

基于局部敏感哈希索引和图像路标的场景识别方法，包括：确定待检索图像上的查询路标，提取尺寸信息并进行编号；确定视觉场景数据库，将视觉场景数据库中的图像作为候选图像，获取每张候选图像上一定数量的对比路标并进行编号；建立查询表，所述查询表包括对比路标的路标信息；对对比路标进行预处理和特征提取；选取对比路标中与查询路标相似的路标作为候选相似路标；计算查询路标与所述相似路标的评分，将评分计入待检索图像与相似路标所在图像的评分中；构建候选图像集，设定识别阈值，根据识别阈值判断选定的候选图像与待检索图像是否是同一场景。

Description

基于局部敏感哈希索引和图像路标的场景识别方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于局部敏感哈希索引和图像路标的场景识别方法。

背景技术

在计算机视觉的研究中，视觉场景识别作为一个子问题而存在，其广泛存在于计算机视觉的其他问题中，尤其在基于视觉的即时定位与地图构建中。随着视觉场景识别的发展，一些优秀的算法不断涌现，但是新的挑战和问题又不断充当着它们在实际应用中的“拦路虎”，比如室外复杂多变的环境。如何使视觉场景识别方法变得更加鲁棒以及快速成为了该领域研究人员不懈努力的方向。

需要指出的是，“路标”一词来源于英文单词“landmark”，其指代图像中的显著区域，并不限于图像中的物体和标记物，为了简洁，这里沿用了英译“路标”的叫法，本发明中所有涉及的“路标”与这里同意。

发明内容

本发明的一个目的在于解决上述现有技术存在的识别速度慢、识别准确率低的问题，提供了一种基于局部敏感哈希索引和图像路标的场景识别方法。

本发明解决其技术问题所采用的技术方案是：基于局部敏感哈希索引和图像路标的场景识别方法，包括：确定待检索图像上的查询路标，提取尺寸信息并进行编号；确定视觉场景数据库，将视觉场景数据库中的图像作为候选图像，获取每张候选图像上一定数量的对比路标并进行编号；建立查询表，所述查询表包括对比路标的路标信息，所述路标信息包括编号、尺寸以及所在图像；提取所述查询路标并生成相应的特征；对对比路标进行预处理和特征提取，并对特征进行单位化；选取对比路标中与查询路标相似的路标作为候选相似路标，再对候选相似路标进行筛选，去除候选相似路标中与查询路标特征相似而形状不相似的路标，剩余路标作为相似路标；计算查询路标与所述相似路标的评分，将评分计入待检索图像与相似路标所在图像的评分中；构建候选图像集，候选图像集为那些与待检索图像有相似路标的图像构成的集合，在候选图像集中搜索与待检索图像评分最大的图像，设定识别阈值，根据识别阈值判断该候选图像与待检索图像是否是同一场景。

本发明前期离线构建用于路标特征最近邻索引的哈希表和用于存储路标特征到路标信息的查询表。后期为场景识别过程，这个过程中待识别图像中的每一个路标通过哈希表索引可以快速找到它们在全局最相似的前几个候选路标，候选路标通过形状相似度进行筛选，通过筛选的路标被认为是待检索路标的相似路标，再通过查询表可以获取这些相似路标所在的场景数据库的图像序号和路标尺寸信息，进一步可以通过类似“唱票”的方式为待检索图像和数据库中与待检索图像有相似路标的图像评分，这些与待检索图像有相似路标的图像构成的集合被称为候选图像集。这种方法将匹配的范围缩小在了候选图像集里，并使用哈希表索引方法进行全局的相似路标的搜寻从而大大提高了算法的速度，又因为每个路标匹配为全局最优匹配，因而减少了弱匹配对的个数，从而提升了算法的识别准确率。

进一步地，所述对对比路标进行预处理，是指：对场景数据库中的每一张图像，利用目标检测算法提取指定数目的路标，记指定的数目为N，每张图像提取出的路标信息可表示为其中r表示该路标位于数据库中序号为r的图像上，i表示此路标在候选图像r所有路标中的序号，印分别表示该路标的宽和高，假设数据库中共有M张图像，那么r的取值为1到M的整数，i为1到N的整数。

进一步地，所述确定待检索图像上的查询路标，提取尺寸信息并进行编号，是指：输入待检索图像s，使用目标检测算法提取待检索图像上的查询路标，记待检索图像s中的查询路标为j为查询路标在待检索图像中的序号，j是1到N的整数，分别是查询路标的宽和高。

进一步地，选取对比路标中与查询路标相似的路标作为候选相似路标，再对候选相似路标进行筛选，去除候选相似路标中与查询路标特征相似而形状不相似的路标，剩余路标作为相似路标，具体是指：

(1)将查询路标特征通过哈希函数映射到所述哈希表中，在哈希表内通过基于余弦距离的最近邻搜索方法找到与查询路标特征最相似的前k个路标作为候选相似路标；

(2)获取所述候选相似路标的编号，通过查询表找到每个候选相似路标对应的路标信息；

(3)通过形状相似度检查，选取候选相似路标中与查询路标相似的路标作为相似路标；

所述形状相似度检查是指：

对于某一查询路标和一个候选相似路标如果二者尺寸满足如下关系则被认为相似：

进一步地，所述查询路标与所述相似路标的评分，是指：

相似度评分O_r，s：

其中，表示候选图像r上的对比路标特征，表示待检索图像s上的查询路标特征；

将O_r，s放入关于待检索图像s和候选图像r的相似度评分中，记图像s和图像r的相似度评分为M_s，r；

遍历待检索图像中的每一个路标，直至处理完所有查询路标。

进一步地，所述确定相似度评分集中最大评分对应的相似路标所在的图像，设定识别阈值，根据识别阈值判断该候选图像与待检索图像是否是同一场景，具体是指：

每一个查询路标最多有k个相似路标，同时最多和k个图像之间拥有形似路标，那么整个待检索图像最多与视觉场景数据库中k*N个图像之间有相似路标，因此待检索图像的潜在相似场景一定在这k*N图像中，因此可以构建一个候选图像集，并记为R_s；

在候选图像集R_s中找到评分最大一组匹配(s，r)，如果待检索图像s和候选图像r的相似度评分大于设定的判定阈值δ，则待检索图像s和候选图像r为拍摄于同一个场景的图像。

本发明的实质性效果：本发明在传统基于卷积神经元网络的视觉场景识别算法的基础上增加了局部敏感哈希索引技术，得到的相似路标更可靠，这使得最终的识别结果也更精确，更加鲁棒。这种结合加速了传统基于双向路标匹配的方法，并且减少了弱匹配路标的个数，缩小了潜在匹配图像的查询范围，相比于传统基于图像路标的方法，识别速度得到了很大的提升。

具体实施方式

下面通过具体实施例，对本发明的技术方案作进一步的具体说明。

基于局部敏感哈希索引和图像路标的场景识别方法，包括：

(1)确定待检索图像上的查询路标，提取尺寸信息并进行编号；

输入待检索图像s，使用目标检测算法提取待检索图像上的查询路标，记待检索图像s中的查询路标为j为查询路标在待检索图像中的序号，j是1到N的整数，分别是查询路标的宽和高。

(2)确定视觉场景数据库，将视觉场景数据库中的图像作为候选图像，获取每张候选图像上一定数量的对比路标并进行编号；

(3)建立查询表，所述查询表包括对比路标的路标信息，所述路标信息包括编号、尺寸以及所在图像；

(4)提取所述查询路标并生成相应的特征；

(5)对对比路标进行预处理和特征提取，并对特征进行单位化；

对对比路标进行预处理，是指：对场景数据库中的每一张图像，利用目标检测算法提取指定数目的路标，记指定的数目为N，每张图像提取出的路标信息可表示为其中r表示该路标位于数据库中序号为r的图像上，i表示此路标在候选图像r所有路标中的序号，和分别表示该路标的宽和高，假设数据库中共有M张图像，那么r的取值为1到M的整数，i为1到N的整数。

(6)选取对比路标中与查询路标相似的路标作为候选相似路标，再对候选相似路标进行筛选，去除候选相似路标中与查询路标特征相似而形状不相似的路标，剩余路标作为相似路标；

计算查询路标与所述相似路标的评分，将评分计入待检索图像与相似路标所在图像的相似度评分集中；

具体是指：

(1)将查询路标特征通过哈希函数映射到所述哈希表中，在哈希表内通过基于余弦距离的最近邻搜索方法找到与查询路标特征最相似的前k个路标作为候选相似路标；

(2)获取所述候选相似路标的编号，通过查询表找到每个候选相似路标对应的路标信息；

(3)通过形状相似度检查，选取候选相似路标中与查询路标相似的路标作为相似路标；

所述形状相似度检查是指：

对于某一查询路标和一个候选相似路标如果二者尺寸满足如下关系则被认为相似：

所述查询路标与所述相似路标的评分，是指：

相似度评分O_r，s：

其中，表示候选图像r上的对比路标特征，表示待检索图像s上的查询路标特征；

将O_r，s放入关于待检索图像s和候选图像r的相似度评分中，记图像s和图像r的相似度评分为M_s，r；

遍历待检索图像中的每一个路标，直至处理完所有查询路标。

(7)确定相似度评分集中最大评分对应的相似路标所在的图像，设定识别阈值，根据识别阈值判断该候选图像与待检索图像是否是同一场景；

每一个查询路标最多有k个相似路标，同时最多和k个图像之间拥有形似路标，那么整个待检索图像最多与视觉场景数据库中k*N个图像之间有相似路标，因此待检索图像的潜在相似场景一定在这k*N图像中，因此可以构建一个候选图像集，并记为R_s；

在候选图像集R_s中找到评分最大一组匹配(s，r)，如果待检索图像s和候选图像r的相似度评分大于设定的判定阈值δ，则待检索图像s和候选图像r为拍摄于同一个场景的图像。

以上所述实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其他的变体及改型。

Claims (6)

1.基于局部敏感哈希索引和图像路标的场景识别方法，其特征在于，包括：

确定待检索图像上的查询路标，提取尺寸信息并进行编号；

确定视觉场景数据库，将视觉场景数据库中的图像作为候选图像，获取每张候选图像上一定数量的对比路标并进行编号；

建立查询表，所述查询表包括对比路标的路标信息，所述路标信息包括编号、尺寸以及所在图像；

提取所述查询路标并生成相应的特征；

对对比路标进行预处理和特征提取，并对特征进行单位化；

选取对比路标中与查询路标相似的路标作为候选相似路标，再对候选相似路标进行筛选，去除候选相似路标中与查询路标特征相似而形状不相似的路标，剩余路标作为相似路标；

计算查询路标与所述相似路标的评分，将评分计入待检索图像与相似路标所在图像的评分中；

构建候选图像集，候选图像集为那些与待检索图像有相似路标的图像构成的集合，在候选图像集中搜索与待检索图像评分最大的图像，设定识别阈值，根据识别阈值判断该候选图像与待检索图像是否是同一场景。

2.根据权利要求1所述的场景识别方法，其特征在于，

所述对对比路标进行预处理，是指：

对场景数据库中的每一张图像，利用目标检测算法提取指定数目的路标，记指定的数目为N，每张图像提取出的路标信息可表示为其中r表示该路标位于数据库中序号为r的图像上，i表示此路标在候选图像r所有路标中的序号，和分别表示该路标的宽和高，假设数据库中共有M张图像，那么r的取值为1到M的整数，i为1到N的整数。

3.根据权利要求1或2所述的场景识别方法，其特征在于，

所述确定待检索图像上的查询路标，提取尺寸信息并进行编号，是指：输入待检索图像s，使用目标检测算法提取待检索图像上的查询路标，记待检索图像s中的查询路标为j为查询路标在待检索图像中的序号，j是1到N的整数，分别是查询路标的宽和高。

4.根据权利要求1或3所述的场景识别方法，其特征在于，

选取对比路标中与查询路标相似的路标作为候选相似路标，再对候选相似路标进行筛选，去除候选相似路标中与查询路标特征相似而形状不相似的路标，剩余路标作为相似路标，具体是指：

(1)将查询路标特征通过哈希函数映射到所述哈希表中，在哈希表内通过基于余弦距离的最近邻搜索方法找到与查询路标特征最相似的前k个路标作为候选相似路标；

(2)获取所述候选相似路标的编号，通过查询表找到每个候选相似路标对应的路标信息；

(3)通过形状相似度检查，选取候选相似路标中与查询路标相似的路标作为相似路标；

所述形状相似度检查是指：

对于某一查询路标和一个候选相似路标如果二者尺寸满足如下关系则被认为相似：

同时

5.根据权利要求1所述的场景识别方法，其特征在于，所述查询路标与所述相似路标的评分，是指：

相似度评分O_r，s：

其中，表示候选图像r上的对比路标特征，表示待检索图像s上的查询路标特征；

将O_r，s放入关于待检索图像s和候选图像r的相似度评分中，记图像s和图像r的相似度评分为M_s，r；

遍历待检索图像中的每一个路标，直至处理完所有查询路标。

6.根据权利要求5所述的场景识别方法，其特征在于，

所述确定相似度评分集中最大评分对应的相似路标所在的图像，设定识别阈值，

根据识别阈值判断该候选图像与待检索图像是否是同一场景，具体是指：

每一个查询路标最多有k个相似路标，同时最多和k个图像之间拥有形似路标，那么整个待检索图像最多与视觉场景数据库中k*N个图像之间有相似路标，因此待检索图像的潜在相似场景一定在这k*N图像中，因此可以构建一个候选图像集，并记为R_s；

在候选图像集R_s中找到评分最大一组匹配(s，r)，如果待检索图像s和候选图像r的相似度评分大于设定的判定阈值δ，则待检索图像s和候选图像r为拍摄于同一个场景的图像。