CN110704712A - 基于图像检索的场景图片拍摄位置范围识别方法及系统 - Google Patents

Abstract

本发明提供了基于图像检索的场景图片拍摄位置范围识别方法及系统，包括进行网页爬虫，下载不同地点的场景图片并进行数据筛选，构建带有地理位置信息的场景图片数据集；用已有的图像检索数据集训练深度卷积神经网络；检测待检索图片是否包含EXIF信息，如果包含且有经纬度坐标，则直接根据经纬度找到图片的拍摄位置，反之用深度卷积神经网络提取场景图片数据集中所有图片的特征向量和待检索图片的特征向量，计算相似度矩阵，进行排序，返回与待检索图片最相似的图片，用相应标注信息作为待检索图片的拍摄位置范围。本发明克服了图片EXIF信息丢失情况下无法识别场景图片拍摄位置的问题，不仅可以识别地标性建筑，还可以识别生活中常见的场景位置。

Description

基于图像检索的场景图片拍摄位置范围识别方法及系统

技术领域

本发明属于计算机图像处理及信息检索技术领域，具体涉及一种基于图像检索的场景图片拍摄位置范围识别方法及系统。

背景技术

随着多媒体和互联网技术的迅猛发展，智能手机、数码相机、移动终端等电子产品快速普及，人们越来越习惯于将日常生活的照片上传到网络。在互联网空间上存在大量带地理位置或反映地理位置特点的场景图片，这些图片往往蕴含着高价值的地理位置信息，在安防监控、地标识别、商家推荐等日常的生产生活中有着重大的作用。

可交换图像文件格式(Exchangeable image file format，EXIF)，是专门为数码相机的照片设定的，可以记录数码照片的属性信息和拍摄数据。目前常用的识别场景图片拍摄位置方法包括从图片EXIF信息中直接获取地理位置信息的方法和基于视觉的位置识别算法。许多支持GPS的智能拍照设备拍摄出来的图片带有EXIF信息，存储着设备型号、拍摄时间、拍摄位置经纬度坐标等信息，根据经纬度可以直接获得场景图片的拍摄位置。但是图片在上传、下载、传输、处理等过程中被压缩或发生失真，丢失了EXIF信息，从而导致许多图片的拍摄位置范围无法正确识别。基于视觉的位置识别算法可以用来解决EXIF信息丢失的情况，主要是指提取图片的特征进行视觉描述来匹配位置，提取的特征分为两大类：传统手工特征(代表性的特征有SIFT、SURF、ORB、Gist等)和深度学习特征。近几年卷积神经网络(Convolutional neural network，CNN)的提出就是为了弥补传统特征的不足，克服天气变化、光照变化、视角变化等因素对图像匹配和位置识别的影响。论文《基于CNN的长期和大规模环境中的视觉位置识别》提出使用基于VGG16-Places365改进的网络提取CNN特征，将特征转换为二进制之后计算汉明距离，匹配图像位置。此方法提高了环境变化时位置识别的鲁棒性，但是它主要针对智能车辆定位和道路场景的位置识别，而且在匹配最佳候选位置时使用的是图像序列，在实际生活场景图片的位置识别中存在一定局限性。

发明内容

为解决上述现有技术的问题，本发明提供一种基于图像检索的场景图片拍摄位置范围识别技术方案，旨在解决图片EXIF信息丢失情况下无法识别场景图片拍摄位置的问题，利用深度学习和大数据实现对互联网空间感兴趣图片拍摄位置范围的识别。

本发明的技术方案提供一种基于图像检索的场景图片拍摄位置范围识别方法，包括以下步骤：

步骤1，进行网页爬虫，下载不同地点的场景图片并进行数据筛选，构建带有地理位置信息的场景图片数据集；

步骤2，用已有的图像检索数据集训练深度卷积神经网络；

步骤3，检测待检索图片是否包含EXIF信息，如果包含且EXIF信息中有经纬度坐标，则直接根据经纬度找到图片的拍摄位置；反之，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量和待检索图片的特征向量；

步骤4，计算待检索图片的特征向量与数据集中所有图片的相似度矩阵；

步骤5，对相似度矩阵进行排序，返回与待检索图片最相似的图片，用相应标注信息作为待检索图片的拍摄位置范围。

而且，步骤1的实现方式为，爬取街景图片，设置不同的图片角度和拍摄仰角，下载街景图片并以“地点_纬度_经度_图片序号”的方式命名；对爬取的所有图片进行数据筛选，挑选出目标主体完整且显著的图片，用筛选后的图片构建带有地理位置信息的场景图片数据集。

而且，步骤2中，搭建孪生网络用于图像检索的训练，孪生网络由两个分支组成，每个分支都是一个全卷积网络，两个分支结构相同，参数共享。

而且，步骤3中，用训练好的深度卷积神经网络提取待检索图片的特征向量，记为F＝(f₁,f₂,...,f_n)^T，n表示特征向量的维数；设场景图片数据集中有m张图片，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量，将m张图片的特征向量排列在一起构成大小为n×m的特征矩阵，记为S＝{H₁,H₂,...,H_m}；

步骤4中，计算分别计算查询特征F与场景图片数据集中m张图片特征S＝{H₁,H₂,...,H_m}之间的余弦距离，利用两个特征向量之间夹角的余弦值来衡量特征的相似程度，夹角越小，余弦值越大，表明向量的相似性越高，则两张图片越相似。

本发明还相应提供一种基于图像检索的场景图片拍摄位置范围识别系统，包括以下单元：

第一单元，用于进行网页爬虫，下载不同地点的场景图片并进行数据筛选，构建带有地理位置信息的场景图片数据集；

第二单元，用于用已有的图像检索数据集训练深度卷积神经网络；

第三单元，用于检测待检索图片是否包含EXIF信息，如果包含且EXIF信息中有经纬度坐标，则直接根据经纬度找到图片的拍摄位置；反之，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量和待检索图片的特征向量；

第四单元，用于计算待检索图片的特征向量与数据集中所有图片的相似度矩阵；

第五单元，用于对相似度矩阵进行排序，返回与待检索图片最相似的图片，用相应标注信息作为待检索图片的拍摄位置范围。

而且，第一单元中，爬取街景图片，设置不同的图片角度和拍摄仰角，下载街景图片并以“地点_纬度_经度_图片序号”的方式命名；对爬取的所有图片进行数据筛选，挑选出目标主体完整且显著的图片，用筛选后的图片构建带有地理位置信息的场景图片数据集。

而且，第二单元中，搭建孪生网络用于图像检索的训练，孪生网络由两个分支组成，每个分支都是一个全卷积网络，两个分支结构相同，参数共享。

而且，第三单元中，用训练好的深度卷积神经网络提取待检索图片的特征向量，记为F＝(f₁,f₂,...,f_n)^T，n表示特征向量的维数；设场景图片数据集中有m张图片，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量，将m张图片的特征向量排列在一起构成大小为n×m的特征矩阵，记为S＝{H₁,H₂,...,H_m}；

第四单元中，计算分别计算查询特征F与场景图片数据集中m张图片特征S＝{H₁,H₂,...,H_m}之间的余弦距离，利用两个特征向量之间夹角的余弦值来衡量特征的相似程度，夹角越小，余弦值越大，表明向量的相似性越高，则两张图片越相似。

本发明与现有技术相比具有以下优点和有益效果：

(1)本发明提供了一种图片EXIF信息丢失情况下识别图片拍摄位置范围的技术方案，不仅可以识别地标性建筑，还可以识别生活中常见的场景位置。

(2)本发明利用深度卷积神经网络提取图片的特征，克服了拍照视角、光照变化、尺度差异、局部遮挡等因素的影响，提高了检索的精度，在数据集构建完善的情况下可以精准的识别出场景图片的拍摄位置范围。

附图说明

图1为本发明实施例的总体框图；

图2为本发明实施例用于图像检索训练阶段的孪生网络结构图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。

为实现上述目的，本发明的基本思路是：对于EXIF信息包含经纬度的场景图片直接通过经纬度找到图片的拍摄位置；对于一张不含EXIF信息的场景图片，首先构建带有地理位置信息的场景图片数据集，用公开的图像检索数据集训练深度卷积神经网络，用训练好的网络提取场景图片数据集中所有图片的特征向量和待检索图片的特征向量，利用图像检索和相似性度量的方式找到数据集中与待检索图片最相似的图片，用这张检索出来的图片的标注信息作为待检索图片的拍摄位置范围。

如图1所示，本发明实施例公开了一种基于图像检索的场景图片拍摄位置范围识别方法，具体步骤如下：

步骤1，构建带有地理位置信息的场景图片数据集：

具体实施时，可以对Flickr、百度、百度街景地图等进行网页爬虫，下载不同地点的场景图片并进行数据筛选，构建带有地理位置信息的场景图片数据集。

实施例中，步骤1实现如下：

步骤1.1，百度街景地图爬虫(其他网页爬虫相似)，以中国的一线城市为例，感兴趣的位置类型主要包括：每个城市的政府机关、学校、医院、机场、火车站、汽车站、标注性建筑、著名景点等，利用百度地图API爬取街景图片，设置不同的图片角度和拍摄仰角，下载街景图片并以“地点_纬度_经度_图片序号”的方式命名；

步骤1.2，对步骤1.1中从Flickr、百度和百度地图爬下来的所有图片进行数据筛选，可以挑选出目标主体(如建筑物)完整且显著的图片，去掉分辨率低、质量较差、建筑主体不完整的图片，尽量使得每个地点的图片数量都大于一定数量(可以预设数值)，用筛选后的图片构建带有地理位置信息的场景图片数据集；

具体实施时，构建场景图片数据集可以预先进行。

步骤2，训练用于图像检索的孪生网络：

步骤2.1，下载已有的公开图像检索数据集Retrieval-SfM-120k、Oxford5k、Paris6k，搭建孪生网络用于图像检索的训练，下载的图像检索数据集包含不同数量的查询图片，每张查询图片都已标注了与之匹配的图像和不匹配的图像，输入成对的图像训练孪生网络，其中一张是查询图片，另一张是与之匹配的正样本或者不匹配的负样本。

如图2所示，孪生网络由两个分支组成，每个分支都是一个全卷积网络(在本实施例中采用去掉全连接层的残差网络ResNet-101，也可以选用去掉全连接层的AlexNet、VGG16或其他的网络结构)。孪生网络的上下两个分支结构相同，参数共享。输入成对的图像(X₁,X₂)和是否匹配的标签Y(匹配为1，不匹配为0)，经过两个分支分别得到特征向量F₁和F₂，利用特征向量计算对比损失，损失函数L的计算公式如下：

其中τ是一个常数，用于减少相似性过低图像对的干扰，孪生网络的目的是学习两个输入样本的相似性，用于图像检索任务；优选地，τ取值为1.25。

步骤2.2，用Retrieval-SfM-120k数据集训练孪生网络，在数据集Oxford5k、Paris6k上测试孪生网络的性能，保存训练好的网络模型用于后续的推理阶段；

步骤3，提取待检索图片和数据集中所有图片的特征向量：

步骤3.1，给定一张待检索的场景图片，检测图片是否包含EXIF信息且EXIF中是否有经纬度坐标，如果有，则直接根据经纬度找到图片的拍摄位置；

步骤3.2，如果场景图片不符合步骤3.1中的条件，则用步骤2训练好的孪生网络的一个分支作为测试网络(孪生网络的两个分支共享参数)，提取待检索图片的特征向量F＝(f₁,f₂,...,f_n)^T，其中n表示特征向量的维数(选用ResNet-101网络时，n＝2048)，f₁,f₂,...,f_n均为标量，表示ResNet-101网络中全局平均池化层和归一化之后的输出特征值。然后再提取场景图片数据集(设有m张图片)中所有图片的特征向量，每张图片的特征向量H＝(h₁,h₂,...,h_n)^T，h₁,h₂,...,h_n表示场景数据集中图片的特征值，将m张图片的特征向量H₁,H₂,...,H_m排列在一起构成大小为n×m的特征矩阵S＝{H₁,H₂,...,H_m}。

步骤4，计算特征向量的相似度矩阵：

分别计算查询特征F与场景图片数据集中m张图片特征S＝{H₁,H₂,...,H_m}之间的余弦距离，利用两个特征向量之间夹角的余弦值来衡量特征的相似程度，夹角越小，余弦值越大，表明向量的相似性越高，也即两张图片越相似。两个特征向量的余弦距离计算公式如下:

其中F＝(f₁,f₂,...,f_n)^T表示待检索图片的特征向量，k表示数据集中图片的序号，取值范围为1～m，H_k＝(h₁,h₂,...,h_n)^T表示数据集中第k张图片的特征向量，i表示特征维度索引，取值范围为1～n。查询特征与数据集中m张图片的相似度矩阵D＝{d₁,d₂,...,d_m}，d₁,d₂,...,d_m分别表示查询图片与数据集中每张图片的相似度。

步骤5，对相似度矩阵进行排序并返回检索结果：

对步骤4得到的相似度矩阵D按从大到小排序，并记录排序后的索引，排名越靠前表明与待检索的场景图像越相似，返回排名第一的图像索引，根据索引在数据集中找到最相似图片的文件名，根据文件名中标注的经纬度信息得到场景图片的拍摄位置范围。

本发明设计的方法为图片EXIF信息丢失情况下无法识别场景图片拍摄位置的问题提供了一种解决方法，不仅可以识别地标性建筑，还可以识别生活中常见的场景位置。在图像检索部分利用深度卷积神经网络提取图片特征，克服了拍照视角、光照变化、尺度差异、局部遮挡等因素的影响，提高了检索的精度，在数据集构建完善的情况下可以精准的识别出场景图片的拍摄位置范围。

具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当在本发明的保护范围内。本发明实施例还提供一种基于图像检索的场景图片拍摄位置范围识别系统，包括以下单元：

第一单元，用于进行网页爬虫，下载不同地点的场景图片并进行数据筛选，构建带有地理位置信息的场景图片数据集；

第二单元，用于用已有的图像检索数据集训练深度卷积神经网络；

第三单元，用于检测待检索图片是否包含EXIF信息，如果包含且EXIF信息中有经纬度坐标，则直接根据经纬度找到图片的拍摄位置；反之，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量和待检索图片的特征向量；

第四单元，用于计算待检索图片的特征向量与数据集中所有图片的相似度矩阵；

第五单元，用于对相似度矩阵进行排序，返回与待检索图片最相似的图片，用相应标注信息作为待检索图片的拍摄位置范围。

各单元具体实现可参见相应步骤，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于图像检索的场景图片拍摄位置范围识别方法，其特征在于，包括以下步骤：

步骤1，进行网页爬虫，下载不同地点的场景图片并进行数据筛选，构建带有地理位置信息的场景图片数据集；

步骤2，用已有的图像检索数据集训练深度卷积神经网络；

步骤3，检测待检索图片是否包含EXIF信息，如果包含且EXIF信息中有经纬度坐标，则直接根据经纬度找到图片的拍摄位置；反之，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量和待检索图片的特征向量；

步骤4，计算待检索图片的特征向量与数据集中所有图片的相似度矩阵；

步骤5，对相似度矩阵进行排序，返回与待检索图片最相似的图片，用相应标注信息作为待检索图片的拍摄位置范围。

2.根据权利要求1所述基于图像检索的场景图片拍摄位置范围识别方法，其特征在于：步骤1的实现方式为，爬取街景图片，设置不同的图片角度和拍摄仰角，下载街景图片并以“地点_纬度_经度_图片序号”的方式命名；对爬取的所有图片进行数据筛选，挑选出目标主体完整且显著的图片，用筛选后的图片构建带有地理位置信息的场景图片数据集。

3.根据权利要求1或2所述基于图像检索的场景图片拍摄位置范围识别方法，其特征在于：步骤2中，搭建孪生网络用于图像检索的训练，孪生网络由两个分支组成，每个分支都是一个全卷积网络，两个分支结构相同，参数共享。

4.根据权利要求3所述基于图像检索的场景图片拍摄位置范围识别方法，其特征在于：步骤3中，用训练好的深度卷积神经网络提取待检索图片的特征向量，记为F＝(f₁,f₂,...,f_n)^T，n表示特征向量的维数；设场景图片数据集中有m张图片，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量，将m张图片的特征向量排列在一起构成大小为n×m的特征矩阵，记为S＝{H₁,H₂,...,H_m}；

步骤4中，计算分别计算查询特征F与场景图片数据集中m张图片特征S＝{H₁,H₂,...,H_m}之间的余弦距离，利用两个特征向量之间夹角的余弦值来衡量特征的相似程度，夹角越小，余弦值越大，表明向量的相似性越高，则两张图片越相似。

5.一种基于图像检索的场景图片拍摄位置范围识别系统，其特征在于，包括以下单元：

第一单元，用于进行网页爬虫，下载不同地点的场景图片并进行数据筛选，构建带有地理位置信息的场景图片数据集；

第二单元，用于用已有的图像检索数据集训练深度卷积神经网络；

第三单元，用于检测待检索图片是否包含EXIF信息，如果包含且EXIF信息中有经纬度坐标，则直接根据经纬度找到图片的拍摄位置；反之，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量和待检索图片的特征向量；

第四单元，用于计算待检索图片的特征向量与数据集中所有图片的相似度矩阵；

第五单元，用于对相似度矩阵进行排序，返回与待检索图片最相似的图片，用相应标注信息作为待检索图片的拍摄位置范围。

6.根据权利要求5所述基于图像检索的场景图片拍摄位置范围识别系统，其特征在于：第一单元中，爬取街景图片，设置不同的图片角度和拍摄仰角，下载街景图片并以“地点_纬度_经度_图片序号”的方式命名；对爬取的所有图片进行数据筛选，挑选出目标主体完整且显著的图片，用筛选后的图片构建带有地理位置信息的场景图片数据集。

7.根据权利要求5或6所述基于图像检索的场景图片拍摄位置范围识别系统，其特征在于：第二单元中，搭建孪生网络用于图像检索的训练，孪生网络由两个分支组成，每个分支都是一个全卷积网络，两个分支结构相同，参数共享。

8.根据权利要求7所述基于图像检索的场景图片拍摄位置范围识别方法，其特征在于：第三单元中，用训练好的深度卷积神经网络提取待检索图片的特征向量，记为F＝(f₁,f₂,...,f_n)^T，n表示特征向量的维数；设场景图片数据集中有m张图片，用训练好的深度卷积神经网络提取场景图片数据集中所有图片的特征向量，将m张图片的特征向量排列在一起构成大小为n×m的特征矩阵，记为S＝{H₁,H₂,...,H_m}；

第四单元中，计算分别计算查询特征F与场景图片数据集中m张图片特征S＝{H₁,H₂,...,H_m}之间的余弦距离，利用两个特征向量之间夹角的余弦值来衡量特征的相似程度，夹角越小，余弦值越大，表明向量的相似性越高，则两张图片越相似。