CN104778284A - 一种空间图像查询方法和系统 - Google Patents

Abstract

本发明的空间图像查询方法和系统，在接收到用户提交的空间图像查询请求后，对该请求中所包含的携带位置信息的查询图像进行预设处理，得到查询图像的视觉词袋模型；之后，利用查询图像的视觉词袋模型及位置信息，对图像数据集进行基于图像内容及位置信息的搜索，实现基于图像内容相似度及空间临近度的top-k图像(最优的k个图像)查询，供用户参考。可见，区别于传统的图像查询技术依据关键词进行文本查询，本发明依据用户提交的图像进行基于图像内容(采用视觉词袋模型表征)的查询，不存在文本查询中所存在的局限性问题，可有效处理空间图像的查询问题。

Description

一种空间图像查询方法和系统

技术领域

本发明属于基于路网空间的图像搜索技术领域，尤其涉及一种空间图像查询方法和系统。

背景技术

随着移动终端、移动互联网及GPS(Global Positioning System，全球定位系统)设备的普及，路网空间的图像搜索逐渐成为人们日常生活中的热门需求。

路网空间的图像搜索，是一种包含图像信息和空间位置约束的查询技术，通过对路网范围内带位置标签的图像数据集进行搜索，向用户返回其感兴趣的区域内较为感兴趣的商品或服务(图像)，譬如，用户在某商场看中一款鞋子，采用空间图像搜索即可获知周边哪些商场具有相同或类似款式的鞋子，以进行对比购买。传统的基于文字描述的图像查询技术依赖于图像的文本标注，通过用户提交关键词实现查询，然而，一个图像通常包含上百个特征点，每个特征点可以被量化为上百个视觉词汇，而目前较为成熟的top-k空间关键词查询模型，仅局限于处理包含较少个数(一般不超8个)关键词的查询，不能有效扩展处理多个关键词，从而，无法有效解决空间图像的查询问题。

发明内容

有鉴于此，本发明的目的在于提供一种空间图像查询方法和系统，旨在克服基于文字描述的传统图像查询技术存在的上述缺陷，有效解决空间图像的查询问题。

为此，本发明公开如下技术方案：

一种空间图像查询方法，包括：

接收用户提交的空间图像查询请求，所述空间图像查询请求包括携带第一位置信息的查询图像；

对所述查询图像进行预设处理，得到所述查询图像的视觉词袋模型；

利用所述查询图像的视觉词袋模型及第一位置信息，从预设的图像数据集中查询出k个目标图像；所述k个目标图像为图像数据集中与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像，图像数据集中的每个图像对应一个位置信息，k为自然数。

上述方法，优选的，所述对所述查询图像进行预设处理，得到所述查询图像的视觉词袋模型包括：

提取所述查询图像的各个局部特征；

基于预先训练的图像索引视觉词汇树，将所述查询图像的各个局部特征量化为相应的视觉词汇，各视觉词汇的视觉词汇向量构成所述查询图像的视觉词袋模型。

上述方法，优选的，所述利用所述查询图像的视觉词袋模型及第一位置信息，从预设的图像数据集中查询出k个目标图像包括：

利用图像索引视觉词汇树，对图像数据集进行基于图像内容的图像搜索；

利用路网索引G-tree，对图像数据集进行基于位置信息的图像搜索；

在利用视觉词汇树及G-tree进行分离式索引搜索的基础上，从搜索出的图像中查询出与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像。

上述方法，优选的，所述从搜索出的图像中查询出与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像为：

基于所搜索出的潜在图像的上界聚合得分，判断是否需计算所述潜在图像的综合评价得分；

若判断结果为是，则计算所述潜在图像的综合评价得分；否则，舍弃所述潜在图像；

基于所述潜在图像的综合评价得分，确定所述潜在图像是否属于目标图像。

上述方法，优选的，所述图像内容相似度及空间邻近度的综合评价得分的计算公式为：F(Q,I)＝αD(Q.loc,I.loc)+(1-α)S(Q.content,I.content)，

其中：D(Q.loc,I.loc)＝d(Q.loc,I.loc)/dmax；

以上各式中：

Q、I分别表示查询图像及图像数据集中的图像；Q.loc，I.loc分别表示图像Q及图像I在路网上的地理位置；Q.content，I.content分别表示图像Q及图像I采用视觉词袋模型编码的图像内容；

F(Q,I)表示综合评价函数；D(Q.loc,I.loc)为查询图像Q与图像I基于路网路径的距离计算函数，S(Q.content,I.content)为查询图像Q与图像I间图像内容相异度的计算函数；α为平衡空间距离远近及图像内容相关性的尺度参数，α∈(0,1)；

d(Q.loc,I.loc)表示Q.loc与I.loc在路网上的最短路径长度，dmax表示路网中任意位置与任何图像对象之间的最长距离；

q表示查询图像向量，q_i为其每个维度分量；d表示匹配图像向量，d_i为其每个维度分量；||q||为向量q的范数，||d||为向量d的范数； $S(Q.\mathrm{content},I.\mathrm{content})=\left|\right|\frac{q_i}{\left|\right|q\left|\right|}-\frac{d_i}{\left|\right|d\left|\right|}\left|\right|$ 为归一化后向量q和d差的范数。

上述方法，优选的，所述上界聚合得分的计算公式为：

Bound_k＝α·Bound_s(i)+(1-α)·m·Bound_t(i)

其中：α为平衡空间距离远近及图像内容相关性的尺度参数，α∈(0,1)；Bound_k为第i次迭代后空间图像的聚合得分上界，i表示迭代次数，Bound_s(i)表示第i次迭代后空间上得分的上界，Bound_t(i)表示第i次迭代在视觉词汇单个关键字的上界，m·Bound_t(i)表示表示图片中m个视觉词汇的聚合得分上界。

一种空间图像查询系统，包括：

接收模块，用于接收用户提交的空间图像查询请求，所述空间图像查询请求包括携带第一位置信息的查询图像；

处理模块，用于对所述查询图像进行预设处理，得到所述查询图像的视觉词袋模型；

查询模块，用于利用所述查询图像的视觉词袋模型及第一位置信息，从预设的图像数据集中查询出k个目标图像；所述k个目标图像为图像数据集中与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像，图像数据集中的每个图像对应一个位置信息，k为自然数。

上述系统，优选的，所述处理模块包括：

提取单元，用于提取所述查询图像的各个局部特征；

词袋模型获取单元，用于基于预先训练的图像索引视觉词汇树，将所述查询图像的各个局部特征量化为相应的视觉词汇，各视觉词汇的视觉词汇向量构成所述查询图像的视觉词袋模型。

上述系统，优选的，所述查询模块包括：

第一搜索单元，用于利用图像索引视觉词汇树，对图像数据集进行基于图像内容的图像搜索；

第二搜索单元，用于利用路网索引G-tree，对图像数据集进行位置信息的图像搜索；

查询单元，用于在利用视觉词汇树及G-tree的进行分离式索引搜索的基础上，从搜索出的图像中查询出与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像。

上述系统，优选的，所述查询单元包括：

判断子单元，用于基于所搜索出的潜在图像的上界聚合得分，判断是否需计算所述潜在图像的综合评价得分；

计算子单元，用于在所述判断子单元的判断结果为是时，计算所述潜在图像的综合评价得分，以及在判断结果为否时，舍弃所述潜在图像；

确定子单元，用于基于所述潜在图像的综合评价得分，确定所述潜在图像是否属于目标图像。

由以上方案可知，本发明在接收到用户提交的空间图像查询请求后，对该请求中所包含的携带位置信息的查询图像进行预设处理，得到查询图像的视觉词袋模型；之后，利用查询图像的视觉词袋模型及位置信息，对图像数据集进行基于图像内容及位置信息的搜索，实现基于图像内容相似度及空间临近度的top-k图像(最优的k个图像)查询，供用户参考。可见，区别于传统的图像查询技术依据关键词进行文本查询，本发明依据用户提交的图像进行基于图像内容(采用视觉词袋模型表征)的查询，不存在文本查询中所存在的局限性问题，可有效处理空间图像的查询问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明实施例一公开的空间图像查询方法的流程图；

图2是本发明实施例二公开的空间图像查询系统的一种结构示意图；

图3是本发明实施例二公开的空间图像查询系统的另一种结构示意图；

图4是本发明实施例二公开的空间图像查询系统的又一种结构示意图。

具体实施方式

为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结解释如下：

视觉词袋模型：通常一张图片可以有一系列局部特征表示，而这些局部特征可以转换解释成带有千百万的词带向量，为降低高维度向量带来的计算量，可以生成词汇树，用视觉词汇来表示图像的局部向量，这样每张图片可以用若该视觉词汇表示。

最好优先的kNN：最好优先的kNN(k-NearestNeighbor，K最近邻)中，对于即将探索的候选目标对象中，选择其中估计得分最高的目标对象先进行探索。例如，在G-tree中进行knn查询，优先对离查询q位置较近的节点或者对象进行探索。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例一公开一种空间图像查询方法，参考图1，所述方法可以包括以下步骤：

S101：接收用户提交的空间图像查询请求，所述空间图像查询请求包括携带第一位置信息的查询图像。

在当前移动终端、移动互联网及GPS设备普及的大环境前提下，用户可以方便的拍照，并标记其地理位置，从而路网空间的图像搜索逐渐成为人们日常生活中的热门需求，基于此，本申请通过提供一种高效的空间图像查询方法，来有效解决空间图像的查询问题。譬如，针对移动商品搜索这一应用场景，假设用户在某商场相中一款鞋子，则可在用户提交空间图像查询后，为用户返回具有相同或类似款式，且地理位置较近的k个鞋子图像，以实现为用户提供有效的参考信息，方便用户进行对比购买。

本发明将空间图像查询问题转换为一个top-k聚合问题，其中，Top-k聚合是指：考虑一个分组属性集G＝g1,...,gr和一个聚合函数F，基于分组属性计算每个对象的聚合函数F值，则一个top-k聚合查询返回基于属性集G并具有较高F值的k个对象。

从而，本发明的空间图像查询问题具体为在路网上进行top-k空间图像查询，其中，属性集G＝S,D，S表示图像内容相似度，D表示空间邻近度。因此，本发明的路网上top-k空间图像查询可定义为：针对给定的查询图像Q，在空间图片数据库中检索出地理位置与Q比较接近、且图片内容描述与Q的内容较为关联的k个空间图像。

当用户有空间图像查询需求时，可通过提交一标记了位置信息的查询图像，实现向基于本发明的查询系统发起空间图像查询请求。

S102：对所述查询图像进行预设处理，得到所述查询图像的视觉词袋模型。

一张图像图片可以用一系列局部特征来表示，每个特征点可以被量化为上百个视觉词汇。基于此，针对用户提交的查询图像Q，本步骤首先采用高斯差分检测器提取Q的各个特征点，然后利用预先训练好的图像查询视觉词汇树将各个特征点量化到最为接近的视觉词汇上去，最终，各个视觉词汇的视觉词汇向量可构成查询图像Q的视觉词袋模型。

从而，给定的查询图像可表示为Q(loc,content)，其中，Q.loc表示位置信息(地理位置描述符)，Q.content表示用视觉词袋模型编码的向量。

S103：利用所述查询图像的视觉词袋模型及第一位置信息，从预设的图像数据集中查询出k个目标图像；所述k个目标图像为图像数据集中与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像，图像数据集中的每个图像对应一个位置信息，k为自然数。

在以上步骤的基础上，本步骤利用查询图像Q的视觉词袋模型及位置信息，对路网上的图像数据集进行基于图像内容相似度及空间邻近度的top-k图像查询。

首先，本发明对图像内容相似度及空间邻近度作出如下的量化定义：

图像相似度：本申请具体采用相异度反向表征相似度，针对给定的查询图像Q，以及基于路网空间的数据库中的图像I，则查询图像Q与图像I之间的归一化差异的相关性得分函数如下：

$S(Q.\mathrm{content},I.\mathrm{content})=\left|\right|\frac{q_i}{\left|\right|q\left|\right|}-\frac{d_i}{\left|\right|d\left|\right|}\left|\right|---\left(1\right)$

式(1)中，Q.content，I.content分别表示查询图像Q及图像I采用视觉词袋模型编码的图像内容，S的值越小，表示图像Q及图像I的图像内容相异度越小、相似度越高；q表示查询图像向量，q_i为其每个维度分量；d表示匹配图像向量，d_i为其每个维度分量；||q||为向量q的范数，||d||为向量d的范数。 $S(Q.\mathrm{content},I.\mathrm{content})=\left|\right|\frac{q_i}{\left|\right|q\left|\right|}-\frac{d_i}{\left|\right|d\left|\right|}\left|\right|$ 为归一化后向量q和d差的范数。

空间邻近度：在本申请中指路网邻近程度，其体现了图像数据库中空间图像相对于所查询图像在位置上的重要性，本发明将路网邻近程度的衡量，即空间邻近度得分函数定义为：

D(Q.loc,I.loc)＝d(Q.loc,I.loc)/dmax                      (2)

式(2)中，d(Q.loc,I.loc)表示Q.loc与I.loc之间的最短路径长度，dmax表示路网中任意位置与任何对象之间的最长距离。其中，dmax可以通过遍历整个路网中每个图像对象计算最大路网路径距离，从而可控制路网邻近程度的范围在[0，1]。D的值越小，表示图像Q及图像I的空间邻近度越高。

在此基础上，本发明继续给出一个综合了图像内容相似度及空间邻近度进行图像排名的聚合得分函数，以用于对路网空间图像数据库中的图像进行综合评价，其中，所述聚合得分函数定义为：

F(D(Q.loc,I.loc),S(Q.content,T.content))              (3)

本申请的方案适用于各种只考虑距离远近和图片相关性的排名函数或方法，具体地，本实施例使用线性插值，形式化地将上述聚合得分函数定义为一个线性插值排序函数(即综合评价得分的计算函数)：

F(Q,I)＝αD(Q.loc,I.loc)+(1-α)S(Q.content,I.content)                (4)

其中，F(Q,I)表示针对给定的查询图像Q，对图像I进行综合评价后的聚合得分，F(Q,I)值越小，表明图像I与图像Q的相关度越高，从而图像I的综合评价得分越优、排名越靠前；α为平衡空间距离远近及图片内容相关性的尺度参数，α∈(0,1)，允许用户在空间远近和图片内容相关性之间选择自己的偏好设置。

本申请假设查询图像的位置及带有位置信息的图像位于路网中的结点，该假设没有使本申请的方法失去一般性，通过该假设可以找到与给定位置最邻近的边和结点。

本步骤分别采用视觉词汇树及路网索引G-tree的分离式独立索引，对路网空间的图像数据库进行基于图像内容及位置信息的图像搜索，并基于两个独立的索引，给出了一个支持高效的top-k剪枝和有效合并分离式索引的查询处理方法-External CA方法。

本申请的分离式索引，包含一个路网索引用来进行基于位置信息的搜索，还包含一个视觉词汇树索引用来进行基于图像内容的搜索。以下对路网索引G-tree、图像索引及top-k聚合算法的基础知识进行介绍。

路网索引：G-tree是一个高效优雅的基于树型结构的索引，可用来在路网上进行KNN(k-NearestNeighbor，K最近邻)搜索。G-tree通过递归分割道路网来构建，直到得到足够小的子网络，可以进行高效的搜索为止。G-tree中的每个结点都是路网中的一个子网，而G-tree中的叶子结点是路网中的结点，如果一个叶子结点和其他外部叶子结点有直接相连的边，则认为该叶子结点是其上层网络的边界。每个划分网络中的任两个叶子结点边界最短路径都是提前线下计算好的，对于G-tree中具有相同父亲结点的结点，他们与边界结点的最短路径也是提前计算好的。要计算两个叶子节点p1(父亲结点是P1),p2(父亲结点是P2)的最短路径，则会利用离线计算好的结点P1和P2之间边界结点的最短路径和p1/p2到P1/P2的边界节点的最短路径，查询的复杂性和G-tree的高度正相关。其中，G-tree内容属于现有技术，关于G-tree搜索的详细信息技术人员可通过查阅相关文献获取。

图像索引：使用层次型视觉词汇树作为图像索引。

由于查询图像Q的视觉词袋模型向量足够稀疏，适合以倒排文件的形式进行高效的索引和查询，因此本申请通过层次型视觉词汇树索引基础上的倒排索引实现图像内容索引，本申请的倒排文件中每个视觉词汇都有一个包含该词汇的所有图片的列表词条(即下文的视觉词汇有序列表)，视觉词汇用tf·idf(词频-逆向文档频率)来加权衡量，其中，idf反映了他们在数据库中图像区分能力，而tf则展示了在一张图片中词汇的重要性。通过上述的倒排索引具体可实现从图像数据库的m个视觉词汇有序列表中确定出需访问的x个有序列表(可参考下文)。

接下来对top-k聚合算法进行概述，以路网上的空间图像搜索场景为例，假设路网空间图像数据库中的所有图像共涉及m个视觉词汇，并采用1…m依次编号，则图像数据库中每个带地理标签的图像I可以表示为一个m+1维的元组(ω₁,ω₂,...,ω_m,ω_m+1)，其中，ω_i(1≤i≤m)是相应的视觉词汇对应的权重，该权重具体可以是视觉词汇的相关度得分tf·idf，ω_m+1是图像I和查询图像Q在路网上的空间距离(或称为路网距离得分)。同样，对给定的查询图像Q进行处理后，也可将Q表示为以上形式的m+1维元组。

针对以上场景，top-k聚合算法(TA)可描述为：

TA基于m+1个排好序的列表L₁，L₂，...，L_m，L_m+1，其中，每个列表L_i(i为自然数且i∈[1，m])中的元素，均基于图像视觉词汇的相关度得分tf·idf降序排列，列表L_m+1中的各元素按路网距离得分进行降序排序。即共有m个视觉词汇有序列表和1个空间有序列表，各有序列表中的每个有序列表项是一个图像ID(Identity，身份标识号码)和得分(视觉词汇的相关度得分tf·idf或路网距离)的二元组。则TA由以下部分组成：

1)对m+1个有序列表L_i进行并行有序访问。当顺序访问一个列表L_x并看到一个新图像对象o时，对L_x除外的其它列表L_i进行随机访问，找到对象o在L_i中的得分。在此基础上使用公式(4)计算对象o的聚合得分F(Q,o)，如果F(Q,o)是k个最高得分之一，则记录该对象o和其得分F(Q,o)，任何时候仅有k个对象和其得分被记录。

2)设b_i是每个列表L_i顺序访问看到的最近一个对象的得分。则定义一个阈值T为：b₁+b₂+….+b_m+1。

3)当已发现的第k个对象的得分大于等于T，则算法提前终止，直接输出k个已记录的包含位置信息的图像对象。

尽管TA算法使用一个阈值条件，以使得在每个可能的数据实例上达到最佳的情况，但是它可能会导致潜在地加大源自于随机访问对象属性的处理开销。基于此，目前的CA(Combined Algorithm)通过结合每个列表中最后访问的对象的聚合得分来维持最新阈值。如果某一个对象o只在一个列表被访问到，则CA算法就随机地在其他的列表中获取其聚合分数。

在此基础上，本申请提出了一种特别的top-k聚合算法——External CA方法，该方法是NAR(非随机访问)和TA算法的结合，考虑了随机访问的开销，并且在给定有序列表时通过将一组对象当做一个单元的方式使其支持top-k修剪。当以并行方式访问有序列表时，本申请的算法会不断地使用结合算法检索具有最高得分的k个对象，直到top-k个对象的得分高于所得到的阈值为止，下文会对该算法的详细内容进行说明。

由于空间有序列表L_m+1依赖于查询图像Q的位置，而查询图像Q的位置信息是依据用户提交的查询动态获取的，因此空间有序列表L_m+1不能被静态的预计算，而需要在运行时依据Q位置来动态计算相应列表元素的数值。接下来对本发明的External CA方法动态构建有序空间列表的过程进行介绍。

本实施例采用最好优先的kNN(k-Nearest Neighbor，k最邻近)搜索算法，增量式的访问路网索引G-tree，来动态构建空间有序列表。

具体地，本发明的top-k聚合算法——External CA以迭代方式访问空间有序列表，每次迭代顺序访问空间有序列表中固定数量的对象(元素)，因此，针对图像数据库，无需一次性构建整个完整的空间有序列表，即不需一次性获得整个列表的对象排序，而采用渐进式最好优先kNN搜索算法得到当前所需的前η个有序对象即可。

对于G-tree上增量最好的优先kNN，本发明维护一个优先队列P对G-tree结点(包括图像对象所在结点或子网结点)按路网距离进行排序。并基于优先队列Q维护一个候选队列Rcandidates(可理解为动态渐进的空间有序列表)，候选队列Rcandidates基于优先队列P，维护当前迭代所需的路网距离得分排名为前η的图像对象，如果当前Rcandidates队列中对象数目小于η，则从优先队列P中获取下一组候选对象，然后插入进Rcandidates，直到该队列中对象数目大于等于η为止(优先队列为空的情况除外)。

本申请的External CA算法同样使用参数η来控制每次迭代时，对倒排索引所得的x个视觉词汇有序列表的顺序访问深度，在每次迭代中，每个列表中的η个对象都会被顺序访问。对于在列表中每个访问的图片img，首先采用一个预设的上界聚合得分估算方法，估算该图片的上界聚合得分Bound(img)，若图片img的上界聚合得分Bound(img)大于当前已经找到的聚合得分排名前k的图片——即top-k图片中第k个图片的聚合得分，则认为图片img是候选可行的，从而在当次迭代结束时，需针对这些候选可行图片，通过随机访问各个列表，来确定所述候选可行图片在各列表中的视觉词汇相关度得分或空间距离得分，并依据式(4)计算所述候选可行图片的聚合得分。从而可依据该候选可行图片的聚合得分确认是否需对当前的top-k图片进行更新。当已经找到k个聚合得分排名最佳的图片，且再也不会有潜在的候选可行图片时结束算法。

其中，在第i次迭代之后，上界聚合得分Bound(k)将会用以下公式重新计算：

Bound_k＝α·Bound_s(i)+(1-α)·m·Bound_t(i)                 (5)

式(5)中，α为平衡空间距离远近及图像内容相关性的尺度参数，α∈(0,1)；Bound_k为第i次迭代后空间图像的聚合得分上界(用于和当前结果集中k^th比较，决定是否继续下一轮的迭代)，i表示迭代次数，Bound_s(i)表示第i次迭代后空间上得分的上界，Bound_t(i)表示第i次迭代在视觉词汇单个关键字的上界，m·Bound_t(i)表示表示图片中m个视觉词汇的聚合得分上界。

如果Boundk≤T_k，T_k为top-k图片中第k个图片的聚合得分，则停止有序列表上的顺序检索，这是因为有序列表中剩下的未访问图片的聚合得分将不可能比T_k更大。不过，算法此时并不能直接停止，因为当前有些候选可行图像可能不在top-k堆栈中，但是其上界聚合得分比T_k大，对于这些图片，则需要对各有序列表进行随机访问以获得其聚合得分，然后确定是否需更新top-k堆栈中的图片，以保证不会错过正确的结果。

本申请的External CA算法利用图片的最大上界(即所述上界聚合得分)选择候选可行图片，来实现有选择性地随机访问列表中图片的聚合得分(即仅对候选可行图片进行随机访问)，在上界聚合得分不再比目前已经找到的top-k图片中第k个图片的聚合得分(记为T_k)大时停止顺序访问(实现了剪枝)。相比之下，本申请的External CA算法并不为每张图片保存一个上界聚合得分，而只针对上界聚合得分大于当前top-k排名中第k个聚合得分的候选可行图片，这样阈值T_k会通过不断增长来尽可能提前结束算法。

由以上方案可知，本发明在接收到用户提交的空间图像查询请求后，对该请求中所包含的携带位置信息的查询图像进行预设处理，得到查询图像的视觉词袋模型；之后，利用查询图像的视觉词袋模型及位置信息，对图像数据集进行基于图像内容及位置信息的搜索，实现基于图像内容相似度及空间临近度的top-k图像(最优的k个图像)查询，供用户参考。可见，区别于传统的图像查询技术依据关键词进行文本查询，本发明依据用户提交的图像进行基于图像内容(采用视觉词袋模型表征)的查询，不存在文本查询中所存在的局限性问题，可有效处理空间图像的查询问题。

实施例二

本实施例二公开一种空间图像查询系统，参考图2，所述系统包括接收模块100、处理模块200和查询模块300。

接收模块100，用于接收用户提交的空间图像查询请求，所述空间图像查询请求包括携带第一位置信息的查询图像。

处理模块200，用于对所述查询图像进行预设处理，得到所述查询图像的视觉词袋模型。

其中，如图3所示，所述处理模块200包括提取单元201和词袋模型获取单元202。

提取单元201，用于提取所述查询图像的各个局部特征；

词袋模型获取单元202，用于基于预先训练的图像索引视觉词汇树，将所述查询图像的各个局部特征量化为相应的视觉词汇，各视觉词汇的视觉词汇向量构成所述查询图像的视觉词袋模型。

查询模块300，用于利用所述查询图像的视觉词袋模型及第一位置信息，从预设的图像数据集中查询出k个目标图像；所述k个目标图像为图像数据集中与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像，图像数据集中的每个图像对应一个位置信息，k为自然数。

如图3所示，所述查询模块300包括第一搜索单元301、第二搜索单元302和查询单元303。

第一搜索单元301，用于利用图像索引视觉词汇树，对图像数据集进行基于图像内容的图像搜索；

第二搜索单元302，用于利用路网索引G-tree，对图像数据集进行基于位置信息的图像搜索；

查询单元303，用于在利用视觉词汇树及G-tree的进行分离式索引搜索的基础上，从搜索出的图像中查询出与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像。

所述查询单元303具体包括判断子单元、计算子单元和确定子单元。

判断子单元，用于基于所搜索出的潜在图像的上界聚合得分，判断是否需计算所述潜在图像的综合评价得分；

计算子单元，用于在所述判断子单元的判断结果为是时，计算所述潜在图像的综合评价得分，以及在判断结果为否时，舍弃所述潜在图像；

确定子单元，用于基于所述潜在图像的综合评价得分，确定所述潜在图像是否属于目标图像。

对于本发明实施例二公开的空间图像查询系统而言，由于其与实施例一公开的空间图像查询方法相对应，所以描述的比较简单，相关相似之处请参见实施例一中空间图像查询方法部分的说明即可，此处不再详述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种空间图像查询方法，其特征在于，包括：

接收用户提交的空间图像查询请求，所述空间图像查询请求包括携带第一位置信息的查询图像；

对所述查询图像进行预设处理，得到所述查询图像的视觉词袋模型；

利用所述查询图像的视觉词袋模型及第一位置信息，从预设的图像数据集中查询出k个目标图像；所述k个目标图像为图像数据集中与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像，图像数据集中的每个图像对应一个位置信息，k为自然数。

2.根据权利要求1所述的方法，其特征在于，所述对所述查询图像进行预设处理，得到所述查询图像的视觉词袋模型包括：

提取所述查询图像的各个局部特征；

基于预先训练的图像索引视觉词汇树，将所述查询图像的各个局部特征量化为相应的视觉词汇，各视觉词汇的视觉词汇向量构成所述查询图像的视觉词袋模型。

3.根据权利要求2所述的方法，其特征在于，所述利用所述查询图像的视觉词袋模型及第一位置信息，从预设的图像数据集中查询出k个目标图像包括：

利用图像索引视觉词汇树，对图像数据集进行基于图像内容的图像搜索；

利用路网索引G-tree，对图像数据集进行基于位置信息的图像搜索；

在利用视觉词汇树及G-tree进行分离式索引搜索的基础上，从搜索出的图像中查询出与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像。

4.根据权利要求3所述的方法，其特征在于，所述从搜索出的图像中查询出与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像包括：

基于所搜索出的潜在图像的上界聚合得分，判断是否需计算所述潜在图像的综合评价得分；

若判断结果为是，则计算所述潜在图像的综合评价得分；否则，舍弃所述潜在图像；

基于所述潜在图像的综合评价得分，确定所述潜在图像是否属于目标图像。

5.根据权利要求4所述的方法，其特征在于，所述图像内容相似度及空间邻近度的综合评价得分的计算公式为：F(Q,I)＝αD(Q.loc,I.loc)+(1-α)S(Q.content,I.content)，

其中：D(Q.loc,I.loc)＝d(Q.loc,I.loc)/dmax；以上各式中：

Q、I分别表示查询图像及图像数据集中的图像；Q.loc，I.loc分别表示图像Q及图像I在路网上的地理位置；Q.content，I.content分别表示图像Q及图像I采用视觉词袋模型编码的图像内容；

F(Q,I)表示综合评价函数；D(Q.loc,I.loc)为查询图像Q与图像I基于路网路径的距离计算函数，S(Q.content,I.content)为查询图像Q与图像I间图像内容相异度的计算函数；α为平衡空间距离远近及图像内容相关性的尺度参数，α∈(0,1)；

d(Q.loc,I.loc)表示Q.loc与I.loc在路网上的最短路径长度，dmax表示路网中任意位置与任何图像对象之间的最长距离；

q表示查询图像向量，q_i为其每个维度分量；d表示匹配图像向量，d_i为其每个维度分量；||q||为向量q的范数，||d||为向量d的范数； $S(Q.\mathrm{conten},I.\mathrm{content})=\left|\right|\frac{q_i}{\left|\right|q\left|\right|}-\frac{d_i}{\left|\right|d\left|\right|}\left|\right|$ 为归一化后向量q和d差的范数。

6.根据权利要求4所述的方法，其特征在于，所述上界聚合得分的计算公式为：

Bound_k＝α·Bound_s(i)+(1-α)·m·Bound_t(i)

其中：α为平衡空间距离远近及图像内容相关性的尺度参数，α∈(0,1)；Bound_k为第i次迭代后空间图像的聚合得分上界，i表示迭代次数，Bound_s(i)表示第i次迭代后空间上得分的上界，Bound_t(i)表示第i次迭代在视觉词汇单个关键字的上界，m·Bound_t(i)表示表示图片中m个视觉词汇的聚合得分上界。

7.一种空间图像查询系统，其特征在于，包括：

接收模块，用于接收用户提交的空间图像查询请求，所述空间图像查询请求包括携带第一位置信息的查询图像；

处理模块，用于对所述查询图像进行预设处理，得到所述查询图像的视觉词袋模型；

查询模块，用于利用所述查询图像的视觉词袋模型及第一位置信息，从预设的图像数据集中查询出k个目标图像；所述k个目标图像为图像数据集中与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像，图像数据集中的每个图像对应一个位置信息，k为自然数。

8.根据权利要求7所述的系统，其特征在于，所述处理模块包括：

提取单元，用于提取所述查询图像的各个局部特征；

词袋模型获取单元，用于基于预先训练的图像索引视觉词汇树，将所述查询图像的各个局部特征量化为相应的视觉词汇，各视觉词汇的视觉词汇向量构成所述查询图像的视觉词袋模型。

9.根据权利要求8所述的系统，其特征在于，所述查询模块包括：

第一搜索单元，用于利用图像索引视觉词汇树，对图像数据集进行基于图像内容的图像搜索；

第二搜索单元，用于利用路网索引G-tree，对图像数据集进行位置信息的图像搜索；

查询单元，用于在利用视觉词汇树及G-tree的进行分离式索引搜索的基础上，从搜索出的图像中查询出与查询图像间的图像内容相似度及空间邻近度的综合评价得分最优的k个图像。

10.根据权利要求9所述的系统，其特征在于，所述查询单元包括：

判断子单元，用于基于所搜索出的潜在图像的上界聚合得分，判断是否需计算所述潜在图像的综合评价得分；

计算子单元，用于在所述判断子单元的判断结果为是时，计算所述潜在图像的综合评价得分，以及在判断结果为否时，舍弃所述潜在图像；

确定子单元，用于基于所述潜在图像的综合评价得分，确定所述潜在图像是否属于目标图像。