CN106383888A - 一种利用图片检索定位导航的方法 - Google Patents

Abstract

本发明中提出的一种利用图片检索定位导航的方法，其主要内容包括：景点数据集训练、输入图像、VQA模型、多层感知分类器预测概率、输入导航软件获取路线信息，其过程为，首先采用中国著名景点图片建立数据库进行训练，在对景点位置搜索时，在搜索栏中导入景点图像，采用VQA模型，包括引导反向传播技术和闭塞模型来确定重要的字词和图像区域，结合卷积神经网络(CNN)和长短期记忆(LSTM)，并采用了多层感知器作为分类器来预测答案概率分布，最后通过输入导航软件来获取路线信息。本发明突破原来只能文字输入目的地进行查找和定位的限制，即使不知道地名或不会使用当地语言，也能将为准确地搜索定位到目标地点，使人们出行更加方便。

Description

一种利用图片检索定位导航的方法

技术领域

本发明涉及图像检索定位领域，尤其是涉及了一种利用图片检索定位导航的方法。

背景技术

定位导航技术对于传统的方法来说给人们的出行带来了极大的便利，但是现有的定位导航技术限制于文字的输入进行定位和目的地的查找，对于不知道地名或是不会使用当地语言的情况来说，还是有诸多的不便。

本发明提出了一种利用图片检索定位导航的方法，采用中国著名景点图片建立数据库进行训练，在对景点位置搜索时，在搜索栏中导入景点图像，采用VQA模型，包括引导反向传播技术和闭塞模型来确定重要的字词和图像区域，VQA模型采用基于图像嵌入的卷积神经网络(CNN)，基于问题嵌入的长短期记忆(LSTM)，结合了这两种嵌入，并采用了多层感知器作为分类器来预测答案概率分布，最后通过输入导航软件来获取路线信息。本发明突破原来只能文字输入目的地进行查找和定位的限制，即使不知道地名或不会使用当地语言，也能将为准确地搜索定位到目标地点，使人们出行更加方便。

发明内容

针对地名未知而难以搜索定位等问题，本发明的目的在于提供一种利用图片检索定位导航的方法，使用中国著名景点图片建立数据库进行训练，采用VQA模型，包括引导反向传播技术和闭塞模型来确定重要的字词和图像区域，使得图片搜索定位更加准确，方便人们出行。

为解决上述问题，本发明提供一种利用图片检索定位导航的方法，其主要内容包括：

(一)景点数据集训练；

(二)输入图像；

(三)VQA模型；

(四)多层感知分类器预测概率；

(五)输入导航软件获取路线信息。

其中，所述的景点数据集训练，采用中国著名景点图片建立数据库，称为CFS数据库，共100000张景点图片，其中每个景点所含图片均在10张以上。

其中，所述的输入图像，在对景点位置搜索时，在搜索栏中导入景点图像，输入图像格式为JPEG、TIFF、PNG，图像大小低于10M。

其中，所述的VQA模型，包括引导反向传播技术和闭塞模型。

进一步地，所述的VQA模型，视其为一个学习函数a＝f_w(i,q)，输入图像i和图像问题q，参数化参数ω，并产生一个答案a，为了衡量组件i和q的重要性(即像素和单词)，线性近似f围绕每个测试点(i_test,q_test)，

计算的两个关键量和即函数关于每个输入的偏导数(图片和问题)，这些表达式表面上看类似于梯度计算的反向传播神经网络的训练，然而，有两个关键的差异：

(1)计算的是预测输出的概率偏导数，不是真实的输出；

(2)计算相对于输入的偏导数(即图像和嵌入字的像素强度)，没有参数。

进一步地，所述的图像问题q，主要确定问题中的重要词语，包括对图像中景点的种类、风格、颜色基调、景点特征、所在城市的问题。

进一步地，所述的引导反向传播技术，确定了问题中的重要词语和图像中的重要区域；引导反向传播是一种基于梯度的可视化技术，用于可视化神经网络的不同层中的神经元激活；引导反向传播技术限制负向输入层，形成更清晰的图像可视化；

引导反向传播技术(引导BP)和经典反向传播技术(经典BP)基本相同，除了在反向传递时采用线性(ReLUs)，让h^l表示输入层l，h^l+1表示输出，ReLUs定义为：

h^l+1＝relu(h^l)＝max(h^l,0) (2)

使表示ReLU输出的偏导数，(接收作为反向传递的输入)

G^l＝[[h^l>0]]·G^l+1[经典BP] (3)

G^l＝[[h^l>0]]·[[G^l+1>0]]·G^l+1[引导BP] (4)

以上是两BP之间的关键差异。

进一步地，所述的闭塞模型，封闭输入的部分，观察模型的预测概率的变化来计算图像区域的重要性。系统地阻断输入子集，向前传播输入通过VQA模型，计算答案与原始输入预测概率的变化；因为有2个输入到模型中，我们一次针对一个输入，固定其他的输入(模拟偏导数)；具体来说，要计算一个问题的重要性，通过在问题中去除这个词，并以原始图像作为输入，输入到模型中，问题词的重要性得分计算为原来的预测答案的概率的变化。

我们遵循相同的程序上的图像，以计算图像区域的重要性；将图像划分成一个大小为16x16的网格，并计算原始预测答案的概率的减少。

其中，所述的多层感知分类器预测概率，VQA模型采用基于图像嵌入的卷积神经网络(CNN)，基于问题嵌入的长短期记忆(LSTM)，结合了这两种嵌入，并采用了多层感知器作为分类器来预测答案概率分布。

其中，所述的输入导航软件获取路线信息，通过分类器获得的景点最高概率答案输入到导航软件后台，导航软件根据景点信息获取景点位置并获取路线信息。

附图说明

图1是本发明一种利用图片检索定位导航的方法的系统流程图。

图2是本发明一种利用图片检索定位导航的方法的中国著名景点图片数据库。

图3是本发明一种利用图片检索定位导航的方法的输入图像定位搜索的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种利用图片检索定位导航的方法的系统流程图。主要包括景点数据集训练、输入图像、VQA模型、多层感知分类器预测概率、输入导航软件获取路线信息。

其中，景点数据集训练，采用中国著名景点图片建立数据库，称为CFS数据库，共100000张景点图片，其中每个景点所含图片均在10张以上。

其中，输入图像，在对景点位置搜索时，在搜索栏中导入景点图像，输入图像格式为JPEG、TIFF、PNG，图像大小低于10M。

其中，VQA模型包括引导反向传播技术和闭塞模型。视其为一个学习函数a＝f_w(i,q)，输入图像i和图像问题q，参数化参数ω，并产生一个答案a，为了衡量组件i和q的重要性(即像素和单词)，线性近似f围绕每个测试点(i_test,q_test)，

计算的两个关键量和即函数关于每个输入的偏导数(图片和问题)，这些表达式表面上看类似于梯度计算的反向传播神经网络的训练，然而，有两个关键的差异：

(1)计算的是预测输出的概率偏导数，不是真实的输出；

(2)计算相对于输入的偏导数(即图像和嵌入字的像素强度)，没有参数。

图像问题q主要确定问题中的重要词语，包括对图像中景点的种类、风格、颜色基调、景点特征、所在城市的问题。

引导反向传播技术确定了问题中的重要词语和图像中的重要区域；引导反向传播是一种基于梯度的可视化技术，用于可视化神经网络的不同层中的神经元激活；引导反向传播技术限制负向输入层，形成更清晰的图像可视化；

引导反向传播技术(引导BP)和经典反向传播技术(经典BP)基本相同，除了在反向传递时采用线性(ReLUs)，让h^l表示输入层l，h^l+1表示输出，ReLUs定义为：

h^l+1＝relu(h^l)＝max(h^l,0) (2)

使表示ReLU输出的偏导数，(接收作为反向传递的输入)

G^l＝[[h^l>0]]·G^l+1[经典BP] (3)

G^l＝[[h^l>0]]·[[G^l+1>0]]·G^l+1[引导BP] (4)

以上是两BP之间的关键差异。

闭塞模型，封闭输入的部分，观察模型的预测概率的变化来计算图像区域的重要性。系统地阻断输入子集，向前传播输入通过VQA模型，计算答案与原始输入预测概率的变化；因为有2个输入到模型中，我们一次针对一个输入，固定其他的输入(模拟偏导数)；具体来说，要计算一个问题的重要性，通过在问题中去除这个词，并以原始图像作为输入，输入到模型中，问题词的重要性得分计算为原来的预测答案的概率的变化。

我们遵循相同的程序上的图像，以计算图像区域的重要性；将图像划分成一个大小为16x16的网格，并计算原始预测答案的概率的减少。

其中，多层感知分类器预测概率，VQA模型采用基于图像嵌入的卷积神经网络(CNN)，基于问题嵌入的长短期记忆(LSTM)，结合了这两种嵌入，并采用了多层感知器作为分类器来预测答案概率分布。

其中，输入导航软件获取路线信息，通过分类器获得的景点最高概率答案输入到导航软件后台，导航软件根据景点信息获取景点位置并获取路线信息。

图2是本发明一种利用图片检索定位导航的方法的中国著名景点图片数据库。中国著名景点图片建立数据库，称为CFS数据库，共100000张景点图片，其中每个景点所含图片均在10张以上。

图3是本发明一种利用图片检索定位导航的方法的输入图像定位搜索的流程图。在对景点位置搜索时，在搜索栏中导入景点图像，输入图像格式为JPEG、TIFF、PNG，图像大小低于10M。搜索定位的过程为：根据输入的图片产生的路线图，在搜索框输入故宫图片，对图片信息进行分析确定图片景点位置，根据自身位置定位获取到达景点位置的路线，为游客进行精准的导航。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种利用图片检索定位导航的方法，其特征在于，主要包括景点数据集训练(一)；输入图像(二)；VQA模型(三)；多层感知分类器预测概率(四)；输入导航软件获取路线信息(五)。

2.基于权利要求书1所述的景点数据集训练(一)，其特征在于，采用中国著名景点图片建立数据库，称为CFS数据库，共100000张景点图片，其中每个景点所含图片均在10张以上。

3.基于权利要求书1所述的输入图像(二)，其特征在于，在对景点位置搜索时，在搜索栏中导入景点图像，输入图像格式为JPEG、TIFF、PNG，图像大小低于10M。

4.基于权利要求书1所述的VQA模型(三)，其特征在于，包括引导反向传播技术和闭塞模型。

5.基于权利要求书4所述的VQA模型，其特征在于，视其为一个学习函数a＝f_w(i,q)，输入图像i和图像问题q，参数化参数ω，并产生一个答案a，为了衡量组件i和q的重要性(即像素和单词)，线性近似f围绕每个测试点(i_test,q_test)，

计算的两个关键量和即函数关于每个输入的偏导数(图片和问题)，这些表达式表面上看类似于梯度计算的反向传播神经网络的训练，然而，有两个关键的差异：

(1)计算的是预测输出的概率偏导数，不是真实的输出；

(2)计算相对于输入的偏导数(即图像和嵌入字的像素强度)，没有参数。

6.基于权利要求书5所述的图像问题q，其特征在于，主要确定问题中的重要词语，包括对图像中景点的种类、风格、颜色基调、景点特征、所在城市的问题。

7.基于权利要求书4所述的引导反向传播技术，其特征在于，引导反向传播技术确定了问题中的重要词语和图像中的重要区域；引导反向传播是一种基于梯度的可视化技术，用于可视化神经网络的不同层中的神经元激活；引导反向传播技术限制负向输入层，形成更清晰的图像可视化；

引导反向传播技术(引导BP)和经典反向传播技术(经典BP)基本相同，除了在反向传递时采用线性(ReLUs)，让h^l表示输入层l，h^l+1表示输出，ReLUs定义为：

h^l+1＝relu(h^l)＝max(h^l,0) (2)

使表示ReLU输出的偏导数，(接收作为反向传递的输入)

G^l＝[[h^l>0]]·G^l+1[经典BP] (3)

G^l＝[[h^l>0]]·[[G^l+1>0]]·G^l+1[引导BP] (4)

以上是两BP之间的关键差异。

8.基于权利要求书4所述的闭塞模型，其特征在于，封闭输入的部分，观察模型的预测概率的变化来计算图像区域的重要性，系统地阻断输入子集，向前传播输入通过VQA模型，计算答案与原始输入预测概率的变化；因为有2个输入到模型中，我们一次针对一个输入，固定其他的输入(模拟偏导数)；具体来说，要计算一个问题的重要性，通过在问题中去除这个词，并以原始图像作为输入，输入到模型中，问题词的重要性得分计算为原来的预测答案的概率的变化；

我们遵循相同的程序上的图像，以计算图像区域的重要性；将图像划分成一个大小为16x16的网格，并计算原始预测答案的概率的减少。

9.基于权利要求书1所述的多层感知分类器预测概率(四)，其特征在于，VQA模型采用基于图像嵌入的卷积神经网络(CNN)，基于问题嵌入的长短期记忆(LSTM)，结合了这两种嵌入，并采用了多层感知器作为分类器来预测答案概率分布。

10.基于权利要求书1所述的输入导航软件获取路线信息(五)，其特征在于，通过分类器获得的景点最高概率答案输入到导航软件后台，导航软件根据景点信息获取景点位置并获取路线信息。