CN107945353B - 一种基于深度学习的自助导游系统 - Google Patents

Abstract

本发明公开一种基于深度学习的自助导游系统，包括移动终端、后台处理反馈系统、图像识别系统、样本训练库和景点信息数据库。所述移动终端由GPS模块，地图模块，图像传输模块，信息显示模块构成。有益效果：自助精确定位，深度学习具有高效率，可塑性，普适性等优点，能极高提高定位精确度，同时无需花费硬件投资。

Description

一种基于深度学习的自助导游系统

技术领域

本发明涉及智能自助导游技术领域、深度学习领域，尤其涉及一种基于深度学习的自助导游系统。

背景技术

随着们生活水平的日益提高，旅游已经成为大多数人休闲节假日的不二选择，同时游客们对旅游质量要求也越来越高的，不仅仅只是满足于欣赏景点的风景，更希望能了解到其中蕴含的人文知识，导游本来能很好解决这个问题，但由于现在导游本身水平参差不齐，外界因素干扰导致旅游质量不高，以及跟团旅游束缚了游客的参观自由，所以大多数人往往更倾向于自驾游。

专利号CN201310362728.4提出的基于地理位置的导游系统，利用GPS对客户进行实时定位追踪、监控，并提供一些自助服务，来帮助用户实现自助旅游，但是由于在诸多因素影响，GPS往往定位不够准确，尤其是在建筑密集的地方。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。深度学习是一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)，所以深度学习在图像识别领域运用十分有效。

所以我们引入深度学习的方法图像识别方法来实现自助精确定位，深度学习具有高效率，可塑性，普适性等优点，能极高提高定位精确度，同时无需花费硬件投资。

发明内容

本发明的目的在于提供基于深度学习的智能导游系统，使选择自助游的人，在没有导游讲解的情况下，通过本系统获取所在景点的详细信息，同时弥补GPS在诸多因素下定位不够准确的缺点，为用户提供更加准确的定位服务，同时还为用户提供导航路线规划等功能，为用户提供方便全面的自助导游服务。

为实现上述目的，本发明的技术方案如下：

一种基于深度学习的自助导游系统，它包括移动终端、后台处理反馈系统、图像识别系统、样本训练库和景点信息数据库。所述移动终端由GPS模块，地图模块，图像传输模块，信息显示模块构成。

优选的，所述的后台处理反馈系统包括网络通信模块、信息传递模块。所述网络通信模块，用于实现本地服务器和移动终端之间图像、文本等数据传输；所述信息传递模块，将接收的图像发送至图像识别系统，同时接收从图像识别系统传回的名称关键字，并根据移动端做出的操作，将名称关键字发送至移动终端或景点信息数据库；

所述名称关键词属于系统中信息传递模块一部分，为景点名或景物名，通过该关键字检索景点信息数据库或实现定位和路线导航功能。

优选的，所述的景点信息数据库由图片库、语言库、文本库组成、图片库、语音库和文本库内分别存储景点的图像、语音介绍和文本介绍信息内容，不同库的信息内容按照一定逻辑关系存储，可以通过名称关键字访问到数据库内相应信息。

优选的，所述图像识别系统利用深度学习的方法对上传图片识别匹配，并返回对应的名称关键字，并将上传图片发送给样本训练库，作为样本训练系统。

优选的，所述样本训练库包含存储模块和预处理模块以及训练模块，所述存储模块用于存储样本和训练模型；

所述预处理模块，对样本集合进行预处理，将图像缩放到指定大小；所述训练模块，利用样本集合训练卷积神经网络模型。

优选的，所述导游系统提供定位服务、景点详情查询、导航路线规划等功能。

优选的，具有GPS定位和深度学习方法定位两种模式，所述GPS定位，通过利用GPS获取所在粗略地理坐标数据实现定位；

所述深度学习方法定位，通过利用深度学习方法对所在地周围图像进行识别，从本地服务器获取相应信息，实现定位。

优选的，所述图像识别系统包括如下步骤：将上传的景点图像作为训练好的卷积神经网络模型的输入，模型进行识别得到结果，根据结果将相应景点名和景物名关键字返回到后台反馈识别系统。

优选的，所述训练卷积神经网络模型的步骤为：

a、判断样本训练库存储图像数量；

b、若样本图像足够，先对图像进行预处理，将图像缩放到指定大小；

c、用样本图像训练卷积神经网络模型，卷积神经网络的输入层由32X32个感知节点组成，用来接收样本图像，然后，计算流程在卷积和子抽样之间交替进行，多层卷积后，最后形成个全连接层，得到输出向量；

d、存储训练完毕的神经网络模型。

有益效果：自助精确定位，深度学习具有高效率，可塑性，普适性等优点，能极高提高定位精确度，同时无需花费硬件投资。

附图说明

图1是本发明实施例的系统结构示意图；

图2是本发明实施例的系统具体运行工作的流程示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

实施例，本发明的为一种基于深度学习的智能导游系统，主要由移动终端、后台处理反馈系统、图像识别系统、样本训练库、景点信息数据库构成；

所述移动终端由GPS模块，地图模块，图像传输模块，信息显示模块构成，依据其特征移动终端可以是手机、电脑、平板电脑等；所述GPS模块即利用GPS定位系统获取所在地粗略地理坐标数据；所述地图模块，用于实现地图上用户当前位置显示以及导航路线规划；所述图像传输模块包含摄像头、存储卡和通信网络，将拍摄的或系统图库中选择的图片通过通信网络上传至服务器；所述信息显示模块，用于显示和播放从服务器传回的景点文本、图片、语音信息。所述后台处理反馈系统，包括网络通信模块、信息传递模块；所述网络通信模块，用于实现本地服务器和移动终端之间图像、文本等数据传输；所述信息传递模块，将接收的图像发送至图像识别系统，同时接收从图像识别系统传回的名称关键字，并根据移动端做出的操作，将名称关键字发送至移动终端或景点信息数据库；上述名称关键字，为系统一种信息传递机制，为景点名或景物名，通过该关键字可以检索景点信息数据库或实现发送回移动终端实现定位和导航功能。所述图像识别系统，利用深度学习的方法对上传图片识别匹配，并返回对应的名称关键字，并将上传图片发送给样本训练库，作为样本训练系统。所述样本训练库，包含存储模块和预处理模块以及训练模块，所述存储模块用于存储样本和训练模型；所述预处理模块，对样本集合进行预处理，将图像缩放到指定大小；所述训练模块，利用样本集合训练卷积神经网络模型。所述的景点信息数据库由图片库，语言库，文本库组成，图片库、语音库和文本库内分别存储景点的图像、语音介绍和文本介绍信息内容，不同库的信息内容按照一定逻辑关系存储，后台处理反馈系统可以通过关键字对景点信息数据库进行访问，然后向移动终端发送相应的图片、语音、文本信息。

一种基于深度学习的智能导游系统，其核心在于利用深度学习的方法对图像识别技术，以此达到对图片中景点的精确识别定位的目的，并以此核心为基础，为系统拓展定位服务、景点详情查询、导航路线规划等实用功能。该系统工作运行流程具体步骤如下：

S1、移动终端做出操作:

首先，用户在移动终端做出操作，后台处理反馈系统接收到移动终端的操作。所述移动终端具有GPS模块，能够根据所在地和目的地实现粗定位和导航功能；移动终端还具有摄像功能和存储功能，能够通过摄像装置和调用系统图库获得景点位置信息图片；且移动终端还具有通信功能，能通过通信网络，向服务器发送操作请求，上传位置信息图片，以及从服务器接收相关反馈信息；移动终端还能显示地图、图像、文本、语音等信息。上述移动终端做出的操作包括是获取当定位、景点详情查询、导航路线规划。

S2、定位服务：

若用户需要获取当前定位信息，用户可选择本系统提供GPS定位和深度学习定位两种模式进行定位。上述(1)GPS定位方法工作流程为：利用GPS模块即利用GPS定位系统获取所在地粗略地理坐标数据，在地图模块上显示所在位置，并保留该地点名作为关键字。上述(2)深度学习定位方法工作流程为：a、使用移动终端相机对具有标志性的景物拍照或调用系统图库选择照片，b、将照片上传到本地服务器，c、后台处理反馈系统通过信息传输模块将图片传输至图像识别系统，d、图像识别系统利用深度学习方法对图像内容进行识别，返回对应景点名和景物名，同时将该图像作为样本训练系统，e、后台处理反馈系统将景点名和景物名反馈至移动终端，f、移动终端根据返回的景点名关键字在地图模块上显示所在位置，并保留该景点名或景物名作为关键字。

上述深度学习进行图像识别方法的步骤为将上传的景点图像作为训练好的卷积神经网络模型的输入，模型进行识别得到结果，根据结果将相应景点名和景物名关键字返回到后台反馈识别系统。

上述训练卷积神经网络模型的步骤为：a、判断样本训练库存储图像数量，b、若样本图像足够，先对图像进行预处理，将图像缩放到指定大小，c、用样本图像训练卷积神经网络模型，卷积神经网络的输入层由32X32个感知节点组成，用来接收样本图像，然后，计算流程在卷积和子抽样之间交替进行，最后形成个全连接层，得到输出向量。d、存储训练完毕的神经网络模型。

上述卷积神经网络的具体结构如图2所示，a、最左侧输入层由32X32个感知节点组成，用来样本图像输入；b、C1层进行卷积，它由6个特征映射组成，每个特征映射由28X28个神经元组成，每个神经元指定一个5X5的接受域；c、S2层是下抽样层，实现子抽样和局部平均，由6个特征映射组成，每个特征映射由14X14个神经元组成，每个神经元指定一个2X2的接受域；d、C3层进行第二次卷积，通过5x5的卷积核去卷积层S2得到，由16个特征映射组成，每个特征映射由10X10个神经元组成；e、S4层是下采样层，由16个特征映射组成，每个特征映射由5X5个神经元组成。f、C5层进行第三次卷积，由120个神经单元组成，每个神经元指定一个5X5的接受域。g、F6层为全连接层，由84个神经单元组成，与C5层全连接。h、输出层由欧式径向基函数单元组成，每类一个单元，每个有84个输入。

上述进行卷积过程的步骤为：用可训练的滤波器fx去卷积一个输入的图像(第一阶段是输入的样本图像，后面的阶段为特征映射)，然后加上偏置bx，得到卷积层Cx。上述子采样过程的步骤为：每邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。

上述sigmoid激活函数为：

S3、景点详情查询：

若用户需要了解当前所在地景点的详细信息，a、首先需要利用本系统提供GPS定位和或深度学习定位两种模式进行定位，b、获取到景点名或景物名关键字后，将关键字发送给本地服务器，后台服务器利用该就关键字检索景点信息数据库，c、返回的语音、文本、图像信息发送给移动终端，d、移动终端通过信息显示模块显示返回的信息。

S4、导航路线规划：

若用户需要使用导航功能，a、如果用户知道出发地和目的地的位置信息，则直接使用移动终端的地图模块，获取导航路线，b、如果用户不知道出发地和目的地所在，则可用移动终端相机对出发地的景物拍照、以及调用系统图库选择目的地照片，采用深度学习定位的定位方法获取出发地和目的地的位置信息，然后使用移动终端的地图模块，获取导航路线。

以上公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于深度学习的自助导游系统，其特征在于：它包括移动终端、后台处理反馈系统、图像识别系统、样本训练库和景点信息数据库，所述移动终端由 GPS 模块，地图模块，图像传输模块，信息显示模块构成；

所述的景点信息数据库由图片库、语言库、文本库组成、图片库、语音库和文本库内分别存储景点的图像、语音介绍和文本介绍信息内容，不同库的信息内容按照一定逻辑关系存储，可以通过名称关键字访问到数据库内相应信息；

所述图像识别系统利用深度学习的方法对上传图片识别匹配，并返回对应的名称关键字，并将上传图片发送给样本训练库，作为样本训练系统；

所述样本训练库包含存储模块和预处理模块以及训练模块，所述存储模块用于存储样本和训练模型；

所述预处理模块，对样本集合进行预处理，将图像缩放到指定大小；所述训练模块，利用样本集合训练卷积神经网络模型；

所述导游系统提供定位服务、景点详情查询、导航路线规划功能；

所述提供定位服务具有 GPS 定位和深度学习方法定位两种模式，所述 GPS 定位，通过利用 GPS 获取所在粗略地理坐标数据实现定位；

所述深度学习方法定位，通过利用深度学习方法对所在地周围图像进行识别，从本地服务器获取相应信息，实现定位；

所述图像识别系统，包括如下步骤：将上传的景点图像作为训练好的卷积神经网络模型的输入，模型进行识别得到结果，根据结果将相应景点名和景物名关键字返回到后台反馈识别系统；

所述训练卷积神经网络模型的步骤为：

a、判断样本训练库存储图像数量；

b、若样本图像足够，先对图像进行预处理，将图像缩放到指定大小；

c、用样本图像训练卷积神经网络模型，卷积神经网络的输入层由 32X32 个感知节点组成，用来接收样本图像，然后，计算流程在卷积和子抽样之间交替进行，多层卷积后，最后形成个全连接层，得到输出向量；

d、存储训练完毕的神经网络模型。

2.根据权利要求 1 所述一种基于深度学习的自助导游系统，其特征在于：所述的后台处理反馈系统包括网络通信模块、信息传递模块，所述网络通信模块，用于实现本地服务器和移动终端之间图像、文本数据传输；所述信息传递模块，将接收的图像发送至图像识别系统，同时接收从图像识别系统传回的名称关键字，并根据移动端做出的操作，将名称关键字发送至移动终端或景点信息数据库；

所述名称关键字属于系统中信息传递模块一部分，为景点名或景物名，通过该关键字检索景点信息数据库或实现定位和路线导航功能。

Images