CN108287893A - 一种基于数字图像识别辅助定位的自助导游系统及其方法 - Google Patents

Abstract

本发明公开一种基于数字图像识别辅助定位的自助导游系统及其方法，其特征包括：手机终端、定位服务器和数据库；数据库中存储有不同类别的景点信息、景点的地理位置信息，景点的周边景点信息以及景点的直方图特征，并以不同类别的景点的直方图特征构成特征量分类模型；定位服务器包括：识别模块、定位模块、查询模块、信息推送模块和通讯模块。本发明能利用智能手机的拍照功能来实现景点的识别和定位，从而提升旅客在旅游过程中的自助性和体验度，为自助导游提供一种全新的方式。

Description

一种基于数字图像识别辅助定位的自助导游系统及其方法

技术领域

本发明涉及高级计算机技术领域，具体的说是一种基于数字图像识别辅助定位的自助导游系统及其方法。

背景技术

随着中国当代经济的快速发展，我国的旅游行业也得到迅猛的提升，据统计，2016年全年国内旅游44.4亿人次，同比增长11％。而随着人们生活水平的提高，自助旅游已经成为一种热门的项目。随着科技的发展，市场上已经出现了一些基于无线电的导游讲解系统，但这种系统需要特定的发射台与讲解终端，局限性很大。而互联网的普及，则大大的推动了旅游景区的智能化建设。借助现有的物联网技术，无线通信技术，广域定位技术等等，结合软件系统和数字网络的部署，极大的方便了旅游者自助导游的需求。

而现有的自助导游系统存在的局限性和弊端也很多，如借助GPS定位的自助导游系统，在室外GPS信号良好，定位准确，可在室内则出现信号弱，误差大的情况。再如遇到多个景点相邻的情况，仅根据GPS信号无法精确给出旅客真正需要讲解的内容。另外，导游讲解形式的单一性，也限制了旅客的自由化选择，简单的GPS信号触发，仅语言解说，而无法对旅游景点有足够的图片，视频了解，都使旅客在旅游过程中的体验性下降。

发明内容

本发明为克服现有技术的不足之处，提出一种基于数字图像识别辅助定位的自助导游系统及其方法，以期能利用智能手机的拍照功能来实现景点的识别和定位，从而提升旅客在旅游过程中的自助性和体验度，为自助导游提供一种全新的方式。

本发明为解决技术问题采用如下技术方案：

本发明一种基于数字图像识别辅助定位的自助导游系统的特点包括：手机终端、定位服务器和数据库；所述数据库中存储有不同类别的景点信息、景点的地理位置信息，景点的周边景点信息以及景点的直方图特征，并以不同类别的景点的直方图特征构成特征量分类模型；所述定位服务器包括：识别模块、定位模块、查询模块、信息推送模块和通讯模块；

所述手机终端获取一幅景点图片，并在所述景点图片框出需要定位的景点区域后一起发送给所述定位服务器；

所述定位服务器利用所述通讯模块接收所述景点图片及其定位的景点区域并传递给所述识别模块；

所述识别模块对所述景点图片中定位的景点区域进行裁剪，得到裁剪后的景点图片，并通过图像处理方法对所述裁剪后的景点图片进行处理，得到相应的目标直方图特征；从而根据所述目标直方图特征在所述数据库的特征量分类模型中进行匹配查询，得到目标直方图特征所在的类别及对应的景点名称；

所述查询模块根据所述识别模块识别到的景点名称在所述数据库查询得到相应的景点信息；

所述定位模块根据所述识别模块识别到的景点名称，在所述数据库中查询到相应景点名称的地理位置信息及相应景点的周边景点信息；

所述信息推送模块将所述查询模块查询到的景点信息和所述定位模块得到的地理位置信息发送给所述手机终端用于景点的定位和播报；

所述手机终端接收所述定位服务器反馈的景点信息并进行当前景点的文字、图像、语音和视频的播报；同时根据所述景点的地理位置信息及相应景点的周边景点信息在手机终端的地图中进行标记和定位。

本发明一种基于数字图像识别辅助定位的自助导游方法的特点是应用于由手机终端、定位服务器和数据库构成的网络环境中，并按如下步骤进行：

步骤1、在数据库中建立不同类别的景点信息以及相应景点的直方图特征；以不同类别的景点的直方图特征构成特征量分类模型；

在数据库中根据景点的真实地理位置构建地理位置表，并将各个景点的周边景点关联起来，构建周边景点信息表；

步骤2、利用手机终端获取一幅景点图片，并在所述景点中框出需要定位的景点区域后一起发送给所述定位服务器；

步骤3、所述定位服务器对所述景点图片中框出的景点区域进行裁剪，得到裁剪后的景点图片，并通过图像处理方法对所述裁剪后的景点图片进行处理，得到相应的目标直方图特征；

步骤4、所述定位服务器根据所述目标直方图特征在所述数据库的特征量分类模型中进行匹配查询，得到目标直方图特征所在的类别及对应的景点名称；

步骤5、所述定位服务器根据识别到的景点名称，在所述数据库中查询到相应的景点信息及相应景点的地理位置信息，同时通过所述周边景点信息表获得相应景点的周边景点信息并一起发送给所述手机终端；

步骤6、所述手机终端根据所述定位服务器反馈的景点信息进行当前景点的文字、图像、语音和视频的播报；同时，根据所述定位服务器反馈的景点地理位置信息及相应景点的周边景点信息在手机终端的地图中标记进行标记和定位。

与现有技术相比，本发明的有益效果具体体现在：

1、拍照已经成为了当代年轻人必不可少的生活娱乐方式，本发明利用随身携带的手机终端通过通讯模块的4G/WIFI功能自动接入定位服务器模块，从而能实时获取到景点信息，并在旅游过程中实时播报景点信息，大大提升了旅客的游玩乐趣；

2、本发明采用拍照和定位相结合的方式对景点进行识别，改善了以往的自助导游系统在室内情况和多景点识别情况准确率低的弊端，从而提高了对景点的定位效果；

3、本发明数据库中存储的景点信息包括语言，图片和视频等多种格式，从而为游客提供了全方面的景点解说，并提供当前景点周边的景点信息供用户选择查看，提高了旅客在旅游过程中的体验。

附图说明

图1是本发明系统的示意图；

图2是本发明方法的流程图；

图3是本发明中景点图像处理示例图。

具体实施方式

本实施例中，一种基于数字图像识别辅助定位的自助导游系统，如图1所示，包括：手机终端、定位服务器和数据库；数据库中存储有不同类别的景点信息、景点的地理位置信息，景点的周边景点信息以景点的及直方图特征，并以不同类别的景点的直方图特征构成特征量分类模型；其中，定位服务器包括：识别模块、定位模块、查询模块、信息推送模块和通讯模块；

手机终端以4G/WIFI的方式接入到定位服务器，通过拍照的方式获取一幅景点图片，用户用手点击图片中需要定位的景点并将图片和手指点击位置发送给定位服务器，其中，手机终端指的是具有独立的移动操作系统，可通过安装应用软件、游戏等程序来扩充手机功能，运算能力及功能均优于传统功能手机的一类手机。

定位服务器利用通讯模块接收景点图片及其定位的景点区域并传递给识别模块，其中，通讯模块利用TCP/IP协议与手机终端保持双向通信；

识别模块对景点图片中点击位置的附近区域进行裁剪，得到裁剪后的景点图片，并通过图像处理的方法得到景点图片的目标直方图特征；从而根据目标直方图特征在数据库的特征量分类模型中进行匹配查询，获得与目标直方图特征相似度最高的直方图特征所在的类别及对应的景点名称；其中，如图3所示，图像处理方法指的是对景点图片进行灰度变换，得到灰度图像后再进行Canny边缘检测，得到边缘轮廓图像，最后对边缘轮廓图像进行Hough变换，得到目标直方图特征，灰度变换指的是根据某种条件，采用某种变化函数，来改变图像中的灰度值，进而改善图像的画质；Canny边缘检测实质是将得到的灰度图像锐化，得到灰度图像锐化后的边缘轮廓图像，Hough变换是在图像中识别特定形状的物体，这里用于提取边缘轮廓图像的直方图特征；

查询模块根据识别模块识别到的景点名称在数据库查询得到相应的景点信息；景点信息包括景点的历史记载，图片介绍，音视频讲解等信息；

定位模块根据识别模块识别到的景点名称，在数据库中查询到相应景点的地理位置信息及相应景点的周边景点信息；

信息推送模块将定位模块得到的地理位置信息和查询模块查询得到的景点信息发送给手机终端用于景点的定位和播报；

手机终端根据定位服务器反馈的景点名称，景点信息，景点地理位置信息和周边景点信息时，将景点的地理位置及相应景点的周边景点信息在地图中标记并显示，将景点名称，景点信息提供给用户进行当前景点文字，图像，声音和视频等景点信息的播报；其中对手机终端地理位置的显示，并不限定具体的显示方式。例如，可以是在地图中以红点的方式标记位置，也可以是以文字的方式描述位置等。

在具体实施例中，为了提高旅客与手机终端之间的互动性，手机终端在得到反馈的景点名称，景点信息，景点地理位置信息和周边景点信息时，都是以可选的方式展示给旅客，例如，在得到景点的地理位置信息后，以列表的方式提供周边景点，供用户下一步游玩方向提供建议；

如图2所示，一种基于数字图像识别辅助定位的自助导游方法，是应用于由手机终端、定位服务器和数据库构成的网络环境中，并按如下步骤进行：

步骤1、在数据库中建立不同类别的景点信息以及相应景点的直方图特征；以不同类别的景点的直方图特征构成特征量分类模型；

在数据库中根据景点的真实地理位置构建地理位置表，并将各个景点的周边景点关联起来，构建周边景点信息表；

本发明中数据库的建立采用传统的Sql Server数据库，数据库中分别设有特征向量表，景点信息表，地理位置表和周边景点信息表。其中特征向量表存储各个景点的特征向量；景点信息表通过景点名称，查询相应的景点信息，景点信息的格式可以是文字，音频，图片或者视频；地理位置表存放着景点的真实地理位置；周边景点信息表存放某一景点周边的景点名称。

步骤2、利用手机终端获取一幅景点图片，用户用手点击景点图片中需要定位的景点并将图片和手指点击位置发送给定位服务器；其中，用手指点击图片中的景点位置是为了精确定位，排除图片中的背景杂质，提高图像识别的准确率，也提高了自助导游系统的交互性；

本发明中设计的自助导游系统拟采用客户端服务器架构，客户端是安装在平台的终端上，应具有拍照，信息收集，信息展示的功能。服务端运行在计算机上，应具有信息收集，图像处理，数据分析的功能。本发明中服务器端通常是一台高配置的计算机，可以完成耗时较多的图片处理，识别等动作。

在本实施例中以Android手机终端为例，设计具有景点图片的获取，景点的定位和景点信息的播报等功能的客户端。Android手机终端通过自带的4G/WIFI无线连接功能连到定位服务器所在的网络，使得Android手机终端和定位服务器处于同一网络中。Android手机终端和定位服务器通过Socket进行数据传输。

步骤3、定位服务器对景点图片中点击位置的附近区域进行裁剪，得到裁剪后的景点图片，并通过图像处理的方法得到景点图片的目标直方图特征；

对待识别景点的图像特征提取用到了图像处理技术，如图3所示，在本实施例中对黄山迎客松的景点图片进行特征提取。首先对图片灰度变换，将图片中噪点去除，得到改善画质后的灰度图像，接着对灰度图片进行Canny边缘检测，目的在于将图片锐化，尽可能的标识出图像中景点的边缘。经过处理后的图像比原始图像更容易提取它的特征，最后对边缘轮廓图像进行Hough变换，完成对景点图像的直方图特征提取。

步骤4、定位服务器根据目标直方图特征在数据库的特征量分类模型中进行匹配查询，得到目标直方图特征所在的类别及对应的景点名称；

在本发明中，景点图像的直方图特征以向量的形式存储在数据库，在进行待识别景点的直方图特征在特征量分类模型中匹配查询时，采用余弦相似性计算并根据结果从1到-1顺序排列，最接近1的特征向量为待识别景点的匹配结果。

余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。

步骤5、定位服务器根据识别到的景点名称，在数据库中查询到相应的景点信息及相应景点的地理位置信息，同时通过数据库中的周边景点信息表获得相应景点的周边景点信息并一起发送给手机终端用于景点的定位和播报；；

本发明的初衷是能够通过图像识别的方式完成定位，弥补GPS定位的弊端。在本实施例中，根据景点真实的地理位置建立一张地理位置表，当定位服务器识别出景点名称后，能够通过该表查询到景点的真实地理位置。在本发明中，真实的地理位置能够标记景点在地图中的位置，并不限定具体的参考系，例如，可以是地球经纬度，也可以是景点在景区范围内的相对位置。

步骤6、手机终端得到定位服务器反馈的景点名称和景点信息，提供给用户进行文字，图像，声音和视频的播报；

步骤7、手机终端根据定位服务器反馈的景点地理位置信息和周边景点信息，在手机终端的地图中标记出来，提供用户选择查看。

旅客可以通过手机终端实现想要的操作，例如，旅客在拍摄景点图片后，可以选择查看景点的相关信息和图片，也可以选择收听景点信息的语言播报，并能够收到周边景点的信息推送，这样做的目的在于提高旅客与手机终端的交互性。

总的来说，本发明利用现有的移动终端开发技术，无线网络传输技术，服务器，数字图像识别等技术相结合，将智能手机的拍照功能和数字图像识别联系在一起，提出了一种新的自助导游方式，改善了以往基于GPS位置的自助导游一些弊端，从而提高了旅客在旅游过程中的体验，进而达到增加社会经济效益的目的。

Claims (2)

1.一种基于数字图像识别辅助定位的自助导游系统，其特征包括：手机终端、定位服务器和数据库；所述数据库中存储有不同类别的景点信息、景点的地理位置信息，景点的周边景点信息以及景点的直方图特征，并以不同类别的景点的直方图特征构成特征量分类模型；所述定位服务器包括：识别模块、定位模块、查询模块、信息推送模块和通讯模块；

所述手机终端获取一幅景点图片，并在所述景点图片框出需要定位的景点区域后一起发送给所述定位服务器；

所述定位服务器利用所述通讯模块接收所述景点图片及其定位的景点区域并传递给所述识别模块；

所述识别模块对所述景点图片中定位的景点区域进行裁剪，得到裁剪后的景点图片，并通过图像处理方法对所述裁剪后的景点图片进行处理，得到相应的目标直方图特征；从而根据所述目标直方图特征在所述数据库的特征量分类模型中进行匹配查询，得到目标直方图特征所在的类别及对应的景点名称；

所述查询模块根据所述识别模块识别到的景点名称在所述数据库查询得到相应的景点信息；

所述定位模块根据所述识别模块识别到的景点名称，在所述数据库中查询到相应景点名称的地理位置信息及相应景点的周边景点信息；

所述信息推送模块将所述查询模块查询到的景点信息和所述定位模块得到的地理位置信息发送给所述手机终端用于景点的定位和播报；

所述手机终端接收所述定位服务器反馈的景点信息并进行当前景点的文字、图像、语音和视频的播报；同时根据所述景点的地理位置信息及相应景点的周边景点信息在手机终端的地图中进行标记和定位。

2.一种基于数字图像识别辅助定位的自助导游方法，其特征是应用于由手机终端、定位服务器和数据库构成的网络环境中，并按如下步骤进行：

步骤1、在数据库中建立不同类别的景点信息以及相应景点的直方图特征；以不同类别的景点的直方图特征构成特征量分类模型；

在数据库中根据景点的真实地理位置构建地理位置表，并将各个景点的周边景点关联起来，构建周边景点信息表；

步骤2、利用手机终端获取一幅景点图片，并在所述景点中框出需要定位的景点区域后一起发送给所述定位服务器；

步骤3、所述定位服务器对所述景点图片中框出的景点区域进行裁剪，得到裁剪后的景点图片，并通过图像处理方法对所述裁剪后的景点图片进行处理，得到相应的目标直方图特征；

步骤4、所述定位服务器根据所述目标直方图特征在所述数据库的特征量分类模型中进行匹配查询，得到目标直方图特征所在的类别及对应的景点名称；

步骤5、所述定位服务器根据识别到的景点名称，在所述数据库中查询到相应的景点信息及相应景点的地理位置信息，同时通过所述周边景点信息表获得相应景点的周边景点信息并一起发送给所述手机终端；

步骤6、所述手机终端根据所述定位服务器反馈的景点信息进行当前景点的文字、图像、语音和视频的播报；同时，根据所述定位服务器反馈的景点地理位置信息及相应景点的周边景点信息在手机终端的地图中标记进行标记和定位。