CN111795688B - 一种基于深度学习和增强现实的图书馆导航系统实现方法 - Google Patents

Abstract

本发明是一种基于深度学习和增强现实的图书馆导航系统实现方法，该系统实现方法包括如下步骤：步骤1：根据室内场所的平面结构生成室内导航地图；步骤2：在室内选择若干个地点作为导航的起始点，放置不同的图片作为标识图，同时将图片及其对应所在坐标位置录入数据库；步骤3：构建系统数据库，创建本系统所需的数据库，更新数据库；步骤4：扫描识别标识符图像，确定初始位置；步骤5：根据上述步骤计算得到的线路结果，将虚拟的导航路线与摄像头实时捕捉的画面叠加，显示在手机终端屏幕上。本发明实现了精度较高的室内定位以及导航方法，能够广泛的应用于图书馆等室内定位应用场景。

Description

一种基于深度学习和增强现实的图书馆导航系统实现方法

技术领域

本发明属于人工智能、室内导航领域，具体的说是一种基于深度学习和增强现实的图书馆室内导航系统实现方法。

背景技术

在室内空间越来越庞大的今天，各个大型购物商城、办公楼、地下车库的不断建设，使得基于室内的导航与定位必不可少，人们在室内环境中的位置服务需求已经日趋显著，当前我国高等院校图书馆馆藏导航的方式还是主要利用其自建的“联机公共目录查询系统”(OPAC)。传统技术层面的馆藏导航无论是面对读者还是馆内工作人员，用户只能够看到当时编目录入时的信息即书籍的大致位置以及索书号，无法更加高效直观的展现馆藏资源，寻找馆藏资源的时间成本过高，体验感较差；此外，在图书馆被使用的过程中，书籍放置位置可能发生变化，若管理员还未进行整理，用户根据查询系统得到的为错误书籍位置信息，因此室内导航AR系统需要实时更新数据库以保证有效的图书位置信息，综上，图书馆室内导航系统主要追踪两者的位置：书籍以及查找书籍的用户。然而近年来室内定位环境复杂，且遮挡、障碍物繁多，想要获得较为准确的室内目标位置信息是一个难点，同时也是现在研究的热点。

增强现实(AR)技术已经应用到多个领域，如游戏、医学、设备维修制造等多方面。如今随着移动终端设备的发展，在集成了高清摄像头和惯性传感器的移动终端上应用AR技术也成为了趋势。利用摄像头、陀螺仪、加速度计等传感器，可以实现对于运动物体的较高精度的位置追踪，进而实现AR三维注册。基于惯性视觉的导航可以获得被追踪物体的方位变化，但无法直接获得初始方位，因此要实现AR导航还需要确定初始系统姿态。

使用摄像头和惯性传感器可以运动的方位变化来计算并追踪用户的位置，但对于位置在一段时间内相对固定的物体，例如需要确定待查找的书籍在图书馆中的位置时，惯性视觉追踪方法并不适用。此时一般使用其他室内定位技术如Wi-Fi、蓝牙、红外、超宽带、射频识别(RFID)、ZigBee等，并且主要分为两个服务提供商：基站和惯性位置。商业技术基本上使用无线通信基站解决方案，例如Wi-Fi和RFID等。RFID技术具有读取距离长，穿透力强，抗污染，效率高和信息量大的特点。如今的RFID室内定位方案，可分为一维绝对或相对定位、二维平面定位和三维空间定位，其中，三维空间定位是如今研究的难点和热点，有较大的研究空间和研究价值。在实际生活中，RFID室内定位技术被广泛运用于仓库的货物清点、图书摆放顺序的检查等，相比于理想环境来说，需要被定位的目标较多，且比较密集，获得的目标位置信息同样也很庞大。训练数据越多，深度学习越能精准预测，所以将深度学习与室内定位技术相结合，能够有效的从原始数据中提取高层次且抽象的特征，让神经网络对数据进行解释和预测，从而提高定位效率。

发明内容

为了解决上述问题，本发明提供了一种基于深度学习以及增强现实技术的图书馆室内定位导航系统实现方法，该方法使用RFID、深度学习以及AR技术，实现室内导航以及良好的可视化效果，解决了传统室内导航系统复杂、难以部署、维护成本高、导航可视化效果差等问题。

为了达到上述目的，本发明是通过以下技术方案实现的：

本发明是一种基于深度学习和增强现实的图书馆导航系统实现方法，该系统实现方法包括如下步骤：

步骤1：根据室内场所的平面结构生成室内导航地图；

步骤2：在室内选择若干个地点作为导航的起始点，放置不同的图片作为标识图，同时将图片及其对应所在坐标位置录入数据库；

步骤3：构建系统数据库，创建本系统所需的数据库，添加图书信息表、用户信息表等数据表，书籍的位置可能随着图书馆的使用而发生变化，因此数据库每经过一定时间间隔更新一次；

步骤4：扫描识别标识图图像，确定初始位置；

步骤5：根据上述步骤计算得到的线路结果，将虚拟的导航路线与摄像头实时捕捉的画面叠加，显示在手机终端屏幕上，导航开始后，使用ARKit实时捕捉内置传感器数据的变化，并更新用户位置、方向，从而更新AR路线，AR场景实时渲染叠加在摄像头捕捉的视频流中，实现导航的可视化。

本发明的进一步改进在于：在所述步骤1中，室内场所的平面结构生成室内导航地图的方法包括如下步骤：

1)将室内场所平面图扫描输入至计算机进行预处理，标记出墙体、门窗、柱子等对应的图块；

2)计算机根据标记的信息，对地图进行网格化处理，形成室内空间的划分；

3)根据对地图网格化所建立的拓扑关系，生成地图矩阵。

本发明的进一步改进在于：在所述步骤3中，数据库更新方法包括如下步骤：

1)数据预处理，在含顶部四个固定对角天线的实验场景中，以待测标签的RSSI-Phase-Timestamp信息作为一组数据，获取多组数据对数据进行小波去噪和标准化处理；通过多特征指纹定位法通过深度学习挖掘标签的RSSI、Phase、Timestamp与标签三维位置之间的非线性关系，实时更新数据库图书信息以保证导航系统图书位置信息的有效性；

2)数据挖掘，建立基于CNN的神经网络，给定输入数据，通过卷积层模拟特征区分，并且通过卷积层的全职共享以及池化，降低网络参数数量级，最后通过传统神经网络对提取到的特征进行非线性组合获得输出，最终得到标签在x、y、z轴的三维位置信息，并将数据更新至数据库。

本发明的进一步改进在于：在所述步骤4扫描识别标识图图像，确定初始位置时，依据以下规则：

1)用户打开摄像头朝向地面上的标识图时，系统捕捉画面；

2)将捕捉到的画面与系统内预设的起始位置图片做基于内容的图像检索(Content-Based Image Retrieval)，使用得到的特征向量，计算与目标数据库图片的欧几里得距离，从而得到匹配结果；

3)使用投影变换，根据已知的图像物理尺寸、世界坐标，计算相机坐标，从而确定导航的初始位置，并根据导航的初始位置和目标位置，在平面图中使用广度优先遍历计算最短路径。

本发明的有益效果是：本发明基于深度学习和增强现实的图书馆室内导航系统实现方法，使用图像识别、匹配确定导航初始位置，同时利用深度学习挖掘标签的RSSI-Phase-Timestamp与标签三维位置之间的非线性关系，实时更新数据库图书信息；使用惯性视觉追踪导航过程中的位置并结合AR实时展示导航路线，具有以下优点：

直观的引导性：在导航的过程中，用户打开摄像头，就可以实时的看到实际的环境与导航路线结合的场景，在这样直观的引导下，用户可以方便的找到目的地，使用简单、用户体验好；

数据的有效性：结合深度学习，利用其强大的数据降维和特征提取能力挖掘标签RSSI-Phase-Timestamp与标签三维位置信息之间的非线性关系，实时更新数据库，保证AR导航系统图书信息的有效性；

易维护性：当书籍的位置发生变化时，图书管理员无需手动更改数据库的图书位置信息，利用基于RFID指纹信息和深度学习的定位方案可自动获取图书位置的变化，并自动更新数据库，提升了系统的维护性；

易部署：对于初始位置的确定，只需使用定点位置标识图图像，只需打印张贴即可，无需额外的设备；对于图书位置的更新，使用RFID无源标签以及若干天线，设备简单且成本低廉，系统部署方便，有助于推广使用。

附图说明

图1是导航方案部署流程以及导航使用流程示意图。

图2是将室内平面图扫描至计算机后，手动框选出不可通行的部分，预处理完成后的平面示意图。

图3为客户端向服务器发送数据请求后，Web应用于数据库交互流程示意图。

图4是RFID图书定位硬件系统示意图。

图5是基于CNN的神经网络示意图。

图6是AR可视化导航示意图。摄像头所捕捉的画面与增强现实内容(导航路线)叠加显示在智能终端的屏幕上。

具体实施方式

以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。

本发明在硬件结构上主要包含以下三个方面：RFID图书定位硬件系统、Web服务器、智能终端，智能终端可以为手机或Pad。

RFID图书定位硬件系统包括RFID标签、天线、阅读器。

Web服务器为搭载Linux系统的计算机。Web服务器存储数据，同时服务器运行Web程序，为客户端提供数据支撑。

智能终端可以为手机或Pad。用户在终端通过客户端程序，可以查看AR导航路线。

本发明提出的导航系统实现方案主要包含两个方面：导航方案部署流程以及导航使用流程。这两个流程示意图如下图1所示。

本发明所提出导航系统方案的部署流程主要有以下步骤：

步骤1：将图书馆室内平面图扫描至计算机，并输入地图所对应的真实场所的大小数据。程序要求手动框选出墙体等不可通行的部分，预处理后的室内平面图如图2所示，白色部分代表可通行道路，黑色代表墙体、书架等非通行部分。

步骤2：程序将初步处理完成的平面图进行网格化，生成地图矩阵，矩阵中每个元素仅有0、1两种取值：0表示墙体，1表示道路。

步骤3：数据库存放于服务器，采用MySQL数据库，建立了书籍信息表、用户信息表、收藏记录表、浏览记录表，对数据进行建模，创建了相应的书籍类、用户类、收藏类以及浏览记录类等实体类，创建DAO类集中编写操作数据库的JDBC代码，DAO层是数据库与服务的接口，实体类则是盛放数据的容器，在Servlet类中通过调用DAO类的函数来完成数据的增删改查，流程见图3。在Web服务器数据库录入图书的基本信息，如图书名称、作者、类别、简介、ISBN号等，可使用现有的图书管理系统数据导入；在服务器主机上安装Web服务程序。

步骤4：制作可识别导航初始位置的标识图片，图片应具有较为丰富的纹理特征以提升图像识别的准确率；在图书馆的入口处张贴标识图片，使用TensorFlow从预训练的模型提取图像的特征；采用迁移学习的方法，使用现有的inception(v3)模型训练，进行特征提取。将自己的训练集中的每张图像输入网络，最后在瓶颈层(bottleneck)，生成一个2048维度的特征向量，并在客户端程序中记录标识图在地图中的位置坐标。

步骤5：获取构建书籍位置指纹信息所需的数据，有以下四个子流程：

步骤5-1：RFID图书定位硬件系统示意图如图4所示，如图4所示，图书馆室内顶部有四个天线，每本书上贴有RFID标签，四个固定天线分别以待测标签的RSSI-Phase-Timestamp为一组数据，以一定时间间隔获取读取多组定长度为200的数据，然后合并四个天线测得的数据并对数据进行小波去噪和标准化处理，对RSSI和Timestamp作归一化处理，对Phase做标准化使得相位值在[0,2π]之间。

步骤5-2：设计基于CNN的神经网络，神经网络具体规模如图5所示，包含六个卷积层，一层池化层，三个全连接层，输出层激活函数为Softmax；神经网络中有Dropout层，最终输出的是每个标签的三维坐标信息；神经网络的数据输入数据的维度是(4,3,200,T)，其中4表明四个天线获取数据，3指代标签的三个数据特征RSSI-Phase-Timestamp，200是一定时间间隔内获得200条标签数据，T是输入数据的长度。

步骤5-3：训练神经网络：使用步骤5-2获取的数据，首先在卷积层进行特征提取，然后选用极大池化层选择和过滤卷积层输出特征图的特征和信息，接着使用现有的高阶特征完成学习目标，对提取的特征进行非线性组合以获得输出；保存训练完成的模型，以供下述步骤5-4使用。

步骤5-4：上述部署工作完成后，让阅读器定时采集书籍上的RFID标签数据，并输入至步骤5-3中训练完成的神经网络；通过卷积神经网络，我们得到标签的三维位置坐标信息，对比现有数据库，完成数据库的实时更新。

本发明所提出的室内导航系统方案的部署完成后，用户在智能终端上安装客户端程序。我们假定用户进入图书馆后想要搜寻某一本书籍，导航的具体流程如下：

步骤1：用户终端连接网络后，打开客户端应用程序，网络为Wi-Fi、4G等，在应用中输入待查找的书籍名称后，客户端向服务器发送HTPP请求，请求内容中包含用户输入的关键字。

步骤2：服务器接收到请求后，在数据库中检索关键字，返回对应书籍的基本信息、位置信息，客户端页面展示搜索结果。

步骤3：用户在结果列表中选择某一本书籍后，即可开始导航，打开智能终端的摄像头，并在应用中显示摄像头实时捕捉的画面。

步骤4：此时客户端程序将实时捕捉的画面输入至“导航方案部署流程”中步骤4的inception(v3)模型，对画面进行特征提取，使用该特征向量，计算与标识图图片所对应的特征向量之间的的欧几里得距离，从而得到匹配结果，若匹配成功，则得到了用户所在的起始位置。

步骤5：根据特征匹配结果，使用投影变换，根据已知的图像物理尺寸、世界坐标，计算相机坐标，得到移动终端在空间中六个自由度(X，Y，Z，α，β，γ)，从而确定导航的初始方向，并根据导航的初始位置和目标位置，在平面地图矩阵中使用广度优先遍历计算最短路径。

步骤6：根据步骤4、5中计算得到的初始方位，渲染AR可视化路线并与摄像头捕捉的画面进行叠加融合。在用户移动的过程中，摄像头和惯性传感器实时追踪智能终端的方位，并更新渲染AR路线，用户跟随终端屏幕上所显示的路线如图6所示，即可走到终点找寻到相应的书籍。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (2)

1.一种基于深度学习和增强现实的图书馆导航系统实现方法，其特征在于：所述系统实现方法包括如下步骤：

步骤1：根据室内场所的平面结构生成室内导航地图；

步骤2：在室内选择若干个地点作为导航的起始点，放置不同的图片作为标识图，同时将图片及其对应所在坐标位置录入数据库；

步骤3：构建系统数据库，添加图书信息表、用户信息表，数据库每经过一定时间间隔更新一次；

步骤4：扫描识别标识图图像，确定初始位置；

步骤5：根据上述步骤计算得到的线路结果，将虚拟的导航路线与摄像头实时捕捉的画面叠加，显示在手机终端屏幕上，

其中：

在所述步骤3中，数据库更新方法包括如下步骤：

1)数据预处理，在含顶部四个固定对角天线的实验场景中，以待测标签的RSSI-Phase-Timestamp信息作为一组数据，获取多组数据对数据进行小波去噪和标准化处理；

2)数据挖掘，建立基于CNN的神经网络，给定输入数据，通过卷积层模拟特征区分，并且通过卷积层的全职共享以及池化，降低网络参数数量级，最后通过传统神经网络对提取到的特征进行非线性组合获得输出，最终得到标签在x、y、z轴的三维位置信息，并将数据更新至数据库；

在所述步骤4扫描识别标识图图像，确定初始位置时，依据以下规则：

1)用户打开摄像头朝向地面上的标识图时，系统捕捉画面；

2)将捕捉到的画面与系统内预设的起始位置图片做基于内容的图像检索，使用得到的特征向量，计算与目标数据库图片的欧几里得距离，从而得到匹配结果；

3)使用投影变换，根据已知的图像物理尺寸、世界坐标，计算相机坐标，从而确定导航的初始位置，并根据导航的初始位置和目标位置，在平面图中使用广度优先遍历计算最短路径。

2.根据权利要求1所述一种基于深度学习和增强现实的图书馆导航系统实现方法，其特征在于：在所述步骤1中，室内场所的平面结构生成室内导航地图的方法包括如下步骤：

1)将室内场所平面图扫描输入至计算机进行预处理，标记出墙体、门窗、柱子对应的图块；

2)计算机根据标记的信息，对地图进行网格化处理，形成室内空间的划分；

3)根据对地图网格化所建立的拓扑关系，生成地图矩阵。