CN114187426A - 一种地图增强现实系统 - Google Patents

Abstract

本发明涉及一种地图增强现实系统，属于地图信息显示领域，包括四层结构，分别为用户层、功能层、底层库和数据库层；用户层为用户提供地图以及地图信息服务，为用户提供地图以及地图信息服务，包括移动设备地图增强现实系统初始化模块；功能层包括跟踪注册模块、虚实结合模块和人机交互模块，跟踪注册模块通过摄像头，从视频流获取关键帧，进行图像匹配、位姿计算；底层库通过OpenCV和OpenGL ES构建，在移动设备上实现三维模型与地形等虚拟信息的渲染；数据库层包括模板地图图像、三维模型、图片、文字以及视频和音频数据。本发明将深度学习技术、增强现实技术、移动开发技术进行结合，实现对纸质地图表达地理信息的形式和内容以及交互性能的拓展和提升。

Description

一种地图增强现实系统

技术领域

本发明涉及地图信息显示领域，尤其涉及一种地图增强现实系统。

背景技术

增强现实（AR，Augmented Reality） 是利用虚拟物体对真实场景进行现实增强的技术。 增强现实保留用户实际所处的环境作为用户的主要感知和交互环境， 通过将文本、二维图形、三维模型等虚拟生成的信息标注在显示屏上所显示的用户实际所处环境中的物体上，从而实现对用户所处的环境的注释、说明，或者增强现实环境的效果。比如，用户带上专用的增强现实显示眼镜，亲身到某博物馆参观，其在观看某个文物时，他不仅可以看到文物及其周围环境本身，还可以看到通过增强现实技术附加的对该文物的介绍信息。

随着增强现实技术研究的快速发展，以及地图和地理信息应用的不断深入，在增强现实成为研究热点的同时，人们正尝试将增强现实技术应用于平面地图的显示增强和地理信息可视化。但是，目前针对平面地图的增强现实应用仍存在诸多的问题，例如，用于增强现实的虚拟三维模型比较单一，没有将虚拟三维模型有效地融合至真实场景。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种地图增强显示系统，将深度学习技术、增强现实技术和移动开发技术等进行结合，实现丰富的地理信息承载与表达。

为实现上述目的，本发明所采用的技术方案是：

一种地图增强现实系统，包括四层结构：

第一层为用户层，位于地图增强现实系统最上层，为用户提供地图以及地图信息服务，包括移动设备地图增强现实系统初始化模块，用于对模板地图图像的离线处理和移动设备地图增强现实系统相关参数进行初始化；

第二层为功能层，包括跟踪注册模块、虚实结合模块和人机交互模块；跟踪注册模块通过移动设备的摄像头，从视频流获取关键帧，进行图像匹配、位姿计算，图像匹配部分使用深度学习算法进行特征提取、描述、匹配，消除误匹配点，进行单应性矩阵循环校正和光流法跟踪，得到精确的匹配点对和单应性矩阵之后即可求得移动设备摄像头的位姿，确立虚实融合的位置关系；虚实结合模块在跟踪注册完成之后，得到了虚拟信息与纸质地图上可靠的位置对应关系，通过 OpenGL ES 实现虚拟信息的渲染并显示在移动设备的屏幕上；人机交互模块用于实现用户与虚拟信息的交互操作；

第三层为底层库，底层库通过OpenCV 和 OpenGL ES构建，OpenCV 负责跟踪注册模块的功能实现，OpenGL ES负责在移动设备上实现三维模型与地形等虚拟信息的渲染；

第四层为数据库层，包括模板地图图像、三维地形模型、图片、文字以及视频和音频数据，数据类型以文件目录的形式存放于系统硬盘，存放路径采用MySQL数据库进行集中维护与管理；

地图增强现实系统在应用时，通过对移动终端电子设备的摄像头采集的视频流中的关键帧，采用深度学习算法进行特征提取，将得到的描述子集合与离线阶段存储在数据库中的模板地图描述子集合进行匹配，将满足匹配数目阈值要求的特征点中的误匹配的点去除，，如果匹配成功并满足精确度要求，则实时更新特征点位置进行位姿计算，地图增强现实系统会根据匹配图像从MySQL数据库中检索出对应的数据信息，然后将其叠加显示在虚拟信息显示区域，使用 OpenGL ES 进行虚拟信息的渲染，实现虚实融合场景；如果匹配不成功，则重新提取关键帧的特征信息进行匹配，实现地图增强现实表达，对后续帧，使用光流法进行特征跟踪。

进一步的，所述数据库预留有数据操作接口以进行数据插入和数据更新。

进一步的，所述三维地形模型的数据来源是通过地图下载器下载的DEM数据，然后通过坐标转换，再将.dem格式的高程数据转换成3D Max 中的.obj 格式，最后给模型贴上材质得到。

进一步的，跟踪注册模块具有深度学习网络训练部分，深度学习网络训练部分根据地图图像特征数据→网络模型建立→损失函数→卷积网络模型的步骤进行特征描述。

进一步的，系统内为用户添加了兴趣点，用户通过点击感兴趣的内容，能够得到与之相关的信息，包括地理坐标、相关的人文介绍信息，这些信息为调用数据库中的数据信息，并且能够以文字、视频或者图片的形式展现。

本发明的地图增强现实系统的有益效果：本发明的地图增强现实系统将深度学习技术、增强现实技术、移动开发技术等进行结合，实现融合深度学习的地图增强现实表达技术在地图和地里信息科学领域中的应用，通过叠加虚拟信息到应用场景，以来实现丰富的地理信息承载与表达。将增强现实技术应用于纸质地图增强表达，能够有效提高纸质地图中各个地图构成元素表达的有效性和辨识度，将纸质地图内的地图构成元素相对应的三维虚拟模型跟踪注册至移动设备拍摄的视频图像中，以在拍摄的视频图像中构件关于纸质地图的三维虚拟空间地图信息，实现虚实融合，提高用户体验感。

附图说明

图1是本发明的地图增强现实系统的实现流程图。

具体实施方式

下面结合附图及具体实施方式对本发明作进一步详细描述。

本发明的地图增强现实系统的具体实施例：

本发明的地图增强现实系统的开发涉及到的软、硬件环境和工具如下：

系统采用OpenCV、OpenGL ES、Android SDK、OpenCV for Android SDK 等工具进行开发，系统用到的三维地形模型用 3D Max 制作，数据库选用MySQL数据库。

OpenCV（Open Source Computer Vision Library）是用于实现原型系统中图像匹配和位姿计算等功能的计算机视觉库，OpenGL ES（Open Graphics Library for EmbeddedSystems）是针对移动电子设备进行三维图形渲染的开发工具，在手机上运行地图增强现实系统，需要使用 Android SDK，在将开发的地图增强现实系统发布到 Android 手机移动设备上，需使用 OpenCV for Android SDK。

具体的，本发明的地图增强现实系统，包括四层结构，分别为：用户层、功能层、底层库和数据库层。

其中，第一层为用户层，位于地图增强现实系统最上层，为用户提供地图以及地图信息服务，主要包括移动设备地图增强现实系统初始化模块，其功能主要是对模板地图图像的离线处理和移动设备地图增强现实系统相关参数进行初始化。

第二层为功能层，具有多个功能模块，主要包括跟踪注册模块、虚实结合模块和人机交互模块。这三个模块中，跟踪注册模块是核心功能模块，该模块通过移动设备的摄像头，从视频流获取关键帧，进行图像匹配、位姿计算，图像匹配部分使用深度学习算法进行特征提取、描述、匹配，消除误匹配点，进行单应性矩阵循环校正和光流法跟踪，得到精确的匹配点对和单应性矩阵之后即可求得移动设备摄像头的位姿，确立虚实融合的位置关系。虚实结合模块则在跟踪注册完成之后，得到了虚拟信息与纸质地图上可靠的位置对应关系，通过 OpenGL ES 实现虚拟信息的渲染并显示在移动设备的屏幕上。人机交互模块是为了实现系统的交互功能，比如用户的操作界面设计、用户与虚拟信息的交互操作均封装于人机交互模块中。

第三层为底层库，底层库通过OpenCV 和 OpenGL ES这两个核心工具构建，OpenCV负责跟踪注册模块的功能实现，OpenGL ES负责在移动设备上实现三维模型与地形等虚拟信息的渲染。

第四层为数据库，虚拟信息制作、管理模块为整个原型系统提供数据支持，主要包括模板地图图像，如纸质地图，设计制作和三维地形模型、图片、文字以及视频和音频数据。为了提升存取和更新的效率，图像、音频、视频、三维地形模型等数据类型主要以文件目录的形式存放于系统硬盘，然后将其存放路径采用MySQL数据库进行集中维护与管理。系统中仅添加了一组地图的相关数据，如果需要增添新的地理信息数据，可以利用数据库预留的数据操作接口进行数据插入和数据更新。系统所显示的虚拟信息不仅能够随着地图的方向、角度和坐标位置的改变而发生同步的变化，而且还可以根据纸质地图在摄像头坐标系中的尺度变化对虚拟信息的尺度做同步的调整。通过调整移动终端设备与纸质地图之间的距离，可以改变纸质地图在整个摄像头坐标系中的尺度大小。

三维地形模型的数据来源是通过地图下载器下载的 DEM 数据，然后通过坐标转换，再将.dem 格式的高程数据转换成 3D Max 中的.obj 格式，最后给模型贴上材质即可得到三维地形模型。考虑到移动终端的硬件能力限制，在制作三维地形模型和其他虚拟信息时，尽可能简化数据结构，便于移动终端存取和使用。利用增强现实环境识别技术，将虚拟的物体、场景或信息叠加到场景，为用户提供大量的相关信息，实现对现实的增强，增加用户对真实世界的感知。

为了提升交互功能，系统还为用户添加了 POI（Point of Interest），用户通过点击感兴趣的内容，便可得到与之相关的更多信息，如地理坐标、相关的人文介绍信息，可以以文字、视频、图片的形式展现。

文字类型的虚拟信息通常是与地图上重要目标有关的详细介绍，如一个城市的历史、文化、特色、风俗等。图像在本文的地图增强现实系统中有两方面的作用，一方面是作为模板图像，处理之后需要存储在智能手机上；另一方面，是一个十分直观的信息展示方式，对地图上的重要目标，可以使用图像直观展示。比图像更直观的，视频也可以作为介绍地理目标相关信息的有效载体，视频相当于是文字和图像以及音频的结合体，信息量更大，更易接受。音频既可以用来介绍地理目标对象的情况，也可以用作系统的背景音乐，不同场景使用不同的背景音乐，提升用户体验。

下面，结合图1对本发明的地图增强现实系统的实现流程进行说明。

本发明的地图增强现实系统的跟踪注册模块基于深度学习的图像匹配算法，主要分为图像的离线处理和在线跟踪注册、虚实融合这两个部分。离线部分主要进行的工作是使用智能手机终端，通过深度学习图像匹配算法对模板图像进行提取特征以及描述子集合。具体是：在场景中准备一幅模板地图，例如纸质地图，开启移动设备上的地图增强现实系统；然后对移动终端电子设备的摄像头采集的视频流中的关键帧，采用深度学习算法进行特征提取，将得到的描述子集合与离线阶段存储在数据库中的模板地图描述子集合进行匹配，将满足匹配数目阈值要求的特征点中的误匹配的点去除，在旋转、光照等变化条件下，匹配结果都能够达到一定的精度，通过对各类数据的分析以及数据存储的管理，将三维场景快速重建，进行显示表达。需要说明的是，特征提取的对象有两部分，一部分是识别匹配的图像，另一部分是待识别匹配的图像；在进行特征描述时，采用跟踪注册模块的深度学习网络训练部分，根据地图图像特征数据→网络模型建立→损失函数→卷积网络模型的步骤进行特征描述。在进行特征匹配时，如果匹配成功，并且满足精确度要求，实时更新特征点位置进行位姿计算，地图增强现实系统会根据匹配图像从MySQL数据库中检索出对应的数据信息，如三维地形模型、地形、音频或者视频等，然后将其叠加显示在虚拟信息显示区域，使用 OpenGL ES 进行虚拟信息的渲染，实现虚实融合场景。反之，则重新提取关键帧的特征信息进行匹配，实现地图增强现实表达。对后续帧，使用光流法进行特征跟踪。

本发明的地图增强现实系统将深度学习技术、增强现实技术、移动开发技术等进行结合，实现融合深度学习的地图增强现实表达技术在地图和地里信息科学领域中的应用，通过叠加虚拟信息到应用场景，以来实现丰富的地理信息承载与表达，在一定程度上实现了对纸质地图表达地理信息的形式和内容以及交互性能的拓展和提升。将增强现实技术应用于纸质地图增强表达，能够有效提高纸质地图中各个地图构成元素表达的有效性和辨识度，将纸质地图内的地图构成元素相对应的三维虚拟模型跟踪注册至移动设备拍摄的视频图像中，以在拍摄的视频图像中构件关于纸质地图的三维虚拟空间地图信息，实现虚实融合，提高用户体验感。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包括在本发明的权利要求保护范围之内。

Claims (5)

1.一种地图增强现实系统，其特征在于，包括四层结构：

第一层为用户层，位于地图增强现实系统最上层，为用户提供地图以及地图信息服务，包括移动设备地图增强现实系统初始化模块，用于对模板地图图像的离线处理和移动设备地图增强现实系统相关参数进行初始化；

第二层为功能层，包括跟踪注册模块、虚实结合模块和人机交互模块；跟踪注册模块通过移动设备的摄像头，从视频流获取关键帧，进行图像匹配、位姿计算，图像匹配部分使用深度学习算法进行特征提取、描述、匹配，消除误匹配点，进行单应性矩阵循环校正和光流法跟踪，得到精确的匹配点对和单应性矩阵之后即可求得移动设备摄像头的位姿，确立虚实融合的位置关系；虚实结合模块在跟踪注册完成之后，得到了虚拟信息与纸质地图上可靠的位置对应关系，通过 OpenGL ES 实现虚拟信息的渲染并显示在移动设备的屏幕上；人机交互模块用于实现用户与虚拟信息的交互操作；

第三层为底层库，底层库通过OpenCV 和 OpenGL ES构建，OpenCV 负责跟踪注册模块的功能实现，OpenGL ES负责在移动设备上实现三维模型与地形等虚拟信息的渲染；

第四层为数据库层，包括模板地图图像、三维模型、图片、文字以及视频和音频数据，数据类型以文件目录的形式存放于系统硬盘，存放路径采用MySQL数据库进行集中维护与管理；

地图增强现实系统在应用时，通过对移动终端电子设备的摄像头采集的视频流中的关键帧，采用深度学习算法进行特征提取，将得到的描述子集合与离线阶段存储在数据库中的模板地图描述子集合进行匹配，将满足匹配数目阈值要求的特征点中的误匹配的点去除，，如果匹配成功并满足精确度要求，则实时更新特征点位置进行位姿计算，地图增强现实系统会根据匹配图像从MySQL数据库中检索出对应的数据信息，然后将其叠加显示在虚拟信息显示区域，使用 OpenGL ES 进行虚拟信息的渲染，实现虚实融合场景；如果匹配不成功，则重新提取关键帧的特征信息进行匹配，实现地图增强现实表达，对后续帧，使用光流法进行特征跟踪。

2.根据权利要求1所述的地图增强现实系统，其特征在于，所述数据库预留有数据操作接口以进行数据插入和数据更新。

3.根据权利要求1所述的地图增强现实系统，其特征在于，所述三维地形模型的数据来源是通过地图下载器下载的DEM数据，然后通过坐标转换，再将.dem格式的高程数据转换成3D Max 中的.obj 格式，最后给模型贴上材质得到。

4.根据权利要求1-3任意一项所述的地图增强现实系统，其特征在于，跟踪注册模块具有深度学习网络训练部分，深度学习网络训练部分根据地图图像特征数据→网络模型建立→损失函数→卷积网络模型的步骤进行特征描述。

5.根据权利要求1-3任意一项所述的地图增强现实系统，其特征在于，系统内为用户添加了兴趣点，用户通过点击感兴趣的内容，能够得到与之相关的信息，包括地理坐标、相关的人文介绍信息，这些信息为调用数据库中的数据信息，并且能够以文字、视频或者图片的形式展现。

Images