CN111462663B - 一种基于mr眼镜的导游方法 - Google Patents

Abstract

本发明揭示了一种基于MR眼镜的导游方法，包括MR眼镜数据载入、定位和显像步骤。具体MR眼镜从服务端下载所属景区的内容包，存入内置存储器；通过自带的深度摄像头采集焦点图像，并通过集成的微处理器根据预载入的算法提取焦点图像中的特征点，将特征点与内容包中的标志特征点信息进行匹配，获得当前用户所处位置信息和绝对朝向信息；再根据内容包和用户所处位置信息、绝对朝向信息，微处理器将整个景区的虚拟地图在MR眼镜中进行1:1构建，并与实际景区重合，实时呈现虚拟导游信息。应用本发明的导游方法，易于实现导游信息不断迭代更新，省却了导游人员上岗培训和经验积累；景区的虚拟导游信息直观呈现，避免因分心而干涉游客行动，体感性更优越。

Description

一种基于MR眼镜的导游方法

技术领域

本发明涉及一种导游方法改进，尤其涉及一种利用MR眼镜参与景点导览并改善体感的导游方法。

背景技术

随着物质文明和精神文明建设的不断发展，越来越多的文化旅游主题被广泛提出并向广大用户推广。而且人们在日常忙碌的工作和生活后，需要在各大假期安排旅游计划，放松心情的同时增长见识。在整个旅游过程中，无论是游山玩水还是参观各种展览馆，大都离不开导游对景点的介绍，从而避免游客抓瞎或遗漏重要景点的文化特色。

传统的景区导游方法大致包括人工导游、租赁讲解器或当前普及程度已显著提升的移动设备虚拟导游。然而这些方法各有优缺点，无法满足景区的实际需求，分述如下。

（1）人工导游，这是由自然人引导游客进行游览，并进行解说。优点是发挥人的主观能动性和知识经验储备，在人与人的交互中更易于被游客所接受，导游效果直观易接受。然而存在的问题也很多，例如：景区成本很高，一个人工导游的工资、奖金、保险等，一个月在5000-10000元不等；产能不足，景区的人流量存在波动（节假日尤其突出），景区为了节省成本一般按照最低的导游需求量雇佣导游人员，因此在节假日等情况下，景区的导游供不应求；质量参差不齐，由于人员素质、表达能力、普通话标准程度、甚至相貌等诸多因素，导致不同的导游给用户带来的体验不尽相同；甚至同一个导游因为身体状况、心情等主客观因素，也会在不同的时候给用户带来不一样的体验，更时有利益诱导的强制消费情况发生。

（2）讲解器，游客可以租赁讲解器，在不同的位置，通过红外探点和讲解器进行通讯获得讲解器（用户）所在位置，根据位置信息，游客可以连接耳机收听解说相关位置的解说。

然而，这种导游方法仅仅通过语音给用户描述景区的历史人文信息，没有视觉画面信息，只能让游客从语音到文字到意思到画面的去接收信息，从而让游客很难形成画面感。长时间的收听，也会让游客产生疲倦感。甚至当游览速度较快时，在无法形成画面感或印象很模糊的情况下，需要直接跳转下一个景点，造成游览冲突。

（3）移动设备虚拟导游，游客可以通过移动终端小程序、APP等手段，手动或自动地获得游客所在位置，根据位置信息或者游客的输入信息，产生讲解的视频、音频、文字、画面信息呈现于移动终端。但这种导游方法也存在不足之处，如果用户在户外信号良好的情况下，手机内置的GPS芯片可以方便的获得用户所在的位置；但但是如果用户在信号不好，或者手机地图GIS信息不包含的复杂地形，或者室内的情况下，就需要运用辅助手段，比如蓝牙定位、wifi定位等手段获得用户的位置。定位的精度或者方便程度均不理想，且成本较高。此外，游客在游览景区的时候，一边看实际景观，一边举着手机等移动设备查看，体验感很差，行进过程中更有可能发生移动设备脱手落地或跌落山崖的损失。而且此类移动设备显示屏很小，查看的内容有限，并且很难把显示的内容和实际景观进行直观的对应。更不用说因移动设备硬件性能的差异，带来导游设备成本与体验的矛盾。

发明内容

鉴于上述现有技术的不足，本发明的目的旨在提出一种基于MR眼镜的导游方法，解决景区导游成本高昂及游客体感差的问题。

本发明实现上述目的的技术解决方案是：1．一种基于MR眼镜的导游方法，其特征在于包括步骤：

MR眼镜数据载入：MR眼镜从服务端下载所属景区的内容包，存入内置存储器，内容包包括所属景区的平面地图信息，景区内所有标志特征点信息，虚拟导游信息，每个虚拟导游信息的触发条件、结束条件、播放逻辑和对应的空间位置坐标；

MR眼镜定位：MR眼镜通过自带的深度摄像头采集焦点图像，并通过集成的微处理器根据预载入的算法提取焦点图像中的特征点，并将所述特征点与内容包中的标志特征点信息进行匹配，获得当前用户所处位置信息和绝对朝向信息；

MR眼镜显像：根据内容包和用户所处位置信息、绝对朝向信息，微处理器将整个景区的虚拟地图在MR眼镜中进行1:1构建，并与实际景区重合，随用户在景区内变化的位置，在MR眼镜中实时呈现对应实际景观中标志特征点信息的虚拟导游信息。

进一步地，MR眼镜显像中，MR眼镜跟踪用户移动，每1/30秒通过深度摄像头更新焦点图像，重复执行MR眼镜定位步骤，获得包含用户所处位置信息和绝对朝向信息的动态环境，并更新MR眼镜中所呈现的虚拟导游信息及其显示状态。

更进一步地，获得动态环境的途径还包括通过陀螺仪、传感器获得转向和相对朝向变化信息，且信号传入微处理器。

进一步地，所述虚拟导游信息的形式包括文字、图片、视频、立体模型、动作、音频中一种以上组合，且虚拟导游信息根据景区的景点布局调整而随内容包迭代更新。

进一步地，所述虚拟导游信息的呈现具有触发条件，包括用户的朝向及用户所处位置与实际景观中标志特征点的距离，在焦点图像预设距离范围内显示虚拟导游信息或仅显示未触发状态的标题。

进一步地，所述虚拟导游信息的呈现具有结束条件，包括用户的朝向及用户所处位置与实际景观中标志特征点的距离，在焦点图像预设距离范围外隐藏虚拟导游信息并融入环境背景。

进一步地，所述虚拟导游信息的呈现具有播放逻辑，至少包括单次播放、循环播放、滚屏播放、通过自带的耳麦音频互动或两个临近标志特征点间的轮巡。

更进一步地，所述焦点图像为MR眼镜正向视角状态下带深度的3D图像。

应用本发明基于MR眼镜的导游方法，具备突出的实质性特点和显著的进步性：利用MR眼镜的硬件基础，易于实现导游信息不断迭代更新，省却了导游人员上岗培训和经验积累的过程；景区虚拟地图构建与实际场景高度重合且直观呈现，通过跟踪游客位置和绝对朝向更新虚拟地图及其中标志特征点的虚拟导游信息，避免因分心而干涉游客行动，体感性更优越。

具体实施方式

以下对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握，从而对本发明的保护范围做出更为清晰的界定。

有鉴于现有旅游行业中对于导游项目人员配置不足、成本高昂、设备简陋及游客体感差等诸多问题，本申请设计人结合多年智能终端与场景再现的技术研究经验，创新提出了一种基于MR眼镜的导游方法，通过对MR眼镜的功能拓展，为景区导游配置提出了新的技术解决方案。

本创新的技术概述来看，该基于MR眼镜的导游方法，主要包括三方面并行的步骤。即MR眼镜数据载入：MR眼镜从服务端下载所属景区的内容包，存入内置存储器，内容包包括所属景区的平面地图信息，景区内所有标志特征点信息，虚拟导游信息，每个虚拟导游信息的触发条件、结束条件、播放逻辑和对应的空间位置坐标；MR眼镜定位：MR眼镜通过自带的深度摄像头采集焦点图像，并通过集成的微处理器根据预载入的算法提取焦点图像中的特征点，并将所述特征点与内容包中的标志特征点信息进行匹配，获得当前用户所处位置信息和绝对朝向信息；MR眼镜显像：根据内容包和用户所处位置信息、绝对朝向信息，微处理器将整个景区的虚拟地图在MR眼镜中进行1:1构建，并与实际景区重合，随用户在景区内变化的位置，在MR眼镜中实时呈现对应实际景观中标志特征点信息的虚拟导游信息。其中焦点图像为MR眼镜正向视角状态下带深度的3D图像。

更详细的导游方法，可以按如下细化的步骤详细展开阐述。

（1）MR眼镜从服务端下载所属景区的内容包，内容包包括：该景区的平面图（地图）信息或3D地图信息、景区内的所有标志特征点信息（在立体坐标系的定位坐标）、虚拟导游信息（文字、图片、视频、模型、动作、特效、音频等），且包含每一个虚拟导游信息的触发条件和结束条件、每一个虚拟导游信息的播放逻辑以及每一个虚拟导游信息所对应的位置坐标。

（2）MR眼镜通过自带的深度摄像头采集焦点图像，并根据特定的算法（后文举例详述）提取所采集图像的特征点，将该特征点和内容包内的景区标志特征点信息进行匹配，获得当前游客或用户的位置信息和绝对朝向信息。

（3）通过用户的位置信息和绝对朝向信息，把整个景区的虚拟地图在MR眼镜中进行1:1构建。这时候因为用户的位置信息和绝对朝向信息是准确的，所以虚拟地图和实际的景区应该是基本重合的。

（4）根据每一个标志特征点信息所对应的定位坐标在虚拟地图中生成虚拟导游信息，并初始处于不触发显示的状态，或在预设视角范围内显示等。

（5）当用户移动时，MR眼镜都通过自带的深度摄像头按基础帧速率（1/30秒）进行图像采集获得环境图像，并结合通过陀螺仪和传感器辅助获得转向和相对朝向变化信息，通过微处理器综合处理，通过通用的VSLAM算法，更新用户所在的位置和绝对朝向等信息或称之为动态环境，更新正在显示的虚拟导游信息的显示状态，使该虚拟导游信息始终保持在环境图像中某个固定的地点，不会发生异常偏移、转向、变形等情况（即根据用户视角改变而随动，直至超出视角范围）。

（6）当某个虚拟导游信息满足触发条件时，触发显示该虚拟导游信息，并按照其播放逻辑进行播放。用户此时可以在MR眼镜中看到虚拟导游信息显示在实际的景观中。当某个虚拟导游信息满足结束条件时，结束虚拟导游信息的播放。

综合来看以上步骤：其中步骤（1）体现了该导游方法中，虚拟导游信息的形式包括文字、图片、视频、立体模型、动作、音频中一种以上组合，且虚拟导游信息根据景区的景点布局调整而随内容包可以不断迭代更新。步骤（2）~（5）体现了该导游方法中，建立在虚拟地图随用户视角变化随动并与实际场景重合，虚拟导游信息可以放在某个实际的景点，并不根据用户的位置改变而改变。这样的好处是虚拟导游信息很容易和某个具体景点、展品进行绑定。比如一个青花碗的旁边会显示这个青花碗的介绍信息、历史背景；一个城墙上站着一个虚拟的古代士兵等。步骤（6）则进一步体现了由于是在MR眼镜中进行显示，因此其全息显示的信息更加逼真，且显示角度（通常可以达到135°~150°）大大宽于大部分智能手机；且信息显示收放自如，避免误导用户行动轨迹。

作为补充细化，上述虚拟导游信息的呈现具有触发条件、结束条件及播放逻辑。其中触发条件包括用户的朝向及用户所处位置与实际景观中标志特征点的距离，在焦点图像预设距离范围内显示虚拟导游信息或仅显示未触发状态的标题。而结束条件包括用户的朝向及用户所处位置与实际景观中标志特征点的距离，在焦点图像预设距离范围外隐藏虚拟导游信息并融入环境背景。同样地，所谓播放逻辑至少包括单次播放、循环播放、滚屏播放、通过自带的耳麦音频互动或两个临近标志特征点间的轮巡。

作为补充实施，前述对图像特征点提取的算法有多种通用算法可选，并将其作为MR眼镜内置微处理器对所攫取的图像处理的基础，以所属景区的虚拟地图空间坐标系为基础，定位各景点或物件等特征点及相对观察视角的用户的位置信息。本申请对此类算法不做保护要求，简单举例包括：1）harris角点检测算法；2）SIFT算法；3）SURF算法；4）FAST角点检测；5）BRIEF描述子；6）ORB算法等。且上述算法在相关领域都已有广泛应用，故省略其具体算法描述。

综上关于本发明基于MR眼镜的导游方法特征介绍和实施例详述，可见该方案具备突出的实质性特点和显著的进步性：利用MR眼镜的硬件基础，易于实现导游信息不断迭代更新，省却了导游人员上岗培训和经验积累的过程；景区虚拟地图构建与实际场景高度重合且直观呈现，通过标志点提取和匹配，跟踪游客位置和绝对朝向，继而实现更新虚拟地图及其中标志特征点的虚拟导游信息，避免因分心而干涉游客行动，体感性更优越。

除上述实施例外，本发明还可以有其它实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。

Claims (4)

1.一种基于MR眼镜的导游方法，其特征在于包括步骤：

MR眼镜数据载入：MR眼镜从服务端下载所属景区的内容包，存入内置存储器，内容包包括所属景区的平面地图信息，景区内所有标志特征点信息，虚拟导游信息，每个虚拟导游信息的触发条件、结束条件、播放逻辑和对应的空间位置坐标，其中所述标志特征点信息为在立体坐标系中的定位坐标；所述触发条件和结束条件各自包括用户的朝向及用户所处位置与实际景观中标志特征点的距离，其中触发条件为在焦点图像预设距离范围内显示虚拟导游信息或仅显示未触发状态的标题，结束条件为在焦点图像预设距离范围外隐藏虚拟导游信息并融入环境背景；

MR眼镜定位：MR眼镜通过自带的深度摄像头采集焦点图像，并通过集成的微处理器根据预载入的SURF算法提取焦点图像中的特征点，并将所述特征点与内容包中的标志特征点信息进行匹配，获得当前用户所处位置信息和绝对朝向信息；

MR眼镜显像：根据内容包和用户所处位置信息、绝对朝向信息，微处理器将整个景区的虚拟地图在MR眼镜中进行1:1构建，并与实际景区重合；根据每一个标志特征点信息所对应的定位坐标在虚拟地图中生成虚拟导游信息，并初始处于不触发显示的状态，或在预设视角范围内显示；当用户移动时，MR眼镜通过自带的深度摄像头按基础帧速率进行图像采集获得环境图像，并结合陀螺仪和传感器辅助获得转向和相对朝向变化信息，通过微处理器综合处理，利用VSLAM算法更新用户所在的位置和绝对朝向的信息，并更新正在显示的虚拟导游信息的显示状态；当某个虚拟导游信息满足触发条件时，触发虚拟导游信息在MR眼镜中显示，并按照播放逻辑进行播放，当某个虚拟导游信息满足结束条件时，结束虚拟导游信息的播放。

2.根据权利要求1所述基于MR眼镜的导游方法，其特征在于：所述虚拟导游信息的形式包括文字、图片、视频、立体模型、动作、音频中一种以上组合，且虚拟导游信息根据景区的景点布局调整而随内容包迭代更新。

3.根据权利要求1所述基于MR眼镜的导游方法，其特征在于：所述虚拟导游信息的呈现具有播放逻辑，至少包括单次播放、循环播放、滚屏播放、通过自带的耳麦音频互动或两个临近标志特征点间的轮巡。

4.根据权利要求1所述基于MR眼镜的导游方法，其特征在于：所述焦点图像为MR眼镜正向视角状态下带深度的3D图像。