CN111541889B - 一种mr眼镜使用视线触发内容的方法 - Google Patents

Abstract

本发明揭示了一种MR眼镜使用视线触发内容的方法，可以设置MR眼镜中虚拟场景对应触发播放内容的视角范围；在MR眼镜中集成与运营后台及云端服务器通信连接的GPS芯片、陀螺仪和光学摄像头，利用光学摄像头拍摄实景照片并与虚拟场景比较，判断用户的初始视线角度；利用GPS芯片实时回传用户的位置信息、移动距离和速度，利用陀螺仪判断用户视线的动态变化，综合预判用户实时的视线角度，当落入视角范围则触发播放内容。应用本发明MR眼镜使用视线触发内容的解决方案，能够简化用户所佩戴便携设备、脱离外设；通过视线变化触发内容，使得人机交互更快捷、便利；同时也能有效避免语音触发受环境噪音干扰及语音识别准确性等影响而无法准确触发的情况。

Description

一种MR眼镜使用视线触发内容的方法

技术领域

本发明涉及一种旅游景区中智能导游设备的运行方式设计，尤其涉及一种MR眼镜使用视线触发内容的方法，属于物联网应用领域。

背景技术

随着物质文明和精神文明建设的不断发展，越来越多的文化旅游主题被广泛提出并向广大用户推广。而且人们在日常忙碌的工作和生活后，需要在各大假期安排旅游计划，放松心情的同时增长见识。在整个旅游过程中，无论是游山玩水还是参观各种展览馆，大都离不开导游对景点的介绍，从而避免游客抓瞎或遗漏重要景点的文化特色。

目前，景区使用共享MR眼镜作为新一代的导游穿戴设备，被越来越多的景区和游客所接受。然而，现有此类设备在实际应用中反映出诸多不足。举例来看：部分MR部分眼镜使用的是虚拟场景下复合呈现的桌面式图形菜单，在实际操作过程中需要利用手持式遥控器选取、点击等操作；或者配合压力手套的TINMITH菜单进行控制；或者也有通过语音命令的方式对桌面式图形菜单进行操作的实施。

显然，上述触发内容的方法中，一方面通过手持式遥控器或压力手套的实践使得MR眼镜必须连接外设，且操作停留在用户二维界面的人机交互上，内容摆放位置始终固定在正前方，缺乏动态趣味；外设笨重易损且实际占用用户必要的肢体及动作。由此，用户双手或无法完全解放，对背包取物等生活性操作造成了不小的负担。另一方面对普通话水平要求较高，由于地方方言造成了普通话发音上的差异性，而且不同年龄、喉咙生理健康性的用户发音也存在差异，造成语音识别的准确率降低，势必造成触发内容的滞后，更有甚者造成无法触发的尴尬。

发明内容

鉴于上述现有技术的不足，本发明的目的旨在提出一种MR眼镜使用视线触发内容的方法。

本发明实现上述目的的一项技术解决方案是：一种MR眼镜使用视线触发内容的方法：设置MR眼镜中虚拟场景对应触发播放内容的视角范围；在MR眼镜中集成与运营后台及云端服务器通信连接的GPS芯片、陀螺仪和光学摄像头，利用光学摄像头间歇性拍照获取用户正前方的实景照片，并上传云端服务器与当前MR眼镜中的虚拟场景比较，判断用户的初始视线角度；利用GPS芯片实时回传用户的位置信息、移动距离和速度，利用陀螺仪对MR眼镜朝向偏转、倾斜时的转动角速度判断用户视线的动态变化，并汇总三部分数据预判用户实时的视线角度，当落入视角范围则触发播放内容；其中所述光学摄像头拍照设为动态间歇性，在MR眼镜中虚拟场景已有播放内容被触发状态下，暂停3s～10s拍摄，并在重启拍照后根据GPS芯片和陀螺仪的数据变化调整间歇长度。

更进一步地，光学摄像头重启拍照后，GPS芯片回传用户的移动距离为零且陀螺仪判断用户视线未发生变化，则保持播放内容，拉长拍照间歇至3s以上的慢拍摄模式。

更进一步地，光学摄像头重启拍照后，GPS芯片回传用户的移动速度小于0.5倍平均速度且陀螺仪判断用户视线变化仍在视角范围内，则保持播放内容并缩短拍照间歇。

更进一步地，光学摄像头重启拍照后，GPS芯片回传用户的移动速度达到平均速度且陀螺仪判断用户视线变化超出视角范围，则中断播放内容并缩短拍照间歇至1s以下的快拍摄模式。

本发明实现上述目的的另一项技术解决方案是：一种MR眼镜使用视线触发内容的方法：设置MR眼镜中虚拟场景对应触发播放内容的线性距离范围和视角范围；在MR眼镜中集成与运营后台及云端服务器通信连接的GPS芯片、陀螺仪和光学摄像头，利用光学摄像头间歇性拍照获取用户正前方的实景照片，并上传云端服务器与当前MR眼镜中的虚拟场景比较，判断用户的初始视线角度；利用GPS芯片实时回传用户的位置信息、移动距离和速度，利用陀螺仪对MR眼镜朝向偏转、倾斜时的转动角速度判断用户视线的动态变化，并汇总三部分数据预判用户当前站位与对应景点的距离和实时的视线角度，对应落入线性距离范围、视角范围触发播放内容。

进一步地，所述播放内容具有包括标题呈现和多媒体放映的两种模式，当预判用户当前站位与对应景点的实际距离超出线性距离范围时，忽略视角范围并播放内容零触发；当预判用户当前站位与对应景点的实际距离落入线性距离范围内且用户实时的视线角度未落入视角范围，则按标题呈现模式播放对应景点的内容；当预判用户当前站位与对应景点的实际距离落入线性距离范围内且用户实时的视线角度落入视角范围，则按多媒体放映模式播放对应景点的内容。

进一步地，所述播放内容具有包括标题呈现和多媒体放映的两种模式，基于实景照片与虚拟场景之间透光性差异，当预判用户当前站位与对应景点的实际距离落入线性距离范围且具有实体遮挡时，忽视视角范围并与遮挡的实体图像融合、按标题呈现模式播放对应景点的内容。

应用本发明MR眼镜使用视线触发内容的解决方案，具备突出的实质性特点和显著的进步性：该方式能够简化用户所佩戴便携设备，脱离了手持式遥控器或压力手套等外设；基于定位跟踪的视线变化触发内容，人机交互更快捷、便利；同时也能有效避免通过语音命令触发演播内容的方式易受环境噪音干扰及语音识别准确性等影响而无法准确触发的情况。

具体实施方式

以下便对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握，从而对本发明的保护范围做出更为清晰的界定。

有鉴于现有旅游景区中针对MR眼镜触发播放内容方法设计上的落后，存在用户携带不便、操作繁琐、体验负担大的客观问题，本申请设计人结合多年智能终端与场景再现设备研发的技术经验，创新提出了一种MR眼镜使用视线触发内容的方法，通过MR眼镜增加硬件集成及深层次开发固有硬件，整合多硬件功能实现对用户实时的视觉角度(或理解为双眼所关注焦点)的灵活预判，以提升人机交互的智能性、触发内容的准确性与便捷性。

本创新主要针对MR眼镜虚拟场景中景点介绍相关内容播放的触发方式。作为基础性介绍，MR眼镜中虚拟场景为与不佩戴同类设备的实景高度相似且同步随动的画面。所不同的是，虚拟场景更易于多维化扩展，可以利用虚拟成像技术结合与云端服务器的数据交互，呈现具有多图层嵌套式的画面呈现。更直观的理解，普通景区如果用户裸眼游览的话，其目视前方仅实景图像呈现于大脑之中，而当需要了解实景源远流长的详细信息时，必须通过手机查资料或人工导游介绍方能了解；而佩戴MR眼镜进行游览的话，其目视的虚拟场景中还能将当前实景作为背景、将焦点关注的实景介绍呈现在顶部图层中，从而获得轻松、自由的游览体验。其概述的特征为：设置MR眼镜中虚拟场景对应触发播放内容的视角范围；在MR眼镜中集成与运营后台及云端服务器通信连接的GPS芯片、陀螺仪和光学摄像头，利用光学摄像头间歇性拍照获取用户正前方的实景照片，并上传云端服务器与当前MR眼镜中的虚拟场景比较，判断用户的初始视线角度；利用GPS芯片实时回传用户的位置信息、移动距离和速度，利用陀螺仪对MR眼镜朝向偏转、倾斜时的转动角速度判断用户视线的动态变化，并汇总三部分数据预判用户实时的视线角度，当落入视角范围则触发播放内容。

为便于理解以上概述特征，具体实例化说明如下：其中设置MR眼镜中虚拟场景对应触发播放内容的视角范围是基于虚拟场景中的位置定位的，以位置为起点、以播放内容对应的景点为终点，可以设置一定角度的锥状视角范围，作为播放对应景点介绍内容的触发条件。更直观的理解，沿用上述MR眼镜中的起点和终点，以两者连线为直视轴线，以用户落在景点旁侧一段距离形成偏离视线，且偏离视线与直视轴线的夹角即为视角，而偏离的范围即为视角范围。因此可以通过运营后台对MR眼镜进行软件版本的升级，将该视角范围同步固化到任一MR眼镜中。而根据不同时期MR眼镜的产品制造，其固态硬件配置存在一定的差异性。对于已有配置的自然可以沿用，但也需要对配置相对落后的此类产品加以硬件增配。实质满足具备GPS芯片、陀螺仪和光学摄像头这三大必要部件，以便于该MR眼镜自身的MCU得以同步接收运营后台及云端服务器的数据流的同时，获取其它用于实现视线角度判断的参数。其中GPS芯片主要利用其在导航定位方面的成熟性能，除保障设备使用位置的跟踪外，还能准确反馈用户实时的行止状态及移动速度等。而其中陀螺仪也在当前智能手机和各类VR游戏机中广泛应用，以此满足游戏或手机应用对用户朝向变化情况的掌握。其中光学摄像头相对普通，主要功能仅用于顺应MR眼镜的朝向，按一定间歇摄取MR眼镜正向的外界实景照片，供运营后台进行图像分析，定义用户的初始视线角度，即跟踪用户面部朝向。在用户实时的视线角度判断时，需要结合用户静止或移动速率、用户面部朝向变化的趋势及朝向偏转的转动角速度进行动态跟踪。在MR眼镜的虚拟场景中设置了视线触发的交互方式后，通过对视线角度的跟踪，当用户在某个位置朝向某个角度并落入视角范围内时，则触发播放内容，换言之实现用户视线对内容的动态触发。

在此基础上仍需进一步完善，以上光学摄像头拍照设为动态间歇性，即不是以固态频率进行实景拍照的。例如，在MR眼镜中虚拟场景已有播放内容被触发状态下，为避免因用户轻微变向导致画面一闪而逝或不停从头播放，影响景点介绍的信息获取，故采取暂停3s～10s甚至更长的拍摄，并在重启拍照后根据GPS芯片和陀螺仪的数据变化调整间歇长度。因为前述用户的实时视线角度判断是基于多部分数据的组合而得到的，因此中断其中一部分的数据获取将使得视线角度的判断结果被暂时固化，从而不影响播放内容顺利结束。当然若用户对播放的内容并不感兴趣，则当该暂停时间达到后，发生位置移动或朝向偏转的幅度情况，自适应地调整实景拍照的动态间歇，主要包括但不限于如下三种可能的情况。

第一，光学摄像头重启拍照后，GPS芯片回传用户的移动距离为零且陀螺仪判断用户视线未发生变化。此刻虽然暂停时间已然结束，只要用户不发生移动和朝向变化，则判断所得用户实时的视线角度保持不变，则根据设定保持播放内容。只要播放内容不结束、表示用户持续关注该景点，则拉长拍照间歇至3s以上的慢拍摄模式。

第二，光学摄像头重启拍照后，GPS芯片回传用户的移动速度小于0.5倍平均速度且陀螺仪判断用户视线变化仍在视角范围内。即用户稍微发生位置变化随走随览但视线焦点不变，视角范围内依然保持播放内容并缩短拍照间歇。

第三，光学摄像头重启拍照后，GPS芯片回传用户的移动速度达到平均速度且陀螺仪判断用户视线变化超出视角范围。即表明用户已经处于正常的游览行走速度且并不对之前播放的内容再感兴趣，则中断播放内容并缩短拍照间歇至1s以下的快拍摄模式，继续判断接下来用户实时的视线角度。拍摄速度可以是一秒一拍或一秒多帧拍摄。

在以上视线触发优选实例的介绍基础下，还易于考虑到该视角范围的触发条件还或多或少地与用户当前的距离远近有不同的变化。公知且可直观体会的是，越远的景物相对渺小，故而视角范围也相对较窄；而随着距离的拉近，视角范围也将同步增大。为此，本创新该使用视线触发内容的方法还有进一步较佳的实施方式。概述而言，设置MR眼镜中虚拟场景对应触发播放内容的线性距离范围和视角范围；在MR眼镜中集成与运营后台及云端服务器通信连接的GPS芯片、陀螺仪和光学摄像头，利用光学摄像头间歇性拍照获取用户正前方的实景照片，并上传云端服务器与当前MR眼镜中的虚拟场景比较，判断用户的初始视线角度；利用GPS芯片实时回传用户的位置信息、移动距离和速度，利用陀螺仪对MR眼镜朝向偏转、倾斜时的转动角速度判断用户视线的动态变化，并汇总三部分数据预判用户当前站位与对应景点的距离和实时的视线角度，对应落入线性距离范围、视角范围触发播放内容。其中实时距离计算为通过计算用户所在位置与虚拟场景下景点的间距并进行对应地图缩放比例的还原而得。

与前述实施例大部分相同，其主要区别在于判断触发条件的并非单纯的视线角度，而是以间距远近为基础的视线角度互补。对于距离用户较远的景点，前述视角范围缩小到可观的程度，则当用户视线角度稍微发生变化，极易发生视线超出所定义的视角范围而丢失目标。而若刻意将视角范围放大，则将增加该视角范围内不同景点的数量，造成触发目标不明。

从更进一步细化的实施来看，设虚拟场景下任意景点的播放内容具有包括标题呈现和多媒体放映的两种模式。根据整个景区面积大小以及人力目视可辨识度该线型距离范围具有很大幅度、灵活的自定义程度，小到几十米，大到数公里均可。当预判用户当前站位与对应景点的实际距离超出线性距离范围时，则忽略与该景点对应的视角范围并不触发任何播放内容。当预判用户当前站位与对应景点的实际距离落入线性距离范围内且用户实时的视线角度未落入视角范围，则按标题呈现模式播放对应景点的内容。这种情况下，虽然用户可见景点，但由于视角范围依然十分局限，故不利于多媒体稳定播放而浪费设备能耗。当预判用户当前站位与对应景点的实际距离落入线性距离范围内且用户实时的视线角度落入视角范围，则按多媒体放映模式播放对应景点的内容。这样能一定程度上保持播放内容的稳定性，避免用户在尚未了解景点详细介绍主要内容前因画面陡然中断消失而体感不佳。

除以上较佳实施情况外，同样还需关注的是，基于实景照片与虚拟场景之间透光性差异，当预判用户当前站位与对应景点的实际距离落入线性距离范围且具有实体遮挡时，忽视视角范围并与遮挡的实体图像融合、按标题呈现模式播放对应景点的内容。如此情况下，一方面通过标题呈现告知用户，在实体背后有较为知名的景点，为避免局限于视野所及而走马观花，提醒用户重要景点不容错失。而随着朝向该景点逐渐接近、摆脱遮挡的实物后，即可继续按前述视线触发方式播放景点介绍相关的内容。

综上关于本发明MR眼镜使用视线触发内容方案的特征介绍和实施例详述，可见该方案具备突出的实质性特点和显著的进步性：该方式能够简化用户所佩戴便携设备，脱离了手持式遥控器或压力手套等外设；基于定位跟踪的视线变化触发内容，人机交互更快捷、便利；同时也能有效避免通过语音命令触发演播内容的方式易受环境噪音干扰及语音识别准确性等影响而无法准确触发的情况。

除上述实施例外，本发明还可以有其它实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。

Claims (7)

1.一种MR眼镜使用视线触发内容的方法，其特征在于：设置MR眼镜中虚拟场景对应触发播放内容的视角范围；在MR眼镜中集成与运营后台及云端服务器通信连接的GPS芯片、陀螺仪和光学摄像头，利用光学摄像头间歇性拍照获取用户正前方的实景照片，并上传云端服务器与当前MR眼镜中的虚拟场景比较，判断用户的初始视线角度；利用GPS芯片实时回传用户的位置信息、移动距离和速度，利用陀螺仪对MR眼镜朝向偏转、倾斜时的转动角速度判断用户视线的动态变化，并汇总三部分数据预判用户实时的视线角度，当落入视角范围则触发播放内容；其中所述光学摄像头拍照设为动态间歇性，在MR眼镜中虚拟场景已有播放内容被触发状态下，暂停3s~10s拍摄，并在重启拍照后根据GPS芯片和陀螺仪的数据变化调整间歇长度。

2.根据权利要求1所述MR眼镜使用视线触发内容的方法，其特征在于：光学摄像头重启拍照后，GPS芯片回传用户的移动距离为零且陀螺仪判断用户视线未发生变化，则保持播放内容，拉长拍照间歇至3s以上的慢拍摄模式。

3.根据权利要求1所述MR眼镜使用视线触发内容的方法，其特征在于：光学摄像头重启拍照后，GPS芯片回传用户的移动速度小于0.5倍平均速度且陀螺仪判断用户视线变化仍在视角范围内，则保持播放内容并缩短拍照间歇。

4.根据权利要求1所述MR眼镜使用视线触发内容的方法，其特征在于：光学摄像头重启拍照后，GPS芯片回传用户的移动速度达到平均速度且陀螺仪判断用户视线变化超出视角范围，则中断播放内容并缩短拍照间歇至1s以下的快拍摄模式。

5.一种MR眼镜使用视线触发内容的方法，其特征在于：设置MR眼镜中虚拟场景对应触发播放内容的线性距离范围和视角范围；在MR眼镜中集成与运营后台及云端服务器通信连接的GPS芯片、陀螺仪和光学摄像头，利用光学摄像头间歇性拍照获取用户正前方的实景照片，并上传云端服务器与当前MR眼镜中的虚拟场景比较，判断用户的初始视线角度；利用GPS芯片实时回传用户的位置信息、移动距离和速度，利用陀螺仪对MR眼镜朝向偏转、倾斜时的转动角速度判断用户视线的动态变化，并汇总三部分数据预判用户当前站位与对应景点的距离和实时的视线角度，对应落入线性距离范围、视角范围触发播放内容。

6.根据权利要求5所述MR眼镜使用视线触发内容的方法，其特征在于：所述播放内容具有包括标题呈现和多媒体放映的两种模式，当预判用户当前站位与对应景点的实际距离超出线性距离范围时，忽略视角范围并播放内容零触发；当预判用户当前站位与对应景点的实际距离落入线性距离范围内且用户实时的视线角度未落入视角范围，则按标题呈现模式播放对应景点的内容；当预判用户当前站位与对应景点的实际距离落入线性距离范围内且用户实时的视线角度落入视角范围，则按多媒体放映模式播放对应景点的内容。

7.根据权利要求5所述MR眼镜使用视线触发内容的方法，其特征在于：所述播放内容具有包括标题呈现和多媒体放映的两种模式，基于实景照片与虚拟场景之间透光性差异，当预判用户当前站位与对应景点的实际距离落入线性距离范围且具有实体遮挡时，忽视视角范围并与遮挡的实体图像融合、按标题呈现模式播放对应景点的内容。