CN106408666A - 混合现实实境演示方法 - Google Patents

Abstract

本发明属于多媒体领域，具体公开了混合现实实境演示方法，主要用于使智能设备拥有混合现实的功能，其特征在于，包括如下步骤：预设步骤，选取自带有显示模块、拍摄模块和处理模块的智能设备，向该智能设备中添加识别特征库和3D模型库，识别特征库内的图像和3D模型库内的动画相关联；识别步骤、匹配步骤、分双屏步骤，处理模块将交互画面进行为分左右双屏处理，显示模块显示分左右双屏后的画面。观看步骤，将智能设备置于VR眼镜中，用户佩戴VR眼镜对智能设备进行观看。本发明的针对现有的设备用户在使用时沉浸感不强的技术问题，提供了一种混合现实实境演示方法。

Description

混合现实实境演示方法

技术领域

本发明涉及多媒体领域，具体涉及一种混合现实实境演示方法。

背景技术

增强现实（AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，达到真实的环境和虚拟的物体实时地叠加到了同一个画面或空间的目的。

虚拟现实（VR），是指采用以计算机为核心的现代高科技手段生成的逼真的视觉，听觉，触觉，嗅觉，味觉等一体化的虚拟环境，用户借助一些特殊的输入，输出设备，采用自然的方式与虚拟世界的物体进行交互，相互影响，从而产生亲临真实环境的感觉和体验。现有的VR技术，主要是通过两个方向来实现的。第一种是通过硬件设备处理好图像，用户佩戴VR眼镜，VR眼镜仅提供显示功能；第二种是对手机、平板等移动设备进行分为左右双屏并同时显示的处理，用户佩戴上VR眼镜，透过VR眼镜观看移动设备的方式实现虚拟现实的功能的。

混合现实（MR），是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

这三种技术的目的都是为了给用户带来与现实世界不同的体验。增强现实而言，是在现实世界的基础上加载虚拟的物体；虚拟现实，是让用户置身在一个完全虚拟的世界；混合现实，是完全模糊虚拟世界和现实世界的界限，以增强用户体验的真实感。

例如，Curiscope公司的一种名为“Virtuali-Tee”的智能服装，在各大众筹平台都拥有不错的成绩。这种T恤看上去更像是一种增强现实配件，即用户可以通过专用智能手机软件，来扫描T恤上的图形并观看到增强现实内容，如内脏等，面向教育领域，通过这种形式更形象地实现教学。

这样的方式存在，用户的沉浸感不强（由于虚拟的图案是显示在智能手机上的，只有当智能手机完全遮挡住T恤时，用户才能获得较好的观看体验），而且需要特定的T恤作为配件,由此导致用户的体验单一的缺点。

发明内容

本发明所要解决的技术问题是针对用户在使用现有设备时，沉浸感不强的技术问题，提供了一种混合现实实境演示方法。

本方案提供的基础方案为：混合现实实境演示方法，主要用于使智能设备拥有混合现实的功能，包括如下步骤：

预设步骤，选取自带有显示模块、拍摄模块和处理模块的智能设备，向该智能设备中添加识别特征库和3D模型库，识别特征库内的特征信息均有对应编码，识别特征库内的特征信息和3D模型库内的3D模型相关联；

识别步骤，智能设备在将拍摄到的实景画面与识别特征库内的特征信息进行匹配，当拍摄模块拍摄到的实景画面中的某一部分与识别特征库内的特征信息匹配程度超过预设阈值时，智能设备会记录特征信息的编码，智能设备根据编码提取3D模型库内与特征信息相关联的3D模型，实景画面中能与识别特征库内的特征信息匹配的部分定义为标识；

匹配步骤，处理模块在识别区域根据标识的姿态及大小构建三维的跟踪坐标系，智能设备在跟踪坐标系中加载被智能设备提取的3D模型，显示模块显示实景画面与3D模型相交互的画面，定义此时智能设备显示的画面为交互画面；

分双屏步骤，处理模块将交互画面进行为分左右双屏处理，左右屏显示可通过VR眼镜实现3D效果的画面，显示模块显示分左右双屏后的画面；

观看步骤，将智能设备置于VR眼镜中，用户佩戴VR眼镜对智能设备进行观看。

本方案的工作原理：首先，选取带有显示模块、拍摄模块和处理模块的智能设备，并向智能设备中添加识别特征库和3D模型库。识别特征库内的特征信息和3D模型库内的3D模型相关联。即一条特征信息与一个3D模型对应，特性信息包括图像信息。即在匹配步骤中，处理模块可根据特征信息构建一个平面，然后再构建一条与该平面垂直的Z轴，平面内根据特征信息的姿态构建一个平面坐标系，平面坐标系与Z轴共同组成一个三维的跟踪坐标系。

用户在佩戴上安装有智能设备的VR眼镜后，用户可通过VR眼镜看到智能设备拍摄到的实景画面，此时的实景画面是经过分双屏处理之后的画面。

虽然正常的3D视屏的构建是需要两台摄影机，拍摄人的双眼在两个视角观看到的画面，本发明中的智能设备在仅有一个摄像头的情况下，将一个摄像头拍摄到的画面，先均分成两个相同的视角，然后在将左半屏的画面略微向右移动，右半屏的画面略微向左移动，这样两个半屏的画面在显示时，略微角度的差异达到在用户的观看角度实现3D立体的效果。

当智能设备在拍摄到实景画面中的某一部分与识别特征库内的图像匹配程度超过预设阈值时，智能设备将3D模型加载到实景画面中，此时，智能设备的显示模块显示实景画面和虚拟动画交互的画面，此时显示模块显示的画面定义为交互画面。

用户头部在移动的过程中，由于智能设备方位的改变，会让智能设备与跟踪坐标系的相对位置发生改变，3D模型是加载在跟踪坐标系上的，跟踪坐标系的单位长度是根据标识的大小确定的，因此在用户在移动过程中，3D模型的大小也会随着标识的大小改变。模拟出用户靠近会远离3D模型的效果，让用户感觉到3D模型被“固定”在标识上。

交互画面经过处理模块处理，进行分双屏步骤。此时智能设备是通过VR眼镜佩戴在用户头上的，用户通过VR眼镜看到虚拟动画具有立体感，实景画面本身也具有立体感，用户此时能够得到沉浸式的体验。

优选方案一：作为基础方案的优选方案，预设步骤中，向该智能设备添加的3D模型库内的3D模型是经过分双屏步骤处理后的3D模型，在识别步骤前，智能设备将拍摄到的实景画面进行分左右双屏处理，显示模块显示分左右双屏后的实景画面，然后再进行识别步骤、匹配步骤、观看步骤。3D模型库内的动画先经过分双屏处理，在匹配步骤之后直接调用，能够减轻处理模块的负担以及智能设备的相应时间。

优选方案二：作为优选方案一的优选方案：还包括识别步骤前的预处理步骤，智能设备会将拍摄到的实景画面进行灰度化、二值化处理。预处理步骤能够提高识别步骤的识别效率。

优选方案三：作为优选方案二的优选方案：识别步骤和匹配步骤的刷新速率为每秒30-120次。在实际应用过程中，人眼的识别为每秒24帧，识别步骤和匹配步骤的刷新速率为每秒30-120次，能够流畅的显示3D模型库内的动画，为用户提供更好的沉浸式体验。

优选方案四：作为方案三的优选方案：预设步骤中选取的智能设备还具有姿态感应模块，预设步骤还包括向智能设备的显示模块中添加功能按键。姿态感应模块包括加速计、陀螺仪，姿态感应模块能够判断智能设备在空间中所处的姿态，用户能够通过摆动头部，选中显示模块中的功能按键，达到不需要取下VR眼镜，也能对智能设备进行操作的目的，更加方便用户使用。

优选方案五：作为优选方案四的优选方案：分双屏步骤是根据智能设备的显示模块的分辨率均分为左右双屏。根据显示模块的分辨率分双屏，能够更好的将显示模块均分为两块分别显示，用户在使用时能够获得更好的观看体验。

优选方案六：作为优选方案五的优选方案：匹配步骤中，智能设备根据识别区域的尺寸调整播放区域的尺寸。智能识别拍摄到的某一部分的尺寸与该部分与智能设备的距离相关，用户在使过程中，如果用户与该部分的相对距离发生变化，播放区域的尺寸也发生变化，用户在使用时能够获得跟更好的沉浸式体验。

附图说明

图1是本发明混合现实实境演示方法实施例使用示意图；

图2是本发明未识别到特定图像时的示意图；

图3是本发明识别到特定图像时的示意图。

具体实施方式

下面通过具体实施方式对本发明作进一步详细的说明：

说明书附图中的附图标记包括：智能手机1、暴风魔镜2、实景画面3、展品31、虚拟画面32、功能按键4。

实施例1

用户在参观博物馆或者名胜古迹前，向用户的智能手机1（还可以是平板电脑等可移动式智能设备，由于智能手机1的普及性，本实施例选用智能手机1）中添加识别特征库和3D模型库，添加识别特征库和3D模型库的步骤，可通过用户下载手机APP的方式添加的用户的智能手机1中。识别特征库内的图像均有对应的编码，将一些特定物体图像和与特定图像相关的动画添加手机中。如参观故宫博物馆时，将故宫博物馆内的展品31的图像添加到识别特征库内，与该展品31关联的动画说明添加到3D模型库内。

用户在使用时，佩戴上VR眼镜，市面上关于VR眼镜的产品非常多，从普通的纸盒组装到包装精美的暴风魔镜2，本实施例中选用的是暴风魔镜2。然后将智能手机1放置在暴风魔镜2中（如图1所示）。

在未拍摄到特定的识别图像时，智能手机1分双屏显示拍摄到的实景画面3，用户此时通过暴风魔镜2观看到的是手机里显示的实景画面3（如图2所示）。此时，不影响用户的正常行走。智能手机1会将拍摄到的实景画面3进行灰度化、二值化处理。

当用户需要观看展品31时，用户实质上是在通过智能手机1在观看展品31，智能手机1会通过将灰度化、二值化的图像与识别特征库内的图像进行对比，对比速率为每秒60次，当拍摄到的画面中的某一部分与识别特征库内的图像匹配程度超过预设阈值时，智能手机1会记录识别特征库内该图像的编码，并在识别出该展品31后播放与该展品31相关联的动画，此时智能手机1是分双屏显示实景画面3与虚拟画面32相交互的景象（如图3所示）。

3D模型的大小可根据标识的大小而调节。虚拟画面32会随着用户的移动而发生变化，增强了用户的沉浸式体验。

使用过程中，用户的眼睛接收到的画面均是智能手机1的屏幕通过暴风魔镜2展示给用户的，无论是实景画面3还是实景画面3与虚拟画面32相交互的景象都是同样的路径传递到用户眼睛里，并且借用VR眼镜，这样可使得用户获得更好的沉浸式体验，将实景画面3与虚拟画面32的界限更加模糊化。

实施例2

与实施1相比，不同之处在于，还包括在手机APP中添加功能按键4。利用智能手机1电子罗盘的功能，用户可通过摆动头部选取功能按键4。如在手机APP中添加详细说明的功能按键4，用户在观看展品31时，可驻足在展品31前，然后摆动头部，智能手机1的电子罗盘感应到手机的姿态发生改变，然后，用户选取到功能按键4，智能手机1开始显示该展品31的详细说明。

实施例3

与实施例1、2相比，不同之处在于，本发明应用在机械设计讨论会议中，用户通过在智能手机中1中下载APP的方式完成添加识别特征库和3D模型库，本实施例中的标识是机械设计中的平面图纸，3D模型是该平面图纸的3D模型。

用户围坐在会议桌上，平面图纸放置在会议桌上，用户可通过佩戴好VR眼镜之后，可观看到机械设计的3D模型，但是不影响正常会议，并且用户还能正常的手写记录会议内容。

在智能手机丢失标识后，即智能手机的摄像头未拍摄到标识，智能手机此时现实的是实景画面，当再次拍摄到标识时，该标识对应的3D模型会重新加载，此时3D模型的姿态会根据标识的姿态加载。

实施例4

与实施例1-3相比，不同之处在于，在本实施例中，还包括一种调整瞳距的方法，因每个人的瞳距均有细微的差异，在使用本发明的方法体验混合现实时，容易出现因瞳距不匹配而头晕、恶心的情况。因此在本实施例中公开一种调整瞳距的方法。

用户获得最佳观看体验的情况是，用户的瞳孔、镜片和画面的中心三点一线，镜片的调节可直接通过物理方式调节。两块镜片分别嵌入两个弧形的滑槽内，两个弧形滑槽呈“八”字形分布，在两块镜片的一侧上分别设有连杆，两根连杆之间铰接，两根连杆的长度之和大于两块镜片的间距，两根连杆的铰接点处设有调节螺栓，调节螺栓与两根连杆形成一个倒置的“Y”型。调节镜片的间距时，仅需要拧动调节螺栓，就能调节两块镜片的距离，更好的适应用户的瞳距。

还包括一种调节手机显示瞳距的方法，第一步，在手机分双屏之后，分别在两块屏幕的中心显示红点；第二步，调节手机屏幕的大小，使得红点之间的间距与两块镜片之间的间距相等。即用户调节到观看红点时，两个红点不会产生重影。这样让用户能够根据自身情况，先调节手机画面的间距，然后调节镜片，这样就保证了用户不会因瞳距不适应而出现头晕的情况。

当然滑动镜片的调节方式可能在使用时，用户操作较为复杂，还提供一种简易的调节瞳距的VR眼镜，包括两块镜片、外壳以及调节架，调节架包括左镜框和右镜框，左镜框和右镜框铰接，两块镜片分别固定在左镜框和右镜框上，外壳上设有滑槽，滑槽内设有与滑槽滑动方向垂直的第一横条纹，左镜框和右镜框的铰接点处设有连接杆，滑槽处设有供连接杆穿过的条形孔，滑槽内设有滑块，滑块上设有与第二横条纹，连接杆与滑块固定连接。两块镜片是采用的红蓝镜片，本发明分双屏的步骤后，还对两个屏幕中间的画面做了分别剔除红蓝色并自动还原的步骤。通过调节两块镜片相互之间的倾斜角度，达到调节瞳距的目的，最重要的是还不会影响观看的画质体验。

实施例5

本发明应用在户外社交游戏中，将各类标识分布在城市的各个角落，或者直接利用街景、商家的LOGO作为标识，本实施例中的智能设备为市面上的智能手机1（如iPhone5），用户通过下载APP的方式，向智能手机1中添加识别特征库和3D模型库，并且向智能手机1添加各个标识在GPS定位系统中的位置。当用户拿智能手机1接近这些标识时，智能手机1通过GPS定位系统确定手机与标识之间的距离，并提醒用户。

用户带上暴风魔镜，通过智能手机的显示观看不同的标识的实景画面3时，会在智能手机中调用与该标识对应的虚拟画面32，并一起显示给用户。用户之间还可基于GPS定位系统查看各自的位置，方便用户在线下进行交流。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (7)

1.混合现实实境演示方法，主要用于使智能设备拥有混合现实的功能，其特征在于，包括如下步骤：

预设步骤，选取自带有显示模块、拍摄模块和处理模块的智能设备，向该智能设备中添加识别特征库和3D模型库，识别特征库内的特征信息均有对应编码，识别特征库内的特征信息和3D模型库内的3D模型相关联；

识别步骤，智能设备在将拍摄到的实景画面与识别特征库内的特征信息进行匹配，当拍摄模块拍摄到的实景画面中的某一部分与识别特征库内的特征信息匹配程度超过预设阈值时，智能设备会记录特征信息的编码，智能设备根据编码提取3D模型库内与特征信息相关联的3D模型，实景画面中能与识别特征库内的特征信息匹配的部分定义为标识；

匹配步骤，处理模块在识别区域根据标识的姿态及大小构建三维的跟踪坐标系，智能设备在跟踪坐标系中加载被智能设备提取的3D模型，显示模块显示实景画面与3D模型相交互的画面，定义此时智能设备显示的画面为交互画面；

分双屏步骤，处理模块将交互画面进行为分左右双屏处理，左右屏显示可通过VR眼镜实现3D效果的画面，显示模块显示分左右双屏后的画面；

观看步骤，将智能设备置于VR眼镜中，用户佩戴VR眼镜对智能设备进行观看。

2.根据权利要求1所述的混合现实实境演示方法，其特征在于，所述预设步骤中，向该智能设备添加的3D模型库内的动画是经过分双屏步骤处理后的动画，在识别步骤前，智能设备将拍摄到的实景画面进行分左右双屏处理，显示模块显示分左右双屏后的实景画面，然后再进行识别步骤、匹配步骤、观看步骤。

3.根据权利要求2所述的混合现实实境演示方法，其特征在于，还包括识别步骤前的预处理步骤，智能设备会将拍摄到的实景画面进行灰度化、二值化处理。

4.根据权利要求3所述的混合现实实境演示方法，其特征在于，识别步骤和匹配步骤的刷新速率为每秒30-120次。

5.根据权利要求4所述的混合现实实境演示方法，其特征在于，预设步骤中选取的智能设备还具有电子罗盘模块，预设步骤还包括向智能设备的显示模块中添加功能按键。

6.根据权利要求5所述的混合现实实境演示方法，其特征在于，分双屏步骤是根据智能设备的显示模块的分辨率均分为左右双屏。

7.根据权利要求6所述的混合现实实境演示方法，其特征在于，匹配步骤中，智能设备根据识别区域的尺寸调整播放区域的尺寸。