CN107688392B - 一种控制mr头显设备显示虚拟景象的方法及系统 - Google Patents

Abstract

本发明实施例公开了一种控制MR头显设备显示虚拟景象的方法及系统，该方法包括：服务设备根据预测的MR头显设备的移动轨迹，向MR头显设备返回与背景景象相匹配的当前虚拟景象以及与移动轨迹相匹配的虚拟景象集合供MR头显设备显示。可见，实施本发明实施例能够根据预测到的MR头显设备的移动轨迹为MR头显设备提供多个虚拟景象，以使MR头显设备快速的显示相应的虚拟景象，降低了虚拟景象的显示时延，且MR头显设备能够通过双摄像头捕捉实时景象，并将实时景象中的背景替换成虚拟数字空间在实体环境中的映射，有利于用户准确的识别出处于相同场景中的实体，提高了用户在使用MR头显设备时的安全性，给用户带来了更逼真更立体更安全的多样化互动体验。

Description

一种控制MR头显设备显示虚拟景象的方法及系统

技术领域

本发明涉及介导现实(Mediated Reality，MR)技术领域，尤其涉及一种控制MR头显设备显示虚拟景象的方法及系统。

背景技术

当前，随着电子技术的快速发展，增强现实(Augmented Reality，AR)技术的应用也越来越广泛，AR技术是一种实时地计算摄像头影像的位置及角度并叠加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，即通过将虚拟景象与现实世界进行结合的方式为用户提供多样化的交互体验。在实际操作中，使用AR技术的相关设备需要从服务设备获取到相应的虚拟景象并显示，为了保证用户使用MR头显设备时的视觉体验，如何实现MR头显设备快速的显示虚拟景象，以降低显示虚拟景象时的时延显得尤为重要。

发明内容

本发明实施例公开了一种控制MR头显设备显示虚拟景象的方法及系统，能够根据预测到的MR头显设备的移动轨迹为MR头显设备提供多个虚拟景象，进而使MR头显设备快速的显示相应的虚拟景象，以降低显示虚拟景象时的时延。

本发明实施例第一方面公开了一种控制MR头显设备显示虚拟景象的方法，所述方法包括：

MR头显设备通过双摄像头采集实时景象，并通过内置的加速传感器以及陀螺仪检测所述MR头显设备的第一移动方向和第一移动速度，以及将所述第一移动方向、所述第一移动速度以及从所述实时景象中分离出的背景景象上报至服务设备；

所述服务设备确定与所述背景景象相匹配的当前虚拟景象，并根据所述第一移动方向以及所述第一移动速度预测所述MR头显设备在预设时间段内的移动轨迹，确定与所述移动轨迹相匹配的虚拟景象集合，并将所述当前虚拟景象以及所述虚拟景象集合下发至所述MR头显设备；

所述MR头显设备接收所述当前虚拟景象以及所述虚拟景象集合，并显示所述当前虚拟景象，以及在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

所述服务设备向所述MR头显设备发送所述移动轨迹；

所述MR头显设备接收所述移动轨迹；

所述MR头显设备显示所述当前虚拟景象之后，以及所述MR头显设备在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象之前，所述方法还包括：

所述MR头显设备通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度；

所述MR头显设备判断所述第二移动方向与所述第二移动速度是否与接收到的所述移动轨迹相匹配，当判断结果为是时，触发执行所述的在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象的操作；

所述MR头显设备在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象，包括：

所述MR头显设备判断检测到所述第二移动方向以及所述第二移动速度的时刻是否处于所述预设时间段内，当处于所述预设时间段内时，从所述虚拟景象集合中选取与所述第二移动方向以及所述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示所述目标虚拟景象。

作为一种可选的实施方式，在本发明实施例第一方面中，所述MR头显设备显示所述当前虚拟景象之后，以及所述MR头显设备通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度之前，所述方法还包括：

所述MR头显设备定位所述MR头显设备在当前环境的三维空间坐标，并根据预先获取到的无线信号覆盖范围与无线信号强度值的对应关系，判断所述三维空间坐标对应的无线信号覆盖范围内的无线信号强度值是否小于等于预设信号强度阈值，当判断出小于等于所述预设信号强度阈值时，触发执行所述的通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度的操作。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

所述MR头显设备检测针对所述目标虚拟景象中某一虚拟物体的体感动作，并确定所述体感动作对应的体感参数；

所述MR头显设备控制所述某一虚拟物体在所述目标虚拟景象中执行与所述体感参数相对应的操作。

作为一种可选的实施方式，在本发明实施例第一方面中，所述MR头显设备检测针对所述目标虚拟景象中某一虚拟物体的体感动作之后，以及所述MR头显设备确定所述体感动作对应的体感参数之前，所述方法还包括：

所述MR头显设备向所述服务设备发送包括所述某一虚拟物体的物体标识的属性获取请求，以触发所述服务设备根据所述物体标识查找所述某一虚拟物体的操作属性并向所述MR头显设备返回针对所述操作获取请求的操作获取响应，所述操作获取响应包括所述操作属性；

所述MR头显设备接收所述操作获取响应，并根据所述操作获取响应中包括的所述操作属性判断所述某一虚拟物体是否为允许所述MR头显设备的用户操作的虚拟物体，当判断结果为是时，触发执行所述的确定所述体感动作对应的体感参数的操作。

本发明实施例第二方面公开了一种控制MR头显设备显示虚拟景象的系统，所述系统包括MR头显设备以及服务设备，所述MR头显设备包括采集单元、检测单元、第一通信单元以及显示单元，所述服务设备包括第二通信单元、预测单元以及第一确定单元，其中：

所述采集单元，用于通过双摄像头采集实时景象，并从所述实时景象中分离出背景景象；

所述检测单元，用于通过内置的加速传感器以及陀螺仪检测所述MR头显设备的第一移动方向和第一移动速度；

所述第一通信单元，用于将所述第一移动方向、所述第一移动速度以及从所述实时景象中分离出的所述背景景象上报至所述服务设备；

所述第二通信单元，用于接收所述第一通信单元发送的所述第一移动方向、所述第一移动速度以及所述背景景象；

所述预测单元，用于根据所述第一移动方向以及所述第一移动速度预测所述MR头显设备在预设时间段内的移动轨迹；

所述第一确定单元，用于确定与所述背景景象相匹配的当前虚拟景象，以及确定与所述移动轨迹相匹配的虚拟景象集合；

所述第二通信单元，还用于将所述当前虚拟景象以及所述虚拟景象集合下发至所述MR头显设备；

所述第一通信单元，还用于接收所述第二通信单元下发的所述当前虚拟景象以及所述虚拟景象集合；

所述显示单元，用于显示所述当前虚拟景象，以及在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象。

作为一种可选的实施方式，在本发明实施例第二方面中，所述第二通信单元，还用于向所述MR头显设备发送所述移动轨迹；

所述第一通信单元，还用于接收所述第二通信单元发送的所述移动轨迹；

所述检测单元，还用于在所述显示单元显示所述当前虚拟景象之后，通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度；

所述MR头显设备还包括第一判断单元，其中：

所述第一判断单元，用于判断所述第二移动方向与所述第二移动速度是否与接收到的所述移动轨迹相匹配，当判断结果为是时，触发所述显示单元执行所述的在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象的操作；

所述显示单元在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象方式具体为：

判断检测到所述第二移动方向以及所述第二移动速度的时刻是否处于所述预设时间段内，当处于所述预设时间段内时，从所述虚拟景象集合中选取与所述第二移动方向以及所述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示所述目标虚拟景象。

作为一种可选的实施方式，在本发明实施例第二方面中，所述MR头显设备还包括定位单元，其中：

所述定位单元，用于在所述显示单元显示所述当前虚拟景象之后，定位所述MR头显设备在当前环境的三维空间坐标；

所述第一判断单元，还用于根据预先获取到的无线信号覆盖范围与无线信号强度值的对应关系，判断所述三维空间坐标对应的无线信号覆盖范围内的无线信号强度值是否小于等于预设信号强度阈值，当判断出小于等于所述预设信号强度阈值时，触发所述检测单元执行所述的通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度的操作。

作为一种可选的实施方式，在本发明实施例第二方面中，所述检测单元，还用于检测针对所述目标虚拟景象中某一虚拟物体的体感动作；

所述MR头显设备还包括第二确定单元以及控制单元，其中：

所述第二确定单元，用于确定所述体感动作对应的体感参数；

所述控制单元，用于控制所述某一虚拟物体在所述目标虚拟景象中执行与所述体感参数相对应的操作。

作为一种可选的实施方式，在本发明实施例第二方面中，所述第一通信单元，还用于在所述检测单元检测针对所述目标虚拟景象中某一虚拟物体的体感动作之后，向所述服务设备发送包括所述某一虚拟物体的物体标识的属性获取请求；

所述第二通信单元，还用于接收所述第一通信单元发送的所述属性获取请求；

所述服务设备还包括查找单元，其中：

所述查找单元，用于根据所述物体标识查找所述某一虚拟物体的操作属性；

所述第二通信单元，还用于向所述MR头显设备返回针对所述操作获取请求的操作获取响应，所述操作获取响应包括所述操作属性；

所述第一通信单元，还用于接收所述第二通信单元发送的所述操作获取响应；

所述MR头显设备还包括第二判断单元，其中：

所述第二判断单元，用于根据所述操作获取响应中包括的所述操作属性判断所述某一虚拟物体是否为允许所述MR头显设备的用户操作的虚拟物体，当判断结果为是时，触发所述第二确定单元执行所述的确定所述体感动作对应的体感参数的操作。

与现有技术相比，本发明实施例具备以下有益效果：

本发明实施例中，MR头显设备通过双摄像头采集实时景象，并通过内置的加速传感器以及陀螺仪检测MR头显设备的第一移动方向以及第一移动速度，以及将第一移动方向、第一移动速度以及从实时景象中分离出的背景景象上报至服务设备；服务设备确定与该背景景象相匹配的当前虚拟景象，并根据第一移动方向以及第一移动速度预测MR头显设备在预设时间段内的移动轨迹，并确定与该移动轨迹对应的虚拟景象集合，以及将该当前虚拟景象以及该虚拟景象集合下发至MR头显设备；MR头显设备显示该当前虚拟景象，以及在预设时间段内显示从该虚拟景象集合中选取的目标虚拟景象。可见，实施本发明实施例能够根据预测到的MR头显设备的移动轨迹为MR头显设备提供多个虚拟景象，使MR头显设备快速的显示相应的虚拟景象，以降低显示虚拟景象时的时延，进而保证了用户使用MR头显设备时的视觉体验，且MR头显设备能够通过双摄像头捕捉实时景象，并将实时景象中的背景替换成虚拟数字空间(即3D虚拟景象)在实体环境中的映射，这种将虚拟数字空间与实体环境(又称物理环境，包括人物和景物)相结合的方式融合了VR和AR的功能，能够使MR头显设备的用户准确的识别出处于相同场景中的其它人物，提高了用户在使用MR头显设备时的安全性，给用户带来了更逼真更立体更安全的多样化互动体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种控制MR头显设备显示虚拟景象的方法的流程示意图；

图2是本发明实施例公开的另一种控制MR头显设备显示虚拟景象的方法的流程示意图；

图3是本发明实施例公开的一种控制MR头显设备显示虚拟景象的系统的结构示意图；

图4是本发明实施例公开的另一种控制MR头显设备显示虚拟景象的系统的结构示意图；

图5是本发明实施例公开的又一种控制MR头显设备显示虚拟景象的系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种控制MR头显设备显示虚拟景象的方法及系统，能够根据预测到的MR头显设备的移动轨迹为MR头显设备提供多个虚拟景象，使MR头显设备快速的显示相应的虚拟景象，以降低显示虚拟景象时的时延，进而保证了用户使用MR头显设备时的视觉体验，且MR头显设备能够通过双摄像头捕捉实时景象，并将实时景象中的背景替换成虚拟数字空间(即3D虚拟景象)在实体环境中的映射，这种将虚拟数字空间与实体环境(又称物理环境，包括人物和景物)相结合的方式融合了VR和AR的功能，能够使MR头显设备的用户准确的识别出处于相同场景中的其它人物，提高了用户在使用MR头显设备时的安全性，给用户带来了更逼真更立体更安全的多样化互动体验。

实施例一

请参阅图1，图1是本发明实施例公开的一种控制MR头显设备显示虚拟景象的方法的流程示意图。如图1所示，该控制MR头显设备显示虚拟景象的方法可以包括以下操作：

101、MR头显设备通过双摄像头采集实时景象，并通过内置的加速传感器以及陀螺仪检测该MR头显设备的第一移动方向和第一移动速度。

本发明实施例中，MR头显设备中内置有加速传感器以及陀螺仪，且在双摄像头采集实时景象的同时，触发内置的加速传感器以及陀螺仪检测该MR头显设备的第一移动方向和第一移动速度。

102、MR头显设备将上述第一移动方向、上述第一移动速度以及从上述实时景象中分离出的背景景象上报至服务设备。

本发明实施例中，具体的，MR头显设备可以通过预设背景颜色(绿色或蓝色)从上述实时景象中分离出背景颜色为预设背景颜色的背景景象。

103、服务设备接收上述第一移动方向、上述第一移动速度以及从上述实时景象中分离出的上述背景景象，并确定与上述背景景象相匹配的当前虚拟景象。

本发明实施例中，服务设备中存储有与不同背景景象相匹配的虚拟景象，当接收到上述背景景象后，服务设备从预先存储的所有虚拟景象中查询到与上述背景景象相匹配的虚拟景象，作为当前虚拟景象。

104、服务设备根据上述第一移动方向以及上述第一移动速度预测MR头显设备在预设时间段内的移动轨迹，并确定与该移动轨迹相匹配的虚拟景象集合。

本发明实施例中，具体的，服务设备预测出MR头显设备在预设时间段内的移动轨迹之后，将该预设时间段按照预设时间间隔划分成多个子时间段，以及将该移动轨迹按照该多个子时间段划分成对应的多个子移动轨迹，其中，不同的子时间段对应不同的子移动轨迹，服务设备进一步预测MR头显设备在每个子移动轨迹采集到的实时景象，并从预先存储的所有虚拟景象中查找与预测出的MR头显设备在每个子移动轨迹采集到的实时景象中的背景景象相匹配的虚拟景象，形成虚拟景象集合。

105、服务设备将上述当前虚拟景象以及上述虚拟景象集合下发至MR头显设备。

106、MR头显设备接收上述当前虚拟景象以及上述虚拟景象集合，并显示上述当前虚拟景象，以及在上述预设时间段内显示从上述虚拟景象集合中选取的目标虚拟景象。

本发明实施例中，具体的，在显示上述当前虚拟景象之后，MR头显设备可以在上述预设时间段内按照子时间段的先后顺序依次显示上述虚拟景象集合中的虚拟景象。

可见，实施图1所描述的控制MR头显设备显示虚拟景象的方法能够根据预测到的MR头显设备的移动轨迹为MR头显设备提供多个虚拟景象，使MR头显设备快速的显示相应的虚拟景象，以降低显示虚拟景象时的时延，进而保证了用户使用MR头显设备时的视觉体验，且MR头显设备能够通过双摄像头捕捉实时景象，并将实时景象中的背景替换成虚拟数字空间(即3D虚拟景象)在实体环境中的映射，这种将虚拟数字空间与实体环境(又称物理环境，包括人物和景物)相结合的方式融合了VR和AR的功能，能够使MR头显设备的用户准确的识别出处于相同场景中的其它人物，提高了用户在使用MR头显设备时的安全性，给用户带来了更逼真更立体更安全的多样化互动体验。

实施例二

请参阅图2，图2是本发明实施例公开的另一种控制MR头显设备显示虚拟景象的方法的流程示意图。如图2所示，该控制MR头显设备显示虚拟景象的方法可以包括以下操作：

201、MR头显设备通过双摄像头采集实时景象，并通过内置的加速传感器以及陀螺仪检测该MR头显设备的第一移动方向和第一移动速度。

202、MR头显设备将上述第一移动方向、上述第一移动速度以及从上述实时景象中分离出的背景景象上报至服务设备。

203、服务设备接收上述第一移动方向、上述第一移动速度以及从上述实时景象中分离出的上述背景景象，并确定与上述背景景象相匹配的当前虚拟景象。

204、服务设备根据上述第一移动方向以及上述第一移动速度预测MR头显设备在预设时间段内的移动轨迹，并确定与该移动轨迹相匹配的虚拟景象集合。

205、服务设备将上述当前虚拟景象、上述移动轨迹以及上述虚拟景象集合下发至MR头显设备。

206、MR头显设备接收上述当前虚拟景象、上述移动轨迹以及上述虚拟景象集合，并显示上述当前虚拟景象。

207、MR头显设备通过上述加速传感器以及上述陀螺仪检测MR头显设备的第二移动方向以及第二移动速度。

208、MR头显设备判断上述第二移动方向与上述第二移动速度是否与接收到的上述移动轨迹相匹配，当步骤208的判断结果为是时，触发执行步骤209，当步骤208的判断结果为否时，可以执行以下操作：

MR头显设备向服务设备发送从其双摄像头采集到的实时景象中分离出的当前背景景象，以触发服务设备返回与该当前背景景象匹配的虚拟景象并返回给MR头显设备；

MR头显设备接收服务设备返回的与该当前背景景象匹配的虚拟景象并显示。

209、当相匹配时，MR头显设备在上述预设时间段内显示从上述虚拟景象集合中选取的目标虚拟景象。

其中，MR头显设备在上述预设时间段内显示从上述虚拟景象集合中选取的目标虚拟景象可以包括：

MR头显设备判断检测到上述第二移动方向以及上述第二移动速度的时刻是否处于上述预设时间段内，当处于上述预设时间段内时，从上述虚拟景象集合中选取与上述第二移动方向以及上述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示该目标虚拟景象。

在一个可选的实施例中，在执行完毕步骤206之后以及在执行步骤207之前，该控制MR头显设备显示虚拟景象的方法还可以包括以下操作：

MR头显设备定位MR头显设备在当前环境的三维空间坐标，并根据预先获取到的无线信号覆盖范围与无线信号强度值的对应关系，判断该三维空间坐标对应的无线信号覆盖范围内的无线信号强度值是否小于等于预设信号强度阈值，当判断出小于等于该预设信号强度阈值时，触发执行步骤207。这样在MR头显设备所处位置处的无线信号的信号强度较弱时再检测移动方向以及移动速度是否与预测的移动轨迹相匹配的方式能够避免因无线信号的信号强度值较弱而导致的显示虚拟景象存在较长时延的问题。

在该可选的实施例中，获取到的无线信号覆盖范围与无线信号强度值的对应关系具体为当前环境中无线信号覆盖范围与无线信号强度值的对应关系，该对应关系是服务设备针对海量MR头显设备在该当前环境中上报的三维空间坐标以及对应的无线信号强度值进行大数据统计得到的，其中，对应相同无线信号强度值的不同三维空间坐标用于确定出该无线信号强度值对应的无线信号覆盖范围，这样提高了该对应关系的准确性。

在该可选的实施例中，进一步可选的，MR头显设备定位MR头显设备在当前环境的三维空间坐标可以包括：

MR头显设备向在当前环境中预先安装的所有摄像头中距离MR头显设备的距离值小于等于预设距离阈值的至少三个摄像头发送拍摄请求，以触发该至少三个摄像头中的每个摄像头执行拍摄操作并返回该至少三个摄像头中每个摄像头执行拍摄操作得到的拍摄图像以及每个摄像头的标识；

MR头显设备向服务设备发送每个摄像头执行拍摄操作得到的拍摄图像以及每个摄像头的标识，以触发服务设备根据每个摄像头的标识以及该当前环境的三维空间模型确定每个摄像头在该三维空间模型中的具体位置，并根据每个摄像头在该三维空间模型中的具体位置以及每张拍摄图像针对MR头显设备的成像尺寸以及成像位置确定出MR头显设备在该当前环境的具体位置，进而根据该具体位置确定MR头显设备在当前环境的三维空间坐标，以及将该三维空间坐标返回至MR头显设备；

MR头显设备接收服务设备返回的三维空间坐标，作为定位出的MR头显设备在当前环境的三维空间坐标。这样利用在当前环境中布置的摄像头定位MR头显设备在当前环境的三维空间坐标的方式不仅能够提高定位出的三维空间坐标的准确性，还能够直接利用现有的摄像头资源进行定位，无需利用GPS等进行定位，减少了定位三维空间坐标所需的时间，进一步降低了显示虚拟景象的时延。

在又一个可选的实施例中，该控制MR头显设备显示虚拟景象的方法还可以包括以下操作：

MR头显设备检测针对目标虚拟景象中某一虚拟物体的体感动作，并确定该体感动作对应的体感参数；

MR头显设备控制该某一虚拟物体在目标虚拟景象中执行与该体感参数相对应的操作。这样能够为MR头显设备的用户提供智能的交互方式，丰富了MR头显设备的功能，提高了MR头显设备的使用体验。

其中，该体感动作具体为MR头显设备上的动作传感器检测到的头部转动动作，且该体感动作对应的体感参数可以包括但不限于头部转动的方向、头部转动的时长、头部转动的速度、头部转动的频率以及头部转动所形成的转动轨迹中的至少一个；或者，该体感动作也可以是MR头显设备上的眼球识别传感器检测到的眼球转动动作，该体感动作对应的体感参数可以包括但不限于眼球转动方向、眼球转动类型(如左眼球转动、右眼球转动或左右眼球同时转动等)、眼球转动时长、眼球转动次数、眼球转动频率以及眼球转动速度中的至少一个，本发明实施例不做限定。

在该又一种可选的实施例中，进一步可选的，MR头显设备检测针对目标虚拟景象中某一虚拟物体的体感动作可以包括：

MR头显设备通过MR头显设备上的眼球识别传感器确定MR头显设备的用户的眼球注视方向，并从MR头显设备显示的目标虚拟景象中确定出与用户的眼球注视方向对应的注视区域；

MR头显设备判断该注视区域中是否存在某一虚拟物体，当存在时，检测针对该某一虚拟物体的体感动作，其中，该体感动作为针对该某一虚拟物体的所有合法体感动作中的其中一个体感动作，不同的虚拟物体对应不同的合法体感动作。这样通过检测用户的眼球注视方向进而确定虚拟物体的方式使得MR头显设备更加的智能化。

在该又一种可选的实施例中，又进一步可选的，在MR头显设备检测针对目标虚拟景象中某一虚拟物体的体感动作之后，以及在MR头显设备确定该体感动作对应的体感参数之前，该控制MR头显设备显示虚拟景象的方法还可以包括以下操作：

MR头显设备向服务设备发送包括上述某一虚拟物体的物体标识的属性获取请求，以触发服务设备根据该物体标识查找该某一虚拟物体的操作属性并向MR头显设备返回针对该操作获取请求的操作获取响应，该操作获取响应包括该操作属性；

MR头显设备接收该操作获取响应，并根据该操作获取响应中包括的操作属性判断某一虚拟物体是否为允许MR头显设备的用户操作的虚拟物体，当判断结果为是时，触发执行上述的确定体感动作对应的体感参数的操作。这样可以提高MR头显设备的用户控制虚拟物体执行相应的操作的可靠性与准确性。

可见，实施图2所描述的控制MR头显设备显示虚拟景象的方法能够根据预测到的MR头显设备的移动轨迹为MR头显设备提供多个虚拟景象，使MR头显设备在检测到的移动方向以及移动速度与服务设备预测的移动轨迹相匹配时快速的显示相应的虚拟景象，以降低显示虚拟景象时的时延，进而保证了用户使用MR头显设备时的视觉体验，还能够提高显示的虚拟景象为正确的虚拟景象的可靠性，且MR头显设备能够通过双摄像头捕捉实时景象，并将实时景象中的背景替换成虚拟数字空间(即3D虚拟景象)在实体环境中的映射，这种将虚拟数字空间与实体环境(又称物理环境，包括人物和景物)相结合的方式融合了VR和AR的功能，能够使MR头显设备的用户准确的识别出处于相同场景中的其它人物，提高了用户在使用MR头显设备时的安全性，给用户带来了更逼真更立体更安全的多样化互动体验。

实施例三

请参阅图3，图3是本发明实施例公开的一种控制MR头显设备显示虚拟景象的系统的结构示意图。如图3所示，该系统可以包括MR头显设备301以及服务设备302，MR头显设备301包括采集单元3011、检测单元3012、第一通信单元3013以及显示单元3014，服务设备302包括第二通信单元3021、预测单元3022以及第一确定单元3023，其中：

采集单元3011，用于通过双摄像头采集实时景象，并从该实时景象中分离出背景景象。

检测单元3012，用于通过内置的加速传感器以及陀螺仪检测MR头显设备301的第一移动方向和第一移动速度。

第一通信单元3013，用于将检测单元3012检测到的第一移动方向、检测单元3012检测到的第一移动速度以及采集单元3011从实时景象中分离出的背景景象上报至服务设备302。

第二通信单元3021，用于接收第一通信单元3013发送的上述第一移动方向、上述第一移动速度以及上述背景景象。

预测单元3022，用于根据第二通信单元3021接收到的上述第一移动方向以及上述第一移动速度预测MR头显设备301在预设时间段内的移动轨迹。

第一确定单元3023，用于确定与第二通信单元3021接收到的上述背景景象相匹配的当前虚拟景象，以及确定与预设单元3022预测到的移动轨迹相匹配的虚拟景象集合。

第二通信单元3021，还用于将第一确定单元3023确定出的上述当前虚拟景象以及上述虚拟景象集合下发至MR头显设备301。

第一通信单元3013，还用于接收第二通信单元3021下发的当前虚拟景象以及虚拟景象集合。

显示单元3014，用于显示上述当前虚拟景象，以及在上述预设时间段内显示从上述虚拟景象集合中选取的目标虚拟景象。

在一个可选的实施例中，第二通信单元3021，还可以用于向MR头显设备301发送上述移动轨迹。

第一通信单元3013，还用于接收第二通信单元3021发送的移动轨迹。

检测单元3012，还用于在显示单元3014显示当前虚拟景象之后，通过加速传感器以及陀螺仪检测MR头显设备301的第二移动方向以及第二移动速度。

其中，如图4所示，MR头显设备301还可以包括第一判断单元3015，其中：

第一判断单元3015，用于判断上述第二移动方向与上述第二移动速度是否与接收到的上述移动轨迹相匹配，当判断结果为是时，触发显示单元3014执行上述的在上述预设时间段内显示从上述虚拟景象集合中选取的目标虚拟景象的操作。

其中，显示单元3014在上述预设时间段内显示从上述虚拟景象集合中选取的目标虚拟景象方式具体可以为：

判断检测到上述第二移动方向以及上述第二移动速度的时刻是否处于上述预设时间段内，当处于上述预设时间段内时，从上述虚拟景象集合中选取与上述第二移动方向以及上述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示该目标虚拟景象。

在该可选的实施例中，进一步可选的，如图4所示，MR头显设备301还可以包括定位单元3016，其中：

定位单元3016，用于在显示单元3014显示上述当前虚拟景象之后，定位MR头显设备301在当前环境的三维空间坐标。

其中，定位单元3016定位MR头显设备301在当前环境的三维空间坐标的方式具体可以为：

向在当前环境中预先安装的所有摄像头中距离MR头显设备301的距离值小于等于预设距离阈值的至少三个摄像头发送拍摄请求，以触发该至少三个摄像头中的每个摄像头执行拍摄操作并返回该至少三个摄像头中每个摄像头执行拍摄操作得到的拍摄图像以及每个摄像头的标识；

向服务设备302发送每个摄像头执行配设操作得到的拍摄图像以及每个摄像头的标识，以触发服务设备302根据每个摄像头的标识以及该当前环境的三维空间模型确定每个摄像头在该三维空间模型中的具体位置，并根据每个摄像头在该三维空间模型中的具体位置以及每张拍摄图像针对MR头显设备301的成像尺寸以及成像位置确定出MR头显设备301在该当前环境的具体位置，进而根据该具体位置确定MR头显设备301在当前环境中的三维空间坐标，以及将该三维空间坐标返回至MR头显设备301；

接收服务设备302返回的三维空间坐标，作为定位出的MR头显设备301在当前环境的三维空间坐标。这样利用在当前环境中布置的摄像头定位MR头显设备301在当前环境的三维空间坐标的方式不仅能够提高定位出的三维空间坐标的准确性，而且还能够直接利用现有的摄像头资源进行定位，无需利用GPS等进行定位，减少了定位三维空间坐标所需的时间，进一步降低了显示虚拟景象的时延。

第一判断单元3015，还可以用于根据预先获取到的无线信号覆盖范围与无线信号强度值的对应关系，判断上述三维空间坐标对应的无线信号覆盖范围内的无线信号强度值是否小于等于预设信号强度阈值，当判断出小于等于预设信号强度阈值时，触发检测单元3012执行上述的通过上述加速传感器以及上述陀螺仪检测MR头显设备301的第二移动方向以及第二移动速度的操作。

在另一个可选的实施例中，检测单元3012，还用于检测针对上述目标虚拟景象中某一虚拟物体的体感动作。

其中，检测单元3012检测针对上述目标虚拟景象中某一虚拟物体的体感动作的方式具体可以为：

通过MR头显设备301上的眼球识别传感器确定MR头显设备301的用户的眼球注视方向，并从MR头显设备301显示的目标虚拟景象中确定出与用户的眼球注视方向对应的注视区域；

判断该注视区域中是否存在某一虚拟物体，当存在时，检测针对该某一虚拟物体的体感动作，其中，该体感动作为针对该某一虚拟物体的所有合法体感动作中的其中一个体感动作，不同的虚拟物体对应不同的合法体感动作。这样通过检测用户的眼球注视方向进而确定虚拟物体的方式使得MR头显设备301更加的智能化。

其中，如图5所示，MR头显设备301还可以包括第二确定单元3017以及控制单元3018，其中：

第二确定单元3017，用于确定检测单元3012检测到的体感动作对应的体感参数。

控制单元3018，用于控制上述某一虚拟物体在上述目标虚拟景象中执行与第二确定单元3017确定出的体感参数相对应的操作。

在该另一种可选的实施例中，进一步可选的，第一通信单元3013，还用于在检测单元3012检测针对上述目标虚拟景象中某一虚拟物体的体感动作之后，向服务设备302发送包括上述某一虚拟物体的物体标识的属性获取请求。

第二通信单元3021，还可以用于接收第一通信单元3013发送的属性获取请求。

在该另一种可选的实施例中，如图5所示，服务设备302还包括查找单元3024，其中：

查找单元3024，用于根据上述物体标识查找上述某一虚拟物体的操作属性。

第二通信单元3021，还可以用于向MR头显设备301返回针对上述操作获取请求的操作获取响应，该操作获取响应包括上述操作属性。

第一通信单元3013，还可以用于接收第二通信单元3021发送的上述操作获取响应。

在该另一种可选的实施例中，如图5所示，MR头显设备301还可以包括第二判断单元3018，其中：

第二判断单元3018，用于根据上述操作获取响应中包括的上述操作属性判断上述某一虚拟物体是否为允许MR头显设备301的用户操作的虚拟物

体，当判断结果为是时，触发第二确定单元3017执行上述的确定体感动作对应的体感参数的操作。

可见，实施图3-图5任一项所描述的系统能够根据预测到的MR头显设备301的移动轨迹为MR头显设备301提供多个虚拟景象，使MR头显设备301快速的显示相应的虚拟景象，以降低显示虚拟景象时的时延，进而保证了用户使用MR头显设备301时的视觉体验，且MR头显设备301能够通过双摄像头捕捉实时景象，并将实时景象中的背景替换成虚拟数字空间(即3D虚拟景象)在实体环境中的映射，这种将虚拟数字空间与实体环境(又称物理环境，包括人物和景物)相结合的方式融合了VR和AR的功能，能够使MR头显设备301的用户准确的识别出处于相同场景中的其它人物，提高了用户在使用MR头显设备301时的安全性，给用户带来了更逼真更立体更安全的多样化互动体验。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种控制MR头显设备显示虚拟景象的方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种控制MR头显设备显示虚拟景象的方法，其特征在于，所述方法包括：

MR头显设备通过双摄像头采集实时景象，并通过内置的加速传感器以及陀螺仪检测所述MR头显设备的第一移动方向和第一移动速度，以及将所述第一移动方向、所述第一移动速度以及从所述实时景象中分离出的背景景象上报至服务设备；

所述服务设备确定与所述背景景象相匹配的当前虚拟景象，并根据所述第一移动方向以及所述第一移动速度预测所述MR头显设备在预设时间段内的移动轨迹，根据所述移动轨迹进一步预测所述MR头显设备在所述移动轨迹采集到的实时景象，通过预测出的所述MR头显设备在所述移动轨迹采集到的实时景象确定与所述移动轨迹相匹配的虚拟景象集合，并将所述当前虚拟景象以及所述虚拟景象集合下发至所述MR头显设备；

所述MR头显设备接收所述当前虚拟景象以及所述虚拟景象集合，并显示所述当前虚拟景象，以及在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象。

2.根据权利要求1所述的控制MR头显设备显示虚拟景象的方法，其特征在于，所述方法还包括：

所述服务设备向所述MR头显设备发送所述移动轨迹；

所述MR头显设备接收所述移动轨迹；

所述MR头显设备显示所述当前虚拟景象之后，以及所述MR头显设备在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象之前，所述方法还包括：

所述MR头显设备通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度；

所述MR头显设备判断所述第二移动方向与所述第二移动速度是否与接收到的所述移动轨迹相匹配，当判断结果为是时，触发执行所述的在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象的操作；

所述MR头显设备在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象，包括：

所述MR头显设备判断检测到所述第二移动方向以及所述第二移动速度的时刻是否处于所述预设时间段内，当处于所述预设时间段内时，从所述虚拟景象集合中选取与所述第二移动方向以及所述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示所述目标虚拟景象。

3.根据权利要求2所述的控制MR头显设备显示虚拟景象的方法，其特征在于，所述MR头显设备显示所述当前虚拟景象之后，以及所述MR头显设备通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度之前，所述方法还包括：

所述MR头显设备定位所述MR头显设备在当前环境的三维空间坐标，并根据预先获取到的无线信号覆盖范围与无线信号强度值的对应关系，判断所述三维空间坐标对应的无线信号覆盖范围内的无线信号强度值是否小于等于预设信号强度阈值，当判断出小于等于所述预设信号强度阈值时，触发执行所述的通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度的操作。

4.根据权利要求1-3任一项所述的控制MR头显设备显示虚拟景象的方法，其特征在于，所述方法还包括：

所述MR头显设备检测针对所述目标虚拟景象中某一虚拟物体的体感动作，并确定所述体感动作对应的体感参数；

所述MR头显设备控制所述某一虚拟物体在所述目标虚拟景象中执行与所述体感参数相对应的操作。

5.根据权利要求4所述的控制MR头显设备显示虚拟景象的方法，其特征在于，所述MR头显设备检测针对所述目标虚拟景象中某一虚拟物体的体感动作之后，以及所述MR头显设备确定所述体感动作对应的体感参数之前，所述方法还包括：

所述MR头显设备向所述服务设备发送包括所述某一虚拟物体的物体标识的属性获取请求，以触发所述服务设备根据所述物体标识查找所述某一虚拟物体的操作属性并向所述MR头显设备返回针对所述操作获取请求的操作获取响应，所述操作获取响应包括所述操作属性；

所述MR头显设备接收所述操作获取响应，并根据所述操作获取响应中包括的所述操作属性判断所述某一虚拟物体是否为允许所述MR头显设备的用户操作的虚拟物体，当判断结果为是时，触发执行所述的确定所述体感动作对应的体感参数的操作。

6.一种控制MR头显设备显示虚拟景象的系统，其特征在于，所述系统包括MR头显设备以及服务设备，所述MR头显设备包括采集单元、检测单元、第一通信单元以及显示单元，所述服务设备包括第二通信单元、预测单元以及第一确定单元，其中：

所述采集单元，用于通过双摄像头采集实时景象，并从所述实时景象中分离出背景景象；

所述检测单元，用于通过内置的加速传感器以及陀螺仪检测所述MR头显设备的第一移动方向和第一移动速度；

所述第一通信单元，用于将所述第一移动方向、所述第一移动速度以及从所述实时景象中分离出的所述背景景象上报至所述服务设备；

所述第二通信单元，用于接收所述第一通信单元发送的所述第一移动方向、所述第一移动速度以及所述背景景象；

所述预测单元，用于根据所述第一移动方向以及所述第一移动速度预测所述MR头显设备在预设时间段内的移动轨迹，根据所述移动轨迹进一步预测所述MR头显设备在所述移动轨迹采集到的实时景象；

所述第一确定单元，用于确定与所述背景景象相匹配的当前虚拟景象，以及通过预测出的所述MR头显设备在所述移动轨迹采集到的实时景象确定与所述移动轨迹相匹配的虚拟景象集合；

所述第二通信单元，还用于将所述当前虚拟景象以及所述虚拟景象集合下发至所述MR头显设备；

所述第一通信单元，还用于接收所述第二通信单元下发的所述当前虚拟景象以及所述虚拟景象集合；

所述显示单元，用于显示所述当前虚拟景象，以及在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象。

7.根据权利要求6所述的控制MR头显设备显示虚拟景象的系统，其特征在于，所述第二通信单元，还用于向所述MR头显设备发送所述移动轨迹；

所述第一通信单元，还用于接收所述第二通信单元发送的所述移动轨迹；

所述检测单元，还用于在所述显示单元显示所述当前虚拟景象之后，通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度；

所述MR头显设备还包括第一判断单元，其中：

所述第一判断单元，用于判断所述第二移动方向与所述第二移动速度是否与接收到的所述移动轨迹相匹配，当判断结果为是时，触发所述显示单元执行所述的在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象的操作；

所述显示单元在所述预设时间段内显示从所述虚拟景象集合中选取的目标虚拟景象方式具体为：

判断检测到所述第二移动方向以及所述第二移动速度的时刻是否处于所述预设时间段内，当处于所述预设时间段内时，从所述虚拟景象集合中选取与所述第二移动方向以及所述第二移动速度相匹配的虚拟景象作为目标虚拟景象，并显示所述目标虚拟景象。

8.根据权利要求7所述的控制MR头显设备显示虚拟景象的系统，其特征在于，所述MR头显设备还包括定位单元，其中：

所述定位单元，用于在所述显示单元显示所述当前虚拟景象之后，定位所述MR头显设备在当前环境的三维空间坐标；

所述第一判断单元，还用于根据预先获取到的无线信号覆盖范围与无线信号强度值的对应关系，判断所述三维空间坐标对应的无线信号覆盖范围内的无线信号强度值是否小于等于预设信号强度阈值，当判断出小于等于所述预设信号强度阈值时，触发所述检测单元执行所述的通过所述加速传感器以及所述陀螺仪检测所述MR头显设备的第二移动方向以及第二移动速度的操作。

9.根据权利要求6-8任一项所述的控制MR头显设备显示虚拟景象的系统，其特征在于，所述检测单元，还用于检测针对所述目标虚拟景象中某一虚拟物体的体感动作；

所述MR头显设备还包括第二确定单元以及控制单元，其中：

所述第二确定单元，用于确定所述体感动作对应的体感参数；

所述控制单元，用于控制所述某一虚拟物体在所述目标虚拟景象中执行与所述体感参数相对应的操作。

10.根据权利要求9所述的控制MR头显设备显示虚拟景象的系统，其特征在于，所述第一通信单元，还用于在所述检测单元检测针对所述目标虚拟景象中某一虚拟物体的体感动作之后，向所述服务设备发送包括所述某一虚拟物体的物体标识的属性获取请求；

所述第二通信单元，还用于接收所述第一通信单元发送的所述属性获取请求；

所述服务设备还包括查找单元，其中：

所述查找单元，用于根据所述物体标识查找所述某一虚拟物体的操作属性；

所述第二通信单元，还用于向所述MR头显设备返回针对所述操作获取请求的操作获取响应，所述操作获取响应包括所述操作属性；

所述第一通信单元，还用于接收所述第二通信单元发送的所述操作获取响应；

所述MR头显设备还包括第二判断单元，其中：

所述第二判断单元，用于根据所述操作获取响应中包括的所述操作属性判断所述某一虚拟物体是否为允许所述MR头显设备的用户操作的虚拟物体，当判断结果为是时，触发所述第二确定单元执行所述的确定所述体感动作对应的体感参数的操作。

Images