CN109671118B - 一种虚拟现实多人交互方法、装置及系统 - Google Patents

Abstract

本发明公开了一种虚拟现实多人交互方法、装置及系统，通过多人交互控制平台向多个虚拟现实设备发送控制指令及地图信息，多个虚拟现实设备通过测量系统获取测量数据，采用即时定位与地图构建算法获取各虚拟现实设备在同场景同一坐标系下的位置、姿态及实时子地图信息并发送至多人交互控制平台，多人交互控制平台将位置信息、姿态信息及实时子地图信息进行数据融合，生成多人位姿数据及地图融合数据。本发明提供的实施例基于地图的定位导航，实现多人同场景时在虚拟世界中的交互，结合地图融合实时更新场景测量数据，保证系统基于地图导航的稳定性，同时结合多人位姿融合，预警场景中不同用户距离过近的情况，提高了多人交互系统的用户使用安全性。

Description

一种虚拟现实多人交互方法、装置及系统

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种虚拟现实多人交互方法、装置及系统。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，可以利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态场景和实体行为的系统仿真，使用户沉浸在虚拟现实环境中。

现有技术中，多采用光学定位和图像识别处理的方法，实现多人交互的虚拟现实系统，对于用户进行交互定位的精确度不高而且实时性较差，不能达到理想的效果，使得用户体验满意度有待提高。

发明内容

因此，本发明提供一种虚拟现实多人交互方法、装置及系统，克服现有技术中虚拟现实场景多用户交互实现定位的精确度不高而且实时性较差的缺陷。

本发明实施例提供一种虚拟现实多人交互方法，包括如下步骤：

分别向多个虚拟现实设备发送控制指令及多人地图信息；获取所述多个虚拟现实设备反馈的位置信息、姿态信息及实时子地图信息；

根据所述位置信息、姿态信息及实时子地图信息进行数据融合，生成多人位姿数据及地图融合数据。

优选地，所述根据所述位置信息、姿态信息及实时子地图信息进行数据融合，生成多人位姿数据及地图融合数据的步骤，包括：

采用即时定位与地图构建算法，将各个虚拟现实设备在同场景同一坐标系下的位置信息、姿态信息及子地图信息进行数据融合，生成多人位姿数据及地图融合数据。

优选地，在所述分别向多个虚拟现实设备发送控制指令及多人地图信息的步骤之前，所述虚拟现实多人交互方法还包括：

对多个虚拟现实设备进行初始化及时间同步。

优选地，所述对多个虚拟现实设备进行初始化及时间同步的步骤，包括：对所述多个虚拟现实设备中的头戴显示设备与手柄控制器的配对初始化以及对手柄控制器的LED灯带布局初始化；通过各个虚拟现实设备中的测量系统的时间同步及各个虚拟现实设备的上位机时间同步，实现多个虚拟现实设备的时间同步。

优选地，上述的虚拟现实多人交互方法，还包括：

根据所述多个虚拟现实设备在同场景同一坐标系下的位置信息和姿态信息及预设安全距离进行多人安全预警。

本发明实施例还提供一种虚拟现实多人交互方法，包括：接收多人交互控制平台发送的控制指令及地图信息；通过测量系统获取测量数据；根据所述测量数据生成位置信息及姿态信息及实时子地图信息；将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台，并根据所述位置信息、姿态信息及实时子地图信息构建虚拟现实场景，以及根据所述位置信息、姿态信息在所述虚拟现实场景中生成各所述虚拟现实设备的操作信息。

优选地，所述根据所述控制指令通过测量系统获取测量数据，包括：通过测量系统中的惯性传感器测量单元测量角速度和加速度；通过测量系统中的图像采集单元获取用户所处场景的实际场景图像。

优选地，所述根据所述测量数据生成位置信息及姿态信息，包括：根据所述角速度和加速度和用户所处场景的实际场景图像，采用即时定位与地图构建算法及预设图像目标识别算法，获取各虚拟现实设备在同场景同一坐标系下的位置信息、姿态信息及实时子地图信息。

本发明实施例提供一种虚拟现实多人交互装置，包括：控制命令及地图分发模块，用于分别向多个虚拟现实设备发送控制指令及多人地图信息；反馈信息获取模块，用于获取所述多个虚拟现实设备根据所述控制指令及所述地图信息反馈的位置信息、姿态信息及实时子地图信息；融合数据生成模块，用于根据所述位置信息、姿态信息及实时子地图信息进行数据融合，生成融合数据。

优选地，上述虚拟现实多人交互装置，还包括：安全预警模块，用于根据各所述虚拟现实设备的位置信息和姿态信息及预设安全距离进行安全预警。

本发明实施例提供另一种虚拟现实多人交互装置，包括：控制指令及地图信息接收模块，用于接收多人交互控制平台发送的控制指令及地图信息；测量数据获取模块，用于通过测量系统获取测量数据；位置及姿态信息生成模块，用于根据所述测量数据生成位置信息、姿态信息及实时子地图信息；信息反馈模块，用于将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台。

本发明提供一种虚拟现实多人交互系统，包括：多人交互控制平台及多个虚拟现实设备，其中，多人交互控制平台分别向多个虚拟现实设备发送控制指令及所述地图信息；多个虚拟现实设备，用于接收多人交互控制平台发送的控制指令及地图信息，通过测量系统获取测量数据，根据所述测量数据生成位置信息、姿态信息及实时子地图信息，将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台，并根据所述位置信息、姿态信息及实时子地图信息构建虚拟现实场景，以及根据所述位置信息、姿态信息在所述虚拟现实场景中生成各所述虚拟现实设备的操作信息；所述多人交互控制平台获取所述多个虚拟现实设备反馈的位置信息、姿态信息及实时子地图信息，并根据所述位置信息、姿态信息及实时子地图信息进行数据融合，生成融合数据。

优选地，所述多人交互控制平台，还用于所述根据各所述虚拟现实设备的位置信息和姿态信息及预设安全距离进行安全预警。

优选地，所述多人交互控制平台包括：设备管理模块、数据通信模块、多人数据处理模块，其中，所述设备管理模块，用于控制所述各个虚拟现实设备的初始化及多个虚拟现实设备的时间同步；所述数据通信模块，用于分发设备控制指令、地图信息至各个虚拟现实设备及接收所述各个虚拟现实设备的位置、姿态及实时子地图信息；所述多人数据处理模块，用于将所述各个虚拟现实设备的位置、姿态、及实时子地图信息进行位姿数据融合和地图融合，形成融合数据，并根据所述位姿融合数据及预设安全距离进行多人预警。

优选地，所述多个虚拟现实设备均包括：手柄控制器、头戴显示设备及上位机，其中，所述手柄控制器，用于获取用户输入的操作信息，以及获取所述手柄控制器的第一角速度及第一加速度信息，并将所述操作信息、所述第一角速度及加速度信息发送给所述头戴显示设备；所述头戴显示设备，用于获取用户所处场景的实际场景图像，以及所述头戴显示设备的第二角速度及第二加速度信息，并将所述实际场景图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息发送给所述上位机；所述上位机，用于接收所述现实图像、手柄图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息，通过即时定位与地图构建算法和预设目标识别算法，确定所述头戴显示设备和所述手柄控制器的位置信息、姿态信息及生成实时子地图信息，将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台，并根据所述位置信息、姿态信息及实时子地图信息构建虚拟现实场景，以及根据所述位置信息、姿态信息在所述虚拟现实场景中生成各所述虚拟现实设备的操作信息。

优选地，所述手柄控制器包括：第一惯性传感器测量单元、按键单元、LED灯带单元及第一数据通信单元，其中，

所述第一惯性传感器测量单元，用于测量所述第一角速度及第一加速度信息；所述按键单元，用于接收用户的按键操作，生成所述操作信息；所述LED灯带单元，用于标记所述手柄控制器身份信息及运动状态；所述第一数据通信单元，用于发送所述第一角速度、第一加速度信息及操作信息至所述头戴显示设备。

优选地，所述头戴显示设备包括：第二惯性传感器测量单元、图像采集单元、第二数据通信单元和头戴固定装置，其中，所述第二惯性传感器测量单元，用于测量所述第二角速度及第二加速度信息；所述图像采集单元，用于采集所述用户所处场景的实际场景图像；所述第二数据通信单元，用于将所述第二角速度、第二加速度信息、实际场景图像、所述操作信息、第一角速度及第一加速度信息发送给所述上位机；所述头戴固定装置，用于将所述头戴显示设备固定于用户头部。

优选地，上位机包括：第三数据通信单元、数据处理单元及虚拟现实场景生成单元，其中，

所述第三数据通信单元，用于接收所述头戴显示设备发送的所述现实及手柄图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息并发送给所述数据处理单元；

所述数据处理单元，用于通过即时定位与地图构建算法和预设目标识别算法，确定所述头戴显示设备和所述手柄控制器的位置信息、姿态及实时子地图信息，并将所述头戴显示设备和所述手柄控制器的位置、姿态信息进行融合，形成位姿融合数据；

所述虚拟现实场景生成单元，用于将所述位姿融合信息及实时子地图信息进行虚拟三维物体渲染及叠加，形成虚拟现实场景；

所述第三数据通信单元，还用于将所述头戴显示设备和所述手柄控制器的位置、姿态信息及实时子地图信息发送至所述多人交互控制平台，并将所述生成虚拟现实场景发送给各个头戴显示设备。

优选地，所述头戴显示设备还包括：显示单元，用于显示所述虚拟现实场景。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述的两种的虚拟现实多人交互方法。

本发明技术方案，具有如下优点：

1.本发明提供的虚拟现实多人交互方法、装置及系统，基于地图的定位导航，实现多人同场景时在虚拟世界中的交互，结合地图融合实时更新场景测量数据，保证系统基于地图导航的稳定性。

2.本发明提供的虚拟现实多人交互方法、装置及系统，通过对多个虚拟现实设备的初始化，完成头戴显示设备与手柄间初始化配对关系建立，方便新头戴显示设备或手柄控制器的接入，减少设备的维护成本。

3.本发明提供的虚拟现实多人交互方法、装置及系统，基于地图的导航，结合多人位姿融合，预警场景中不同用户距离过近的情况，提高了多人交互系统的用户使用安全性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的虚拟现实多人交互方法一个具体示例的流程图；

图2为本发明实施例提供的虚拟现实多人交互方法另一个具体示例的流程图；

图3为本发明实施例提供的虚拟现实多人交互装置一个具体示例的组成图；

图4为本发明实施例提供的虚拟现实多人交互装置另一个具体示例的组成图；

图5为本发明实施例提供的虚拟现实多人交互系统一个具体示例的组成图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供一种虚拟现实多人交互方法，在实际应用中，该虚拟现实多人交互方法可以应用于进行交互的多人交互控制平台中，如图1所示，包括如下步骤：

步骤S1：分别向多个虚拟现实设备发送控制指令及多人地图信息。

在本发明实施例中，多人交互控制平台选择好多人地图信息并导入，然后分别发送给需要交互的多个虚拟现实设备，同时发送在虚拟现实场景进行交互中相关的控制命令。

步骤S2：获取多个虚拟现实设备反馈的位置信息、姿态信息及实时子地图信息。

本发明实施例中，各个虚拟现实设备接收到分发的地图后，在进行多人交互前，采用即时定位与地图构建算法(simulation localization and mapping,SLAM)构建实时子地图信息，并将通过各个虚拟现实设备的测量系统获取到位置信息、姿态信息后，将构建实时子地图信息、位置信息及姿态信息反馈给多人交互控制平台。

步骤S3：根据位置信息、姿态信息及实时子地图信息进行数据融合，生成融合数据。

在本发明实施例中，多人交互控制平台采用即时定位与地图构建算法将各个虚拟现实设备在同场景同一坐标系下的位置信息、姿态信息及子地图信息进行数据融合，生成多人位姿数据及地图融合数据，，以实现多用户之间进行交互。

在一较佳实施例中，上述的虚拟现实多人交互方法，还包括：根据多个虚拟现实设备在同场景同一坐标系下的位置信息和姿态信息及预设安全距离进行多人安全预警，即根据同一坐标系下各用户的位置和姿态信息，设置安全距离，当用户间的相对距离过近时，产生预警信息，提示两用户防止碰撞发生，其中安全距离可根据各个交互场景的实际情况设定。

在一较佳实施例中，在执行步骤S1之前还包括：对多个虚拟现实设备进行初始化及时间同步。具体包括：

对多个虚拟现实设备中的头戴显示设备与手柄控制器的配对初始化以及对手柄控制器的LED灯带布局初始化；通过各个虚拟现实设备中的测量系统的时间同步及各个虚拟现实设备的上位机时间同步，实现多个虚拟现实设备的时间同步。

本发明实施例中，通过对多个虚拟现实设备的初始化，完成头戴显示设备与手柄间初始化配对关系建立，方便新头戴显示设备或手柄控制器的接入，减少设备的维护成本。

本发明实施例提供的虚拟现实多人交互方法，通过多人交互控制平台分别向多个虚拟现实设备发送控制指令及地图信息，多个虚拟现实设备根据控制指令通过测量系统获取测量数据，生成位置信息、姿态信息及实时子地图信息，根据位置信息、姿态信息及实时子地图信息构建虚拟现实场景，将位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台。基于地图的定位导航，实现多人同场景时在虚拟世界中的交互，结合地图融合实时更新场景测量数据，保证系统基于地图导航的稳定性，同时结合多人位姿融合，预警场景中不同用户距离过近的情况，提高了多人交互系统的用户使用安全性。

实施例2

本发明实施例提供一种虚拟现实多人交互方法，在实际应用中，该虚拟现实多人交互方法可以应用于进行交互的多个虚拟现实设备中，如图2所示，该虚拟现实多人交互方法包括如下步骤：

步骤S11:接收多人交互控制平台发送的控制指令及地图信息。

本发明实施例中，各个虚拟现实设备在进行进入虚拟现实场景之前，首先要接收多人交互控制平台发送的控制指令及地图信息。

步骤S12:通过测量系统获取测量数据。

在本发明实施例中，执行步骤S12具体包括：

通过测量系统中的惯性传感器测量单元测量角速度和加速度，以及通过测量系统中的图像采集单元获取用户所处场景的实际场景图像，

其中，图像采集单元可以为双目相机。

步骤S13:根据测量数据生成位置信息、姿态信息及实时子地图信息。

在本发明实施例中，执行步骤S13具体包括：根据角速度和加速度和用户所处场景的实际场景图像，采用即时定位与地图构建算法及预设图像目标识别算法获取各虚拟现实设备在同场景同一坐标系下的位置信息、姿态信息及实时子地图信息。其中，位置信息和姿态信息包括各个虚拟现实设备中的头戴设备位置信息、姿态信息和手柄控制器的位置信息、姿态信息，通过根据测量系统测量的角速度、加速度及用户所处场景的实际场景图像采用即时定位与地图构建算法可以获取头戴设备在当地水平地理系下的位置信息和姿态信息，根据实际场景图像利用目标识别算法可以获取手柄控制器在相机坐标系下位置信息和姿态信息，进而根据头戴设备的位置信息和姿态信息获取手柄控制器在当地水平地理系下的位置和姿态。

在本发明实施例中，利用即时定位与地图构建算法(simulation localizationand mapping,SLAM)及接收的多人交互控制平台发送的地图信息生成实时子地图信息。

步骤S14:将位置信息、姿态信息及实时子地图信息反馈至多人交互控制平台，并根据位置信息、姿态信息及实时子地图信息构建虚拟现实场景，以及根据位置信息、姿态信息在虚拟现实场景中生成各虚拟现实设备的操作信息。

本发明实施例中，各个虚拟现实设备根据位置信息、姿态信息及实时子地图信息，完成真实物体影像及虚拟三维物体渲染及叠加，以及根据位置信息、姿态信息在虚拟现实场景中生成的操作信息，并显示到头戴显示设备的显示单元中。

本发明实施例提供的虚拟现实多人交互方法，通过多人交互控制平台分别向多个虚拟现实设备发送控制指令及地图信息，多个虚拟现实设备根据控制指令通过测量系统获取测量数据，生成位置信息、姿态信息及实时子地图信息，根据位置信息、姿态信息及实时子地图信息构建虚拟现实场景，将位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台。本发明实施例是基于地图的定位导航，实现多人同场景时在虚拟世界中的交互，结合地图融合实时更新场景测量数据，保证系统基于地图导航的稳定性，同时结合多人位姿融合，预警场景中不同用户距离过近的情况，提高了多人交互系统的用户使用安全性。

实施例3

本发明实施例提供一种虚拟现实多人交互装置，如图3所示，包括：

控制命令及地图分发模块1，用于分别向多个虚拟现实设备发送控制指令及多人地图信息。此模块执行实施例1中的步骤S1所描述的方法，在此不在赘述。

反馈信息获取模块2，用于获取所述多个虚拟现实设备根据所述控制指令及所述地图信息反馈的位置信息、姿态信息及实时子地图信息。此模块执行实施例1中的步骤S2所描述的方法，在此不在赘述。

融合数据生成模块3，用于根据所述位置信息、姿态信息及实时子地图信息进行数据融合，生成融合数据。此模块执行实施例1中的步骤S3所描述的方法，在此不在赘述。

在一较佳实施例中，上述的虚拟现实多人交互装置，还包括：

安全预警模块4，用于根据各虚拟现实设备的位置信息和姿态信息及预设安全距离进行安全预警。

本发明实施例中，利用同一坐标系下各用户的位置和姿态信息，通过设置安全距离，当用户间的相对距离过近时，产生预警信息，提示两用户防止碰撞发生，其中安全距离可根据各个应用场景的实际情况设定。

本发明实施例提供的虚拟现实多人交互装置，通过多人交互控制平台分别向多个虚拟现实设备发送控制指令及地图信息，多个虚拟现实设备根据控制指令通过测量系统获取测量数据，生成位置信息、姿态信息及实时子地图信息，根据位置信息、姿态信息及实时子地图信息构建虚拟现实场景，将位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台。本发明实施例是基于地图的定位导航，实现多人同场景时在虚拟世界中的交互，结合地图融合实时更新场景测量数据，保证系统基于地图导航的稳定性，同时结合多人位姿融合，预警场景中不同用户距离过近的情况，提高了多人交互系统的用户使用安全性。

实施例4

本发明实施例提供一种虚拟现实多人交互装置，如图4所示，包括：

控制指令及地图信息接收模块11，用于接收多人交互控制平台发送的控制指令及地图信息。此模块执行实施例2中的步骤S11所描述的方法，在此不在赘述。

测量数据获取模块12，用于根据所述控制指令通过测量系统获取测量数据。此模块执行实施例2中的步骤S12所描述的方法，在此不在赘述。

位置、姿态及实时子地图信息生成模块13，用于根据所述测量数据生成位置信息、姿态信息及实时子地图信息。此模块执行实施例2中的步骤S13所描述的方法，在此不在赘述。

信息反馈模块14，用于将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台。此模块执行实施例2中的步骤S14所描述的方法，在此不在赘述。

本发明实施例提供的虚拟现实多人交互装置，通过多人交互控制平台分别向多个虚拟现实设备发送控制指令及地图信息，多个虚拟现实设备根据控制指令通过测量系统获取测量数据，生成位置信息、姿态信息及实时子地图信息，根据位置信息、姿态信息及实时子地图信息构建虚拟现实场景，将位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台。本发明实施例是基于地图的定位导航，实现多人同场景时在虚拟世界中的交互，结合地图融合实时更新场景测量数据，保证系统基于地图导航的稳定性，同时结合多人位姿融合，预警场景中不同用户距离过近的情况，提高了多人交互系统的用户使用安全性。

实施例5

本发明实施例提供一种虚拟现实多人交互系统，如图5所示，包括：多人交互控制平台5及多个虚拟现实设备6，其中，

多人交互控制平台5分别向多个虚拟现实设备发送控制指令及多人地图信息。

多个虚拟现实设备6，用于接收多人交互控制平台发送的控制指令及地图信息，通过测量系统获取测量数据，根据所述测量数据生成位置信息、姿态信息及实时子地图信息，将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台，并根据所述位置信息、姿态信息及实时子地图信息构建虚拟现实场景，以及根据所述位置信息、姿态信息在所述虚拟现实场景中生成各所述虚拟现实设备的操作信息；

多人交互控制平台5获取多个虚拟现实设备6反馈的位置信息、姿态信息及实时子地图信息，并根据位置信息、姿态信息及实时子地图信息进行数据融合，生成融合数据。在本发明实施例中，从融合数据中可以获知同一坐标系下各用户的位置和姿态。本发明实施例中的多人交互控制平台5采用PC平台。

在一较佳实施例中，多人交互控制平台5，还用于根据各虚拟现实设备的位置信息和姿态信息及预设安全距离进行安全预警，即利用同一坐标系下各用户的位置和姿态，当两用户间的相对距离过近时，产生预警信息，提示两用户防止碰撞发生，其中安全距离可根据各个地理环境的实际情况设定。

在一较佳实施例中，多人交互控制平台5包括：设备管理模块51、数据通信模块52、多人数据处理模块53，其中，

设备管理模块51，用于控制各个虚拟现实设备的初始化及多个虚拟现实设备的时间同步。本发明实施例中，设备管理模块51对多个虚拟现实设备中的头戴显示设备与手柄控制器的配对初始化以及对手柄控制器的LED灯带布局初始化，通过控制各个虚拟现实设备中的测量系统的时间同步及各个虚拟现实设备的上位机时间同步，实现多个虚拟现实设备的时间同步。

数据通信模块52，用于分发设备控制指令、地图信息至各个虚拟现实设备及接收各个虚拟现实设备的位置、姿态及实时子地图信息。本发明实施例中，数据通信模块52通过无线局域网进行通信。

多人数据处理模块53，用于将各个虚拟现实设备的位置、姿态、及实时子地图信息进行位姿数据融合和地图融合，形成融合数据，并根据位姿融合数据及预设安全距离进行多人预警。本发明实施例中，通过各个虚拟现实设备的的位姿和地图中的特征信息，经全局优化融合生成位姿数据融合和地图融合数据，利用同一坐标系下各用户的位置和姿态，当用户间的相对距离过近时，产生预警信息，提示两用户防止碰撞发生，其中安全距离可根据各个地理环境的实际情况设定。

在一较佳实施例中，多个虚拟现实设备6均包括：手柄控制器61、头戴显示设备62及上位机63，其中，

手柄控制器61，用于获取用户输入的操作信息，以及获取手柄控制器的第一角速度及第一加速度信息，并将操作信息、第一角速度及加速度信息发送给头戴显示设备。

本发明实施例中，头戴显示设备62可通过蓝牙4.0方式与手柄控制器61建立连接。

头戴显示设备62，用于获取用户所处场景的实际场景图像，以及所述头戴显示设备的第二角速度及第二加速度信息，并将所述实际场景图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息发送给所述上位机；本发明实施例中，上位机63通过与头戴显示设备62可通过USB3.0相连。

上位机63，用于接收实际场景图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息，通过实时定位与建图算法和预设目标识别算法，确定所述头戴显示设备和所述手柄控制器的位置信息、姿态信息及生成实时子地图信息，将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台，并根据所述位置信息、姿态信息及实时子地图信息构建虚拟现实场景，以及根据所述位置信息、姿态信息在所述虚拟现实场景中生成各虚拟现实设备的操作信息。本发明实施例中，上位机63均可采用PC平台。

在一较佳实施例中，手柄控制器包括61：第一惯性传感器测量单元611、按键单元612、LED灯带单元613及第一数据通信单元614，其中，

第一惯性传感器测量单元611，用于测量所述第一角速度及第一加速度信息。

本发明实施例中，第一惯性传感器测量单元611为MPU9250，但是并不限于此，其他实施例中可以为其他型号的惯性传感器。

按键单元612，用于接收用户的按键操作，生成操作信息。

LED灯带单元613，用于标记所述手柄控制器的身份信息及运动状态。

本发明实施例中，LED灯单元613由红外LED灯组成，波段在850μm附近，但是并不限于此，在其他实施例中也可以为其他LED灯。通过红外LED灯的显示情况来识别持有该手柄控制器的用户身份信息及持有该手柄控制器的用户的运动状态。

第一数据通信单元614，用于发送第一角速度、第一加速度信息及操作信息至头戴显示设备。

本发明实施例中，第一数据通信单元614通过蓝牙4.0方式将数据发送给头戴显示设备。

在一较佳实施例中，头戴显示设备62包括：第二惯性传感器测量单元621、图像采集单元622、第二数据通信单元623和头戴固定装置624，其中：

第二惯性传感器测量单元621，用于测量所述第二角速度及第二加速度信息。本发明实施例中，第二惯性传感器测量单元621为MPU9250，但是并不限于此，其他实施例中可以为其他型号的惯性传感器。

图像采集单元622，用于采集用户所处场景的实际场景图像。本发明实施例中，用户所处场景的实际场景图像包括：用户所处场景的现实图像及手柄控制器的图像。

本发明实施例中，图像采集单元622为双目相机OV9281，通过OV580驱动产生同步的双目图像。

第二数据通信单元623，用于将第二角速度、第二加速度信息、实际场景图像、操作信息、第一角速度及第一加速度信息发送给上位机。

本发明实施例中，第二数据通信单元623通过USB3.0的方式与上位机之间进行通信。

头戴固定装置624，用于将头戴显示设备固定于用户头部。

在一较佳实施例中，上位机63包括：数据处理单元631、虚拟现实场景生成单元632及第三数据通信单元633，其中，

第三数据通信单元633，用于接收头戴显示设备发送的所述现实及手柄图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息并发送给所述数据处理单元。

数据处理单元631，用于通过即时定位与地图构建算法和预设目标识别算法，确定所述头戴显示设备和所述手柄控制器的位置信息、姿态及实时子地图信息，并将所述头戴显示设备和所述手柄控制器的位置、姿态信息进行融合，形成位姿融合数据。

在本发明是实施例中，数据处理单元631通过即时定位与地图构建算法，采用实际场景图像、第二角速度和第二加速度信息可以获取头戴显示设备的在当地水平地理系下的位置信息和姿态信息；通过目标识别算法，采用实际场景图像可以获取手柄控制器在相机坐标系下的位置和姿态，进而根据头戴设备的位置信息和姿态信息，采用第一角速度、第一加速度信息和手柄控制器在相机坐标系下的位置信息和姿态信息，获取手柄控制器在当地水平地理系下的位置信息和姿态信息，具体通过关闭手柄控制器的整条灯带或灯带中部分的LED，改变相机识别目标的布局，生成手柄控制器唯一可识别目标，通过识别算法获取手柄控制器与头戴显示设备的相对位置，来获取手柄控制器的位置信息和姿态信息。

虚拟现实场景生成单元632，用于将位姿融合信息及实时子地图信息进行虚拟三维物体渲染及叠加，形成虚拟现实场景。

第三数据通信单元633，还用于将所述头戴显示设备和所述手柄控制器的位置、姿态信息及实时子地图信息发送至所述多人交互控制平台，并将所述生成虚拟现实场景发送给各个头戴显示设备。本发明实施例中，第三数据通信单元633通过USB3.0的方式与头戴显示设备之间进行通信。

在一较佳实施例中，头戴显示设备还包括：显示单元625，用于显示所述虚拟现实场景。

本发明实施例提供的虚拟现实多人交互系统，通过多人交互控制平台分别向多个虚拟现实设备发送控制指令及地图信息，多个虚拟现实设备根据控制指令通过测量系统获取测量数据，生成位置信息、姿态信息及实时子地图信息，根据位置信息、姿态信息及实时子地图信息构建虚拟现实场景，将位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台。本发明实施例是基于地图的定位导航，实现多人同场景时在虚拟世界中的交互，结合地图融合实时更新场景测量数据，保证系统基于地图导航的稳定性，同时结合多人位姿融合，预警场景中不同用户距离过近的情况，提高了多人交互系统的用户使用安全性。

实施例6

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例1或实施例2中的虚拟现实多人交互方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (12)

1.一种虚拟现实多人交互方法，其特征在于，包括如下步骤：

分别向多个虚拟现实设备发送控制指令及多人地图信息；

获取所述多个虚拟现实设备反馈的位置信息、姿态信息及实时子地图信息；

采用即时定位与地图构建算法，将各个虚拟现实设备在同场景同一坐标系下的位置信息、姿态信息及子地图信息进行数据融合，生成多人位姿数据及地图融合数据；

根据所述多个虚拟现实设备在同场景同一坐标系下的位置信息和姿态信息及预设安全距离进行多人安全预警。

2.根据权利要求1所述的虚拟现实多人交互方法，其特征在于，在所述分别向多个虚拟现实设备发送控制指令及多人地图信息的步骤之前，所述虚拟现实多人交互方法还包括：

对多个虚拟现实设备进行初始化及时间同步。

3.根据权利要求2所述的虚拟现实多人交互方法，其特征在于，所述对多个虚拟现实设备进行初始化及时间同步的步骤，包括：

对所述多个虚拟现实设备中的头戴显示设备与手柄控制器的配对初始化以及对手柄控制器的LED灯带布局初始化；

通过各个虚拟现实设备中的测量系统的时间同步及各个虚拟现实设备的上位机时间同步，实现多个虚拟现实设备的时间同步。

4.一种虚拟现实多人交互装置，其特征在于，包括：

控制命令及地图分发模块，用于分别向多个虚拟现实设备发送控制指令及多人地图信息；

反馈信息获取模块，用于获取所述多个虚拟现实设备反馈的位置信息、姿态信息及实时子地图信息；

融合数据生成模块，用于采用即时定位与地图构建算法，将各个虚拟现实设备在同场景同一坐标系下的位置信息、姿态信息及子地图信息进行数据融合，生成多人位姿数据及地图融合数据；

安全预定模块，用于根据所述多个虚拟现实设备在同场景同一坐标系下的位置信息和姿态信息及预设安全距离进行多人安全预警。

5.一种虚拟现实多人交互系统，其特征在于，包括：多人交互控制平台及多个虚拟现实设备，其中，

所述多人交互控制平台分别向多个虚拟现实设备发送控制指令及多人地图信息；

所述多个虚拟现实设备，用于接收多人交互控制平台发送的控制指令及地图信息，通过测量系统获取测量数据，采用即时定位与地图构建算法及预设图像目标识别算法获取各虚拟现实设备在同场景同一坐标系下的位置信息、姿态信息及实时子地图信息，将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台，并根据所述位置信息、姿态信息及实时子地图信息构建虚拟现实场景，以及根据所述位置信息、姿态信息在所述虚拟现实场景中生成各所述虚拟现实设备的操作信息；

所述多人交互控制平台获取所述多个虚拟现实设备反馈的位置信息、姿态信息及实时子地图信息，并采用即时定位与地图构建算法，将各个虚拟现实设备在同场景同一坐标系下的位置信息、姿态信息及子地图信息进行数据融合，生成多人位姿数据及地图融合数据；根据所述多个虚拟现实设备在同场景同一坐标系下的位置信息和姿态信息及预设安全距离进行多人安全预警。

6.根据权利要求5项所述的虚拟现实多人交互系统，其特征在于，所述多人交互控制平台包括：设备管理模块、数据通信模块、多人数据处理模块，其中，

所述设备管理模块，用于控制所述各个虚拟现实设备的初始化及多个虚拟现实设备的时间同步；

所述数据通信模块，用于分发设备控制指令、地图信息至各个虚拟现实设备及接收所述各个虚拟现实设备的位置、姿态及实时子地图信息；

所述多人数据处理模块，用于将所述各个虚拟现实设备的位置、姿态、及实时子地图信息进行位姿数据融合和地图融合，形成融合数据，并根据所述位姿融合数据及预设安全距离进行多人预警。

7.根据权利要求5所述的虚拟现实多人交互系统，其特征在于，所述多个虚拟现实设备均包括：手柄控制器、头戴显示设备及上位机，其中，

所述手柄控制器，用于获取用户输入的操作信息，以及获取所述手柄控制器的第一角速度及第一加速度信息，并将所述操作信息、所述第一角速度及加速度信息发送给所述头戴显示设备；

所述头戴显示设备，用于获取用户所处场景的实际场景图像，以及所述头戴显示设备的第二角速度及第二加速度信息，并将所述实际场景图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息发送给所述上位机；

所述上位机，用于接收所述实际场景图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息，通过即时定位与地图构建和预设目标识别算法，确定所述头戴显示设备和所述手柄控制器的位置信息、姿态信息及生成实时子地图信息，将所述位置信息、姿态信息及实时子地图信息反馈至所述多人交互控制平台，并根据所述位置信息、姿态信息及实时子地图信息构建虚拟现实场景，以及根据所述位置信息、姿态信息在所述虚拟现实场景中生成各所述虚拟现实设备的操作信息。

8.根据权利要求7所述的虚拟现实多人交互系统，其特征在于，所述手柄控制器包括：第一惯性传感器测量单元、按键单元、LED灯带单元及第一数据通信单元，其中，

所述第一惯性传感器测量单元，用于测量所述第一角速度及第一加速度信息；

所述按键单元，用于接收用户的按键操作，生成所述操作信息；

所述LED灯带单元，用于标记所述手柄控制器的身份信息及运动状态；

所述第一数据通信单元，用于发送所述第一角速度、第一加速度信息及操作信息至所述头戴显示设备。

9.根据权利要求8所述的虚拟现实多人交互系统，其特征在于，所述头戴显示设备包括：第二惯性传感器测量单元、图像采集单元、第二数据通信单元和头戴固定装置，

所述第二惯性传感器测量单元，用于测量所述第二角速度及第二加速度信息；

所述图像采集单元，用于采集所述用户所处场景的实际场景图像；

所述第二数据通信单元，用于将所述第二角速度、第二加速度信息、实际场景图像、所述操作信息、第一角速度及第一加速度信息发送给所述上位机；

所述头戴固定装置，用于将所述头戴显示设备固定于用户头部。

10.根据权利要求9所述的虚拟现实多人交互系统，其特征在于，上位机包括：第三数据通信单元、数据处理单元及虚拟现实场景生成单元，其中，

所述第三数据通信单元，用于接收所述头戴显示设备发送的所述现实及手柄图像、第二角速度、第二加速度信息、操作信息、第一角速度及第一加速度信息并发送给所述数据处理单元；

所述数据处理单元，用于通过即时定位与地图构建算法和预设目标识别算法，确定所述头戴显示设备和所述手柄控制器的位置信息、姿态及实时子地图信息，并将所述头戴显示设备和所述手柄控制器的位置、姿态信息进行融合，形成位姿融合数据；

所述虚拟现实场景生成单元，用于将所述位姿融合信息及实时子地图信息进行虚拟三维物体渲染及叠加，形成虚拟现实场景；

所述第三数据通信单元，还用于将所述头戴显示设备和所述手柄控制器的位置、姿态信息及实时子地图信息发送至所述多人交互控制平台，并将所述生成虚拟现实场景发送给各个头戴显示设备。

11.根据权利要求10所述的虚拟现实多人交互系统，其特征在于，所述头戴显示设备还包括：显示单元，用于显示所述虚拟现实场景。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-3中任一项所述的虚拟现实多人交互方法。

Images