CN114935975A - 虚拟现实的多用户交互方法、电子设备和可读存储介质 - Google Patents
虚拟现实的多用户交互方法、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN114935975A CN114935975A CN202210526662.7A CN202210526662A CN114935975A CN 114935975 A CN114935975 A CN 114935975A CN 202210526662 A CN202210526662 A CN 202210526662A CN 114935975 A CN114935975 A CN 114935975A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- data
- head
- pose
- inertial navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000003993 interaction Effects 0.000 title claims abstract description 70
- 230000000007 visual effect Effects 0.000 claims abstract description 48
- 230000006855 networking Effects 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 7
- 230000009133 cooperative interaction Effects 0.000 abstract description 41
- 238000004458 analytical method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 230000017525 heat dissipation Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 14
- 230000004927 fusion Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
Abstract
本申请公开了一种虚拟现实的多用户交互方法、电子设备及可读存储介质，所述虚拟现实的多用户交互方法包括：检测主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合第一摄像位姿数据和第一惯导位姿数据，确定主机用户的第一头部位姿信息；接收辅机头显发送的第二摄像位姿数据和第二惯导位姿数据，并融合第二摄像位姿数据和第二惯导位姿数据，确定辅机用户的第二头部位姿信息；显示第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，并将第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至辅机头显进行显示度。本申请降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
Description
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实的多用户交互方法、电子设备及可读存储介质。
背景技术
目前，在VR(Virtual Reality，虚拟现实)/AR(Augmented Reality，增强现实)/MR(Mixed Reality，混合现实)技术领域，VR设备、AR设备和MR设备等头显设备通常是一体式架构，由单一用户进行单机控制使用，在一些多人协同交互的应用场景中，例如，在家中进行多人协同交互的虚拟演唱会、在没有篮球场的情况下实现多人协同交互的虚拟篮球比赛，以及在没有射击比赛场所的情况下实现多人协同交互的虚拟射击比赛等，需要搭配与协同互动人数对应数量的相同或类似的VR/AR/MR设备进行数据共享，极大增加了硬件成本。
因此，如何降低多人协同交互的虚拟现实应用场景的硬件实现成本，成为了本领域技术人员亟待解决的技术问题。
发明内容
本申请的主要目的在于提供一种虚拟现实的多用户交互方法、电子设备及可读存储介质，旨在降低多人协同交互的虚拟现实应用场景的硬件实现成本。
为实现上述目的，本申请提供一种虚拟现实的多用户交互方法，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统中的主机头显，所述虚拟现实组网系统还包括所述主机头显通信连接的多个辅机头显，所述虚拟现实的多用户交互方法包括：
检测所述主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合所述第一摄像位姿数据和所述第一惯导位姿数据，确定主机用户的第一头部位姿信息；
接收所述辅机头显发送的第二摄像位姿数据和第二惯导位姿数据，并融合所述第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息；
显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，并将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示。
可选地，所述虚拟现实组网系统还包括所述主机头显配套的主机手柄，所述显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像的步骤包括：
对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息；
将所述第一手部位姿信息对应的手部虚拟道具，渲染至所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，得到渲染后的所述第一虚拟现实环境图像；
显示渲染后的所述第一虚拟现实环境图像。
可选地，所述对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息的步骤包括：
接收所述主机手柄发送的第三惯导位姿数据；
识别所述主机手柄投射的第一红外标识光点，根据所述第一红外标识光点的坐标位置，确定所述主机手柄的第三摄像位姿数据；
根据所述第三惯导位姿数据和所述第三摄像位姿数据，对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息。
可选地，所述虚拟现实组网系统还包括所述辅机头显配套的辅机手柄，所述将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示的步骤包括：
接收所述辅机头显发送的所述辅机手柄的第四摄像位姿数据和第四惯导位姿数据，其中，所述第四摄像位姿数据和所述第四惯导位姿数据为所述辅机手柄检测所得；
融合所述第四摄像位姿数据和所述第四惯导位姿数据，确定辅机用户的第二手部位姿信息；
将所述第二手部位姿信息对应的手部虚拟道具，渲染至所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像，得到渲染后的所述第二虚拟现实环境图像；
将渲染后的所述第二虚拟现实环境图像发送至所述辅机头显进行显示。
本申请还提供一种虚拟现实的多用户交互方法，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统中的辅机头显，所述虚拟现实组网系统还包括所述辅机头显通信连接的主机头显，所述虚拟现实的多用户交互方法包括：
确定所述辅机头显的第二摄像位姿数据，并检测所述辅机头显的第二惯导位姿数据；
将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
接收所述主机头显响应于所述第二摄像位姿数据和所述第二惯导位姿数据而返回的第二虚拟现实环境图像，并显示所述第二虚拟现实环境图像。
可选地，所述虚拟现实组网系统还包括所述辅机头显配套的辅机手柄，所述将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显的步骤包括：
接收所述辅机手柄发送的第四摄像位姿数据和第四惯导位姿数据，其中，所述第四摄像位姿数据和所述第四惯导位姿数据为所述辅机手柄检测所得；
将所述第四摄像位姿数据、所述第四惯导位姿数据、所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
所述接收所述主机头显响应于所述第二摄像位姿数据和所述第二惯导位姿数据而返回的第二虚拟现实环境图像，并显示所述第二虚拟现实环境图像的步骤包括：
接收所述主机头显响应于所述第四摄像位姿数据、所述第四惯导位姿数据、所述第二摄像位姿数据和所述第二惯导位姿数据，而返回的渲染后的所述第二虚拟现实环境图像；
显示渲染后的所述第二虚拟现实环境图像。
可选地，所述确定所述辅机头显的第二摄像位姿数据的步骤包括：
接收所述辅机手柄识别的第二红外标识光点的坐标位置，并根据所述第二红外标识光点的坐标位置，确定所述辅机头显的第二摄像位姿数据，其中，所述第二红外标识光点为所述辅机头显投射的红外标识光点。
本申请还提供一种虚拟现实的多用户交互方法，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统，所述虚拟现实组网系统包括通信连接的主机头显和多个辅机头显，所述虚拟现实的多用户交互方法包括：
所述主机头显检测所述主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合所述第一摄像位姿数据和所述第一惯导位姿数据，确定主机用户的第一头部位姿信息，显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像；
所述辅机头显确定所述辅机头显的第二摄像位姿数据，并检测所述辅机头显的第二惯导位姿数据，将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
所述主机头显接收所述辅机头显发送的所述第二摄像位姿数据和所述第二惯导位姿数据，并融合所述第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息，将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显；
所述辅机头显接收所述第二虚拟现实环境图像并进行显示。
本申请还提供一种电子设备，一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟现实的多用户交互程序，所述虚拟现实的多用户交互程序被所述处理器执行时实现如上所述的虚拟现实的多用户交互方法的步骤。
本申请还提供一种可读存储介质，所述可读存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有虚拟现实的多用户交互程序，所述虚拟现实的多用户交互程序被处理器执行时实现如上所述的虚拟现实的多用户交互方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的虚拟现实的多用户交互方法的步骤。
本申请通过将检测主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合第一摄像位姿数据和第一惯导位姿数据，确定主机用户的第一头部位姿信息，并通过接收辅机头显发送的第二摄像位姿数据和第二惯导位姿数据，然后融合第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息，在显示第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，并将第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示，从而使得通过主机头显将第二摄像位姿数据和所述第二惯导位姿数据进行融合分析，得到该第二头部位姿信息，即第二头部位姿信息的运算过程是放在主机头显这一端进行，而辅机头显仅通过采集第二摄像位姿数据和第二惯导位姿数据，辅机用户的头部位姿信息的具体分析运算是放在主机头显这一端进行，从而无需将第二头部位姿信息的具体分析运算过程放在辅机头显端，降低了对辅机头显的芯片运算能力和头盔散热能力的需求，进而使得除佩戴主机头显以外的其他用户，无需配置与该主机头显相同硬件档次的头显设备，可通过仅配置芯片等级更低和散热设计更简单的辅机头显设备，便可实现多人协同交互的虚拟现实应用场景，相比于现有技术中需要搭配与协同互动人数对应数量的较高硬件档次的VR/AR/MR设备进行数据共享，从而降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请虚拟现实的多用户交互方法第一实施例的流程示意图；
图2为本申请实施例中虚拟现实组网系统的交互场景示意图；
图3为本申请实施例中部分虚拟现实组网系统的交互场景示意图；
图4为本申请虚拟现实的多用户交互方法第二实施例的流程示意图；
图5为本申请实施例中电子设备涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
目前，在一些多人协同交互的应用场景中，例如，在家中进行多人协同交互的虚拟演唱会、在没有篮球场的情况下实现多人协同交互的虚拟篮球比赛，以及在没有射击比赛场所的情况下实现多人协同交互的虚拟射击比赛等，需要搭配与协同互动人数对应数量的相同或类似的VR/AR/MR设备进行数据共享，极大增加了硬件成本。
基于此，请参照图1，本实施例提供一种虚拟现实的多用户交互方法，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统中的主机头显，所述虚拟现实组网系统还包括所述主机头显通信连接的多个辅机头显，所述虚拟现实的多用户交互方法包括：
步骤S10，检测所述主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合所述第一摄像位姿数据和所述第一惯导位姿数据，确定主机用户的第一头部位姿信息；
在本实施例中，本申请的主机头显和辅机头显可以是例如混合现实(MixedReality)—MR设备、增强现实(Augmented Reality)—AR设备、虚拟现实-(VirtualReality)—VR设备、扩展现实(Extended Reality)—XR设备等头显设备。
在本实施例中，需要说明的是，该虚拟现实的多用户交互方法应用于同一区域的空间环境内，即在虚拟现实环境中实现多人协同交互的多个用户应该均处于同一区域的空间环境中，例如这些用户均在同一个房间内或者同一个广场进行AR/MR/XR环境内容的多人协同交互。示例性地，在同一个房间内进行多人协同交互的虚拟演唱会、在同一个广场上进行多人协同交互的虚拟篮球比赛或者虚拟射击比赛等同区域内的联机互动。
在本实施例中，容易理解的是，主机用户是指佩戴主机头显的用户，辅机用户是指佩戴辅机头显的用户。
在本实施例中，该主机头显包括IMU(Inertial measurement unit，惯性测量单元)传感器和摄像头，可通过主机头显上的IMU传感器来检测主机头显的第一惯导位姿数据，可通过主机头显上的摄像头检测主机头显的第一摄像位姿数据。本领域技术人员可知的是，该IMU传感器包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，可通过该IMU传感器检测主机头显的转动自由度和移动自由度(例如偏航角、俯仰角和翻滚角)，并根据该转动自由度和移动自由度确定主机头显的6DOF(degree of freedom，自由度)自由度，从而获得该主机头显的第一惯导位姿数据。另外，本领域技术人员容易理解的是，可通过主机头显上的摄像头当前所在环境的图像，基于预设的SLAM(simultaneouslocalization and mapping，即时定位与地图构建)技术，对拍摄的图像进行处理，研究帧与帧之间变换关系，完成实时的位姿跟踪，计算位姿变化，得到该主机头显的第一摄像位姿数据。然后可通过基于预设的VIO(Visual Inertial Odometry，视觉惯性里程计)算法，融合第一摄像位姿数据和所述第一惯导位姿数据，确定主机用户的第一头部位姿信息，实现对用户的头部的6DoF定位追踪。其中，该SLAM技术和VIO算法，本领域技术人员已有一定深入的研究，在此不再赘述。例如该现在主流的视觉SLAM技术包括基于特征法的SLAM和基于直接法的SLAM。例如该VIO算法可分为前端和后端，前端完成数据关联，后端主要对前端的输出结果进行优化，利用滤波理论或者优化理论进行树或图的优化，得到最优的位姿估计和地图，进行实时的位姿定位与地图构建，从而在虚拟现实内容上产生更加沉浸和逼真的体验。
步骤S20，接收所述辅机头显发送的第二摄像位姿数据和第二惯导位姿数据，并融合所述第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息；
在本实施例中，对应的，辅机头显也可包括IMU传感器和摄像头，可通过设于辅机头显上的IMU传感器，来检测辅机头显的第二惯导位姿数据，可通过设于辅机头显上的摄像头，来检测辅机头显的第二摄像位姿数据。
步骤S30，显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，并将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示。
在本实施例中，容易理解的是，用户佩戴头显设备在混合现实、增强显示或扩展现实等虚拟现实环境中进行体验时，可通过改变头部的位姿(例如头部在空间上的旋转和移动，来查看不同视觉范围或者视觉角度的虚拟现实环境图像，即当用户改变头部的位姿时，头显设备显示的虚拟现实环境图像也往往需要进行实时的内容更新，不断更新为用户的当前头部位姿对应视觉范围的虚拟现实环境图像，实现实时的位姿定位与虚拟现实环境构建，从而在虚拟现实内容上产生更加沉浸和逼真的体验。
在本实施例中，需要说明的是，第一虚拟现实环境和第二虚拟现实环境均属于同一个预先构建的虚拟地图上，并可将拍摄的现实环境图像叠加至该虚拟地图上。或者说将预先构建的虚拟地图或者特效内容，渲染至现实环境图像上，从而得到AR、MR或XR现实等虚拟现实环境。容易理解的，由于第一虚拟现实环境和第二虚拟现实环境均属于同一个预先构建的虚拟地图上，只是进行协同交互的不同用户的头部位姿(头部的位置和角度)不同，因此即使在同一个虚拟地图上，不同用户所观察到的环境内容也往往不同。另外，由于协同交互的多个用户处于同一区域的空间环境，因此，拍摄的现实环境图像也属于同一个地图(即现实世界的现实地图也相同)，即虚拟地图和现实地图均相同，从而使得多个用户能更好地在虚拟现实环境中进行协同交互。另外，本实施例的虚拟现实环境图像还可以只有预先构建的虚拟地图的环境图像，而并不将拍摄的现实环境图像叠加至该虚拟地图的环境图像上，即本实施例的多人协同交互的虚拟现实环境为VR环境。
本实施例通过将检测主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合第一摄像位姿数据和第一惯导位姿数据，确定主机用户的第一头部位姿信息，并通过接收辅机头显发送的第二摄像位姿数据和第二惯导位姿数据，然后融合第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息，在显示第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，并将第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示，从而使得通过主机头显将第二摄像位姿数据和所述第二惯导位姿数据进行融合分析，得到该第二头部位姿信息，即第二头部位姿信息的运算过程是放在主机头显这一端进行，而辅机头显仅通过采集第二摄像位姿数据和第二惯导位姿数据，辅机用户的头部位姿信息的具体分析运算是放在主机头显这一端进行，从而无需将第二头部位姿信息的具体分析运算过程放在辅机头显端，降低了对辅机头显的芯片运算能力和头盔散热能力的需求，进而使得除佩戴主机头显以外的其他用户，无需配置与该主机头显相同硬件档次的头显设备，可通过仅配置芯片等级更低和散热设计更简单的辅机头显设备，便可实现多人协同交互的虚拟现实应用场景，相比于现有技术中需要搭配与协同互动人数对应数量的较高硬件档次的VR/AR/MR设备进行数据共享，从而降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
在一种可实施的方式中，所述虚拟现实组网系统还包括所述主机头显配套的主机手柄，所述显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像的步骤包括：
步骤A10，对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息；
在一种可能的实施方式中，可通过在主机手柄上设置摄像头和IMU传感器，基于主机手柄上的IMU传感器，来检测主机手柄的惯导位姿数据，基于主机手柄上的摄像头，来检测主机手柄的摄像位姿数据，然后主机手柄通过将自身的惯导位姿数据和摄像位姿数据发送至主机头显，由主机头显对主机手柄的惯导位姿数据和摄像位姿数据进行融合分析，计算得到主机用户的第一手部位姿信息。
在另一种可能的实施方式中，所述步骤A10，对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息的步骤包括：
步骤B10，接收所述主机手柄发送的第三惯导位姿数据；
步骤B20，识别所述主机手柄投射的第一红外标识光点，根据所述第一红外标识光点的坐标位置，确定所述主机手柄的第三摄像位姿数据；
步骤B30，根据所述第三惯导位姿数据和所述第三摄像位姿数据，对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息。
在本实施例中，该主机手柄设有IMU传感器和红外发射器，通过设于主机手柄上的IMU传感器来检测主机手柄的第三惯导位姿数据，并通过主机头显上的摄像头，识别和捕捉当前环境图像中该红外发射器投射的第一红外标识光点，从而可基于该第一红外标识光点和当前环境图像，标定该第一红外标识光点在当前环境图像中的坐标位置，获得主机手柄的第三摄像位姿数据，并将该第三惯导位姿数据和第三摄像位姿数据发送至主机头显，然后，主机头显对第三惯导位姿数据和第三摄像位姿数据进行融合分析，计算得到主机用户的第一手部位姿信息。
在本实施例中，可知的是，设于主机头显上的摄像头不仅要实现自身的视觉定位，还要实现与主机头显配套的主机手柄的视觉定位。
本实施例通过主机头显识别主机手柄投射的第一红外标识光点，根据第一红外标识光点的坐标位置，确定该主机手柄的摄像位姿数据，相比于上述主机手柄上的摄像头，来检测主机手柄的摄像位姿数据，本实施例的主机手柄无需再额外设置摄像头，因此降低了主机手柄采集摄像位姿数据的运行负载，从而降低了主机手柄的硬件成本，进一步降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
步骤A20，将所述第一手部位姿信息对应的手部虚拟道具，渲染至所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，得到渲染后的所述第一虚拟现实环境图像；
在本实施例中，该手部虚拟道具需要根据多人协同交互的具体虚拟现实应用场景而定，本实施例不作具体的限定。例如，当虚拟现实应用场景为多人协同交互的虚拟演唱会时，该手部虚拟道具可为话筒。当虚拟现实应用场景为多人协同交互的虚拟篮球比赛时，该手部虚拟道具可为篮球。当虚拟现实应用场景为多人协同交互的虚拟射击比赛时，该手部虚拟道具可为射击武器。
步骤A30，显示渲染后的所述第一虚拟现实环境图像。
本实施例通过对主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息，并将第一手部位姿信息对应的手部虚拟道具，渲染至第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，得到渲染后的第一虚拟现实环境图像，从而使得用户能随着手部的活动，将手部虚拟道具渲染至第一虚拟现实环境图像中，并依据时序性播放的多帧的第一虚拟现实环境图像，展示出手部虚拟道具的运动轨迹，其中，该手部虚拟道具的运动轨迹与用户手部实际的活动轨迹对应，进而使用户在多人交互的虚拟现实内容上产生更加沉浸和逼真的体验，提高了虚拟现实的多用户交互方法的鲁棒性。另外，本实施例通过将主机手柄的位姿信息融合计算放在主机头显执行，即主机头显通过第三惯导位姿数据和所述第三摄像位姿数据，对主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息，从而无需将第一手部位姿信息的具体分析运算过程放在主机手柄端，降低了对主机手柄端的芯片运算能力和头盔散热能力的需求，进一步降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
为了助于理解本申请的技术构思或工作原理，列举一具体实施例：
如图2所示，主机用户使用主机头显作为虚拟现实组网系统的组网核心单元，并且加载虚拟地图模型，并依据该虚拟地图模型，使用多点广播方式下发辅机用户的头部位姿信息和手部位姿信息对应的音视频流数据。主机头显设备使用inside-out定位方法，通过主机头显上的摄像头和IMU传感器采集数据并进行融合分析，得到用户的头部坐标位置，并基于矩阵转换方式将主机坐标系下的头部坐标位置，转换为世界坐标系下的头部坐标位置，得到世界坐标系下的6DOF坐标。其中，该主机坐标系是指主机头显的本体坐标系，世界坐标系是指协同交互的多个用户所处的同一区域环境下的空间坐标系。
在该具体实施例中，主机头显设备需要和主机手柄进行配对连接，且能够实现对主机手柄的追踪和定位。另外，辅机用户需要将辅机头显与主机头显进行配对连接，实现虚拟现实组网系统的组建，例如可采用蓝牙、2.4G私有协议、WIFI(Wireless-Fidelity，无线保真)协议和UWB(Ultra Wideband，无载波通信技术)等多种配对技术实现配对。其中，该主机手柄和辅机手柄均为两个，即用户(保护主机用户和辅机用户)的左右手分别绑定一个手柄，并且左右手的两个手柄，可将其中之一手柄作为数据处理中枢，负责位姿数据的采集和传输，这样使得当其中之一手柄处于较差信号的网络环境时，左右手柄可以自主切换其中一支信号较好的手柄做为数据处理中枢，避免断联的情况。
另外，主机手柄或辅机手柄可包含摄像头、IMU传感器、通信单元和电源单元等硬件单元，其中，通信单元可采用有线方式(Type-C等接口)进行通信，也可采用无线射频方式(wifi、蓝牙、2.4G或UWB等协议)进行通信，实现音视频流等数据的上下行传输。辅机头显设备通过IMU传感器采集自身的惯导位姿信息，并可使用红外发射单元作为定位追踪信号，辅机手柄的摄像头可提取到该红外发射单元投射的红外光点位置信息，主机头显可通过获取该红外光点位置信息和辅机头显设备的惯导位姿信息，并进行融合分析，测算出辅机头显的位置变化，即辅机用户的头部位姿信息。主机头显并将头部位姿信息映射至虚拟地图模型中，得到辅机用户对应视角范围的虚拟现实环境图像和音频，基于时序性的辅机用户的头部位姿变化信息，得到辅机用户对应视角范围的音视频数据流，并将该音视频数据流下发到各辅机头显设备。
在该具体实施例中，主机用户启动主机头显的初始化程序，主机头显通过摄像头进行世界坐标校准，假设某物体在世界坐标系中的绝对坐标位置是Pw，主机头显上的摄像头提取到该物体在主机坐标系下的位置坐标是Pm，通过内外参计算出变换矩阵T，然后依据变换矩阵T参数，通过矩阵转换方式将主机坐标系下的头部坐标位置转化为世界坐标系下的头部坐标位置，从而实现对主机用户的头部位姿信息的测算。同时，主机头显匹配的主机手柄在主机坐标系下，通过矩阵转换方式也可将主机坐标系下的手部坐标位置转化为世界坐标系下的手部坐标位置。辅机头显和辅机手柄基于同样的矩阵转换原理，实现从辅机坐标系至世界坐标系的转化，在此不再赘述。由于主机头显和辅机头显在同一个世界坐标系下，并且是根据同一区域的设定场地(即同一现实场景)构建的虚拟地图模型，从而可在AR、MR或者XR等虚拟现实领域中，根据现实场景构建虚拟地图模型，并将多个用户的位姿数据映射至该虚拟地图模型中，也就是说，将多个用户的运动状态，包括姿态数据和位置数据映射到相同的虚拟现实环境中，实现了将多个用户在现实世界的运动状态信息映射到相同的虚拟现实环境中，与真实世界的坐标完全重合，增强了虚拟现实环境中进行多人协同交互的沉浸感。
需要说明的是，上述具体实施例仅用于帮助理解本申请的技术构思或工作原理，并不构成对本申请头显设备的硬件结构的限定。基于本申请的技术构思进行更多形式的简单变换，均在本申请的保护范围内。
在一种可实施的方式中，所述虚拟现实组网系统还包括所述辅机头显配套的辅机手柄，所述将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示的步骤包括：
步骤C10，接收所述辅机头显发送的所述辅机手柄的第四摄像位姿数据和第四惯导位姿数据，其中，所述第四摄像位姿数据和所述第四惯导位姿数据为所述辅机手柄检测所得；
作为一种示例，该辅机手柄包括IMU传感器和摄像头，可通过辅机手柄上的IMU传感器来检测辅机头显的第四惯导位姿数据，可通过辅机手柄上的摄像头来检测辅机手柄的第四摄像位姿数据。本领域技术人员可知的是，该IMU传感器包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，可通过该IMU传感器检测辅机手柄的转动自由度和移动自由度(例如偏航角、俯仰角和翻滚角)，并根据该转动自由度和移动自由度确定辅机手柄的6DOF(degree of freedom，自由度)自由度，获得该辅机手柄的第四惯导位姿数据。然后，辅机手柄将该第四摄像位姿数据和第四惯导位姿数据发送至辅机头显，并通过辅机头显发送至主机头显。
步骤C20，融合所述第四摄像位姿数据和所述第四惯导位姿数据，确定辅机用户的第二手部位姿信息；
步骤C30，将所述第二手部位姿信息对应的手部虚拟道具，渲染至所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像，得到渲染后的所述第二虚拟现实环境图像；
步骤C40，将渲染后的所述第二虚拟现实环境图像发送至所述辅机头显进行显示。
本实施例通过将接收辅机头显发送的辅机手柄的第四摄像位姿数据和第四惯导位姿数据，并融合第四摄像位姿数据和第四惯导位姿数据，确定辅机用户的第二手部位姿信息，然后将第二手部位姿信息对应的手部虚拟道具，渲染至第二头部位姿信息对应视觉范围的第二虚拟现实环境图像，得到渲染后的第二虚拟现实环境图像，渲染后的第二虚拟现实环境图像发送至辅机头显进行显示，从而使得辅机用户能随着手部的活动，将手部虚拟道具渲染至第二虚拟现实环境图像中，并依据时序性播放的多帧的第二虚拟现实环境图像，展示出手部虚拟道具的运动轨迹，其中，该手部虚拟道具的运动轨迹与用户手部实际的活动轨迹对应，进而使用户在多人交互的虚拟现实环境中产生更加沉浸和逼真的体验，提高了虚拟现实的多用户交互方法的鲁棒性。
值得一提的是，本实施例通过主机头显来完成对第四摄像位姿数据和第四惯导位姿数据的融合计算，得到辅机用户的第二手部位姿信息，即第二手部位姿信息的运算过程是放在主机头显这一端进行，而辅机头显仅对该第四摄像位姿数据和第四惯导位姿数据进行采集或者转发，辅机用户的第二手部位姿信息的具体分析运算是放在主机头显这一端，从而无需将第二手部位姿信息的具体分析运算过程放在辅机头显端，降低了对辅机头显的芯片运算能力和头盔散热能力的需求，通过配备芯片等级更低和散热设计更简单的辅机头显设备，便可实现多人协同交互的虚拟现实应用场景，进一步降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
实施例二
请参照图4，本实施例还提供一种虚拟现实的多用户交互方法，在本申请另一实施例中，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统中的辅机头显，所述虚拟现实组网系统还包括所述辅机头显通信连接的主机头显，所述虚拟现实的多用户交互方法包括：
步骤S40，确定所述辅机头显的第二摄像位姿数据，并检测所述辅机头显的第二惯导位姿数据；
在本实施例中，需要说明的是，该虚拟现实的多用户交互方法应用于同一区域的空间环境内，即在虚拟现实环境中实现多人协同交互的多个用户应该处于同一区域的空间环境中，例如这些用户均在同一个房间内或者同一个广场进行AR/MR/XR环境内容的多人协同交互。示例性地，在家中进行多人协同交互的虚拟演唱会、在广场上实现多人协同交互的虚拟篮球比赛或者虚拟射击比赛等。
在本实施例中，辅机头显也可包括IMU传感器，可通过辅机头显上的IMU传感器，来检测辅机头显的第二惯导位姿数据。本领域技术人员可知的是，该IMU传感器包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，可通过该IMU传感器检测主机头显的转动自由度和移动自由度(例如偏航角、俯仰角和翻滚角)，并根据该转动自由度和移动自由度确定主机头显的6DOF(degree of freedom，自由度)自由度，获得该辅机头显的第二惯导位姿数据。
在一种可能的实施方式中，辅机头显还可包括摄像头，可通过辅机头显上的摄像头，直接检测辅机头显的第二摄像位姿数据。在另一种可能的实施方式中，在多人协同交互的设定区域空间中布置摄像头，可通过设定区域空间中布置的摄像头，来检测辅机头显的第二摄像位姿数据。本领域技术人员容易理解的是，可通过布置于主机头显或者该区域空间环境的摄像头，来拍摄主机头显所在空间的图像，然后基于预设的SLAM(simultaneouslocalization and mapping，即时定位与地图构建)技术，对拍摄的图像进行处理，研究帧与帧之间变换关系，完成实时的位姿跟踪，计算位姿变化，得到该主机头显的第二摄像位姿数据。
步骤S50，将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
步骤S60，接收所述主机头显响应于所述第二摄像位姿数据和所述第二惯导位姿数据而返回的第二虚拟现实环境图像，并显示所述第二虚拟现实环境图像。
在本实施例中，主机头显接收该第二摄像位姿数据和第二惯导位姿数据后，并对第二摄像位姿数据和第二惯导位姿数据进行融合分析，计算得到辅机用户的第二头部位姿信息，然后将第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示。
本实施例通过确定辅机头显的第二摄像位姿数据，并检测辅机头显的第二惯导位姿数据，将第二摄像位姿数据和第二惯导位姿数据发送至主机头显，然后接收主机头显响应于第二摄像位姿数据和第二惯导位姿数据而返回的第二虚拟现实环境图像，再显示第二虚拟现实环境图像，从而使得主机头显将第二摄像位姿数据和所述第二惯导位姿数据进行融合分析，得到该第二头部位姿信息，即第二头部位姿信息的运算过程是放在主机头显这一端进行，而辅机头显仅通过采集第二摄像位姿数据和第二惯导位姿数据，由主机头显对辅机头显发送过来的第二摄像位姿数据和第二惯导位姿数据进行融合，计算得到辅机用户的第二头部位姿信息，从而无需将第二头部位姿信息的具体分析运算过程放在辅机头显端，降低了对辅机头显的芯片运算能力和头盔散热能力的需求，进而使得除佩戴主机头显以外的其他用户，无需配置与该主机头显相同硬件档次的头显设备，通过配备芯片等级更低和散热设计更简单的辅机头显设备，便可实现多人协同交互的虚拟现实应用场景，相比于现有技术中需要搭配与协同互动人数对应数量的较高硬件档次的VR/AR/MR设备进行数据共享，本实施例降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
在一种可实施的方式中，所述虚拟现实组网系统还包括所述辅机头显配套的辅机手柄，所述将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显的步骤包括：
步骤D10，接收所述辅机手柄发送的第四摄像位姿数据和第四惯导位姿数据，其中，所述第四摄像位姿数据和所述第四惯导位姿数据为所述辅机手柄检测所得；
作为一种示例，该辅机手柄包括IMU(Inertial measurement unit，惯性测量单元)传感器和摄像头，可通过辅机手柄上的IMU传感器，来检测辅机头显的第四惯导位姿数据，可通过辅机手柄上的摄像头，来检测辅机手柄的第四摄像位姿数据。本领域技术人员可知的是，该IMU传感器包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，可通过该IMU传感器检测辅机手柄的转动自由度和移动自由度(例如偏航角、俯仰角和翻滚角)，并根据该转动自由度和移动自由度确定辅机手柄的6DOF(degree of freedom，自由度)自由度，获得该辅机手柄的第四惯导位姿数据。然后，辅机手柄将该第四摄像位姿数据和第四惯导位姿数据发送至与其配套的辅机头显，并通过辅机头显发送至主机头显。
步骤D20，将所述第四摄像位姿数据、所述第四惯导位姿数据、所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
所述接收所述主机头显响应于所述第二摄像位姿数据和所述第二惯导位姿数据而返回的第二虚拟现实环境图像，并显示所述第二虚拟现实环境图像的步骤包括：
步骤D30，接收所述主机头显响应于所述第四摄像位姿数据、所述第四惯导位姿数据、所述第二摄像位姿数据和所述第二惯导位姿数据，而返回的渲染后的所述第二虚拟现实环境图像；
步骤D40，显示渲染后的所述第二虚拟现实环境图像。
本实施例通过接收辅机手柄发送的第四摄像位姿数据和第四惯导位姿数据，并将第四摄像位姿数据、第四惯导位姿数据、第二摄像位姿数据和第二惯导位姿数据发送至所述主机头显，然后接收该主机头显响应于第四摄像位姿数据、第四惯导位姿数据、第二摄像位姿数据和第二惯导位姿数据，而返回的渲染后的所述第二虚拟现实环境图像，再显示渲染后的所述第二虚拟现实环境图像，从而使得辅机用户能随着手部的活动，将手部虚拟道具渲染至第二虚拟现实环境图像中，并依据时序性播放的多帧的第二虚拟现实环境图像，展示出手部虚拟道具的运动轨迹，其中，该手部虚拟道具的运动轨迹与用户手部实际的活动轨迹对应，使得用户在多人交互的虚拟现实内容上，产生更加沉浸和逼真的体验，进而提高了虚拟现实的多用户交互方法的鲁棒性。
值得一提的是，本实施例通过主机头显来完成对第四摄像位姿数据和第四惯导位姿数据的融合分析，计算得到辅机用户的第二手部位姿信息，即第二手部位姿信息的运算过程是放在主机头显这一端进行，而辅机头显仅对该第四摄像位姿数据和第四惯导位姿数据进行数据采集或转发，辅机用户的第二手部位姿信息的具体分析运算是放在主机头显这一端，从而无需将第二手部位姿信息的具体分析运算过程放在辅机头显端，降低了对辅机头显的芯片运算能力和头盔散热能力的需求，通过配备芯片等级更低和散热设计更简单的辅机头显设备，便可实现多人协同交互的虚拟现实应用场景，进一步降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
在一种可能的实施方式中，所述确定所述辅机头显的第二摄像位姿数据的步骤包括：
步骤E10，接收所述辅机手柄识别的第二红外标识光点的坐标位置，并根据所述第二红外标识光点的坐标位置，确定所述辅机头显的第二摄像位姿数据，其中，所述第二红外标识光点为所述辅机头显投射的红外标识光点。
作为一种示例，如图3所示，该辅机头显设有第一IMU单元、第一通信单元和红外发射单元，该辅机手柄包括第二IMU单元、第二摄像头单元和第二通信单元。通过设于辅机头显上的第一IMU单元，来检测主机手柄的第二惯导位姿数据，并通过辅机手柄上的第二摄像头单元，来识别和捕捉当前环境图像中辅机头显的红外发射单元投射的第二红外标识光点，从而可基于该第二红外标识光点和当前环境图像，标定该第二红外标识光点在当前环境图像中的坐标位置，获得辅机头显的第二摄像位姿数据。然后辅机手柄通过第二通信单元将该第二摄像位姿数据发送至辅机头显的第一通信单元，后续由该第一通信单元将该第二摄像位姿数据和第二惯导位姿数据发送至主机头显。另外，可通过辅机手柄上的第二IMU单元来检测辅机头显的第四惯导位姿数据，还可通过辅机手柄上的第二摄像头单元检测辅机手柄的第四摄像位姿数据。然后，辅机手柄通过第二通信单元将该第四摄像位姿数据和第四惯导位姿数据发送至辅机头显的第一通信单元，并通过该第一通信单元发送至主机头显。也就是说，设于辅机手柄上的第二摄像单元不仅要实现自身的视觉定位，还要实现与辅机手柄配套的辅机头显的视觉定位。
由于手柄相对于头显设备的结构设计形状更散列，热量更容易散失，因此手柄通常不存在散热需求，而头显设备需要佩戴至用户头部，未散失的热量会积聚在头盔内，然后贴敷至用户头部而带来极大不舒适感。因此本实施例通过接收辅机手柄识别的第二红外标识光点的坐标位置，并根据第二红外标识光点的坐标位置，确定辅机头显的第二摄像位姿数据，其中，第二红外标识光点为辅机头显投射的红外标识光点，相比于上述通过辅机头显上的摄像头，来检测辅机头显的摄像位姿数据，本实施例的辅机头显无需再额外设置摄像头，降低了辅机头显采集摄像位姿数据的运行负载，进而降低了辅机头显对于头盔散热能力的需求，通过配备无摄像头且散热设计更简单的辅机头显设备，便可实现多人协同交互的虚拟现实应用场景，进一步降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
实施例三
本实施例还提供一种虚拟现实的多用户交互方法，在本申请另一实施例中，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统，所述虚拟现实组网系统包括通信连接的主机头显和多个辅机头显，所述虚拟现实的多用户交互方法包括：
步骤F10，所述主机头显检测所述主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合所述第一摄像位姿数据和所述第一惯导位姿数据，确定主机用户的第一头部位姿信息，显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像；
步骤F20，所述辅机头显确定所述辅机头显的第二摄像位姿数据，并检测所述辅机头显的第二惯导位姿数据，将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
步骤F30，所述主机头显接收所述辅机头显发送的所述第二摄像位姿数据和所述第二惯导位姿数据，并融合所述第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息，将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显；
步骤F40，所述辅机头显接收所述第二虚拟现实环境图像并进行显示。
本实施例通过机头显检测主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合第一摄像位姿数据和第一惯导位姿数据，确定主机用户的第一头部位姿信息，显示第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，并通过辅机头显确定辅机头显的第二摄像位姿数据，并检测辅机头显的第二惯导位姿数据，将第二摄像位姿数据和第二惯导位姿数据发送至主机头显，然后通过主机头显接收辅机头显发送的第二摄像位姿数据和第二惯导位姿数据，并融合第二摄像位姿数据和第二惯导位姿数据，确定辅机用户的第二头部位姿信息，将第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至辅机头显，再通过辅机头显接收第二虚拟现实环境图像并进行显示，从而使得第二头部位姿信息的运算过程是放在主机头显这一端进行，而辅机头显仅通过采集第二摄像位姿数据和第二惯导位姿数据，而由于辅机用户的第二头部位姿信息的具体分析运算是放在主机头显这一端进行，从而无需将第二头部位姿信息的具体分析运算过程放在辅机头显端，降低了对辅机头显的芯片运算能力和头盔散热能力的需求，进而使得除佩戴主机头显以外的其他用户，无需配置与该主机头显相同硬件档次的头显设备，通过配备芯片等级更低和散热设计更简单的辅机头显设备，便可实现多人协同交互的虚拟现实应用场景，相比于现有技术中需要搭配与协同互动人数对应数量的较高硬件档次的VR/AR/MR设备进行数据共享，本实施例降低了多人协同交互的虚拟现实应用场景的硬件实现成本。
实施例四
本发明实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的虚拟现实的多用户交互方法。
下面参考图5，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于混合现实(Mixed Reality)—MR设备、增强现实(Augmented Reality)—AR设备、虚拟现实-(VirtualReality)—VR设备、扩展现实(Extended Reality)—XR设备或其某种组合等等头显设备。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
通常，以下系统可以连接至I/O接口：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。
本发明提供的电子设备，采用上述实施例一或实施例二中的虚拟现实的多用户交互方法，降低了多人协同交互的虚拟现实应用场景的硬件实现成本。与现有技术相比，本发明实施例提供的电子设备的有益效果与上述实施例一提供的虚拟现实的多用户交互方法的有益效果相同，且该电子设备中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
实施例五
本发明实施例提供一种可读存储介质，所述可读存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有虚拟现实的多用户交互程序，所述虚拟现实的多用户交互程序被处理器执行时实现如上述实施例的虚拟现实的多用户交互方法的步骤。
本发明实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：检测主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合所述第一摄像位姿数据和所述第一惯导位姿数据，确定主机用户的第一头部位姿信息；接收辅机头显发送的第二摄像位姿数据和第二惯导位姿数据，并融合所述第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息；显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，并将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
本发明提供的计算机可读存储介质，存储有用于执行上述虚拟现实的多用户交互方法的计算机可读程序指令，降低了多人协同交互的虚拟现实应用场景的硬件实现成本。与现有技术相比，本发明实施例提供的计算机可读存储介质的有益效果与上述实施例一或实施例二提供的虚拟现实的多用户交互方法的有益效果相同，在此不做赘述。
实施例六
本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的虚拟现实的多用户交互方法的步骤。
本申请提供的计算机程序产品降低了多人协同交互的虚拟现实应用场景的硬件实现成本。与现有技术相比，本发明实施例提供的计算机程序产品的有益效果与上述实施例一或实施例二提供的虚拟现实的多用户交互方法的有益效果相同，在此不做赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。
Claims (10)
1.一种虚拟现实的多用户交互方法，其特征在于，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统中的主机头显，所述虚拟现实组网系统还包括所述主机头显通信连接的多个辅机头显，所述虚拟现实的多用户交互方法包括：
检测所述主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合所述第一摄像位姿数据和所述第一惯导位姿数据，确定主机用户的第一头部位姿信息；
接收所述辅机头显发送的第二摄像位姿数据和第二惯导位姿数据，并融合所述第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息；
显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，并将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示。
2.如权利要求1所述的虚拟现实的多用户交互方法，其特征在于，所述虚拟现实组网系统还包括所述主机头显配套的主机手柄，所述显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像的步骤包括：
对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息；
将所述第一手部位姿信息对应的手部虚拟道具，渲染至所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像，得到渲染后的所述第一虚拟现实环境图像；
显示渲染后的所述第一虚拟现实环境图像。
3.如权利要求2所述的虚拟现实的多用户交互方法，其特征在于，所述对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息的步骤包括：
接收所述主机手柄发送的第三惯导位姿数据；
识别所述主机手柄投射的第一红外标识光点，根据所述第一红外标识光点的坐标位置，确定所述主机手柄的第三摄像位姿数据；
根据所述第三惯导位姿数据和所述第三摄像位姿数据，对所述主机手柄的位姿信息进行追踪定位，得到主机用户的第一手部位姿信息。
4.如权利要求1所述的虚拟现实的多用户交互方法，其特征在于，所述虚拟现实组网系统还包括所述辅机头显配套的辅机手柄，所述将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显进行显示的步骤包括：
接收所述辅机头显发送的所述辅机手柄的第四摄像位姿数据和第四惯导位姿数据，其中，所述第四摄像位姿数据和所述第四惯导位姿数据为所述辅机手柄检测所得；
融合所述第四摄像位姿数据和所述第四惯导位姿数据，确定辅机用户的第二手部位姿信息；
将所述第二手部位姿信息对应的手部虚拟道具，渲染至所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像，得到渲染后的所述第二虚拟现实环境图像；
将渲染后的所述第二虚拟现实环境图像发送至所述辅机头显进行显示。
5.一种虚拟现实的多用户交互方法，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统中的辅机头显，所述虚拟现实组网系统还包括所述辅机头显通信连接的主机头显，所述虚拟现实的多用户交互方法包括：
确定所述辅机头显的第二摄像位姿数据，并检测所述辅机头显的第二惯导位姿数据；
将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
接收所述主机头显响应于所述第二摄像位姿数据和所述第二惯导位姿数据而返回的第二虚拟现实环境图像，并显示所述第二虚拟现实环境图像。
6.如权利要求5所述的虚拟现实的多用户交互方法，其特征在于，所述虚拟现实组网系统还包括所述辅机头显配套的辅机手柄，所述将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显的步骤包括：
接收所述辅机手柄发送的第四摄像位姿数据和第四惯导位姿数据，其中，所述第四摄像位姿数据和所述第四惯导位姿数据为所述辅机手柄检测所得；
将所述第四摄像位姿数据、所述第四惯导位姿数据、所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
所述接收所述主机头显响应于所述第二摄像位姿数据和所述第二惯导位姿数据而返回的第二虚拟现实环境图像，并显示所述第二虚拟现实环境图像的步骤包括：
接收所述主机头显响应于所述第四摄像位姿数据、所述第四惯导位姿数据、所述第二摄像位姿数据和所述第二惯导位姿数据，而返回的渲染后的所述第二虚拟现实环境图像；
显示渲染后的所述第二虚拟现实环境图像。
7.如权利要求6所述的虚拟现实的多用户交互方法，其特征在于，所述确定所述辅机头显的第二摄像位姿数据的步骤包括：
接收所述辅机手柄识别的第二红外标识光点的坐标位置，并根据所述第二红外标识光点的坐标位置，确定所述辅机头显的第二摄像位姿数据，其中，所述第二红外标识光点为所述辅机头显投射的红外标识光点。
8.一种虚拟现实的多用户交互方法，所述虚拟现实的多用户交互方法应用于虚拟现实组网系统，所述虚拟现实组网系统包括通信连接的主机头显和多个辅机头显，所述虚拟现实的多用户交互方法包括：
所述主机头显检测所述主机头显的第一摄像位姿数据和第一惯导位姿数据，并融合所述第一摄像位姿数据和所述第一惯导位姿数据，确定主机用户的第一头部位姿信息，显示所述第一头部位姿信息对应视觉范围的第一虚拟现实环境图像；
所述辅机头显确定所述辅机头显的第二摄像位姿数据，并检测所述辅机头显的第二惯导位姿数据，将所述第二摄像位姿数据和所述第二惯导位姿数据发送至所述主机头显；
所述主机头显接收所述辅机头显发送的所述第二摄像位姿数据和所述第二惯导位姿数据，并融合所述第二摄像位姿数据和所述第二惯导位姿数据，确定辅机用户的第二头部位姿信息，将所述第二头部位姿信息对应视觉范围的第二虚拟现实环境图像发送至所述辅机头显；
所述辅机头显接收所述第二虚拟现实环境图像并进行显示。
9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟现实的多用户交互程序，所述虚拟现实的多用户交互程序被所述处理器执行时实现如权利要求1至8中任一项所述的虚拟现实的多用户交互方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有虚拟现实的多用户交互程序，所述虚拟现实的多用户交互程序被处理器执行时实现如权利要求1至8中任一项所述的虚拟现实的多用户交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210526662.7A CN114935975A (zh) | 2022-05-13 | 2022-05-13 | 虚拟现实的多用户交互方法、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210526662.7A CN114935975A (zh) | 2022-05-13 | 2022-05-13 | 虚拟现实的多用户交互方法、电子设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114935975A true CN114935975A (zh) | 2022-08-23 |
Family
ID=82864139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210526662.7A Pending CN114935975A (zh) | 2022-05-13 | 2022-05-13 | 虚拟现实的多用户交互方法、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114935975A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311353A (zh) * | 2022-08-29 | 2022-11-08 | 上海鱼微阿科技有限公司 | 一种多传感器多手柄控制器图优化紧耦合追踪方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150221135A1 (en) * | 2014-02-06 | 2015-08-06 | Position Imaging, Inc. | Virtual reality and augmented reality functionality for mobile devices |
| CN107820593A (zh) * | 2017-07-28 | 2018-03-20 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟现实交互方法、装置及系统 |
| CN109358754A (zh) * | 2018-11-02 | 2019-02-19 | 北京盈迪曼德科技有限公司 | 一种混合现实头戴显示系统 |
| CN109671118A (zh) * | 2018-11-02 | 2019-04-23 | 北京盈迪曼德科技有限公司 | 一种虚拟现实多人交互方法、装置及系统 |
| CN109992108A (zh) * | 2019-03-08 | 2019-07-09 | 北京邮电大学 | 多用户交互的增强现实方法及系统 |
| CN113262465A (zh) * | 2021-04-27 | 2021-08-17 | 青岛小鸟看看科技有限公司 | 一种虚拟现实交互方法、设备及系统 |
-
2022
- 2022-05-13 CN CN202210526662.7A patent/CN114935975A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150221135A1 (en) * | 2014-02-06 | 2015-08-06 | Position Imaging, Inc. | Virtual reality and augmented reality functionality for mobile devices |
| CN107820593A (zh) * | 2017-07-28 | 2018-03-20 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟现实交互方法、装置及系统 |
| CN109358754A (zh) * | 2018-11-02 | 2019-02-19 | 北京盈迪曼德科技有限公司 | 一种混合现实头戴显示系统 |
| CN109671118A (zh) * | 2018-11-02 | 2019-04-23 | 北京盈迪曼德科技有限公司 | 一种虚拟现实多人交互方法、装置及系统 |
| CN109992108A (zh) * | 2019-03-08 | 2019-07-09 | 北京邮电大学 | 多用户交互的增强现实方法及系统 |
| CN113262465A (zh) * | 2021-04-27 | 2021-08-17 | 青岛小鸟看看科技有限公司 | 一种虚拟现实交互方法、设备及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311353A (zh) * | 2022-08-29 | 2022-11-08 | 上海鱼微阿科技有限公司 | 一种多传感器多手柄控制器图优化紧耦合追踪方法及系统 |
| CN115311353B (zh) * | 2022-08-29 | 2023-10-10 | 玩出梦想(上海)科技有限公司 | 一种多传感器多手柄控制器图优化紧耦合追踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10062213B2 (en) | Augmented reality spaces with adaptive rules | |
| JP5920352B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US9256986B2 (en) | Automated guidance when taking a photograph, using virtual objects overlaid on an image | |
| JP5843340B2 (ja) | ３次元環境共有システム及び３次元環境共有方法 | |
| JP6348741B2 (ja) | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 | |
| US20160210785A1 (en) | Augmented reality system and method for positioning and mapping | |
| US20140009384A1 (en) | Methods and systems for determining location of handheld device within 3d environment | |
| KR20110097639A (ko) | 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템 | |
| US11189057B2 (en) | Provision of virtual reality content | |
| JP7316282B2 (ja) | 拡張現実のためのシステムおよび方法 | |
| WO2015093130A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2018074045A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2020120336A (ja) | プログラム、方法、および情報処理装置 | |
| JP6730577B2 (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
| JPWO2018051592A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN114935975A (zh) | 虚拟现实的多用户交互方法、电子设备和可读存储介质 | |
| Schönauer et al. | Wide area motion tracking using consumer hardware | |
| KR102200115B1 (ko) | 다시점 360도 vr 컨텐츠 제공 시스템 | |
| JP2018094086A (ja) | 情報処理装置および画像生成方法 | |
| WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN115904188A (zh) | 户型图的编辑方法、装置、电子设备及存储介质 | |
| JP2017086542A (ja) | 画像変更システム、方法、及びプログラム | |
| KR20190085681A (ko) | 실감형 ｖｒ 영상의 제공 방법 및 이를 위한 서버 장치 | |
| WO2016151958A1 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
| US11651542B1 (en) | Systems and methods for facilitating scalable shared rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |