CN110609622A - 结合3d与虚拟现实技术实现多人交互方法、系统及介质 - Google Patents

Abstract

本发明公开一种结合3D显示技术与虚拟现实技术实现多人交互方法、系统及介质，将呈现在3D显示屏的场景与呈现在虚拟现实头显中的3D场景运行在同一虚拟环境中。由一位置追踪服务器确定各体验者在现实场地中对应的位置和运动轨迹，由虚拟环境同步服务器同步3D主机与虚拟现实主机虚拟场景数据变化。3D主机和虚拟现实主机分别根据各体验者的定位数据确定各体验者在同一虚拟场景中对应的位置及运动轨迹，以确定至各体验者对应视角下的显示内容并进行渲染，3D显示屏根据3D主机渲染的内容进行显示，虚拟现实显示设备根据虚拟现实主机渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景，实现多人、多平台与虚拟世界的实时交互。

Description

结合3D与虚拟现实技术实现多人交互方法、系统及介质

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种结合3D与虚拟现实技术实现多人交互方法、系统及介质。

背景技术

传统的展示模式，一般需要借助宣传图册、平面效果图、沙盘或者视频播放等工具做介绍和解释，展示模式是二维的，缺乏3D立体感，虽然当前技术可以在移动终端等设备中进行VR效果展示，呈现立体视觉感，但这种方式受到空间的限制，无法全面的呈现在体验者面前，而且无法进行多人观看交互，因此，有必要提供一种结合3D显示屏与大空间VR多人交互的融合技术，使体验者既可进行VR沉浸式体验，又可让更多观众观看3D显示屏，实现多人、多平台与虚拟世界的实时交互效果。

发明内容

本发明的主要目的在于提供一种结合3D显示技术与虚拟现实技术实现多人交互方法、系统及存储介质，旨在解决无法进行多人观看交互技术问题，支持多样化显示，可跨平台、多人共享沉浸式画面，满足多人不同平台观看体验。

根据第一方面，一种实施例中提供一种结合3D显示技术与虚拟现实技术实现多人交互方法，应用于客户端，所述客户端包括3D眼镜设备、3D显示屏、3D主机、虚拟现实显示设备、虚拟现实主机及虚拟环境同步服务器，所述3D主机与虚拟现实主机连接在同一所述虚拟环境同步服务器中，所述虚拟环境同步服务器运行所述3D主机与所述虚拟现实主机的同一虚拟场景并进行所述3D主机与所述虚拟现实主机系统的信息同步；所述方法包括：

所述3D主机、所述虚拟现实主机与所述虚拟现实同步服务器同时接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的定位数据；其中，所述定位数据根据各个体验者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向；

所述虚拟环境同步服务器根据各个体验者的所述定位数据同步各个体验者在同一虚拟场景中对应的位置及运动轨迹；

所述3D主机和所述虚拟现实主机根据各个体验者在所述同一虚拟场景中对应的位置及运动轨迹确定各个体验者对应视角下的显示内容并进行渲染；

所述3D显示屏根据所述3D主机渲染的内容进行显示，所述虚拟现实显示设备根据所述虚拟现实主机渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景。

在其中一种可能实现方式中，所述客户端还包括一用于交互控制的手柄；

所述3D主机根据由手柄发出的控制命令进行虚拟场景的切换，其中，所述虚拟场景的切换包括虚拟场景的更换及虚拟场景中虚拟角色的前、后、左、右、上和/或下运动以及3D体验者左、右、上、下的视角变换。

在其中一种可能实现方式中，所述手柄上设有刚体标记点；

所述虚拟环境同步服务器同时接收手柄和3D体验者在真实三维空间内的定位信息；其中，所述定位信息根据所述手柄和3D眼镜设备上的刚体标记点获取；

所述3D主机结合所述定位信息与虚拟场景中虚拟角色的前、后、左、右、上和/或下运动的位置数据，计算获取到手柄与3D显示屏之间合理的位置关系，并进行渲染，以使得在3D显示屏上相应的位置上显示出相应的手柄模型；

所述3D主机还根据各个体验者在同一虚拟场景中对应的位置渲染出相应的3D模型，以使得在3D显示屏相应的位置上显示出各个体验者的3D模型状态。

在其中一种可能实现方式中，所述3D主机还根据所述定位信息确定手柄在同一虚拟场景中对应的位置；

所述定位信息还包括手柄与一基准点在真实三维空间内的相对位置信息，其中所述基准点为持有所述手柄的体验者身上某一刚体标记点；

所述3D主机根据所述相对位置信息显示所述手柄在虚拟场景中的位置，以在所述相对位置不变时，根据手柄在真实三维空间内的位置确定其在虚拟场景中对应的显示位置。

在其中一种可能实现方式中，所述虚拟环境同步服务器输出的虚拟场景中包括预设的虚拟元件；

确定各个体验者基于预设设备向所述虚拟场景发射的射线；

确定是否检测到所述射线经过所述虚拟元件所在位置区域所触发的选中事件；

如果检测到所述选中事件，则选中所述虚拟元件，并触发与所述虚拟元件对应的交互操作。

在其中一种可能实现方式中，所述位置追踪服务器端包括多台动捕相机和定位服务器；

所述定位数据或所述定位信息通过如下方法获取：

在真实三维空间中所述多台动捕相机同时连续拍摄各个体验者佩戴设备上的刚体标记点，获取同步的标记点二维图像数据；

所述定位服务器对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据；

所述定位服务器采用计算机多目视觉技术对标记点的二维图像数据进行计算，得到真实三维空间内的点云坐标及方向；

所述定位服务器根据所述点云坐标及方向解算出各个刚体标记点在真实三维空间内的位置及朝向，进而得到相应的定位数据或定位信息。

根据第二方面，一种实施例中提供一种结合3D显示技术与虚拟现实技术实现多人交互的客户端系统，包括3D眼镜设备、3D显示屏、3D主机、虚拟现实显示设备、虚拟现实主机及虚拟环境同步服务器，所述3D主机与虚拟现实主机连接在同一所述虚拟环境同步服务器中，所述虚拟环境同步服务器用于运行所述3D主机与所述虚拟现实主机的同一虚拟场景并进行所述3D主机与所述虚拟现实主机系统的信息同步；

所述3D主机、所述虚拟现实主机用于接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的定位数据；其中，所述定位数据是根据各个体验者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向；

所述虚拟环境同步服务器用于根据各个体验者的定位数据同步各个体验者在同一虚拟场景中对应的位置及运动轨迹；

所述3D主机和所述虚拟现实主机用于根据各个体验者在同一虚拟场景中对应的位置及运动轨迹确定各个体验者对应视角下的显示内容并进行渲染；

所述3D主机和所述虚拟现实主机分别用于根据各个体验者对应视角下的显示内容进行渲染；

所述3D显示屏用于根据所述3D主机渲染的内容进行显示，所述虚拟现实显示设备用于根据所述虚拟现实主机渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景。

根据第三方面，一种实施例中提供一种结合3D显示技术与虚拟现实技术实现多人交互系统，包括：位置追踪服务器端与客户端；

所述位置追踪服务器端至少包括以下组件：

多台动捕相机和定位服务器；

所述多台动捕相机用于在真实三维空间中同时连续拍摄各个体验者佩戴设备上的刚体标记点，获取同步的标记点二维图像数据；

所述定位服务器用于对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据；

所述定位服务器用于采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到真实三维空间内的点云坐标及方向；

所述定位服务器用于根据所述点云坐标及方向解算出各个刚体标记点在真实三维空间内的位置及朝向，进而得到相应的定位数据或定位信息。

所述客户端至少包括以下组件：

包括3D眼镜设备、3D显示屏、3D主机、虚拟现实显示设备、虚拟现实主机及虚拟环境同步服务器；

所述虚拟环境同步服务器用于运行所述3D主机与所述虚拟现实主机的同一虚拟场景并进行所述3D主机与所述虚拟现实主机系统的信息同步；

所述3D主机、所述虚拟现实主机用于接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的定位数据；其中，所述定位数据是根据各个体验者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向；

所述虚拟环境同步服务器用于根据各个体验者的定位数据同步各个体验者在同一虚拟场景中对应的位置及视线运动轨迹；

所述3D主机与所述虚拟现实主机分别用于根据各个体验者在同一虚拟场景中对应的位置及运动轨迹确定至各个体验者对应视角下的显示内容；

所述3D主机和所述虚拟现实主机用于分别根据各个体验者对应视角下的显示内容进行渲染；

所述3D显示屏用于根据所述3D主机渲染的内容进行显示，所述虚拟现实显示设备用于根据所述虚拟现实主机渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景。

在其中一种可能实施例中，所述位置追踪服务器端还包括以下组件：

刚体标记点，设置于各个体验者佩戴设备或手柄上，用于实现各个体验者佩戴设备或手柄的图像数据捕捉；

三维云台，采用大力夹与斜口顶粒，用于固定动捕相机于特定安装位置；

标定杆，用于标定动捕相机，以获得动捕空间中各动捕相机之间的相对位置关系；

数据交换机，用于实现位置追踪服务器端组件与客户端组件之间、客户端相关组件之间、位置追踪服务器端相关组件之间的数据交换。

根据第四方面，一种实施例中提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如上任一项所述的方法。

实施本发明实施例具有如下有益效果：

本发明将3D交互的虚拟场景运行与虚拟现实VR的虚拟场景运行均设置在同一虚拟环境同步服务器下，由该虚拟环境同步服务器同时运行3D主机与虚拟现实主机的同一虚拟场景，由一台位置追踪服务器确定各个体验者在现实场地中对应的位置和运动轨迹，由一台虚拟环境同步服务器同步3D主机与虚拟现实主机的虚拟场景数据变化。实现至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者同时共享交互同一沉浸画面。3D主机和虚拟现实主机分别根据各个体验者的定位数据确定各个体验者在同一虚拟场景中对应的位置及运动轨迹，根据各个体验者在同一虚拟场景中对应的位置及运动轨迹确定至各个体验者对应视角下的显示内容并进行渲染，由3D主机和虚拟现实主机分别根据各个体验者对应视角下的显示内容进行渲染，所述3D显示屏根据所述3D主机渲染的内容进行3D画面显示，所述虚拟现实显示设备根据所述虚拟现实主机渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景，实现多人、多平台与虚拟世界的实时交互。

附图说明

图1为本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互的系统示意图；

图2为本发明实施例的另一种结合3D显示技术与虚拟现实技术实现多人交互的系统示意图；

图3为本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互方法流程示意图；

图4为本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互方法应用场景示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例一

参照图1，本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互的系统，包括位置追踪服务器端01与客户端02。所述结合3D显示技术与虚拟现实技术实现多人交互的系统在一个真实三维空间内实施，在该真实三维空间内包括至少一个3D体验者以及至少一个VR体验者，其中一个3D体验者手持有一用于交互控制的手柄027，下面具体说明。

参见图2，所述位置追踪服务器端01至少包括以下组件：刚体标记点011、多台动捕相机012、定位服务器013、数据交换机014、三维云台015及标定杆016。

所述刚体标记点011，设置于各个体验者佩戴设备或手柄027上，即在3D体验者佩戴的3D眼镜设备021上设置有刚体标记点011，在VR体验者佩戴的虚拟现实显示设备024上设置有刚体标记点011，在一用于交互控制的手柄027上也设置刚体标记点011。用于反射动捕相机012发出的红外光，以实现各个体验者佩戴设备或手柄027的二维图像数据捕捉；

所述多台动捕相机012设置在该真实三维空间内，用于在真实三维空间中同时连续拍摄各个体验者佩戴设备上的刚体标记点，获取同步的标记点二维图像数据。

在本发明实施例中，所述多台动捕相机012用于采集在真实三维空间中各个体验者的二维图像数据，并采用红外窄带滤光技术过滤拍摄到的图像数据中的冗余背景信息，动捕相机012对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据。需要理解的是，所述标记点可以是反光标记点也可以是主动光标记点，换句话说，本实施例既可以通过被动式光学跟踪方法进行定位，即动捕相机012获取体验者身体各部位所绑定的反光标记点所反射的红外光图像数据实现定位，也可以通过主动式光学跟踪方法进行定位，即动捕相机012通过获取主动光刚体(标记点)发出的LED红外光图像数据实现定位，不再依靠反光就能够持续稳定地输出高精度的定位数据，实现更远的捕捉距离。

在本发明实施例中，所述定位服务器013运行动捕数据处理软件，以对动捕相机012传输的二维坐标数据进行运算处理，例如采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到真实三维空间内的点云坐标及方向，并根据所述点云坐标及方向解算出各个刚体标记点在真实三维空间内的位置及朝向，进而得到相应的定位数据或定位信息。

所述三维云台015采用大力夹与斜口顶粒，用于固定动捕相机012于特定安装位置，例如在真实三维空间上方的四个角落固定安装动捕相机012。

所述标定杆016用于标定动捕相机012，以获得三维动捕空间中各动捕相机012之间的相对位置关系。

所述数据交换机014用于实现位置追踪服务器端01组件与客户端02组件之间、客户端02相关组件之间、位置追踪服务器端01相关组件之间的数据交换。

在本发明实施例中，通过位置追踪服务器端01实现真实三维空间内各个体验者和手柄027上的定位数据获取，并将给定位数据传输给客户端02。

如图2，所述客户端02至少包括以下组件：3D眼镜设备021、3D显示屏022、3D主机023、虚拟现实显示设备024、虚拟现实主机025及虚拟环境同步服务器026；

所述虚拟环境同步服务器026同时运行所述3D主机023与所述虚拟现实主机025的同一虚拟场景，并进行所述3D主机023与所述虚拟现实主机025系统的信息同步，通过所述3D主机023与虚拟现实主机025连接同一所述虚拟环境同步服务器026实现信息的同步，所述3D主机、所述虚拟现实主机025接收位置追踪服务器端01发送的至少一个佩戴3D眼镜设备021的3D体验者和至少一个佩戴虚拟现实显示设备024的VR体验者在真实三维空间内的定位数据，所述虚拟现实显示设备024可以是VR头显，其中，所述定位数据是根据各个体验者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向，然后虚拟环境同步服务器026根据各个体验者的定位数据同步各个体验者在同一虚拟场景中对应的位置及运动轨迹，其中，运动轨迹可包括肢体运动轨迹和/或视线运动轨迹等，最后3D主机023与虚拟现实主机025根据该运动轨迹确定各个体验者对应视角下的显示内容。

在本发明实施例中，所述虚拟环境同步服务器026用于同步运行所述真实三维空间内不同平台的虚拟场景，即包括3D主机023和虚拟现实主机025等要进行渲染的虚拟场景。

所述3D主机023和所述虚拟现实主机025用于分别根据各个体验者对应视角下的显示内容进行渲染。

所述3D显示屏022用于根据所述3D主机023渲染的内容进行显示，所述虚拟现实显示设备024用于根据所述虚拟现实主机025渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景。

实施例二

参照图3，本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互的方法，所述方法应用于客户端02，所述客户端02包括3D眼镜设备021、3D显示屏022、3D主机023、虚拟现实显示设备024、虚拟现实主机025、虚拟环境同步服务器026及一用于交互控制的手柄027。所述3D主机023与虚拟现实主机025连接同一所述虚拟环境同步服务器026，所述虚拟环境同步服务器026同时运行所述3D主机023与所述虚拟现实主机025的同一虚拟场景并进行所述3D主机023与所述虚拟现实主机025系统的信息同步。参见图4，所述方法在一个真实三维空间内实施，所述真实三维空间内包括至少一个3D体验者及至少一个VR体验者，其中一个手持手柄027的3D体验者为讲解员，所述方法至少包括以下步骤：

步骤S10，所述3D主机023、所述虚拟现实主机025接收位置追踪服务器端01发送的至少一个佩戴3D眼镜设备021的3D体验者和至少一个佩戴虚拟现实显示设备024的VR体验者在真实三维空间内的定位数据；其中，所述定位数据是根据各个体验者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向。

在其中一种可能实现方式中，如图2，所述位置追踪服务器端01包括多台动捕相机012和定位服务器013；所述定位数据或所述定位信息通过如下方法获取：在真实三维空间中所述多台动捕相机012同时连续拍摄各个体验者佩戴设备上的刚体标记点，获取同步的标记点二维图像数据，所述动捕相机012对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据，所述定位服务器013采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到真实三维空间内的点云坐标及方向，所述定位服务器013根据所述点云坐标及方向解算出各个刚体标记点在真实三维空间内的位置及朝向，进而得到相应的定位数据或定位信息。

具体的，通过真实三维空间中设置的多台动捕相机012同时连续拍摄空间中的手柄027、虚拟现实显示设备024和3D眼镜设备021上的刚体标记点011，刚体标记点011用于反射动捕相机012发出的红外光，由此实现动捕相机012对各个体验者佩戴设备或手柄027的二维图像数据捕捉，所述动捕相机012获取得到标记点二维图像数据后进行预处理得到标记点的二维坐标数据，比如先识别出每个动捕相机012同时刻采集到的图像中关键点(也即反光标记点)，然后计算出各反光标记点在同一图像中的坐标，即可得到所有反光标记点的二维坐标数据，为识别各个体验者佩戴设备的运动轨迹和手柄027运动轨迹，还需进一步将二维坐标数据换算成三维坐标数据，因此，可以选择地，所述定位服务器013先对多个动捕相机012同时刻所采集到的图像关键点进行匹配从而确定各反光标记点，然后采用计算机多目视觉技术对标记点的二维坐标数据进行计算，具体根据图像中二维点云间的匹配关系及动捕相机012的相对位置和朝向，计算点云在真实三维空间内的坐标及方向，也即得到各反光标记点在真实三维空间内对应的点云坐标及方向，标记点的二维坐标数据中包含有刚体名称或标识号、刚体数据(也即刚体坐标数据)，因此，根据计算出的各反光标记点在真实三维空间内对应的点云坐标及方向，可以识别绑定在体验者佩戴设备上的刚体结构并解算各刚体结构在捕捉空间内的位置及朝向，还可以识别绑定在手柄027上的刚体结构，并解算出该刚体结构在真实三维空间内的位置及朝向，进而确定出体验者在真实三维空间的运动轨迹或手柄027在三维动捕空间的运动轨迹，从而实现对动捕空间中训练者动作位置的定位，得到各个体验者佩戴设备的刚体动作对应的空间位置的定位数据或手柄027在空间位置的定位信息。

步骤S20，所述虚拟环境同步服务器026根据各个体验者的定位数据同步各个体验者在同一虚拟场景中对应的位置及运动轨迹。

在本发明实施例中，所述虚拟环境同步服务器026将各个体验者在实际真实三维空间内的位置对应至在同一虚拟场景，例如佩戴虚拟现实显示设备024的VR体验者A在实际空间的中间位置，则在虚拟场景中间位置对应的就是VR体验者A的位置，在实际真实三维空间中带3D眼镜设备021的3D体验者B在VR体验者A的前方，则在虚拟场景中，位于VR体验者A的前方的位置就是3D体验者B的位置。

在本发明实施例中，运动轨迹包括肢体动作轨迹和/或视线运动轨迹，例如，在某一体验者的视线方向改变时，则检测到该体验者佩戴设备上定位数据就会改变，比如体验者A往左移动观看，则体验者A佩戴设备的定位数据就是在真实三维空间内往左移动，根据定位数据可以确定其在虚拟场景中的视线运动轨迹就是往左移，在体验者A同时走动时，根据其走动所产生的定位数据，同样可以确定出其视线运动轨迹。

步骤S30，所述3D主机023和所述虚拟现实主机025根据各个体验者在同一虚拟场景中对应的位置及运动轨迹确定各个体验者对应视角下的显示内容并进行渲染。在本发明实施例中，体验者A往左移动观看，由步骤S20确定其在虚拟场景中的视线运动轨迹就是往左移后，则根据步骤S30可以确定体验者A对应视角下的显示内容就切换成往右移的画面。体验者B往右移动观看，由步骤S20确定其在虚拟场景中的视线运动轨迹就是往右移后，则根据步骤S30可以确定体验者B看到的画面就切换成往左移的画面，这就是每个人的视角方向不同呈现出的画面就会不同，即根据各个体验者在真实三维空间中的定位数据确定，即根据各个体验者佩戴设备上的反光标记点来定位的。

在其中一种可能实现方式中，所述虚拟环境同步服务器026根据讲解员由手柄027发出的控制命令进行虚拟场景的切换，其中，所述虚拟场景的切换包括虚拟场景的更换及虚拟场景中虚拟角色的前、后、左、右、上和/或下运动以及3D体验者左、右、上、下的视角变换。

在其中一种可能实现方式中，所述手柄027上设有刚体标记点，所述虚拟环境同步服务器026同时接收手柄027和3D体验者在真实三维空间内的定位信息，其中，所述定位信息是根据所述手柄027和3D眼镜设备021上的刚体标记点获取，用于确定手柄027和3D眼镜设备021在真实三维空间内的位置及朝向，所述3D主机023结合所述定位信息与虚拟场景中虚拟角色的前、后、左、右、上和/或下等方向的运动位置数据，计算获取到手柄027与3D显示屏022之间合理的位置关系，并进行渲染，以使得在3D显示屏022上相应的位置上显示出相应的手柄模型，即在3D显示屏022上相应的位置上显示出相应的手柄027模型，也就是说，讲解员的手柄027将会在虚拟场景中被呈现出来，并且向前延伸出一条可见的射线，则各个体验者对应视角下的显示内容可以包括手柄027模型。

进一步地，所述3D主机023还根据各个体验者在同一虚拟场景中对应的位置渲染出相应的3D模型，以使得在3D显示屏022相应的位置上显示出各个体验者的3D模型状态。通过虚拟现实同步服务器026将各个体验者在实际真实三维空间内的位置对应至在同一虚拟场景，以在同一虚拟场景中进行显示各个体验者的模型，例如在虚拟场景中设有一人员显示区域，在该人员显示区域中可以显示各个体验者的真实三维空间的位置以及相应状态，例如佩戴虚拟现实显示设备024的VR体验者A在实际空间的中间位置，则可以确定在虚拟场景的人员显示区域的中间显示一个带VR头显的3D脑袋模型，带3D眼镜设备021的3D体验者B在VR体验者A的前方，则可以确定在虚拟场景的人员显示区域中，位于所述带VR头显的3D脑袋模型前方显示一个不带VR头显的3D脑袋模型，即确定各个体验者对应视角下的显示内容可以包括各个体验者的模型和状态，实现了各个体验者可以观看到彼此的状态。

由此可得，在动捕相机012拍摄到各个体验者佩戴设备上的刚体标记点及手柄027上的刚体标记点后，通过定位服务器013将动捕相机012捕捉到的二维坐标数据进行处理传输至客户端02的虚拟环境同步服务器026后，所述虚拟环境同步服务器026均可以将各个体验者或手柄027在真实三维空间的相应位置的模型显示在虚拟场景中。

在本发明实施例中，在所述虚拟环境同步服务器026根据控制命令进行虚拟场景的更换时，则相应的所述虚拟环境同步服务器026根据各个体验者在真实三维空间位置及其运动轨迹重新切换其在新虚拟场景中的位置及确定至各个体验者在该新虚拟场景下对应视角的显示内容。例如在虚拟场景更换时，各个体验者保持不动下，各个体验者的定位数据不变化，所述虚拟环境同步服务器026根据各个体验者的定位数据确定各个体验者在虚拟场景中对应的位置及运动轨迹不变，只是改变各个体验者所在的虚拟场景。在虚拟场景更换时，根据上述步骤S10、步骤S20及步骤S30确定其在新的虚拟场景中对应视角下的显示内容。

在其中一种可能实现方式中，所述3D主机023还根据所述定位信息确定手柄027在同一虚拟场景中对应的位置；所述定位信息还包括手柄027与一基准点在真实三维空间内的相对位置信息，其中所述基准点为持有所述手柄的体验者身上某一刚体标记点；所述3D主机根据所述相对位置信息显示所述手柄027在虚拟场景中的位置，以在所述相对位置不变时，根据手柄027在真实三维空间内的位置确定其在虚拟场景中对应的显示位置。

示例性地，在所述虚拟环境同步服务器026根据控制命令将所述虚拟场景向后退远离体验者时，相当于人的视野在看很远的物体，手柄027的虚拟场景中的位置也会随着远离，则手柄027位置将在虚拟场景的画面中消失，失去操控性。为此，所述虚拟环境同步服务器026根据手柄027与一基准点在真实三维空间内的相对位置显示所述手柄027在虚拟场景中位置，其中所述基准点为持有所述手柄027的体验者身上某一刚体标记点。在所述相对位置不变时，所述3D主机023根据所述相对位置信息显示所述手柄027在虚拟场景中的位置，以在所述相对位置不变时，根据手柄027在真实三维空间内的位置确定其在虚拟场景中对应的显示位置，可以理解为，在虚拟场景变换至很远的时候，所述手柄027犹如电脑上的鼠标，在其操控的画面变小时，所述鼠标的在电脑上显示的位置不会随之变小，改变的只是其操控的画面，而不改变鼠标的显示位置与大小状态。通过设定相对位置关系，则手柄027的虚拟位置可以随实际人的视野不变而保持不变，则在虚拟场景画面进行前、后、左、右、上和/或下运动时，其均不会因为视野相对体验者改变，而改变手柄027在虚拟场景中的位置。

在其中一种可能实现方式中，当通过手柄027使虚拟场景画面视角远离体验者，体验者可以在该远视角虚拟场景画面的情况下，在实际的真实三维空间内随意走动改变观看位置，位置追踪服务器端01的定位服务器013在该远视角画面的情况下计算体验者的定位数据，对应到虚拟场景中的视角位置变化，从而可以通过实际走动观看虚拟场景中的不同视角画面，进而体验到距离范围更大的视野画面，进一步增大VR沉浸式体验的空间，避免人只能通过在设定的空间区域走动观看画面。

在其中一种可能实现方式中，所述虚拟环境同步服务器026输出的虚拟场景中包括预设的虚拟元件，确定各个体验者基于预设设备向所述虚拟场景发射的射线，确定是否检测到所述射线经过所述虚拟元件所在位置区域所触发的选中事件，如果检测到所述选中事件，则选中所述虚拟元件，并触发与所述虚拟元件对应的操作。

示例性地，戴VR头显的体验者可进行注视点交互，来观看更多画面变化情况，在虚拟场景的展示房间的画面里有一些点亮的灯，当VR体验者将视线中心停留在虚拟场景画面中某个灯上超过预设的0.5s时，从VR视野的中心向前方发射一条射线，然后检测射线碰到的物体为触发对应的可交互物，则在该VR体验者的视线中心会显示一个进度条，当其继续将视线停留在此灯方向不变时，则进度条在另一预设时间2s之后填满，从而触发对应的可交互物发生设定好的变化，比如触发该灯熄灭。如果3D眼镜体验者讲解员不希望灯熄灭，则可以通过手柄027操控点亮，例如，在讲解员需要将虚拟场景中的某一虚拟元件进行展示时，其将手柄027向前延伸出一条可见的射线移动至该虚拟元件(例如灯)，然后通过按键或其他操作进行选中事件，例如选中事件是按键，则检测到讲解员通过手柄027选中灯后上进行按键，则所述灯(虚拟元件)就进行相应的预设操作，例如熄灭。

在本发明实施例中，所述3D主机023接收所述虚拟环境同步服务器026传输的3D体验者的虚拟场景，然后根据前述位置及运动轨迹确定各个体验者对应视角下的显示内容并进行渲染，并将各个体验者对应视角下的渲染画面传输至对应的体验者。同样，所述虚拟现实主机025接收所述虚拟环境同步服务器026传输的VR体验者的虚拟场景，然后根据前述位置及运动轨迹确定各个体验者对应视角下的显示内容并进行渲染，并将各个体验者对应视角下的渲染画面传输至对应的体验者。

如图4中所述，佩戴3D眼镜设备021的讲解员或者体验者可以站在3D显示屏022前面观看大屏内容，同时，佩戴虚拟现实显示设备024的VR体验者也可以看到相同虚拟场景内容，讲解员或者体验者可以拿着手柄027切换显示屏内容或视角等，3D眼镜设备021、虚拟现实显示设备024以及手柄027上均设置有刚体标记点011。3D主机023可以设置在3D显示屏022后，虚拟现实主机025可以定制在椅子内，VR体验者可以坐在所述椅子内以此接收虚拟现实主机025渲染的虚拟场景画面，当然，虚拟现实主机025也可以设置在虚拟现实显示设备024内，由此，佩戴该虚拟现实显示设备024的VR体验者在真实三维空间内随意走动均能接收到相应视角下的虚拟场景画面。

步骤S40，所述3D显示屏022根据所述3D主机023渲染的内容进行显示，所述虚拟现实显示设备024根据所述虚拟现实主机025渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景。

在本发明实施例中，所述3D显示屏022显示的内容是3D主机023根据讲解员的视角进行渲染的虚拟场景，各个VR体验者佩戴的虚拟现实显示设备024显示的内容是根据各个佩戴者的视角进行渲染的虚拟场景。场景内同时有多个佩戴3D眼镜设备021的3D体验者时，佩戴3D眼镜设备021的3D体验者可固定刚体或者不固定刚体，不固刚体定的话就随着讲解员的视角观看，固定刚体的话视角自由，其根据3D体验者自身的视角观看3D大屏的虚拟场景内容。

实施本发明实施例具有如下特点：

本发明将3D交互的虚拟场景运行与虚拟现实VR的虚拟场景运行均设置在同一虚拟环境同步服务器026下，由该虚拟环境同步服务器026同时运行3D主机023与虚拟现实主机025的同一虚拟场景，实现至少一个佩戴3D眼镜设备021的3D体验者和至少一个佩戴虚拟现实显示设备024的VR体验者同时共享交互同一沉浸画面。虚拟环境同步服务器026根据各个体验者的定位数据确定各个体验者在同一虚拟场景中对应的位置及视线运动轨迹，根据各个体验者在同一虚拟场景中对应的位置及视线运动轨迹确定至各个体验者对应视角下的显示内容，由3D主机023和虚拟现实主机025分别根据各个体验者对应视角下的显示内容进行渲染，所述3D显示屏022根据所述3D主机023渲染的内容进行显示，所述虚拟现实显示设备024根据所述虚拟现实主机025渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景，实现多人、多平台与虚拟世界的实时交互。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims (10)

1.一种结合3D显示技术与虚拟现实技术实现多人交互的方法，其特征在于，应用于客户端，所述客户端包括3D眼镜设备、3D显示屏、3D主机、虚拟现实显示设备、虚拟现实主机及虚拟环境同步服务器，所述3D主机与虚拟现实主机连接同一所述虚拟环境同步服务器，所述虚拟环境同步服务器运行所述3D主机与所述虚拟现实主机的同一虚拟场景并进行所述3D主机与所述虚拟现实主机系统的信息同步；所述方法包括：

所述3D主机和所述虚拟现实主机接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的定位数据；其中，所述定位数据根据各个体验者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向；

所述虚拟环境同步服务器根据各个体验者的所述定位数据同步各个体验者在同一虚拟场景中对应的位置及运动轨迹；

所述3D主机和所述虚拟现实主机根据各个体验者在所述同一虚拟场景中对应的位置及运动轨迹确定各个体验者对应视角下的显示内容并进行渲染；

所述3D显示屏根据所述3D主机渲染的内容进行显示，所述虚拟现实显示设备根据所述虚拟现实主机渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景。

2.如权利要求1所述的方法，其特征在于，所述客户端还包括一用于交互控制的手柄；

所述3D主机根据由手柄发出的控制命令进行虚拟场景的切换，其中，所述虚拟场景的切换包括虚拟场景的更换及虚拟场景中虚拟角色的前、后、左、右、上和/或下运动以及3D体验者左、右、上、下的视角变换。

3.如权利要求2所述的方法，其特征在于，所述手柄上设有刚体标记点；

所述虚拟环境同步服务器同时接收手柄和3D体验者在真实三维空间内的定位信息；其中，所述定位信息根据所述手柄和所述3D眼镜设备上的刚体标记点获取；

所述3D主机结合所述定位信息与所述虚拟场景中虚拟角色的前、后、左、右、上和/或下运动的位置数据，计算获取到手柄与3D显示屏之间的位置关系，并进行渲染，以使得在3D显示屏上相应的位置上显示出相应的手柄模型；

所述3D主机还根据所述各个体验者在同一虚拟场景中对应的位置渲染出相应的3D模型，以使得在3D显示屏相应的位置上显示出各个体验者的3D模型状态。

4.如权利要求3所述的方法，其特征在于，所述3D主机还根据所述定位信息确定手柄在同一虚拟场景中对应的位置；

所述定位信息还包括手柄与一基准点在真实三维空间内的相对位置信息，其中所述基准点为持有所述手柄的体验者身上某一刚体标记点；

所述3D主机根据所述相对位置信息显示所述手柄在虚拟场景中的位置，以在所述相对位置不变时，根据手柄在真实三维空间内的位置确定其在虚拟场景中对应的显示位置。

5.如权利要求1至4任一项所述的方法，其特征在于，所述虚拟环境同步服务器输出的虚拟场景中包括预设的虚拟元件；

确定各个体验者基于预设设备向所述虚拟场景发射的射线；

确定是否检测到所述射线经过所述虚拟元件所在位置区域所触发的选中事件；

如果检测到所述选中事件，则选中所述虚拟元件，并触发与所述虚拟元件对应的交互操作。

6.如权利要求1至4任一项所述的方法，其特征在于，所述位置追踪服务器端包括多台动捕相机和定位服务器；

所述定位数据或所述定位信息通过如下方法获取：

在真实三维空间中所述多台动捕相机同时连续拍摄各个体验者佩戴设备上的刚体标记点，获取同步的标记点二维图像数据；

所述定位服务器对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据；

所述定位服务器采用计算机多目视觉技术对标记点的二维图像数据进行计算，得到真实三维空间内的点云坐标及方向；

所述定位服务器根据所述点云坐标及方向解算出各个刚体标记点在真实三维空间内的位置及朝向，进而得到相应的定位数据或定位信息。

7.一种结合3D显示技术与虚拟现实技术实现多人交互的客户端系统，其特征在于，包括3D眼镜设备、3D显示屏、3D主机、虚拟现实显示设备、虚拟现实主机及虚拟环境同步服务器，所述3D主机与所述虚拟现实主机连接同一所述虚拟环境同步服务器，所述虚拟环境同步服务器用于运行所述3D主机与所述虚拟现实主机的同一虚拟场景并进行所述3D主机与所述虚拟现实主机系统的信息同步；

所述3D主机和所述虚拟现实主机用于接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的定位数据；其中，所述定位数据是根据各个体验者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向；

所述虚拟环境同步服务器用于根据各个体验者的定位数据同步各个体验者在同一虚拟场景中对应的位置及运动轨迹；

所述3D主机和所述虚拟现实主机用于根据各个体验者在同一虚拟场景中对应的位置及运动轨迹确定各个体验者对应视角下的显示内容并进行渲染；

所述3D显示屏用于根据所述3D主机渲染的内容进行显示，所述虚拟现实显示设备用于根据所述虚拟现实主机渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景。

8.一种结合3D显示技术与虚拟现实技术实现多人交互系统，其特征在于，包括：位置追踪服务器端与客户端；

所述位置追踪服务器端至少包括以下组件：

多台动捕相机和定位服务器；

所述多台动捕相机用于在真实三维空间中同时连续拍摄各个体验者佩戴设备上的刚体标记点，获取同步的标记点二维图像数据；

所述定位服务器用于对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据；

所述定位服务器用于采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到真实三维空间内的点云坐标及方向；

所述定位服务器用于根据所述点云坐标及方向解算出各个刚体标记点在真实三维空间内的位置及朝向，进而得到相应的定位数据或定位信息。

所述客户端至少包括以下组件：

包括3D眼镜设备、3D显示屏、3D主机、虚拟现实显示设备、虚拟现实主机及虚拟环境同步服务器；

所述虚拟环境同步服务器用于运行所述3D主机与所述虚拟现实主机的同一虚拟场景并进行所述3D主机与所述虚拟现实主机系统的信息同步；

所述3D主机和所述虚拟现实主机用于接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的定位数据；其中，所述定位数据是根据各个体验者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向；

所述虚拟环境同步服务器用于根据各个体验者的定位数据同步各个体验者在同一虚拟场景中对应的位置及运动轨迹；

所述3D主机与所述虚拟现实主机分别用于根据各个体验者在同一虚拟场景中对应的位置及运动轨迹确定至各个体验者对应视角下的显示内容并进行渲染；

所述3D显示屏用于根据所述3D主机渲染的内容进行显示，所述虚拟现实显示设备用于根据所述虚拟现实主机渲染的内容进行显示，以使得各个3D体验者和VR体验者以各自视角观看同一虚拟场景。

9.如权利要求8所述的一种结合3D显示技术与虚拟现实技术实现多人交互系统，其特征在于，所述位置追踪服务器端还包括以下组件：

刚体标记点，设置于各个体验者佩戴设备或手柄上，用于实现各个体验者佩戴设备或手柄的图像数据捕捉；

三维云台，采用大力夹与斜口顶粒，用于固定动捕相机于特定安装位置；

标定杆，用于标定动捕相机，以获得动捕空间中各动捕相机之间的相对位置关系；

数据交换机，用于实现位置追踪服务器端组件与客户端组件之间、客户端相关组件之间、位置追踪服务器端相关组件之间的数据交换。

10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-6中任一项所述的方法。