CN106061571A - 交互式虚拟现实系统及方法 - Google Patents

Abstract

公开了一种用于更大的剧院尺寸观众的沉浸式虚拟现实系统。该系统能使多个用户协作或作为一组工作在一起，或使各组竞争。用户通过操纵手持的交互式装置与虚拟现实系统交互。每个装置具有形成图案的多个灯。跟踪传感器监控手持的装置，该系统解释用户的运动并基于用户的运动动态地改变虚拟现实环境。该系统为一组内的用户分配独特的角色。

Description

交互式虚拟现实系统及方法

技术领域

本发明通常涉及交互式虚拟现实系统和方法。更具体说，本发明涉及用于在剧院内或在剧院之间合作或竞争的大量用户的交互式虚拟现实系统。

背景技术

虚拟现实环境正变得越来越普遍，因为它们提供了娱乐和训练的独特形式。然而，许多常规的虚拟现实环境仅适用于少量的用户。

因此，存在为更大数量的用户提供虚拟现实环境的需要。

发明内容

在第一方面，公开了一种用于为多个用户提供沉浸式虚拟现实环境的方法。该方法包括产生一个虚拟现实环境，所述虚拟现实环境包括具有至少一个虚拟对象的显示屏和一个虚拟控制台，虚拟控制台具有多个显示图标，所述多个显示图标的每个都表示与虚拟对象相关的不同功能并对每个用户提供手持交互式装置，每个交互式装置具有提供所述每个交互式装置的识别和跟踪信息的多个灯，所述每个交互式装置具有一个被构造用于传送触发事件发生的触发机构。该方法进一步包括对于形成单一组用户的用户对所述每个交互式装置分配独特的角色，每个角色都具有一个用于在虚拟现实环境中操纵虚拟对象，以及跟踪所述每个交互式装置以确定所述每个交互式装置的当前状态，当前状态包括位置、定向、运动、触发事件的存在，以及所述每个交互式装置的识别。该方法进一步包括基于分配给所述每个交互式装置的角色解释所述每个交互式装置的当前状态，改变与角色相关的功能从而基于当前状态的解释操纵虚拟对象，并且在虚拟现实环境中动态地显示被操纵的虚拟对象。

在第一优选实施例中，对每个交互式装置分配独特的角色优选地进一步包括启用所有交互式装置以具有发射虚拟射弹的角色，在虚拟现实环境中显示一个或多个目标，监控交互式装置的性能，基于交互式装置的相对性能分配角色。该方法优选地进一步包括对用户提供反馈。对用户提供反馈优选地包括以下的一个或多个：提供声音效果，启动运动座椅，提供视觉效果，或提供目标景象的视觉表示。角色之一优选地包括一个领导角色，该领导角色具有在虚拟现实环境中发射虚拟射弹的功能，解释具有该领导角色的交互式装置的状态优选地进一步包括从具有该领导角色的交互式装置检测触发事件的存在，基于具有该领导角色的交互式装置的位置和定向确定虚拟射弹的轨迹，以及确定虚拟射弹的轨迹是否影响一个或多个虚拟对象。角色优选地包括用于发射虚拟射弹的领导角色，用于操纵虚拟对象的转向角色，用于控制虚拟对象速度的速度控制角色，以及用于将交互式装置瞄准虚拟对象的武器目标角色。

在第二方面，公开了一种用于为多个用户提供沉浸式虚拟现实环境的方法。该方法包括从多个用户形成第一用户组和第二用户组，并提供一种手持交互式装置到第一和第二组中的每个用户，每个交互式装置具有传送所述每个交互式装置的标识的多个灯，所述每个交互式装置具有一种被构造用于传送触发事件发生的触发机构。该方法进一步包括产生一个虚拟现实环境，所述虚拟现实环境包括具有至少一个虚拟对象的显示屏和一个分别用于第一和第二组的第一和第二虚拟控制台，每个虚拟控制台具有多个显示图标，所述多个显示图标的每个都表示与虚拟对象相关的不同功能，并且对于第一和第二用户组内的用户对所述每个交互式装置分配独特的角色，每个角色包括一个用于在虚拟环境中操纵虚拟对象的相关功能。该方法进一步包括跟踪所述每个交互式装置以确定所述每个交互式装置的当前状态，当前状态包括位置、定向、运动、触发事件的存在，以及所述每个交互式装置的识别，并且基于分配给所述每个交互式装置和相关组的角色解释所述每个交互式装置的当前状态。该方法进一步包括操纵与虚拟对象相关的功能以提供被改变的虚拟对象，并且动态地显示被改变的虚拟对象。

在第二优选实施例中，产生虚拟现实环境进一步包括提供具有表示第一和第二组的虚拟对象的单一屏幕。产生虚拟现实环境优选地进一步包括对第一和第二组提供一个单独屏幕部分。该方法优选地进一步包括形成附加用户组。该方法进一步优选地包括对用户的反馈。对用户提供反馈优选地进一步包括以下的一个或多个：提供声音效果，启动运动座椅，提供视觉效果，或提供目标景象的视觉表示。对每个交互式装置分配独特的角色优选地进一步包括对于第一和第二组，启动所有交互式装置以具有发射虚拟射弹的角色，在虚拟现实环境中显示一个或多个目标，监控交互式装置的性能，以及基于交互式装置的相对性能分配角色。

角色之一优选地包括一个领导角色，该领导角色具有在虚拟现实环境中发射虚拟射弹的功能。解释具有领导角色的交互式装置的状态优选地进一步包括从具有领导角色的交互式装置检测触发事件的存在，基于具有领导角色的交互式装置的位置和定向确定虚拟射弹的轨迹，以及确定虚拟射弹的轨迹是否影响一个或多个虚拟对象。角色优选地包括用于发射虚拟射弹的领导角色，用于操纵虚拟对象的转向角色，用于控制虚拟对象速度的速度控制角色，以及用于将交互式装置瞄准虚拟对象的武器目标角色。

在第三方面，公开了一种用于为多个用户组提供沉浸式虚拟现实环境的系统。该系统包括一个虚拟现实环境，所述虚拟现实环境包括用户组的显示屏，多个交互式装置，每个交互式装置包括一个具有桶部和柄部的壳体，以及被定位在桶部内的多个灯，间隔的灯形成一个通常与虚拟射弹的预期轨迹对准的图案，一个被定位在柄部上的触发机构，以及一个耦合到触发机构并提供电流到所述灯的控制器，该控制器传送触发事件。该系统还包括对于灯信号和触发事件监控交互式装置的多个传感器，所述多个传感器输出每个交互式装置的实时装置当前状态，以及一个接收每个装置的实时当前状态并更新虚拟现实环境的系统控制器。

在第三优选实施例中，该虚拟现实环境进一步包括一个球形或弯曲屏幕。该虚拟现实环境优选地进一步包括一个穹顶。该虚拟现实环境优选地进一步包括用于显示三维图象的球形屏幕，用于多个用户的多个运动座椅，以及用于为用户提供声音效果的环绕音响系统。

在第四方面，公开了一种手持交互式装置。该交互式装置包括一个具有桶部和柄部的壳体，被定位在桶部内的多个灯，间隔的灯形成一个通常与虚拟射弹的预期轨迹对准的图案，一个基本围绕所述灯并允许等辐射将近360度远场发射图案的半透明盖部，一个被定位在柄部上的触发机构，以及一个耦合到触发机构并提供电流到所述灯的控制器，该控制器传送触发事件。

在第四优选实施例中，该多个灯为与虚拟射弹的预期轨迹共线地定位和平行的第一和第二灯。该多个灯优选地为与虚拟射弹的预期轨迹共线地定位和平行的第一、第二和第三灯。该多个灯优选地为与虚拟射弹的预期轨迹共线地定位和平行的第一和第二灯，以及从虚拟射弹的预期轨迹偏移定位的第三灯。该多个灯优选地为与虚拟射弹的预期轨迹共线地定位和平行的第一和第二灯，以及从虚拟射弹的预期轨迹偏移定位的第三和第四灯。提供电流到所述灯优选地进一步包括提供一个表示交互式手持装置的独特标识的脉冲信号。

在第五方面，公开了一种用于跟踪多个手持交互式装置的系统。该系统包括一个用于多个用户的虚拟现实环境，以及多个交互式装置。每个交互式装置包括一个具有桶部和柄部的壳体，被定位在桶部内的多个灯，间隔的灯形成一个通常与虚拟射弹的预期轨迹对准的图案，一个基本围绕所述灯并允许等辐射将近380度远场发射图案的半透明盖部，一个被定位在柄部上的触发机构，以及一个耦合到触发机构并提供电流到所述灯的控制器，该控制器传送触发事件。该系统进一步包括对于灯信号和触发事件监控交互式装置的多个传感器，所述多个传感器输出每个交互式装置的实时装置当前状态，以及一个接收每个装置的实时当前状态并更新虚拟现实环境的系统控制器。

在第五优选实施例中，所述每个交互式装置的多个灯包括与虚拟射弹的预期轨迹共线地定位和平行的第一和第二灯。所述每个交互式装置的多个灯优选地包括与虚拟射弹的预期轨迹共线地定位和平行的第一、第二和第三灯。所述每个交互式装置的多个灯优选地包括与虚拟射弹的预期轨迹共线地定位和平行的第一和第二灯，以及从虚拟射弹的预期轨迹偏移定位的第三灯。所述每个交互式装置的多个灯优选地包括与虚拟射弹的预期轨迹共线地定位和平行的第一和第二灯，以及从虚拟射弹的预期轨迹偏移定位的第三和第四灯。

提供电流到所述灯的所述每个交互式装置的控制器优选地进一步包括提供一个表示交互式手持装置的独特标识的脉冲信号。对于灯信号和触发事件监控交互式装置的多个传感器优选地包括与触发事件的监控异步地监控灯信号。该系统控制器优选地进一步被构造用于禁用特定的交互式装置。该系统控制器优选地进一步被构造用于永久地启用特定的交互式装置。更新虚拟现实环境优选地包括在虚拟现实环境中改变虚拟对象。

在第六方面，公开了一种用于提供交互式装置的跟踪信息的方法。该方法包括对多个用户提供一种具有多个标志灯的交互式装置，从每个交互式装置的标志灯产生脉冲灯信号，所述脉冲灯信号表示所述每个交互式装置的独特标识，跟踪从交互式装置发射的灯，基于脉冲灯信号确定与特定交互式装置相关的灯，确定一个或多个灯是否被遮挡，并且基于不被遮挡的装置的灯计算位置和定向。

在第六优选实施例中，所述多个标志灯为形成一个通常与虚拟射弹的预期轨迹对准的图案的间隔灯。所述每个交互式装置的多个灯优选地包括与虚拟射弹的预期轨迹共线地定位和平行的第一、第二和第三灯。所述每个交互式装置的多个灯优选地包括与虚拟射弹的预期轨迹共线地定位和平行的第一和第二灯，以及从虚拟射弹的预期轨迹偏移定位的第三和第四灯。

对于优选实施例的描述，参考相关附图，本发明的这些和其他特征和优点将变得更加明显。

附图说明

图1是多个用户使用交互式装置在剧院型设置中交互的示意性框图。

图2是一种提供交互式虚拟现实环境的多用户的示例性剧院。

图3描述了一种在一个实施例中为多个用户提供双路交互体验的示例性过程。

图4描述了一种在一个实施例中基于评分在一组内对用户分配角色的示例性过程。

图5示出了与其他组在虚拟现实环境中进行交互的用户组。

图6描述了在一个或多个实施例中的示例性显示图标。

图7描述了在一个或多个实施例中的附加显示图标。

图8示出了在虚拟现实环境中交互的示例性多个组，该虚拟现实环境在共用的单一屏幕上具有虚拟控制台。

图9示出了在虚拟现实环境中交互的示例性多个组，该虚拟现实环境在一个分成屏幕部分的屏幕上具有虚拟控制台。

图10示出了在虚拟现实环境中交互的示例性多个组，该虚拟现实环境在一个分成屏幕部分的屏幕上具有多个靶心目标。

图11示出了在虚拟现实环境中交互的示例性多个组，该虚拟现实环境在一个分成屏幕部分的屏幕上具有多个作战场景。

图12示出了图11所示环境的单一组的细节。

图13示出了在虚拟现实环境中交互的示例性多个组，在一个或多个实施例中，该虚拟现实环境在一个分成屏幕部分的屏幕上具有多个作战场景。

图14示出了图13所示用于环境的单一组的细节。

图15是一种用于为一个或多个用户组提供沉浸式虚拟现实环境的示例性过程。

图16描述了一种装置顶部安装有灯的手持交互式装置。

图17A描述了一种在灯上具有半透明盖部以提供宽辐射发射图案的手持交互式装置。

图17B是一种具有半透明盖部以提供宽辐射发射图案的交互式装置的另一实施例的侧视图。

图17C是在一个实施例中交互式装置的顶部透视图。

图17D是在一个实施例中交互式装置的顶视图。

图18示出了用于提供五自由度跟踪的两个场景。

图19示出了用于提供六自由度跟踪的两个场景。

图20是一种用于为一大组用户确定每个交互式装置的位置和定向的示例性过程。

具体实施方式

以下优选的实施例涉及用于多用户的沉浸式虚拟现实环境。常规的虚拟现实环境可在共享环境中容纳有限数量的并发用户。相机监控用户的行为，通常使用一种放置在用户或放置在手持装置上的“标记”。标记可以是小反射面或小灯。通过使用多个相机，可使用三角形方法计算一组标记的位置和定向。当几个用户共享一个虚拟现实环境时，由于用户对于自己和对于在区域中的他人移动和阻挡标记，标记可不总是对相机可见。因此，为多个用户提供虚拟现实环境在许多应用中可以是优选的。

一个或多个实施例涉及一种用于更大的剧院规模的观众的沉浸虚拟现实系统。该系统使多个用户作为一组协作或一起工作，或使各组竞争。用户通过操纵手持交互式装置与虚拟现实系统交互。每个装置具有形成图案的多个灯。跟踪传感器监控手持装置，并且该系统解释用户的运动并基于用户的运动动态地改变虚拟现实环境。在一个实施例中，该系统为一组内的用户分配独特的角色。

本文所述的一个或多个实施例涉及在虚拟现实环境中的游戏。提供这些实施例以阐述通常概念，并且不应视为实际上被限制。在一个或多个实施例中考虑用于提供培训、教育或娱乐的系统和方法。如本文使用的并且如本领域通常使用的，一个物体可由六自由度表征。六自由度的分量包括物体的位置；也就是说，相对于已知固定点的物体的x、y、z坐标。六自由度还包括物体的定向，包括俯仰、偏航(或行进方向)和滚动。如本文所使用的，以及如本领域通常使用的，词语“共线”通常指在同一线上的点。因此，两个点会被认为共线。

图1是具有在使用交互式装置的共享剧院型设置中交互的多个用户的虚拟现实系统101的示意性框图。系统101包括一个或多个控制器110，跟踪系统112，3D投影仪阵列114，运动座椅116，环绕音响系统118以及手持交互式装置120。在一个实施例中，用户122坐在运动座椅116中。每个用户122保持一个可识别的交互式装置130。交互式装置130具有控制器142和壳体132，所述壳体形状类似于在一个实施例中具有触发按钮140的枪。在一个或多个实施例中，可采用多个触发按钮或一个或多个其他输入。灯134、136和138被定位在壳体132的顶部。跟踪系统112监控交互式装置130的灯134、136和138并捕获每个交互式装置的5自由度(DOF)或者也许6自由度运动。在一个或多个实施例中可考虑附加触发按钮。

因此，系统101知晓用户ID的识别，触发事件的存在和定时，以及包括在所有时间每个装置的位置和定向的跟踪信息。这可能与可在触发事件中或在触发事件后的很短时间中仅确定装置的位置和定向的常规系统相反。实施例在用户122和交互系统122之间提供双路通信。如以下所讨论的，用户122可通过交互式装置130彼此相互协作。系统101能够对用户提供反馈，包括，例如提供声音效果，启动运动座椅，提供视觉效果或提供目标景象和/或虚拟射弹的视觉表示。

图2是一种在提供真实沉浸式和实时交互系统的实施例中的示例性虚拟现实剧院。在一个实施例中，三个长椅225、230和235位于下平台242上，并且三个长椅210、215和220位于上平台244上。每个长椅包括四个运动座椅。在一个实施例中，系统240跟踪24个用户。

在一个或多个实施例中，系统240还包括弯曲屏幕250。然而，在一个或多个实施例中考虑了球形屏幕或穹顶。系统240在球形或弯曲屏幕250上传输3D立体内容。用户122穿戴立体眼镜以观看3D内容。弧形屏幕250提供与平面屏幕相比更大的视场(“FOV”)并且为用户122提供真实的沉浸式体验。

系统240为一大组用户提供双路交互。用户122与使用手持交互式装置130的内容交互。通过从在弯曲屏幕250上所显示内容的视觉或听觉效果，以及也通过包括通过振动、喷水、气味或触觉的运动座椅118的物理运动，用户122接收即时反馈。

运动座椅116可采用在虚拟环境中仿真物理变化的几种效果。运动座椅116可采用驱动器，其可致使运动座椅116体验俯仰、滚动、行进方向和高度的变化。运动座椅116可提供其他效果，例如通过座椅下的振动，座椅下的升降杆，背后的升降杆，面部喷气，颈部喷气，面部喷水，腿发痒，以及气味传递。座椅运动和效果可作为朝所有用户122的实时响应产生。例如，在过山车行进时，所有座椅沿一个轨道移动。座椅运动和效果可作为朝共享一个运动座椅的长椅的每组用户的实时响应产生。例如，考虑在轨道上驾驶赛车的一组人，如果车撞了路障，该组的座椅可剧烈地振动以发出碰撞组信号到该组成员，并且仅到该组成员。在一个或多个实施例中，每组可体验一种运动座椅的独特体验，或整个观众或一部分观众可体验相同的经验。

图1和2中所展示的系统可对用户122提供不同的体验。例如，每个用户122可单独地与屏幕250上的内容交互。在另一实施例中，每个用户122可通过在一个共享的共同目标射击而与其他用户竞争来评分。另外，所有用户122可在同一目标射击并赢得游戏。在另一示例中，所有用户122可参与培训应用，或也可投票给期望的选项，例如基于情节如何发展选择期望场景，或选择影响情节如何发展的期望场景。

在一个或多个实施例中考虑了用户122之间的协作。用户122可作为一个小组与的内容交互，与在同一组内的其他用户竞争，与同一组内的其他用户协作，或可作为一组与其他组竞争。在一个或多个实施例中，可根据其在首轮游戏中的表现指定一个组领导，在一个实施例中，赋予该领导对游戏的更多控制。在一个实施例中，领导角色具有在虚拟现实环境内发射虚拟射弹的功能。通过从具有领导角色的交互式装置检测触发事件的存在，确定虚拟射弹的轨迹基于具有领导角色的交互式装置的位置和定向，以及确定虚拟射弹的轨迹是否影响一个或多个虚拟对象，该系统评分给领导的正确性评分。共享多个运动座椅的一个长椅的用户122可在一个或多个实施例中形成一组。

图3描述了在一个实施例中用于为多个用户提供双路交互体验的示例性过程301。跟踪系统112监控交互式装置130(步骤310)。确定交互式装置的位置、方向和运动装置(步骤312)以及触发事件的存在和定时(步骤314)。由控制器处理装置的当前状态(即，位置、定向、运动和触发事件信息)(步骤316)。基于交互式装置130的当前状态，当检测到触发事件时，控制器将计算虚拟射弹的轨迹(步骤328)。如果虚拟射弹错过了目标，不采取行动(步骤330)。如果虚拟射弹击中目标，事件的两条途径将发生。首先，产生适当的反馈，例如通过声音效果(步骤320)，激活运动座椅(步骤322)，显示视觉效果(步骤324)，或显示目标景象和射弹的视觉表示(步骤326)，并被提供给用户(步骤340)。第二，确定射击性能的评分(步骤332)并且确定最佳评分(步骤334)。如果特定用户具有最佳成绩，“游戏规则A”应用于被发送回到控制器的该用户(步骤336)。如果用户没有最佳成绩，“游戏规则B”应用于被发送回到控制器的该用户(步骤338)。因此，系统101可基于用户122的射击性能不同地对待用户。控制器对于特定用户还可关闭或打开整个交互式装置130(步骤318)。控制器也可关闭交互式装置以局部地禁用跟踪312，并对于特定用户仅保持监控触发事件314(步骤318)。

因此，系统101能够提供双路交互并且可在同一游戏中不同地对待用户。系统101判断用户的表现、回报具有最佳表现的用户，并能暂时禁用或局部禁用表现糟糕的用户的交互式装置130。在一个实施例中，屏幕上的目标景象可改变以对最佳用户永久。用户通过实时内容(而不是固定的预渲染内容，或在预渲染结局的有限组合之间切换，在主题乐园中常见)接收视觉和听觉反馈。所选用户从以允许完全5自由度或6自由度交互的任何形式表示的真实3D指示器(即，目标景象，场景操纵者)接收附加的视觉反馈。

在涉及多个参与者的场景中，每个参与者保持一个具有独特标识的交互式装置130。参与者被分成多组。根据场景，通过对于其他组关闭或局部关闭交互式装置130，系统可分配一组率先控制虚拟现实环境。不活跃交互装置130上的灯信号作为用户的视觉线索将保持关闭。

在一个实施例中，用于跟踪和用于触发行为的采样率彼此独立。与使用卡尔曼滤波器与触发序列的系统相比，跟踪和触发动作从交互式装置130异步地采样，与系统允许的一样快。在一个或多个实施例中，多个传感器对于灯信号和触发事件监控交互式装置，其中，传感器与触发事件的监控异步地监控灯信号。在一个实施例中，系统不引入附加的时间延迟。

实施例提供具有从用户到系统的“双路A”以及从系统用户的“双路B”的双路交互。每个用户保持一个具有独特标识的交互式装置130。对于其位置、定向(即，5自由度或6自由度跟踪)和触发按钮状态，跟踪交互式装置130。事件被提供给以交互“双路A”的“用户ID、定时、装置位置和定向、触发状态”形式的控制器(步骤312和314)。控制器基于交互物体(如目标)来验证场景中的每个事件，并相应地做出反应(步骤316)。一种多人游戏场景用作示例来阐述这一过程。

在一个实施例中，如果用户射击并击中物体，事件经过评分规则(步骤332)。同时触发多感官效果(“双路B”)，包括声音效果(如爆炸声音)，运动座椅运动(如运动座椅的振动)，视觉效果(如在屏幕上显示火焰)以及其他视觉信息，包括在步骤320-326中改变目标景象的表示(如，显示激光，改变物体在屏幕上上的颜色或尺寸，显示射弹)。如果用户错过了目标，丢弃该事件(步骤330)。评分规则计算评分和排名(步骤332)，并且结果返回到控制器用于将结果显示在屏幕上以提供交互交互“双路B”。

基于评分规则，该系统还可决定暂时地关闭在某些交互式装置上的灯信号(用于跟踪)，对于不满足设定性能水平的提供交互“双路B”的用户作为禁用交互式装置130的方法。用户在游戏中接收所有上述多感官反馈(交互“双路A”)。

仅作为示例采用涉及本文所述游戏的实施例。双路交互机构还可用于行业或培训环境。例如，设计者可以使原型产品可视化，设计师可以使建筑设计可视化，并且学员可参与虚拟训练体验。

图4描述了在一个实施例中，基于评分在一组内对用户分配角色的示例性进程401。通过启用所有交互式装置以具有发射虚拟射弹的角色、在虚拟现实环境中显示一个或多个目标、监控交互式装置的性能，以及基于交互式装置的相对性能分配角色，一种例如系统101的系统可分配独特的角色到每个交互式装置。

具体来说，控制器确定用户是否已经用虚拟射弹成功地击中目标(步骤410)，确定用户122的评分(步骤412)。基于该评分，角色被分配给用户(步骤414)。在一个或多个实施例中，一组包括四个用户122。一个用户可被分配用于操纵虚拟车辆的角色(步骤416)，第二用户可被分配给速度控制(步骤418)，第三目标用户可被分配给武器瞄准(步骤420)，第四用户可被分配给武器发射(步骤422)。在一个或多个实施例中，一个用户可被认为是领导并具有附加授权和责任，在一个或多个实施例中，可基于其他因素分配角色，例如但不限于，基于用户的偏好、基于用户的年龄或身份，或基于先前阶段的结果。

图5显示与其他组在虚拟现实环境501中交互的用户组。系统501提供4用户的6组并且具有六个长椅，包括标签“A”的长椅225、标签“B”的长椅230、标签“C”的长椅235、标签“D”的长椅210、标签“E”的长椅215以及标签“F”的长椅220。每个长椅具有四个运动座椅。例如，长椅225具有标记为1-4的运动座椅226-229，长椅230具有标记为5-8的运动座椅231-234，以及长椅220具有标记为21-24的运动座椅221-224。在一个实施例中，每个长椅都被认为是一组，尽管在一个或多个实施例中各组可包括与坐在长椅无关的其他用户组。

在一个实施例中，在每组内，一个用户被认为具有领导角色，其他三个用户组被认为具有配角角色。例如，在运动座椅228、233和222中的用户具有领导角色并且具有交互式装置510。在一个或多个实施例中，其他用户226、227、229、231、232、234、221、223和224具有配角角色并且具有如图表示的装置512，装置510可物理上不同于装置512。在其他实施例中，装置510可等同于装置512，但已由控制器指令从而具有不同的性能和功能。

因此，引入具有不同角色的这一机构以避免通过具有太多用户的混乱。例如，在多人游戏的场景中，除了示出所有用户122的目标景象，系统501在每个用户组内分配领导角色，并且仅显示领导的目标景象。在一个实施例中，在该组中的其他成员发挥配角作用，在屏幕上没有其交互式装置的任何视觉表示。一组的所有成员协作并且一起工作以实现目标。

在一个实施例中，对于每个组，领导瞄准并射击目标，其他配角组成员仅通过在正确时刻按压触发器使用交互式装置上的触发按钮，以躲避到来的障碍，或转向远离路障。目标景象的数量有限，并且交互作用可分类成显式控制(具有目标景象的用户)和隐式控制(没有目标景象的用户)。

一个或多个实施例示出了一种在共享屏幕上与场景的多用户交互的新颖方式。关键是通过将用户划分为组让每个人都尽可能多地参与交互，并创建有效方式以让所有用户参与交互，而不使屏幕充斥太多信息。总体目标是在所有用户之间的团队合作。在一个或多个实施例中，领导角色可在小组成员之间旋转。

图6描述了在一个或多个实施例中的虚拟图象。虚拟图象610和820具有被显示用于处于领导角色的用户的发射轨迹的示例性图象。仅该组领导具有使用5自由度或6自由度交互式装置510的显式控制。来自每个领导的目标612和622、目标景象614和624、子弹和射击轨迹616和626显示在屏幕上。这些视觉表示可根据游戏的结果改变。表示610示出了一种击中目标612的射弹616，并且表示620示出了一种错过目标622的射弹626。

具有隐式控制的配角用户可看到显示图标，例如显示图标630和650。对于在屏幕上的每个配角成员示出了这些警告显示(“HUD”)。警告显示足够小不与场景干涉。例如，来自装置512的行进方向和俯仰信息可用于控制转向或速度(即，4-方向的)或仅转向控制(即，2-方向的)，或仅定时控制，其中用户在预期定时精确地按压触发按钮。

显示图标630是一种在提供拇指操作的四通方向控制的游戏控制台上经常发现的方向键(“D键”)的虚拟图象。显示图标630具有上按钮632、下按钮634、左按钮638和右按钮636。在一个实施例中，配角用户可通过在向上运动中挥动交互式装置512选择上按钮632，通过向下挥动交互式装置512选择下按钮634，通过向左挥动交互式装置512选择左按钮638，以及通过向右挥动交互式装置选择右按钮636。在一个或多个实施例中，可在对跟踪系统指示该运动具有重要性的运动中按压一个触发按钮。

显示图标650是操纵杆的虚拟图象。显示图标650具有上指示器652、下指示器654、左指示器658，右指示器656，以及示出与显示图标650的功能相关的相对二维位置的位置指示器660。对于方向转向和速度控制，可以使用装置的行进方向或俯仰信息。点位置指示器660示出了跟踪信息的当前测量。

图7描述了在一个或多个实施例中的附加示例性显示图标。显示图标710是水平滑动开关的虚拟图象。图标710具有左箭头指示器712、右箭头指示器714、中间区域716以及示出功能或一维参数的当前相对值的滑块718。显示图标730是垂直滑动开关的的虚拟图象。图标730具有上箭头指示器732，下箭头指示器734，中间区域736，以及示出功能或一维参数的当前相对值的的滑块738。在一个实施例中，滑块718和738可示出虚拟对象的相对行进方向和俯仰。通过对于图标710上下以及对于图标730左右挥动交互式装置512，用户可与这些显示图标配合。

显示图标750描述了三个垂直滑动开关的虚拟图象。相对基线752、754和756表示相关功能或参数的最小值，并且滑块762、764和766示出了当前功能或参数的值，例如当前的俯仰、行进方向或定时信息。

显示图标760描述了一种三垂直滑块的类似的虚拟图象。在一个实施例中，团队成员可试图协调定时控制以指示良好的团队合作。在一个实施例中，当所有用户精确地在所需时刻同时按压触发器时，可授予额外的分数或相对的强度荣誉。

图8示出了在共同的单一屏幕上具有虚拟控制台的虚拟现实环境801中交互的多个组。组和用户的结构类似于如上关于图5所讨论的那样。屏幕250显示在运动座椅228、233和222中的领导试图击中的目标803、807和822。该显示还示出了分别与长椅225、230、235、210、215和220中各组相关的虚拟控制台825、830、835、810、815和820。在一个或多个实施例中，表示虚拟控制台的虚线用于说明性目的，并且不可见或不具有正确比例。

虚拟现实环境801产生一个具有虚拟对象的虚拟现实环境，例如在屏幕250上显示的目标803、807和822。该屏幕还显示了可具有多个显示图标的虚拟控制台810、815、820、825、830和835，例如每个都表示与虚拟对象相关的不同功能或参数的显示图标826、827和829。例如，显示图标826可表示车辆的速度，显示图标827可表示定向角，显示图标829可表示武器的发射。每个用户保持一个具有多个灯的手持交互式装置，例如提供交互式装置的识别和跟踪信息的图1的灯134、136和138。交互式装置具有一种被构造用于传送触发事件的发生的触发机构。

每个交互式装置510和512可被分配一个独特的角色到对于如图4所示的一个或多个用户组的用户的每个交互式装置，其中每个角色都具有用于在虚拟现实环境中操纵虚拟对象的相关功能或参数。跟踪系统112监控每个交互式装置510和512以确定每个交互式装置510和512的的当前状态，例如位置、定向、运动、触发事件的存在，以及交互式装置510和512的识别。

系统801基于分配给交互式装置的角色解释每个交互式装置的当前状态。例如，与显示826交互的用户—在这一示例中为物体的速度—将通过挥动交互式装置512以改变速度与虚拟环境交互。同样，与显示827交互的用户—其为虚拟对象的定向角—将通过挥动交互式装置以改变定向角与虚拟环境512交互。基于用户的输入，系统801改变与角色相关的功能或参数以操纵虚拟对象。因此，在这一示例中表示速度变化的显示图标828的变化，虚拟环境将改变虚拟对象的速度，并将在虚拟现实环境中动态地显示操作虚拟对象。

图9示出了在虚拟现实环境中交互的多个组，该虚拟现实环境在一个分成屏幕部分的屏幕上具有虚拟控制台。系统901具有长椅225、230、235、210、215和220，其中每个长椅具有四个运动座椅。在这一实施例中，屏幕902被分成6部分，每个长椅被分配给一个特定部分。在一个实施例或中，长椅225被分配给部分925，长椅230被分配给屏幕部分930，长椅235被分配给屏幕部分935，长椅210被分配给屏幕部分910，长椅215被分配给部分915，长椅220被分配到部分920。

图9示出了一种多个用户与分成多个屏幕部分的屏幕交互的新颖方式。这一概念的关键方面是将用户划分为组，其中每个组具有用于观察的专门子屏幕。总体目标不仅限于在所有用户之间的团队，而且团队合作可以是每个组的单独目标。

一种实施例提供了作为示例的多人游戏场景。为了避免在共享屏幕上的混乱，目标景象的数量有限，并且交互可分类为显式控制(具有目标景象的用户)和隐式控制(没有目标景象的用户)。

图10示出了在虚拟现实环境中交互的示例性多个组，该虚拟现实环境在一个分成屏幕部分的屏幕上具有多个靶心目标。实施例允许多个用户协作通过分割屏幕，其中用户被划分成对应于屏幕部分的四个组。每组中的用户射击与该组相关的目标，并且具有最高评分的用户成为组领导。基于评分为游戏分配角色，其中具有较高评分的用户被分配给更重要的角色。在一个实施例中，每组中的最佳玩家可变成该组的领导，并且可具有比与具有配角的用户相比更大的控制或责任，在一个实施例中，领导可具有独特彩色的目标位置。用户可在每组内合作。在一个实施例中，各组成员的角色可由系统以例如图4所示的方式确定，其中每个组成员可控制一个子任务，例如转向、速度控制、武器瞄准和武器发射。在一个实施例中，用户可不局限于在一个阶段中的单一子任务。作为示例，当一个用户完成他的子任务时，用户然后可参与在一个或多个实施例中的其他子任务。分隔屏幕是在多个用户之间处理协作的一种方式，但并不绝对地必要。

图11示出了在虚拟现实环境中交互的多个组，该虚拟现实环境在一个分成屏幕部分的屏幕上具有多个作战场景。图12示出了图11所述环境的单一组的细节。在一个实施例中，长椅225被分配给屏幕部分1125，长椅230被分配给屏幕部分1130，长椅220被分配给屏幕部分1120。其他长椅同样也被分配给相关的屏幕部分。运动座椅228中的用户是被分配给长椅225的组的领导，并且在屏幕部分1125中朝目标“F”射击。运动座椅233中的用户是被分配给长椅230的组的领导，并且在屏幕部分1130中朝目标“C”射击。运动座椅223中的用户是被分配给长椅220的组的领导，并且在屏幕部分1120中朝目标“A”射击。

配角中的成员在屏幕部分的上拐角中具有显示图标。例如，图12示出了运动座椅231中的用户具有显示图标650，运动座椅232中的用户具有显示图标730，运动座椅234中的用户具有显示图标750。

在一个实施例中，具有配角的非领导也可具有使用5自由度或6自由度跟踪装置的显式控制。目标、目标景象、子弹和从每个用户的射击轨迹仅示出在与用户组相关的子屏幕。把屏幕分成部分允许更多用户具有显式控制，不使整个屏幕混乱。同一组中的用户也可具有显式控制和隐式控制的混合。

图13示出了在虚拟现实环境中交互的示例性多个组，在一个或多个实施例中，该虚拟现实环境在一个分成屏幕部分的屏幕上具有多个作战场景。图14示出了图13所示用于环境的单一组的细节。在一个实施例中，运动座椅226、228和229中的用户分别朝目标“E”、“F”和“D”射击；运动座椅232、233和234中的用户分别朝目标“F”、“C”和“A”射击；运动座椅223和224中的用户分别朝目标“A”和“C”射击。图14示出了组在长椅230中组“B”的细节。运动座椅231中的用户具有配角并且与显示图标650交互。在一个实施例中，将屏幕分成部分允许同一组的用户作为一个团队与其他组竞争。

图15示出了一种用于为一个或多个用户组提供协作和/或竞争的示例性过程1261。形成一个或多个用户组(步骤1262)。产生一种包括至少一个虚拟对象和一个用于操作虚拟对象的虚拟控制台的虚拟现实环境(步骤1263)。具有至少一个触发器的手持交互式装置被提供给每个用户，每个交互式装置提供交互式装置的识别和跟踪信息(步骤1264)。独特角色被分配给用户的每个交互式装置，其中，每个角色都具有用于在虚拟现实环境中操纵虚拟对象的相关参数或功能(步骤1265)。跟踪每个交互式装置以确定每个交互式装置的当前状态(步骤1266)。基于被分配给交互式装置的角色解释每个交互式装置的当前状态(步骤1267)。基于对当前状态的解释改变与操作虚拟对象的角色相关的参数和功能(步骤1268)。被操纵的虚拟对象动态地显示在虚拟现实环境中(步骤1269)。

参考图1和16-20，以下进一步讨论了跟踪交互式装置的细节。可存在用于制造可以类似方式工作的跟踪系统的几种方法。系统通常需要两个或多个相机，其监控已知或可计算的的装置位置和定向(一种通常被称为“系统校准”的过程)。系统通常需要相机的可跟踪目标(被称为“标记”)以检测和跟踪2D空间，由于CCD相机产生2D图象。采用数学三角测量算法，可基于从两个或多个相机(称为“相机阵列”)的读数计算每个标记的3D位置(称为“重构”)。二是相机数量的最小要求，尽管通常更多的相机用于冗余(即，鲁棒性)，并且也扩大了捕获体积。冗余很重要，因为并不是所有标记都可由所有相机在所有时间中看到。每当通过至少两个相机看不到标记时，这些标记不可能被跟踪(称为“遮挡”)。由于构造算法并不需要每个标记从所有相机在所有时间都可见，具有更多相机意味着能够跟踪更大的体积。

现有的跟踪系统可以稍微不同的方式工作。一些系统使用反射球形的标记，并且每个镜头都具有围绕其镜头的红外选通脉冲。从选通脉冲发出的红外光被从标记反射回到相机，并且他们在非常黑暗背景下显示为明亮圆形，即标记容易从跟踪体积内侧的所有其他物体突出。通常使用红外光，因为它对人眼不可见，并且如果拾取相机相对容易。然而，可以使用其他颜色的光。相机使用允许他们以非常高的帧速捕获的灰度CCD。所有相机都是一起同步，以确保同相地捕获所有帧。

为了跟踪非变形物体(被称为“刚体”)，几个标记以非对称方式放置在物体周围。最小标记数为三以提供6自由度跟踪(如，三自由度位置和三自由度定向)。这些标记(称为“标记组”)以如下方式形成独特图案，无论该物体如何被定向，一种算法能够仅使用标记组内每个标记的位置计算刚体的位置和定向。由于可同时跟踪多个物体，即使3个标记足以形成独特图案，通常使用4个或多个标记。此外，当限制了被跟踪物体的尺寸时，可存在仅使用3个标记的有限组的标记图案。此外，标记可被频繁地遮挡，并且物体的定位可完全地丧失，当3-标记图案仅与2个标记一起留下时，因此具有附加标记在这种情况下可提供附加鲁棒性。然而，标记之间在近距离的一簇中具有几个标记可极大地降低跟踪质量，由于相机在混乱的标记组中可能不清晰地看到每个标记。

假如每个刚体附接有一个独特标记图案，可以同时跟踪多个刚体。需要注意的是，在一个标记组中的每个标记不可与剩余标记区分，该系统依赖于独特图案以在刚体之间区分。这种方法的一大缺点是，如果两个标记彼此横过，可扰乱该系统。这一过程通常被称为“标记对换”。当两个刚体经过彼此或从彼此反弹时，当太多接近发生在标记之间时，这可能很容易发生。

其他系统采用从每个标记发出的脉冲光(称为“有源标记”)。一些系统依赖于以二进制形式编码的光。例如，8位二进制编码可对256个标记编码。原理上，仅8个连续帧被相机阵列捕获，系统应该能够识别每个有源标记的独特闪烁图案，并且区分至多256个标记(并获得每个标记的脉冲模式的独特标记ID)。其他系统需要，在每一帧中仅一个标记发光并被相机观察到，而所有其他标记不发光。在在每一帧中，所有标记交替，一个发光。不利的是，当标记数量增加时，系统需要更多的帧以循环通过所有标记。大多数时候，每个标记保持关闭，意味着系统没有跟踪标记，从而减少了跟踪平滑度。对于6自由度刚体跟踪，仍然需要非共线标记组，其中最小标记数为3。然而，对于识别每个标记的能力，该系统可以潜在地跟踪共享相同标记图案的多个刚体，并且仍能够在刚体之间区分。这可以是对于大量观众如何可跟踪交互式装置的基础。

图16描述了一种装置顶部安装有灯1214、1216和1218的手持交互式装置1201。交互式装置1201具有控制器1242、主体1210、柄部1211、桶部1212、触发器1240，并且可通过可选系链1220物理地固定到一个位置。如本文所使用的，桶部通常指通常与虚拟装置的预期轨迹平行的交互式装置的部分。柄部通常是指在常规操作中由用户保持的装置的部分。交互式装置1201用由用户控制的附加触发按钮捕获5自由度(也可以是6自由度)用户运动，允许在3D空间中更好地交互。交互式装置1201是一种多个用户在一种应用中交互的设备，提供跟踪和触发动作。采用多个指向装置的实施例能够发射多个信号，例如红外或近红外光线(-活动标记)。

图17A描述了一种在灯上具有半透明盖部以提供宽辐射发射图案的手持交互式装置1251。交互式装置1251采用了具有半透明盖部的三个灯1252、1254、1256，因此远场光发射图案与使用仅从顶部可见的表面安装LED作为光源的图15所示的交互式装置1201相比大得多。具有半透明盖部的灯可允许从更宽范围看到灯或LED，从而减少遮挡。通过在装置表面上的环状半透明盖部，灯标记1252、1254和1256可具有在装置周围近360度的远场发射图案。这与图16的交互式装置1201相反，其中灯标记1214、1216和1218仅从顶部可见，由于主体1210在一定程度上阻挡了所发出的光。在一个或多个实施例中，考虑了具有四个或多个灯的交互式装置1251。

在一个实施例中，系统控制器110优选地被进一步构造用于完全地禁用特定交互式装置1251，或仅禁用交互式装置1251上的特定灯。

每个交互式装置1251均提供一种由高速红外相机阵列检测的方法，并且可以区分每个灯信号的特性。因此可以区分每个交互式装置。如上所讨论的，从交互式装置1251发出的每个灯信号被重建为具有x、y、z坐标的3D点。编码标记跟踪系统的实施例提供了良好的鲁棒性，即使当交互式装置彼此靠近地经过时。每个灯信号可由其独特ID区分，而没有用非编码标记跟踪系统常见的“标记对换”。每个跟踪系统还提供了一种用于检测用户的触发动作以及重新编码触发动作的特性的方法。

图17B、17C和17D描述了一种在灯1271、1272、1273和1274上具有半透明盖部1277以提供宽辐射发射图案的的手持交互式装置1270。交互式装置1270采用具有用于装置前部的整个半透明盖部1277的多个灯1271、1272、1273和1274。远场光发射图案与图15的交互式装置1201相比可能大得多。具有半透明盖部1277的灯可允许从更宽的范围看到灯，减少了遮挡，在一个或多个实施例中，当交互式装置的顶部的远离相机面对时，减少了遮挡。灯安装到一个在装置内侧支撑灯的薄树状结构内。薄结构设计用于将遮挡问题降到最低。

交互式装置1270具有细长的桶部1279、柄部1276、触发按钮1275和可选系链1280。在一个或多个实施例中，系链1280可用提供电力并传输信号的电缆拴到座椅，并防止用户移除交互式装置，在一个实施例中，系链1280可简单地防止用户从剧院移除交互式装置1270并且交互式装置可由电池驱动并且完全地无线，使用信号传输的无线电频率。灯1271，1272和1274与虚拟射弹的预期轨迹共线和平行。灯1273从连接灯1271、1272和1274的线路偏移。在一个或多个实施例中考虑了附加灯或用于提供增强冗余度的灯布置的其他图案。在一个或多个实施例中，交互式装置1270可包括两个或多个灯。灯1271、1272、1273和1274由一种允许全方位辐射的发射图案从每个灯突出的半透明盖部1277覆盖。这种结构对于具有大量并发用户的共享虚拟现实环境可减少与遮挡相关的问题。在一个或多个实施例中，灯1271、1272、1273和1274可以是具有在可见光或红外光谱中的发射波长的发光二极管。

图18显示出用于提供五自由度跟踪的两种结构1301和1321。结构1301具有共线地位于一种例如交互式装置1251的交互式装置上的两个灯1302和1304。在每个交互式装置上使用最少2个重构的共线3D点，可以确定包括5自由度(“DOF”)信息的交互式装置的目标方向，该信息包括行进方向、俯仰和x、y、z坐标中的3D位置。这一信息不仅提供了在二维屏幕上的目标信息，而且提供了包括平移的5-DOF交互。结构1301具有与虚拟射弹1308的预期轨迹共线地定位和平行的第一灯1302和第二灯1304。

结构1321具有都彼此共线以提供5自由度跟踪的三个灯1302、1304和1306。如果一个灯信号被完全遮挡，系统仍能够从余下的两个灯信号获取目标方向。结构1321具有与虚拟射弹1308的预期轨迹共线地定位和平行的第一灯1302、第二灯1304和第三灯1306。

图19显示用于提供六自由度跟踪的两个场景。结构1341使用三个灯1342、1344和1346，其中灯1342和灯1346共线，但灯1344相对于连接灯1342和1346的线偏移。结构1341使用在每个交互式装置上的最少3个重构的共线3D点，以提供包括6自由度(DOF)信息的交互的目标方向，该信息包括行进方向、俯仰和x、y、z坐标中的3D位置。这不仅给用户在二维屏幕上的目标信息，而且给用户包括平移的完全6自由度交互。结构1341具有与虚拟射弹1308的预期轨迹共线地定位和平行的第一灯1342和第二灯1346，以及从虚拟射弹1308的预期轨迹偏移的第三灯1344。

结构1361具有总共四个灯，其中第一灯1342和第二灯1346与虚拟射弹1308的预期轨迹共线地定位和平行，并且第三灯1344和第四灯1348从虚拟射弹1308的预期轨迹偏移定位。对于6自由度跟踪，4个灯信号以非对称方式安装在每个交互式装置上。如果一个灯信号被完全遮挡，系统仍能够从余下的3个灯信号获得完整的6自由度平移信息。这种冗余提供了附加的鲁棒性。

在一个或多个实施例中，多个灯优选为一个与虚拟射弹的预期轨迹共线地定位和平行的灯子集，并且余下的灯从虚拟射弹的预期轨迹偏移定位，并且灯的数量超过三个。

图20提供了一种用于为大量用户确定交互式装置的位置和定向的示例性过程1401。具有多个编码的标志灯的交互式装置被提供给用户(步骤1402)。跟踪交互式装置(步骤1403)。确定与特定交互式装置相关的灯(步骤1405)。确定一个或多个灯是否已被遮挡(步骤1406)。如果一个或多个灯被遮挡，基于不被遮挡的装置上的灯计算位置和定向(步骤1406)。

本文公开了一种剧院尺寸的交互式穹顶系统的新颖设计。对于教育娱乐，它使好莱坞风格的故事讲述与前沿技术相结合，为一组观众提供沉浸式4D剧院体验的盛宴。对于行业培训，完全沉浸式和交互式穹顶对于增强的培训经验提供了实时虚拟现实(“VR”)教程。与像计算机辅助虚拟环境(“CAVE”)的传统虚拟现实训练设施相比，其因为人均更低的培训成本托管更多组的学员，并提供与多个学员协作培训的方法。

该设计主要目标是两类用途：1)教育和娱乐相结合(教育娱乐)，2)行业培训。对于教育娱乐，实施例将好莱坞的叙事风格和包括交互式手持装置和运动座椅的前沿技术结合起来，并为一组观众提供沉浸式4D剧院体验的盛宴。对于使用实时虚拟现实教程的行业培训，穹顶提供能够极大地增强培训经验的完全沉浸式渲染和交互性。与像CAVE的传统虚拟现实训练设施相比，穹顶因为人均更低的培训成本能够托管更多组的学员，并提供与多个学员协作培训的方法。

对于沉浸式虚拟现实(“VR”)体验已经开发了CAVE型的平台。他们通常用6自由度(DOF)跟踪用户的头部和控制棒以在虚拟环境中导航并且与内容交互。由于其沉浸式体验和直观的操作能力，其在研究和产业社区快速地获得普及，它已经用作一种从教学地球科学到抽象数学的主要教育工具。另一方面，由于以低得多的成本提供良好沉浸式体验的能力，头部安装的显示器(“HMD”)系统也得到普及，近年来教育娱乐的概念流行，它将游戏内容带入基于教育场景的虚拟现实以使学习更有效和有趣。结果表明，学生更多地参与这一新概念，同时具有学习体验的长久记忆。随着在各种新虚拟现实技术方面公共利益快速地增长，越来越多的博物馆和主题公园正在选择实时虚拟现实作为他们的显示媒体。这一趋势也影响了娱乐行业的未来，特别地对于游乐设施。这对传统VR在同一时间托管多个观众提出了挑战。

多年来，对于沉浸式内容显示已经出现了新型穹顶平台。这些设计对注意力带来了各种挑战。例如，一种概念讨论了像穹顶状包装设计、立体观赏、实时内容集成的许多穹顶设计相关方面，然而他们仅停留在设计层面上并且没有提供整体工作的解决方案。另一方面，另一概念使用一组18PC用于在穹顶中的立体渲染，一种设置和维护太复杂的系统。相比之下，一个或多个实施例提供了一种用于教育娱乐和沉浸式培训的交互式穹顶设计的工作解决方案。由3D声音和4D运动座椅系统伴随，实施例提供一种真正独特和压倒性的冒险体验。在教育娱乐目的之外，实施例提供了一种行业培训的主要方式，它已被证明非常有用以在危险或逻辑上不可能的区域中进行培训，例如在紧急情况下为煤矿工人准备逃生路线，或消防场景等。穹顶训练设施还提供了托管一大组学员协同训练场景的益处。

实施例包括三个主要部分：穹顶及其投影系统，实时交互和4D剧院系统。一个或多个实施例的新颖性可被看作将好莱坞电影质量、极好的虚拟现实角色、4D多感官剧院平台和每个参与者的完全交互结合起来。具体地，实施例具有以下优点：与传统博物馆和教育电影放映相比，实施例增加了娱乐元素到电影中，使学习更有趣并且容易理解。更重要地，它提供了一种由多个学员同时共享的沉浸式组培训环境。与具有平面屏幕并且没有交互的传统4D剧院不同，实施例对每个参与者提供了完全沉浸和实时交互的空前体验。

在一个实施例中，穹顶测量直径9米，在地面平面以上以45度角倾斜。观众座椅在提升平台上被布置在三排中，所有座椅面对穹顶屏幕的中心，根据乘坐位置大约3到5米远。观众的平均视场(“FOV”)是135度。实施例在观察质量和建设成本之间取得了良好的平衡，并为观众提供完全沉浸式感觉。然而，为了实现更宽的视场，不仅人均成本将显著地增加，其也会损害立体效果。

穹顶的结构成件地进来并在现场组装。屏幕由软乙烯基材料制成；它包含整个穹顶结构并使用位于穹顶顶部的真空风扇维持其形状。3个投影仪安装在穹顶结构的边缘，朝穹顶中心发射。软件用于包装和边缘融合以在球形屏幕上实现无缝呈现。投影仪不需要鱼眼镜头或镜头或特殊冷却，这降低了整体成本并简化了安装。当与使用更多投影仪的系统相比时，实施例稍微牺牲了图象亮度和像素计数；然而3个投影仪都由在惠普Z820工作站上运行的单一Nvidia Quadro K6000卡驱动。这消除了同步多个投影仪和工作站的需求，其在穹顶中对输出的主动立体3D渲染提供了良好基础。

交互系统的实施例经由手持装置跟踪一小组用户。每个装置由一组光学相机跟踪标记和一个无线游戏控制器构建。实施例可使用6Vicon相机来跟踪每个装置的位置和定向。相机安装在两个将穹顶结构保持在适当位置的柱子上。索尼导航控制器用作无线控制装置。为简单起见，仅使用底部触发按钮(L2触发器)并且屏蔽所有剩余按钮。这一触发按钮已在仿真软件内编程以射击目标，操纵虚拟现实对象并控制仿真流。例如，参与者可以确定仿真故事如何发展，由于它们在路叉选择走哪条路。

实施例结合有极大地增强整体交互体验的多感官运动座椅。每个座椅长椅被螺栓连接到3自由度(“DOF”)运动的运动平台以容纳4个骑手。平台由3个实质上产生俯仰、滚动和举起(高度调整)运动的空气活塞驱动器驱动。运动座椅系统还通过升降杆(座椅和背部)提供多感官效果，腿发痒，气味/水喷雾，喷气(面部和颈部背面)和座椅振动。该系统由在以太网上的MIDI控制。每个驱动器使用不同的midi通道或midi标记。

在VR平台中开发实施例的内容，它在内容导入和交互编程方面提供极大的灵活性。这里，我们描述三个场景。

实施例将一种8分钟高质量的好莱坞风格的叙事体验与VR技术结合起来。其存在一种具有平台可以提供的许多可能性的简短预告场景的图案，从翱翔的风景到海洋生物以及从高速赛车到太空作战和探索。在亮点中，观众在空间作战中瞄准和射击小行星和龙，在海洋潜水并在他们靠近时喂海豚，在沉浸在松林味道时继续全速公路赛。

实施例包括一个名为“我的飞车”的激烈游戏。玩家在怪异矿区行进在地下过山车上，瞄准并沿行程射击晶体以赚点，并摧毁路障以防止撞到它们。整个形程像迷宫，当沿轨道来到几个路叉时，玩家必须选择哪个方向继续，或它们会陷入死胡同。人们很喜欢其它地方非常罕见的这类游戏体验。

实施例包括在各种平台上运行的许多行业培训应用。这些培训应用可以很容易地接入到实施例内，形成一种全新的体验。由于大FOV，当在穹顶内侧观察时，相同内容更加沉浸，除此之外，穹顶对于在同一阶段中与多个学员一起培训的组来说是完美的，相对于其他系统降低了人均成本。实施例包括需要协作的团队工作的设计培训应用，使其更有趣和有效。

实施例主要解决三个方面：1)好莱坞电影/动画与虚拟现实内容的密切结合，2)游戏多用户交互系统，3)游乐园型4D剧院系统。该系统具有以下优点：与如剧院和博物馆的传统教育媒体相比，所添加的交互元素使学习部分更愉快和有效。与如CAVE的其他交互设施相比，实施例托管每个阶段的多个参加者，降低了人均培训费用并提供协作的培训环境。实施例提供一种交互并实时控制内容的方式，形成一种全新的娱乐体验。

正在几个方面改进该系统，包括立体效果、内容形成管道、简化目标和射击装置，以使其成为娱乐、教育和培训的多功能平台

尽管已经参照具体实施例讨论了发明，显而易见并且应该理解的是，可另外实施该概念以实现所讨论的优点。已经描述了主要作为大量并发用户的沉浸式虚拟现实系统和方法的以上优选实施例。在这方面，出于阐述和描述的目的，提出了虚拟现实环境的上述描述。此外，说明书并不旨在将本发明限制到本文所公开的形式。因此，与相关技术的以下教导、技能和知识一致的变型和修改在本发明的范围内。本文所述的实施例进一步旨在解释用于实践因此公开的本发明的模式，并且使本领域技术的其他人员在等同或替代实施例中利用本发明以及具有通过本发明的特定应用或使用所考虑必需的各种修改。

Claims (41)

1.一种用于为多个用户提供沉浸式虚拟现实环境的方法，该方法包括：

产生一个虚拟现实环境，该虚拟现实环境包括一具有至少一个虚拟对象的显示屏和一虚拟控制台，该虚拟控制台具有多个显示图标，每个所述显示图标均表示与所述虚拟对象相关的不同功能；

对每个用户提供一手持的交互式装置，每个所述交互式装置均具有多个灯，所述灯提供每个所述交互式装置的识别和跟踪信息，每个所述交互式装置均具有一触发机构，所述触发机构设置为传送一触发事件的发生；

对于形成单组用户的用户，分配给每个所述交互式装置一独特的角色，每个角色均具有一用于在所述虚拟现实环境中操纵所述虚拟对象的相关功能；

跟踪每个所述交互式装置，以确定每个所述交互式装置的当前状态，所述当前状态包括位置、方向、运动、触发事件的存在，以及每个所述交互式装置的识别；

基于分配给每个所述交互式装置的角色，来解释每个所述交互式装置的当前状态；

改变与所述角色相关的功能，从而基于对当前状态的解释来操纵所述虚拟对象；并且，

在所述虚拟现实环境中动态地显示被操纵的虚拟对象。

2.根据权利要求1所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，对每个交互式装置分配一独特的角色进一步包括：

使所有的交互式装置均具有发射虚拟射弹的角色；

在所述虚拟现实环境中显示一个或多个目标；

监控所述交互式装置的性能；以及

基于所述交互式装置的相对性能分配角色。

3.根据权利要求1所述的用于为多个用户提供沉浸式虚拟现实环境的方法，进一步包括对用户提供反馈。

4.根据权利要求3所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，对用户提供反馈包括以下中的一个或多个：提供声音效果，、启动运动座椅，提供视觉效果，或提供目标景象的视觉图象。

5.根据权利要求1所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，角色之一包括一领导角色，该领导角色具有在虚拟现实环境中发射虚拟射弹的功能。

6.根据权利要求5所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，解释具有该领导角色的交互式装置的状态进一步包括：

从具有该领导角色的交互式装置检测触发事件的存在；

基于具有领导角色的交互式装置的位置和方向来确定所述虚拟射弹的轨迹；以及

确定虚拟射弹的轨迹是否影响一个或多个虚拟对象。

7.根据权利要求1所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，所述角色包括用于发射虚拟射弹的领导角色，用于操纵虚拟对象的转向角色，用于控制虚拟对象速度的速度控制角色，以及用于将所述交互式装置瞄准一虚拟对象的武器瞄准角色。

8.一种用于为多个用户提供沉浸式虚拟现实环境的方法，该方法包括：

从多个用户形成第一组用户和第二组用户；

将一手持的交互式装置提供给所述第一组用户和第二组用户中的每个用户，每个交互式装置均具有多个灯，所述灯传送每个所述交互式装置的标识，每个所述交互式装置均具有一触发机构，所述触发机构设置为传送一触发事件的发生；

产生一个虚拟现实环境，所述虚拟现实环境包括具有至少一个虚拟对象的显示屏和一个分别用于第一组和第二组的第一虚拟控制台和第二虚拟控制台，每个虚拟控制台均具有多个显示图标，每个所述显示图标均表示与所述虚拟对象相关的不同功能；

对于在第一组用户和第二组用户内的用户，分配一独特的角色给每个所述交互式装置,每个角色包括一用于在一虚拟环境中操纵虚拟对象的相关功能；

跟踪每个所述交互式装置，以确定每个所述交互式装置的当前状态，该当前状态包括位置、方向、运动、触发事件的存在，以及每个所述交互式装置的识别；

基于分配给每个所述交互式装置的角色和相关的组来解释每个所述交互式装置的当前状态；

操纵与所述虚拟对象相关的功能，以提供一被改变的虚拟对象；以及

动态地显示该被改变的虚拟对象。

9.根据权利要求8所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，产生一虚拟现实环境还包括提供具有表示第一组和第二组的虚拟对象的单一屏幕。

10.根据权利要求8所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，产生一虚拟现实环境还包括为所述第一组和第二组提供一单独的屏幕部分。

11.根据权利要求8所述的用于为多个用户提供沉浸式虚拟现实环境的方法，还包括形成附加组的用户。

12.根据权利要求8所述的用于为多个用户提供沉浸式虚拟现实环境的方法，进一步包括为用户提供反馈。

13.根据权利要求8所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，为用户提供反馈包括以下中的一个或多个：提供声音效果，启动运动座椅，提供视觉效果，或提供目标景象的视觉图象。

14.根据权利要求8所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，给每个所述交互式装置分配一独特的角色进一步包括：

对于第一组和第二组：

使所有的交互式装置具有发射虚拟射弹的角色；

在所述虚拟现实环境中显示一个或多个目标；

监控所述交互式装置的性能；以及

基于所述交互式装置的相对性能分配角色。

15.根据权利要求8所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，角色之一包括一领导角色，该领导角色具有在所述虚拟现实环境中发射虚拟射弹的功能。

16.根据权利要求15所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，解释具有领导角色的交互式装置的状态进一步包括：

从具有领导角色的交互式装置检测触发事件的存在；

基于具有领导角色的交互式装置的位置和方向确定该虚拟射弹的轨迹；以及

确定所述虚拟射弹的轨迹是否影响一个或多个虚拟对象。

17.根据权利要求8所述的用于为多个用户提供沉浸式虚拟现实环境的方法，其中，所述角色包括用于发射虚拟射弹的领导角色，用于操纵虚拟对象的转向角色，用于控制虚拟对象速度的速度控制角色，以及用于将交互式装置瞄准虚拟对象的武器瞄准角色。

18.一种用于为多组用户提供沉浸式虚拟现实环境的系统，该系统包括：

一个虚拟现实环境，所述虚拟现实环境包括用于数组用户的显示屏；

多个交互式装置，每个交互式装置包括：

一壳体，所述壳体具有桶部和柄部；

多个灯，所述灯位于所述桶部内，间隔开的所述灯形成一图案，该图案与一虚拟射弹的预期轨迹大致对正；

一触发机构，该触发机构被定位在所述柄部上；以及

一控制器，该控制器与所述触发机构相连，并为所述灯提供电流，所述控制器传送触发事件；

多个传感器，所述多个传感器对于灯信号和触发事件监控所述交互式装置，并输出每个交互式装置的实时装置当前状态；以及

系统控制器，该系统控制器接收每个装置的实时当前状态，并更新所述虚拟现实环境。

19.根据权利要求18所述的为多组用户提供沉浸式虚拟现实环境的系统，其中，所述虚拟现实环境还包括一球形屏幕。

20.根据权利要求18所述的为多组用户提供沉浸式虚拟现实环境的系统，其中，所述虚拟现实环境还包括一穹顶。

21.根据权利要求18所述的为多组用户提供沉浸式虚拟现实环境的系统，其中，所述虚拟现实环境还包括：

用于显示三维图象的球形屏幕；

用于多个用户的多个运动座椅；以及

用于为用户提供声音效果的环绕音响系统。

22.一种用于跟踪多个手持的交互式装置的系统，该系统包括：

用于多个用户的虚拟现实环境；

多个交互式装置，每个交互式装置包括：

一壳体，该壳体具有桶部和柄部；

多个灯，所述灯位于所述桶部内，间隔开的所述灯形成一图案，该图案与一虚拟射弹的预期轨迹大致对正；

一半透明的盖部，所述盖部围绕所述灯，并使灯可辐射将近360度远场发射图案；

一触发机构，该触发机构位于所述柄部；以及

一控制器，所述控制器与所述触发机构相连，并为所述灯提供电流，该控制器传送触发事件；

多个传感器，就灯信号和触发事件监控所述交互式装置，所述多个传感器输出每个所述交互式装置的实时装置当前状态；以及

一系统控制器，该系统控制器接收每个装置的实时当前状态，并更新所述虚拟现实环境。

23.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，每个所述交互式装置的多个灯包括第一灯和第二灯，所述第一灯和第二灯与虚拟射弹的预期轨迹共线和平行。

24.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，每个所述交互式装置的多个灯包括第一灯、第二灯和第三灯，所述第一灯、第二灯和第三灯与虚拟射弹的预期轨迹共线和平行。

25.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，每个所述交互式装置的多个灯包括第一灯、第二灯和第三灯，所述第一灯和第二灯与虚拟射弹的预期轨迹共线和平行，所述第三灯从该虚拟射弹的预期轨迹偏移。

26.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，每个所述交互式装置的多个灯包括第一灯、第二灯、第三灯和第四灯，所述第一灯和第二灯与虚拟射弹的预期轨迹共线和平行，所述第三灯和第四灯从虚拟射弹的预期轨迹偏移。

27.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，为所述灯提供电流的每个所述交互式装置的控制器还包括提供一个表示所述手持的交互式装置的独特标识的脉冲信号。

28.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，就灯信号和触发事件监控交互式装置的多个传感器与触发事件的监控异步地监控灯信号。

29.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，该系统控制器还设置为使一特定的交互式装置停止工作。

30.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，该系统控制器还设置为使一特定的交互式装置永久启动。

31.根据权利要求22所述的用于跟踪多个手持的交互式装置的系统，其中，更新所述虚拟现实环境包括在该虚拟现实环境中改变一虚拟对象。

32.一种手持的交互式装置，包括：

一壳体，该壳体具有桶部和柄部；

多个灯，所述多个灯位于所述桶部内，间隔开的所述灯形成一图案，该图案与一虚拟射弹的预期轨迹大致对正；

一半透明的盖部，所述盖部围绕所述灯，并使所述灯可辐射将近360度远场发射图案；

一触发机构，该触发机构位于所述柄部上；以及

一控制器，该控制器与所述触发机构相连，并向所述灯提供电流，该控制器传送触发事件。

33.根据权利要求32所述的手持的交互式装置，其中，所述多个灯为第一灯和第二灯，所述第一灯和第二灯与虚拟射弹的预期轨迹共线和平行。

34.根据权利要求32所述的手持的交互式装置，其中，所述多个灯为第一灯、第二灯和第三灯，所述第一灯、第二灯和第三灯与虚拟射弹的预期轨迹共线和平行。

35.根据权利要求32所述的手持的交互式装置，其中，所述多个灯为第一灯、第二灯和第三灯，所述第一灯和第二灯与虚拟射弹的预期轨迹共线和平行，所述第三灯从虚拟射弹的预期轨迹偏移。

36.根据权利要求32所述的手持的交互式装置，其中，所述多个灯为第一灯、第二灯、第三灯和第四灯，所述第一灯和第二灯与虚拟射弹的预期轨迹共线和平行，所述第三灯和第四灯从虚拟射弹的预期轨迹偏移。

37.根据权利要求32所述的手持的交互式装置，其中，向所述灯提供电流的控制器还包括提供一表示手持的交互式装置的独特标识的脉冲信号。

38.一种用于提供交互式装置的跟踪信息的方法，该方法包括：

向多个用户提供具有多个标志灯的交互式装置；

从每个交互式装置的标志灯产生脉冲灯信号，所述脉冲灯信号表示每个所述交互式装置的独特标识；

跟踪从所述交互式装置发射的光；

基于脉冲灯信号来确定与一特定的交互式装置相关的灯；

确定是否一个或多个灯被遮挡；以及

基于未被遮挡的装置的灯计算位置和方向。

39.根据权利要求38所述的用于提供交互式装置的跟踪信息的方法，其中，所述多个标志灯为间隔开形成一与虚拟射弹的预期轨迹大致对正的图案的灯。

40.根据权利要求38所述的用于提供交互式装置的跟踪信息的方法，其中，每个所述交互式装置的多个灯包括第一灯、第二灯和第三灯，所述第一灯、第二灯和第三灯与虚拟射弹的预期轨迹共线和平行。

41.根据权利要求40所述的用于提供交互式装置的跟踪信息的方法，其中，每个所述交互式装置的多个灯包括第一灯、第二灯、第三灯和第四灯，所述第一灯和第二灯与虚拟射弹的预期轨迹共线和平行，所述第三灯和第四灯从虚拟射弹的预期轨迹偏移。