CN110430421A - 一种用于五面led-cave的光学跟踪定位系统 - Google Patents

Abstract

本发明公开一种用于五面LED‑CAVE的光学跟踪定位系统，包括五面LED‑CAVE显示屏、光学跟踪计算机、光学跟踪相机以及目标标记设备；所述光学跟踪相机与光学跟踪计算机连接；所述目标标记设备佩戴在操作者身上，用于对操作者的身体部位进行标记；所述光学跟踪相机安装在五面LED‑CAVE显示屏内，用于捕捉操作者佩戴的目标标记设备，获取操作者在空间中的位置信息；所述光学跟踪计算机用于对所述光学跟踪相机获取的操作者位置信息进行处理分析，并根据光学跟踪相机的姿态信息得到操作者在空间内的姿态信息，从而映射出虚拟场景中人物视角的位置，并在所述五面LED‑CAVE显示屏上显示出与人物视角相对应的虚拟场景。

Description

一种用于五面LED-CAVE的光学跟踪定位系统

技术领域

本发明属于沉浸式虚拟现实显示技术领域，具体是一种用于五面LED-CAVE的光学跟 踪定位系统。

背景技术

CAVE系统可以应用于任何具有沉浸感需求的虚拟仿真应用领域，例如，虚拟设计与制 造、虚拟演示、协同规划等等，应用十分广泛；现有的大部分CAVE系统中，CAVE沉浸式虚拟现实显示系统是采用的立体投影机作为显示主设备，配合光学跟踪系统、音响系统、信号同步系统等构成，投影方式的CAVE系统效果比较柔和，画面较平滑，但由于投影机 的安装一般分为正投、背投两种，如果受场地空间限制，可采用正投方式，但是正投的CAVE 系统没有办法实现五面沉浸式，即左面、正面、右面、地面、顶幕五个方向均有渲染画面； 因此需要采用背投的方式安装，从幕布的后方离幕布约2.5米处将渲染画面投射在幕布上， 而此种方式对场景要求非常高，需要楼层空高为三层楼的纵向空间，以便让顶幕、地幕的 背投式投影机安装，即顶幕投影机由上而下安装输出画面，地幕投影机由下而上安装输出 画面。由此可见，投影方式的五面CAVE沉浸式虚拟现实显示系统对场地空间的限制很大， 并且市面上先进的立体工程投影机价格昂贵，成本较高，维护难度较大。

随着技术的发展，也出现了由LCD 3D拼接屏或大尺寸LCD 3D屏代替投影显示的技术，但在实际应用中，五面CAVE沉浸式虚拟显示系统中的操作者活动范围，主要依靠在CAVE的四个角落各安装一个光学跟踪摄像头，来捕捉操作者头戴式跟踪标记、手持式跟 踪手柄信号来进行识别，使得虚拟场景中可以“知道”操作者在空间内的活动范围，然而 五面CAVE系统是个封闭性较高的沉浸式环境，其光学定位跟踪系统则需要经过反复论证 跟踪摄像头的光路图，如何开孔安装，才能既要满足CAVE空间内的有效活动范围满足仿 真操作的需求，又要尽量避免破坏虚拟现实渲染画面的完整性。

公开号为CN107147899A的中国专利公开了一种采用LED 3D屏幕的CAVE显示系统及方法，该方法包括以下步骤：采集3D眼镜上红外标记点的坐标位置；利用所述坐标位 置估算出用户双眼的位置；根据所述位置计算得到相对所述3D眼镜显示的两组画面；在 LED3D屏幕上交替显示所述两组画面；对所述3D眼镜进行左、右镜片开关切换，切换频 率与所述两组画面交替显示的切换频率相配合。该发明可实际应用在明亮的室内环境，甚 至室外环境；虚拟现实空间画面色彩饱和度高，显示屏间拼接无缝，给用户很好的观看效 果，使用寿命长。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种用于五面LED-CAVE的光学跟踪 定位系统，既能满足CAVE空间内的有效活动范围，还能有效避免破坏虚拟现实渲染画面的完整性。

为实现上述目的，本发明采用的技术方案是：

一种用于五面LED-CAVE的光学跟踪定位系统，包括五面LED-CAVE显示屏、光学跟踪 计算机、光学跟踪相机以及目标标记设备；所述五面LED-CAVE显示屏由正幕、左幕、右幕、地幕以及顶幕合围组成；所述光学跟踪相机与光学跟踪计算机连接；所述目标标记设备佩戴在操作者身上，用于对操作者的身体部位进行标记；所述光学跟踪相机安装在五面LED-CAVE显示屏内，用于捕捉操作者佩戴的目标标记设备，获取操作者在空间中的位置信息；所述光学跟踪计算机用于对所述光学跟踪相机获取的操作者位置信息进行处理分析，并根据光学跟踪相机的姿态信息得到操作者在空间内的姿态信息，从而映射出虚拟场景中人物视角的位置，并在所述五面LED-CAVE显示屏上显示出与人物视角相对应的虚拟场景。

具体地，所述光学跟踪相机包括4个主摄像头、2个辅助摄像头；所述主摄像头/辅助 摄像头内部配置有低噪音CCD芯片以及对拍摄数据进行优化的FPGA芯片；所述光学跟踪相机还包括内部PC机，用于计算操作者在空间中的二维位置信息。

进一步地，所述主摄像头/辅助摄像头还配置有红外闪光灯，用于对目标标记设备进 行补光。

进一步地，所述4个主摄像头分别设置在左幕的前上方、前下方以及右幕的前上方、 前下方4个位置；所述2个辅助摄像头分别设置在所述顶幕的后方两侧，所述主摄像头、辅助摄像头均为红外发射摄像头。

进一步地，所述左幕的前上方、前下方以及右幕的前上方、前下方分别设有4个用于 安装所述主摄像头的安装孔；所述安装孔为斜锥形安装孔，通过设置所述斜锥形安装孔， 便于调节摄像头的拍摄角度。

进一步地，所述2个辅助摄像头通过云台安装在所述顶幕后方，所述云台通过焊接方 式安装在所述顶幕上，所述云台为方向可调节的云台。

具体地，所述目标标记设备包括3D眼镜套件、头戴式设备、操作手柄中的一种或多种；所述3D眼镜套件、头戴式设备、操作手柄上均设有定位反光球，所述定位反光球为 红外定位反光球。

具体地，所述光学跟踪计算机还设有同步卡，用于同步每个工作站渲染的虚拟现实画 面。

与上述一种用于五面LED-CAVE的光学跟踪定位系统相对应的，本发明还提供了一种 用于五面LED-CAVE的光学跟踪定位方法，通过安装在五面LED-CAVE显示屏内的光学跟踪 相机捕捉操作者佩戴的目标标记设备，获取操作者在空间内的位置信息；通过光学跟踪计 算机获取光学跟踪相机6自由度的姿态信息，并根据光学跟踪相机的姿态信息计算得到操 作者在空间内的姿态信息，最后结合操作者在空间内的位置信息和姿态信息映射出虚拟场 景中人物视角的位置，并在所述五面LED-CAVE显示屏上显示出与人物视角相对应的虚拟 场景。

与现有技术相比，本发明的有益效果是：本发明通过在屋面LED-CAVE显示屏的左幕、 右幕、顶幕各安装2个红外发射摄像头来捕捉操作者所佩戴的目标标记设备，从而获取操 作者在空间内的位置信息，并根据6个红外发射摄像头各自6自由度的姿态信息计算得到 操作者在空间内的姿态信息，最后结合操作者在空间内的位置信息和姿态信息，映射出虚 拟场景中人物视角的位置，实现了对操作者行为动作的精准跟踪定位，从而使得操作者的 沉浸感更强，体验效果更好；且摄像头的安装位置及安装方式给操作者提供了更大的活动 范围，同时不影响虚拟现实渲染画面的完整性。

附图说明

图1为本发明是实例中五面LED-CAVE的光学跟踪定位系统的整体安装结构示意图；

图2为本发明实施例中光学跟踪定位系统的原理框图；

图3为本发明实施例中一种用于五面LED-CAVE的光学跟踪定位方法的流程示意框图；

图中：1、正幕；2、左幕；3、右幕；4、顶幕；5、地幕；6、主摄像头；7、辅助摄 像头；8、斜锥形安装孔；9、云台；10、定位反光球。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发 明保护的范围。

如图1至3所示，本实施例提供了一种用于五面LED-CAVE的光学跟踪定位系统，包括五面LED-CAVE显示屏、光学跟踪计算机、光学跟踪相机以及目标标记设备；所述五面LED-CAVE显示屏由正幕1、左幕2、右幕3、地幕5以及顶幕4合围组成；所述光学跟踪 相机与光学跟踪计算机通过超五类网线连接；所述目标标记设备佩戴在操作者身上，用于 对操作者的身体部位进行标记；所述光学跟踪相机安装在五面LED-CAVE显示屏内，用于 捕捉操作者佩戴的目标标记设备，获取操作者在空间中的位置信息；所述光学跟踪计算机 用于对所述光学跟踪相机获取的操作者位置信息进行处理分析，并根据光学跟踪相机的姿 态信息得到操作者在空间内的姿态信息，从而映射出虚拟场景中人物视角的位置，并在所 述五面LED-CAVE显示屏上显示出与人物视角相对应的虚拟场景。

具体地，所述光学跟踪相机包括4个主摄像头6、2个辅助摄像头7；所述主摄像头6/辅助摄像头7内部配置有低噪音CCD芯片以及对拍摄数据进行优化的FPGA芯片；所述 光学跟踪相机还包括内部PC机，用于计算操作者在空间中的二维位置信息。

进一步地，所述主摄像头6/辅助摄像头7还配置有红外闪光灯，用于对目标标记设备 进行补光。

进一步地，所述4个主摄像头6分别设置在左幕2的前上方、前下方以及右幕3的前上方、前下方4个位置；所述2个辅助摄像头7分别设置在所述顶幕4的后方两侧，所述 主摄像头6、辅助摄像头7均为红外发射摄像头；所述光学发射摄像头的有效捕捉距离为 4.5米以内，最佳捕捉距离为3.5～4.5米，经过光学跟踪光路图模拟试验证明，这种安装 结构既能保证画面的完整性，又能保证最大限度的操作者的有效活动范围。

进一步地，所述左幕2的前上方、前下方以及右幕3的前上方、前下方分别设有4个用于安装所述主摄像头6的安装孔；所述安装孔为斜锥形安装孔8，通过设置所述斜锥形 安装孔8，便于调节摄像头的拍摄角度；其中，前上方定义为靠近正幕1的一边的上方， 前下方定义为靠近正幕1的一边的下方；所述正幕1、左幕2、右幕3、顶幕4和地幕5均 安装在用于承载屏体的钢结构架上，所述钢结构架的正面用于安装屏体，所述钢结构架的 背面通过木板封装。开孔时，所述斜锥形安装孔8的开孔方向始终对着操作者佩戴的标记 设备(即主摄像头6始终对着操作者的双眼方位)，操作者站在与正幕1距离2m左右的 位置；所述斜锥形安装孔8占据了约30*30个像素点。

所述锥形孔8位于屏幕正面的圆孔直径为45mm，位于屏幕背面的圆孔直径可根据摄像 头可调节角度灵活设定，角度越大，该圆孔直径越大；位于左幕2/右幕3上方的斜锥形安 装孔8朝向下开孔，位于左幕2/右幕3下方的斜锥形安装孔8朝向上开孔，方便调节摄像头的方向更好的捕捉到目标标记设备。

进一步地，所述2个辅助摄像头7通过云台9安装在所述顶幕4后方，所述云台9通过焊接方式安装在所述顶幕4上，所述云台9为方向可调节的云台9；其中，顶幕4后方 定义为顶幕4上远离正幕1的一端；所述2个辅助摄像头7用于在操作者侧身或者转身动 作时，对操作者的动作进行捕捉。

具体地，所述目标标记设备包括3D眼镜套件、头戴式设备、操作手柄中的一种或多种；所述3D眼镜套件、头戴式设备、操作手柄上均设有定位反光球10，所述定位反光球 10为红外定位反光球。

具体地，所述光学跟踪计算机还设有同步卡SyncCard2，用于同步每个工作站渲染的 虚拟现实画面。

本实施例一种用于五面LED-CAVE的光学跟踪定位系统的跟踪定位原理如下：通过光 学跟踪计算机在五面LED-CAVE显示屏内建立空间坐标系，并根据6个摄像头安装的位置及各自调节的角度获取6个摄像头的自由度的姿态信息，即各摄像头在空间坐标系中的坐标；当操作者佩戴好3D眼镜套件后，6个摄像头同时对五面LED-CAVE显示屏内的空间进 行覆盖拍摄，摄像头发出的红外光经3D眼镜套件上的红外定位反光球10反射后再次被摄 像头捕获，光学跟踪计算机根据摄像头发射和接收的红外光的角度及时间间隔即可精确计算出操作者在空间中的三维坐标；光学跟踪计算机再根据6个摄像头各自在坐标系内自由度的姿态信息计算出操作者的姿态信息(操作者面部朝向，及视角)，最后，光学跟踪计 算机根据操作者在空间内的三维坐标以及姿态信息映射出虚拟场景中人物视角对应的虚 拟画面信息(根据操作者的三维坐标放大/缩小虚拟场景中画面的大小，根据操作者的姿 态信息切换虚拟场景中的画面信息)，并在五面LED-CAVE显示屏上显示出与人物视角相 对应的虚拟场景。

如图3所示，与上述一种用于五面LED-CAVE的光学跟踪定位系统相对应的，本实施例还提供了一种用于五面LED-CAVE的光学跟踪定位方法，具体包括以下步骤：

S1，安装光学跟踪相机，分别将在左幕2、右幕3及顶幕4上各安装2个摄像头；

S2，对五面LED-CAVE显示屏内的活动范围进行空间校准；

S3，通过光学跟踪相机实时捕捉操作者的三维空间坐标；

S4，通过光学跟踪计算机实时获取光学跟踪相机6自由度的姿态信息；

S5，根据操作者在空间中的三维坐标和姿态信息映射出虚拟场景中人物视角对应的虚 拟画面信息；并在五面LED-CAVE显示屏上显示出与人物视角相对应的虚拟场景。

具体地，步骤S2中，对显示屏内的活动范围进行空间校准的方法为：将LED-CAVE显示屏的主控机与光学跟踪计算机的主机通过局域网连接，首先利用校准板校准空间中的坐标系，然后校准操作手柄，操作者右手手持手柄水平指向前方，保证手柄前端与立面垂直，利用主控机上的DTrack软件进行校准；再让操作者戴上设有定位反光球10的3D眼镜套 件，平视前方，利用DTrack软件进行校准；当手柄和3D眼镜套件上的定位反光球10都 能被光学跟踪相机捕捉到时，校准完毕。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解 在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变 型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种用于五面LED-CAVE的光学跟踪定位系统，其特征在于，包括五面LED-CAVE显示屏、光学跟踪计算机、光学跟踪相机以及目标标记设备；所述五面LED-CAVE显示屏由正幕、左幕、右幕、地幕以及顶幕合围组成；所述光学跟踪相机与光学跟踪计算机连接；所述目标标记设备佩戴在操作者身上，用于对操作者的身体部位进行标记；所述光学跟踪相机安装在五面LED-CAVE显示屏内，用于捕捉操作者佩戴的目标标记设备，获取操作者在空间中的位置信息；所述光学跟踪计算机用于对所述光学跟踪相机获取的操作者位置信息进行处理分析，并根据光学跟踪相机的姿态信息得到操作者在空间内的姿态信息，从而映射出虚拟场景中人物视角的位置，并在所述五面LED-CAVE显示屏上显示出与人物视角相对应的虚拟场景。

2.根据权利要求1所述的一种用于五面LED-CAVE的光学跟踪定位系统，其特征在于，所述光学跟踪相机包括4个主摄像头、2个辅助摄像头；所述主摄像头/辅助摄像头内部配置有低噪音CCD芯片以及对拍摄数据进行优化的FPGA芯片；所述光学跟踪相机还包括用于二维计算的内部PC机。

3.根据权利要求2所述的一种用于五面LED-CAVE的光学跟踪定位系统，其特征在于，所述主摄像头/辅助摄像头还配置有红外闪光灯。

4.根据权利要求2所述的一种用于五面LED-CAVE的光学跟踪定位系统，其特征在于，所述4个主摄像头分别设置在左幕的前上方、前下方以及右幕的前上方、前下方4个位置；所述2个辅助摄像头分别设置在所述顶幕的后方两侧。

5.根据权利要求4所述的一种用于五面LED-CAVE的光学跟踪定位系统，其特征在于，所述左幕的前上方、前下方以及右幕的前上方、前下方分别设有4个用于安装所述主摄像头的安装孔；所述安装孔为斜锥形安装孔。

6.根据权利要求4所述的一种用于五面LED-CAVE的光学跟踪定位系统，其特征在于，所述2个辅助摄像头通过云台安装在所述顶幕后方。

7.根据权利要求1所述的一种用于五面LED-CAVE的光学跟踪定位系统，其特征在于，所述目标标记设备包括3D眼镜套件、头戴式设备、操作手柄中的一种或多种；所述3D眼镜套件、头戴式设备、操作手柄上均设有定位反光球。

8.根据权利要求1所述的一种用于五面LED-CAVE的光学跟踪定位系统，其特征在于，所述光学跟踪计算机还设有同步卡，用于同步每个工作站渲染的虚拟现实画面。

9.一种基于权利要求1至8任一项所述的光学跟踪定位系统的跟踪定位方法，其特征在于，通过安装在五面LED-CAVE显示屏内的光学跟踪相机捕捉操作者佩戴的目标标记设备，获取操作者在空间内的位置信息；通过光学跟踪计算机获取光学跟踪相机6自由度的姿态信息，并根据光学跟踪相机的姿态信息计算得到操作者在空间内的姿态信息，最后结合操作者在空间内的位置信息和姿态信息映射出虚拟场景中人物视角的位置，并在所述五面LED-CAVE显示屏上显示出与人物视角相对应的虚拟场景。