CN109345635B - 无标记点虚拟现实混合表演系统 - Google Patents

Abstract

本发明提供了一种无标记点虚拟现实混合表演系统。包括:追踪定位系统、摄像机、色键器、工作站和视频监视器，追踪定位系统用于判定和跟踪摄像机在时间和空间的移动，选取摄像机的移动过程中的多个标记点；摄像机拍摄现实中的人、物和场景，色键器将视频画面中的颜色变成透明后传输给工作站；工作站根据追踪定位系统传输过来的各个标记点的位置信息和时间信息，在三维虚拟空间中建立出三维的空间点位坐标并加载定制的虚拟表演场景，将加载了虚拟表演场景的三维的空间点位坐标与透明处理后的视频画面进行合成，得到虚拟现实混合表演视频。本发明能够实现将真实和虚拟有效地结合在了一起，使得增强现实制作、虚拟现实制作成为了可能。

Description

无标记点虚拟现实混合表演系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种无标记点虚拟现实混合表演系统。

背景技术

目前，虚拟现实技术所应用的领域主要在：影视创作、广播电视、动漫制作、游戏制作、工业事业、医疗事业、教育事业等。

由于科技的发展和国家的大力扶持，增强现实和虚拟现实技术迅速崛起，真实与虚拟相结合的东西越来越多地出现在我们生活当中，而且也备受关注，随着虚拟现实增强现实的制作越来越趋于成熟。且伴随着虚实结合的技术的发展与进步的同时，越来越多的人开始关注到了虚拟现实这一领域。在虚拟现实还没有逐渐被人们所注意到的时候，人们想要和自己的偶像同台、甚至更加不可思议的是和自己非常喜欢已故偶像同台，那是只可想象一下而已，想要实现是真的不可能。

目前，现有技术中还没有一种有效地将真实和虚拟结合在一起混合表演的方案。

发明内容

本发明的实施例提供了一种无标记点虚拟现实混合表演系统，以实现虚拟和现实的视效混合预演。

为了实现上述目的，本发明采取了如下技术方案。

本发明提供了如下方案：

一种无标记点虚拟现实混合表演系统，包括：追踪定位系统、摄像机、色键器、工作站和视频监视器，所述工作站与所述追踪定位系统、色键器和视频监视器电路连接，所述追踪定位系统与所述摄像机通过机械手臂相连接，所述摄像机与所述色键器有线连接；

所述追踪定位系统，用于判定和跟踪摄像机在时间和空间的移动，选取摄像机的移动过程中的多个标记点，记录各个标记点的位置信息和时间信息并传输给所述工作站；

所述摄像机，用于拍摄现实中的人、物和场景，将所拍摄的视频画面传输给色键器；

所述色键器，用于将所述摄像机传输过来的视频画面中的颜色变成透明后传输给所述工作站；

所述工作站，用于根据所述追踪定位系统传输过来的各个标记点的位置信息和时间信息，在三维虚拟空间中建立出三维的空间点位坐标，并在所述三维的空间点位坐标中加载定制的虚拟表演场景，将加载了虚拟表演场景的三维的空间点位坐标与所述透明处理后的视频画面进行合成，得到虚拟现实混合表演视频；

所述视频监视器，用于将所述工作站得到的虚拟现实混合表演视频进行展示。

进一步地，在所述追踪定位系统的上下左右分别设置一个直径为8mm大的螺丝空洞，在追踪定位系统的底端嵌有一个RJ45网线接口，所述RJ45网线接口通过网线与所述工作站相连，所述RJ45网线接口还通过螺丝杆与机械手臂相连接，在所述机械手臂的另一端通过螺丝杆与所述摄像机连接，用所述机械手臂来调整所述追踪定位系统与所述摄像机保持水平之后，固定机械手臂上的固定螺栓。

进一步地，在所述摄像机上设置有数字分量串行接口SDI输出端口，该SDI输出端口通过一个SDI线与所述色键器连接，所述摄像机通过SDI线将所拍摄的画面信息传输给色键器。

进一步地，所述追踪定位系统上的RJ45网线接入工作站面板上的网线端接口，所述色键器的SDI输出端口用一跟SDI线与所述工作站相连接。

进一步地，所述的追踪定位系统包括光学动捕摄像机和处理器：

所述的光学动捕摄像机，用于通过摄像头发射红外线，该红外线照射到场地中的动捕演员所穿的动捕服装上的反光点上，将所述反光点作为标记点，接收所述反光点折射回来的红外线；

所述的处理器，用于根据动捕摄像机发射的红外线的发射时间和发射角度，以及折射回来的红外线的接收时间和接收角度获取各个标记点对应的位置信息和时间信息。

进一步地，所述动捕服装包括帽子、手套、上衣、裤子和鞋子，在所述动捕服装上位于人体的每个骨骼节点的位置粘贴一个用于光学动作捕捉的红外反光球，所述红外反光球的数量为53个，所述53个红外反光球共同构成人体的骨骼结构。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例提供的无标记点虚拟现实混合表演系统通过利用现实场景中的标记点的位置信息和时间信息建立三维的空间点位坐标，将加载了虚拟表演场景的三维的空间点位坐标与透明处理后的视频画面进行合成，能够实现将真实和虚拟有效地结合在了一起。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明实施实例所提供的无标记点虚拟现实混合表演系统的结构示意图，其中，追踪定位系统1、摄像机2、色键器3、工作站4、视频监视器5；

图2为本发明实施实例所提供的无标记点虚拟现实混合表演系统的虚拟现实混合预演效果示意图；

图3-1，图3-2为本发明实施实例所提供的无标记点虚拟现实混合表演系统的增强现实混合预演效果示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例一

本发明实施例提供的无标记点虚拟现实混合表演系统的主要的功能是虚拟与现实相结合，实现真人和虚拟人、物进行互动，真实人物和虚拟的背景相结合。并且可以提前预演增强现实之后的画面，对于影视制作、医疗、动漫、教学等领域来说可提前预演并可节省成本和缩短制作的时间。

图1为本发明实施实例提供的无标记点虚拟现实混合表演系统的结构示意图，包括：追踪定位系统1，摄像机2，色键器3，工作站4和视频监视器5。

所述的追踪定位系统1，用于提供一个增强现实的解决方案，其工作原理是判定和跟踪摄像机在时间和空间的移动，选取摄像机的移动过程中的多个标记点，并记录各个标记点的位置信息和时间信息和时间信息。上述各个标记点可以作为2D跟踪和3D跟踪中的对比点。

而这些标记点必须要相对固定：如果追踪定位系统里只看到移动的物体的话，就不可能计算出摄像机的运动，而如果所选取的标记点位置不动，标记点在时间上的运动将会被分析出来。在移动过程中，最接近追踪定位系统的标记点比最远的标记点在图像中移动的更快。根据这些标记点之间的速度差异，可以计算出这些标记点到追踪定位系统的距离，一旦这些标记点的位置信息在工作站中所确定，就可以反算出追踪定位系统的位置，并可计算模拟出在三维场景中的场景坐标点。

追踪定位系统1的目的是能够像真实摄像机那样，从摄像机的视点渲染出一个3D场景。追踪定位系统的跟踪技术使得真实元素和生成的虚拟元素合成后再进行混合制作。大多数的视觉效果(特效)和增强现实都是依赖于这样的一个技术。

所述的追踪定位系统包括光学动捕摄像机和处理器。

所述的光学动捕摄像机，用于通过摄像头发射红外线，该红外线照射到场地中的动捕演员所穿的动捕服装上的反光点上，将所述反光点作为标记点，接收所述反光点折射回来的红外线；

所述的处理器，用于根据动捕摄像机发射的红外线的发射时间和发射角度，以及折射回来的红外线的接收时间和接收角度获取各个标记点对应的位置信息和时间信息。

连接方式：在追踪定位系统的上下左右分别有一个直径为8mm大的螺丝空洞，在追踪定位系统的底端嵌有一个RJ45网线接口，该RJ45网线接口用一根网线与工作站相连。而RJ45网线接口本身和机械手臂相连接，而在机械手臂的两端分别可拧入8mm大小的螺丝杆，把机械手臂的一段拧入追踪定位系统，另一端拧入摄像机顶端，用机械手臂来调整追踪定位系统与摄像机保持水平之后，固定机械手臂上的固定螺栓。在保证摄像机追踪定位单元和我们的拍摄摄影机保持相对位置不动的情况下，工作站里会将二者进行匹配，这样两个摄像机的位移和旋转信息就保持一致了。

所述的摄像机2，是用来拍摄现实中的人、物和场景，由一个摄像机和一个三角支架构成，而在摄像机的底部有一个长方形的卡槽，在卡槽内放入一个云台板并加以固定。在三角支架的顶端有一个正好可嵌入所述云台板的卡槽，把摄像机的底端嵌入三角支架上并且用顶丝固定好，这样摄像机就与三角支架成功的绑定在一起了。

连接方式：在摄像机2上设置有一个SDI(serial digital interface，数字分量串行接口)输出端口。该SDI输出端口通过一个SDI线与色键器3向连接，通过SDI线把摄像机2所拍摄的视频画面信息传输给色键器3。

所述的色键器3，是一种键控特技效果，用于把摄像机2传输过来的视频画面中一种或几种特定颜色变成透明，从而使得实拍角色以一个干净的资产展现出来，以便图像的处理合成，将透明处理后的视频画面传输给工作站。

形状为450mm X 230mm的立体长方形(形状类似于DVD录影机)。在色键器3的后面板上有各种接线口。对于无标记点虚拟现实混合表演系统来说最主要的是SDI输入和输出端口，RJ45网线接口，VGA(Video GraphicsArray，视频图形阵列)端口和电源输入端口。

连接方式：把摄像机上的SDI线接入到色键器上的SDI输入端口上，用一根电源线和色键器的电源输入端口相连。

所述的工作站4，其主要的功能作用是用来把前期的追踪定位系统、摄像机和色键器的所有数据都传入到工作站中进行分门别类的解算处理。

追踪定位系统把现场中的标记点的位置信息收集记录下来并传输给工作站，工作站根据所述追踪定位系统传输过来的各个标记点的位置信息和时间信息，在三维虚拟空间中建立出三维的空间点位坐标。摄像机将所拍摄的视频画面传输给色键器，色键器进行抠像处理之后的数据信息实时发送给工作站，工作站进行真实人、物与虚拟人物、场景的相结合处理。

工作站在所述三维的空间点位坐标中加载定制的虚拟表演场景，该虚拟表演场景中包括虚拟的人物，将加载了虚拟表演场景的三维的空间点位坐标与所述透明处理后的视频画面进行合成，得到虚拟现实混合表演视频。工作站进行真实人、物与虚拟人物、场景的相结合处理，最终呈现出虚实结合的增强现实效果。

连接方式：工作站在整个虚拟现实当中起到了决定性的作用，追踪定位系统上的RJ45网线接入工作站面板上的网线端接口，摄像机与色键器相连，而色键器的SDI输出端口用一跟SDI线与工作站相连接。

视频监视器5，其主要的功能是用于预览追踪定位系统、摄像机、色键器和工作站的所有体系系统的工作成果的最终所合成的画面信息。

连接方式：视频监视器5与工作站、色键器相连接，色键器抠像完成的画面与工作站处理后的真实人、物、与虚拟的人物、场景结合形成最终画面影像，通过VGA连接线接入到视频监视器上，供给观众预览不一样的视觉盛宴。

实施例二

在实际应用中，我们都知道虚拟现实(特效)、增强现实(特效)可是它究竟是如何制作而成的虚拟现实和增强现实的特效呢？如上述所述的无标记点虚拟现实混合表演系统只是整个生产过程中的一个不可或缺的部分，那么还有一部分：那就是人物和场地。只有这两部分都满足了才能最终制作成为图2所示的虚拟现实(特效)。所谓的虚拟现实效果，就是真实的人或者物通过特定的引擎进入到虚拟的场景当中，以此来实现真虚结合的特技效果。

图2为本发明实施实例所提供的无标记点虚拟现实混合表演系统的虚拟现实混合预演效果示意图，其中包括：真人、真物和虚拟场景。

其中图2所述的真人、真物，是指，通过上述所述的摄像机把所拍摄到的画面人物信息传输到色键器中进行处理。

其连接方式和工作原理是：把摄像机所拍摄到的人物通过SDI线缆传输给色键器，色键器进行多余颜色的色键抠像处理。其目的是为了能够和工作站中的引擎相结合。

其中图2所述的虚拟场景：是指追踪定位系统把所拍摄到的位置信息和时间信息进行记录，然后通过网线的方式传输个工作站，并在工作站中的特定软件中创建出三维空间体系坐标，并把经过UE工程师进行编辑开发出的场景加载处理，之后在工作站中展示出来。

连接方式：把工作站中的软件系统UE打开并且加载出预先制作好的虚拟背景，之后与色键器相连接进行最后的真虚结合处理完成之后就呈现出下图中图2所示的追踪真虚结合的效果。

实施例三

图3-1，图3-2为本发明实施实例所提供的无标记点虚拟现实混合表演系统的增强现实混合预演效果示意图，其中包括：动捕演员、光学动捕摄像机、表演者和虚拟场景四部分构成。

其中图3-1，图3-2所述的动捕演员，工作原理是身着粘贴有红外反光球的动捕服装，以此达到的目的是实时传输数据驱动虚拟的人物模型，让虚拟人物来做你的动作，也就是说你做什么样的动作，虚拟人物模型就做什么样的动作。

动捕演员的动捕服装：构成是由帽子、手套、上衣、裤子、鞋子。在位于人体的每个骨骼节点的位置粘贴一个用于光学动作捕捉的红外反光球，由于人体的结构特殊性，在人体粘贴53个用于光学动作捕捉的无线红外发光贴片，由这53个红外反光球共同构成人体的骨骼。

所述的动捕服装是由特殊布料制作而成，这些布料的整体颜色为黑色，布料的正面为短拉绒，反面为透气尼龙面。使用这种布料的好处在于透气性好、弹性随着人物身材而定，始终保持着紧身的效果，而且布料的正面是短拉绒，可以很好地粘贴固定红外反光球。

帽子上一共粘贴5个带有贴片的红外反光球，分别位于帽子的前后各两个和一个正中间位置，用作平面图来表示就是正方形中间加一个点。

每只手套上粘贴4个带有贴片的红外反光球，共计8个，分别在手腕处的左右两个骨节各一个，手背上食指根部骨骼一个和小拇指根部骨骼一个。

上衣共粘贴14个带有贴片的红外反光球，分别位于左右肩骨骼处前后各一个、脖子下根部骨骼处前后各一个、胸部下面骨骼处前后各一个、腰间分别位于两侧胯骨前后各3个、肚脐下前后各一个。

裤子上粘贴共10个带有贴片的红外反光球，分别在左右大腿外侧可一个、每个膝盖两侧各一个、左右小腿外侧各一个、左右脚踝骨各一个。

每只鞋子上粘贴4个带有贴片的红外反光球，共计8个，分别在鞋子的前脚尖、左右脚内踝骨和外踝骨出各粘贴一个、左右脚后根部各粘贴一个。

上述动捕服装的结构可以让穿有动捕服装的动捕演员来驱动，虚拟的人物模型。

其中图3-1，图3-2所述的光学动捕摄像机的工作原理为：由光学动捕摄像机的摄像头发送出红外线，并照射到场地中的动捕演员所穿的动捕服装上的反光点上，且折射回动捕摄像机，并进行动捕演员身上的位置信息的位置记录。把记录下来的二维位置信息传出给工作站，并在工作站中创建出三维的虚拟空间点位，且解算出人体的骨骼模型。最后用所解算出的骨骼模型来驱动图3中的虚拟人物模型。最终达到的效果是：动捕演员动虚拟人物模型就动，动捕演员不动虚拟人物模型就不动。

其中图3-1，图3-2所述的动捕演员和表演者都是真人，而不同的是动捕演员穿有特定颜色的动捕衣服后，就会通过色键器进行色键抠像技术处理(把这个真人色键成为透明人)。而表演者所穿的衣服并不是色键器所色键抠除的颜色，所以在图3所示的第二张图中只能看到一个表演者。

其中图3-1，图3-2所述的虚拟场景是指：追踪定位系统把所拍摄到的位置信息和时间信息进行记录，然后通过网线的方式传输个工作站，并在工作站中的特定软件中创建出三维空间体系坐标，并把经过UE工程师进行编辑开发出的场景加载处理，之后在工作站中展示出来。

连接方式：是把工作站中的软件系统UE打开并且加载出预先制作好的虚拟背景，之后与色键器相连接进行最后的真虚结合处理完成之后就呈现出下图中图3-1，图3-2所示的真虚结合增强现实的效果。

基于上述的图1、图2、图3-1，图3-2所述的无标记点虚拟现实混合表演系统的结构和连接方式，可以充分的体现出无标记点虚拟现实混合表演系统的全部组成结构。那么接下来我们来部分分析下无标记点虚拟现实混合表演系统的软件部分。

无标记点虚拟现实混合表演系统的软件部分面板介绍：

软件面板包括的主要内容有：

菜单栏

运行工具

追踪装置设置

版面排列

常规显示工具

单视图显示工具

工程树面板

主视窗口

·用户可以通过菜单栏选择所有的动能

(1)文件：文件菜单栏包含加载、保存工程和点云的功能。

(2)创建工程：当点击创建工程时，会为你自动创建出一个新的工程文件出来。

(3)清除工程：当点击菜单栏中的“清除工程”会帮助您删除一种虚拟视效混合表演系统默认加载全局项目目录找那个保存的所有预设。

(4)加载地图：允许您只加载点云和其相应的survey

(5)保存地图：允许您保存点云和其相应的survey

·用户可以通过运行工具菜单栏选择所有功能：

(1)创建工程目录：选择“运行工具”→“创建工程目录”

(2)加载工程目录：选择“运行工具”→“加载工程目录”可以把所创建出的工程自动加载到程序中。

(3)保存工程：选择“运行工具”→“保存工程”会直接把现运行当中的工程自动保存到我们预先设置好的存储目录当中。

(4)添加追踪定位系统：选择“运行工具”→“追踪定位系统”会自动把追踪定位系统显示在我们的主视图窗口中。

(5)添加摄像机：选择“运行工具”→“摄像机”会直接把摄像机所传输过来的视频画面信息同样加载到主视图窗口中。

(6)初始化追踪：选择“运行工具”→“初始化追踪”点击此按钮会直接初始化追踪定位系统在三维空间中的位置信息。

(7)确定世界原点：选择“运行工具”→“确定世界原点”点击按钮时会在三维虚拟世界中确定虚拟空间中心点的位置。

(8)增加追踪关键帧：选择“运行工具”→“追踪关键帧”点击此功能按钮时会直接把真实场地中的点位帧信息添加记录下来。

(9)启用/禁用学习功能：选择“运行工具”→“启用/禁用学习功能”此功能是针对追踪定位系统而言的，当第一次点击时会启动追踪定位系统的追踪定位功能，在此点击会关闭其功能。

(10)延迟设置：选择“运行工具”→“延迟设置”会自动弹出个窗口可在窗口中的数值进行改动，以此来调节我们摄像机和追踪定位系统所传输过来的视频画面和空间位置信息的延迟性。

·用户可以通过追踪装置设置菜单选择以下功能：

无标记点虚拟现实混合表演系统可以通过软件中的追踪设置装置来更改追踪定位单元的界面颜色，更改后追踪设置工具栏的图标将更改成相应的颜色以匹配跟中单元的界面颜色。

·用户可以通过版面排列菜单调节以下功能：

可以把通过此功能对界面中所排列的快捷工具进行重新排列，可对其进行排列、增加、删除。

·用户可以通过常规显示工具菜单选择以下所有功能：

(1)多视图显示所有可用的摄像机

(2)垂直分割，左边的survey的视图，右边的film视图

(3)水平分割，survey的视图在顶部，film视图在底部

(4)垂直拆分，所有摄像机视图在其左侧，3D视图在其右侧

(5)选择全屏survey视图

(6)选择全屏film视图

(7)在水平和垂直拆分，现实三个正交视图和透视图，左上方为前视图，右上角为顶部视图，左下角为左视图和全景视图。

(8)启用配置文件窗口

·用户可以通过单视图显示工具菜单选择以下功能：

(1)启用，以颜色显示视图；禁用，以亮度级别现实视图

(2)显示/隐藏点和网格，仅仅在survey和film视图下才能使用

(3)现实/隐藏检测器工具

(4)现实/隐藏阴影

(5)显示/隐藏在survey末世中使用的摄影机上的标识特征点

(6)从原始视图和纠正失真后的视图进行切换

(7)用首先项中定义的颜色替换背景(film或者survey图形)

(8)显示/隐藏世界中心点位

显示/隐藏地平线工具

·用户可以通过工程树面板菜单选择以下功能：

(1)物体追踪装置中所包含：film跟踪、survey跟踪

(2)摄像机：

(2.1)survey cameras所用绿色图标显示

(2.2)film cameras所用蓝色图标显示

(2.3)未分配的cameras用白色图标显示

(2.4)禁用的cameras用橙色图标显示

(2.5)编码器体系

(2.6)网路数据流体系

(3)允许添加其他的通用网络流的网络对象

(4)场景对象

(4.1)灯光

(4.2)导入的对象

(5)点云图

(6)其他内容

(6.1)校准日志

(6.2)虚拟摄像机的视频图像数据流对象

(6.3)播放对象，录制对象

·用户可以通过主视窗口菜单选择以下功能：

用以显示用户所选择的追踪定位系统的窗口、survey视图的窗口、film视图的窗口和摄像机的视图工作窗口。

综上所述，本发明实施例提供的无标记点虚拟现实混合表演系统通过利用现实场景中的标记点的位置信息和时间信息建立三维的空间点位坐标，将加载了虚拟表演场景的三维的空间点位坐标与透明处理后的视频画面进行合成，能够实现将真实和虚拟有效地结合在了一起。

本发明实施例提供的无标记点虚拟现实混合表演系统实现了真实与虚拟相结合的增强现实，也就是说真实的人物可以走进虚拟的场景里和虚拟的人物角色可进行互动，这也使得增强现实制作、虚拟现实制作成为了可能，同时也可以有效的控制从前期预览到最终的影片完成到播出过程中的制作成本和时间，确保了项目的工作效率。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的部件可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的部件可以合并为一个部件，也可以进一步拆分成多个子部件。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (1)

1.一种无标记点虚拟现实混合表演系统，其特征在于，包括：追踪定位系统、摄像机、色键器、工作站和视频监视器，所述工作站与所述追踪定位系统、色键器和视频监视器电路连接，所述追踪定位系统与所述摄像机通过机械手臂相连接，所述摄像机与所述色键器有线连接；

所述追踪定位系统，用于判定和跟踪摄像机在时间和空间的移动，选取摄像机的移动过程中的多个标记点，记录各个标记点的位置信息和时间信息并传输给所述工作站；

各个标记点可以作为2D跟踪和3D跟踪中的对比点,根据这些标记点之间的速度差异，计算出这些标记点到追踪定位系统的距离，这些标记点的位置信息在工作站中所确定，反算出追踪定位系统的位置，计算模拟出在三维场景中的场景坐标点,

追踪定位系统包括光学动捕摄像机和处理器,

连接方式：在追踪定位系统的上下左右分别有一个直径为8mm大的螺丝空洞，在追踪定位系统的底端嵌有RJ45网线接口，RJ45网线接口用一根网线与工作站相连，RJ45网线接口本身和机械手臂相连接，在机械手臂的两端分别拧入8mm大小的螺丝杆，把机械手臂的一端拧入追踪定位系统，另一端拧入摄像机顶端，用机械手臂来调整追踪定位系统与摄像机保持水平之后，固定机械手臂上的固定螺栓，所述摄像机，用于拍摄现实中的人、物和场景，将所拍摄的视频画面传输给色键器；

所述的摄像机由一个摄像机和一个三角支架构成，而在摄像机的底部有长方形的卡槽，在卡槽内放入一个云台板并加以固定，在三角支架的顶端有嵌入所述云台板的卡槽，把摄像机的底端嵌入三角支架上并且用顶丝固定，摄像机与三角支架绑定连接，连接方式：在摄像机上设置有一个SDI（serial digital interface，数字分量串行接口）输出端口，SDI输出端口通过一个SDI线与色键器连接，通过SDI线把摄像机所拍摄的视频画面信息传输给色键器，

所述色键器，用于把摄像机传输过来的视频画面中一种或几种特定颜色变成透明，透明处理后的视频画面传输给工作站，

在色键器的后面板上有SDI输入和输出端口，RJ45网线接口，VGA端口和电源输入端口，

连接方式：摄像机上的SDI线接入到色键器上的SDI输入端口，电源线和色键器的电源输入端口相连，

所述工作站，把前期的追踪定位系统、摄像机和色键器的所有数据都传入到工作站中进行分门别类的解算处理，即用于根据所述追踪定位系统传输过来的各个标记点的位置信息和时间信息，在三维虚拟空间中建立出三维的空间点位坐标，并在所述三维的空间点位坐标中加载定制的虚拟表演场景，将加载了虚拟表演场景的三维的空间点位坐标与所述透明处理后的视频画面进行合成，得到虚拟现实混合表演视频；

视频监视器是用于预览追踪定位系统、摄像机、色键器和工作站的最终合成的画面信息，

连接方式：视频监视器与工作站、色键器相连接，色键器抠像完成的画面与工作站处理后的真实人、物、与虚拟的人物、场景结合形成最终画面影像，通过VGA连接线接入到视频监视器上，

所述追踪定位系统上的RJ45网线接入工作站面板上的网线端接口，所述色键器的SDI输出端口用一跟SDI线与所述工作站相连接；

所述的光学动捕摄像机，用于通过摄像头发射红外线，该红外线照射到场地中的动捕演员所穿的动捕服装上的反光点上，将所述反光点作为标记点，接收所述反光点折射回来的红外线；

所述的处理器，用于根据光学动捕摄像机发射的红外线的发射时间和发射角度，以及折射回来的红外线的接收时间和接收角度获取各个标记点对应的位置信息和时间信息；

所述动捕服装包括帽子、手套、上衣、裤子和鞋子，在所述动捕服装上位于人体的每个骨骼节点的位置粘贴一个用于光学动作捕捉的红外反光球，所述红外反光球的数量为53个，53个红外反光球共同构成人体的骨骼结构。