CN111447340A - 混合现实虚拟预演拍摄系统 - Google Patents

Abstract

本发明涉及运动捕捉技术领域，公开了一种混合现实虚拟预演拍摄系统，用于提高混合现实虚拟视频拍摄的效率，降低制作成本。混合现实虚拟预演拍摄系统包括真实拍摄系统、虚拟拍摄系统、光学定位及动作捕捉系统、中心控制系统和显示系统；真实拍摄系统包括影视摄像机和视频采集卡；虚拟拍摄系统包括虚拟摄像机、惯性测量装置和无线传输装置；光学定位及动作捕捉系统包括光捕处理服务器和多个光学动作捕捉相机，光捕处理服务器与多个光学动作捕捉相机和无线传输装置通信连接；中心控制系统包括中央管理服务器，中央管理服务器分别与视频采集卡、无线传输装置和光捕处理服务器通信连接；显示系统包括显示设备，显示设备与中央管理服务器网络连接。

Description

混合现实虚拟预演拍摄系统

技术领域

本发明涉及运动捕捉技术领域，尤其涉及一种混合现实虚拟预演拍摄系统。

背景技术

混合现实技术是虚拟现实技术的进一步发展，通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

在传统影视视觉设计中，传统虚拟演播室支持的摄像机、镜头比较少，镜头大部分为固定或不可自由移动，对接的渲染引擎单一或者老旧，人物和视觉设计CG的合成关系多为单一的前后图层叠加，没有复杂的混合虚实交互部分。同时为了不穿帮，需要机位走位完全按照固定角度，很难现场临时调整，单纯靠视觉错觉提高融入感，不能对光线作出反应。

在现有技术中，从获取导演剧组的分镜时开始，采用线下方式，依靠三维3D动画师制作镜头，并分镜预演，制作周期长，因而，混合虚实拍摄系统缺少现场分镜预演，导致后期电脑合成三维视频效率低下。

发明内容

本发明的主要目的在于解决混合虚实拍摄无法现场分镜预演，导致后期电脑制作效率低下的问题。

本发明第一方面提供了一种混合现实虚拟预演拍摄系统，所述混合现实虚拟预演拍摄系统包括通信连接的真实拍摄系统、虚拟拍摄系统、光学定位及动作捕捉系统、中心控制系统和显示系统；其中，

所述真实拍摄系统包括影视摄像机和视频采集卡，所述影视摄像机和所述视频采集卡通信连接；

所述虚拟拍摄系统包括虚拟摄像机、惯性测量装置和无线传输装置，所述惯性测量装置安装在所述虚拟摄像机上，所述惯性测量装置与所述无线传输装置通信连接；

所述光学定位及动作捕捉系统包括光捕处理服务器和多个光学动作捕捉相机，所述光捕处理服务器分别与所述多个光学动作捕捉相机和所述无线传输装置通信连接；

所述中心控制系统包括中央管理服务器，所述中央管理服务器分别与所述视频采集卡、所述无线传输装置和所述光捕处理服务器通信连接；

所述显示系统包括显示设备，所述显示设备与所述中央管理服务器网络连接。

可选的，所述影视摄像机用于在实际拍摄场景内对待捕捉对象进行拍摄，得到实拍视频数据；所述视频采集卡用于将所述实拍视频数据发送到所述中央管理服务器中。

可选的，所述待捕捉对象预先穿戴已贴有多个光学标记点的动作捕捉服，所述多个光学标记点用于定位待捕捉对象的各关节位置。

可选的，所述影视摄像机和所述虚拟摄像机分别安装预置数量的光学标记点；

所述惯性测量装置，用于通过九轴惯性传感器采集所述虚拟摄像机在移动拍摄中对应的惯导数据；

所述无线传输装置，用于将所述对应的惯导数据发送到所述光捕处理服务器中。

可选的，所述光捕处理服务器还包括三维动作捕捉处理模块和光学惯性融合模块，所述三维动作捕捉处理模块与所述多个光学动作捕捉相机通信连接，所述光学惯性融合模块分别与所述中央管理服务器和所述无线传输装置通信连接；

所述多个光学动作捕捉相机，用于分别对各光学标记点进行定位拍摄，得到各自对应的二维图像数据；

所述三维动作捕捉处理模块，用于根据所述各自对应的二维图像数据获取各自对应的三维坐标数据和待捕捉对象的运动姿态信息；

所述光学惯性融合模块，用于根据所述虚拟摄像机上各光学标记点对应的三维坐标数据和所述对应的惯导数据依次进行坐标系标定和姿态融合处理，得到相机姿态数据，并将所述各自对应的三维坐标数据、所述相机姿态数据和所述运动姿态信息发送到所述中央管理服务器中。

可选的，所述光捕处理服务器还包括惯导设置模块，所述惯导设置模块与所述光学惯性融合模块通信连接，用于采用预设链接端口号和预设刚体名将所述九轴惯性传感器与所述预置数量的光学标记点按照预设位置关系安装在所述虚拟摄像机上。

可选的，所述中央管理服务器包括虚拟预演拍摄合成模块和渲染合成模块，所述虚拟预演拍摄合成模块分别与所述视频采集卡和所述光学惯性融合模块通信连接，所述渲染合成模块分别与所述虚拟预演拍摄合成模块和所述无线传输装置通信连接；

所述虚拟预演拍摄合成模块，用于对所述实拍视频数据进行实时抠像，以便在虚拟场景中生成虚拟形象，并对虚拟场景角度进行实时调整；

所述渲染合成模块，用于按照所述相机姿态数据、所述各自对应的三维坐标数据和所述运动姿态信息将抠像图像信息与调整后的虚拟场景转换为三维虚拟现实混合视频流，并将所述三维虚拟现实混合视频流分别发送到所述虚拟摄像机和所述显示设备中。

可选的，所述显示设备，用于接收并同步显示所述三维虚拟现实混合视频流，以使得目标人员在所述影视摄像机和所述虚拟摄像机位移过程中预览所述三维虚拟现实混合视频流，并对所述待捕捉对象实时调整拍摄动作和拍摄角度。

可选的，所述光学定位及动作捕捉系统还包括标定装置，所述标定装置，用于通过标定杆在所述实际拍摄场景中对所述多个光学动作捕捉相机进行位置标定。

可选的，所述混合现实虚拟预演拍摄系统还包括相机设置系统，所述相机设置系统与所述中心控制系统通信连接，用于获取所述实际拍摄场景中的场地参数，并按照所述场地参数确定所述光学动作捕捉相机对应的相机数量和对应的相机安装位置，以使得各光学标记点被任意3个光学动作捕捉相机所捕捉，所述场地参数包括大空间场地长度信息和宽度信息。

本发明提供的技术方案中，所述混合现实虚拟预演拍摄系统包括通信连接的真实拍摄系统、虚拟拍摄系统、光学定位及动作捕捉系统、中心控制系统和显示系统；其中，所述真实拍摄系统包括影视摄像机和视频采集卡，所述影视摄像机和所述视频采集卡通信连接；所述虚拟拍摄系统包括虚拟摄像机、惯性测量装置和无线传输装置，所述惯性测量装置安装在所述虚拟摄像机上，所述惯性测量装置与所述无线传输装置通信连接；所述光学定位及动作捕捉系统包括光捕处理服务器和多个光学动作捕捉相机，所述光捕处理服务器分别与所述多个光学动作捕捉相机和所述无线传输装置通信连接；所述中心控制系统包括中央管理服务器，所述中央管理服务器分别与所述视频采集卡、所述无线传输装置和所述光捕处理服务器通信连接；所述显示系统包括显示设备，所述显示设备与所述中央管理服务器网络连接。本发明实施例中，通过真实拍摄系统、虚拟拍摄系统、光学定位及动作捕捉系统、中心控制系统和显示系统实现运动轨迹记录、数据导出融合、多余目标屏蔽和成像实时预览。与传统绿幕抠像相比，本发明实时获取待捕捉对象的三维运动轨迹信息，实现三维空间中场景与角色叠加，具有三维深度信息的合成处理效果；同时通过虚拟现实互动，实时预览已拍摄影片的运镜视觉效果，提高混合现实虚拟视频拍摄的效率，并降低制作成本和制作周期。

附图说明

图1为本发明实施例中混合现实虚拟预演拍摄系统的一个结构示意图；

图2为本发明实施例中光学定位及动作捕捉系统的一个结构示意图；

图3为本发明实施例中中央管理服务器的一个结构示意图；

图4为本发明实施例中混合现实虚拟预演拍摄系统的另一个结构示意图；

图5为本发明实施例中混合现实虚拟预演拍摄系统的一个应用场景示意图。

具体实施方式

本发明实施例提供了一种混合现实虚拟预演拍摄系统，通过虚拟现实互动，实时预览已拍摄影片的运镜视觉效果，提高混合现实虚拟视频拍摄的效率，并降低制作成本和制作周期。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

为便于理解，下面对本发明实施例进行描述，请参阅图1，本发明实施例中，混合现实虚拟预演拍摄系统包括通信连接的真实拍摄系统1、虚拟拍摄系统2、光学定位及动作捕捉系统3、中心控制系统4和显示系统5；其中，

真实拍摄系统1，包括影视摄像机11和视频采集卡12，影视摄像机11和视频采集卡12通信连接；

虚拟拍摄系统2包括虚拟摄像机21、惯性测量装置22和无线传输装置23，惯性测量装置22安装在虚拟摄像机21上，惯性测量装置22与无线传输装置23通信连接；

光学定位及动作捕捉系统3包括光捕处理服务器31和多个光学动作捕捉相机32，光捕处理服务器31分别与多个光学动作捕捉相机32和无线传输装置23通信连接；

中心控制系统4包括中央管理服务器41，中央管理服务器41分别与视频采集卡12、无线传输装置23和光捕处理服务器31通信连接；

显示系统5包括显示设备51，显示设备51与中央管理服务器41网络连接。

具体的，真实拍摄系统1，用于接收预设的拍摄指令，并基于预设的拍摄指令对影视摄像机11进行拍摄控制，影视摄像机11，用于在实际拍摄场景内对待捕捉对象进行视频拍摄，得到实拍视频数据。进一步地，视频采集卡12，用于将实拍视频数据上传到中央管理服务器41中，以供中央管理服务器41对实拍视频数据进行数据存储与数据处理。其中，待捕捉对象为运动物体，包括人物和道具，实拍视频数据用于指示待捕捉对象在实际拍摄场景内的运动画面信息。可选的，实际拍摄场景包括绿幕和桁架，桁架用于布局多个光学动作捕捉相机32，其中，实际拍摄场景的背景还可以为蓝幕，具体此处不做限定。需要说明的是，影视摄像机11，还用于支持固定云台的镜头平移、上下移动、镜头拉近拉远，并且支持大范围内大摇臂的摄像机运镜移动，例如将影视摄像机11在10至2000平方米的实际拍摄场景中使用。

具体的，虚拟拍摄系统2中虚拟摄像机21为手持六自由度的摄像机，虚拟摄像机21用于移动拍摄实际拍摄场景对应的预设的虚拟场景，其中，六自由度是指物体在三维空间中具有六个自由度，也就是，沿x、y、z三个直角坐标轴方向的移动自由度和围绕x、y、z三个坐标轴的转动自由度。因此，虚拟摄像机21，可以用于对预设的虚拟场景调整拍摄角度，也可以用于调整焦距和光圈值，以及用于对预设的虚拟场景控制拍摄起止时刻。例如，当虚拟摄像机21中的开始按键被启动时，虚拟摄像机21用于接收到开始录制指令，对预设的虚拟场景开始拍摄，当虚拟摄像机21的暂停按键或者停止按键被启动时，虚拟摄像机21用于接收到暂停录制指令或者停止录制指令，对预设的虚拟场景停止拍摄。并用于同步显示中央管理服务器41发送的三维虚拟现实混合视频流。需要说明的是，虚拟摄像机21在移动过程中，对预设的虚拟场景中的待捕捉对象进行拍摄，存在拍摄角度、移动速度的变化，因此，惯性测量装置22，用于对虚拟摄像机21采集运动姿态信息，无线传输装置23，用于将采集的运动姿态信息上传到光学定位及动作捕捉系统3中的光捕处理服务器31中，其中，无线传输装置23可以为无线蓝牙，并且兼具无线蓝牙图传功能，也可以为无线WIFI。

具体的，光学定位及动作捕捉系统3中多个光学动作捕捉相机32，用于识别绑定在待捕捉对象不同部位的光学标记点，光捕处理服务器31，用于获取各光学标记点在实际拍摄场景内的位置朝向，进而确定待捕捉对象在实际拍摄场景内的运动轨迹，并实时同步导入至中央管理服务器41中。可选的，待捕捉对象预先穿戴已贴有多个光学标记点的动作捕捉服，多个光学标记点用于定位待捕捉对象的各关节位置，其中，光学标记点包括反光标记点和主动标记点，反光标记点可以采用反光球，主动标记点适用于环境照明条件使反光标记点难以定位追踪的情形，以便于光学定位及动作捕捉系统3在支持室内和室外均可应用。进一步地，影视摄像机11和虚拟摄像机21也分别预先设置了预置数量的光学标记点，预置数量的光学标记点结合多个光学动作捕捉相机32，用于对影视摄像机11和虚拟摄像机21进行定位空间位置信息，其中，预置数量为正整数。例如，3个、4个或者5个，具体此处不做限定。

举例说明，在待捕捉对象的头部、双手、双脚和后腰部布置不同的反光标记点(反光球)，多个光学动作捕捉相机32，用于对待捕捉对象身上的反光标记点进行跟踪，实现对反光标记点的空间位置及朝向的精准定位，从而获取待捕捉对象的肢端位置。光捕处理服务器31，用于根据待捕捉对象的肢端位置确定待捕捉对象的运动姿态信息。

具体的，中心控制系统4中的中央管理服务器41，首先用于将影视摄像机11拍摄到的实拍视频数据进行抠像处理，得到抠像图像信息，其中，抠像图像信息包括人物模型信息，其次用于将抠像图像信息通过三维合成软件或者预设引擎合成到预设的虚拟场景(实际拍摄场景对应的虚拟场景)中，或者获取人物模型信息对应的虚拟角色，将对应的虚拟角色融合到对应的预设的虚拟场景中，然后通过正向运动学和运动姿态信息驱动人物模型信息或者虚拟角色运动。例如，当身穿绿色动作捕捉服的动捕演员(待捕捉对象)在绿幕拍摄空间中进行动作表演时，光捕处理服务器31和多个光学动作捕捉相机32用于获取动捕演员所有的运动姿态信息。中央管理服务器41，用于对真实拍摄系统1拍摄的实拍视频数据进行整体画面运算，获取包含动捕演员的抠像图像信息，以及抠像图像信息对应的虚拟角色，并通过三维合成软件或者预设引擎将对应的虚拟角色合成到实际需要的预设的虚拟场景中，同时采用运动姿态信息驱动预先预设的虚拟角色，虚拟角色为随着音乐起舞的虚拟物体，得到三维虚拟现实混合视频流。进一步地，中央管理服务器41，用于将三维虚拟现实混合视频流发送到虚拟摄像机21和显示设备51中。可选的，中央管理服务器41除了用于将预设的虚拟场景与虚拟角色进行叠加合成以外，还可以用于对真实角色与预设的虚拟场景、预设的真实场景与虚拟角色进行三维深度合成处理，具体此处不做限定。需要说明的是，中心控制系统4还包括输入设备和输出设备，例如，鼠标、键盘和显示器。

具体的，显示系统5包括显示设备51，用于接收并同步显示中央管理服务器41发送的三维虚拟现实混合视频流，以使得目标人员对待捕捉对象实时调整拍摄动作和拍摄角度，并在影视摄像机11和虚拟摄像机21位移过程中预览已拍摄影片的运镜视觉效果，其中目标人员包括导演和摄影师。因此，显示设备51用于提供对镜头画面构成、镜头运动、合成效果进行实时调度预览，以供目标人员及时调整修改创意和画面构图。从而避免了传统影视制作前期、后期衔接成本制作高和制作周期太长的问题，通过虚拟预演拍摄方式实时提供可视化拍摄效果。

本发明实施例中，提供了一种混合显示虚拟预演拍摄系统，通过真实拍摄系统、虚拟拍摄系统、光学定位及动作捕捉系统、中心控制系统和显示系统实现运动轨迹记录、数据导出融合、多余目标(待捕捉对象以外的物体)屏蔽和成像实时预览。与传统绿幕抠像相比，本发明实时获取待捕捉对象的三维运动轨迹信息，实现三维空间中场景与角色叠加，具有三维深度信息的合成处理效果；同时通过虚拟现实互动，实时预览已拍摄影片的运镜视觉效果，提高混合现实虚拟视频拍摄的效率，并降低制作成本和制作周期。

请参阅图1与图2，光捕处理服务器31还包括三维动作捕捉处理模块311和光学惯性融合模块312，三维动作捕捉处理模块311与多个光学动作捕捉相机32通信连接，光学惯性融合模块312分别与中央管理服务器41和无线传输装置23通信连接；

多个光学动作捕捉相机32，用于分别对各光学标记点进行定位拍摄，得到各自对应的二维图像数据；

三维动作捕捉处理模块311，用于根据各自对应的二维图像数据获取各自对应的三维坐标数据和待捕捉对象的运动姿态信息；

光学惯性融合模块312，用于根据虚拟摄像机21上各光学标记点对应的运动姿态信息和所述对应的惯导数据依次进行坐标系标定和姿态融合处理，得到相机姿态数据，并将各自对应的三维坐标数据、相机姿态数据和运动姿态信息发送到中央管理服务器41中。

多个光学动作捕捉相机32与光捕处理服务器31可以有线连接，也可以无线连接，例如，通过POE交换机连接。具体的，多个光学动作捕捉相机32，用于采集影视摄像机11、虚拟摄像机21和多个光学标记点各自对应的二维图像信息，也就是，影视摄像机11、虚拟摄像机21和待捕捉对象中各光学标记点至少同时被两个以上光学动作捕捉相机32拍摄；三维动作捕捉处理模块311，用于将对各自对应的二维图像数据转换为各自对应的三维坐标数据，也就是空间位置信息，以及待捕捉对象的运动姿态信息，其中，各自对应的三维坐标数据用于指示世界坐标系下的各光学标记点的位置及朝向，实现运动物体的定位与跟踪；而光学惯性融合模块312用于接收虚拟摄像机21对应的惯导数据，并基于虚拟摄像机21上各光学标记点对应的三位坐标数据和对应的惯导数据进行坐标系标定和姿态融合计算，得到相机姿态数据，并将各自对应的三维坐标数据、相机姿态数据和运动姿态信息发送到中央管理服务器41中。可选的，光学定位及动作捕捉系统3还包括标定装置33，标定装置33，用于通过标定杆在实际拍摄场景中对多个光学动作捕捉相机32进行位置标定。例如，标定杆形状可以为T型结构，标定杆的尺寸为横杆长度418毫米，竖杆长度578毫米。

进一步地，惯性测量装置22，用于通过九轴惯性传感器采集虚拟摄像机21和多个光学标记点在移动拍摄中各自对应的惯导数据，并将各自对应的惯导数据发送到无线传输装置23中，而惯性测量装置22为惯性测量单元(inertial measurement unit，IMU)；无线传输装置23，用于将各自对应的惯导数据发送到光学惯性融合模块312中。可选的，光捕处理服务器31还包括惯导设置模块313，惯导设置模块313与光学惯性融合模块312通信连接，用于采用预设链接端口号和预设刚体名将九轴惯性传感器与预置数量的光学标记点按照预设位置关系安装在虚拟摄像机21上。其中，九轴惯性传感器包括三轴角速度传感器(陀螺仪)、三轴加速度传感器和三轴磁感应传感器。九轴惯性传感器可以确保高精度对刚体旋转角度进行计算，其误差范围在0.05度以内，以使得合成的三维虚拟现实混合视频流的画面更稳定，并且能够低延时实时交互，例如，采用200赫兹角度数据刷新率对维虚拟现实混合视频流进行画面更新。可以理解的是，预置数量的光学标记点可以采用至少3个反光球，反光球为一种刚体，也是一种运动跟踪器，其运动轨迹代表空间坐标变化。为了获得更精确的位姿，一般会搭配九轴惯性传感器(惯性测量装置22)一并使用，将刚体与九轴惯性传感器的空间坐标统一化才能最终得出刚体的精准位姿数据。刚体与九轴惯性传感器标定的目的是为了统一空间坐标系，刚体的运动姿态信息是自定义世界坐标系下的位置和姿态，九轴惯性传感器的姿态(对应的惯导数据)是相对于硬件自身启动时的姿态变化，刚体与九轴惯性传感器的坐标系对齐处理，以及进行姿态融合处理，均可以提高刚体位姿的计算精度。

需要说明的是，反光球(光学标记点)与九轴惯性传感器绑定灵活，预设刚体名与预设链接端口号是一一对应的映射关系，因此惯导设置模块313用于通过对预设刚体名和预设链接端口号进行更新配置和清除已有配置，就能够实现反光球(光学标记)与九轴惯性传感器的绑定与解绑。同时，九轴惯性传感器减少了电路板和整体空间，对应的硬件体积小，适合用便携安装在精确捕捉旋转数据的运动物体上，提高单个传感器在定位空间位置和运动方向时的计算准确度。可以理解的是，惯导设置模块313不仅用于对虚拟摄像机21确定运动姿态数据，还可以用于确定待捕捉对象的运动姿态数据，根据实际拍摄场景进行确定并设置九轴惯性传感器与光学标记点的关联关系，从而实现高精度的运动检测。

请参阅图1和图3，可选的，中央管理服务器41包括虚拟预演拍摄合成模块411和渲染合成模块412，虚拟预演拍摄合成模块411分别与视频采集卡12和光学惯性融合模块312通信连接，渲染合成模块412分别与虚拟预演拍摄合成模块411和无线传输装置23通信连接；

虚拟预演拍摄合成模块411，用于对实拍视频数据进行实时抠像，以便在虚拟场景中生成虚拟形象，并对虚拟场景角度进行实时调整；

渲染合成模块412，用于按照相机姿态数据、各自对应的三维坐标数据和运动姿态信息将抠像图像信息与调整后的虚拟场景转换为三维虚拟现实混合视频流，并将三维虚拟现实混合视频流分别发送到虚拟摄像机21和显示设备51中。

渲染合成模块412接收虚拟预演拍摄合成模块411发送的抠像图像信息，其中，抠像图像信息为包含待捕捉对象的图像信息，渲染合成模块412用于采用虚幻引擎UE4进行三维动画人物设置、声音模拟和灯光渲染。具体的，虚拟预演拍摄合成模块411用于设置抠像图像信息对应的虚拟角色，并对虚拟场景角度进行实时调整；渲染合成模块412用于通过虚幻引擎UE4按照相机姿态数据、各自对应的三维坐标数据和运动姿态信息同步设置虚拟角色的运动姿态；同时将预设的语音信息加入到预设的虚拟场景中，得到三维虚拟现实混合视频流。进一步地，无线传输装置23用于将三维虚拟现实混合视频流分别发送到虚拟拍摄机21和显示设备51中，以使得目标人员实时预览拍摄效果。其中，显示设备51可以采用大荧幕投屏方式展示分镜镜头，以便于达到分镜可视化。

可选的，中央管理服务器41，还用于对相机姿态数据、各自对应的三维坐标数据和运动姿态信息，以及三维虚拟现实混合视频流进行存储，以便于后期制作与合成。

可选的，中央管理服务器41，在进行视频合成之前，还用于按照相机姿态数据和各自对应的三维坐标数据将调整后的虚拟场景和实际拍摄场景进行三维空间坐标系的对齐处理，以使得输出的三维虚拟现实混合视频流具有高帧率、稳定、无延迟的空间定位和虚实同步效果。

可以理解的是，虚拟预演拍摄合成模块411用于指示色键控抠像处理，也就是按照实拍视频数据中图像的特定颜色值或亮度值定义透明度，当键出某个值时，所有具有相似颜色或明亮度值的像素都将变为透明，进一步地，虚拟预演拍摄合成模块411用于从实拍视频数据中获取抠像图像信息。

请参阅图4，可选的，混合现实虚拟预演拍摄系统还包括相机设置系统6，相机设置系统6与中心控制系统4通信连接，用于获取实际拍摄场景中的场地参数，并按照场地参数确定光学动作捕捉相机32对应的相机数量和对应的相机安装位置，以使得各光学标记点被任意3个光学动作捕捉相机32所捕捉，场地参数包括大空间场地长度信息和宽度信息。

混合现实虚拟预演拍摄系统中需要对多个光学标记点进行运动轨迹的定位与追踪，为了提高定位的准确度，需要各光学标记点被任意3个光学动作捕捉相机32所捕捉，进而确定各光学标记点的空间位置信息，而相机配置数量过多，又会导致搭建成本过高的问题。因此，相机设置系统6用于对光学动作捕捉相机32进行布局，请参阅图4与图5，实际拍摄场景为一个3.5米至7米高的空旷场地，并配备专业影视灯光、桁架、绿箱或蓝箱，其中，桁架包括单层桁架、两层桁架和多层桁架，实际拍摄场景的场地参数包括大空间场地长度信息为20米、宽度信息为10米。进一步地，相机设置系统6用于根据实际拍摄场景的场地参数计算计算该实际拍摄场景中相机配置代价值，并通过相机配置代价值确定光学动作捕捉相机32对应的相机数量和对应的相机安装位置。而多个光学动作捕捉相机32布设置于实际拍摄场景中桁架的不同位置，每个光学动作捕捉相机32的可视范围覆盖整个实际拍摄场景。而影视摄像机11和虚拟摄像机21用于对待捕捉对象进行拍摄。

可以理解的是，混合显示虚拟预演拍摄系统集合了实时预演、虚拟演播、动作捕捉多种功能，在传统抠像技术的基础上，利用空间定位动作捕捉技术同步空间内的影视摄像机11、虚拟摄像机21和所有虚实物件(例如，道具)位置，使其在虚幻引擎内进行实时的互动和合成效果预览。在流畅的画面渲染，逼真的三维融合画面中，实现虚实结合效果，提高了影视拍摄手法的故事叙述性和视觉表现力。不仅能够实现目标人员(导演)在现场互动明确需求，根据需求获取预设构图的画面角度，实时预览拍摄效果，而且通过交互可视化镜头实时确定每一个镜头的效果和元素，拍摄过程一步到位，后期制作在拍摄阶段已确定方向。同时，对于真人演员、虚拟演员、虚拟角色实时互动，人物和CG的互动不再是单纯的前后叠加，物件的位置都拥有3D深度信息。例如，真人穿插走入虚拟古城、真人绕着CG车走、真人和虚拟人物进行拥抱、打斗复杂自然的演艺效果，摄像机的位置在片场直接录制，无缝导入幻境Maya三维软件进行渲染和合成，降低前期到后期制作中的反复来回沟通和修改成本。而且在任何拍摄条件下，虚拟人物场景都能在真实环境下准确追踪，影视摄像机11机位位移镜头拉远拉近，虚实结合场景都可以实时完整呈现。从而实现影视、电视、动漫游戏的动画制作以及演播室、摄影棚和大型展厅的虚拟现实预演拍摄。

本发明实施例中，提供了一种混合显示虚拟预演拍摄系统，通过真实拍摄系统、虚拟拍摄系统、光学定位及动作捕捉系统、中心控制系统和显示系统实现运动轨迹记录、数据导出融合、多余目标屏蔽和成像实时预览。与传统绿幕抠像相比，实时获取待捕捉对象的三维运动轨迹信息，实现三维空间中场景与角色叠加，具有三维深度信息的合成处理效果；同时通过虚拟现实互动，实时预览已拍摄影片的运镜视觉效果，提高混合现实虚拟视频拍摄的效率，并降低制作成本和制作周期。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种混合现实虚拟预演拍摄系统，其特征在于，所述混合现实虚拟预演拍摄系统包括通信连接的真实拍摄系统、虚拟拍摄系统、光学定位及动作捕捉系统、中心控制系统和显示系统；其中，

所述真实拍摄系统包括影视摄像机和视频采集卡，所述影视摄像机和所述视频采集卡通信连接；

所述虚拟拍摄系统包括虚拟摄像机、惯性测量装置和无线传输装置，所述惯性测量装置安装在所述虚拟摄像机上，所述惯性测量装置与所述无线传输装置通信连接；

所述光学定位及动作捕捉系统包括光捕处理服务器和多个光学动作捕捉相机，所述光捕处理服务器分别与所述多个光学动作捕捉相机和所述无线传输装置通信连接；

所述中心控制系统包括中央管理服务器，所述中央管理服务器分别与所述视频采集卡、所述无线传输装置和所述光捕处理服务器通信连接；

所述显示系统包括显示设备，所述显示设备与所述中央管理服务器网络连接。

2.根据权利要求1所述的混合现实虚拟预演拍摄系统，其特征在于，

所述影视摄像机用于在实际拍摄场景内对待捕捉对象进行拍摄，得到实拍视频数据；所述视频采集卡用于将所述实拍视频数据发送到所述中央管理服务器中。

3.根据权利要求2所述的混合现实虚拟预演拍摄系统，其特征在于，

所述待捕捉对象预先穿戴已贴有多个光学标记点的动作捕捉服，所述多个光学标记点用于定位待捕捉对象的各关节位置。

4.根据权利要求2所述的混合现实虚拟预演拍摄系统，其特征在于，

所述影视摄像机和所述虚拟摄像机分别安装预置数量的光学标记点；

所述惯性测量装置，用于通过九轴惯性传感器采集所述虚拟摄像机在移动拍摄中对应的惯导数据；

所述无线传输装置，用于将所述对应的惯导数据发送到所述光捕处理服务器中。

5.根据权利要求4所述的混合现实虚拟预演拍摄系统，其特征在于，

所述光捕处理服务器还包括三维动作捕捉处理模块和光学惯性融合模块，所述三维动作捕捉处理模块与所述多个光学动作捕捉相机通信连接，所述光学惯性融合模块分别与所述中央管理服务器和所述无线传输装置通信连接；

所述多个光学动作捕捉相机，用于分别对各光学标记点进行定位拍摄，得到各自对应的二维图像数据；

所述三维动作捕捉处理模块，用于根据所述各自对应的二维图像数据获取各自对应的三维坐标数据和待捕捉对象的运动姿态信息；

所述光学惯性融合模块，用于根据所述虚拟摄像机上各光学标记点对应的三维坐标数据和所述对应的惯导数据依次进行坐标系标定和姿态融合处理，得到相机姿态数据，并将所述各自对应的三维坐标数据、所述相机姿态数据和所述运动姿态信息发送到所述中央管理服务器中。

6.根据权利要求5所述的混合现实虚拟预演拍摄系统，其特征在于，

所述光捕处理服务器还包括惯导设置模块，所述惯导设置模块与所述光学惯性融合模块通信连接，用于采用预设链接端口号和预设刚体名将所述九轴惯性传感器与所述预置数量的光学标记点按照预设位置关系安装在所述虚拟摄像机上。

7.根据权利要求5所述的混合现实虚拟预演拍摄系统，其特征在于，

所述中央管理服务器包括虚拟预演拍摄合成模块和渲染合成模块，所述虚拟预演拍摄合成模块分别与所述视频采集卡和所述光学惯性融合模块通信连接，所述渲染合成模块分别与所述虚拟预演拍摄合成模块和所述无线传输装置通信连接；

所述虚拟预演拍摄合成模块，用于对所述实拍视频数据进行实时抠像，以便在虚拟场景中生成虚拟形象，并对虚拟场景角度进行实时调整；

所述渲染合成模块，用于按照所述相机姿态数据、所述各自对应的三维坐标数据和所述运动姿态信息将抠像图像信息与调整后的虚拟场景转换为三维虚拟现实混合视频流，并将所述三维虚拟现实混合视频流分别发送到所述虚拟摄像机和所述显示设备中。

8.根据权利要求7所述的混合现实虚拟预演拍摄系统，其特征在于，

所述显示设备，用于接收并同步显示所述三维虚拟现实混合视频流，以使得目标人员在所述影视摄像机和所述虚拟摄像机位移过程中预览所述三维虚拟现实混合视频流，并对所述待捕捉对象实时调整拍摄动作和拍摄角度。

9.根据权利要求2所述的混合现实虚拟预演拍摄系统，其特征在于，

所述光学定位及动作捕捉系统还包括标定装置，所述标定装置，用于通过标定杆在所述实际拍摄场景中对所述多个光学动作捕捉相机进行位置标定。

10.根据权利要求1-9中任一项所述的混合现实虚拟预演拍摄系统，其特征在于，

所述混合现实虚拟预演拍摄系统还包括相机设置系统，所述相机设置系统与所述中心控制系统通信连接，用于获取所述实际拍摄场景中的场地参数，并按照所述场地参数确定所述光学动作捕捉相机对应的相机数量和对应的相机安装位置，以使得各光学标记点被任意3个光学动作捕捉相机所捕捉，所述场地参数包括大空间场地长度信息和宽度信息。

Images