CN112040092B - 一种实时虚拟场景led拍摄系统及方法 - Google Patents

Abstract

本发明公开了一种实时虚拟场景LED拍摄系统及方法，属于影视拍摄领域。本发明根据拍摄场景所需呈现的内容，调取数字资产构建虚拟场景，在虚拟引擎模块中重构出虚拟LED屏幕和虚拟摄像机，采摄影棚内真实环境光照信息实时同步至虚拟引擎内，通过虚拟引擎模块对虚拟场景进行分布式实时渲染并在虚拟LED屏幕呈现；虚拟引擎还在虚拟LED屏幕之外叠加虚拟引擎根据实时摄像机位置和镜头畸变信息实时渲染的带有深度通道的画面，物理LED屏幕显示虚拟LED屏幕，实时摄像机完成拍摄，XR模块获取带有深度通道的画面和实时摄影机拍摄的画面，合成得到最终的画面。本发明可代替绿幕抠像在大部分环境下达到直接成片的效果，优化了制片流程，节省了复杂视觉特效成本。

Description

一种实时虚拟场景LED拍摄系统及方法

技术领域

本发明属于影视剧拍摄领域，具体涉及一种实时虚拟场景LED拍摄系统及方法。

背景技术

目前许多的影视剧制作过程都及其复杂，制作时间表高度紧凑，其中不乏许多不确定环节。这个过程通常是线性的，在不断改善以达到期望结果的过程中极具挑战性并且代价高昂且资源分配不均匀。在现场拍摄过程中，由于视觉割裂，主创们所有与影视剧制作的相关专业知识可能无法充分利用。

在传统绿幕式虚拟拍摄过程中，艺术家们制作出的数字资产既不具备最佳图像质量，也不具备实时可塑性，近年来影视剧制作价值日益凸升，制作复杂程度越来越高，制作成本高昂。现有虚拟拍摄技术对绿幕抠像效果差、光照不匹配、画面延迟高的缺点。

发明内容

为解决现有技术的问题，本发明提供了一种实时虚拟场景LED拍摄系统及方法，其可以促使影视剧制作过程更为迭代化、更具协作性和非线性。且可获取更接近最终效果的图像，达到所见即所得的效果，本发明的技术方案如下。

本发明一方面公开了一种实时虚拟场景LED拍摄系统，其包括：

物理LED屏幕，其用于接收虚拟引擎模块的输出视频流信号，并进行显示，

数字资产库模块，所述的数字资产库模块包括高真实三维素材库和高质量环幕素材库，其中高真实三维素材库内存储有素材的三维模型，所述的高质量环幕素材库内存储有用于作为视频背景素材的环幕视频；

实时摄影机，其用于拍摄现实场景的画面；所述的实时摄影机连接有镜头数据传感器，用于获取焦距焦点信息，从而获得镜头畸变信息并传输给虚拟引擎模块；

实时摄影机跟踪模块，其捕捉现实摄影机的位置信息和运动数据并通过VRPN协议将捕捉的信息实时传输至虚拟引擎模块中；

虚拟引擎模块，其根据物理LED屏幕的形状及特性在虚拟引擎模块中重构出虚拟LED屏幕，通过实时摄影机跟踪模块获取的摄影机位置和运动数据构建虚拟摄像机，并通过控制虚拟摄像机的运动以实时模拟真实摄影机的运动；其通过调取数字资产库模块中的三维模型和环幕视频构建虚拟场景，其获取环境光采集系统模块采集的真实环境光信息并实时同步，通过内部的虚拟灯光单元模拟虚拟场景中模型的灯光照明，通过内部的物理效果模拟单元模拟虚拟场景中模型的物理光学效果和物理特性效果；虚拟引擎模块通过分布式实时渲染，并根据当前虚拟摄像机的位置在虚拟LED屏幕上投射渲染画面；虚拟引擎模块将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出；虚拟引擎模块还根据实时摄影机跟踪模块得到的实时摄像机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述带有深度通道的画面输出给XR模块；

远程控制系统，其与虚拟引擎模块远程连接，用于远程调控虚拟灯光单元和物理效果模拟单元的模拟效果。

外置灯光系统，其用于向拍摄场景提供灯光照明；

虚拟灯控台模块，其远距离控制外置灯光系统,并对其颜色及亮度进行实时调整；

环境光采集系统模块，其使用装载鱼眼镜头的摄影机，将摄影机放置在被摄物同环境光下，实时生成HDRI环境贴图供给虚拟引擎进行渲染，其将真实环境光信息实时同步至虚拟引擎内颜色匹配模块；其自动抓取实时摄影机对LED屏幕的画面采样，通过对比标准色卡，对实时摄影机看到的LED画面，和物理LED屏幕上的画面进行比对，实时校准LED屏幕颜色。

XR模块，其获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。

在一个实施例中，所述的物理LED屏幕包括环形立墙LED屏和平面顶盖LED屏；平面顶盖LED屏设置在环形立墙LED屏的顶部。

所述物理LED屏幕由点距低于P4及屏幕刷新率匹配摄影机感光元件刷新率、且屏幕亮度达到800-1000MCD的LED屏幕模组构成。

在一个实施例中，所述高真实三维素材库内存储的三维模型包括地形模型、场景模型、道具模型、人物模型和动物模型。

在一个实施例中，所述的高质量环幕素材库内存储的环幕视频包括自然风光、城市风光、车拍背景视频素材，分辨率达到20K。

在一个实施例中，所述的虚拟引擎模块利用多台PC主机联机渲染同一个画面，在千兆局域网内通过TPC协议交换同步信息，实现分布式实时渲染。

另一方面，本发明还公开了一种实时虚拟场景LED拍摄方法，其包括如下步骤：

1)虚拟引擎模块根据物理LED屏幕的形状及特性在虚拟引擎模块中重构出虚拟LED屏幕；

实时摄影机跟踪模块捕捉现实摄影机的位置信息通过VRPN协议将现实中的摄影机位置信息和运动数据实时捕捉至虚拟引擎模块中并构建虚拟摄像机，通过控制虚拟摄像机的运动以实时模拟真实摄影机的运动；

2)根据当前拍摄场景所需呈现的内容，虚拟引擎模块从数字资产库模块中调取三维模型和环幕视频构建虚拟场景，通过虚拟灯控台控制外置灯光系统中灯光的亮度及颜色；通过环境光采集系统为虚拟引擎模块采集摄影棚内真实环境光照信息，将真实环境光信息实时同步至虚拟引擎内，远程控制系统通过访问虚拟引擎模块内部的虚拟灯光单元模拟虚拟场景中模型的灯光照明从而匹配外界真实光照；远程控制系统通过访问虚拟引擎模块内部的物理效果模拟单元模拟虚拟场景中模型的物理光学效果和物理特性效果；

3)虚拟引擎模块进行分布式实时渲染，并在虚拟LED屏幕上投射渲染画面；虚拟引擎还根据实时摄影机跟踪模块得到的实时摄像机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述渲染画面为根据摄影机实时位置信息变化并带有景深及视差的画面，

4)将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出，由物理LED屏幕进行实时显示；步骤3)所述带有深度通道的画面输出给XR模块；

5)物理LED屏幕和外置灯光为现实中的被摄物提供所需灯光照明，光照信息随着物理LED屏幕的画面内容进行实时变更；

6)实时摄影机进行当前场景的拍摄，拍摄画面传输给XR模块，XR模块获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。

与现有技术相比，本发明具有如下有益效果：

1、本发明通过LED屏幕投射场景画面，在优选的实施例中，LED屏幕呈环形并有顶盖，从而近乎构建了一个360°的拍摄场景；表演者在场景中表演，由实时摄像机拍摄画面；相比于现有技术中普遍采用的绿幕拍摄方法，本发明免去了后期抠像，实时摄像机拍摄的画面就已经包含渲染画面，可以直接或做简单处理就作为成片；并且相比于绿幕拍摄，利用本发明后，现场导演可以实时看到作品的完整效果，便于纠错和实时调整；避免了现有技术中，后期制作工作者与前期拍摄人员需要进行大量沟通的工作模式，并可以减少甚至完全避免补拍工作。

2、本发明通过LED屏幕投射渲染画面，由于其与实时摄像机的画面存在色差，因此本发明通过颜色匹配模块自动抓取实时摄影机对LED屏幕的画面采样，通过对比标准色卡，对实时摄影机看到的LED画面和物理LED本身投射到屏幕上的画面进行比对，对LED屏幕的画面进行校准，从而得到一个可以被实时校准摄影机拍摄的、正确的LED屏幕颜色。

3.本发明使用镜头数据传感器提供准确的焦距焦点信息，为画面进行准确的镜头畸变匹配，使用OptiTrack等光学动捕系统为摄影机进行跟踪，虚拟引擎模块还根据实时摄影机跟踪模块得到的实时摄像机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述带有深度通道的画面输出给XR模块；通过XR模块获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。最终的画面将跟随现实中摄影机位置变化而发生透视及视差变化，并可通过XR模块增加虚拟人物和效果。本发明虚拟LED屏幕上渲染的画面也是跟随摄像机运动而改变的，例如当摄像机朝前移动时，LED屏幕呈现的画面中摄像机正对拍摄的画面将被逐渐放大，从而模拟因摄像机移动时场景应该产生的变化，同时该画面中的光照效果等也将进行调整。如此解决了现有技术中LED屏幕所展示的画面不随摄像机位置改变而变化，或不包含透视和立体信息而使得拍摄画面极不真实，甚至画面无法作为影视拍摄背景的问题。

3、本发明利用数字资产库模块用于专门存储素材，通过预先采集和分类存储，数字资产库模块包含大量高真实三维素材库和高质量环幕素材库，其中高真实三维素材库内存储有三维模型和用于作为视频背景素材的环幕视频；在虚拟建模时，可直接根据拍摄内容的需要，选择三维模型和环幕视素材，极大方便了虚拟建模过程，且数字资产库模块内的素材可重复使用，并可不断的扩充。

4、现有技术中采用绿幕拍摄时，对于场景中的金属、玻璃等易产生场景反射的物体，其反射效果也是绿色的，由于反射效果难以预料，导致后期极难处理。本发明使得正确映射到现实LED屏幕上的画面继承了虚拟场景中的光照信息，现实被摄物可以产生真实的反射或折射效果。并且本发明的光照信息会随着LED屏幕的画面内容进行实时变更，从而消除了现有技术中被摄物与LED屏幕所展示的画面的光照不协调的问题。

5.本发明的虚拟引擎模块利用多台PC主机联机渲染同一个画面，在千兆局域网内通过TPC协议交换同步信息，实现分布式实时渲染，极大的加速了渲染的。

附图说明

图1为本发明实时虚拟场景LED拍摄系统的原理图；

图2为虚拟引擎模块的工作流程图；

图3为物理LED屏幕的俯视示意图；

图4为物理LED屏幕的示意图；

图5为远程控制系统调整灯光子模块的操作界面示意图；

图6为远程控制系统调整太阳光大气雾子模块的操作界面示意图；

图7为远程控制系统调整色彩矫正子模块的操作界面示意图。

具体实施方式

下面结合具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1和2所示，本发明的实时虚拟场景LED拍摄系统包括：

物理LED屏幕，其用于接收虚拟引擎模块的输出视频流信号，并进行显示，

数字资产库模块，所述的数字资产库模块包括高真实三维素材库和高质量环幕素材库，其中高真实三维素材库内存储有素材的三维模型，所述的高质量环幕素材库内存储有用于作为视频背景素材的环幕视频；

实时摄影机，其用于拍摄现实场景的画面；所述的实时摄影机连接有镜头数据传感器，用于获取焦距焦点信息，从而获得镜头畸变信息并传输给虚拟引擎模块；

实时摄影机跟踪模块，其捕捉现实摄影机的位置信息和运动数据并通过VRPN协议将捕捉的信息实时传输至虚拟引擎模块中；

虚拟引擎模块，其根据物理LED屏幕的形状及特性在虚拟引擎模块中重构出虚拟LED屏幕，通过实时摄影机跟踪模块获取的摄影机位置和运动数据构建虚拟摄像机，并通过控制虚拟摄像机的运动以实时模拟真实摄影机的运动；其通过调取数字资产库模块中的三维模型和环幕视频构建虚拟场景，其获取环境光采集系统模块采集的真实环境光信息并实时同步，通过内部的虚拟灯光单元模拟虚拟场景中模型的灯光照明，通过内部的物理效果模拟单元模拟虚拟场景中模型的物理光学效果和物理特性效果；虚拟引擎模块通过分布式实时渲染，并根据当前虚拟摄像机的位置在虚拟LED屏幕上投射渲染画面；虚拟引擎模块将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出；虚拟引擎模块还根据实时摄影机跟踪模块得到的实时摄像机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述带有深度通道的画面输出给XR模块；

远程控制系统，其与虚拟引擎模块远程连接，用于远程调控虚拟灯光单元和物理效果模拟单元的模拟效果。

外置灯光系统，其用于向拍摄场景提供灯光照明；

虚拟灯控台模块，其远距离控制外置灯光系统,并对其颜色及亮度进行实时调整；

环境光采集系统模块，其使用装载鱼眼镜头的摄影机，将摄影机放置在被摄物同环境光下，实时生成HDRI环境贴图供给虚拟引擎进行渲染，其将真实环境光信息实时同步至虚拟引擎内颜色匹配模块；其自动抓取实时摄影机对LED屏幕的画面采样，通过对比标准色卡，对实时摄影机看到的LED画面，和物理LED屏幕上的画面进行比对，实时校准LED屏幕颜色。

XR模块，其获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。

实时摄像机拍摄的画面是包含表演者(或被拍摄物)、LED屏展示的渲染画面、整个拍摄场景光照效果等在内的画面，且由于本发明LED屏展示的渲染画面会随实时摄影机位置的改变而产生实时变化，区别与传统的LED屏，本发明LED屏展示的画面是带有景深及视差的画面，通过颜色匹配模块对LED屏的颜色进行校准，通过XR模块将虚拟引擎实时渲染的带有深度通道的画面叠加到现实摄影机拍摄的画面上。因此实时摄像机在拍摄场景的拍摄是完全可以连续进行的。在较好的呈现效果下，所拍摄的画面只需后期简单处理甚至不做处理即可作为最终影视作品中的镜头。

在本发明的一个集体实施例中，物理LED屏幕由点距低于P4及屏幕刷新率匹配摄影机感光元件刷新率、且屏幕亮度达到800-1000MCD左右的LED屏幕模组构成。

如图3和4所示，在本发明的一个具体实施例中，所述的物理LED屏幕由环形立墙LED屏和平面顶盖LED屏组成；平面顶盖LED屏设置在环形立墙LED屏的顶部。物理LED屏幕构成了一个全景的拍摄空间。环形立墙LED屏和平面顶盖LED屏均由若干LED屏幕单元组成，在实际拍摄过程中，处于摄像机不拍摄位置的LED屏幕单元是可以不投入工作的，即可以只选择部分LED屏幕单元投入工作，这样可以减少拍摄和渲染成本。虚拟场景中的虚拟LED屏幕的大小根据现实投入的LED屏幕单元的大小数量进行实时对应变化。

表演者或拍摄对象、实时摄像机及其它拍摄道具、拍摄工作人员共同置身于由物理LED屏幕构成的拍摄空间中，拍摄空间的大小可根据实际需要进行搭建。

本发明的外置灯光系统由若干光源组成，光源分布在由物理LED屏幕构成的拍摄空间中，例如可主要布置平面顶盖LED屏上。外置灯光系统的主要作用是根据当前场景所需要的光照氛围而进行照明。由于本发明由LED屏组成的拍摄空间是相对封闭的，且一般情况下，本发明的整个拍摄系统也会布置在室内，因此需要通过光照照明来模拟场景的光效。LED屏因为要显示渲染画面，通常难以在展示画面的同时提高场景照明所需要的光照，因此需要利用外置灯光系统来产生场景所需要的光照氛围，例如要拍摄晴天环境时，外置灯光系统就需要产生强度较强的暖色光，并配合LED屏的画面，来模拟真实的晴天场景。而当需要模拟晚上或密闭空间的场景时，则可产生强度较弱的冷色光；如果LED屏自身产生的画面亮度和光照效果就已经满足拍摄要求，则可关闭外置灯光系统。

本发明还包括虚拟灯控台模块，其用于远距离控制外置灯光系统,并对其颜色及亮度进行实时调整。虚拟灯控台模块通过USITTDMX512协议，使用RS-485总线收发器可以远距离控制外置灯光系统(例如：Skypanel),并对其颜色及亮度进行实时调整。

本发明的环境光采集系统模块使用装载鱼眼镜头的摄影机，将摄影机放置在被摄物同环境光下，可实时生成HDRI环境贴图供给虚拟引擎进行渲染，可将真实环境光信息实时同步至虚拟引擎内的天空系统，并对虚拟引擎内的虚拟场景进行光照渲染，并且可以根据外界光的变化实时同步变化，以达到模拟外界真实光照的目的。

现有技术中采用绿幕拍摄时，对于场景中的金属、玻璃等易产生场景反射的物体，例如金属杯表面会反射周围的环境，假如在绿色的摄影棚内拍摄(想要拍摄的是办公室场景)，由于绿幕的原因，金属杯身会呈现绿色，但是真实办公室场景的反射效果是难以预料，这导致后期工作人员极难处理，导致最终作品的局部细节不真实。

本发明的现实LED屏幕具有真实全局光照的效果，使得正确映射到现实LED屏幕上的画面和整个拍摄场景都继承了虚拟场景中的光照信息及反射信息，可以对现实被摄物的光照、反射、折射等产生真实的效果，并且光照信息会随着LED屏幕的画面内容进行实时变更。例如在办公室场景拍摄时，LED屏展示办公室画面，真实的被摄物--金属杯会反射办公室的环境，从而消除了现有技术中被摄物与LED屏幕所展示的画面的光照不协调的问题。

本发明的数字资产库模块由高真实三维素材库和高质量环幕素材库组成，其内存储的素材均以便于后期渲染的格式进行存储，并标注有分类标签，便于检索、调取和预览。

其中高真实三维素材库内含2000多套三维扫描模型，涵盖：地形、场景、道具、人物、动物模型资产，为实时虚拟场景LED拍摄提供充足三维模型基础。

高质量环幕素材库内含5000条分辨率为20K左右的环幕视频，涉及亚洲、欧洲、美洲等地，涵盖自然风光、城市风光、车拍背景等多种类型视频素材，为实时虚拟场景LED拍摄提供充足的视频背景素材。

在虚拟建模时，可直接根据拍摄内容的需要，选择三维模型和环幕视素材，且数字资产库模块内的素材可重复使用，并可不断的扩充。

在本实施例中，实时摄影机跟踪模块为光学跟踪系统，其包括多个布置在拍摄空间不同位置的红外摄影机，并通过红外摄影机捕捉实时摄影机的运动数据。红外摄影机可以布置在LED屏组成的拍摄空间的侧壁和顶盖上。通过至少两个红外摄影机同时拍摄到实时摄影机的图像，即可根据这两个红外摄像机自身的位置计算出实时摄影机的位置。由于实时摄像机为刚体，因此其位置的计算求解是非常简便和容易的，从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。

本实施例的实时摄影机跟踪模块利用光学动捕设备Optitrack摄影机跟踪数据，通过vrpn将现实摄影机的位置信息实时传输给虚幻引擎，引擎内经过计算后输出带有景深及视差的画面给到LED屏幕，LED屏幕内的画面跟随现实中摄影机位置变化而发生透视及视差变化。

在本发明拍摄过程中，当实时摄影机跟踪模块采用光学跟踪系统系统时，其还可以用于捕捉表演者的表情和动作。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为"Marker"，视觉系统将识别和处理这些标志。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒60帧以上。本实施例采用的是P41(动捕摄像头型号)，帧率可达到250帧每秒。

另外，有些光学运动捕捉系统不依靠Marker作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程等。

本实施例的虚拟引擎模块可根据真实LED屏幕的物理分辨率，生成8K甚至更高分辨率的视频流，为LED屏幕生成高分辨率的视频流，并由显卡DP口传输给LED屏幕。同时为了解决单台电脑无法流畅实时输出8K视频流的问题，本发明的实施例用多台PC电脑联机渲染同一个画面，在搭建好的千兆局域网内通过TPC协议交换同步信息，使得画面可以无缝拼接成一个整体。虚拟引擎模块利用多台PC主机联机渲染同一个画面，在千兆局域网内通过TPC协议交换同步信息，实现分布式实时渲染；虚拟引擎模块通过TCP协议利用时间码对多台电脑进行同步，保障多台电脑渲染的画面同步输出，视角同步变化。

所述的虚拟灯光单元通过调节虚拟场景中的灯光明暗、色温、光照方向来模拟灯光照明；物理效果模拟单元模拟虚拟场景中物体的真实物理光照效果，以及模拟模型之间碰撞的物理特性效果。虚拟灯光单元和物理效果模拟单元均是虚拟引擎模块的内置模块。

在本发明的一个具体实施例中，所述的虚拟灯光单元至少包括灯光子模块、太阳光大气雾子模块、色彩矫正子模块；

所述远程控制系统通过TCP协议访问虚拟引擎模块中的虚拟灯光单元，通过改变灯光子模块的参数调节虚拟场景中的灯光亮度、色温、灯光方向；通过改变太阳光大气雾子模块的参数调节虚拟场景中的太阳光亮度、色温、光源颜色和角度，并控制大气雾效果的开关以及调节大气雾密度、颜色、透明度和衰减值；通过改变色彩矫正子模块的参数调节全局曝光参数和自动曝光参数。

本发明的远程控制系统可运行在智能终端上，(例如IPad)，通过无线路由器组建无线网络环境，通过TCP协议使搭载在IPAD上的远程操控系统远程调用虚拟引擎中的虚拟灯光单元和物理效果模拟单元。

以下以虚拟灯光单元为例，进行详细展开说明。

1.灯光子模块，该子模块主要用于调节虚拟场景中的灯光亮度、色温、灯光方向，具体操作界面如图5所示，其主要调节项包括：

①Skylight进行灯光颜色调整(色温(100-12000K))、

②灯光亮度调整；

③HDR图切换、HDR图可见性开关。

2.太阳光大气雾子模块，该子模块主要用于调节虚拟场景中太阳光和大气雾的效果，具体操作界面如图6所示，其主要调节项包括：

①太阳光亮度调节；

②太阳光色温调节；

③太阳光光源颜色选取；

④太阳光角度(方位XYZ)。

⑤大气雾密度调节；

⑥大气雾衰减值；

⑦大气雾颜色选取；

⑧大气雾透明度调节；

⑨大气雾开关(可见性)。

3.色彩矫正子模块，该子模块主要用于，全局曝光参数和自动曝光参数，曝光调整具体操作界面如图7所示，其主要调节项包括：

全局曝光调整：

①饱和度调整；

②对比度调整；

③伽马值调整；

④增益；

⑤偏移；

自动曝光模式：

①曝光补偿；

②最大曝光值；

③最小曝光值。

通过远程控制系统，现场导演或其它决策人员在现场即可根据当前现实LED屏幕展现的效果和实际拍摄需求，通过远程控制方式直接调整渲染画面中的相关灯光或物理效果，从而达到所需的拍摄需求。相比于现有技术中，决策人员需要联系后台工作人员进行调整而言，本发明极大提升了拍摄效率，避免了现有技术中因沟通过程信息的不准确传达导致的沟通效率低下，拍摄效果不理想等问题。

在本发明的一个具体实施例中，虚拟引擎模块设定虚拟摄像机的其中一个位置为初始位置，初始位置对应的渲染画面为初始画面；当虚拟摄像机移动时，根据当前虚拟摄像机位置与初始位置之间的位置关系，虚拟引擎模块调整在虚拟LED屏幕上投射的渲染画面，使渲染画面随虚拟摄像机位置的变化而产生景深、视差变化。例如当摄像机朝前移动时，LED屏幕呈现的画面中摄像机正对拍摄的画面将被逐渐放大，细节也更为清晰，从而模拟因摄像机移动时场景应该产生的变化，同时该画面中的光照效果等也将进行调整。如此解决了现有技术中LED屏幕所展示的画面不随摄像机位置改变而变化，或不包含透视和立体信息而使得拍摄画面极不真实，甚至画面无法作为影视拍摄背景的问题。

由于LED屏幕色温不等同与摄影机的色温，LED屏幕由于有硬件原因，画面偏向于蓝色多一些，所以需要进行色彩校准，使得摄影机看到的LED屏幕内的画面颜色为正确的显示，色卡作为一个参照物是已有比较权威的校色体系。本发明的颜色匹配模块；其自动抓取实时摄影机对LED屏幕的画面采样，通过对比标准色卡，对实时摄影机看到的LED画面和物理LED本身投射到屏幕上的画面进行比对，并校准LED屏幕上的画面，从而得到一个可以被实时校准摄影机拍摄的、正确的LED屏幕颜色。

本发明虚拟LED屏幕上渲染的画面也是跟随摄像机运动而改变的，例如当摄像机朝前移动时，LED屏幕呈现的画面中摄像机正对拍摄的画面将被逐渐放大，从而模拟因摄像机移动时场景应该产生的变化，同时该画面中的光照效果等也将进行调整。如此解决了现有技术中LED屏幕所展示的画面不随摄像机位置改变而变化，或不包含透视和立体信息而使得拍摄画面极不真实，甚至画面无法作为影视拍摄背景的问题。

进一步的，作为本发明的优选方案，本发明使用镜头数据传感器提供准确的焦距焦点信息，为画面进行准确的镜头畸变匹配，使用Optitrack光学动捕系统为摄影机进行跟踪，虚拟引擎模块还根据实时摄影机跟踪模块得到的实时摄像机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述带有深度通道的画面输出给XR模块；通过XR模块获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，并对画面进行合成处理(例如带有深度通道的画面或虚拟人物画面叠加在被摄物的前景之上)，得到最终的画面。最终的画面将跟随现实中摄影机位置变化而发生透视及视差变化，并可通过XR模块增加虚拟人物和特效，并可在摄像机拍摄的画面中增加物理LED屏幕之外的场景。

应用本发明系统的实时虚拟场景LED拍摄方法，主要包括如下步骤：

1)虚拟引擎模块根据物理LED屏幕的形状及特性在虚拟引擎模块中重构出虚拟LED屏幕；

实时摄影机跟踪模块捕捉现实摄影机的位置信息通过VRPN协议将现实中的摄影机位置信息和运动数据实时捕捉至虚拟引擎模块中并构建虚拟摄像机，通过控制虚拟摄像机的运动以实时模拟真实摄影机的运动；

2)根据当前拍摄场景所需呈现的内容，虚拟引擎模块从数字资产库模块中调取三维模型和环幕视频构建虚拟场景，通过虚拟灯控台控制外置灯光系统中灯光的亮度及颜色；通过环境光采集系统为虚拟引擎模块采集摄影棚内真实环境光照信息，将真实环境光信息实时同步至虚拟引擎内，远程控制系统通过访问虚拟引擎模块内部的虚拟灯光单元模拟虚拟场景中模型的灯光照明从而匹配外界真实光照；远程控制系统通过访问虚拟引擎模块内部的物理效果模拟单元模拟虚拟场景中模型的物理光学效果和物理特性效果；

3)虚拟引擎模块进行分布式实时渲染，并在虚拟LED屏幕上投射渲染画面；虚拟引擎还根据实时摄影机跟踪模块得到的实时摄像机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述渲染画面为根据摄影机实时位置信息变化并带有景深及视差的画面，

4)将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出，由物理LED屏幕进行实时显示；步骤3)所述带有深度通道的画面输出给XR模块；

5)物理LED屏幕和外置灯光系统为现实中的被摄物提供所需灯光照明，光照信息随着物理LED屏幕的画面内容进行实时变更；

6)实时摄影机进行当前场景的拍摄，拍摄画面传输给XR模块，XR模块获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种实时虚拟场景LED拍摄系统，其特征在于包括：

物理LED屏幕，其用于接收虚拟引擎模块的输出视频流信号，并进行显示，

数字资产库模块，所述的数字资产库模块包括高真实三维素材库和高质量环幕素材库，其中高真实三维素材库内存储有素材的三维模型，所述的高质量环幕素材库内存储有用于作为视频背景素材的环幕视频；

实时摄影机，其用于拍摄现实场景的画面；所述的实时摄影机连接有镜头数据传感器，用于获取焦距焦点信息，从而获得镜头畸变信息并传输给虚拟引擎模块；

实时摄影机跟踪模块，其捕捉实时摄影机的位置信息和运动数据并通过VRPN协议将捕捉的信息实时传输至虚拟引擎模块中；

虚拟引擎模块，其根据物理LED屏幕的形状及特性在虚拟引擎模块中重构出虚拟LED屏幕，通过实时摄影机跟踪模块获取的摄影机位置和运动数据构建虚拟摄像机，并通过控制虚拟摄像机的运动以实时模拟实时摄影机的运动；其通过调取数字资产库模块中的三维模型和环幕视频构建虚拟场景，其获取环境光采集系统模块采集的真实环境光信息并实时同步，通过内部的虚拟灯光单元模拟虚拟场景中模型的灯光照明，通过内部的物理效果模拟单元模拟虚拟场景中模型的物理光学效果和物理特性效果；虚拟引擎模块通过分布式实时渲染，并根据当前虚拟摄像机的位置在虚拟LED屏幕上投射渲染画面；虚拟引擎模块将虚拟LED屏幕上的渲染画面转换成物理LED屏幕可用的视频流信号进行输出；虚拟引擎模块还根据实时摄影机跟踪模块得到的实时摄影机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述带有深度通道的画面输出给XR模块；

远程控制系统，其与虚拟引擎模块远程连接，用于远程调控虚拟灯光单元和物理效果模拟单元的模拟效果；

外置灯光系统，其用于向拍摄场景提供灯光照明；

虚拟灯控台模块，其远距离控制外置灯光系统,并对其颜色及亮度进行实时调整；

环境光采集系统模块，其使用装载鱼眼镜头的摄影机，将摄影机放置在被摄物同环境光下，实时生成HDRI环境贴图供给虚拟引擎进行渲染，其将真实环境光信息实时同步至虚拟引擎内颜色匹配模块；其自动抓取实时摄影机对物理LED屏幕的画面采样，通过对比标准色卡，对实时摄影机看到的LED画面，和物理LED屏幕上的画面进行比对，实时校准物理LED屏幕颜色；

XR模块，其获取虚拟引擎实时渲染的带有深度通道的画面和实时摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。

2.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，所述物理LED屏幕由点距低于P4及屏幕刷新率匹配摄影机感光元件刷新率、且屏幕亮度达到800-1000 MCD的LED屏幕模组构成。

3.根据权利要求1或2所述的实时虚拟场景LED拍摄系统，其特征在于，所述的物理LED屏幕包括环形立墙LED屏和平面顶盖LED屏；平面顶盖LED屏设置在环形立墙LED屏的顶部，两者构成全景拍摄空间。

4.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，所述高真实三维素材库内存储的三维模型包括地形模型、场景模型、道具模型、人物模型和动物模型；所述的高质量环幕素材库内存储的环幕视频包括自然风光、城市风光、车拍背景视频素材，分辨率达到20K。

5.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，所述的实时摄影机跟踪模块为光学跟踪系统，其包括多个布置在不同位置的红外摄影机，并通过红外摄影机捕捉实时摄影机的运动数据。

6.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，所述的虚拟引擎模块利用多台PC主机联机渲染同一个画面，在千兆局域网内通过TPC协议交换同步信息，实现分布式实时渲染；虚拟引擎模块通过TCP协议利用时间码对多台PC主机进行同步，保障多台PC主机渲染的画面同步输出，视角同步变化。

7.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，所述的虚拟灯光单元通过调节虚拟场景中的灯光效果来模拟灯光照明；

物理效果模拟单元模拟虚拟场景中物体的真实物理光照效果，以及模拟模型之间碰撞的物理特性效果。

8.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，所述的虚拟灯光单元至少包括灯光子模块、太阳光大气雾子模块、色彩矫正子模块；

所述远程控制系统通过TCP协议访问虚拟引擎模块中的虚拟灯光单元，通过改变灯光子模块的参数调节虚拟场景中的灯光亮度、色温、灯光方向；通过改变太阳光大气雾子模块的参数调节虚拟场景中的太阳光亮度、色温、光源颜色和角度，并控制大气雾效果的开关以及调节大气雾密度、颜色、透明度和衰减值；通过改变色彩矫正子模块的参数调节全局曝光参数和自动曝光参数。

9.根据权利要求1所述的实时虚拟场景LED拍摄系统，其特征在于，虚拟引擎模块设定虚拟摄像机的其中一个位置为初始位置，初始位置对应的渲染画面为初始画面；当虚拟摄像机移动时，根据当前虚拟摄像机位置与初始位置之间的位置关系，虚拟引擎模块调整在虚拟LED屏幕上投射的渲染画面，使渲染画面随虚拟摄像机位置的变化而产生景深、视差变化。

10.一种权利要求1所述系统的实时虚拟场景LED拍摄方法，其特征在于包括如下步骤：

1） 虚拟引擎模块根据物理LED屏幕的形状及特性在虚拟引擎模块中重构出虚拟LED屏幕；

实时摄影机跟踪模块捕捉实时摄影机的位置信息通过VRPN协议将现实中的摄影机位置信息和运动数据实时捕捉至虚拟引擎模块中并构建虚拟摄像机，通过控制虚拟摄像机的运动以实时模拟实时摄影机的运动；

2）根据当前拍摄场景所需呈现的内容，虚拟引擎模块从数字资产库模块中调取三维模型和环幕视频构建虚拟场景，通过虚拟灯控台控制外置灯光系统中灯光的亮度及颜色；通过环境光采集系统为虚拟引擎模块采集摄影棚内真实环境光照信息，将真实环境光信息实时同步至虚拟引擎内，远程控制系统通过访问虚拟引擎模块内部的虚拟灯光单元模拟虚拟场景中模型的灯光照明从而匹配外界真实光照；远程控制系统通过访问虚拟引擎模块内部的物理效果模拟单元模拟虚拟场景中模型的物理光学效果和物理特性效果；

3）虚拟引擎模块进行分布式实时渲染，并在虚拟LED屏幕上投射渲染画面；虚拟引擎还根据实时摄影机跟踪模块得到的实时摄影机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述渲染画面为根据实时摄影机实时位置信息变化并带有景深及视差的画面，

4）将虚拟LED屏幕上的渲染画面转换成物理LED屏幕可用的视频流信号进行输出，由物理LED屏幕进行实时显示；步骤3）所述带有深度通道的画面输出给XR模块；

5）物理LED屏幕和外置灯光为现实中的被摄物提供所需灯光照明，光照信息随着物理LED屏幕的画面内容进行实时变更；

6）实时摄影机进行当前场景的拍摄，拍摄画面传输给XR模块，XR模块获取虚拟引擎实时渲染的带有深度通道的画面和实时摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。

Images