CN114143475A - 一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统 - Google Patents

一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统 Download PDF

Info

Publication number
CN114143475A
CN114143475A CN202111664652.1A CN202111664652A CN114143475A CN 114143475 A CN114143475 A CN 114143475A CN 202111664652 A CN202111664652 A CN 202111664652A CN 114143475 A CN114143475 A CN 114143475A
Authority
CN
China
Prior art keywords
virtual
equipment
real
illumination
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111664652.1A
Other languages
English (en)
Inventor
林晓征
李承吉
刘福菊
常江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dahooo Technology Co Ltd
Original Assignee
Beijing Dahooo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dahooo Technology Co Ltd filed Critical Beijing Dahooo Technology Co Ltd
Priority to CN202111664652.1A priority Critical patent/CN114143475A/zh
Publication of CN114143475A publication Critical patent/CN114143475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/08—Trick photography
    • G03B15/10—Trick photography using back-projection, i.e. blending artificial background with real foreground
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统，包括：LED显示大屏发出正在显示场景的光照色彩效果，将所述光照色彩效果以数值数据的形式传递给管理服务器；所述管理服务器再将所述光照色彩数值数据进行处理，实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，并发送给现场的照明设备，使所述照明设备以所述数值数据为参考来模拟LED显示大屏中正在显示场景的色彩效果，做到拍摄色彩还原的真实性。可以很好的解决电影虚拟拍摄过程中不易处理的LED背景显示灯光效果与前景人物拍摄时照明设备所发实际的灯光效果不一致的问题，为拍摄影像具有更加真实的视觉效果提供了有力保障。

Description

一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统
技术领域
本发明属于图像显示技术领域，涉及一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统。
背景技术
LED数字虚拟影棚是近几年在国内外都备受关注的新兴应用，融合了最新显示技术的LED屏与虚拟摄像系统、实时渲染系统等，从而带来令人惊叹的专业视频拍摄效果，尤其是在现阶段的影视拍摄、演播室等场景中，LED数字虚拟影棚发挥了非常大的作用，逼真的显示画面、3D的视觉效果和沉浸式的体验让人感叹。
传统的LED数字虚拟拍摄过程中，现场的灯光效果来源于两部分，一部分是利用LED显示大屏将虚拟背景画面显示出来的同时，也将虚拟场景的灯光效果也同时显示出来，而另一部分的灯光效果，则是来源于现场的照明设备的灯光照明，这样就出现一个问题，就是现场的调光师因为无法拿到虚拟场景所展现的光照效果所对应的相关各种光超参数，因此容易导致被拍摄的前景人物，与背景画面所模拟出的光照效果不一致，导致两者融合之后会出现画面色彩不统一的问题，导致被拍摄出来的画面比较的不真实，无法真正的体现比较好的画面观看效果。
另外，这种拍摄方式有一种不好解决的情况就是用于显示虚拟背景的LED显示大屏，与现场拍摄照明设备不能很好的的统一发出具有相同的色度、亮度、对比度以及色温等光照参数，导致拍摄画面有明显的色彩区分，画面显示很突兀。
发明内容
本发明的目的在于克服上述不足，提供一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统，解决电影虚拟拍摄过程中不易处理的LED背景显示灯光效果与前景人物拍摄时照明设备所发实际的灯光效果不一致的问题。
为了实现上述目的，本发明采用的技术方案为：一种可应用于虚拟电影拍摄的全局灯光仿真方法，其特征在于，包括：
LED显示大屏发出正在显示场景的光照色彩效果，将所述光照色彩效果以数值数据的形式传递给管理服务器；
所述管理服务器再将所述光照色彩数值数据进行处理，实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，并发送给现场的照明设备，使所述照明设备以所述数值数据为参考来模拟LED显示大屏中正在显示场景的色彩效果。
进一步地，所述管理服务器再将所述光照色彩数值数据进行处理，包括：
根据物理LED屏幕的形状及特性在渲染服务器的虚拟引擎模块中重构出虚拟LED屏幕，通过管理服务器将从跟踪设备获取的摄影机和照明设备位置和运动数据构建虚拟摄像机和虚拟照明设备，并通过控制虚拟摄像机和虚拟照明设备的运动以实时模拟真实摄影机和真实照明设备的状态，其通过获取虚拟环境光效果数据，并且与真实照明设备进行光照信息数据并实时同步。
进一步地，所述虚拟引擎模块将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出。
本发明的另一目的在于提供一种可应用于虚拟电影拍摄的全局灯光仿真系统，其特征在于，包括：管理服务器，所述管理服务器与渲染服务器、照明设备、跟踪设备通过网络进行远程连接，用于控制渲染服务器的画面输出内容，以及实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，与其之上的虚拟模拟摄像机和虚拟灯光设备进行数据匹配。
本发明的有益效果为：
实现简单，包括：LED显示大屏发出正在显示场景的光照色彩效果，将所述光照色彩效果以数值数据的形式传递给管理服务器；所述管理服务器再将所述光照色彩数值数据进行处理，实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，并发送给现场的照明设备，使所述照明设备以所述数值数据为参考来模拟LED显示大屏中正在显示场景的色彩效果，最终实现背景灯效与现场照明效果的一致性，做到拍摄色彩还原的真实性。可以很好的解决电影虚拟拍摄过程中不易处理的LED背景显示灯光效果与前景人物拍摄时照明设备所发实际的灯光效果不一致的问题，为拍摄影像具有更加真实的视觉效果提供了有力保障。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明的可应用于虚拟电影拍摄的全局灯光仿真系统的结构示意图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
请参照图1，本发明的一种可应用于虚拟电影拍摄的全局灯光仿真方法，包括：
步骤S101，LED显示大屏发出正在显示场景的光照色彩效果，将所述光照色彩效果以数值数据的形式传递给管理服务器；
步骤S102，所述管理服务器再将所述光照色彩数值数据进行处理，实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，并发送给现场的照明设备，使所述照明设备以所述数值数据为参考来模拟LED显示大屏中正在显示场景的色彩效果。
在一个实施例中，所述管理服务器再将所述光照色彩数值数据进行处理，包括：
根据物理LED屏幕的形状及特性在渲染服务器的虚拟引擎模块中重构出虚拟LED屏幕，通过管理服务器将从跟踪设备获取的摄影机和照明设备位置和运动数据构建虚拟摄像机和虚拟照明设备，并通过控制虚拟摄像机和虚拟照明设备的运动以实时模拟真实摄影机和真实照明设备的状态，其通过获取虚拟环境光效果数据，并且与真实照明设备进行光照信息数据并实时同步。
在一个实施例中，所述虚拟引擎模块将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出。
本发明的另一目的在于提供一种可应用于虚拟电影拍摄的全局灯光仿真系统，是由LED显示大屏、渲染服务器、管理服务器、跟踪设备、照明设备、摄像机等六大部分组成。通过以太网将上列主要设备进行联通，实现数据的传输。
作为具体的实施例，LED显示大屏：其用于接收渲染服务器的输出视频流信号，并进行显示。
作为具体的实施例，跟踪设备：其捕捉现实摄影机和灯光设备的位置信息和运动数据并通过VRPN协议将捕捉的信息实时传输至渲染服务器中的虚拟引擎模块中。
作为具体的实施例，渲染服务器：主要承载着虚拟场景的画面构建以及信号输出的主要功能，其根据物理LED屏幕的形状及特性在渲染服务器的虚拟引擎模块中重构出虚拟LED屏幕，通过管理服务器将从跟踪设备获取的摄影机和照明设备位置和运动数据构建虚拟摄像机和虚拟照明设备，并通过控制虚拟摄像机和虚拟照明设备的运动以实时模拟真实摄影机和真实照明设备的状态，其通过获取虚拟环境光效果数据，并且与真实照明设备进行光照信息数据并实时同步，让真实灯光照明设备通过数据的同步，可以模拟出虚拟场景中的物理光学效果和物理特性效果，让LED显示大屏与现场的光照色彩效果一致，同时渲染虚拟引擎模块通过分布式实时渲染，并根据当前虚拟摄像机的位置在虚拟LED屏幕上投射渲染画面。
作为具体的实施例，虚拟引擎模块将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出。
作为具体的实施例，管理服务器：其与渲染服务器、照明设备、跟踪设备通过网络进行远程连接，该设备主要用于控制渲染服务器的画面输出内容，以及实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，与其之上的虚拟模拟摄像机和虚拟灯光设备进行数据匹配。
作为具体的实施例，照明设备：其用于向拍摄场景提供灯光照明。其主要由照明灯光和照明灯控设备组成。
作为具体的实施例，摄像机：其用于拍摄现实场景的画面。
作为具体的实施例，在拍摄过程中，本发明首先给真实摄像机和真实的照明设备贴上一些特制的标志或发光点，称为”Marker”，视觉系统将识别和处理这些标志。系统定标后，通过红外光学跟踪技术，跟踪设备(例如optitrack)将连续拍摄摄像机和照明灯光设备的位置信息，并将其实时传递给管理服务器。
作为具体的实施例，在管理服务器收到了跟踪设备传递过来的设备信息数据后，会通过VRPN协议将现实中的摄影机和照明设备位置信息和运动数据实时推送到渲染服务器的虚拟引擎模块中并构建虚拟摄像机和虚拟照明设备，并且实现与虚拟引擎模块中的虚拟摄像机和虚拟照明设备的信息绑定，实现虚实状态的联通效应。
作为具体的实施例，管理服务器可以实时得到渲染服务器上创建的虚拟照明设备的色彩参数值，管理服务器会将实时得到的虚拟照明设备色彩参数值，通过USITTDMX512协议，使用RS 485总线收发器可以远距离控制真实灯光系统(例如：Skypanel)，并对其颜色及亮度进行实时调整。让真实的照明灯光按照管理服务器反馈过来的虚拟照明设备当前色彩值，进行光效调整，让真实灯效与最终在LED显示大屏上展现的虚拟场景画面的虚拟灯光效果一致。
试验：在测试场地搭建长度为576米，高3.86米的LED屏幕作为测试环境。由灯效管理服务器向LED显示大屏输出虚拟背景图像，同时计算整个虚拟背景的各个虚拟空间位置的色彩参数。然后通过跟踪设备在照明设备上的红外装置，来获取照明设备的物理空间位置，将其回传到管理服务器，再由管理控服务器将照明设备的实际物理空间位置，对照到虚拟背景中的虚拟空间位置，并且获取到当前的虚拟空间位置的准确色彩参数，再通过管理服务器设备回传给照明设备，让照明设备按照此色彩参数再发出相应的光照效果来匹配整个拍摄场景的照明需求。所使用的大屏服务器采用管理服务器为Z440，渲染服务器为Z440，LED显示大屏为利亚德屏幕，点间距为P1.576，大屏服务器为利亚德MVC-2-203,照明设备为ARRISKYpanel,红外设备为optitrack，索尼的高清摄像机型号为PXW-280。
试验效果：很好的解决电影虚拟拍摄过程中不易处理的LED背景显示灯光效果与前景人物拍摄时照明设备所发实际的灯光效果不一致的问题，为拍摄影像具有更加真实的视觉效果提供了有力保障。
本发明的有益效果为：
实现简单，包括：LED显示大屏发出正在显示场景的光照色彩效果，将所述光照色彩效果以数值数据的形式传递给管理服务器；所述管理服务器再将所述光照色彩数值数据进行处理，实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，并发送给现场的照明设备，使所述照明设备以所述数值数据为参考来模拟LED显示大屏中正在显示场景的色彩效果，最终实现背景灯效与现场照明效果的一致性，做到拍摄色彩还原的真实性。可以很好的解决电影虚拟拍摄过程中不易处理的LED背景显示灯光效果与前景人物拍摄时照明设备所发实际的灯光效果不一致的问题，为拍摄影像具有更加真实的视觉效果提供了有力保障。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (4)

1.一种可应用于虚拟电影拍摄的全局灯光仿真方法，其特征在于，包括：
LED显示大屏发出正在显示场景的光照色彩效果，将所述光照色彩效果以数值数据的形式传递给管理服务器；
所述管理服务器再将所述光照色彩数值数据进行处理，实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，并发送给现场的照明设备，使所述照明设备以所述数值数据为参考来模拟LED显示大屏中正在显示场景的色彩效果。
2.根据权利要求1所述的可应用于虚拟电影拍摄的全局灯光仿真方法，其特征在于，所述管理服务器再将所述光照色彩数值数据进行处理，包括：
根据物理LED屏幕的形状及特性在渲染服务器的虚拟引擎模块中重构出虚拟LED屏幕，通过管理服务器将从跟踪设备获取的摄影机和照明设备位置和运动数据构建虚拟摄像机和虚拟照明设备，并通过控制虚拟摄像机和虚拟照明设备的运动以实时模拟真实摄影机和真实照明设备的状态，其通过获取虚拟环境光效果数据，并且与真实照明设备进行光照信息数据并实时同步。
3.根据权利要求1所述的可应用于虚拟电影拍摄的全局灯光仿真方法，其特征在于，所述虚拟引擎模块将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出。
4.一种可应用于虚拟电影拍摄的全局灯光仿真系统，其特征在于，包括：管理服务器，所述管理服务器与渲染服务器、照明设备、跟踪设备通过网络进行远程连接，用于控制渲染服务器的画面输出内容，以及实时从跟踪设备中获取现实照明设备及摄像机设备的位置和状态信息，将其传输给渲染服务器上，与其之上的虚拟模拟摄像机和虚拟灯光设备进行数据匹配。
CN202111664652.1A 2021-12-31 2021-12-31 一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统 Pending CN114143475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111664652.1A CN114143475A (zh) 2021-12-31 2021-12-31 一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111664652.1A CN114143475A (zh) 2021-12-31 2021-12-31 一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统

Publications (1)

Publication Number Publication Date
CN114143475A true CN114143475A (zh) 2022-03-04

Family

ID=80384200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111664652.1A Pending CN114143475A (zh) 2021-12-31 2021-12-31 一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统

Country Status (1)

Country Link
CN (1) CN114143475A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115118880A (zh) * 2022-06-24 2022-09-27 中广建融合(北京)科技有限公司 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115118880A (zh) * 2022-06-24 2022-09-27 中广建融合(北京)科技有限公司 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统

Similar Documents

Publication Publication Date Title
CN112040092B (zh) 一种实时虚拟场景led拍摄系统及方法
CN107976811B (zh) 一种基于虚拟现实混合的仿真实验室及其仿真方法
CN110866978A (zh) 一种实时混合现实视频拍摄中的相机同步方法
CN114051129A (zh) 一种基于led背景墙的电影虚拟化制作系统及方法
US10015460B2 (en) Control and display system with synchronous direct view video array and incident key lighting
CN107147899A (zh) 一种采用led 3d屏幕的cave显示系统及方法
AU2018225269B2 (en) Method, system and apparatus for visual effects
CN206212187U (zh) 一种多屏显示校色服务器
CN106354460A (zh) 一种实物交互系统及其交互方法
CN104317546A (zh) 情景互动体验仿真系统
CN114143475A (zh) 一种可应用于虚拟电影拍摄的全局灯光仿真方法及系统
CN208609055U (zh) 一种模拟自然环境的照明系统
CN111698391B (zh) 通过仿真环境灯光参数控制真实灯光参数实时变化的方法
CN113923377A (zh) 一种led环幕虚拟制片系统
CN116486048A (zh) 虚实融合画面的生成方法、装置、设备及系统
CN115118880A (zh) 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
CN106909908B (zh) 一种影片场景模拟方法、装置及系统
CN206313877U (zh) 一种云台摄像机和云台摄像平台
CN102098452A (zh) 一种通过遥控器控制的互动可视化拍照系统制作方法
CN112019921A (zh) 应用于虚拟演播室的肢体动作数据处理方法
CN117041608A (zh) 线上展会与线下展会联动的数据处理方法及存储介质
CN114302064B (zh) 一种基于接收卡的视频处理方法、装置及系统
CN113589930B (zh) 一种混合现实模拟驾驶环境生成方法及系统
CN116485704A (zh) 光照信息处理方法、装置、电子设备及存储介质
CN107329633A (zh) 一种虚拟鱼缸及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination