CN114051129A - 一种基于led背景墙的电影虚拟化制作系统及方法 - Google Patents
一种基于led背景墙的电影虚拟化制作系统及方法 Download PDFInfo
- Publication number
- CN114051129A CN114051129A CN202111337610.7A CN202111337610A CN114051129A CN 114051129 A CN114051129 A CN 114051129A CN 202111337610 A CN202111337610 A CN 202111337610A CN 114051129 A CN114051129 A CN 114051129A
- Authority
- CN
- China
- Prior art keywords
- real
- camera
- background wall
- time
- led
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000009877 rendering Methods 0.000 claims abstract description 121
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 22
- 230000002452 interceptive effect Effects 0.000 claims description 17
- 239000000463 material Substances 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 12
- 239000011324 bead Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
- G09F9/33—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being semiconductor devices, e.g. diodes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开的一种基于LED背景墙的电影虚拟化制作系统及方法，属于影视制作领域。本发明使用LED背景墙代替绿幕，将匹配真实摄影机运动的虚拟场景通过实时渲染引擎渲染直接显示出来，并使用摄影机拍摄LED背景墙与实景融合后的画面，从而实现“所见即所得”的摄影机内视效拍摄效果，提高现场拍摄的把控以及影视制作的效率。
Description
技术领域
本发明涉及一种基于LED背景墙的电影虚拟化制作系统及方法，属于影视制作领域。
背景技术
在传统的电影制作中，涉及到视觉特效的内容往往都在现场运用绿幕进行拍摄，再将拍摄后的绿幕画面进行后期制作。这导致现场拍摄与后期制作在一定程度上相互割裂，演员在现场拍摄时只能面对绿幕进行表演，这使得表演的难度较大；主创团队在进行现场拍摄的过程中并不能实时观看到视觉特效制作完成后的效果，因此无法对现场拍摄进行完美的把控，这在一定程度上会降低电影制作的效率。
现有的实时交互预演技术则基于绿幕的拍摄环境，利用摄影机跟踪系统与实时渲染引擎，生成与真实摄影机运动相匹配的虚拟画面，并实时抠像合成到摄影机实拍画面中，将合成后的预览画面提供给主创作为现场参考。实时交互预演技术较为有效地解决创作者无法直观感受到虚拟场景与真实世界融合的问题，但与此同时，大面积的绿幕仍然存在溢色严重、具有反射/透射材质的物体难以合成、光照难以匹配等问题。
发明内容
本发明的目的是提出一种基于LED背景墙的电影虚拟化制作系统及方法，使用LED背景墙代替绿幕，将匹配真实摄影机运动的虚拟场景通过实时渲染引擎渲染直接显示出来，并使用摄影机拍摄LED背景墙与实景融合后的画面，从而实现“所见即所得”的摄影机内视效拍摄效果，提高现场拍摄的把控以及影视制作的效率。
本发明是通过下述具体技术方案实现的：
本发明的一种基于LED背景墙的电影虚拟化制作系统，包括；LED背景墙模块、虚拟场景工程模块、摄影机、摄影机跟踪系统、摄影机内参同步系统、实时渲染引擎模块、视频处理分发系统、交互控制模块、灯光控制模块、数字灯光、数字灯光阵列、后台控制模块以及信号监看与现场制作系统；
所述LED背景墙模块，接收所述实时渲染引擎模块传输的视频流信号并进行显示和播放；
所述虚拟场景工程模块，包括：数字资产、交互功能以及虚拟化制作核心功能；
所述数字资产，包括整个虚拟场景中的模型、材质、灯光、动画、特效；
进一步的，在制作虚拟场景工程时，需要将完成制作的所述数字资产迁移到虚拟场景工程中进行整合、优化，生成符合影视制作质量要求、满足实时渲染需求的虚拟场景；
更进一步的，为便于制作数字资产，本发明的一种基于LED背景墙的电影虚拟化制作系统包含有大量的高精度三维模型和大量全景相机拍摄的全景环境素材组成的数字资产库；
所述交互功能，是根据拍摄需求，在所述虚拟场景工程模块中，虚拟化制作团队与灯光、道具、机械装置的交互以及实时控制功能；
所述虚拟化制作核心功能，包括：虚拟LED背景墙的构建、多屏多机渲染配置、摄影机跟踪数据与虚拟摄影机的绑定以及摄影机内参的同步功能；
进一步的，在建立所述虚拟场景工程模块时，需要将所述虚拟化制作核心功能按照具体情况移植到所述虚拟场景工程模块中；
所述摄影机，用于拍摄现实场景中的画面以及所述LED背景墙上显示的虚拟画面，完成摄影机内视效拍摄工作；
进一步的，所述现实场景中的画面包括：在所述数字灯光以及所述数字灯光阵列照明下的前景美术以及被摄主体；
更进一步的，所述前景美术为根据概念设计搭建出的符合剧本的置于拍摄区域内的场景，所述被摄主体为拍摄时在画面中起主导作用的被摄对象；
所述摄影机跟踪系统，用于实时捕捉所述摄影机的外参数据，并将捕捉的所述摄影机的外参数据实时传输至所述实时渲染引擎模块；
进一步的，所述摄影机的外参数据包括：所述摄影机的位置以及姿态；
所述摄影机内参同步系统，用于实时获取所述摄影机的内参数据，并将所述摄影机的内参数据实时传输至所述实时渲染引擎模块；
进一步的，所述摄影机的内参数据包括：所述摄影机的焦点、焦距以及光圈；
所述实时渲染引擎模块，根据所述LED背景墙的形状及特性，在所述实时渲染引擎模块中重构出虚拟的所述LED背景墙，提供内视锥以及外视锥的映射渲染，并将所述摄影机跟踪系统获取的所述摄影机实时的外参数据以及所述摄影机内参同步系统获取的所述摄影机实时的内参数据与虚拟摄影机绑定，通过控制虚拟摄影机的位置以及姿态，实时模拟所述摄影机的位置以及姿态，通过控制虚拟摄影机的内参数据控制内视锥的大小及景深，所述实时渲染引擎模块根据当前虚拟摄影机的内参数据以及外参数据在虚拟LED背景墙上投射渲染画面，所述实时渲染引擎模块将虚拟LED背景墙上的渲染画面转换成所述LED背景墙的视频流信号，并进行输出；
进一步的，当一些特殊镜头需要进行绿幕拍摄时，实时渲染引擎模块能够快速将内视锥画面切换为绿幕，并通过所述后台控制模块，实时调整虚拟场景与现场环境；
所述视频处理分发系统，通过视频接口获取每个渲染子节点的渲染画面，并将输入的视频信号输出给所述LED背景墙模块；
进一步的，所述视频处理分发系统与所述实时渲染引擎模块联动，并根据主创团队要求对所述LED背景墙模块进行调整；
所述交互控制模块与所述实时渲染引擎模块通过网络连接，远程对所述实时渲染引擎模块中的参数进行调整和控制；
所述灯光控制模块与所述实时渲染引擎模块进行联动，对所述数字灯光以及所述数字灯光阵列进行控制和调整；
所述数字灯光由若干数字照明设备组成，根据主创团队的要求任意更改所述数字照明设备的排列方式，其作用为向场景提供移动的光源；
作为优选，所述数字照明设备支持DMX512、Art-Net或sACN协议；
所述数字灯光阵列由若干LED灯珠组成，作为所述LED背景墙的补充环境照明，为整体拍摄区域提供照明；
作为优选，所述LED灯珠支持DMX512、Art-Net或sACN协议；
所述后台控制模块实现虚拟化制作团队对所述实时渲染引擎模块中的工程进行实时的操作和调整，以此实现对所述LED背景墙上的渲染画面进行修改以及对所述灯光控制模块和所述视频处理分发系统进行控制和调整；
所述信号监看与现场制作系统包括：视频助理单元以及若干专业监视器，实现现场拍摄素材的处理和存储，并根据主创团队的要求将实时拍摄画面、内视锥绿幕合成画面以及现场调色画面分发到不同的监视器上；
本发明的一种基于LED背景墙的电影虚拟化制作方法，包括如下步骤：
步骤1、根据所述LED背景墙的形状在所述实时渲染引擎模块中重构出虚拟LED背景墙；
步骤2、将符合影视制作质量要求、满足实时渲染需求的高质量、高性能的所述数字资产在所述实时渲染引擎模块中进行整合、优化，形成所述实时渲染引擎模块中的高质量场景，再结合镜头设计和制作需要，在所述实时渲染引擎模块中制作需要的所述交互功能，并将所述虚拟化制作核心功能迁移至虚拟场景工程中；
步骤3、所述摄影机跟踪系统捕捉所述摄影机的位置以及姿态信息，并传入所述实时渲染引擎模块中与虚拟摄影机绑定；
步骤4、所述摄影机内参同步系统将所述摄影机的内参数据实时传入所述实时渲染引擎模块中并与虚拟摄影机绑定，并确定内视锥的大小和景深；
步骤5、所述实时渲染引擎模块进行多屏多机分布式实时渲染，并在虚拟LED背景墙上投射渲染画面；
步骤6、将虚拟LED背景墙上的渲染画面转换成所述LED背景墙的视频流信号并输出至视频处理分发系统，视频处理分发系统通过视频数据分发机将处理后的视频流信号进行输出，并由所述LED背景墙进行实时显示；
步骤7、在前景进行美术置景，并与所述LED背景墙中的渲染内容相匹配；
步骤8、根据主创团队要求布置所述数字灯光设备，并通过所述后台控制模块对所述数字灯光设备等进行实时调整；
步骤9、根据主创团队的要求利用所述后台控制模块对所述数字灯光阵列进行调整；
步骤10、根据主创团队的要求利用所述后台控制模块对所述LED背景墙进行调整；
步骤11、将所述摄影机以及所述信号监看与现场制作系统通过图传或视频线进行连接；
步骤12、根据主创团队需要，将实时拍摄画面、内视锥绿幕合成画面以及现场调色画面分发到不同的监视器上；
步骤13、拍摄过程中，虚拟化制作团队按照主创团队的要求，通过所述后台控制模块对所述实时渲染引擎模块进行调整，包括虚拟场景内容的更改、所述数字灯光设备的亮度和色彩的更改、所述数字灯光阵列的亮度和色彩的更改以及所述LED屏幕的亮度、色彩以及图案的更改；
步骤14、拍摄过程中，主创团队根据自身的需求利用所述交互控制模块控制实时渲染引擎，以此对部分虚拟场景内容、数字灯光亮度和色彩、数字灯光阵列亮度和色彩以及屏幕亮度、色彩和图案进行实时更改。
有益效果：
1、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，通过LED背景墙显示虚拟场景，构建出一个较为真实的拍摄场景，表演者不同于在绿幕中完全凭自身感觉进行表演，与LED背景墙中的内容进行交互，增强表演环境的真实感，降低表演的难度，提高表演的真实性；
2、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，通过LED背景墙显示虚拟场景，表演者在由LED背景墙和数字灯光阵列包围的场景中进行表演，并由摄影机拍摄画面，相比于现有技术中普遍采用的绿幕拍摄方法，免去后期抠像，摄影机拍摄的画面就已经包含渲染画面，能够直接或做简单处理就作为成片；
3、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，现场导演通过摄影机拍摄的画面能够实时看到作品的完整效果，便于实时纠错和调整，能够大幅提升拍摄效率；
4、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，使用摄影机跟踪系统捕捉摄影机的位置与姿态信息，并将摄影机的位置与姿态与实时渲染引擎模块中的虚拟摄影机绑定，实时渲染引擎模块通过分布式实时渲染，根据当前虚拟摄影机的位置和姿态在LED背景墙上投射渲染画面，最终的画面将跟随现实中摄影机的位置和姿态变化而发生透视变化，解决现有技术中LED背景墙所展示的画面不随摄影机位置和姿态的改变而变化，或不包含透视和立体信息而使得拍摄画面极不真实的问题；
5、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，通过摄影机内参同步系统实时获取摄影机的内参，并将其传输至实时渲染引擎模块，并将摄影机的内参与实时渲染引擎模块中的虚拟摄影机绑定，以此确定内视锥的大小和景深，解决真实摄影机与虚拟摄影机内参匹配的问题；
6、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，数字资产库包含三维资产素材和高精度全景素材，在建立虚拟场景时，根据拍摄内容的需要，选择适合的三维模型和高精度全景素材，极大简化虚拟场景的建立过程，且这些素材能够重复使用，并能够不断的扩充；
7、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，使用数字灯光阵列替代顶面LED背景墙作为照明方案，这种照明方案相比于顶面LED背景墙的照明方案，具有更强的显色性，为拍摄场景提供更高的拍摄亮度，且能够根据主创人员的要求更加灵活的对场景的光照进行控制；
8、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，相比于顶面LED背景墙，所需的建设成本更低，具有更高的照明性价比；
9、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，使用LED背景墙代替绿幕，将实时渲染引擎生成的匹配真实摄影机运动的虚拟场景直接显示出来，并使用摄影机拍摄LED背景墙与实景融合后的画面，为现场提供高还原度的动态环境光照，给实景中的反射/透射物体提供正确的反射/透射图像和照明效果，规避绿幕造成的高光溢色问题；
10、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，后台控制模块由虚拟化制作团队使用，能够对实时渲染引擎模块中的工程进行操作，进而对LED背景墙上的渲染画面、数字灯光设备、数字灯光阵列以及屏幕亮度、色彩和图案等进行实时修改；
11、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，实时渲染引擎模块能够利用多台渲染节点主机联机渲染同一个画面，在局域网内交换同步信息，实现分布式实时渲染，极大的加快渲染的效率；
12、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，信号监看与现场制作系统能够对现场的拍摄素材进行实时的存储和处理，并且根据主创的要求，将现场实时拍摄画面，拍摄完成的画面、内视锥绿幕合成画面以及现场制作画面，实时地输出到监看设备上供主创观看，能够提升素材管理的安全性和现场拍摄的效率；
13、本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，通过交互控制模块，主创团队能够非常简单便捷地对部分虚拟场景内容，数字灯光设备，数字灯光阵列以及LED背景墙的亮度、色彩和图案进行更改，通过摄影机对LED背景墙、数字灯光设备、数字灯光阵列、前景美术置景以及被摄主体共同构成的拍摄区域进行拍摄，通过信号监看与现场制作系统对现场实时拍摄画面进行监看，对拍摄完成的画面、内视锥绿幕合成画面以及现场调色画面进行回看，提升主创团队的工作效率。
附图说明
图1是本发明的系统构成示意图；
图2是本发明的LED背景墙和数字灯光阵列共同构成的弧形拍摄空间以及数字灯光阵列的示意图；
其中，在数字灯光阵列中，圆形表示LED灯珠，矩形框表示LED灯珠间的串联接线形式；
图3是本发明的一种基于LED背景墙的电影虚拟化制作系统及方法流程图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
如附图1所示，本发明的一种基于LED背景墙的电影虚拟化制作系统及方法，包括：LED背景墙模块、虚拟场景工程模块、摄影机、摄影机跟踪系统、摄影机内参同步系统、实时渲染引擎模块、视频处理分发系统、交互控制模块、灯光控制模块、数字灯光、数字灯光阵列、后台控制模块以及信号监看与现场制作系统；
LED背景墙模块接收实时渲染引擎模块传输的视频流信号并进行显示和播放；
实施例中，LED背景墙模块由点距为2.6毫米及屏幕刷新率匹配摄影机感光元件刷新率、且屏幕亮度达到1500尼特的LED屏幕模组构成，每个LED屏幕模组由若干LED像素阵列与驱动芯片以及PCB电路板共同构成；
如图2所示，LED屏幕模组间隔5°至10°固定安装连接成连续弧面，数字灯光阵列设置在LED背景墙的顶部，LED背景墙和数字灯光阵列共同构成一个弧形的拍摄空间；
虚拟场景工程模块包括：数字资产、交互功能以及虚拟化制作核心功能；
数字资产包括整个虚拟场景中的模型、材质、灯光、动画、特效；
进一步的，在制作虚拟场景工程时，需要将完成制作的数字资产迁移到虚拟场景工程中进行整合、优化，生成符合影视制作质量要求、满足实时渲染需求的虚拟场景；
更进一步的，为便于制作数字资产，本发明的一种基于LED背景墙的电影虚拟化制作系统包含有大量的高精度三维模型和大量全景相机拍摄的全景环境素材组成的数字资产库；
交互功能是根据拍摄需求，在虚拟场景工程模块中，虚拟化制作团队与灯光、道具、机械装置的交互以及实时控制功能；
虚拟化制作核心功能包括：虚拟LED背景墙的构建、多屏多机渲染配置、摄影机跟踪数据与虚拟摄影机的绑定以及摄影机内参的同步功能；
进一步的，在建立虚拟场景工程模块时，需要将虚拟化制作核心功能按照具体情况移植到虚拟场景工程模块中；
摄影机用于拍摄现实场景中的画面和LED背景墙上显示的虚拟画面，完成摄影机内视效拍摄工作；
进一步的，现实场景中的画面包括：在数字灯光以及数字灯光阵列照明下的前景美术以及被摄主体；
更进一步的，前景美术为根据概念设计搭建出的符合剧本的置于拍摄区域内的场景，在实施例中，前景美术的效果既要符合剧本的描述，又要与LED背景墙完美融合，被摄主体为拍摄时在画面中起主导作用的被摄对象，在实施例中，被摄主体多为演员；
摄影机跟踪系统用于实时捕捉摄影机的外参数据，并将捕捉的摄影机的外参数据实时传输至实时渲染引擎模块；
实施例中，摄影机跟踪系统采用光学动捕设备OptiTrack进行摄影机数据跟踪；
摄影机内参同步系统用于实时获取摄影机的内参数据，并将摄影机的内参数据实时传输至实时渲染引擎模块；
实时渲染引擎模块，根据LED背景墙的形状及特性，在实时渲染引擎模块中重构出虚拟的LED背景墙，提供内视锥以及外视锥的映射渲染，并将摄影机跟踪系统获取的摄影机实时的外参数据以及摄影机内参同步系统获取的摄影机实时的内参数据与虚拟摄影机绑定，通过控制虚拟摄影机的位置以及姿态，实时模拟摄影机的位置以及姿态，通过控制虚拟摄影机的内参数据控制内视锥的大小及景深，实时渲染引擎模块根据当前虚拟摄影机的内参数据以及外参数据在虚拟LED背景墙上投射渲染画面，实时渲染引擎模块将虚拟LED背景墙上的渲染画面转换成LED背景墙的视频流信号，并进行输出；
进一步的，当一些特殊镜头需要进行绿幕拍摄时，实时渲染引擎模块能够快速将内视锥画面切换为绿幕，并通过后台控制模块，实时调整虚拟场景与现场环境；
实施例中，视频处理分发系统包括：一个4K视频处理器、多个视频数据分发机、HDMI视频线以及网线，视频处理分发系统通过HDMI视频线获取每个渲染子节点的渲染画面，通过网线输出给LED屏幕模组，LED屏幕模组间以网线连接传递信号，最终实现输入的视频信号输出给LED背景墙模块；
实施例中，视频处理分发系统通过OSC协议与实时渲染引擎模块联动，并根据主创团队要求对LED背景墙模块进行调整；
交互控制模块与实时渲染引擎模块通过网络连接，远程对实时渲染引擎模块中的参数进行调整和控制；
灯光控制模块与实时渲染引擎模块进行联动，实施例中，灯光控制模块通过DMX512协议对数字灯光以及数字灯光阵列进行控制和调整；
数字灯光由若干数字照明设备组成，根据主创团队的要求任意更改数字照明设备的排列方式，其作用为向场景提供移动的光源；
如图2所示，数字灯光阵列由若干LED灯珠组成，作为LED背景墙的补充环境照明，为整体拍摄区域提供照明；
实施例中，LED灯珠为六基色混色，数字照明设备以及LED灯珠均支持DMX512、Art-Net或sACN协议；
后台控制模块实现虚拟化制作团队对实时渲染引擎模块中的工程进行实时的操作和调整，以此实现对LED背景墙上的渲染画面进行修改以及对灯光控制模块和视频处理分发系统进行控制和调整；
信号监看与现场制作系统包括：视频助理单元以及若干专业监视器，实现现场拍摄素材的处理和存储，并根据主创团队的要求将实时拍摄画面、内视锥绿幕合成画面以及现场调色画面分发到不同的监视器上。
如图3所示，本发明的一种基于LED背景墙的电影虚拟化制作方法，包括如下步骤：
步骤1、根据LED背景墙的形状在实时渲染引擎模块中重构出虚拟LED背景墙；
步骤2、将符合影视制作质量要求、满足实时渲染需求的高质量、高性能的数字资产在实时渲染引擎模块中进行整合、优化，形成实时渲染引擎模块中的高质量场景，再结合镜头设计和制作需要，在实时渲染引擎模块中制作需要的交互功能，并将虚拟化制作核心功能迁移至虚拟场景工程中；
步骤3、摄影机跟踪系统捕捉摄影机的位置以及姿态信息，并传入实时渲染引擎模块中与虚拟摄影机绑定；
步骤4、摄影机内参同步系统将摄影机的内参数据实时传入实时渲染引擎模块中并与虚拟摄影机绑定，并确定内视锥的大小和景深；
步骤5、实时渲染引擎模块进行多屏多机分布式实时渲染，并在虚拟LED背景墙上投射渲染画面；
步骤6、将虚拟LED背景墙上的渲染画面转换成LED背景墙的视频流信号并输出至视频处理分发系统，视频处理分发系统通过视频数据分发机将处理后的视频流信号进行输出，并由LED背景墙进行实时显示；
步骤7、在前景进行美术置景，并与LED背景墙中的渲染内容相匹配；
步骤8、根据主创团队要求布置数字灯光设备，并通过后台控制模块对数字灯光设备等进行实时调整；
步骤9、根据主创团队的要求利用后台控制模块对数字灯光阵列进行调整；
步骤10、根据主创团队的要求利用后台控制模块对LED背景墙进行调整；
步骤11、将摄影机以及信号监看与现场制作系统通过图传或视频线进行连接；
步骤12、根据主创团队需要，将实时拍摄画面、内视锥绿幕合成画面以及现场调色画面分发到不同的监视器上；
步骤13、拍摄过程中，虚拟化制作团队按照主创团队的要求，通过后台控制模块对实时渲染引擎模块进行调整，包括虚拟场景内容的更改、数字灯光设备的亮度和色彩的更改、数字灯光阵列的亮度和色彩的更改以及LED屏幕的亮度、色彩以及图案的更改；
步骤14、拍摄过程中，主创团队根据自身的需求利用交互控制模块控制实时渲染引擎，以此对部分虚拟场景内容、数字灯光亮度和色彩、数字灯光阵列亮度和色彩以及屏幕亮度、色彩和图案进行实时更改。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于LED背景墙的电影虚拟化制作系统，其特征在于：使用LED背景墙代替绿幕，将匹配真实摄影机运动的虚拟场景通过实时渲染引擎渲染直接显示出来，并使用摄影机拍摄LED背景墙与实景融合后的画面，从而实现“所见即所得”的摄影机内视效拍摄效果，提高现场拍摄的把控以及影视制作的效率。
2.如权利要求1的一种基于LED背景墙的电影虚拟化制作系统，其特征在于：包括：LED背景墙模块、虚拟场景工程模块、摄影机、摄影机跟踪系统、摄影机内参同步系统、实时渲染引擎模块、视频处理分发系统、交互控制模块、灯光控制模块、数字灯光、数字灯光阵列、后台控制模块以及信号监看与现场制作系统；
LED背景墙模块接收实时渲染引擎模块传输的视频流信号并进行显示和播放；
虚拟场景工程模块包括：数字资产、交互功能以及虚拟化制作核心功能；
数字资产包括整个虚拟场景中的模型、材质、灯光、动画、特效；
进一步的，在制作虚拟场景工程时，需要将完成制作的数字资产迁移到虚拟场景工程中进行整合、优化，生成符合影视制作质量要求、满足实时渲染需求的虚拟场景；
更进一步的，为便于制作数字资产，本发明的一种基于LED背景墙的电影虚拟化制作系统包含有大量的高精度三维模型和大量全景相机拍摄的全景环境素材组成的数字资产库；
交互功能是根据拍摄需求，在虚拟场景工程模块中，虚拟化制作团队与灯光、道具、机械装置的交互以及实时控制功能；
虚拟化制作核心功能包括：虚拟LED背景墙的构建、多屏多机渲染配置、摄影机跟踪数据与虚拟摄影机的绑定以及摄影机内参的同步功能；
进一步的，在建立虚拟场景工程模块时，需要将虚拟化制作核心功能按照具体情况移植到虚拟场景工程模块中；
摄影机用于拍摄现实场景中的画面和LED背景墙上显示的虚拟画面，完成摄影机内视效拍摄工作；
进一步的，现实场景中的画面包括：在数字灯光以及数字灯光阵列照明下的前景美术以及被摄主体；
更进一步的，前景美术为根据概念设计搭建出的符合剧本的置于拍摄区域内的场景，被摄主体为拍摄时在画面中起主导作用的被摄对象；
摄影机跟踪系统用于实时捕捉摄影机的外参数据，并将捕捉的摄影机的外参数据实时传输至实时渲染引擎模块；
摄影机内参同步系统用于实时获取摄影机的内参数据，并将摄影机的内参数据实时传输至实时渲染引擎模块；
实时渲染引擎模块，根据LED背景墙的形状及特性，在实时渲染引擎模块中重构出虚拟的LED背景墙，提供内视锥以及外视锥的映射渲染，并将摄影机跟踪系统获取的摄影机实时的外参数据以及摄影机内参同步系统获取的摄影机实时的内参数据与虚拟摄影机绑定，通过控制虚拟摄影机的位置以及姿态，实时模拟摄影机的位置以及姿态，通过控制虚拟摄影机的内参数据控制内视锥的大小及景深，实时渲染引擎模块根据当前虚拟摄影机的内参数据以及外参数据在虚拟LED背景墙上投射渲染画面，实时渲染引擎模块将虚拟LED背景墙上的渲染画面转换成LED背景墙的视频流信号，并进行输出；
进一步的，当一些特殊镜头需要进行绿幕拍摄时，实时渲染引擎模块能够快速将内视锥画面切换为绿幕，并通过后台控制模块，实时调整虚拟场景与现场环境；
视频处理分发系统，通过视频接口获取每个渲染子节点的渲染画面，并将输入的视频信号输出给LED背景墙模块；
进一步的，视频处理分发系统与实时渲染引擎模块联动，并根据主创团队要求对LED背景墙模块进行调整；
交互控制模块与实时渲染引擎模块通过网络连接，远程对实时渲染引擎模块中的参数进行调整和控制；
灯光控制模块与实时渲染引擎模块进行联动，对数字灯光以及数字灯光阵列进行控制和调整；
数字灯光由若干数字照明设备组成，根据主创团队的要求任意更改数字照明设备的排列方式，其作用为向场景提供移动的光源；
数字灯光阵列由若干LED灯珠组成，作为LED背景墙的补充环境照明，为整体拍摄区域提供照明；
后台控制模块实现虚拟化制作团队对实时渲染引擎模块中的工程进行实时的操作和调整，以此实现对LED背景墙上的渲染画面进行修改以及对灯光控制模块和视频处理分发系统进行控制和调整；
信号监看与现场制作系统包括：视频助理单元以及若干专业监视器，实现现场拍摄素材的处理和存储，并根据主创团队的要求将实时拍摄画面、内视锥绿幕合成画面以及现场调色画面分发到不同的监视器上。
3.如权利要求1或2的一种基于LED背景墙的电影虚拟化制作系统，其特征在于：摄影机的外参数据包括：摄影机的位置以及姿态；摄影机的内参数据包括：摄影机的焦点、焦距以及光圈。
4.如权利要求1或2的一种基于LED背景墙的电影虚拟化制作系统，其特征在于：数字照明设备支持DMX512、Art-Net或sACN协议；LED灯珠支持DMX512、Art-Net或sACN协议。
5.一种基于LED背景墙的电影虚拟化制作方法，其特征在于：包括如下步骤：
步骤1、根据LED背景墙的形状在实时渲染引擎模块中重构出虚拟LED背景墙；
步骤2、将符合影视制作质量要求、满足实时渲染需求的高质量、高性能的数字资产在实时渲染引擎模块中进行整合、优化，形成实时渲染引擎模块中的高质量场景，再结合镜头设计和制作需要，在实时渲染引擎模块中制作需要的交互功能，并将虚拟化制作核心功能迁移至虚拟场景工程中；
步骤3、摄影机跟踪系统捕捉摄影机的位置以及姿态信息，并传入实时渲染引擎模块中与虚拟摄影机绑定；
步骤4、摄影机内参同步系统将摄影机的内参信息实时传入实时渲染引擎模块中并与虚拟摄影机绑定，并确定内视锥的大小和景深；
步骤5、实时渲染引擎模块进行多屏多机分布式实时渲染，并在虚拟LED背景墙上投射渲染画面；
步骤6、将虚拟LED背景墙上的渲染画面转换成LED背景墙的视频流信号并输出至视频处理分发系统，视频处理分发系统通过视频数据分发机将处理后的视频流信号进行输出，并由LED背景墙进行实时显示；
步骤7、在前景进行美术置景，并与LED背景墙中的渲染内容相匹配；
步骤8、根据主创团队要求布置数字灯光设备，并通过后台控制模块对数字灯光设备等进行实时调整；
步骤9、根据主创团队的要求利用后台控制模块对数字灯光阵列进行调整；
步骤10、根据主创团队的要求利用后台控制模块对LED背景墙进行调整；
步骤11、将摄影机以及信号监看与现场制作系统通过图传或视频线进行连接；
步骤12、根据主创团队需要，将实时拍摄画面、内视锥绿幕合成画面以及现场调色画面分发到不同的监视器上；
步骤13、拍摄过程中，虚拟化制作团队按照主创团队的要求，通过后台控制模块对实时渲染引擎模块进行调整，包括虚拟场景内容的更改、数字灯光设备的亮度和色彩的更改、数字灯光阵列的亮度和色彩的更改以及LED屏幕的亮度、色彩以及图案的更改；
步骤14、拍摄过程中，主创团队根据自身的需求利用交互控制模块控制实时渲染引擎，以此对部分虚拟场景内容、数字灯光亮度和色彩、数字灯光阵列亮度和色彩以及屏幕亮度、色彩和图案进行实时更改。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111337610.7A CN114051129A (zh) | 2021-11-09 | 2021-11-09 | 一种基于led背景墙的电影虚拟化制作系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111337610.7A CN114051129A (zh) | 2021-11-09 | 2021-11-09 | 一种基于led背景墙的电影虚拟化制作系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114051129A true CN114051129A (zh) | 2022-02-15 |
Family
ID=80208546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111337610.7A Pending CN114051129A (zh) | 2021-11-09 | 2021-11-09 | 一种基于led背景墙的电影虚拟化制作系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114051129A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114422736A (zh) * | 2022-03-28 | 2022-04-29 | 荣耀终端有限公司 | 一种视频处理方法、电子设备及计算机存储介质 |
| CN114520903A (zh) * | 2022-02-17 | 2022-05-20 | 阿里巴巴（中国）有限公司 | 渲染显示方法、设备、存储介质及计算机程序产品 |
| CN114598790A (zh) * | 2022-03-21 | 2022-06-07 | 北京迪生数字娱乐科技股份有限公司 | 一种主观视角姿态捕捉及实时影像系统 |
| CN114840124A (zh) * | 2022-03-30 | 2022-08-02 | 阿里巴巴（中国）有限公司 | 显示控制方法、装置、电子设备、介质及程序产品 |
| CN115118880A (zh) * | 2022-06-24 | 2022-09-27 | 中广建融合(北京)科技有限公司 | 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统 |
| CN115460395A (zh) * | 2022-06-24 | 2022-12-09 | 北京电影学院 | 一种基于led背景墙分时复用的摄影机注册跟踪方法 |
| CN115866160A (zh) * | 2022-11-10 | 2023-03-28 | 北京电影学院 | 一种低成本的电影虚拟化制作系统及方法 |
| CN115914718A (zh) * | 2022-11-08 | 2023-04-04 | 天津萨图芯科技有限公司 | 截取引擎渲染内容的虚拟制片视频重映方法及系统 |
| CN117440202A (zh) * | 2023-10-23 | 2024-01-23 | 神力视界(深圳)文化科技有限公司 | 虚拟拍摄画面的显示方法、介质和移动终端 |
| CN117459663A (zh) * | 2023-12-22 | 2024-01-26 | 北京天图万境科技有限公司 | 一种投射光自校正拟合与多色彩重定位方法及装置 |
| EP4345805A1 (en) * | 2022-09-27 | 2024-04-03 | Galijasevic, Senad | Methods and systems for controlling the appearance of a led wall and for creating digitally augmented camera images |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060090367A (ko) * | 2005-02-07 | 2006-08-10 | 주식회사 다림비젼 | 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치 |
| EP2629267A2 (en) * | 2012-02-16 | 2013-08-21 | Crytek GmbH | Real-time compositing of live recording-based and computer graphics-based media streams |
| CN112040092A (zh) * | 2020-09-08 | 2020-12-04 | 杭州时光坐标影视传媒股份有限公司 | 一种实时虚拟场景led拍摄系统及方法 |
-
2021
- 2021-11-09 CN CN202111337610.7A patent/CN114051129A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060090367A (ko) * | 2005-02-07 | 2006-08-10 | 주식회사 다림비젼 | 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치 |
| EP2629267A2 (en) * | 2012-02-16 | 2013-08-21 | Crytek GmbH | Real-time compositing of live recording-based and computer graphics-based media streams |
| CN112040092A (zh) * | 2020-09-08 | 2020-12-04 | 杭州时光坐标影视传媒股份有限公司 | 一种实时虚拟场景led拍摄系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 赵建军;: "虚拟化技术在电影制作中的应用", 影视制作, no. 08 * |
| 陈军 等: "基于LED背景墙的电影虚拟化制作关键技术研究", 《现代电影技术》, no. 8, pages 17 - 25 * |
| 陈军 等: "基于LED背景墙的电影虚拟化制作系统集成与研发", 《北京电影学院学报》, no. 7, pages 112 - 121 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114520903B (zh) * | 2022-02-17 | 2023-08-08 | 阿里巴巴（中国）有限公司 | 渲染显示方法、装置、电子设备和存储介质 |
| CN114520903A (zh) * | 2022-02-17 | 2022-05-20 | 阿里巴巴（中国）有限公司 | 渲染显示方法、设备、存储介质及计算机程序产品 |
| CN114598790A (zh) * | 2022-03-21 | 2022-06-07 | 北京迪生数字娱乐科技股份有限公司 | 一种主观视角姿态捕捉及实时影像系统 |
| CN114598790B (zh) * | 2022-03-21 | 2024-02-02 | 北京迪生数字娱乐科技股份有限公司 | 一种主观视角姿态捕捉及实时影像系统 |
| CN114422736A (zh) * | 2022-03-28 | 2022-04-29 | 荣耀终端有限公司 | 一种视频处理方法、电子设备及计算机存储介质 |
| CN114840124A (zh) * | 2022-03-30 | 2022-08-02 | 阿里巴巴（中国）有限公司 | 显示控制方法、装置、电子设备、介质及程序产品 |
| CN114840124B (zh) * | 2022-03-30 | 2024-08-02 | 神力视界(深圳)文化科技有限公司 | 显示控制方法、装置、电子设备、介质及程序产品 |
| CN115118880A (zh) * | 2022-06-24 | 2022-09-27 | 中广建融合(北京)科技有限公司 | 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统 |
| CN115460395A (zh) * | 2022-06-24 | 2022-12-09 | 北京电影学院 | 一种基于led背景墙分时复用的摄影机注册跟踪方法 |
| EP4345805A1 (en) * | 2022-09-27 | 2024-04-03 | Galijasevic, Senad | Methods and systems for controlling the appearance of a led wall and for creating digitally augmented camera images |
| WO2024068743A1 (en) * | 2022-09-27 | 2024-04-04 | Galijasevic Senad | Methods and systems for controlling the appearance of a led wall and for creating digitally augmented camera images |
| CN115914718A (zh) * | 2022-11-08 | 2023-04-04 | 天津萨图芯科技有限公司 | 截取引擎渲染内容的虚拟制片视频重映方法及系统 |
| CN115914718B (zh) * | 2022-11-08 | 2024-09-13 | 天津萨图芯科技有限公司 | 截取引擎渲染内容的虚拟制片视频重映方法及系统 |
| CN115866160A (zh) * | 2022-11-10 | 2023-03-28 | 北京电影学院 | 一种低成本的电影虚拟化制作系统及方法 |
| CN117440202A (zh) * | 2023-10-23 | 2024-01-23 | 神力视界(深圳)文化科技有限公司 | 虚拟拍摄画面的显示方法、介质和移动终端 |
| CN117459663A (zh) * | 2023-12-22 | 2024-01-26 | 北京天图万境科技有限公司 | 一种投射光自校正拟合与多色彩重定位方法及装置 |
| CN117459663B (zh) * | 2023-12-22 | 2024-02-27 | 北京天图万境科技有限公司 | 一种投射光自校正拟合与多色彩重定位方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114051129A (zh) | 一种基于led背景墙的电影虚拟化制作系统及方法 | |
| US7070277B2 (en) | Method and apparatus for producing dynamic imagery in a visual medium | |
| CN111447340A (zh) | 混合现实虚拟预演拍摄系统 | |
| CN110866978A (zh) | 一种实时混合现实视频拍摄中的相机同步方法 | |
| KR102371031B1 (ko) | 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템, 방법 및 프로그램 | |
| CN110225224B (zh) | 虚拟形象的导播方法、装置及系统 | |
| CN113923377A (zh) | 一种led环幕虚拟制片系统 | |
| CN108234933A (zh) | 基于多路图像信号处理的实时拼接全景影像的方法及系统 | |
| CN115866160A (zh) | 一种低成本的电影虚拟化制作系统及方法 | |
| CN105516596A (zh) | 一种全景拍摄处理方法、装置及系统 | |
| CN115118880A (zh) | 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统 | |
| CN111698391B (zh) | 通过仿真环境灯光参数控制真实灯光参数实时变化的方法 | |
| US11615755B1 (en) | Increasing resolution and luminance of a display | |
| JP2010166218A (ja) | カメラシステム及びその制御方法 | |
| CN112887514A (zh) | 一种适用于影视虚拟拍摄和制作的实时可视化方法与系统 | |
| KR101273531B1 (ko) | 모션 컨트롤 카메라를 이용한 실사와 ｃｇ 합성 애니메이션 제작 방법 및 시스템 | |
| CN212519183U (zh) | 一种用于摄像机器人的虚拟拍摄系统 | |
| WO2023236656A1 (zh) | 互动画面的渲染方法、装置、设备、存储介质及程序产品 | |
| CN215871598U (zh) | 一种led环幕虚拟制片系统 | |
| CN114885147B (zh) | 融合制播系统及方法 | |
| CN117333641A (zh) | 一种非几何连续空间沉浸式交互展厅系统构建方法 | |
| CN107801018A (zh) | 一种基于环幕播放的3d动画立体视频制作系统和方法 | |
| CN202171927U (zh) | 一种幻影成像系统 | |
| CN105161005A (zh) | 利用扩展场景和沉浸式弧形大屏幕拍摄mtv的系统 | |
| CN212308875U (zh) | 一种沉浸交互式虚拟现实舞台布景系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220215 |
|
| WD01 | Invention patent application deemed withdrawn after publication |