CN116506990A - 虚拟制片中的灯光控制方法、装置、设备及存储介质 - Google Patents

虚拟制片中的灯光控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116506990A
CN116506990A CN202210793619.7A CN202210793619A CN116506990A CN 116506990 A CN116506990 A CN 116506990A CN 202210793619 A CN202210793619 A CN 202210793619A CN 116506990 A CN116506990 A CN 116506990A
Authority
CN
China
Prior art keywords
virtual
lamp
audio
light
light effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210793619.7A
Other languages
English (en)
Inventor
柳慧龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210793619.7A priority Critical patent/CN116506990A/zh
Publication of CN116506990A publication Critical patent/CN116506990A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/30—Driver circuits
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本申请提供了一种虚拟制片中的灯光控制方法、装置，其中，虚拟制片用于融合真实场景及虚拟场景生成目标视频；方法包括：以真实场景中的物理灯具为参考，创建虚拟场景中对应物理灯具的虚拟灯具；获取应用于目标视频的目标音频，并播放目标音频；在播放目标音频的过程中，控制虚拟灯具在虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，并同步控制物理灯具在真实场景中产生与当前播放的目标音频相对应的第二灯光效果；其中，第一灯光效果及第二灯光效果，用于供进行虚拟制片，以生成包含第一灯光效果及第二灯光效果的目标视频。通过本申请，能够实现虚拟灯具和物理灯具的同步控制、提高虚拟制片的效率。

Description

虚拟制片中的灯光控制方法、装置、设备及存储介质
技术领域
本申请涉及虚拟制片领域，尤其涉及一种虚拟制片中的灯光控制方法、装置、设备、计算机可读存储介质及计算机程序产品。
背景技术
虚拟制片是把虚拟计算机图像与真实演员的表演融合在一起而且在拍摄现场就能把加特效的画面实时做可视化呈现的一种全新的制片方法。在虚拟制片中，拍摄者可以不用忍受绿幕、也无需等待几周甚至几个月的后期，所有关键决策人现场协作，实时生成最终画面，随时可改。
虚拟制片的效果很大一部分取决于灯光效果，在发光二级管(LED，light-emitting diode)屏幕作为背景进行影片拍摄的过程当中，往往需要同步调整虚拟灯具、物理灯具及现场的声音。相关技术中，一般是音箱师、灯光师、虚拟灯具操作人员等根据导演的指示同步开启灯光、声音的效果，这种方式物理灯具、声音、虚拟灯具的操作人员很难做到行为完全统一，导致虚拟灯具、物理灯具及声音的同步性差、虚拟制片的拍摄效率低。
发明内容
本申请实施例提供一种虚拟制片中的灯光控制方法、装置、设备、计算机可读存储介质及计算机程序产品，能够实现虚拟灯具和物理灯具的同步控制、提高虚拟制片的效率。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种虚拟制片中的灯光控制方法，所述虚拟制片用于结合真实场景及虚拟场景生成目标视频，包括：
以所述真实场景中的物理灯具为参考，创建所述虚拟场景中对应所述物理灯具的虚拟灯具；
获取应用于所述目标视频的目标音频，并播放所述目标音频；
在播放所述目标音频的过程中，控制所述虚拟灯具在所述虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，并同步控制所述物理灯具在所述真实场景中产生与当前播放的目标音频相对应的第二灯光效果；
其中，所述第一灯光效果及所述第二灯光效果，用于供进行所述虚拟制片，以生成包含所述第一灯光效果及所述第二灯光效果的所述目标视频。
本申请实施例提供一种虚拟制片中的灯光控制装置，虚拟制片用于融合真实场景及虚拟场景生成目标视频，包括：
创建模块，用于以所述真实场景中的物理灯具为参考，创建所述虚拟场景中对应所述物理灯具的虚拟灯具；
获取模块，用于获取应用于所述目标视频的目标音频，并播放所述目标音频；
控制模块，用于在播放所述目标音频的过程中，控制所述虚拟灯具在所述虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，并同步控制所述物理灯具在所述真实场景中产生与当前播放的目标音频相对应的第二灯光效果；其中，所述第一灯光效果及所述第二灯光效果，用于供进行所述虚拟制片，以生成包含所述第一灯光效果及所述第二灯光效果的所述目标视频。
上述方案中，所述控制模块，还用于在播放所述目标音频的过程中，实时获取所述目标音频的音频属性，所述音频属性包括声音频率、音频节奏、音频内容中至少之一；
在所述虚拟场景中，控制所述虚拟灯具产生与当前播放的目标音频的音频属性相对应的第一灯光效果。
上述方案中，所述控制模块，还用于当所述虚拟灯具的数量为多个时，获取各所述虚拟灯具的灯光效果与所述音频属性间的映射关系；
基于当前播放的目标音频的音频属性及所述映射关系，控制各所述虚拟灯具产生相应的灯光效果，以形成所述第一灯光效果。
上述方案中，所述控制模块，还用于当所述虚拟灯具的数量为多个时，获取与所述目标视频相对应的所述虚拟灯具的虚拟灯光效果；
其中，所述虚拟灯光效果包括：在所述目标音频的各个播放时间点，所述虚拟场景中的所述第一灯光效果，所述第一灯光效果由各所述虚拟灯具的灯光效果所协同形成；
基于所述虚拟灯光效果，建立在各所述播放时间点，各所述虚拟灯具的灯光效果与所述音频属性间的映射关系。
上述方案中，所述控制模块，还用于当所述音频属性包括音频节奏时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的音频节奏；
依据当前播放的所述目标音频的音频节奏，实时控制所述虚拟灯具产生与所述音频节奏相对应的灯光效果；
其中，不同的所述音频节奏对应不同的所述灯光效果。
上述方案中，所述控制模块，还用于当所述音频属性包括音频内容时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的音频内容；
对获取的所述音频内容进行内容分类，得到所述音频内容的内容类型；
控制所述虚拟灯具产生与所述音频内容的内容类型相对应的第一灯光效果；
其中，不同的所述内容类型对应不同的所述灯光效果。
上述方案中，所述控制模块，还用于当所述音频属性包括声音频率时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的声音频率；
确定获取的所述声音频率所归属的频率范围；
控制所述虚拟灯具产生与所述声音频率所归属的频率范围相对应的第一灯光效果；
其中，不同的所述频率范围对应不同的所述灯光效果。
上述方案中，所述控制模块，还用于获取所述虚拟灯具对应所述第一灯光效果的至少一种目标属性的属性值；
将各所述目标属性的属性值，赋值给所述虚拟灯具相应的目标属性，以使所述虚拟灯具产生所述第一灯光效果。
上述方案中，所述控制模块，还用于当所述虚拟灯具的数量为多个、且所述目标音频包括对应至少两个音轨的音频数据时，获取音轨与虚拟灯具的对应关系；
基于所述对应关系，确定各所述音轨对应的所述虚拟灯具；
在所述虚拟场景中，控制各所述音轨对应的所述虚拟灯具，产生与所述音轨的音频数据相对应的虚拟灯光效果，以形成所述第一灯光效果；
其中，不同音轨的所述音频数据对应不同的所述虚拟灯光效果，所述第一灯光效果由各所述虚拟灯具的虚拟灯光效果所协同形成。
上述方案中，所述控制模块，还用于建立与所述真实场景中的所述物理灯具间的通信连接；
基于所述通信连接，发送控制指令给所述物理灯具，所述控制指令用于指示所述物理灯具产生与当前播放的目标音频相对应的第二灯光效果。
上述方案中，所述控制模块，还用于获取所述第一灯光效果对应的所述物理灯具的灯光参数的值，所述灯光参数的值，用于所述物理灯具产生所述第二灯光效果；
所述基于所述通信连接，发送控制指令给所述物理灯具，包括：
基于所述通信连接，发送携带所述灯光参数的值的控制指令给所述物理灯具，以使所述物理灯具应用所述灯光参数的值。
上述方案中，所述控制指令携带用于指示所述第二灯光效果的灯光效果指示信息，所述控制模块，还用于基于所述通信连接，发送携带所述灯光效果指示信息的控制指令给所述物理灯具；
其中，所述控制指令，用于所述物理灯具基于所述灯光效果指示信息，确定与所述第二灯光效果相对应的灯光参数的值，并应用所述灯光参数的值以产生所述第二灯光效果。
上述方案中，所述创建模块，还用于获取所述真实场景中物理灯具的灯具参数的值，以及所述物理灯具与所述虚拟灯具间的关联关系；
基于所述物理灯具的灯具参数的值及所述关联关系，确定所述虚拟场景中虚拟灯具的灯具参数的值；
将确定的所述灯具参数的值，赋值给所述虚拟场景中虚拟灯具的灯具参数。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的方法。
本申请实施例提供一种计算机程序产品，包括计算机程序或指令，用于引起处理器执行时，实现本申请实施例提供的虚拟制片中的灯光控制方法。
本申请实施例具有以下有益效果：
应用本申请实施例，首先，以物理灯具为参考创建虚拟灯具，能够保证虚拟灯具的合理性和实用性，然后，选取应用于目标视频的目标音频并播放，在目标音频的播放过程中，不仅控制虚拟灯具在虚拟场景中产生与播放的目标音频相对应的第一灯光效果，还同步控制物理灯具在真实场景中产生与当前播放的目标音频相对应的第二灯光效果，如此，能够实现虚拟灯具和物理灯具的同步控制、提高虚拟制片的效率。
附图说明
图1是本申请实施例提供的虚拟制片中的灯光控制系统100的架构示意图；
图2是本申请实施例提供的虚拟制片中的灯光控制的电子设备500的结构示意图；
图3是本申请实施例提供的虚拟制片中的灯光控制方法的流程示意图；
图4是本申请实施例提供的虚拟灯具的创建方法流程图；
图5是本申请实施例提供的虚拟灯具的灯光效果的产生方式流程图；
图6是本申请实施例提供的基于音频属性确定灯光效果示意图；
图7是本申请实施例提供的灯光效果与音频属性间映射关系建立方法示意图；
图8是本申请实施例提供的基于音频节奏确定灯光效果的方法流程图；
图9是本申请实施例提供的基于音频内容确定灯光效果的方法流程图；
图10是本申请实施例提供的基于声音频率确定灯光效果的方法流程图；
图11是本申请实施例提供的基于目标属性确定虚拟灯具的灯光效果的方法流程图；
图12是本申请实施例提供的基于音轨确定虚拟灯具的灯光效果的方法流程图；
图13是本申请实施例提供的物理灯具的灯光效果的产生方法流程图；
图14是本申请实施例提供的虚拟制片场景中设备连接示意图；
图15是本申请实施例提供的物理灯具基于灯光参数产生灯光效果的方法流程图；
图16是本申请实施例提供的虚拟场景中灯光声音同步方法流程图；
图17是本申请实施例提供的虚拟场景中虚拟灯具的创建方法示意图；
图18是本申请实施例提供的物理灯具的灯具设置方法示意图；
图19是本申请实施例提供的虚拟制片中灯光声音同步控制方法示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)虚拟制片：虚拟制片是一个宽泛的术语，指一系列计算机辅助制片和可视化电影制作方法。虚拟制片将虚拟现实和增强现实与CGI和游戏引擎技术相结合，使制作人员能够看到场景在他们面前展开，仿佛这些场景就是在实景合成和拍摄的。
2)虚拟影棚：常见的虚拟影棚是用绿幕结合现场灯光、威亚和特殊道具结合后期特效进行拍摄的摄影棚，当前新型的摄影棚结合了LED幕墙、动作捕捉技术和摄像机跟随，可以使在影棚的拍摄手段更为丰富和便捷。
3)LED幕墙：虚拟制片拍摄现场中有一个大型的LED幕墙用于显示虚拟内容。屏幕前制景：在LED屏幕前方有实际的摆设道具。现场拍摄相机：虚拟制片中的现场拍摄相机，会同时捕捉LED屏幕和屏幕前制景的融合画面。物理灯光：在虚拟拍摄棚中为了照亮人物和现场置景而使用的现实中的灯具，灯光类型一般有造型光、氛围光、特效光等几种类型。虚拟场景：在游戏引擎中根据艺术家需求或者真实场景制作的数字场景。虚拟灯光：在游戏引擎中照亮虚拟场景的灯光系统，主要作用是提供符合美术要求或者接近真实场景效果的照明。真实场景(现场置景)：在虚拟制片中搭建的真实的道具或者场景。
4)数字多路传输(DMX，Digital Multiplex)：在影视媒体领域，是广泛用于控制现场灯光、声效、烟花、动画演播等内容的数据通讯标准。DMX插件加入虚拟引擎(UE，UNREALENGINE)后，用户就可以通过UE来控制现场活动的各种声光效果。其中，UE结合DMX的应用场景主要包括，包括：允许用户在UE内预览现场活动的各种声光效果；通过UE来控制符合DMX协议的各种现场灯具、设备、烟雾装置；通过UE来触发一些现场实时效果和动画。
DMX512：DMX512协议是一种数据调光协议，它给出了一种灯光控制器与灯具设备之间通信的协议标准，该协议的提出为使用数字信号控制灯光设备提供了一个良好的标准。
5)Art-Net：Art-Net是一种基于传输控制协议(TCP，Transmission ControlProtocol)/网际互联协议(IP，Internet Protocol)的以太网协议。目的在于使用标准的网络技术允许在广域内传递大量DMX512数据。Art-Net是买断式授权通信协议，用于通过用户数据协议(UDP，User Datagram Protocol)传输DMX512-A光照控制协议和远程设备管理(RDM)协议。它用于在“节点”(例如，智能光照设备)和“服务器”(运行光照控制软件的光照控制台或通用计算机)之间进行通信。
基于上述对本申请实施例中涉及的名词和术语的解释，下面说明本申请实施例提供的虚拟制片中的灯光控制系统。参见图1，图1是本申请实施例提供的虚拟制片中的灯光控制系统100的架构示意图，为实现支撑一个示例性应用，虚拟制片中的灯光控制系统包括LED幕墙600、图像采集设备700、部署有虚拟引擎的终端400、现实场景中的物理灯具800、外设的音频播放设备900(外设音箱)，这些设备通过网络300连接相互连接，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线或有线链路实现数据传输。
终端400，用于以真实场景中的物理灯具为参考，创建虚拟场景中对应物理灯具的虚拟灯具；获取应用于目标视频的目标音频，并播放目标音频；在播放目标音频的过程中，控制虚拟灯具在虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，并同步控制物理灯具在真实场景中产生与当前播放的目标音频相对应的第二灯光效果；其中，第一灯光效果及第二灯光效果，用于供进行虚拟制片，以生成包含第一灯光效果及第二灯光效果的所述目标视频。
服务器200，用于接收终端发送的场景渲染请求，对虚拟制片中的虚拟场景进行渲染，然后将渲染后的虚拟场景返回至终端。
LED幕墙600，LED幕墙包括至少一块LED屏幕，用于显示在虚拟场景中创建的虚拟灯具对应灯光效果、以及虚拟场景的场景内容。
图像采集设备700，用于同时捕捉至少一块LED屏幕和屏幕前制景(在LED屏幕前方有实际的摆设道具)的融合画面，并实时采集虚拟场景中虚拟灯具的灯光效果以及现实场景中物理灯具的灯光效果，通过目标数据线传输至终端400，在终端400中的虚拟引擎中生成目标视频并保存。
物理灯具800，通过目标数据线与终端相连，接收终端发送的控制信号，产生在现实场景中与目标音频对应的第二灯光效果。
音频播放设备900，用于播放目标音频。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，ContentDelivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
本申请实施例可以借助于云技术(Cloud Technology)实现，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，可以通过云计算来实现。
参见图2，图2是本申请实施例提供的虚拟制片中的灯光控制的电子设备500的结构示意图。在实际应用中，电子设备500可以为图1示出的服务器或终端，以电子设备500为图1示出的域名解析节点为例，对实施本申请实施例的虚拟制片中的灯光控制的电子设备进行说明，本申请实施例提供的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的虚拟制片中的灯光控制装置可以采用软件方式实现，图2示出了存储在存储器550中的虚拟制片中的灯光控制装置555，其可以是程序和插件等形式的软件，包括以下软件模块：创建模块5551、获取模块5552和控制模块5553，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的虚拟制片中的灯光控制装置可以采用软硬件结合的方式实现，作为示例，本申请实施例提供的虚拟制片中的灯光控制装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的虚拟制片中的灯光控制，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
基于上述对本申请实施例提供的虚拟制片中的灯光控制系统及电子设备的说明，下面说明本申请实施例提供的虚拟制片中的灯光控制方法。在一些实施例中，本申请实施例提供的虚拟制片中的灯光控制方法可由服务器或终端单独实施，或由服务器及终端协同实施，下面以终端实施为例说明本申请实施例提供的虚拟制片中的灯光控制方法。
参见图3，图3是本申请实施例提供的虚拟制片中的灯光控制方法的流程示意图，虚拟制片用于结合真实场景及虚拟场景生成目标视频，本申请实施例提供的虚拟制片中的灯光控制方法包括：
在步骤101中，终端以真实场景中的物理灯具为参考，创建虚拟场景中对应物理灯具的虚拟灯具。
在实际实施时，终端部署有游戏引擎(虚幻引擎等)，虚拟制片过程中，会在现实场景中布设物理灯具，还会游戏引擎中渲染虚拟场景中的虚拟灯光。虚拟场景是在游戏引擎中根据艺术家需求或者真实场景制作的数字场景，为了提供符合美术要求或者接近真实场景效果的照明效果会在游戏引擎中构建照亮虚拟场景的灯光系统，灯光系统中包括虚拟灯具，虚拟灯具的数量可以是一个或多个，虚拟灯具的灯具类型也可以是多种，如聚光灯、柔光灯、散光灯、光柱灯、电脑灯、追光灯等，当具有多个虚拟灯具时，虚拟灯具可以根据实际情况设置不同的灯具排布。
需要说明的是，游戏引擎中虚拟灯具的创建可以是以真实的物理灯具为依据创建的，即创建的虚拟灯具的类型以及虚拟灯具的各灯具参数、灯具参数的参数值都是真实的物理灯具所具有的，也可以是以物理灯具为参考，对灯具参数进行修改后的虚拟灯具，如此，能够实现更多的灯光效果，即有些灯光效果仅仅是基于物理灯具的灯具参数的取值无法获取，此时，可以以物理灯具为依据，进行灯具参数的参数值的调整，实现物理灯具无法获取的灯光效果。灯具和支持游戏引擎的电子设备可以通过网络连接，使得灯具和电子设备处于同一网络，灯具与灯具之间，灯具与电子设备之间通过DMX数据线相连接。支持游戏引擎接收用户上传的通用设备类型格式的灯具文件，解析该灯具文件创建相应的虚拟灯具。其中，符合DMX512协议的物理灯具，可以为单色灯具(占用通道数1，一个512控制器最多可以携带512个单色灯具)、RGBW单像素灯具(占用通道数4，一个DMX512控制，最多可以携带128个RGBW单像素灯具)、RGB单像素灯具(占用通道数3，一个DMX512控制，最多可以携带512/3＝170个RGB单像素灯具)。
示例性地，采用虚幻引擎(UE，UNREAL ENGINE)结合DMX的方式创建虚拟灯具，即将DMX插件加入UE后，接收用户导入的GDTF格式的灯具数据(GDTF文件中包含特定灯具类型的信息)，解析灯具数据，创建各种不同类型的虚拟灯具。在第4代虚幻引擎(UE4)中创建虚拟灯具的过程如下：首先，新建虚幻引擎工程，在插件库中搜索DMX插件，全部打开并重启引擎；然后，导入包含特定灯具类型的信息的GDTF文件到虚幻引擎；接着，创建DMX灯库，在DMX灯库中的灯具类型(Fixture Types)选项卡中创建灯光文件中定义的灯具类型；最后进行相应的灯具设置，得到虚拟场景中的虚拟灯具。
在一些实施例中，参见图4，图4是本申请实施例提供的虚拟灯具的创建方法流程图，基于图3，步骤101可有步骤1011至步骤1013实现。
步骤1011，终端获取真实场景中物理灯具的灯具参数的值，以及物理灯具与虚拟灯具间的关联关系。
在实际实施时，物理灯具的灯具参数可以包括灯光方向，强度，色温，质感等物理参数。物理灯具与虚拟灯具间的关联关系可以是虚拟灯具的灯具参数与物理灯具的灯具参数相同、且各灯具参数的参数取值也相同；也可以是虚拟灯具的灯具参数与物理灯具的灯具参数不同，需要说明的是，虚拟灯具与物理灯具之间的关联关系可以是认为设定的规则。
示例性地，以灯具参数是色温为例，假设目标类型的物理灯具的色温是可调节的，可调节范围为1-20，但虚拟场景中该类型的虚拟灯具需要的色温可以为25，此时，可以设置虚拟灯具的灯具参数色温的可调节范围为1-25，如此，可以设置更多的灯光效果。
步骤1012，基于物理灯具的灯具参数的值及关联关系，确定虚拟场景中虚拟灯具的灯具参数的值。
在实际实施时，终端通过物理灯具的灯具参数(即实际存在的参数)、及预设的物理灯具与虚拟灯具的关联关系(关联关系包括完全按照物理灯具的灯具参数设置且灯具参数的参数值也一致、还包括以物理灯具的灯具参数为参考进行调整)，确定虚拟场景中虚拟灯具的灯具参数以及灯具参数的取值。
步骤1013，将确定的灯具参数的值，赋值给虚拟场景中虚拟灯具的灯具参数。
在实际实施时，将参照物理灯具的灯具参数确定的虚拟灯具的灯具参数的参数值，赋值给虚幻引擎中的创建的虚拟灯具。
上述创建虚拟场景中虚拟灯具的方式，不仅可以创建与物理灯具的灯具属性一致的虚拟灯具，保证虚拟灯具的准确性，还可以基于物理灯具的灯具属性，创建与物理灯具的灯具属性不一致的虚拟灯具，如此，能够提高创建虚拟灯具的多样性，并能基于丰富的虚拟灯具生成符合更多更丰富的虚拟场景中的灯光效果。
在步骤102中，获取应用于目标视频的目标音频，并播放目标音频。
在实际实施时，目标音频是当前虚拟制片对应的目标视频中对应的音频。目标音频的选择可以是根据虚拟制片的应用场景选择的。用户选择合适的目标视频导入到虚拟制片用到的电子设备中，由于电子设备中安装有虚拟制片所需的虚幻引擎，虚幻引擎解析该目标音频，然后可以通过自身集成的音频播放器播放该目标音频，也可以控制外接的音频播放设备播放目标音频，需要说明的是，虚拟引擎对目标音频的文件格式有要求，如，以虚幻引擎是Unreal Engine(UE)为例，UE引擎要求目标音频文件的声音格式为WaveformAudio File Format(wav)格式，所以对于其他声音格式的音频文件需要进行格式转化，得到wav格式的目标音频文件。
在步骤103中，在播放目标音频的过程中，控制虚拟灯具在虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果。
在实际实施时，虚拟制片的实际操作过程中，往往需要声音和灯光效果同步，故终端在通过音频播放器(或音频播放设备)播放目标音频(或声音)的过程中，同时控制虚拟场景中的虚拟灯具产生与当前播放的目标音频相对应的第一灯光效果，这里的第一灯光效果，可以看作当前虚拟制片对应的目标视频中最终展示的虚拟灯具的第一灯光效果。
在一些实施例中，参见图5，图5是本申请实施例提供的虚拟灯具的灯光效果的产生方式流程图，基于图3，步骤103可以通过步骤1031-1032实现。
步骤1031，终端在播放目标音频的过程中，实时获取目标音频的音频属性，音频属性包括声音频率、音频节奏、音频内容中至少之一。
在实际实施时，由于目标音频具有一定的播放时长，在每个播放时间段或播放时间点，目标音频的音频属性各不相同。为了生成与各个播放时间段或播放时间点的子音频对应的灯光效果，可以实时获取音频的音频属性，其中，音频属性包括声音频率、音频节奏、音频内容中至少之一，并基于音频属性，生成相应的灯光效果。
步骤1032，在虚拟场景中，控制虚拟灯具产生与当前播放的目标音频的音频属性相对应的第一灯光效果。
在实际实施时，终端控制虚拟灯具产生与当前播放的目标音频的音频属性对应的灯光效果，作为目标视频在播放的过程中所呈现的虚拟场景中的第一灯光效果。
示例性地，以目标音频是乐曲为例，在乐曲播放过程中，可以根据乐曲的节奏、乐曲的声音频率、乐曲的内容，确定相应的灯光效果，如节奏(音频节奏)舒缓时，对应的灯光效果以黄色为主的暖色调、节奏欢快时，对应的灯光效果是以蓝色为主的明亮色调等，其中，音频节奏属于欢快类型还是舒缓类型可以是根据实际情况确定的。
在一些实施例中，参见图6，图6是本申请实施例提供的基于音频属性产生灯光效果示意图，步骤1032可以通过步骤201-202实现：
步骤201，当虚拟灯具的数量为多个时，获取各虚拟灯具的灯光效果与音频属性间的映射关系。
在实际实施时，当虚拟场景中虚拟灯具的数量为多个时，可以基于虚拟灯具的灯光效果与目标音频的音频属性间的映射关系，给虚拟灯具分组。目标音频的音频属性包括声音频率、音频节奏、音频内容中至少之一，对于多个虚拟灯具，可以划分成多个组，有的组中的各虚拟灯具基于声音频率生成灯光效果，有的组中的各虚拟灯具基于音频节奏生成灯光效果，有的组中的各虚拟灯具基于音频内容生成灯光效果，还有的组可以基于声音频率、音频节奏、音频内容的任意组合生成灯光效果。
示例性地，设置虚拟灯具的数量为50个，每10个为一组共分为5组，第一组根据音频的音频内容确定的灯光效果为不同色差的黄色光，第二组根据音频的音频节奏确定的灯光效果为不同色差的红色光，第三种根据声音频率确定的灯光效果为白色光。
在一些实施例中，参见图7，图7是本申请实施例提供的灯光效果与音频属性间映射关系建立方法示意图，在获取各虚拟灯具的灯光效果与音频属性间的映射关系之前，终端可以通过步骤301-302获取灯光效果与音频属性之间的映射关系。
步骤301，终端获取与目标视频相对应的虚拟灯具的虚拟灯光效果。
其中，所述虚拟灯光效果包括：在目标音频的各个播放时间点，虚拟场景中的第一灯光效果，第一灯光效果由各虚拟灯具的灯光效果所协同形成。
步骤302，基于虚拟灯光效果，建立在各播放时间点，各虚拟灯具的灯光效果与音频属性间的映射关系。
在实际实施时，获取目标音频的各播放时间点，这里的播放时间点可以看作是关键播放时间点，即在该播放时间点，音频的音频属性可能发生变化，比如声音频率从低于频率阈值到高于频率阈值，如频率阈值为40千赫兹(kHZ)，当前播放时间点，声音频率从20kHZ直接升至50kHZ；或者音频内容从一种内容类型切换至另一种内容类型(如一首乐曲从旁白切换至歌词)、或者音频节奏的音调从一种音调切换至另一种音调(D调切换至G调)。也就是说，针对目标音频，可以获取一个包括起始播放时间点、至少一个中间播放时间点、结束播放时间点的时间点序列T＝{t0，t1，……，tn}，在各个播放时间点处，建立虚拟灯具的灯光效果与音频属性的映射关系。
示例性地，以目标音频是乐曲为例，该乐曲对应的时间点序列为T＝{t0，t1，……，tn}，在t时间点，音频属性中的音频内容从旁白切换成歌唱，在t2时间点，音频节奏从D调切换至G调，在t3时间点，声音频率从50kHZ降至25kHz，则可以建立灯光效果与音频属性的之间的映射关系R，t0-t1之间，虚拟灯光效果为温暖的暖光，t1-t2之间，虚拟灯光效果为亮光，t2之后切换为烟花效果等。
步骤202，基于当前播放的目标音频的音频属性及映射关系，控制各虚拟灯具产生相应的灯光效果，以形成第一灯光效果。
在实际实施时，可以通过音频属性中的声音频率、音频节奏、音频内容中至少之一，及映射关系，确定各虚拟灯具产生相应的灯光效果，并通过各相应的灯光效果协同形成第一灯光效果。
在一些实施例中，参见图8，图8是本申请实施例提供的基于音频节奏确定灯光效果的方法流程图，基于图6，图中步骤202可以通过步骤2021a-2022a实现。
步骤2021a，当音频属性包括音频节奏时，在目标音频播放的过程中，实时获取播放的目标音频的音频节奏。
在实际实施时，目标音频包括多个音频节奏，音频节奏用于表征目标音频的律动情况。终端实时对目标音频进行节奏检测，得到目标音频的多个音频节奏。可以根据律动频率与律动频率阈值的关系，对音频节奏进行类型划分，得到不同节奏类型的音频节奏，节奏类型可以包括舒缓类型、轻快类型、欢快类型等。
步骤2022a，依据当前播放的目标音频的音频节奏，实时控制虚拟灯具产生与音频节奏相对应的灯光效果，其中，不同的音频节奏对应不同的灯光效果。
在实际实施时，终端根据当前播放的目标音频的音频节奏，确定各虚拟灯具对应多个音频节奏的灯光参数，并基于各灯光参数，实时调整虚拟灯具的灯光参数的值，控制虚拟灯具产生与音频节奏相对应的灯光效果。
在一些实施例中，参见图9，图9是本申请实施例提供的基于音频内容确定灯光效果的方法流程图，基于图6，图中步骤202可以通过步骤2021b-2023b实现。
步骤2021b，当音频属性包括音频内容时，在目标音频播放的过程中，实时获取播放的目标音频的音频内容。
在实际实施时，在目标音频播放的过程中，获取目标音频的音频内容。以目标音频是乐曲为例，音频内容可以包括歌词、旁白等，一首乐曲的歌词也可以划分为中文歌词、英文歌词、说唱部分等。
步骤2022b，对获取的音频内容进行内容分类，得到音频内容的内容类型。
在实际实施时，可以对音频内容进行内容分类，得到音频内容中的各部分内容所属的内容类型。
示例性地，以目标音频是乐曲为例，对乐曲中的歌词进行内容分类，可以得到中文、英文、说唱、副歌等不同的内容类型。
步骤2023b，控制虚拟灯具产生与音频内容的内容类型相对应的第一灯光效果。
在实际实施时，终端根据内容类型与虚拟灯具之间的对应关系，确定与各内容类型对应的虚拟灯具，各虚拟灯具采用虚拟灯具标识区分，然后依据音频内容与灯光效果的对应关系，获取目标内容类型的音频内容对应的灯光效果，并控制与目标内容类型对应的虚拟灯具产生相应的灯光效果。
示例性地，以目标音频是乐曲为例，乐曲的内容类型与虚拟灯具间的对应关系为{“中文歌词”：“灯具1、灯具3”，“说唱”：“灯具1、灯具2、灯具3”，“英文歌词”：“灯具1”}，内容类型与灯光效果之间的对应关系{“中文歌词”：“灯光效果1”，“说唱”：“灯光效果2”，“英文歌词”：“灯光效果3”}，在乐曲播放到“中文歌词”部分时，“灯具1、灯具3”呈现“灯光效果1”；播放到“说唱”部分时，“灯具1、灯具2、灯具3”呈现“灯光效果2”等。
在一些实施例中，参见图10，图10是本申请实施例提供的基于声音频率确定灯光效果的方法流程图，基于图6，图中步骤202可以通过步骤2021c-2023c实现。
步骤2021c，当音频属性包括声音频率时，终端在目标音频播放的过程中，实时获取播放的所述目标音频的声音频率。
在实际实施时，在目标音频播放的过程中，获取目标音频的声音频率(音频属性的一种)。并预先设置声音频率对应的频率阈值，以频率阈值对声音频率进行划分，得到至少两个频率范围。这里频率阈值可以是多个，一个频率阈值划分得到两个频率范围、2个频率阈值可以将声音频率划分成3个频率范围。
示例性地，以目标音频是乐曲为例，设置声音频率的频率阈值为8kHZ、15kHZ，频率范围可以包括小于5kHZ，5kHZ～15kHZ，大于15kHZ。
步骤2022c，确定获取的声音频率所归属的频率范围。
在实际实施时，目标音频播放过程中，实时获取目标音频的声音频率，并确定声音频率所归属的频率范围。
步骤2023c，控制虚拟灯具产生与声音频率所归属的频率范围相对应的第一灯光效果，其中，不同的频率范围对应不同的灯光效果。
在实际实施时，不同的频率范围对应不同的灯光效果，在目标音频播放过程中，实时获取目标音频的声音频率，并确定声音频率所属的目标频率范围，在确定目标频率范围之后，控制虚拟灯具产生与目标频率范围相对应的灯光效果，需要说明的是，由于声音频率是动态变化的，所以目标视频中虚拟灯具的第一灯光效果可以是由上述各个声音频率对应的灯光效果所协同形成的。
承接上例，当目标音频的声音频率处于高频率，且该高频率大于15kHz时，控制发出绿色光的虚拟灯具等开启并延迟1秒后逐渐变暗；当目标音频的声音频率处于低频率，且该低频率低于8kHz时，控制发出红色光的虚拟灯具等开启并延迟1秒后逐渐变暗；当目标音频的声音频率处于8kHz～15kHz时，控制发出黄色光的虚拟灯具开启并延迟1秒后逐渐变暗。
在一些实施例中，参见图11，图11是本申请实施例提供的基于目标属性确定虚拟灯具的灯光效果的方法流程图，基于图3，步骤103可以通过步骤1031b-1032b实现。
步骤1031b，终端获取虚拟灯具对应第一灯光效果的至少一种目标属性的属性值。
在实际实施时，虚拟制片开始前，用户对目标视频中的灯光效果进行预先设置，主要包括虚拟场景中的虚拟灯具的灯具参数进行合理设置、并根据第一灯光效果，确定各虚拟灯具的各种属性，并将这些与虚拟灯具相关的配置信息保存在GDTF格式的文件，虚拟制片开始时，启动终端上的虚幻引擎，接收用户导入的灯光文件，并解析，获得得到虚拟场景中各虚拟灯具的配置信息，如虚拟灯具在音频播放过程中，与第一灯光效果匹配的色温、亮度、照射时间等。
步骤1032b，将各目标属性的属性值，赋值给虚拟灯具相应的目标属性，以使虚拟灯具产生第一灯光效果。
在实际实施时，终端基于虚拟灯具的灯具标识，对目标属性进行分组，并基于灯具标识，确定各虚拟灯具对应的目标属性的属性值，并将各属性值赋值给虚拟场景中虚拟灯具相应的目标属性，如此，虚拟灯具基于这些属性值，能够产生第一灯光效果。
在一些实施例中，参见图12，图12是本申请实施例提供的基于音轨确定虚拟灯具的灯光效果的方法流程图，基于图3，步骤103可以通过步骤1031c-1033c实现。
步骤1031c，当虚拟灯具的数量为多个、且目标音频包括对应至少两个音轨的音频数据时，获取音轨与虚拟灯具的对应关系。
在实际实施时，目标音频包含对应至少一个音轨的音频数据。在音序器软件中看到的一条一条的平行“轨道”称为音轨。该条音轨的音频数据是一个独立的声音单元，每条音轨可以采用音轨标识指示，不同的音轨对应不同的音轨标识。虚拟灯具的数量为至少两个，且目标音频包括对应至少两个音轨的音频数据时，可以预先确定各音轨与虚拟灯具之间的对应的关系，即确定每个音轨所对应的虚拟灯具
示例性的，一首乐曲，可以包括人声、钢琴伴奏2个不同的音轨，音轨标识分别为A1、A2。虚拟场景中创建的虚拟灯具L的数量有5个，按照L1、L2、L3、L4、L5进行编号，可以预先建立的对应关系为A1->{L1、L3}，A2->{L2、L4、L5}，即在虚拟制片过程中，可以根据对应A1音轨的音频数据(人声)，生成虚拟灯具L1、虚拟灯具L3的灯光效果，并根据对应A2音轨的音频数据(钢琴伴奏)生成虚拟灯具L2、虚拟灯具L4、虚拟灯具L5的灯光效果。
步骤1032c，基于对应关系，确定各音轨对应的虚拟灯具。
在实际实施时，游戏引擎通过解析步骤1031c中的虚拟灯具与音轨的对应关系，能够确定各音轨对应的虚拟灯具。
承接上例，音轨A1对应虚拟灯具L1、虚拟灯具L3，音轨A2对应虚拟灯具L2、虚拟灯具L4、虚拟灯具L5。
步骤1033c，在虚拟场景中，控制各音轨对应的虚拟灯具，产生与音轨的音频数据相对应的虚拟灯光效果，以形成第一灯光效果。
其中，不同音轨的音频数据对应不同的虚拟灯光效果，第一灯光效果由各虚拟灯具的虚拟灯光效果所协同形成。
在实际实施时，通过游戏引擎控制各音轨对应的虚拟灯具，产生与音轨数据相对应的虚拟灯光效果，也就是说，目标音频包括至少两个音轨的音频数据时，可以对应每个音频数据均产生一种灯光效果，即灯光效果的数量与音轨的数量相同。最终目标视频中产生的虚拟场景中的第一灯光效果是对应各音轨的虚拟灯具的灯光效果协同形成的。各音轨的虚拟灯具的灯光效果的协同方式可以是各灯光效果独立展示、或者至少两种灯光效果混合、或者是各灯光效果周期性的展示等，本申请实施例对灯光效果的协同方式不作限制。需要说明的是，各音轨对应的虚拟灯具的灯光效果的产生方式可以采用前述提到的，根据各音轨上的音频数据的音频属性确定，音频属性包括声音频率、音频节奏、音频内容中至少之一。
承接上例，音轨A1对应虚拟灯具L1、虚拟灯具L3，音轨A2对应虚拟灯具L2、虚拟灯具L4、虚拟灯具L5，对应音轨A1上虚拟灯具L1、L3产生的灯光效果为S1、S2，对应音轨A2上虚拟灯具L2、L4、L5产生的灯光效果为S2、S4、S5，那么在目标视频呈现的虚拟场景中的第一灯光效果可以是这5种灯光效果独立展示，也可以是这5种灯光效果中的至少两种灯光效果混合。
在步骤104中，同步控制物理灯具在真实场景中产生与当前播放的目标音频相对应的第二灯光效果。
其中，第一灯光效果及第二灯光效果，用于供进行虚拟制片，以生成包含第一灯光效果及所述第二灯光效果的所述目标视频。
在实际实施时，虚拟制片过程中布设的物理灯具(物理灯具的数量可以为一个或多个)，与虚幻引擎所属的电子设备(终端)处于同一局域网，各物理灯具之间通过目标数据线相连，这里的目标数据线的作用为传输符合目标协议的数据。物理灯具与虚幻引擎所属的电子设备采用目标数据线相连，以便于物理灯具接收虚拟引擎通过电子设备发送的数据，数据可以是控制信号、或对物理灯具的灯具参数等。
示例性地，以虚拟制片中的物理灯具为DMX灯具为例，参见图1，DMX灯具用于表征遵照DMX512协议的灯具，DMX是数字通信网络标准，通常用于控制舞台灯光和效果，电子设备中部署的虚幻引擎为Unreal Engine 4(UE4，用于生成并演示灯光效果)，UE通过电子设备输出标准的DMX512数据控制信号，并发送给现实场景中的物理灯具，以驱动遵照DMX512协议的灯具(DMX灯具)产生与目标音频相对应的灯光效果(即区别于虚拟灯具的第一灯光效果的第二灯光效果)。
需要说明的是，上述终端基于目标音频控制虚拟灯具的灯光效果的方式，同样适用于现实场景中的物理灯具。
在实际实施时，终端还根据当前目标音频的播放时间实时解析目标音频的音谱，得到相应的数据。音谱可以采用多个振幅不同和频率不同的曲线表示，在解析音谱时，可以根据实际需求把音谱分解为多个不同的振幅曲线，比如采样为10的时候，表示把音谱分解为10个不同的曲线，随着时间的推移，每条振幅曲线的值也在发生变化，因此在同一个时间点，会得到十个不同的振幅；然后，将得到的多个数据组合成符合DMX512协议的数据，发送给遵照DMX512协议的物理灯具，物理灯具根据收到的数据呈现相应的灯光效果，如物理灯具随着声音节奏出现明暗变化或者颜色的变化(这取决于分在组合DMX512协议数据时分别把哪些数据分配给了灯具的哪些通道)。同时，还将得到的数据，根据预设设置的分配策略赋值给虚拟灯具的亮度，颜色等属性，虚拟灯具将随着声音节奏出现明暗或者颜色的变化。这里，分配策略用于确定振幅与灯具的通道的对应关系：虚拟灯具根据数据所产生的灯光效果，取决于上述分配策略(振幅与灯具的通道的对应关系)，即将上述得到的十个振幅分配给灯具的哪个通道，比如第一个通道为灯具的水平轴旋转(灯具可左右“摇头”)，第二个通道为上下轴旋转(灯具可上下“点头”)，第三个通道为亮度，第四个通道为色相等。
示例性地，以目标音频是乐曲为例，乐曲的前五秒可以根据乐曲的音频节奏让灯具做出“点头”的效果，可以选择将某一条或者振幅最大的那一条数据分配至灯具的上下轴旋转，在加上一个修正值(多次试验得到的一个合适的值)，让灯具实现上下扫光的效果。
在一些实施例中，参见图13，图13是本申请实施例提供的物理灯具的灯光效果的产生方法流程图，基于图3，步骤104可以通过步骤1041a-1042a实现。
步骤1041，终端建立与真实场景中的物理灯具间的通信连接。
在实际实施时，虚拟制片过程中，部署有虚幻引擎的终端(电子设备)，或者称为部署有演示灯光效果设计应用的电子设备，与真实场景中的物理灯具处于同一网络，通过目标通信协议建立终端与物理灯具间的通信连接。
示例性地，参见图14，图14是本申请实施例提供的虚拟制片场景中设备连接示意图，图中，虚拟制片应用场景中，设备主要包括：安装虚幻引擎的终端、各种类型的物理灯具、路由器、至少一块LED屏幕等，各设备处于同一网络，并通过目标数据线进行数据通信。
步骤1042a，基于通信连接，发送控制指令给物理灯具，控制指令用于指示物理灯具产生与当前播放的目标音频相对应的第二灯光效果。
在实际实施时，虚拟引擎通过解析目标音频，根据前述方式确定物理灯具对应目标音频的灯光效果(即第二灯光效果)，也就是说，可以通过目标音频的音频属性确定物理灯具需要呈现的灯光效果，也可以通过解析目标音频对应各音轨的音频数据与物理灯具的对应关系，确定物理灯具对应的灯光效果。即在虚幻引擎中控制虚拟灯具产生第一灯光效果的方式，同样可以应用于控制物理灯具产生第二灯光效果。在播放目标音频的过程中，虚幻引擎在控制虚拟场景中的虚拟灯具产生第一灯光效果，同时基于与物理灯具建立的连接，向物理灯具发送控制信号，此时，物理灯具自身的控制器，基于接收到的控制信号，自动调整物理灯具的灯具参数，从而使得物理灯具产生第二灯光效果。
在一些实施例中，控制指令携带用于指示第二灯光效果的灯光效果指示信息时，终端还可以基于通信连接，发送携带灯光效果指示信息的控制指令给物理灯具；其中，控制指令，用于物理灯具基于灯光效果指示信息，确定与第二灯光效果相对应的灯光参数的值，并应用灯光参数的值以产生第二灯光效果。
在实际实施时，支持虚拟引擎的终端可以仅向物理灯具发送携带灯光效果指示信息的控制指令，各物理灯具接收控制指令，并解析灯光效果指示信息，得到与自身对应的灯光效果，然后物理灯具自身的控制器调整灯具参数的值，并应用调整后的灯光参数的值产生第二灯光效果。其中，灯光指示信息中包括至少一个物理灯具对应的灯光效果。灯光指示信息的格式可以为{“灯具标识”：“灯光效果标识”}。
示例性地，灯光指示信息为{“灯具1”：“先红光持续3秒到蓝光持续5秒”，“灯具2”：“黄光持续4秒绿光持续8秒”}，现实场景中的“灯具1”对应的物理灯具解析灯光指示信息得到“先红光持续3秒到蓝光持续5秒”的灯光效果，自身的控制器控制物理灯具呈现“先红光持续3秒到蓝光持续5秒”灯光效果。
在一些实施例中，参见图15，图15是本申请实施例提供的物理灯具基于灯光参数产生灯光效果的方法流程图，基于图3，步骤104可以通过步骤1041b-1043b实现。
步骤1041b，终端建立与真实场景中的物理灯具间的通信连接。
在实际实施时，部署虚幻引擎的终端与真实场景中的物理灯具处于同一网络，且通过目标数据线进行通信连接，即处于同一网络是能够进行通信连接的前提，在建立了网络连接后，再次通过目标数据线连接物理灯具与部署虚幻引擎的终端。
示例性地，以虚拟制片中使用的灯具为符合DMX512的LED灯具(遵照DMX512协议的灯具)为例，各LED灯具与部署有UE4的终端处于同一网络(处于同一网络)，且UE4所处的终端至LED之间通过DMX线连接，如此，UE所处的终端可以与LED灯具之间进行通信。
步骤1042b，获取第二灯光效果对应的物理灯具的灯光参数的值，灯光参数的值，用于物理灯具产生第二灯光效果。
在实际实施时，终端中部署的虚幻引擎，接收预先设置的针对现实场景中物理灯具的灯光参数的配置信息，解析该配置文件，确定第二灯光效果(物理灯具需要生成的灯光效果)对应的物理灯具的灯光参数。其中，灯光参数的配置信息以物理灯具的灯具标识进行标识，即一个物理灯具对应一个灯光参数配置信息。在目标音频播放的过程中，实时将物理灯具对应的灯光参数发送至物理灯具。
步骤1043b，基于通信连接，发送携带灯光参数的值的控制指令给物理灯具，以使物理灯具应用灯光参数的值。
在实际实施时，终端可以直接将目标视频中，需要的物理灯具所展示的第二灯光效果的灯具参数，直接发送至物理灯具，物理灯具的控制器获取相应的灯具参数后，应用灯光参数的值，并产生第二灯光效果。
应用本申请实施例，在目标音频的播放过程中，在控制虚拟灯具在虚拟场景中产生与播放的目标音频相对应的第一灯光效果的同时，还能同步控制物理灯具在真实场景中产生与当前播放的目标音频相对应的第二灯光效果，如此，不仅可以使声音播放，虚拟灯光、物理灯光的响应只需一人控制，即可达到三方同步响应的效果，能够有效降低人工参与度，并可以大幅度降低音箱、灯光、虚幻引擎因相互配合造成的失误，且可以大幅降低外部因素的影响，从而可以大幅提高虚拟制片的拍摄效率。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
虚拟制片将虚拟现实和增强现实与CGI和游戏引擎技术相结合，使制作人员能够看到场景在他们面前展开，仿佛这些场景就是在实景合成和拍摄的。相关虚拟制片技术中，一般是音箱师、灯光师、虚幻引擎操作人员等根据导演的指示同步开启灯光、声音的效果，这种方式灯光、音箱、虚幻引擎的操作人员很难做到行为完全统一，且受外部条件影响很大，比如三方通讯中断、其他人员打扰灯，而且如果有一方操作失误本条拍摄就会作废，大大影响的拍摄效率。
基于此，本申请实施例提供的一种虚拟制片中的灯光控制方法，该方法也是在虚拟制片中声音、虚拟灯光、物理灯光同步的方法。通过DMX512传输协议，可以使在虚拟制片中声音、虚拟灯光、物理灯光只需一人操作且可以进行同步联动。由于物理灯光、声音、虚拟灯光只需一人操控即可，受外部的影响可能性大大降低，且可以做到物理灯光、声音、虚拟灯光完全统一，也就是说，通过该方法可以使在虚拟制片中声音与虚拟灯光和物理灯光只需一人操作且可以进行同步联动。
接下来，从产品侧说明本申请实施例提供的虚拟制片过程中的灯光控制方法。在实际实施时，参见图1，图1中示出的是虚拟制片拍摄现场(虚拟影棚)中的各种设备和道具，包括LED幕墙、屏幕前制景、现场拍摄相机、物理灯具等。其中，虚拟制片中的虚拟影棚结合了LED幕墙、动作捕捉技术和摄像机跟随，可以使在影棚的拍摄手段更为丰富和便捷；在虚拟影棚中布设至少一个大型的LED幕墙用于显示虚拟内容，同时会在LED屏幕前方有实际的摆设道具，通过虚拟制片中的现场拍摄相机，会同时捕捉LED屏幕和屏幕前制景的融合画面；在虚拟拍摄棚中为了照亮人物和现场置景而使用的现实中的灯具，灯光类型一般有造型光、氛围光、特效光等几种类型；同时，在电子设备部署的虚幻引擎中根据艺术家需求或者真实场景制作的数字场景(即虚拟制片中的虚拟场景)，还在虚幻引擎中设置照亮虚拟场景的灯光系统，主要作用是提供符合美术要求或者接近真实场景效果的照明。需要说明的是，使用虚幻引擎同时控制物理灯具和虚拟灯具的前提条件，是物理灯具带有支持Art-Net协议或sAcn协议的网络模块，若物理灯具没有网络模块，可使用支持通过网络发送Art-Net协议或sAcn协议数据的灯控台同时控制虚幻引擎内的虚拟灯具、声音播放和物理灯具。
参见图16，图16是本申请实施例提供的虚拟场景中灯光声音同步方法流程图，图中，安装有虚幻引擎的电子设备(或称终端)接收到用户上传的适合当前虚拟制片的目标音频(通常是包括至少一个音轨的声音)，通过虚幻引擎通过在虚幻引擎中解析音频的音轨数据，然后把得到的音轨数据应用给虚拟灯光同时，将得到的音轨数据组合成符合DMX512格式的数据，发送给真实场景(现场置景)中的物理灯具，以控制物理灯具产生与当前播放的目标音频相对应的灯光效果(物理灯光)。如此，不仅可以使声音播放，虚拟灯光、物理灯光的响应只需一人控制，达到三方同步响应的效果，还可以大幅度降低音箱、灯光、虚幻引擎因相互配合造成的失误，且可以大幅降低外部因素的影响，从而可以大幅提高此种类型镜头的拍摄效率。
接下来，从技术侧说明本申请实施例提供的虚拟制片中的灯光控制方法。
首先说明通过虚幻引擎控制虚拟场景中虚拟灯具的灯光效果的控制流程，参见图17，图17是本申请实施例提供的虚拟场景中虚拟灯具的创建方法示意图，首先执行步骤1、新建虚幻引擎工程，在插件(Plugins)中搜索DMX，全部打开并重启引擎，其中，DMX插件中包含有灯具功能；然后执行步骤2、导入灯具文件到虚幻引擎，灯具文件的数据格式为GDTF文件，GDTF文件包含特定灯具类型的信息，例如模式名称、属性名称、默认值等，GDTF文件可用于自动配置DMX灯具类型，从而使项目设置更快、更轻松；继续执行步骤3、新建DMX库(DMXLibrary)，执行步骤4.在DMX Library中的灯具类型(Fixture Types)选项卡下新建灯具类型(New Fixture Type)并命名；之后执行步骤5、在新建的灯具类型(Fixture Type)中子窗口的灯具设置(Fixture Setting)界面的DMX Import中选择刚刚导入的GDTF文件，执行步骤6.在Modes子窗口中会显示多个mode；接着，执行步骤7.在灯具配接(Fixture Path，也可称灯具补丁)的选项卡中先新建Add Fixture，选择刚刚新建的Fixture Type，需要多少个不同类型的虚拟灯具就新建多少个Fixture Type；继续执行步骤8.在灯具模式中选择目标模式，即在Fixture Patch的子窗口Fixture Patch下的Active Mode中选择需要的Mode，执行步骤9.在Active Mode中可以设置Manual Starting Address，需要说明的是，这里的配置的Address要与物理灯具的DMX选项卡下的Address保持一致，在实际应用中，若虚拟灯具配置的Address与物理灯具的Address不一致时，需要额外配接一盏DMX物理灯具，虚幻引擎同时向两盏灯具发送同样的指令；最后，在虚幻引擎的Project Setting设置DMX plugin，选择Protocol Name为Art-Net(需要说明的是，这里选择Art-Net或sAcn，是根据灯具设置或物理灯具所支持的协议确定的，在启动虚幻引擎的电子设备和物理灯具处于一个局域网环境下时，若使用sAcn协议，则为启动虚幻引擎的电子设备配置常规样式的IP地址，如192.168.X.X，若使用Art-Net协议，则为启动虚幻引擎的电子设备配置如2.0.0.X样式的IP地址)，选择Net work Interface Card IP Address为目标IP，这里的目标IP是启动虚幻引擎的电子设备与物理灯具处于同一局域网下、且符合当前灯具使用的通讯协议规则的IP地址。
其次，说明虚拟制片中现实场景中物理灯具的灯具设置方法，参见图18，图18是本申请实施例提供的物理灯具的灯具设置方法示意图，执行步骤1、给灯具连接电源线和网线(保持物理灯具和运行虚幻引擎的电子设备在同一局域网)；执行步骤2、进行网络配置，启动灯具，按菜单Menu键，选择网络设置Network Setting，设置IP类型为DHCP，输入上述目标IP，并在虚幻引擎的电子设备中使用上述目标IP；执行步骤3、设置DMX，分别设置地址和模式，在虚幻引擎的电子设备端，启动浏览器，输入上述目标IP；其中，DMX设置(DMX Setting)菜单的设置方式如下：首先设置DMX地址(Address)，1或11，或21等，这主要取决于第几个Sky panel。另外设置该通道起始位置，与UE4当中Universe 1中具体灯具所占通道相对应。其次，设置DMX模式(DMX Mode)，选P4(Mode 4)；接着设置Art-Net协议，将协议选项(Protocol Selection)设置为“Art-Net Only”；最后设置“Art-Net Settings”为{Universe
“1”,Enter}。上述灯具设置(Fixture Setting)菜单：灯具模式(Special Modes)设置为“Calibrated RGBW”，即RGBW模式。
最后，通过上述针对虚拟灯具及物理灯具的布设及配置后，说明本申请实施例虚拟制片中灯光声音同步控制方法，参见图19，图19是本申请实施例提供的虚拟制片中灯光声音同步控制方法示意图，首先执行步骤1、导入目标音频(声音文件，一般为wav格式)到虚幻引擎中，然后执行步骤2、新建Actor并添加音频(Audio)组件；执行步骤3、设置目标音频，并通过音箱设备播放，目标音频是从导入的多个声音文件中选择的；随后，音箱、物理灯具、虚拟灯具同步响应，即在目标音频播放过程中，虚拟灯具展示自身对应的虚拟灯光效果，物理灯具展示自身对应的物理灯光效果，具体同步过程包括：在音箱设备播放目标音频的过程中，执行步骤4.根据目标音频的播放时间实时解析音轨，并获得与各音轨对应的数据(数据的数量取决于解析声音的细分程度，音轨可以通过多个振幅不同和频率不同的曲线表示，在解析目标音频时，可以根据实际需求把一个音频分解为多个不同的曲线，比如采样为十的时候，表示把一个音谱分解为10个不同的曲线，随着时间的推移，每条曲线的振幅也在发生变化，因此在同一个时间点，可以得到十个不同的振幅值。)；执行步骤5.把得到的对应各音轨的音频数据一方面组合成符合DMX512协议的数据发送给物理灯具，执行步骤6.物理灯具根据收到的音频数据展示相应的灯光效果，如：随着声音节奏出现明暗变化或者颜色的变化(取决于分在组合DMX512协议数据时分别把哪些数据给到了灯的哪些通道)；同步执行步骤8.把得到的数据实时设置给虚拟灯具，接着执行步骤9.虚拟灯具根据得到的数据实时呈现相应的灯光效果，即根据需求赋值给虚拟灯具的亮度，颜色等属性，虚拟灯具将随着声音节奏出现明暗或者颜色的变化，或者控制舞台摇头灯出现摇头或点头的效果。
需要说明的是，虚拟制片过程中，不只可以通过上述方式控制灯光，虚幻引擎中的其他物体也可以处根据灯光节奏出现变化，比如上下左右位移或旋转，材质的明暗变化和颜色的变化，未来还可以结合灯控台使用，手段可能会更丰富。
应用本申请实施例，可以使声音播放，虚拟灯光、物理灯光的响应只需一人控制，达到三方同步响应的效果，此方法可以大幅度降低音箱、灯光、虚幻引擎因相互配合造成的失误，且可以大幅降低外部因素的影响，从而可以大幅提高此种类型镜头的拍摄效率。
下面继续说明本申请实施例提供的虚拟制片中的灯光控制装置555的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器550的虚拟制片中的灯光控制装置555中的软件模块可以包括：
创建模块5551，用于以所述真实场景中的物理灯具为参考，创建所述虚拟场景中对应所述物理灯具的虚拟灯具；
获取模块5552，用于获取应用于所述目标视频的目标音频，并播放所述目标音频；
控制模块5553，用于在播放所述目标音频的过程中，控制所述虚拟灯具在所述虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，并同步控制所述物理灯具在所述真实场景中产生与当前播放的目标音频相对应的第二灯光效果；其中，所述第一灯光效果及所述第二灯光效果，用于供进行所述虚拟制片，以生成包含所述第一灯光效果及所述第二灯光效果的所述目标视频。
在一些实施例中，所述控制模块，还用于在播放所述目标音频的过程中，实时获取所述目标音频的音频属性，所述音频属性包括声音频率、音频节奏、音频内容中至少之一；在所述虚拟场景中，控制所述虚拟灯具产生与当前播放的目标音频的音频属性相对应的第一灯光效果。
在一些实施例中，所述控制模块，还用于当所述虚拟灯具的数量为多个时，获取各所述虚拟灯具的灯光效果与所述音频属性间的映射关系；基于当前播放的目标音频的音频属性及所述映射关系，控制各所述虚拟灯具产生相应的灯光效果，以形成所述第一灯光效果。
在一些实施例中，所述控制模块，还用于当所述虚拟灯具的数量为多个时，获取与所述目标视频相对应的所述虚拟灯具的虚拟灯光效果；其中，所述虚拟灯光效果包括：在所述目标音频的各个播放时间点，所述虚拟场景中的所述第一灯光效果，所述第一灯光效果由各所述虚拟灯具的灯光效果所协同形成；基于所述虚拟灯光效果，建立在各所述播放时间点，各所述虚拟灯具的灯光效果与所述音频属性间的映射关系。
在一些实施例中，所述控制模块，还用于当所述音频属性包括音频节奏时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的音频节奏；依据当前播放的所述目标音频的音频节奏，实时控制所述虚拟灯具产生与所述音频节奏相对应的灯光效果；其中，不同的所述音频节奏对应不同的所述灯光效果。
在一些实施例中，所述控制模块，还用于当所述音频属性包括音频内容时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的音频内容；对获取的所述音频内容进行内容分类，得到所述音频内容的内容类型；控制所述虚拟灯具产生与所述音频内容的内容类型相对应的第一灯光效果；其中，不同的所述内容类型对应不同的所述灯光效果。
在一些实施例中，所述控制模块，还用于当所述音频属性包括声音频率时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的声音频率；确定获取的所述声音频率所归属的频率范围；控制所述虚拟灯具产生与所述声音频率所归属的频率范围相对应的第一灯光效果；其中，不同的所述频率范围对应不同的所述灯光效果。
在一些实施例中，所述控制模块，还用于获取所述虚拟灯具对应所述第一灯光效果的至少一种目标属性的属性值；将各所述目标属性的属性值，赋值给所述虚拟灯具相应的目标属性，以使所述虚拟灯具产生所述第一灯光效果。
在一些实施例中，所述控制模块，还用于当所述虚拟灯具的数量为多个、且所述目标音频包括对应至少两个音轨的音频数据时，获取音轨与虚拟灯具的对应关系；基于所述对应关系，确定各所述音轨对应的所述虚拟灯具；在所述虚拟场景中，控制各所述音轨对应的所述虚拟灯具，产生与所述音轨的音频数据相对应的虚拟灯光效果，以形成所述第一灯光效果；其中，不同音轨的所述音频数据对应不同的所述虚拟灯光效果，所述第一灯光效果由各所述虚拟灯具的虚拟灯光效果所协同形成。
在一些实施例中，所述控制模块，还用于建立与所述真实场景中的所述物理灯具间的通信连接；基于所述通信连接，发送控制指令给所述物理灯具，所述控制指令用于指示所述物理灯具产生与当前播放的目标音频相对应的第二灯光效果。
在一些实施例中，所述控制模块，还用于获取所述第一灯光效果对应的所述物理灯具的灯光参数的值，所述灯光参数的值，用于所述物理灯具产生所述第二灯光效果；所述基于所述通信连接，发送控制指令给所述物理灯具，包括：基于所述通信连接，发送携带所述灯光参数的值的控制指令给所述物理灯具，以使所述物理灯具应用所述灯光参数的值。
在一些实施例中，所述控制指令携带用于指示所述第二灯光效果的灯光效果指示信息，所述控制模块，还用于基于所述通信连接，发送携带所述灯光效果指示信息的控制指令给所述物理灯具；其中，所述控制指令，用于所述物理灯具基于所述灯光效果指示信息，确定与所述第二灯光效果相对应的灯光参数的值，并应用所述灯光参数的值以产生所述第二灯光效果。
在一些实施例中，所述创建模块，还用于获取所述真实场景中物理灯具的灯具参数的值，以及所述物理灯具与所述虚拟灯具间的关联关系；基于所述物理灯具的灯具参数的值及所述关联关系，确定所述虚拟场景中虚拟灯具的灯具参数的值；将确定的所述灯具参数的值，赋值给所述虚拟场景中虚拟灯具的灯具参数。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的虚拟制片中的灯光控制方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的虚拟制片中的灯光控制方法，例如，如图3示出的虚拟制片中的灯光控制方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例可以使声音播放，虚拟灯光、物理灯光的响应只需一人控制，达到三方同步响应的效果，此方法可以大幅度降低音箱、灯光、虚幻引擎因相互配合造成的失误，且可以大幅降低外部因素的影响，从而可以大幅提高此种类型镜头的拍摄效率。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (17)

1.一种虚拟制片中的灯光控制方法，其特征在于，所述虚拟制片用于结合真实场景及虚拟场景生成目标视频，所述方法包括：
以所述真实场景中的物理灯具为参考，创建所述虚拟场景中对应所述物理灯具的虚拟灯具；
获取应用于所述目标视频的目标音频，并播放所述目标音频；
在播放所述目标音频的过程中，控制所述虚拟灯具在所述虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，并同步控制所述物理灯具在所述真实场景中产生与当前播放的目标音频相对应的第二灯光效果；
其中，所述第一灯光效果及所述第二灯光效果，用于供进行所述虚拟制片，以生成包含所述第一灯光效果及所述第二灯光效果的所述目标视频。
2.如权利要求1所述的方法，其特征在于，所述控制所述虚拟灯具在所述虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，包括：
在播放所述目标音频的过程中，实时获取所述目标音频的音频属性，所述音频属性包括声音频率、音频节奏、音频内容中至少之一；
在所述虚拟场景中，控制所述虚拟灯具产生与当前播放的目标音频的音频属性相对应的第一灯光效果。
3.如权利要求2所述的方法，其特征在于，所述控制所述虚拟灯具产生与当前播放的目标音频的音频属性相对应的第一灯光效果，包括：
当所述虚拟灯具的数量为多个时，获取各所述虚拟灯具的灯光效果与所述音频属性间的映射关系；
基于当前播放的目标音频的音频属性及所述映射关系，控制各所述虚拟灯具产生相应的灯光效果，以形成所述第一灯光效果。
4.如权利要求3所述的方法，其特征在于，当所述虚拟灯具的数量为多个时，所述获取各所述虚拟灯具的灯光效果与所述音频属性间的映射关系之前，所述方法还包括：
获取与所述目标视频相对应的所述虚拟灯具的虚拟灯光效果；
其中，所述虚拟灯光效果包括：在所述目标音频的各个播放时间点，所述虚拟场景中的所述第一灯光效果，所述第一灯光效果由各所述虚拟灯具的灯光效果所协同形成；
基于所述虚拟灯光效果，建立在各所述播放时间点，各所述虚拟灯具的灯光效果与所述音频属性间的映射关系。
5.如权利要求2所述的方法，其特征在于，所述控制所述虚拟灯具产生与当前播放的目标音频的音频属性相对应的第一灯光效果，包括：
当所述音频属性包括音频节奏时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的音频节奏；
依据当前播放的所述目标音频的音频节奏，实时控制所述虚拟灯具产生与所述音频节奏相对应的灯光效果；
其中，不同的所述音频节奏对应不同的所述灯光效果。
6.如权利要求2所述的方法，其特征在于，所述控制所述虚拟灯具产生与当前播放的目标音频的音频属性相对应的第一灯光效果，包括：
当所述音频属性包括音频内容时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的音频内容；
对获取的所述音频内容进行内容分类，得到所述音频内容的内容类型；
控制所述虚拟灯具产生与所述音频内容的内容类型相对应的第一灯光效果；
其中，不同的所述内容类型对应不同的所述灯光效果。
7.如权利要求2所述的方法，其特征在于，所述控制所述虚拟灯具产生与当前播放的目标音频的音频属性相对应的第一灯光效果，包括：
当所述音频属性包括声音频率时，在所述目标音频播放的过程中，实时获取播放的所述目标音频的声音频率；
确定获取的所述声音频率所归属的频率范围；
控制所述虚拟灯具产生与所述声音频率所归属的频率范围相对应的第一灯光效果；
其中，不同的所述频率范围对应不同的所述灯光效果。
8.如权利要求1所述的方法，其特征在于，所述控制所述虚拟灯具在所述虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，包括：
获取所述虚拟灯具对应所述第一灯光效果的至少一种目标属性的属性值；
将各所述目标属性的属性值，赋值给所述虚拟灯具相应的目标属性，以使所述虚拟灯具产生所述第一灯光效果。
9.如权利要求1所述的方法，其特征在于，当所述虚拟灯具的数量为多个、且所述目标音频包括对应至少两个音轨的音频数据时，所述控制所述虚拟灯具在所述虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，包括：
获取音轨与虚拟灯具的对应关系；
基于所述对应关系，确定各所述音轨对应的所述虚拟灯具；
在所述虚拟场景中，控制各所述音轨对应的所述虚拟灯具，产生与所述音轨的音频数据相对应的虚拟灯光效果，以形成所述第一灯光效果；
其中，不同音轨的所述音频数据对应不同的所述虚拟灯光效果，所述第一灯光效果由各所述虚拟灯具的虚拟灯光效果所协同形成。
10.如权利要求1所述的方法，其特征在于，所述同步控制所述物理灯具在所述真实场景中产生与当前播放的目标音频相对应的第二灯光效果，包括：
建立与所述真实场景中的所述物理灯具间的通信连接；
基于所述通信连接，发送控制指令给所述物理灯具，所述控制指令用于指示所述物理灯具产生与当前播放的目标音频相对应的第二灯光效果。
11.如权利要求10所述的方法，其特征在于，所述发送控制指令给所述物理灯具之前，所述方法还包括：
获取所述第一灯光效果对应的所述物理灯具的灯光参数的值，所述灯光参数的值，用于所述物理灯具产生所述第二灯光效果；
所述基于所述通信连接，发送控制指令给所述物理灯具，包括：
基于所述通信连接，发送携带所述灯光参数的值的控制指令给所述物理灯具，以使所述物理灯具应用所述灯光参数的值。
12.如权利要求10所述的方法，其特征在于，所述控制指令携带用于指示所述第二灯光效果的灯光效果指示信息，所述基于所述通信连接，发送控制指令给所述物理灯具，包括：
基于所述通信连接，发送携带所述灯光效果指示信息的控制指令给所述物理灯具；
其中，所述控制指令，用于所述物理灯具基于所述灯光效果指示信息，确定与所述第二灯光效果相对应的灯光参数的值，并应用所述灯光参数的值以产生所述第二灯光效果。
13.如权利要求1所述的方法，其特征在于，所述以所述真实场景中的物理灯具为参考，创建所述虚拟场景中对应所述物理灯具的虚拟灯具，包括：
获取所述真实场景中物理灯具的灯具参数的值，以及所述物理灯具与所述虚拟灯具间的关联关系；
基于所述物理灯具的灯具参数的值及所述关联关系，确定所述虚拟场景中虚拟灯具的灯具参数的值；
将确定的所述灯具参数的值，赋值给所述虚拟场景中虚拟灯具的灯具参数。
14.一种虚拟制片中的灯光控制装置，其特征在于，所述虚拟制片用于融合真实场景及虚拟场景生成目标视频，所述装置包括：
创建模块，用于以所述真实场景中的物理灯具为参考，创建所述虚拟场景中对应所述物理灯具的虚拟灯具；
获取模块，用于获取应用于所述目标视频的目标音频，并播放所述目标音频；
控制模块，用于在播放所述目标音频的过程中，控制所述虚拟灯具在所述虚拟场景中产生与当前播放的目标音频相对应的第一灯光效果，并同步控制所述物理灯具在所述真实场景中产生与当前播放的目标音频相对应的第二灯光效果；其中，所述第一灯光效果及所述第二灯光效果，用于供进行所述虚拟制片，以生成包含所述第一灯光效果及所述第二灯光效果的所述目标视频。
15.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至13任一项所述的虚拟制片中的灯光控制方法。
16.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至13任一项所述的虚拟制片中的灯光控制方法。
17.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现权利要求1至13任一项所述的虚拟制片中的灯光控制方法。
CN202210793619.7A 2022-07-05 2022-07-05 虚拟制片中的灯光控制方法、装置、设备及存储介质 Pending CN116506990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210793619.7A CN116506990A (zh) 2022-07-05 2022-07-05 虚拟制片中的灯光控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210793619.7A CN116506990A (zh) 2022-07-05 2022-07-05 虚拟制片中的灯光控制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116506990A true CN116506990A (zh) 2023-07-28

Family

ID=87329128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210793619.7A Pending CN116506990A (zh) 2022-07-05 2022-07-05 虚拟制片中的灯光控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116506990A (zh)

Similar Documents

Publication Publication Date Title
US8746895B2 (en) Combined lighting and video lighting control system
TWI442817B (zh) 產生人造氣氛的系統與方法
US10165239B2 (en) Digital theatrical lighting fixture
CN110225224B (zh) 虚拟形象的导播方法、装置及系统
US10568175B2 (en) Light control system based on display device and light control method thereof
WO2005084339A2 (en) Entertainment lighting system
KR102247264B1 (ko) 공연연출시스템
CN106664777B (zh) 灯系统接口和方法
US10560994B2 (en) Lighting control apparatus, corresponding method and computer program product
Huntington Show networks and control systems: formerly control systems for live entertainment
CN111869330A (zh) 基于一种或多种灯光设置渲染动态灯光场景
JP2020047508A (ja) 照明システム及び照明システムの設定方法
KR102247269B1 (ko) 공연연출시스템
CN116506990A (zh) 虚拟制片中的灯光控制方法、装置、设备及存储介质
Claiborne Media Servers for Lighting Programmers: A Comprehensive Guide to Working with Digital Lighting
JPH0773978A (ja) 照明演出装置
Palmer Light and Projection
US9924584B2 (en) Method and device capable of unique pattern control of pixel LEDs via smaller number of DMX control channels
Jiang et al. Analysis and prospect of control system for stage lighting
JPH04212193A (ja) 照明制御システム
CN116485704A (zh) 光照信息处理方法、装置、电子设备及存储介质
CN205179277U (zh) 一种视频信号控制设备
CN115861502A (zh) 虚拟环境中的天气渲染方法及装置、存储介质、电子设备
Bloomberg Making Musical Magic Live
CN221039846U (zh) 一种专业演艺的仿真集中控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40091463

Country of ref document: HK