CN116486048A - 虚实融合画面的生成方法、装置、设备及系统 - Google Patents

Abstract

本申请公开了一种虚实融合画面的生成方法、装置、设备及系统，涉及虚拟现实技术领域。包括：接收灯光控制指令，所述灯光控制指令用于控制真实场景中的真实灯具以及虚拟场景中的虚拟灯具；基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，所述同步参数用于从至少一个维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步，所述至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；基于所述虚拟环境画面以及真实环境画面生成虚实融合画面，所述真实环境画面由摄像机对所述真实环境进行拍摄得到。本申请实施里提供的方法，能够使虚拟灯光与真实灯光在多个维度实现投射效果匹配，有助于提升虚实融合画面的画面效果。

Description

虚实融合画面的生成方法、装置、设备及系统

技术领域

本申请涉及虚拟现实技术领域，特别涉及一种虚实融合画面的生成方法、装置、设备及系统。

背景技术

随着虚拟引擎技术的不断更新，虚拟制作广泛应用于舞台表演类的节目制作之中，虚拟灯光与真实灯光间的效果匹配影响着整个节目的呈现效果。

相关技术中，根据真实灯具的模式信息以及型号信息，在虚拟引擎中生成虚拟灯具后，再将虚拟灯具与真实灯具进行匹配，以确定虚拟灯光的位置。

然而，由于物理空间与现实空间存在的差异性，相关技术中将虚拟灯具与真实灯具进行匹配后，投射效果往往仍存在较大差异，导致虚拟灯光与真实灯光结合的舞台效果较差。

发明内容

本申请实施例提供了一种虚实融合画面的生成方法、装置、设备及系统。所述技术方案如下：

一方面，本申请实施例提供了一种虚实融合画面的生成方法，所述方法包括：

接收灯光控制指令，所述灯光控制指令用于控制真实场景中的真实灯具以及虚拟场景中的虚拟灯具；

基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，所述同步参数用于从至少一个维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步，所述至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；

基于所述虚拟环境画面以及真实环境画面生成虚实融合画面，所述真实环境画面由摄像机对所述真实环境进行拍摄得到。

另一方面，本申请实施例提供了一种虚实融合画面的生成装置，所述装置包括：

指令接收模块，用于接收灯光控制指令，所述灯光控制指令用于控制真实场景中的真实灯具以及虚拟场景中的虚拟灯具；

画面绘制模块，用于基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，所述同步参数用于从至少一个维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步，所述至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；

画面融合模块，用于基于所述虚拟环境画面以及真实环境画面生成虚实融合画面，所述真实环境画面由摄像机对所述真实环境进行拍摄得到。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的虚实融合画面的生成方法。

另一方面，本申请实施例提供了一种虚实融合画面的生成系统，所述系统包括：灯光控制器、真实灯具、摄像机以及计算机设备；

所述灯光控制器分别与所述真实灯具以及所述计算机设备相连，用于向所述真实灯具以及所述计算机设备发送灯光控制指令；

所述摄像机与所述计算机设备相连，用于向所述计算机设备传输拍摄到的真实环境画面；

所述计算机设备，用于接收所述灯光控制器发送的灯光控制指令；基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，所述同步参数用于从至少一个维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步，所述至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；基于所述虚拟环境画面以及所述摄像机发送的所述真实环境画面生成虚实融合画面。

另一方面，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的虚实融合画面的生成方法。

本申请实施例中，在生成虚实融合画面的过程中，计算机设备接收灯光控制指令后，会根据灯光控制指令以及多个维度的同步参数对虚拟灯光进行控制，使虚拟环境画面中的虚拟灯光与真实环境画面中的真实灯光的投射效果保持同步，能够实现虚拟灯光与真实灯光在多个维度上的效果匹配。再将实现虚拟灯光匹配后的虚拟环境画面与摄像机拍摄到的真实环境画面相融合，生成虚实融合画面，最终生成的虚实融合画面中虚拟灯光与真实灯光具有同步的匹配效果，有助于提升虚实融合画面的画面效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个示例性实施例提供的虚实融合画面的示意图；

图2示出了本申请一个示例性实施例提供的实施环境的示意图；

图3示出了本申请一个示例性实施例提供的虚实融合画面的生成方法的流程图；

图4示出了本申请一个示例性实施例提供的从时间维度进行虚拟灯光投射效果测试的过程的流程图；

图5示出了本申请一个示例性实施例提供的确定时间同步参数的过程的流程图；

图6示出了本申请一个示例性实施例提供的虚拟灯光投射效果测试系统的结构框图；

图7示出了本申请一个示例性实施例提供的投射角度修正前后的对比图；

图8示出了本申请一个示例性实施例提供的从角度维度进行虚拟灯光投射效果测试的过程的流程图；

图9示出了本申请一个示例性实施例提供的获取角度修正系数的过程的流程图；

图10示出了本申请一个示例性实施例提供的从色彩角度进行虚拟灯具投射效果测试的过程的流程图；

图11示出了本申请一个示例性实施例提供的确定色彩变换矩阵的过程的流程图；

图12示出了本申请一个示例性实施例提供的虚实融合画面的生成装置的结构框图；

图13示出了本申请一个示例性实施例提供的计算机设备的结构示意图；

图14示出了本申请一个示例性实施例提供的虚实融合画面的生成系统的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在采用虚幻引擎进行舞台内容制作的过程中，往往是通过实时渲染的方式生成虚拟环境画面，再与摄像机拍摄到的真实环境画面进行叠加。通常情况下，舞台的虚拟环境画面包括虚拟灯光以及虚拟背景，因此，可以将舞台场景的舞台灯光划分为前景层、实景层以及背景层，其中前景层也可以称为AR(Augmented Reality，增强现实)层，能够与虚拟人物产生交互；实景层即为真实存在的灯光，能够与真实人物产生交互；背景层也可以称之为XR(Extend Reality，扩展现实)层，能够与虚拟场景产生交互。其中，前景层与背景层是在绘制虚拟环境画面的过程中得到的，无法通过摄像机捕捉到，实景层是实际存在的真实灯光，可由摄像机拍摄到真实环境画面中。

需要说明的是，本申请实施例所提供的方案不仅能够应用于舞台内容的制作，还能够应用于游戏制作、影视拍摄等相关领域，例如，在AR游戏中，同样可以采用本申请实施例提供的方案构建虚拟环境画面，并与真实环境画面进行融合，且对于部分游戏还可以调整虚拟环境画面中的光影投射效果。本申请仅以舞台场景作为示例性的例子对虚实融合画面的生成方法进行说明，并不对本申请实施例的应用范围造成限定。

需要说明的是，本申请实施例中的虚拟灯具的位置已经在进行本申请实施例中的步骤前与真实灯具进行匹配，即本申请实施例中从多个维度调整虚拟灯光的投射效果，是在已完成虚拟灯具与真实灯具位置匹配的基础之上进行的，本申请实施例对于进行位置匹配的方法不进行限定。

图1示出了本申请一个示例性实施例提供的虚实融合画面的示意图，图中真实人物101与虚拟人物102位于舞台上，真实灯光105与真实人物101进行交互，真实灯光105由真实灯具103投射，位于实景层，能够被摄像机捕捉到。虚拟灯光106与虚拟人物102产生交互，虚拟灯光106由虚拟灯具104投射，位于前景层，无法通过摄像机捕捉到，可以通过计算机设备进行绘制得到。此外，图1中的虚拟背景107位于背景层，同样无法被摄像机捕捉到，是通过计算机设备进行绘制得到的。

通常情况下，舞台虚实融合画面中的真实灯光与虚拟灯光都是由中控台中的灯光控制器控制真实灯具与虚拟灯具进行投射得到的。虚实融合画面由真实环境画面与虚拟环境画面进行叠加得到，其中真实环境画面由摄像机对真实舞台进行拍摄得到，真实环境画面中包含真实人物、真实灯光以及真实的舞台场景。摄像机拍摄真实舞台场景过程中是无法捕捉到虚拟环境画面的，虚拟环境画面是通过计算机设备进行渲染得到的，在渲染过程中同时需要根据真实舞台场景中的参数进行虚拟人物，虚拟灯光以及虚拟背景的设置，以便绘制结束后与真实场景进行叠加。

图2示出了本申请一个示例性实施例提供的实施环境的示意图，该实施环境中包括：舞台场景201、摄像机202、计算机设备203以及灯光控制器204。

其中，舞台场景201包含真实人物2012、真实灯具2011、由真实灯具投射的真实灯光2013以及真实背景2014。在实际的舞台场景中包含多个真实灯具以及多个真实人物，本申请实施例仅以一个真实灯具2011以及一个真实人物2012为例进行说明，不对本申请实施例的应用范围造成限定。此外，在一些场景中，真实背景2014包含幕布或LED(LightEmitting Diode，发光二极管)等背景，或包含真实背景图案，这种情况下，计算机设备响应于用户的控制操作，有选择的绘制虚拟灯光以及虚拟背景。

需要说明的是，在实际应用中，计算机设备响应于用户控制操作绘制相应的虚拟环境画面，可能只对虚拟背景以及虚拟灯光中的一项进行绘制，生成虚拟环境画面，本申请实施例以计算机设备需要同时绘制虚拟背景以及虚拟灯光为例进行说明，并不对本实施例的应用范围造成限定。

其中，计算机设备可以是平板电脑、便携式笔记本等，也可以是台式电脑等，本申请实施例对此不做限定。计算机设备203用于实现虚拟环境画面的绘制以及进行虚拟环境画面与真实环境画面之间的融合，生成虚实融合画面。计算机设备203与灯光控制器204以及摄像机202均建立通信连接，该通信连接可以为有线连接也可以为无线连接，通常情况下以有线连接为主要连接方式，有线连接方式具有更稳定的数据传输通道，用于传输灯光控制指令以及真实环境画面的数据。

计算机设备203接收到灯光控制器204发出的灯光控制指令后，进行虚拟环境画面的绘制，并将虚拟环境画面与真实环境画面相融合，生成虚实融合画面。并对虚实融合画面进行显示，图2中所显示的虚实融合画面可参照图1。

摄像机202用于拍摄舞台场景201中的真实人物2012以及真实灯具2011所投射的真实灯光2013。并将拍摄到的真实环境画面传送至计算机设备203，以备用于生成虚实融合画面。

舞台场景中的真实灯具2011与灯光控制器204通过总线结构建立连接，用于传输灯光控制器204发出的灯光控制指令。

如图2所示，灯光控制器204同时向虚拟灯具以及真实灯具发送灯光控制指令，摄像机202对舞台场景201进行拍摄，并将拍摄到的真实环境画面传输至计算机设备203。同时，计算机设备203接收到灯光控制指令后，根据灯光控制指令以及灯光控制指令中包含的同步参数，控制虚拟灯具的灯光投射效果，以使虚拟灯光与真实灯光保持效果同步，绘制生成虚拟环境画面，再基于虚拟环境画面以及真实环境画面生成虚实融合画面。最后对生成的虚实融合画面进行显示，向用户呈现出该虚实融合画面。

请参考图3，其示出了本申请一个示例性实施例提供的虚实融合画面的生成方法的流程图，该方法包括如下步骤：

步骤301，接收灯光控制指令，灯光控制指令用于控制真实场景中的真实灯具以及虚拟场景中的虚拟灯具。

通常情况下，灯光控制指令是指DMX(Digital MultipleX，数字多路复用)信号，DMX信号能够用于控制支持DMX-512协议的系列灯具，在舞台场景中通常采用这种灯具，其中DMX-512协议是灯光控制器与灯具设备之间通信的标准协议。

可选的，在灯光控制指令中包含用于控制灯光投射角度的投射角度信息、用于控制灯光投射时间的投射时间信息、用于控制不同灯具的标签信息、用于控制灯光色彩的色彩信息以及多个维度的同步参数等多维度的信息。

计算机设备接收到灯光控制指令后，即可对灯光控制指令进行解码，得到多重信息，并完成对虚拟灯具的控制，进而完成虚拟环境画面的绘制。

灯光控制器的灯光控制指令发出后，计算机设备能够接收到用于控制虚拟场景中虚拟灯具的灯光控制指令。用于控制真实灯具的灯光控制指令直接传输至各个真实灯具。在实际的舞台场景中通常包含多个真实灯具与虚拟灯具，且在同一时刻每个灯具的投射角度可能都是不同的，因此，在一种可能的实施方式中，计算机设备接收到多个灯光控制指令后，根据灯光控制指令所携带的对应不同灯具的标签信息，对不同的虚拟灯具执行对应的操作。

步骤302，基于灯光控制指令以及同步参数，绘制得到虚拟环境画面。

其中，同步参数用于从至少一个维度控制虚拟灯具与真实灯具保持灯光投射效果同步，至少一个维度包括时间维度、角度维度与色彩维度中的至少一种。

由于背景层与前景层中都包含有虚拟灯具，因此，用于控制前景层虚拟灯具的同步参数与用于控制背景层虚拟灯具的同步参数会有所不同。可选的，由于背景层与前景层中均包含多个虚拟灯具，因此，每一个虚拟灯具的同步参数均有所不同。

真实灯具与虚拟灯具所投射出的灯光可以从多个维度对其进行描述，例如虚拟灯光的投射时间、投射角度、灯光色彩以及灯光强度等等，因此，在这多个维度上，真实灯光与虚拟灯光均会存在投射效果不一致的现象。灯光控制指令中包含用于控制虚拟灯具各个维度的参数，例如，投射时间参数、投射角度参数以及灯光色彩参数等。因此，需要根据各个维度的同步参数，对灯光控制指令所控制的虚拟灯具进行修正，以使虚拟灯光与真实灯光的投射效果保持同步。

本申请实施例中，计算机设备通过从时间维度、色彩维度以及角度维度中的至少一个维度对虚拟灯光进行修正，以使得虚拟灯光与真实灯光的投射效果保持同步。

其中，从时间维度对虚拟灯光进行修正，主要是对虚拟灯光的起始投射时刻进行修正，使虚拟灯光与真实灯光具有相同的投射时刻；从角度维度对虚拟灯光进行修正，主要是对虚拟灯具的投射角度进行修正，以使虚拟灯光与真实灯光在同一位置处的投射范围保持同步；从色彩维度进行修正，主要是对虚拟灯光的色彩进行修正，以使虚拟灯光与真实灯光的色彩保持同步。

因此计算机设备要同时基于灯光控制指令以及同步参数，绘制虚拟环境画面。

步骤303，基于虚拟环境画面以及真实环境画面生成虚实融合画面，真实环境画面由摄像机对真实环境进行拍摄得到。

在进行虚拟环境画面与真实环境画面融合的过程中，通常需要将虚拟环境画面信息准确定位到真实环境画面中，其次是虚拟摄像机与真实摄像机的参数保持一致，随着真实环境画面的不断变化对其参数进行更新，但是部分参数是保持不变的，例如，摄像机的相对位置等，需要对这一类参数进行标定。最后再进行虚实叠加工作，得到虚实融合画面。

在一种可能的实施方式中，计算机设备采用三维注册技术将虚拟环境画面的信息准确定位到现实环境画面中，再通过标定技术对需要保持不变的参数进行标定，最后再将虚拟环境画面与真实环境画面进行融合，得到虚实融合画面。

本申请实施例中，在生成虚实融合画面的过程中，计算机设备接收灯光控制指令后，会根据灯光控制指令以及多个维度的同步参数对虚拟灯光进行控制，使虚拟环境画面中的虚拟灯光与真实环境画面中的真实灯光的投射效果保持同步，能够实现虚拟灯光与真实灯光在多个维度上的效果匹配。再将实现虚拟灯光匹配后的虚拟环境画面与摄像机拍摄到的真实环境画面相融合，生成虚实融合画面，最终生成的虚实融合画面中虚拟灯光与真实灯光具有同步的匹配效果，有助于提升虚实融合画面的画面效果。

计算机设备接收到灯光控制指令后，会根据灯光控制指令以及用于从时间维度以及角度维度中的至少一种控制虚拟灯具投射效果的第一同步参数，控制虚拟灯具进行虚拟灯光投射。在完成虚拟灯具的修正后，根据修正后的虚拟灯具投射效果，绘制虚拟环境画面。其中，用于控制虚拟灯具进行投射的起始时刻的第一同步参数为时间同步参数；用于控制虚拟灯具投射角度的第一同步参数为角度同步参数。该时间同步参数与角度同步参数均是在进行虚拟灯光投射效果测试时获取的。

一方面，计算机设备可以基于灯光控制指令以及时间同步参数控制虚拟灯具进行灯光投射，通过时间同步参数对虚拟灯具的投射开始时刻进行修正，以使虚拟灯具与真实灯具的起始投射时间保持同步；另一方面，计算机设备可以基于灯光控制指令以及角度同步参数控制虚拟灯具的灯光投射角度，通过角度同步参数对虚拟灯具的灯光投射角度进行修正，以使虚拟灯具与真实灯具的投射范围保持同步。

需要说明的是，若在进行虚拟灯光投射效果测试时，响应于同一时刻发出的灯光控制指令，虚拟灯具与该虚拟灯具对应的真实灯具的开始投射时间保持同步的情况下，用于控制该虚拟灯具的时间同步参数不存在；若在进行虚拟灯光投射效果测试时，响应于具有相同投射参数的灯光控制指令，虚拟灯具与该虚拟灯具对应的真实灯具的投射范围保持同步的情况下，用于控制该虚拟灯具的角度同步参数不存在。

因此，在控制虚拟灯具的时间同步参数不存在的情况下，不需要对该虚拟灯具的开始投射时间进行修正，在控制虚拟灯具的角度同步参数不存在的情况下，不需要对该虚拟灯具的投射角度进行修正。相应的，控制该虚拟灯具的时间同步参数与角度同步参数同时存在的情况下，需要对该虚拟灯具的起始投射时刻以及投射角度同时进行修正。

此外，在真实灯具响应灯光控制指令的指令响应延迟大于虚拟灯具响应灯光控制指令的指令响应延迟的情况下，计算机设备会接收到时间同步参数，时间同步参数包含延迟帧数N；相反的，在真实灯具响应灯光控制指令的指令响应延迟小于虚拟灯具响应灯光控制指令的指令响应延迟的情况下，计算机设备不会收到时间同步参数，而在控制真实灯具的端口上会收到包含延迟帧数N的时间同步参数。其中延迟帧数N是虚拟灯具与真实灯具的延迟帧数的差值，N为正整数。

计算机设备接收到灯光控制指令以及时间同步参数的情况下，会基于时间同步参数创建一个指令队列，该指令队列用于缓存接收到的时间同步参数，指令队列的长度与延迟帧数相同，长度为N。计算机设备从接收到第一帧灯光控制指令开始，将接收到的灯光控制指令依次添加至指令队列中，直至指令队列中的灯光控制指令的数量达到N的情况下，再次接收到一帧灯光控制指令时，提取指令队列头部的一帧灯光控制指令，将最新接收到的一帧灯光控制指令添加至队列尾部，再根据提取出的灯光控制指令控制虚拟灯具进行灯光投射。以使虚拟灯具的指令响应延迟达到变大的效果，实现虚拟灯光与真实灯光开始投射时间保持同步。

例如，在进行虚拟灯光投射效果测试时，得到虚拟灯光的指令响应延迟与真实灯光的指令响应延迟差值为5帧，且真实灯光的指令响应延迟大于虚拟灯光的指令响应延迟。因此，时间同步参数包括延迟帧数5，计算机设备接收到该时间同步参数后，创建一个长度为5的指令队列，从接收到第一帧灯光控制指令开始将接收到的灯光控制指令依次添加至指令队列中。在该指令队列中的灯光控制指令的数量达到5帧的情况下，接收到每一帧新的灯光控制指令的同时，将位于队列头部的灯光控制指令提取出来，并将接收到的最新一帧灯光控制指令添加至队列尾部。再基于提取到的灯光控制指令控制虚拟灯具进行投射，由此完成虚拟灯光开始投射时间的修正，实现虚拟灯光与真实灯光的开始投射时间保持同步。

相应的，在真实灯具的指令响应延迟小于虚拟灯具的指令响应延迟的情况下，在真实灯具的控制端同样可以实行上述步骤，以使真实灯具的指令响应延迟变大，达到虚拟灯光与真实灯光开始投射时间同步的效果。

通过以上步骤对虚拟灯光的开始投射时间进行修正，计算机设备需要获取到时间同步参数所包括的延迟帧数，该延迟帧数需要通过虚拟灯光投射效果测试确定，下面将通过一个示例性实施例对从时间维度进行虚拟灯光投射效果测试的过程进行说明。

请参考图4，其示出了本申请一个示例性实施例提供的从时间维度进行虚拟灯光投射效果测试的过程流程图，该过程包括以下步骤：

步骤401，在接收到第一灯光测试指令的情况下，基于第一灯光测试指令控制虚拟灯具进行灯光投射，并绘制测试虚拟环境画面。

其中，第一灯光测试指令用于控制真实灯具和虚拟灯具进行灯光投射。

进行虚拟灯光投射效果测试时，灯光控制器会同时向真实灯具以及虚拟灯具发送第一灯光测试指令，虚拟灯具与真实灯具都会存在一定的指令响应延迟，真实灯具接收到第一灯光测试指令后进行真实灯光的投射，并通过摄像机对真实灯光的投射时刻进行记录。

计算机设备接收到第一灯光测试指令后，根据第一灯光测试指令控制虚拟灯具进行虚拟灯光的投射，并绘制测试虚拟环境画面，计算机设备通过对计算机设备进行屏幕录制，记录该测试虚拟环境画面。

步骤402，基于测试虚拟环境画面，确定虚拟灯具的第一投射起始时刻。

可以通过屏幕录制的时间确定虚拟灯光的起始投射时刻，并将其确定为第一投射起始时刻。

步骤403，基于摄像机传输的测试真实环境画面，确定真实灯具的第二投射起始时刻。

真实灯具响应于第一灯光测试指令，进行真实灯光投射，通过摄像机采集真实舞台场景的视频，即可记录真实灯光的起始投射时刻并将其确定为第二投射起始时刻。

需要说明的是，用于记录真实灯光起始投射时刻的摄像机与用于生成虚拟环境画面计算机设备需要具备同帧同频的时间码，可在进行虚拟灯光投射效果测试之前通过授时设备为摄像机以及计算机设备赋予相同的时间码。

步骤404，基于第一投射起始时刻和第二投射起始时刻确定延迟帧数。

计算机设备获取到第一投射起始时刻和第二投射起始时刻后，由于摄像机与计算机设备具有相同的时间码，因此，只需要计算第一投射起始时刻与第二投射起始时刻的差值，即可得到真实灯具与虚拟灯具指令响应延迟的差值，即为延迟帧数N。

例如，采用60帧/秒的摄像机记录真实灯光，灯光控制指令对应第一投射起始时刻为第20帧，第二投射起始时刻为第28帧，第一投射起始时刻与第二投射起始时刻的差值对应8个图像帧，延迟帧数即为8。

在一种可能的实施方式中，如图5，示出了本申请一个示例性实施例提供的确定时间同步参数的过程的流程图。首先，为摄像机以及计算机设备接入同帧同频的授时设备，再通过灯光控器向前景层、背景层的虚拟灯具以及实景层的真实灯具发送投射白光的第一灯光测试指令。一方面使用60帧/秒的高速摄像机记录真实环境画面，并将采集到的画面传输至计算机，通过计算机进行分析确定真实灯具接收到第一灯光测试指令后进行起始投射的指令响应延迟帧数。另一方面，计算机接收到控制虚拟灯光的第一灯光测试指令，生成虚拟环境画面，并通过计算机设备搭载的屏幕录制软件，记录接收到第一灯光测试指令后生成的60静帧虚拟环境画面，进而确定虚拟灯具的起始投射的指令响应延迟帧数。最后，计算虚拟灯具与真实灯具的起始投射的指令响应延迟帧数的差值，并将其作为时间同步参数的延迟帧数。

请参考图6，其示出了本申请一个示例性实施例提供的虚拟灯光投射效果测试系统的结构框图。其中，箭头所指方向为数据传输的方向。灯光控制器601发出第一灯光测试指令后，分别传送至前景层的第一虚拟灯具602、背景层的第二虚拟灯具603以及实景层的真实灯具604，三种灯具分别响应第一灯光测试指令进行灯光投射，摄像机605记录真实灯具604投射真实灯光的过程，计算机606中的录屏软件记录第一虚拟灯具602与第二虚拟灯具603投射虚拟灯光的过程，摄像机将记录到的视频帧数据传输至计算机内进行处理分析，可以确定真实灯光的起始投射的指令响应延迟帧数。同样的，计算机对录制的虚拟灯光进行分析，确定虚拟灯光的起始投射的指令响应延迟帧数。进而确定时间同步参数包括的延迟帧数N。其中，背景层、实景层以及前景层中均包含多个灯具，本实施例仅以一个灯具为例对虚拟灯光投射效果测试的过程进行说明，并且，灯光控制器对于不同的灯具发出的第一灯光测试指令也不尽相同。

本申请实施例中，计算机设备通过对进行虚拟灯光投射效果测试确定出时间同步参数所包括的延迟帧数，该延迟帧数是虚拟灯具的第一投射起始时刻以及真实灯具的第二投射起始时刻的差值。得到延迟帧数后，计算机设备基于灯光控制指令以及包含该延迟帧数的时间同步参数，控制虚拟灯光开始进行投射的时间，以使得虚拟灯光与真实灯光的投射起始时刻相同，从时间维度上实现虚拟灯光与真实灯光的投射效果保持同步。

计算机设备基于灯光控制指令以及角度同步参数控制虚拟灯具的灯光投射角度时，虚拟灯具所接收到的角度同步参数中包括一个角度修正参数，该角度修正参数是通过从角度维度进行的虚拟灯光投射效果测试得到的。

灯光控制指令中包含用于控制灯光投射角度的投射角度参数，然而在进行虚拟灯光投射效果测试时，存在灯光控制指令中投射角度参数相同，但虚拟灯具与真实灯具投射范围不同的情况，在生成的虚实融合画面中所呈现的效果不佳。因此，需要利用角度修正系数对虚拟灯具的投射角度进行修正，以使虚拟灯具与真实灯具的投射范围保持同步。例如，虚拟灯具的投射角度的变化是线性的，得到角度修正系数后，将该角度修正系数与灯光控制指令所指示的虚拟灯光投射角度相乘，即可实现对虚拟灯具的投射角度的修正。

计算机设备接收到灯光控制指令以及角度修正系数后，根据角度修正系数对虚拟灯光的灯光投射角度进行修正，能够得到投射修正角度，再基于该投射修正角度控制虚拟灯具进行灯光投射，此时，虚拟灯具的投射范围与真实灯具的投射范围保持同步。请参考图7，其示出了本申请一个示例性实施例提供的投射角度修正前后的对比图，图中，修正前为进行虚拟灯光投射效果测试时，虚实融合画面中目标位置处的第一虚拟灯光703(虚线范围)与第一真实灯光702(实线范围)的投射效果，虚拟灯具701投射的第一虚拟灯光703的范围与真实灯具投射的第一真实灯光702的范围大小不一致，进行修正后，虚实融合画面中，虚拟灯具701投射的第一虚拟灯光703范围与真实灯具所投射的第一真实灯光702的范围能够保持同步。

进行虚拟灯光的投射角度修正的过程，是计算机设备根据虚拟灯光投射效果测试得到的角度修正系数完成的，下面将通过一个示例性实施例对计算机设备从角度维度进行虚拟灯光投射效果测试的过程进行说明。

请参考图8，其示出了本申请一个示例性实施例提供的从角度维度进行虚拟灯光投射效果测试的过程流程图，该过程包括以下步骤：

步骤801，在接收到第二灯光测试指令的情况下，基于第二灯光测试指令控制虚拟灯具进行灯光投射，并绘制测试虚拟环境画面。

第二灯光测试指令用于控制真实灯具和虚拟灯具按照第一投射角度进行灯光投射。

灯光控制器分别向前景层、背景层中的虚拟灯具以及实景层中的真实灯具发送第二灯光测试指令。

计算机设备接收到第二灯光测试指令后，根据第二灯光测试指令生成测试虚拟环境画面。该测试虚拟环境画面中的虚拟灯具的投射角度与该第二灯光测试指令所指示的第一投射角度一致。

步骤802，基于摄像机传输的测试真实环境画面，确定真实灯具在真实环境中第一目标位置处的第一投射范围。

真实灯具接收到第二灯光测试指令后，投射真实灯光至第一目标位置，该第一目标位置是人为设定的。通过摄像机记录真实灯光的投射过程，并从记录的测试真实环境画面中确定真实灯具在真实环境中第一目标位置处的第一投射范围。

步骤803，基于测试虚拟环境画面，确定虚拟灯具在虚拟环境中第二目标位置处的第二投射范围，第二目标位置与第一目标位置对应。

虚拟灯光接收到的第二灯光测试指令后，其投射的虚拟灯光位于测试虚拟环境画面中与第一目标位置相对应的第二目标位置。

计算机设备生成测试虚拟环境画面后，计算机设备根据测试虚拟环境画面确定虚拟灯光在第二目标位置上的投射范围。

步骤804，在第一投射范围与第二投射范围不相同的情况下，在第一投射角度的基础上调整虚拟灯具的投射角度。

在第一投射范围与第二投射范围相同的情况下，则虚拟灯具在第二目标位置与真实灯具在第一目标位置的投射范围已保持同步，在这种情况下，该角度修正系数不存在。

在第一投射范围与第二投射范围不相同的情况下，需要在虚拟灯具原本第一虚拟角度的基础上，不断调整虚拟灯具的投射角度，直至虚拟灯具在第二目标位置处的投射范围与真实灯具在第一目标位置处的第一投射范围同步。

步骤805，在调整后第二投射范围与第一投射范围相同的情况下，将虚拟灯具的当前投射角度确定为第二投射角度。

在调整后的第二投射范围与第一投射范围相同后，获取调整后的虚拟灯具的投射角度，并将其确定为第二投射角度。

步骤806，将第一投射角度与第二投射角度确定为一组投射角度数据。

将第二灯光测试指令所指示的第一投射角度与调整后的第二投射角度确定为一组投射角度数据。

改变第一目标位置，相应的第二目标位置也发生变化，此时重新发送第二灯光测试指令，该第二灯光测试指令所指示的第一投射角度也发生变化，该第一投射角度能够使真实灯光投射到改变后的第一目标位置，真实灯光投射范围也发生改变。此时，重新调整虚拟灯光的投射角度，使虚拟灯光的投射范围与改变后的真实灯光投射范围相一致，能够重新获取到一组投射角度数据。

多次执行上述步骤，能够得到多组投射角度数据。

步骤807，基于至少一组投射角度数据进行拟合运算，得到角度修正系数。

计算机设备获取到多组投射角度数据后能够根据至少一组投射角度数据进行拟合运算，得到角度修正系数，该拟合运算可以采用多项式拟合或最小二乘法等运算方式，本实施例对此不做限定。

其中，该角度修正系数具有普适性，能够适用于一组真实灯具与虚拟灯具的任意投射角度。

需要说明的是，虚拟灯具往往与真实灯具相对应，即一个虚拟灯具与一个真实灯具相对应，或者，一组虚拟灯具与一组真实灯具相对应，因此，利用一个角度修正系数对虚拟灯具的投射角度进行修正，能够使对应的一组虚拟灯具与真实灯具的投射范围保持同步。

在一种可能的实施方式中，请参考图9，其示出了本申请一个示例性实施例提供的获取角度修正系数的过程的流程图。首先，在真实环境中的第一目标位置放置带有直径刻度的受光板。同时在虚拟环境中的第二目标位置放置带有同样直径刻度的受光板。然后通过灯光控制器向虚拟灯具以及真实灯具分别发送具有同样投射角度的第二灯光测试指令，真实灯光与虚拟灯光均投射灯光至对应的受光板。通过受光板上的直径刻度，能够读取真实灯光与虚拟灯光的投射范围。在真实灯光与虚拟灯光的投射范围相同的情况下，则得到的这组投射角度数据中的两个数值相同。在真实灯光与虚拟灯光的投射范围不相同的情况下，更改虚拟灯具的投射角度，直至真实灯光与虚拟灯光的投射范围一致。并获取一组投射角度数据。重复进行上述操作后能够得到多组投射角度数据，根据多组投射角度数据进行拟合运算，最终得到角度修正系数。

在另一种可能的实施方式中，可以利用固定摄像头拍摄真实环境画面，计算机设备对真实环境画面的图像进行分析，确定真实灯具的投射范围，同时，确定虚拟灯具的投射范围，通过对真实灯光的投射范围以及虚拟灯光的投射范围的形状、面积进行分析，先初步确定虚拟灯具投射角度的调整方向以及调整步长，进行相应的调整后，再对虚拟灯具的投射范围以及虚拟灯具的投射范围进行分析，逐步确定调整方向与调整步长，经过多次调整后使虚拟灯具的投射范围与虚拟灯光的投射范围一致，再通过该投射范围，计算调整后的虚拟灯光的投射角度。进而确定投射角度数据，采用上述方式，避免了手动更改受光板的位置以及通过受光板确定投射范围，能够自动化的实现虚拟灯具与真实灯具投射范围的同步。

本申请实施例中，通过调整虚拟灯具的投射角度，使虚拟灯具在第二目标位置的第二投射范围与测试真实环境画面中真实灯具在第一目标位置处的第一投射范围保持同步，并将投射范围保持同步后的第二投射角度与第二灯光测试指令所包含的第一投射角度作为一组角度分析数据，基于多组数据进行拟合运算，能够使得到的角度修正系数具有普适性，能够适用于灯光控制指令所指示的各种投射角度。再根据灯光控制指令以及角度修正系数对虚拟灯具的投射角度进行修正，能够使虚拟灯光与真实灯光的投射范围保持同步，使得生成的虚实融合画面呈现更好的效果。

计算机设备接收到灯光控制指令后，会控制虚拟灯具投射虚拟灯光，并且根据虚拟灯光的投射效果绘制出虚拟环境画面。

可选的，虚拟灯具接收到灯光控制会指令后，基于时间同步参数控制虚拟灯具投射虚拟灯光，再根据虚拟灯光的投射效果绘制虚拟环境画面。

可选的，虚拟灯具接收到灯光控制会指令后，基于角度同步参数控制虚拟灯具投射虚拟灯光，再根据虚拟灯光的投射效果绘制虚拟环境画面。

可选的，虚拟灯具接收到灯光控制指令后，基于时间同步参数以及角度同步参数控制虚拟灯具投射虚拟灯光，再根据虚拟灯光的投射效果绘制虚拟环境画面。

由于虚拟灯光是通过实时渲染得到的，因此，即便控制虚拟灯具与真实灯具的灯光控制指令所指示的灯光色彩相同，也可能存在渲染出的虚拟灯光与真实灯光色彩不同步的情况，因此，需要对绘制后的虚拟环境画面进行处理，以使得处理后的虚拟灯具与真实灯具保持灯光的色彩同步。

在绘制出虚拟环境画面后，计算机设备会根据接收到的第二同步参数对该虚拟环境画面进行处理，得到处理后的虚拟环境画面，其中第二同步参数用于从色彩维度控制虚拟灯具与真实灯具保持灯光投射效果同步。

第一同步参数和第二同步参数可以同时存在，也可能只存在其中之一，第二同步参数是否存在取决于进行虚拟灯光投射效果测试时，灯光控制器发送投射红、绿、蓝、白四种纯色的第三灯光测试指令的情况下，虚拟灯具与真实灯具的四种纯色灯光是否均保持色彩一致。在四种色彩的虚拟灯光均与对应的四种真实灯光的色彩保持一致的情况下，该第二同步参数不存在。

在进行虚拟灯光投射效果测试的过程中，若虚拟灯光响应于发出的四种纯色灯光控制指令，所投射的虚拟灯光的灯光色彩与真实灯光所投射的真实灯光色彩不一致的情况下，需要基于色彩变换矩阵对虚拟环境画面进行色彩变换处理，以使得到的处理后虚拟环境画面与真实环境画面中真实灯光的颜色一致。其中色彩转换矩阵用于对像素点进行色彩变换，是在虚拟灯具投射效果测试过程中得到的。

下面将通过一个示例性实施例对从色彩角度进行虚拟灯具投射效果测试的过程进行说明。

请参考图10，其示出了本申请一个示例性实施例提供的从色彩角度进行虚拟灯具投射效果测试的过程的流程图，该过程包括以下步骤：

步骤1001，在接收到第三灯光测试指令的情况下，基于第三灯光测试指令控制虚拟灯具进行灯光投射，并绘制测试虚拟环境画面。

计算机设备接收到第三灯光测试指令后，会根据第三灯光测试指令控制虚拟灯具投射相应的虚拟灯光，并根据虚拟灯光的投射效果绘制测试虚拟环境画面。

由于RGB色彩模式中几乎包含人类视力能感知的所有颜色，是运用最广的颜色系统之一，在RGB颜色标准中，是通过对红、绿、蓝三个颜色通道的变化以及他们之间的互相叠加得到的各种各样的颜色。而原色通道通常可以采用白来表示颜色色光的发光强度。

计算机在还原人类所感知到的颜色时，需要借助于颜色通道，RGB代表了基本的R通道、G通道与B通道，任意的彩色图像都可以用一个三维矩阵进行表示，三维矩阵中的一个参数用于表示这三种基本通道，例如，虚拟环境画面中的色彩通过P(400，300，3)这个三维矩阵表示，其中，400与300分别表示像素的空间信息，而矩阵中的参数3则是表示三种基本颜色的通道，即为原色通道。RGB色彩模式中的图像包括三个原色通道以及一个由三种原色混合得到的混合颜色的彩色通道。混合颜色中，某种原色含量越多，这种原色的亮度也越高，例如三种原色的亮度级别均为最高，则其混合颜色就为白色，因此，可以采用白色表示颜色的发光强度，有利于辨别色光的强度。

因此，本申请实施例分别采用红、绿、蓝、白四种纯色灯光进行虚拟灯光与真实灯光的色彩匹配。第三灯光测试指令用于控制真实灯具和虚拟灯具投射原色灯光。

计算机设备根据接收到的分别包含四种纯色的第三灯光测试指令，控制虚拟灯具进行投射，绘制得到四帧测试虚拟环境画面。

步骤1002，确定测试虚拟环境画面中虚拟灯光的第一灯光色彩。

计算机设备绘制四帧测试虚拟环境画面后，能够获取到虚拟灯具的投射区域的虚拟灯光色彩，将其确定为第一灯光色彩。

步骤1003，确定摄像机传输的测试真实环境画面中真实灯光的第二灯光色彩。

真实灯具同样会接收到分别包含四种纯色的第三灯光测试指令，真实灯光响应于第三灯光测试指令投射真实灯光，可以通过摄像机记录测试真实环境画面，并将测试真实环境画面传输至计算机进行色彩分析。

计算机从接收到的分别记录四种纯色灯光的测试真实环境画面中各自提取一个静帧的画面，并确定出四种纯色的真实灯光的第二灯光色彩。

步骤1004，基于第一灯光色彩和第二灯光色彩，确定色彩变换矩阵。

计算机获取到第一灯光色彩以及第二灯光色彩后，计算对应于同一纯色灯光的第一灯光色彩以及第二灯光色彩的差值。等够得到虚拟灯光与真实灯光在不同颜色通道的颜色差异，该颜色差异可以通过线性维数或通道加权等方式计算，得到第一灯光色彩与第二灯光色彩间的色彩差异，并确定出色彩变换矩阵。

在一种可能的实施方式中，请参考图11，其示出了本申请一个示例性实施例提供的确定色彩变换矩阵的过程的流程图。首先，灯光控制器通过DMX信号控制虚拟灯光和真实灯光投射红、绿、蓝、白的纯色灯光，一方面通过摄像机记录真实环境画面并将该数据传送计算机设备，另一方面，计算机设备生成虚拟环境画面。再将不同画面中的虚拟灯光与真实灯光分别转换至RGB色彩模式，并计算虚拟灯光色彩与真实灯光色彩的差别，得到一个初步的色彩转换矩阵。计算机设备会重复上述步骤进行多次计算，确定色彩转换矩阵，并将该色彩转换矩阵用于对相同类型的虚拟灯具进行色彩修正，并验证虚拟灯光的修正结果，判断虚拟环境画面中的第一灯光色彩与真实环境画面中的第二灯光色彩是否一致，若一致则该色彩转换矩阵可于实际应用中实现虚拟灯光的色彩修正。

本申请实施例中，计算机设备接收第三灯光测试指令后，对真实环境画面中真实灯光的第二灯光色彩以及虚拟环境画面中虚拟灯光的第一灯光色彩进行对比分析，确定色彩变换矩阵，通过四种纯色灯光确定的色彩变换矩阵，能够适用于对各种颜色的虚拟灯光的色彩修正，再根据该颜色变换矩阵对虚拟环境画面进行处理，使虚拟灯光与真实灯光在色彩维度上投射效果保持同步。

需要说明的是，本申请实施例中的虚拟环境画面是包括前景虚拟环境画面以及背景虚拟环境画面。虚实融合画面是由虚拟环境画面以及真实环境画面进行画面合成得到的，具体的，虚实融合画面是基于前景虚拟环境画面、背景虚拟环境画面以及真实环境画面进行画面合成得到的。

前景虚拟环境画面与背景虚拟环境画面中均包含虚拟灯光，除虚拟灯光外，前景虚拟环境画面以及背景虚拟环境画面中可能还包括虚拟人物、虚拟物体等，真实环境画面除包含实景层的真实灯光外，还包括真实人物以及真实物体等。真实环境画面是由摄像机拍摄得到的，前景虚拟环境画面以及背景虚拟环境画面都是由计算机进行绘制得到的。

需要说明的是，前景层、实景层以及背景层的概念是针对舞台场景中的舞台灯光设定的，用于区分不同类型的舞台灯光。而前景虚拟环境画面、背景虚拟环境画面以及真实场景画面是针对舞台场景而设定的，用于区分生成虚实融合界面的不同界面层级。

对于将虚拟环境画面以及真实环境画面进行融合，可以通过虚实融合技术实现，生成虚实融合画面，本申请实施例在此不做赘述。

请参考图12，其示出了本申请一个示例性实施例提供的虚实融合画面的生成装置的结构框图，该装置包括：

指令接收模块1201，用于接收灯光控制指令，所述灯光控制指令用于控制真实场景中的真实灯具以及虚拟场景中的虚拟灯具；

画面绘制模块1202，用于基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，所述同步参数用于从至少一个维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步，所述至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；

画面融合模块1203，用于基于所述虚拟环境画面以及真实环境画面生成虚实融合画面，所述真实环境画面由摄像机对所述真实环境进行拍摄得到。

可选的，所述画面绘制模块1202，包括：

控制单元，用于基于所述灯光控制指令以及第一同步参数，控制所述虚拟灯具进行灯光投射，所述第一同步参数用于从所述时间维度和/或所述角度维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步；

绘制单元，用于基于所述虚拟灯具的灯光投射效果绘制得到所述虚拟环境画面。

可选的，所述控制单元，用于：

基于所述灯光控制指令以及时间同步参数，控制所述虚拟灯具进行灯光投射，所述时间同步参数用于控制所述虚拟灯具的投射起始时刻，以使所述虚拟灯具与所述真实灯具的投射时间保持同步；

和/或，

基于所述灯光控制指令以及角度同步参数，控制所述虚拟灯具进行灯光投射，所述角度同步参数用于控制所述虚拟灯具的投射角度，以使所述虚拟灯具与所述真实灯具的投射范围保持同步。

可选的，在所述真实灯具的指令响应延迟大于所述虚拟灯具的指令响应延迟的情况下，所述时间同步参数包括延迟帧数N，N为正整数；

所述控制单元，用于：

基于所述时间同步参数创建指令队列，所述指令队列的长度为N；

在所述指令队列中缓存的所述灯光控制指令的数量达到N的情况下，提取位于队列头部的所述灯光控制指令，并将接收到的所述灯光控制指令添加至队列尾部；

基于提取到的所述灯光控制指令控制所述虚拟灯具进行灯光投射。

可选的，所述装置还包括：

第一测试画面绘制模块，用于在接收到第一灯光测试指令的情况下，基于所述第一灯光测试指令控制所述虚拟灯具进行灯光投射，并绘制测试虚拟环境画面，所述第一灯光测试指令用于控制所述真实灯具和所述虚拟灯具进行灯光投射；

第一时刻确定模块，用于基于所述测试虚拟环境画面，确定所述虚拟灯具的第一投射起始时刻；

第二时刻确定模块，用于基于所述摄像机传输的测试真实环境画面，确定所述真实灯具的第二投射起始时刻；

延迟帧数确定模块，用于基于所述第一投射起始时刻和所述第二投射起始时刻确定所述延迟帧数。

可选的，所述角度同步参数包括角度修正系数；

所述控制单元，用于：

在接收所述灯光控制指令的情况下，基于所述角度修正系数，对所述灯光控制指令中包含的投射角度进行修正，得到投射修正角度；

基于所述投射修正角度控制所述虚拟灯具进行灯光投射。

可选的，所述装置还包括：

第二测试画面绘制模块，用于在接收到第二灯光测试指令的情况下，基于所述第二灯光测试指令控制所述虚拟灯具进行灯光投射，并绘制测试虚拟环境画面，所述第二灯光测试指令用于控制所述真实灯具和所述虚拟灯具按照第一投射角度进行灯光投射；

第一范围确定模块，用于基于所述摄像机传输的测试真实环境画面，确定所述真实灯具在所述真实环境中第一目标位置处的第一投射范围；

第二范围确定模块，用于基于所述测试虚拟环境画面，确定所述虚拟灯具在所述虚拟环境中第二目标位置处的第二投射范围，所述第二目标位置与所述第一目标位置对应；

角度调整模块，用于在所述第一投射范围与所述第二投射范围不相同的情况下，在所述第一投射角度的基础上调整所述虚拟灯具的投射角度；

角度确定模块，用于在调整后所述第二投射范围与所述第一投射范围相同的情况下，将所述虚拟灯具的当前投射角度确定为第二投射角度；

投射角度数据确定模块，用于将所述第一投射角度与所述第二投射角度确定为一组投射角度数据；

拟合模块，用于基于至少一组所述投射角度数据进行拟合运算，得到所述角度修正系数。

可选的，所述画面绘制模块1202，用于：

基于所述灯光控制指令，控制所述虚拟灯具进行灯光投射；

基于所述虚拟灯具的灯光投射效果绘制得到所述虚拟环境画面；

基于第二同步参数对所述虚拟环境画面处理，得到处理后的所述虚拟环境画面，所述第二同步参数用于从所述色彩维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步。

可选的，所述第二同步参数包括色彩变换矩阵；

所述画面绘制模块1202，用于：

基于所述色彩变换矩阵对所述虚拟环境画面进行色彩变换处理，得到处理后的所述虚拟环境画面，所述色彩变换矩阵用于对像素点进行色彩变换，以使所述虚拟环境画面与所述真实环境画面中的灯光颜色一致。

可选的，所述装置还包括：

第三测试画面绘制模块，用于在接收到第三灯光测试指令的情况下，基于所述第三灯光测试指令控制所述虚拟灯具进行灯光投射，并绘制测试虚拟环境画面，所述第三灯光测试指令用于控制所述真实灯具和所述虚拟灯具投射原色灯光；

第一色彩确定模块，用于确定所述测试虚拟环境画面中所述虚拟灯光的第一灯光色彩；

第二色彩确定模块，用于确定所述摄像机传输的测试真实环境画面中所述真实灯光的第二灯光色彩；

变换矩阵确定模块，用于基于所述第一灯光色彩和所述第二灯光色彩，确定所述色彩变换矩阵。

可选的，所述虚拟环境画面包括前景虚拟环境画面和背景虚拟环境画面；

所述画面融合模块1203，用于基于所述前景虚拟环境画面、所述背景虚拟环境画面以及所述真实环境画面的显示层级进行画面合成，得到所述虚实融合画面。

需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。

请参考图13，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1300包括中央处理单元(Central Processing Unit，CPU)1301、包括随机存取存储器1302和只读存储器1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。

在一些实施例中，所述基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中所述显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。所述基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读介质为计算机设备1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-Only Memory，CD-ROM)、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。

存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1301执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1301执行该一个或多个程序实现上述各个方法实施例提供的方法。

根据本申请的各种实施例，所述计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1311接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。

本申请实施例还提供了一种虚实融合画面的生成系统，请参考图14，其示出了本申请一个示例性实施例提供的虚实融合画面的生成系统的结构示意图，图中箭头所指方向为数据传输方向。该系统包括：灯光控制器1401、真实灯具1402、摄像机1403以及计算机设备1404。

灯光控制器1401分别与真实灯具1402以及计算机设备1404相连，用于向真实灯具1402以及计算机设备1404发送灯光控制指令。

摄像机1403与计算机设备1404相连，用于向计算机设备1404传输拍摄到的真实环境画面；

计算机设备1404，用于接收灯光控制器1401发送的灯光控制指令；基于灯光控制指令以及同步参数，绘制得到虚拟环境画面，同步参数用于从至少一个维度控制虚拟灯具与真实灯具保持灯光投射效果同步，至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；基于虚拟环境画面以及摄像机发送的真实环境画面生成虚实融合画面。

本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述任一实施例所述的虚实融合画面的生成方法。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的虚实融合画面的生成方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入计算机设备中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一方法实施例所述的虚实融合画面的生成方法。

可选地，该计算机可读存储介质可以包括：ROM、RAM、固态硬盘(Solid StateDrives，SSD)或光盘等。其中，RAM可以包括电阻式随机存取记忆体(Resistance RandomAccess Memory，ReRAM)和动态随机存取存储器(Dynamic Random Access Memory，DRAM)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。且本文中提及的“第一”、“第二”等用于区别类似对象，而并不用于限定特定的顺序或先后次序。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。

以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种虚实融合画面的生成方法，其特征在于，所述方法包括：

接收灯光控制指令，所述灯光控制指令用于控制真实场景中的真实灯具以及虚拟场景中的虚拟灯具；

基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，所述同步参数用于从至少一个维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步，所述至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；

基于所述虚拟环境画面以及真实环境画面生成虚实融合画面，所述真实环境画面由摄像机对所述真实环境进行拍摄得到。

2.根据权利要求1所述的方法，其特征在于，所述基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，包括：

基于所述灯光控制指令以及第一同步参数，控制所述虚拟灯具进行灯光投射，所述第一同步参数用于从所述时间维度和/或所述角度维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步；

基于所述虚拟灯具的灯光投射效果绘制得到所述虚拟环境画面。

3.根据权利要求2所述的方法，其特征在于，所述基于所述灯光控制指令以及第一同步参数，控制所述虚拟灯具进行灯光投射，包括：

基于所述灯光控制指令以及时间同步参数，控制所述虚拟灯具进行灯光投射，所述时间同步参数用于控制所述虚拟灯具的投射起始时刻，以使所述虚拟灯具与所述真实灯具的投射时间保持同步；

和/或，

基于所述灯光控制指令以及角度同步参数，控制所述虚拟灯具进行灯光投射，所述角度同步参数用于控制所述虚拟灯具的投射角度，以使所述虚拟灯具与所述真实灯具的投射范围保持同步。

4.根据权利要求3所述的方法，其特征在于，在所述真实灯具的指令响应延迟大于所述虚拟灯具的指令响应延迟的情况下，所述时间同步参数包括延迟帧数N，N为正整数；

所述基于所述灯光控制指令以及时间同步参数，控制所述虚拟灯具进行灯光投射，包括：

基于所述时间同步参数创建指令队列，所述指令队列的长度为N；

在所述指令队列中缓存的所述灯光控制指令的数量达到N的情况下，提取位于队列头部的所述灯光控制指令，并将接收到的所述灯光控制指令添加至队列尾部；

基于提取到的所述灯光控制指令控制所述虚拟灯具进行灯光投射。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在接收到第一灯光测试指令的情况下，基于所述第一灯光测试指令控制所述虚拟灯具进行灯光投射，并绘制测试虚拟环境画面，所述第一灯光测试指令用于控制所述真实灯具和所述虚拟灯具进行灯光投射；

基于所述测试虚拟环境画面，确定所述虚拟灯具的第一投射起始时刻；

基于所述摄像机传输的测试真实环境画面，确定所述真实灯具的第二投射起始时刻；

基于所述第一投射起始时刻和所述第二投射起始时刻确定所述延迟帧数。

6.根据权利要求3所述的方法，其特征在于，所述角度同步参数包括角度修正系数；

所述基于所述灯光控制指令以及角度同步参数，控制所述虚拟灯具进行灯光投射，包括：

在接收所述灯光控制指令的情况下，基于所述角度修正系数，对所述灯光控制指令中包含的投射角度进行修正，得到投射修正角度；

基于所述投射修正角度控制所述虚拟灯具进行灯光投射。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在接收到第二灯光测试指令的情况下，基于所述第二灯光测试指令控制所述虚拟灯具进行灯光投射，并绘制测试虚拟环境画面，所述第二灯光测试指令用于控制所述真实灯具和所述虚拟灯具按照第一投射角度进行灯光投射；

基于所述摄像机传输的测试真实环境画面，确定所述真实灯具在所述真实环境中第一目标位置处的第一投射范围；

基于所述测试虚拟环境画面，确定所述虚拟灯具在所述虚拟环境中第二目标位置处的第二投射范围，所述第二目标位置与所述第一目标位置对应；

在所述第一投射范围与所述第二投射范围不相同的情况下，在所述第一投射角度的基础上调整所述虚拟灯具的投射角度；

在调整后所述第二投射范围与所述第一投射范围相同的情况下，将所述虚拟灯具的当前投射角度确定为第二投射角度；

将所述第一投射角度与所述第二投射角度确定为一组投射角度数据；

基于至少一组所述投射角度数据进行拟合运算，得到所述角度修正系数。

8.根据权利要求1所述的方法，其特征在于，所述基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，包括：

基于所述灯光控制指令，控制所述虚拟灯具进行灯光投射；

基于所述虚拟灯具的灯光投射效果绘制得到所述虚拟环境画面；

基于第二同步参数对所述虚拟环境画面处理，得到处理后的所述虚拟环境画面，所述第二同步参数用于从所述色彩维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步。

9.根据权利要求8所述的方法，其特征在于，所述第二同步参数包括色彩变换矩阵；

所述基于第二同步参数对所述虚拟环境画面处理，得到处理后的所述虚拟环境画面，包括：

基于所述色彩变换矩阵对所述虚拟环境画面进行色彩变换处理，得到处理后的所述虚拟环境画面，所述色彩变换矩阵用于对像素点进行色彩变换，以使所述虚拟环境画面与所述真实环境画面中的灯光颜色一致。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

在接收到第三灯光测试指令的情况下，基于所述第三灯光测试指令控制所述虚拟灯具进行灯光投射，并绘制测试虚拟环境画面，所述第三灯光测试指令用于控制所述真实灯具和所述虚拟灯具投射原色灯光；

确定所述测试虚拟环境画面中所述虚拟灯光的第一灯光色彩；

确定所述摄像机传输的测试真实环境画面中所述真实灯光的第二灯光色彩；

基于所述第一灯光色彩和所述第二灯光色彩，确定所述色彩变换矩阵。

11.根据权利要求1至10任一所述的方法，其特征在于，所述虚拟环境画面包括前景虚拟环境画面和背景虚拟环境画面；

所述基于所述虚拟环境画面以及真实环境画面生成虚实融合画面，包括：

基于所述前景虚拟环境画面、所述背景虚拟环境画面以及所述真实环境画面的显示层级进行画面合成，得到所述虚实融合画面。

12.一种虚实融合画面的生成装置，其特征在于，所述装置包括：

指令接收模块，用于接收灯光控制指令，所述灯光控制指令用于控制真实场景中的真实灯具以及虚拟场景中的虚拟灯具；

画面绘制模块，用于基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，所述同步参数用于从至少一个维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步，所述至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；

画面融合模块，用于基于所述虚拟环境画面以及真实环境画面生成虚实融合画面，所述真实环境画面由摄像机对所述真实环境进行拍摄得到。

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至11任一所述的虚实融合画面的生成方法。

14.一种虚实融合画面的生成系统，其特征在于，所述系统包括：灯光控制器、真实灯具、摄像机以及计算机设备；

所述灯光控制器分别与所述真实灯具以及所述计算机设备相连，用于向所述真实灯具以及所述计算机设备发送灯光控制指令；

所述摄像机与所述计算机设备相连，用于向所述计算机设备传输拍摄到的真实环境画面；

所述计算机设备，用于接收所述灯光控制器发送的灯光控制指令；基于所述灯光控制指令以及同步参数，绘制得到虚拟环境画面，所述同步参数用于从至少一个维度控制所述虚拟灯具与所述真实灯具保持灯光投射效果同步，所述至少一个维度包括时间维度、角度维度与色彩维度中的至少一种；基于所述虚拟环境画面以及所述摄像机发送的所述真实环境画面生成虚实融合画面。

15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至11任一所述的虚实融合画面的生成方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令以实现如权利要求1至11任一所述的虚实融合画面的生成方法。