CN114913310B - 一种led虚拟场景灯光控制方法 - Google Patents

Abstract

本申请提供一种LED虚拟场景灯光控制方法，包括：提取LED虚拟场景照明元素的种类和发散方向；使用演员情绪分析LED虚拟场景的灯光效果；根据摄影机画面调整灯光效果，所述根据摄影机画面调整灯光效果，具体包括：判断摄像机与LED虚拟场景物体的距离，确定摄像机位置自动调整光照素材位置和光照强度；使用RBM网络选取照明方案；判断LED虚拟灯光与演员情绪的匹配度，具体包括：获取拍摄剧本灯光的色温、色彩；在LED虚拟屏幕中进行人机交互，所述在LED虚拟屏幕中进行人机交互，具体包括：在地面LED屏幕安置传感器完成简单互动，使用动作捕捉技术完成演员对LED虚拟场景的灯光控制。通过分析室内音乐和人员的剧本和演员情绪，改变和调节灯光，适应情绪。

Description

一种LED虚拟场景灯光控制方法

【技术领域】本发明涉及信息技术领域，尤其涉及一种LED虚拟场景灯光控制方法。

【背景技术】

场景灯光能够表达一定的情绪和感情色彩，不同的灯光效果，对渲染情绪和情感有着非常重要的作用。尤其是舞台剧或者电影拍摄中，灯光的设计更为重要。在真实场景的拍摄中，往往灯光控制都是编导等任务设定，灯光情绪的控制也经常需要人为去推敲设计，非常麻烦，耗费精力和时间。而有一种LED虚拟舞台灯光场景，是人们通过将场景通过高密度和真实度的LED屏幕进行显示。通过将多个屏幕多角度一起显示场景，使演员置身其中后，拍摄场景。让观众以为他们是在真实场景中的场景，实际上是虚拟的LED显示屏提供的场景。这样的场景提供有一个便利的点是，灯光的控制可以是通过LED虚拟舞台来控制的。但是什么样的场景需要用什么样的舞台背景，什么样的情绪，要在舞台上控制不同的灯光，什么样的音乐配合什么样的灯光和情绪渲染，都是未解决的问题。尤其是，拍摄的位置对灯光也有影响。不能适应所有的情绪灯光，因此在情绪灯光调节不合适时，如何调整拍摄位置，或者调整情绪灯光也是一个问题。

【发明内容】

本发明提供了一种LED虚拟场景灯光控制方法，主要包括：

提取LED虚拟场景照明元素的种类和发散方向；使用演员情绪分析LED虚拟场景的灯光效果；根据摄影机画面调整灯光效果；使用RBM网络选取照明方案；判断LED虚拟灯光与演员情绪的匹配度；在LED虚拟屏幕中进行人机交互；

进一步可选地，所述提取LED虚拟场景照明元素的种类和发散方向包括：

获取章节剧本输入LSTM网络作为训练集，以章节剧本中的照明元素为特征集对LSTM进行训练；将章节剧本输入经训练的LSTM网络，通过关键词提取获得章节剧本场景的时间、地点、时区、天气，对场景进行分类；使用关键词提取获得章节剧本场景的照明元素，获取照明元素在剧本场景中的位置和种类，通过照明元素的种类和位置确定照明元素发散方向和光照强度；场景分为：室内场景和室外场景，照明元素包括室外场景的照明天体和室内场景的照明物品，通过室外场景的时间、地点、时区和天气计算出照明天体的发散方向和光照强度，根据天气计算出天光强度；通过确定照明物品的种类，通过对比真实照度参照表，确定该种类的照明物品的光照强度，并根据照明物品的位置和种类确定光线发散方向。

进一步可选地，所述使用演员情绪分析LED虚拟场景的灯光效果包括：

将摄影机拍摄实景的演员表情输入深度卷积神经网络，以演员表情为特征集进行训练，得到经训练的深度卷积神经网络；将摄像机拍摄LED虚拟场景的演员表情输入经训练的深度卷积神经网络，输出演员的情绪分类；将实景拍摄的演员表情和LED虚拟拍摄的演员表情输入孪生神经网络，提取出演员表情的脸部特征进行比对，以0到1之间的一个实数来度量脸部特征相似度，相似度高，则LED虚拟场景灯光效果好。

进一步可选地，所述根据摄影机画面调整灯光效果包括：

在UE4引擎中搭建虚拟剧本场景，将剧本场景投影到LED屏幕，使用装有定位系统的摄像机拍摄虚拟场景的图像；使用UE4引擎中的虚拟摄像机，在UE4中搭建的虚拟场景的相同位置进行拍摄；对摄像机在LED虚拟场景拍摄的图像和虚拟摄像机在UE4虚拟场景拍摄的图像以图像灰度值为特征进行分割，对分割后的图像的灰度均值进行对比，以0到1之间的实数值衡量分割后图像灰度值的相似度，相似度低，调整照射范围和光照强度直到和相似度达到预设的阈值；包括：判断摄像机与LED虚拟场景物体的距离；确定摄像机位置自动调整光照素材位置和光照强度；

所述判断摄像机与LED虚拟场景物体的距离，具体包括：

在LED屏幕布置区域地板上布置多个标记点，在摄像机上放置定位传感器，根据定位传感器相对于标记点的位移，定位摄像机在LED屏幕虚拟场景的位置和运动轨迹；在UE4中搭建出尺寸相同的LED虚拟场景，在LED虚拟场景和UE4虚拟场景中建立相同的坐标系；在同一坐标系内测量UE4中虚拟物体与虚拟摄像机的距离，判断摄像机拍摄时距离LED屏幕的距离。

所述确定摄像机位置自动调整光照素材位置和光照强度，具体包括：

获取摄像机运动轨迹和偏移角度，获取LED虚拟场景中的光照素材种类和光照素材所在位置，在坐标系中计算LED虚拟场景中的光照素材相对于摄像机的距离；通过摄像机运动轨迹和偏移角度，及时调整光照素材的位置和光照强度，直到距离与UE4引擎中坐标系内的距离相同。

进一步可选地，所述使用RBM网络选取照明方案包括：

将光照素材与对应的照明方案输入RBM网络，找到光照素材特征与照明方案的隐藏关系；将剧本输入LSTM处理得到剧本场景的光照素材；将剧本光照素材输入RBM网络，提取出光照素材的特征，匹配照明方案，匹配则输出照明方案，不匹配则标记后输入RBM网络进行学习，根据光照素材特征输出新的照明方案。

进一步可选地，所述判断LED虚拟灯光与演员情绪的匹配度包括：

将章节剧本输入BERT模型中，获取章节剧本中每个人物的情感倾向，将获取的情感倾向输入Transformer模型，获取情感倾向对应的色温、色彩；获取拍摄剧本灯光的色温、色彩，在LED屏幕虚拟场景拍摄时使用对应的色温、色彩；利用深度卷积神经网络确定LED屏幕虚拟场景拍摄时演员的情绪分类；根据情绪分类与情感倾向的匹配性确定LED虚拟灯光与演员情绪的匹配度；包括：获取拍摄剧本灯光的色温、色彩；

所述获取拍摄剧本灯光的色温、色彩，具体包括：

将章节剧本输入BERT模型中进行学习，通过统计剧本章节中每个词的出现概率，通过词频计算词语权重，通过情绪词典获取词语的情绪倾向，计算章节剧本的情绪占比；将拍摄剧情的视频输入Transformer模型，使用Transformer模型视频语义分割获得视频的情感倾向，以视频的色温、色彩为特征值，为每个具有情感倾向的视频打上色温、色彩的标签，得到情感倾向对应的色温、色彩；将剧本所需情绪输入Transformer模型，得到拍摄剧本所需的色温、色彩。

进一步可选地，所述在LED虚拟屏幕中进行人机交互包括：

将剧本输入经训练的LSTM，获取剧本场景的类型，获取地面场景的材质和照明元素的种类；获取场景地面材质的压入硬度，压入硬度低的地面可改变，在可改变地面铺上LED屏幕；判断照明元素是否为人造光源，人造光源的照明元素可控制灯光可控制的场景，布置动作捕捉器和在LED对应互动区域的传感器；通过在LED屏幕中安装压力传感器，温度传感器，距离传感器，在物体和演员上安装动作捕捉器，判断传感器获取的数据是否达到预设值，达到预设值则改变屏幕或灯光效果；包括：在地面LED屏幕安置传感器完成简单互动；使用动作捕捉技术完成演员对LED虚拟场景的灯光控制；

所述在地面LED屏幕安置传感器完成简单互动，具体包括：

在地面的LED屏幕安装压力传感器，温度传感器，演员走上LED屏幕，若符合预设的压力大小和温度，则LED屏幕的画面进行改变；根据压力传感器获取压力的范围，决定LED屏幕的改变大小；根据场景类型，在压力消失时切换LED屏幕在该场景类型下的显示内容。

所述使用动作捕捉技术完成演员对LED虚拟场景的灯光控制，具体包括：

在LED屏幕搭建的虚拟场景中可能导致灯光变化的区域设置距离传感器、温度传感器；演员触碰到区域屏幕的距离传感器和温度传感器，距离传感器和温度传感器将检测到的温度和距离传递给处理器，符合预设的温度和预设距离，则根据演员动作自动改变灯光效果，不符合，则不改变；将动作捕捉器放在物体或演员上，捕捉到物体或演员有指向或背离屏幕的互动时，屏幕自动调整光线。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明通过分析室内音乐和人员的剧本和演员情绪，改变和调节灯光，适应情绪。并且根据拍摄位置调整灯光，令LED虚拟场景的灯光更符合现实中的灯光。

【附图说明】

图1为本发明的一种LED虚拟场景灯光控制方法的流程图。

图2为本发明的一种LED虚拟场景灯光控制方法的工作流程图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1为本发明的一种LED虚拟场景灯光控制方法流程图。图2为本发明的一种LED虚拟场景灯光控制方法的工作流程图。

如图1所示，本实施例一种LED虚拟场景灯光控制方法具体可以包括：

步骤101，提取LED虚拟场景照明元素的种类和发散方向。

获取章节剧本输入LSTM网络作为训练集，以章节剧本中的照明元素为特征集对LSTM进行训练；将章节剧本输入经训练的LSTM网络，通过关键词提取获得章节剧本场景的时间、地点、时区、天气，对场景进行分类；使用关键词提取获得章节剧本场景的照明元素，获取照明元素在剧本场景中的位置和种类，通过照明元素的种类和位置确定照明元素发散方向和光照强度；场景分为：室内场景和室外场景，照明元素包括室外场景的照明天体和室内场景的照明物品，通过室外场景的时间、地点、时区和天气计算出照明天体的发散方向和光照强度，根据天气计算出天光强度；通过确定照明物品的种类，通过对比真实照度参照表，确定该种类的照明物品的光照强度，并根据照明物品的位置和种类确定光线发散方向。

步骤102，使用演员情绪分析LED虚拟场景的灯光效果。

将摄影机拍摄实景的演员表情输入深度卷积神经网络，以演员表情为特征集进行训练，得到经训练的深度卷积神经网络；将摄像机拍摄LED虚拟场景的演员表情输入经训练的深度卷积神经网络，输出演员的情绪分类；将实景拍摄的演员表情和LED虚拟拍摄的演员表情输入孪生神经网络，提取出演员表情的脸部特征进行比对，以0到1之间的一个实数来度量脸部特征相似度，相似度高，则LED虚拟场景灯光效果好。

步骤103，根据摄影机画面调整灯光效果。

在UE4引擎中搭建虚拟剧本场景，将剧本场景投影到LED屏幕，使用装有定位系统的摄像机拍摄虚拟场景的图像；使用UE4引擎中的虚拟摄像机，在UE4中搭建的虚拟场景的相同位置进行拍摄；对摄像机在LED虚拟场景拍摄的图像和虚拟摄像机在UE4虚拟场景拍摄的图像以图像灰度值为特征进行分割，对分割后的图像的灰度均值进行对比，以0到1之间的实数值衡量分割后图像灰度值的相似度，相似度低，调整照射范围和光照强度直到和相似度达到预设的阈值以光的发散方向对照明元素进行分类，分为平行光、点光源、聚光源，太阳光为平行光，灯光为点光源，手电筒为聚光灯；例如：将剧本输入经训练的LSTM网络，通过LSTM网络提取出剧本场景为东八区某沿海城市，时间为十五点，天气为晴天，照明元素为太阳，位置为正南偏西，发散方向为近似平行光；又获取到剧本场景为东八区某沿海城市，时间为二十二点，天气为阴天，照明元素为室内灯光，位置为正上方，发散方向为四周发散。

判断摄像机与LED虚拟场景物体的距离。

在LED屏幕布置区域地板上布置多个标记点，在摄像机上放置定位传感器，根据定位传感器相对于标记点的位移，定位摄像机在LED屏幕虚拟场景的位置和运动轨迹；在UE4中搭建出尺寸相同的LED虚拟场景，在LED虚拟场景和UE4虚拟场景中建立相同的坐标系；在同一坐标系内测量UE4中虚拟物体与虚拟摄像机的距离，判断摄像机拍摄时距离LED屏幕的距离演员的表演会运用到微表情，传统的表情识别模型准确率较低，需要以演员为训练集训练表情识别模型；好的光影效果应当可以调动演员情绪，让演员情绪和实景拍摄相同；拍摄有实景拍摄和摄影棚拍摄两种，获取演员在实际景色拍摄的图像，提取演员表情特征，与摄影棚中LED屏幕虚拟景色拍摄的演员表情对比；例如：得到演员在实景拍摄中表现出悲伤的表情；将演员在LED虚拟场景拍摄中需要表现悲伤的图像输入深度卷积神经网络，判断演员表情为悲伤，和实景拍摄拟合度为0.8，拟合度高，LED虚拟场景效果好。

确定摄像机位置自动调整光照素材位置和光照强度。

获取摄像机运动轨迹和偏移角度，获取LED虚拟场景中的光照素材种类和光照素材所在位置，在坐标系中计算LED虚拟场景中的光照素材相对于摄像机的距离；通过摄像机运动轨迹和偏移角度，及时调整光照素材的位置和光照强度，直到距离与UE4引擎中坐标系内的距离相同。LED屏幕的虚拟场景并非实景，需要根据摄像头位置调整照射范围和打光方式，通过画面上的阴影展现进深和立体感；例如：获取摄像机拍摄的LED屏幕虚拟场景的图像，获取虚拟摄影机在UE4虚拟场景拍摄的图像；以图像灰度值为特征对图像进行分割，对比分割后图像灰度值，发现桌子区域实际拍摄图像灰度值与UE4引擎中拍摄图像相似度为0.3，相似度较低，实际拍摄图像灰度值高于虚拟场景中拍摄图像，降低桌子区域光照素材的光照强度。

步骤104，使用RBM网络选取照明方案。

将光照素材与对应的照明方案输入RBM网络，找到光照素材特征与照明方案的隐藏关系；将剧本输入LSTM处理得到剧本场景的光照素材；将剧本光照素材输入RBM网络，提取出光照素材的特征，匹配照明方案，匹配则输出照明方案，不匹配则标记后输入RBM网络进行学习，根据光照素材特征输出新的照明方案LED屏幕虚拟场景是对真实环境与光照的还原，摄像机与LED虚拟屏幕的距离与UE4中虚拟摄像机与虚拟场景物品的距离需要相等以还原画面的光影效果，通过UE4引擎虚拟摄像机与虚拟物品的距离，调整摄像机与LED的距离；例如：获取到UE4引擎中摄像机与台灯的距离为6m，判断将摄像机与LED虚拟屏幕的距离调整为6m。

步骤105，判断LED虚拟灯光与演员情绪的匹配度。

将章节剧本输入BERT模型中，获取章节剧本中每个人物的情感倾向，将获取的情感倾向输入Transformer模型，获取情感倾向对应的色温、色彩；获取拍摄剧本灯光的色温、色彩，在LED屏幕虚拟场景拍摄时使用对应的色温、色彩；利用深度卷积神经网络确定LED屏幕虚拟场景拍摄时演员的情绪分类；根据情绪分类与情感倾向的匹配性确定LED虚拟灯光与演员情绪的匹配度。例如：通过传感器获取到摄像机由远到近向LED屏幕移动，角度逐渐上抬，LED虚拟屏幕中光照素材为太阳光，摄像机靠近时应逐步拉远太阳光素材的位置和降低光照强度，以免太阳距离过近，不符合现实场景；通过传感器获取到摄像机由远到近向LED屏幕移动，LED虚拟屏幕中光照素材为日光灯管，摄像机靠近时无需调整日光灯管的位置和光照强度。

获取拍摄剧本灯光的色温、色彩。

将章节剧本输入BERT模型中进行学习，通过统计剧本章节中每个词的出现概率，通过词频计算词语权重，通过情绪词典获取词语的情绪倾向，计算章节剧本的情绪占比；将拍摄剧情的视频输入Transformer模型，使用Transformer模型视频语义分割获得视频的情感倾向，以视频的色温、色彩为特征值，为每个具有情感倾向的视频打上色温、色彩的标签，得到情感倾向对应的色温、色彩；将剧本所需情绪输入Transformer模型，得到拍摄剧本所需的色温、色彩由于LED屏幕材质限制，亮度较低，只能散发出较为柔和的光，对于强光的支持弱，根据光照素材的需要，引入其他照明方案进行补充；例如：得到剧本光照素材为太阳，输入RBM网络，提取特征为强光，发光范围大，匹配照明方案为镝灯搭配柔光布；得到剧本光照素材为电视发出的光，输入RMB网络，无匹配，提取电视发出的光的特征，亮度较低，发光范围小，输入RMB网络，匹配照明方案为LED补光板。

步骤106，在LED虚拟屏幕中进行人机交互。

将剧本输入经训练的LSTM，获取剧本场景的类型，获取地面场景的材质和照明元素的种类；获取场景地面材质的压入硬度，压入硬度低的地面可改变，在可改变地面铺上LED屏幕；判断照明元素是否为人造光源，人造光源的照明元素可控制灯光可控制的场景，布置动作捕捉器和在LED对应互动区域的传感器；通过在LED屏幕中安装压力传感器，温度传感器，距离传感器，在物体和演员上安装动作捕捉器，判断传感器获取的数据是否达到预设值，达到预设值则改变屏幕或灯光效果。通过灯光与演员情绪匹配度判断调整的灯光是否合适；例如：获取剧本情绪在某章节A人物情绪为痛苦百分之五十，压抑百分之三十，将情绪输入Transformer模型，获取对应色温为900k，色彩为灰黑，在LED屏幕上使用该色温色彩，获取演员在LED虚拟场景的表演图像，输入深度卷积神经分析演员情绪为百分之四十痛苦，百分之四十压抑，与温度对应情绪差异度小，灯光与演员情绪匹配。

在地面LED屏幕安置传感器完成简单互动。

在地面的LED屏幕安装压力传感器，温度传感器，演员走上LED屏幕，若符合预设的压力大小和温度，则LED屏幕的画面进行改变；根据压力传感器获取压力的范围，决定LED屏幕的改变大小；根据场景类型，在压力消失时切换LED屏幕在该场景类型下的显示内容。灯光控制不只是位置和强度，也包括色温、色彩的控制，而色温、色彩会直接影响情绪；例如：将剧本某章节输入BERT中进行情感分析，得到该章节情感倾向为百分之四十悲伤，百分之二十平静，百分之二十痛苦；将该章节情感倾向输入经训练的Transformer模型，得到该情感倾向对应的色温为6500K，色彩为冷白。

使用动作捕捉技术完成演员对LED虚拟场景的灯光控制。

在LED屏幕搭建的虚拟场景中可能导致灯光变化的区域设置距离传感器、温度传感器；演员触碰到区域屏幕的距离传感器和温度传感器，距离传感器和温度传感器将检测到的温度和距离传递给处理器，符合预设的温度和预设距离，则根据演员动作自动改变灯光效果，不符合，则不改变；将动作捕捉器放在物体或演员上，捕捉到物体或演员有指向或背离屏幕的互动时，屏幕自动调整光线。例如：将剧本输入LSTM中获取到剧本场景为山洞，地面为水流，光照素材为手电筒，水流硬度为0，判断地面可改变，在地面铺设LED屏幕，安装压力传感器，在手电筒上安装动作捕捉器，演员在山洞的水流地面行走，地面压力传感器获取到65kg压力，改变LED屏幕为水花和涟漪；手电筒指向的LED屏幕自动出现光圈。

Claims (7)

1.一种LED虚拟场景灯光控制方法，其特征在于，所述方法包括：

提取LED虚拟场景照明元素的种类和发散方向；使用演员情绪分析LED虚拟场景的灯光效果；根据摄影机画面调整灯光效果，所述根据摄影机画面调整灯光效果，具体包括：判断摄像机与LED虚拟场景物体的距离，确定摄像机位置自动调整光照素材位置和光照强度；使用RBM网络选取照明方案；判断LED虚拟灯光与演员情绪的匹配度，具体包括：获取拍摄剧本情感倾向对应灯光的色温、色彩，在LED屏幕虚拟场景拍摄时使用对应的色温、色彩，确定LED屏幕虚拟场景拍摄时演员的情绪分类，根据情绪分类与情感倾向的匹配性确定LED虚拟灯光与演员情绪的匹配度；在LED虚拟屏幕中进行人机交互，所述在LED虚拟屏幕中进行人机交互，具体包括：在地面LED屏幕安置传感器完成简单互动，使用动作捕捉技术完成演员对LED虚拟场景的灯光控制。

2.根据权利要求1所述的方法，其中，所述提取LED虚拟场景照明元素的种类和发散方向，包括:

获取章节剧本输入LSTM网络作为训练集，以章节剧本中的照明元素为特征集对LSTM进行训练；将章节剧本输入经训练的LSTM网络，通过关键词提取获得章节剧本场景的时间、地点、时区、天气，对场景进行分类；使用关键词提取获得章节剧本场景的照明元素，获取照明元素在剧本场景中的位置和种类，通过照明元素的种类和位置确定照明元素发散方向和光照强度；场景分为：室内场景和室外场景，照明元素包括室外场景的照明天体和室内场景的照明物品，通过室外场景的时间、地点、时区和天气计算出照明天体的发散方向和光照强度，根据天气计算出天光强度；通过确定照明物品的种类，通过对比真实照度参照表，确定该种类的照明物品的光照强度，并根据照明物品的位置和种类确定光线发散方向。

3.根据权利要求1所述的方法，其中，所述使用演员情绪分析LED虚拟场景的灯光效果，包括:

将摄影机拍摄实景的演员表情输入深度卷积神经网络，以演员表情为特征集进行训练，得到经训练的深度卷积神经网络；将摄像机拍摄LED虚拟场景的演员表情输入经训练的深度卷积神经网络，输出演员的情绪分类；将实景拍摄的演员表情和LED虚拟拍摄的演员表情输入孪生神经网络，提取出演员表情的脸部特征进行比对，以0到1之间的一个实数来度量脸部特征相似度，相似度高，则LED虚拟场景灯光效果好。

4.根据权利要求1所述的方法，其中，所述根据摄影机画面调整灯光效果，包括:

在UE4引擎中搭建虚拟剧本场景，将剧本场景投影到LED屏幕，使用装有定位系统的摄像机拍摄虚拟场景的图像；使用UE4引擎中的虚拟摄像机，在UE4中搭建的虚拟场景的相同位置进行拍摄；对摄像机在LED虚拟场景拍摄的图像和虚拟摄像机在UE4虚拟场景拍摄的图像以图像灰度值为特征进行分割，对分割后的图像的灰度均值进行对比，以0到1之间的实数值衡量分割后图像灰度值的相似度，相似度低，调整照射范围和光照强度直到和相似度达到预设的阈值；包括：判断摄像机与LED虚拟场景物体的距离；确定摄像机位置自动调整光照素材位置和光照强度；

所述判断摄像机与LED虚拟场景物体的距离，具体包括:

在LED屏幕布置区域地板上布置多个标记点，在摄像机上放置定位传感器，根据定位传感器相对于标记点的位移，定位摄像机在LED屏幕虚拟场景的位置和运动轨迹；在UE4中搭建出尺寸相同的LED虚拟场景，在LED虚拟场景和UE4虚拟场景中建立相同的坐标系；在同一坐标系内测量UE4中虚拟物体与虚拟摄像机的距离，判断摄像机拍摄时距离LED屏幕的距离；

所述确定摄像机位置自动调整光照素材位置和光照强度，具体包括:

获取摄像机运动轨迹和偏移角度，获取LED虚拟场景中的光照素材种类和光照素材所在位置，在坐标系中计算LED虚拟场景中的光照素材相对于摄像机的距离；通过摄像机运动轨迹和偏移角度，及时调整光照素材的位置和光照强度，直到距离与UE4引擎中坐标系内的距离相同。

5.根据权利要求1所述的方法，其中，所述使用RBM网络选取照明方案，包括:

将光照素材与对应的照明方案输入RBM网络，找到光照素材特征与照明方案的隐藏关系；将剧本输入LSTM处理得到剧本场景的光照素材；将剧本光照素材输入RBM网络，提取出光照素材的特征，匹配照明方案，匹配则输出照明方案，不匹配则标记后输入RBM网络进行学习，根据光照素材特征输出新的照明方案。

6.根据权利要求1所述的方法，其中，所述判断LED虚拟灯光与演员情绪的匹配度，包括:

将章节剧本输入BERT模型中，获取章节剧本中每个人物的情感倾向，将获取的情感倾向输入Transformer模型，获取情感倾向对应的色温、色彩；获取拍摄剧本灯光的色温、色彩，在LED屏幕虚拟场景拍摄时使用对应的色温、色彩；利用深度卷积神经网络确定LED屏幕虚拟场景拍摄时演员的情绪分类；根据情绪分类与情感倾向的匹配性确定LED虚拟灯光与演员情绪的匹配度；包括：获取拍摄剧本灯光的色温、色彩；

所述获取拍摄剧本灯光的色温、色彩，具体包括:

将章节剧本输入BERT模型中进行学习，通过统计剧本章节中每个词的出现概率，通过词频计算词语权重，通过情绪词典获取词语的情绪倾向，计算章节剧本的情绪占比；将拍摄剧情的视频输入Transformer模型，使用Transformer模型视频语义分割获得视频的情感倾向，以视频的色温、色彩为特征值，为每个具有情感倾向的视频打上色温、色彩的标签，得到情感倾向对应的色温、色彩；将剧本所需情绪输入Transformer模型，得到拍摄剧本所需的色温、色彩。

7.根据权利要求1所述的方法，其中，所述在LED虚拟屏幕中进行人机交互，包括:

将剧本输入经训练的LSTM，获取剧本场景的类型，获取地面场景的材质和照明元素的种类；获取场景地面材质的压入硬度，压入硬度低的地面可改变，在可改变地面铺上LED屏幕；判断照明元素是否为人造光源，人造光源的照明元素可控制灯光可控制的场景，布置动作捕捉器和在LED对应互动区域的传感器；通过在LED屏幕中安装压力传感器，温度传感器，距离传感器，在物体和演员上安装动作捕捉器，判断传感器获取的数据是否达到预设值，达到预设值则改变屏幕或灯光效果；包括：在地面LED屏幕安置传感器完成简单互动；使用动作捕捉技术完成演员对LED虚拟场景的灯光控制；

所述在地面LED屏幕安置传感器完成简单互动，具体包括:

在地面的LED屏幕安装压力传感器，温度传感器，演员走上LED屏幕，若符合预设的压力大小和温度，则LED屏幕的画面进行改变；根据压力传感器获取压力的范围，决定LED屏幕的改变大小；根据场景类型，在压力消失时切换LED屏幕在该场景类型下的显示内容；

所述使用动作捕捉技术完成演员对LED虚拟场景的灯光控制，具体包括:

在LED屏幕搭建的虚拟场景中可能导致灯光变化的区域设置距离传感器、温度传感器；演员触碰到区域屏幕的距离传感器和温度传感器，距离传感器和温度传感器将检测到的温度和距离传递给处理器，符合预设的温度和预设距离，则根据演员动作自动改变灯光效果，不符合，则不改变；将动作捕捉器放在物体或演员上，捕捉到物体或演员有指向或背离屏幕的互动时，屏幕自动调整光线。

Images