CN111145088B - 适用于观演空间的投影风格渲染方法及渲染系统 - Google Patents

Abstract

本发明涉及适用于观演空间的投影风格渲染方法及渲染系统，适用于舞台与观众席共同构成的观演空间，其渲染系统主要包含三个图像库，即真实素材库、风格图片库和交互素材库，通过风格迁移技术，分别将主背景和交互元素的风格图和内容图融合，形成风格化的主背景图像和交互元素图像，观演者可以通过手机等个人终端制作交互元素的风格图，形成具有观演者图像风格的交互元素图像，依据设定位置或运动轨迹插入主背景图像中，并以主背景图像中邻近区域的风格对交互元素图像的边缘区域或全部区域进行风格化，使得交互元素与主背景图像具有基本一致的风格。

Description

适用于观演空间的投影风格渲染方法及渲染系统

技术领域

本发明涉及适用于观演空间的投影风格渲染方法及渲染系统，主要可用于舞台投影风格渲染，也适应于其他类似场合下的投影风格渲染。

背景技术

在现代技术背景下，有越来越多的技术手段应用于演艺领域，例如在舞台与观众席共同构成的观演空间，可以采用投影设施，根据舞台表演情节，将适应的背景素材呈现在投影墙或幕布上，形成丰富多彩的投影图像，这种舞台背景的表现力和感染力远远超过了以往的画幕和实物布景。

然而，随时消费水平的不断提高，人们已不再满足于被动地观演，希望能够参与到投影形成的场景中，一种可行的方式是将观影者制作的图像融合到投影图像中，使观演者直接参与到剧情创作中。

例如，可以依据图像融合技术和图像风格迁移技术，设置相应的应用程序，将观演者创作或选择的动态模型图像融合到投影图像中，观演者通过移动手机或平板电脑中等个人终端发送其创作或选择的动态模型图像至多终端输入绘画投影系统中，该系统将源自观演者个人终端的图像和背景库的图像融合后编排投影输出，并可以依据深度神经网络等现有技术实现对个人终端图像的风格化处理，通过个人终端设置动态模型图像的风格化程度，利用观演者终端的姿态控制控制动态模型图像在背景图像中的姿态和运动轨迹，使观演者的动态模型图像穿插于剧情中，增加使用者的参与感。

上述技术思路在一定程度上实现了观影者的参与，但依然有需要进一步研究解决的技术问题：例如，如何保证插入到背景图像中的交互图像（例如，动态模型图像）与背景画面整体风格的一致性，改善观影体验。

发明内容

本发明的目的是提供了适用于观演空间的投影风格渲染方法以及采用这种方法的投影风格渲染系统，以期在实现观演者参与的同时，使投影图像的整体风格一致，提高投影图像的质量。

本发明的技术方案是：一种适用于观演空间的投影风格渲染方法，包括下列步骤：

主背景图像生成：选取真实素材图像作为主背景内容图，选取风格图像作为主背景风格图进行风格迁移，实现主背景内容图和风格图像的融合，形成主背景图像，所述主背景图像的内容与相应的真实素材图像近似，风格与相应的风格图像相似；

交互元素图像生成：选取交互素材图像作为交互元素内容图，以源自互动参与者（观演者）的互动参与者图像作为交互元素风格图进行风格迁移，实现交互元素内容图和交互元素风格图的融合，形成交互元素图像（简称交互元素），所述交互元素图像的内容与相应的交互素材图像近似，风格与相应的互动参与者图像相似；

投影图像生成：依据设定的插入位置或运动轨迹，将交互元素图像插入到主背景图像中，以交互元素图像插入位置的邻近区域的主背景图像作为风格图对交互元素图像的全部区域或边缘区域进行风格迁移，使交互元素图像的全部区域或边缘区域的风格与邻近区域的主背景图像相似，形成风格统一的投影图像。

可以由互动参与者、或者由演出者、或者由程序依据预先设定的数值或规则确定主背景图像、交互元素图像和/或投影图像的风格化程度。

可以依据环境光状况设定和/或调节主背景图像的图像显示参数，例如，亮度、对比度、色温等。

所述风格迁移优选为基于卷积神经网络（例如，VGGNet或ResNet）的图像风格迁移，也可以采用其他现有技术。

例如，使用VGG分类网络提取相关图像的特征信息，在特征空间获得特征图，底层的特征图表示风格，高层的特征图表示语义，由此实现图像内容特征和风格特征的分离，通过图像重建技术将给定的特征表达重建还原为一张图像，将特征图还原到像素空间，形成风格迁移（风格化处理）后的图像（结果图）。

所述投影图像生成步骤中，优选将交互元素图像分为若干内部纹理一致和/或近似的细分区域，对包含交互元素图像边缘的细分区域进行风格迁移，对不包含交互元素图像边缘的细分区域优选不进行风格迁移，根据需要和相关人员喜好，也可以进行风格迁移。仅对交互元素图像边缘的细分区域进行相应风格化处理（风格迁移），即能使交互元素图像与邻近区域的主背景图风格一致，同时还避免影响图像中其他区域的原有风格（采用参与者图像进行风格迁移后的图像风格），保持参与者良好的参与感。

包含边缘的长度小于一定值的细分区域可以视为不包含边缘的细分区域。

所述投影图像生成步骤中，优选交互元素图像的风格化区域（交互元素图像中实施风格迁移的区域）的近边缘部位的风格化程度高于远边缘部位的风格化程度，即由边缘向内风格化程度逐渐减弱（连续减弱或者不连续减弱）；或者，交互元素图像的全部风格化区域的风格化程度相同；或者，交互元素图像的风格化区域分为若干内部纹理一致和/或近似的多个细分区域，不同细分区域的风格化程度全部相同或不全部相同，当不同细分区域的风格化程度不全部相同，在同一方向上的相邻细分区域中，近边缘细分区域的风格化程度至少不低于（优选高于）远边缘细分区域的风格化程度。通过设定不同的风格化程度，提高近边缘区域的风格化程度，降低远边缘区域的风格化程度，同样即能使交互元素图像与邻近区域的主背景图风格一致，同时还避免影响图像中其他区域的原有风格（采用参与者图像进行风格迁移后的图像风格），保持参与者良好的参与感。

所述交互元素图像生成步骤中，对于同一个交互素材图像，所述互动参与者图像可以为一个或多个。

当所述互动参与者图像为多个时，可以以全部互动参与者图像作为交互元素风格图进行多风格迁移，或者将交互元素图像的风格化区域分为若干内部纹理一致和/或近似的细分区域，一个互动参与者图像至少用作一个细分区域风格化的风格图，至少部分不同细分区域采用不同的风格图或风格图组，由此将不同的互动参与者图像用于不同细分区域的风格化。当将不同的互动参与者图像用于不同细分区域的风格化时，可以随机进行互动参与者图像与细分区域的匹配，也可以由互动参与者选定互动参与者图像所对应的细分区域。

所述交互素材图像的数量可以为一个或者多个，相应地，交互元素图像的数量也为一个或多个。

当交互素材图像的数量为多个时，可以以不同的互动参与者图像对不同的交互素材图像进行风格化处理（风格迁移）。可以随机进行交互素材图像与互动参与者图像的匹配，可以由互动参与者通过其个人终端进行交互素材图像的选择，该选择可以是针对一个终端的，也可以是针对一个互动参与者图像的，选定后，互动参与者涉及该终端或该图像的所有互动操作（包括互动参与者图像，以及适宜时，交互元素图像插入位置、运动轨迹、姿态或显示角度等操作）仅针对其选定的交互素材图像（及相应的交互元素图像）。

互动参与者可以通过其终端访问存储交互素材图像的交互素材图像库，选取其中的交互素材图像作为交互元素内容图，演出者（管理者）可以依据剧情限定允许互动参与者选取的交互素材图像范围。选定后，互动参与者的所有互动操作（包括互动参与者图像，以及适宜时，交互元素图像插入位置、运动轨迹、姿态或显示角度等操作）仅针对其选定的交互素材图像（及相应的交互元素图像）。

可以控制允许全部互动参与者选取的交互素材图像总量和/或允许单个互动参与者选取的交互素材图像总量。

可以通过程序自动设定或生成交互元素图像在主背景图像中的插入位置或运动轨迹及移动速度，或者由互动参与者控制交互元素图像在主背景图像中的插入位置或运动轨迹及移动速度。

当由互动参与者控制交互元素图像在主背景图像中的插入位置或运动轨迹及移动速度时，可以通过触摸屏或键盘等方式输入位置或运动轨迹，例如，将主背景图显示于互动参与者终端的屏幕，用手指的触摸（点击）位置为插入位置，以手指的滑动轨迹为运动轨迹。互元素图像可以依据设定的恒定速度（速率）或变动速度（速率）移动，也可以依据手指的滑动速度（速率）确定（例如，放慢1000倍的速度），可以通过互动参与者终端内置的姿态（角度）和运动（例如，陀螺仪，加速度仪等）等信息感应元件获得互动参与者终端的姿态变化和运动状况，将互动参与者终端的姿态变化和运动状况数据发送至系统作为运动（轨迹和速度）和姿态控制信息，对插入主背景图像中的交互元素图像进行相应的控制。根据实际需要，可以对于运动轨迹、速度、姿态（三维图像的二维显示角度）等若干参数中的任意一个、任意多个或全部进行控制。

当有多个互动参与者发出同一种信息时（例如，互动参与者图像、插入位置、运动轨迹控制、姿态控制等中的任意一种），可以选用其中一个、多个（部分）或全部互动参与者发出的相应信息，选取方式可以依据现有技术或者相关人员的喜好，例如，依据输入时间顺序，依据设定的互动参与者优先顺序（例如，首次参与还是多次参与，之前是否被采用过等等，相同信息的重复性等等），还可以由程序随机（抽签）选择。

当选用多个互动参与者发出的信息时，可以赋予各参与者的相应信息相同的权重，也可以依据一定的规则赋予不同互动参与者的信息以不同的权重，例如，当以数值表示时（例如，图像特征值、位置坐标），可以采用各相应数值的平均值、均方根平均值、加权平均值、中位值、最大值、最小值或最大可几值（可几值）等。

一种适用于观演空间的投影风格渲染系统，采用本发明公开的任意一种适用于观演空间的投影风格渲染方法进行投影风格渲染，包括：

真实素材库，用于存储用作主背景内容图的真实素材图像；

风格图片库，用于存储用作主背景风格图的风格图像；

交互素材库，用于存储用作交互元素内容图的交互素材图像；

互动参与者终端（或称个人终端，例如，手机、平板电脑），用于互动参与者进行互动操作，发出互动参与者图像，所述互动参与者图像由互动参与者在相应的互动参与者终端上制作或采用相应的互动参与者终端获取或选定；

主背景图像特征融合模块，用于获取真实素材库中的真实素材图像作为主背景内容图，获取风格图片库中的风格图像作为主背景风格图进行风格迁移，实现主背景内容图和风格图像的融合，形成主背景图像，所述主背景图像的内容与相应的真实素材图像近似，风格与相应的风格图像相似；

交互元素图像特征融合模块，用于获取交互素材库中的交互素材图像作为交互元素内容图，获取互动参与者终端发出的互动参与者图像作为交互元素风格图进行风格迁移，实现交互元素内容图和交互元素风格图的融合，形成交互元素图像，所述交互元素图像的内容与相应的交互素材图像近似，风格与相应的互动参与者图像相似；

投影图像风格融合模块，用于依据设定的插入位置或运动轨迹，将交互元素图像插入到主背景图像中，以交互元素图像插入位置的邻近区域的主背景图像作为风格图对交互元素图像的全部区域或边缘区域进行风格迁移，使交互元素图像的全部区域或边缘区域的风格与邻近区域的主背景图像相似，形成风格统一的投影图像；

投影模块：用于获取投影图像，进行投影图像的投影播放。

所述交互元素图像特征融合模块和所述投影图像风格融合模块可以独立设置或采用同一风格融合模块。通常，可以采用同一数据处理器或处理系统实现所述交互元素图像特征融合模块和所述投影图像风格融合模块的功能。

该系统还可以包括环境光调节模块，所述环境光调节模块设有环境光传感器，用于采集环境光信息（例如，强度，色温），生成相应的环境光数据或环境光调节数据，所述主背景图像特征融合模块依据来自环境光调节模块的环境光数据或环境光调节数据设定和/或调节主背景图像的图像显示参数（例如，亮度、对比度、色温等），可以依据现有技术实现自动设定，也可以人工设定。

该系统还可以包括风格化调节模块，用于设定和/或调节交互元素图像涉及的风格化程度数据，所述交互元素图像特征融合模块依据来自风格化调节模块的风格化程度数据确定和/或调节交互元素图像生成（融合）涉及的风格化程度。

所述风格化调节模块可以依据互动参与者通过互动参与者终端发来的相关控制数据、或依据本地输入装置输入的相关控制数据、或依据预先设定值、或依据预先设定的规则设定和/或调节交互元素图像涉及的风格化程度数据。

该系统还可以包括轨迹设定和调节模块，用于设定和/或调节交互元素图像在主背景图像中的插入位置和/或运动轨迹，所述投影图像风格融合模块依据来自轨迹设定和调节模块的交互元素图像插入位置和/或运动轨迹数据，确定和/或调节交互元素图像在主背景图像中的插入位置和/或运动轨迹。

所述轨迹设定和调节模块可以依据互动参与者通过互动参与者终端发来的相关控制数据、或依据本地输入装置输入的相关控制数据、或依据预先设定值、或依据预先设定的规则设定和/或调节交互元素图像在主背景图像中的插入位置和/或运动轨迹。

所述参与者终端优选内置有运动和/或姿态传感器（传感元件），用于采集和获得相应参与者终端的运动和/或姿态变化数据；或者，所述参与者终端通过其本地输入装置获得互动参与者输入的交互元素运动和/或姿态变化控制数据，所述轨迹设定和调节模块可以依据来自参与者终端的参与者终端运动数据，确定和/或调节交互元素图像在主背景图像中的运动状态，依据来自参与者终端的参与者终端姿态变化数据，确定和/或调节交互元素图像在主背景图像中的显示角度和/或显示角度的变化；或者，所述轨迹设定和调节模块依据来自参与者终端的交互元素运动控制数据，确定和/或调节交互元素图像在主背景图像中的运动状态，依据来自参与者终端的交互元素姿态变化控制数据，确定和/或调节交互元素图像在主背景图像中的显示角度和/或显示角度的变化。

本发明的有益效果是：通过真实素材和交互素材库的设置和相应图像选取，有利于保证总体背景与舞台剧情相适应，且能够通过对交互图像的风格化渲染，形成具有参与者图像风格交互元素图像，

附图像说明

图1是本发明系统的工作原理图；

图2是本发明系统的硬件架构示意图。

具体实施方式

参见图1和图2，本发明适用于舞台与观众席共同构成的观演空间，其渲染系统主要包含三个图像库，即真实素材库、风格图片库和交互素材库，通过风格迁移技术，分别将主背景和交互元素的风格图和内容图融合，形成风格化的主背景图像和交互元素图像，观演者可以通过手机等个人终端制作交互元素的风格图，形成具有观演者图像风格的交互元素图像，依据设定位置或运动轨迹插入主背景图像中，并以主背景图像中邻近区域的风格对交互元素图像的边缘区域或全部区域进行风格化，使得交互元素与主背景图像具有基本一致的风格。

在主背景图的生成过程中，根据剧情的需要选择合适的风格图。相应的图像特征融合模块利用卷积神经网络技术将真实素材库及风格图片库中的图像进行融合，产生主背景图，其结果图（风格化后的主背景图）与真实素材在内容上相近，与风格图在风格上相似。可以通过投影观察效果，调节环境光调节模块的设定，获得满意的背景图投影效果。

在交互元素图的生成过程中，风格图输入模块可以是输入端作画，即互动参与者在其个人终端上创作的画，也可用个人终端选择一个或多个图像进行上传，通过相应的图像特征融合模块提取交互素材及输入风格图的特征并进行融合，风格化调节模块可用于调节输出交互元素风格化的程度。

将交互元素图插入到背景图中时，通过轨迹设定和调节模块控制交互元素的运动轨迹。所述轨迹设定和调节模块可以由依次连接的轨迹输入模块和轨迹调节模块构成，其中互动参与者的个人终端或者用于接收外部运动控制信息输入的接口电路或输入装置可以视为轨迹输入模块，通过轨迹输入模块接收外部输入的运动控制信息或设定的运动轨迹并送入轨迹调节模块，轨迹调节模块依据轨迹输入模块送入的运动控制信息或设定的运动轨迹控制交互元素的插入位置及移动速度和轨迹等。

观演者可以通过其个人终端进行轨迹绘制及运动速度设置，据此控制交互元素在背景图中的运动过程和运动轨迹。基于演出情节及舞台特点，轨迹调节模块可以依据设定的规则或算法将对运动轨迹微调。

将交互元素依据运动轨迹插入至背景图中时，相应的风格融合模块将交互元素的风格依据定位邻近区域的背景图风格通过深度绘画和谐的技术实现画面风格的统一。

投影模块将图像投影输出，使用者通过交互元素参与剧情创作，利用投影的方式可与演出者互动。

本发明能够保证主背景图和交互元素适应于舞台表演剧情，依据舞台演出剧情选取主背景图像和交互元素图像，并与观演者互动，形成包含观演者图像风格的投影图像，满足观演者的参与感。

能够适应环境光的影响，投影内容和投影图像根据交互需求动态生成，可根据剧情需要及舞台场地调整投影元素在背景图中的位置。

能够根据剧情选择适配的投影风格，将真实素材库里的图像进行渲染，并减少环境光的影响。

能够根据演出剧情及场地情况调节局部元素在整个画面中的位置。

能够使交互元素与背景图风格统一。

能够进行交互元素运动轨迹的控制。

可以采用任意具有相应处理能力的计算机系统作为本发明的计算机渲染系统，在软件的支持下实现相应的数据处理功能。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

Claims (10)

1.适用于观演空间的投影风格渲染方法，包括下列步骤：

主背景图像生成：选取真实素材图像作为主背景内容图，选取风格图像作为主背景风格图进行风格迁移，实现主背景内容图和风格图像的融合，形成主背景图像，所述主背景图像的内容与相应的真实素材图像近似，风格与相应的风格图像相似；

交互元素图像生成：选取交互素材图像作为交互元素内容图，以源自互动参与者的互动参与者图像作为交互元素风格图进行风格迁移，实现交互元素内容图和交互元素风格图的融合，形成交互元素图像，所述交互元素图像的内容与相应的交互素材图像近似，风格与相应的互动参与者图像相似；

投影图像生成：依据设定的插入位置或运动轨迹，将交互元素图像插入到主背景图像中，以交互元素图像插入位置的邻近区域的主背景图像作为风格图对交互元素图像的全部区域或边缘区域进行风格迁移，使交互元素图像的全部区域或边缘区域的风格与邻近区域的主背景图像相似，形成风格统一的投影图像，

所述投影图像生成步骤中，将交互元素图像分为若干内部纹理一致和/或近似的细分区域，对包含交互元素图像边缘的细分区域进行风格迁移，对不包含交互元素图像边缘的细分区域不进行风格迁移或者进行风格迁移。

2.如权利要求1所述投影风格渲染方法，其特征在于所述风格迁移为基于卷积神经网络的图像风格迁移。

3.如权利要求1或2所述投影风格渲染方法，其特征在于在主背景图的生成过程中，根据剧情的需要选择合适的风格图。

4.如权利要求1或2所述投影风格渲染方法，其特征在于所述投影图像生成步骤中，交互元素图像的风格化区域的近边缘部位的风格化程度高于远边缘部位的风格化程度；或者，全部风格化区域的风格化程度相同；或者，风格化区域分为若干内部纹理一致和/或近似的多个细分区域，不同细分区域的风格化程度全部相同或不全部相同，当不同细分区域的风格化程度不全部相同，在同一方向上的相邻细分区域中，近边缘细分区域的风格化程度至少不低于远边缘细分区域的风格化程度。

5.如权利要求1或2所述投影风格渲染方法，其特征在于所述交互元素图像生成步骤中，对于同一个交互素材图像，所述互动参与者图像为一个或多个，当所述互动参与者图像为多个时，以全部互动参与者图像作为交互元素风格图进行多风格迁移，或者将交互元素图像的风格化区域分为若干内部纹理一致和/或近似的细分区域，一个互动参与者图像至少用作一个细分区域风格化的风格图，至少部分不同细分区域采用不同的风格图或风格图组。

6.适用于观演空间的投影风格渲染系统，其特征在于包括：

真实素材库，用于存储用作主背景内容图的真实素材图像；

风格图片库，用于存储用作主背景风格图的风格图像；

交互素材库，用于存储用作交互元素内容图的交互素材图像；

互动参与者终端，用于互动参与者进行互动操作，发出互动参与者图像，所述互动参与者图像由互动参与者在相应的互动参与者终端上制作或采用相应的互动参与者终端获取或选定；

主背景图像特征融合模块，用于获取真实素材库中的真实素材图像作为主背景内容图，获取风格图片库中的风格图像作为主背景风格图进行风格迁移，实现主背景内容图和风格图像的融合，形成主背景图像，所述主背景图像的内容与相应的真实素材图像近似，风格与相应的风格图像相似；

交互元素图像特征融合模块，用于获取交互素材库中的交互素材图像作为交互元素内容图，获取互动参与者终端发出的互动参与者图像作为交互元素风格图进行风格迁移，实现交互元素内容图和交互元素风格图的融合，形成交互元素图像，所述交互元素图像的内容与相应的交互素材图像近似，风格与相应的互动参与者图像相似；

投影图像风格融合模块，用于依据设定的插入位置或运动轨迹，将交互元素图像插入到主背景图像中，以交互元素图像插入位置的邻近区域的主背景图像作为风格图对交互元素图像的全部区域或边缘区域进行风格迁移，使交互元素图像的全部区域或边缘区域的风格与邻近区域的主背景图像相似，形成风格统一的投影图像，所述投影图像生成步骤中，将交互元素图像分为若干内部纹理一致和/或近似的细分区域，对包含交互元素图像边缘的细分区域进行风格迁移，对不包含交互元素图像边缘的细分区域不进行风格迁移或者进行风格迁移；

投影模块：用于获取投影图像，进行投影图像的投影播放。

7.如权利要求6所述的投影风格渲染系统，其特征在于还包括环境光调节模块，所述环境光调节模块设有环境光传感器，用于采集环境光信息，生成相应的环境光数据或环境光调节数据，所述主背景图像特征融合模块依据来自环境光调节模块的环境光数据或环境光调节数据设定和/或调节主背景图像的图像显示参数。

8.如权利要求6所述的投影风格渲染系统，其特征在于还包括风格化调节模块，用于设定和/或调节交互元素图像涉及的风格化程度数据，所述交互元素图像特征融合模块依据来自风格化调节模块的风格化程度数据确定和/或调节交互元素图像生成涉及的风格化程度。

9.如权利要求6-8任一所述的投影风格渲染系统，其特征在于还包括轨迹设定和调节模块，用于设定和/或调节交互元素图像在主背景图像中的插入位置和/或运动轨迹，所述投影图像风格融合模块依据来自轨迹设定和调节模块的交互元素图像插入位置和/或运动轨迹数据，确定和/或调节交互元素图像在主背景图像中的插入位置和/或运动轨迹。

10.如权利要求9所述的投影风格渲染系统，其特征在于所述参与者终端内置有运动和/或姿态传感器，用于采集和获得相应参与者终端的运动和/或姿态变化数据，所述轨迹设定和调节模块依据来自参与者终端的参与者终端运动数据，确定和/或调节交互元素图像在主背景图像中的运动状态，依据来自参与者终端的参与者终端姿态变化数据，确定和/或调节交互元素图像在主背景图像中的显示角度和/或显示角度的变化，或者，所述参与者终端通过其本地输入装置获得互动参与者输入的交互元素运动和/或姿态变化控制数据，所述轨迹设定和调节模块依据来自参与者终端的交互元素运动控制数据，确定和/或调节交互元素图像在主背景图像中的运动状态，依据来自参与者终端的交互元素姿态变化控制数据，确定和/或调节交互元素图像在主背景图像中的显示角度和/或显示角度的变化。