CN114900678B - 一种vr端端云结合的虚拟演唱会渲染方法及系统 - Google Patents

Abstract

本申请提供一种VR端端云结合的虚拟演唱会渲染方法及系统，该方法包括：在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中；实时采集本地VR设备的视觉角度数据和表演数据，并将采集的数据发送至云端服务器；利用表演数据驱动虚拟偶像；根据本地VR设备的视觉角度，实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面；实时渲染采集的虚拟偶像画面和虚拟演唱会场景画面，并插入声音数据，获得云端360VR视频流；将云端360VR视频流与本地观众画面合成一个虚拟演唱会视频流；将合成的虚拟演唱会视频流发送给本地观看客户端。本申请渲染效率高、低延迟、高响应速度和低门槛。

Description

一种VR端端云结合的虚拟演唱会渲染方法及系统

技术领域

本申请涉及VR技术领域，尤其涉及一种VR端端云结合的虚拟演唱会渲染方法及系统。

背景技术

虚拟现实技术（VR）是一种综合应用计算机图形学，人机接口技术，传感器技术以及人工智能等技术，制造出逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。

云渲染(cloudrender)的模式与常规的云计算类似，即将3D程序放在远程的服务器中渲染，用户终端通过Web软件或者直接在本地的3D程序中点击一个"云渲染"按钮并借助高速互联网接入访问资源，指令从用户终端中发出，服务器根据指令执行对应的渲染任务，而渲染结果画面则被传送回用户终端中加以显示。

通过VR技术，观众无需线下聚集也可以获得无限接近现场演出的真实感和沉浸感。VR画面越细腻写实，所需要的计算机图形算力就越高。这就意味着，观众想要获得极致演唱会体验，就需要在本地观看设备和运算设备上投入重金。如此高的门槛，阻碍了观众的体验，也不利于行业发展。

本申请旨在从技术上解决以上问题，为演唱会的演绎方和观看方提供一种虚拟演唱会渲染效率高、低延迟、高响应速度和低门槛的解决方案。

发明内容

本申请的目的在于提供一种VR端端云结合的虚拟演唱会渲染方法及系统，该方法渲染效率高、低延迟、高响应速度和低门槛。

为达到上述目的，本申请提供一种VR端端云结合的虚拟演唱会渲染方法，其特征在于，该方法包括：

在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中；

实时采集本地VR设备的视觉角度数据和表演数据；

利用表演数据驱动虚拟偶像；

根据本地VR设备的视觉角度，实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面；

实时渲染采集的虚拟偶像画面和虚拟演唱会场景画面，并插入声音数据，获得云端360VR视频流；

将云端360VR视频流与本地观众画面合成一个虚拟演唱会视频流；

将合成的虚拟演唱会视频流发送给本地观看客户端。

如上的，其中，本地观众画面为在本地计算设备对观众席的观众和观众的互动进行渲染获得。

如上的，其中，表演数据包括动捕演员的动作表情数据和声音数据；动捕演员的自身动作舞蹈、动捕演员的表情和舞美造型；声音数据包括动捕演员的演唱歌曲和背景音乐。

如上的，其中，根据动捕演员的动作表情数据驱动虚拟偶像，并根据本地VR设备的视觉角度，将虚拟摄像机调整为与本地VR设备视觉角度一致的角度，通过调整后的虚拟摄像机实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面。

如上的，其中，本地计算设备获得观众的互动数据后，发送给其他观众的客户端，其他观众的客户端在其本地计算设备上渲染观众互动数据，所有的观众客户端都渲染出观众互动效果。

如上的，其中，在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中的方法包括：

在云端根据所需直播的演唱会节目创建对应的数量的虚拟偶像模型及对应的虚拟演唱会场景模型；

将虚拟演唱会场景模型及虚拟偶像模型进行整合处理，得到整合模型文件；

将整合模型文件导入至虚拟引擎，生成融合后的虚拟偶像和虚拟演唱会场景。

如上的，其中，通过动捕设备采集动捕演员的动作表情数据；其中，动作表情数据包括动作数据和表情数据；

其中，动捕设备包括惯性动捕传感器和光学动捕传感器。

如上的，其中，通过模型引擎的虚拟引擎插件将动作数据实时传输至模型引擎，将动作数据与虚拟偶像的肢体动作进行关联，并通过骨骼绑定数据和蒙皮数据驱动虚拟偶像执行动作数据；利用模型引擎的虚拟引擎插件将动捕演员的表情数据与虚拟偶像的面部表情进行关联，并通过表情控制数据驱动虚拟偶像执行表情数据。

本申请还提供一种VR端端云结合的虚拟演唱会渲染系统，该系统包括：

构建模块，用于在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中；

数据采集设备，用于实时采集本地VR设备的视觉角度数据和表演数据；

驱动模块，利用表演数据驱动虚拟偶像；

画面采集设备，用于根据本地VR设备的视觉角度，实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面；

渲染模块，用于实时渲染采集的虚拟偶像画面和虚拟演唱会场景画面，并插入声音数据，获得云端360VR视频流；

视频合成模块，用于将云端360VR视频流与本地观众画面合成一个虚拟演唱会视频流；

数据传输模块，用于将合成的虚拟演唱会视频流发送给本地观看客户端。

如上的，其中，画面采集设备为在云端设置的云端虚拟摄像机，云端虚拟摄像机调整其视觉角度与采集的本地VR设备的视觉角度一致后，采集虚拟偶像画面和虚拟演唱会场景画面。

本申请实现的有益效果如下：

（1）本申请云端渲染服务器上输出的舞台表演内容为360VR视频流，这种处理方式区别于传统二维视频流，提供了更加立体真实的画面效果。另外，当观众使用本地VR设备随意旋转观看角度时，360VR视频流画面与本地VR设备视觉角度将保持一致，不会出现画面畸变、穿帮的的情况。

（2）本申请选择将演唱会内容放在云端渲染，将观众席画面放在本地渲染。由于演唱会内容复杂、画面要求高，需要高性能的渲染算力作为支撑，因此，云端服务器的算力优势提高了演唱会内容的渲染效率和渲染效果。由于观众席互动要求实时，需要低延迟、高响应速度，但是对于渲染算力要求不高，因此选择放在本地渲染，发挥了本地计算的延迟优势，提高观众互动响应速度。

（3）本申请使得演唱会等演绎表演活动可以在线上举行；动捕演员/艺术家无需在线下聚集，可以通过云端协作的方式共同接入演唱会；由于将最需要渲染算力的部分从本地移到云端进行，降低用户观看云端演唱会的设备门槛；由于云端算力充足，演唱会导演在效果上无需考虑用户端性能问题，对用户端性能要求较低，门槛较低，从而更好的发挥艺术想象空间；观众可以在任何时间任何地点，只要能够流畅的接入网络即可参与演唱会等演绎活动。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例的一种VR端端云结合的虚拟演唱会渲染方法的流程图。

图2为本申请实施例的在云端创建虚拟偶像和虚拟演唱会场景的方法流程图。

图3为本申请实施例的实时采集本地VR设备的视觉角度数据和表演数据的流程图。

图4为本申请实施例的实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面的流程图。

图5为本申请实施例的一种VR端端云结合的虚拟演唱会渲染系统的结构示意图。

附图标记：10-构建模块；20-数据采集设备；30-驱动模块；40-画面采集设备；50-渲染模块；60-视频合成模块；70-数据传输模块；100-虚拟演唱会渲染系统。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

如图1所示，本申请提供一种VR端端云结合的虚拟演唱会渲染方法，该方法包括：

步骤S1，在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中。

如图2所示，步骤S1包括如下子步骤：

步骤S110，在云端根据所需直播的演唱会节目创建对应的数量的虚拟偶像模型及对应的虚拟演唱会场景模型。

具体的，虚拟偶像模型是利用角色模型创建工具获取虚拟偶像的三维角色模型；将三维角色模型导入模型引擎，并通过模型引擎对三维角色模型进行解析，获得虚拟偶像的模型数据。

步骤S120，将虚拟演唱会场景模型及虚拟偶像模型进行整合处理，得到整合模型文件。

步骤S130，将整合模型文件导入至虚拟引擎，生成融合后的虚拟偶像和虚拟演唱会场景。

具体的，融合后的虚拟偶像以虚拟演唱会场景为背景。

步骤S2，实时采集本地VR设备的视觉角度数据和表演数据，并将采集的数据发送至云端服务器。

如图3所示，步骤S2包括如下子步骤：

步骤S210，实时采集本地VR设备的视觉角度。

具体的，本地VR设备（本地观看设备）的每次角度变化都会被采集，并实时传输给云端虚拟摄像机，云端虚拟摄像机同步调整拍摄角度，保持本地VR设备和云端虚拟摄像机的角度一致，然后在云端实时渲染出云端虚拟摄像机拍摄到的画面。

步骤S220，实时采集表演数据。

其中，表演数据包括动捕演员的动作表情数据和声音数据；动捕演员的自身动作舞蹈、动捕演员的表情和舞美造型；声音数据包括动捕演员的歌曲和背景音乐。

表演数据用于驱动虚拟偶像获得舞台内容：舞台内容包括根据动捕演员的动作表情数据驱动的虚拟偶像自身动作舞蹈、虚拟偶像表情和舞美造型等、声音数据（动捕演员的演唱歌曲和背景音乐等）和环境特效等。

其中，通过动捕设备采集动捕演员的动作表情数据（虚拟偶像自身动作舞蹈、虚拟偶像表情和舞美造型等）和声音数据（歌曲和背景音乐等）。动作表情数据包括动作数据和表情数据等。

动捕设备是动捕演员使用的动作捕捉数据获取设备，包括但不限于惯性动捕传感器（通过惯性传感器采集动捕演员的动作数据，将惯性传感器配置于动捕演员的身体的特定部位，比如脚踝、膝盖、大腿、胳膊、手、胸部、腰部和肩部、头部等等，惯性传感器可以包括加速度计、陀螺仪和磁力计等）、光学动捕传感器（RGB摄像头、深度摄像头）。

其中，动捕演员是云端数字人虚拟偶像动作的驱动者。

根据演唱会真实场景与虚拟演唱会场景的映射关系，根据动捕演员在演唱会真实场景中的位置，确定在虚拟演唱会场景中虚拟偶像的目标位置，通过惯性传感器采集的动捕演员的动作数据确定动捕演员在演唱会真实场景中的移动距离和移动方向；按照场景映射规则中的距离映射比例，确定动捕演员在真实场景中的移动距离所对应的虚拟偶像在虚拟演唱会场景中的距离值；按照场景映射规则中的方向映射比例，确定动捕演员在真实场景中的移动方向所对应的虚拟偶像在虚拟演唱会场景中的方向值；根据虚拟偶像在演唱会直播场景中的距离值和方向值确定目标位置。

步骤S230，将采集的本地VR设备的视觉角度和表演数据实时传入云端服务器。

步骤S3，利用表演数据驱动虚拟偶像，并根据本地VR设备的视觉角度，实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面。

具体的，在云端服务器，根据动捕演员的动作表情数据驱动虚拟偶像，并根据本地VR设备的视觉角度，将虚拟摄像机调整为与本地VR设备视觉角度一致的角度，实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面，虚拟偶像画面以虚拟演唱会场景画面为背景画面。优选的，根据携带本地VR设备的观众在虚拟演唱会场景中的位置，调整虚拟摄像机的位置与该位置保持一致。

如图4所示，步骤S3包括如下子步骤：

步骤S310，根据实时采集的动捕演员的动作表情数据驱动虚拟偶像。

具体的，惯性传感器设置在动捕演员的动作部位；通过惯性传感器采集动捕演员的动作数据，通过模型引擎的虚拟引擎插件将动作数据实时传输至模型引擎，将动作数据与虚拟偶像的肢体动作进行关联，并通过骨骼绑定数据和蒙皮数据驱动虚拟偶像执行动作数据。通过深度摄像头采集动捕演员的表情数据；利用模型引擎的虚拟引擎插件将动捕演员的表情数据与虚拟偶像的面部表情进行关联，并通过表情控制数据驱动虚拟偶像执行表情数据。

步骤S320，根据本地VR设备的视觉角度，同步调整云端虚拟摄像机的拍摄角度。

具体的，将本地VR设备的视觉角度传输给云端虚拟摄像机，调整云端虚拟摄像机的拍摄角度与本地VR设备的视觉角度一致，保证本地VR设备和云端虚拟摄像机的角度保持一致。

步骤S330，与本地VR设备的视觉角度保持一致的云端虚拟摄像机实时拍摄虚拟偶像和虚拟演唱会场景画面。

步骤S4，实时渲染采集的虚拟偶像画面和虚拟演唱会场景画面，并插入声音数据，获得云端360VR视频流。

具体的，渲染虚拟偶像画面和虚拟演唱会场景画面的方法包括为虚拟偶像和虚拟演唱会场景贴图、添加材质和添加纹理等。渲染虚拟演唱会场景画面还包括插入环境特效。将获得的云端360VR视频流发送至本地计算设备。

步骤S5，将云端360VR视频流与本地观众画面合成一个虚拟演唱会视频流。

具体的，在本地计算设备上将云端360VR视频流与本地观众画面合成一个虚拟演唱会视频流。其中，采用现有的Google的视场角标准关系算法，将云端360VR视频流与本地观众画面按照视场关系合成虚拟演唱会视频流。其中，按照视场关系合成虚拟演唱会视频流的方法为：本地渲染的观众在游戏中互动时，根据观众所属的位置和视场角度实时调整云端360VR视频流的画面，进而获得云端360VR视频流与本地观众画面合成的虚拟演唱会视频流。

作为本发明的一个具体实施例，在现有的游戏引擎中将360VR视频流作为游戏的HDR（高动态范围图像）环境背景。

本地观众画面为在本地渲染的观众席画面，观众席画面包括观众和观众的互动：给主播送礼物、更换造型、使用道具、与其他观众交流等。观众是本地计算设备（或本地服务器）渲染的，不需要捕捉，采用现有的虚拟手柄摇杆操作技术移动观众位置。

本地观众画面的渲染方法包括：本地计算设备获取观众数据和观众互动数据；在本地计算设备根据观众数据和观众互动数据对观众席进行渲染获得本地观众画面，其中根据观众的数量和位置在观众席渲染观众，然后将观众互动数据发送给其他观众的客户端，其他观众的客户端在其本地计算设备渲染观众互动数据。

观众的互动渲染方法例如：观众给主播赠送一个“烟花”礼物，效果是在演唱会虚拟场景放出一个烟花。如果在云端渲染会存在一定的延迟，所以会在观众本地直接出现烟花渲染效果，同时通知本地服务器，本地服务器通知其他观众的客户端，所有客户端本地渲染烟花效果。

观众的互动渲染方法再例如：演唱会中的互动可能会出现用户需要根据音乐节奏或重音点挥动荧光棒打call。每个用户的行为不相同，会采取本地服务器渲染荧光棒效果。

步骤S6，将合成的虚拟演唱会视频流发送给本地观看客户端。

其中，本地观看客户端通常是指在手机上下载专属的app（应用）、PC端浏览器、或者VR一体机上安装安卓app。本地观看客户端接收虚拟演唱会视频流后进行播放。

实施例二

如图5所示，本申请提供一种VR端端云结合的虚拟演唱会渲染系统100，该系统包括：

构建模块10，用于在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中；

数据采集设备20，用于实时采集本地VR设备的视觉角度数据和表演数据，并将采集的数据发送至云端服务器；

驱动模块30，利用表演数据驱动虚拟偶像；

画面采集设备40，用于根据本地VR设备的视觉角度，实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面；

渲染模块50，用于实时渲染采集的虚拟偶像画面和虚拟演唱会场景画面，并插入声音数据，获得云端360VR视频流；

视频合成模块60，用于将云端360VR视频流与本地观众画面合成一个虚拟演唱会视频流；

数据传输模块70，用于将合成的虚拟演唱会视频流发送给本地观看客户端。

画面采集设备40为在云端设置的云端虚拟摄像机，云端虚拟摄像机调整其视觉角度与采集的本地VR设备的视觉角度一致后，采集虚拟偶像画面和虚拟演唱会场景画面

本申请实现的有益效果如下：

（1）本申请云端渲染服务器上输出的舞台表演内容为360VR视频流，这种处理方式区别于传统二维视频流，提供了更加立体真实的画面效果。另外，当观众使用本地VR设备随意旋转观看角度时，360VR视频流画面与本地VR设备视觉角度将保持一致，不会出现画面畸变、穿帮的的情况。

（2）本申请选择将演唱会内容放在云端渲染，将观众席画面放在本地渲染。由于演唱会内容复杂、画面要求高，需要高性能的渲染算力作为支撑，因此，云端服务器的算力优势提高了演唱会内容的渲染效率和渲染效果。由于观众席互动要求实时，需要低延迟、高响应速度，但是对于渲染算力要求不高，因此选择放在本地渲染，发挥了本地计算的延迟优势，提高观众互动响应速度。

（3）本申请使得演唱会等演绎表演活动可以在线上举行；动捕演员/艺术家无需在线下聚集，可以通过云端协作的方式共同接入演唱会；由于将最需要渲染算力的部分从本地移到云端进行，降低用户观看云端演唱会的设备门槛；由于云端算力充足，演唱会导演在效果上无需考虑用户端性能问题，对用户端性能要求较低，门槛较低，从而更好的发挥艺术想象空间；观众可以在任何时间任何地点，只要能够流畅的接入网络即可参与演唱会等演绎活动。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (9)

1.一种VR端端云结合的虚拟演唱会渲染方法，其特征在于，该方法包括：

在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中；

实时采集本地VR设备的视觉角度数据和表演数据；

利用表演数据驱动虚拟偶像；

根据本地VR设备的视觉角度，实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面；

实时渲染采集的虚拟偶像画面和虚拟演唱会场景画面，并插入声音数据，获得云端360VR视频流；

将云端360VR视频流与本地观众画面合成一个虚拟演唱会视频流，将获得的云端360VR视频流发送至本地计算设备，将云端360VR视频流与本地观众画面按照视场关系合成虚拟演唱会视频流，本地观众画面为在本地计算设备对观众席的观众和观众的互动进行渲染获得；其中，按照视场关系合成虚拟演唱会视频流的方法为：本地渲染的观众在游戏中互动时，根据观众所属的位置和视场角度实时调整云端360VR视频流的画面，进而获得云端360VR视频流与本地观众画面合成的虚拟演唱会视频流；

将合成的虚拟演唱会视频流发送给本地观看客户端。

2.根据权利要求1所述的VR端端云结合的虚拟演唱会渲染方法，其特征在于，表演数据包括动捕演员的动作表情数据和声音数据；动捕演员的自身动作舞蹈、动捕演员的表情和舞美造型；声音数据包括动捕演员的演唱歌曲和背景音乐。

3.根据权利要求2所述的VR端端云结合的虚拟演唱会渲染方法，其特征在于，根据动捕演员的动作表情数据驱动虚拟偶像，并根据本地VR设备的视觉角度，将虚拟摄像机调整为与本地VR设备视觉角度一致的角度，通过调整后的虚拟摄像机实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面。

4.根据权利要求1所述的VR端端云结合的虚拟演唱会渲染方法，其特征在于，本地计算设备获得观众的互动数据后，发送给其他观众的客户端，其他观众的客户端在其本地计算设备上渲染观众互动数据，所有的观众客户端都渲染出观众互动效果。

5.根据权利要求1所述的VR端端云结合的虚拟演唱会渲染方法，其特征在于，在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中的方法包括：

在云端根据所需直播的演唱会节目创建对应的数量的虚拟偶像模型及对应的虚拟演唱会场景模型；

将虚拟演唱会场景模型及虚拟偶像模型进行整合处理，得到整合模型文件；

将整合模型文件导入至虚拟引擎，生成融合后的虚拟偶像和虚拟演唱会场景。

6.根据权利要求2所述的VR端端云结合的虚拟演唱会渲染方法，其特征在于，通过动捕设备采集动捕演员的动作表情数据；其中，动作表情数据包括动作数据和表情数据；

其中，动捕设备包括惯性动捕传感器和光学动捕传感器。

7.根据权利要求6所述的VR端端云结合的虚拟演唱会渲染方法，其特征在于，通过模型引擎的虚拟引擎插件将动作数据实时传输至模型引擎，将动作数据与虚拟偶像的肢体动作进行关联，并通过骨骼绑定数据和蒙皮数据驱动虚拟偶像执行动作数据；利用模型引擎的虚拟引擎插件将动捕演员的表情数据与虚拟偶像的面部表情进行关联，并通过表情控制数据驱动虚拟偶像执行表情数据。

8.一种VR端端云结合的虚拟演唱会渲染系统，其特征在于，该系统包括：

构建模块，用于在云端创建虚拟偶像和虚拟演唱会场景，并将虚拟偶像融合在虚拟演唱会场景中；

数据采集设备，用于实时采集本地VR设备的视觉角度数据和表演数据；

驱动模块，利用表演数据驱动虚拟偶像；

画面采集设备，用于根据本地VR设备的视觉角度，实时采集被驱动后的虚拟偶像画面和虚拟演唱会场景画面；

渲染模块，用于实时渲染采集的虚拟偶像画面和虚拟演唱会场景画面，并插入声音数据，获得云端360VR视频流；

视频合成模块，用于将云端360VR视频流与本地观众画面合成一个虚拟演唱会视频流，将获得的云端360VR视频流发送至本地计算设备，将云端360VR视频流与本地观众画面按照视场关系合成虚拟演唱会视频流，本地观众画面为在本地计算设备对观众席的观众和观众的互动进行渲染获得；其中，按照视场关系合成虚拟演唱会视频流的方法为：本地渲染的观众在游戏中互动时，根据观众所属的位置和视场角度实时调整云端360VR视频流的画面，进而获得云端360VR视频流与本地观众画面合成的虚拟演唱会视频流；

数据传输模块，用于将合成的虚拟演唱会视频流发送给本地观看客户端。

9.根据权利要求8所述的VR端端云结合的虚拟演唱会渲染系统，其特征在于，画面采集设备为在云端设置的云端虚拟摄像机，云端虚拟摄像机调整其视觉角度与采集的本地VR设备的视觉角度一致后，采集虚拟偶像画面和虚拟演唱会场景画面。

Images