CN116563498A - 一种基于元宇宙的表演展场的虚实融合方法和装置 - Google Patents
一种基于元宇宙的表演展场的虚实融合方法和装置 Download PDFInfo
- Publication number
- CN116563498A CN116563498A CN202310203673.6A CN202310203673A CN116563498A CN 116563498 A CN116563498 A CN 116563498A CN 202310203673 A CN202310203673 A CN 202310203673A CN 116563498 A CN116563498 A CN 116563498A
- Authority
- CN
- China
- Prior art keywords
- performance
- video
- virtual
- universe
- meta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 239000000463 material Substances 0.000 claims abstract description 84
- 230000000694 effects Effects 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000002452 interceptive effect Effects 0.000 claims abstract description 27
- 238000012805 post-processing Methods 0.000 claims abstract description 24
- 238000005516 engineering process Methods 0.000 claims abstract description 23
- 238000004519 manufacturing process Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000007812 deficiency Effects 0.000 claims 1
- 238000004088 simulation Methods 0.000 abstract description 18
- 230000003993 interaction Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003238 somatosensory effect Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明的基于元宇宙的表演展场的虚实融合方法和装置，包括对与实际表演场景数据匹配的3D模型进行搭建制作；对提前录制好的表演视频进行抠像与后期处理；将搭建制作好的3D模型场景与处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎；对WEB端的3D编辑引擎中的素材资源进行优化与调整；对优化后的素材资源进行网页视频播放链接的输出。利用渲染的动画特效与摄像机录制将真人演出视频与3D场景结合，通过动画软件处理和3D材质球配置，提高表演展场的艺术仿真效果；对表演的艺术化特效处理与观众参与表演的交互方式环节增加新的技术路径，进一步强化元宇宙表演展场的技术，提高元宇宙表演展场的艺术、仿真效果、分享性、传播性、参与性、互动性。
Description
技术领域
本发明涉及元宇宙技术领域，更具体的，涉及一种基于元宇宙的表演展场的虚实融合方法和装置。
背景技术
随着元宇宙概念的蓬勃发展，相关技术从概念描述到实现具体技术路径的规范化已经成为了建立元宇宙技术基石的必经之路。元宇宙表演展场，是通过科技将舞台表演以实时演播或者数据保存与再现的方式展示给观众，并且实现不同维度层面的交互功能。
然而，在元宇宙科技的大背景下，如何提高表演展场的艺术效果、仿真效果，实现其分享性、传播性、参与度和互动性，成为增强元宇宙沉浸式体验亟待解决的问题。
发明内容
为了克服现有技术的缺陷，本发明的一种基于元宇宙的表演展场的虚实融合方法和装置，解决技术中如何提高表演展场的艺术效果、仿真效果，实现其分享性、传播性、参与度和互动性的问题。
为达此目的，本发明采用以下技术方案：
本发明提供了一种基于元宇宙的表演展场的虚实融合方法，包括以下步骤：
对与实际表演场景数据匹配的3D模型进行搭建制作，形成搭建制作好的3D模型场景；
对提前录制好的表演视频进行抠像与后期处理，形成处理后的表演视频文件；其中，所述后期处理至少包括灯光处理、调色处理、视频传送门特效处理；
将所述搭建制作好的3D模型场景与所述处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；
对所述WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源；其中，所述优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；
对所述优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端。
本发明的进一步地技术方案在于，所述对所述WEB端的3D编辑引擎中的资源进行优化与调整，形成优化与调整后的资源，包括：
对所述WEB端的3D编辑引擎中的所述搭建制作好的3D模型场景的材质进行润色以及参数调整；其中参数调整至少包括diffuse参数的调整、opacity参数的调整、emission参数的调整；
在所述WEB端的3D编辑引擎中添加数字人资源；其中，所述数字人资源至少包括所述数字人的模型、贴图、动画；
创建所述观众登录页面的交互操作；
在所述diffuse图层添加所述视频播放链接接口，并取代色彩图层；
在所述opacity图层添加所述视频播放链接接口，并播放mask遮罩的部分；
在所述emission图层添加所述视频播放链接接口，并作为模拟光照的部分。
本发明的进一步地技术方案在于，所述支持WEB端的3D编辑引擎，采用基于WebGL技术的Playcanvas引擎。
本发明的进一步地技术方案在于，所述对所述优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端之前，还包括：
对所述优化与调整后的素材资源中的每一帧图片进行在线动态更新；
对所述优化与调整后的素材资源中的每一帧视频进行流式加载。
本发明还提供一种基于元宇宙的表演展场的虚实融合装置，包括：
搭建制作模块，用于对与实际表演场景数据匹配的3D模型进行搭建制作，形成搭建制作好的3D模型场景；
抠像与后期处理模块，用于对提前录制好的表演视频进行抠像与后期处理，形成处理后的表演视频文件；其中，所述后期处理至少包括灯光处理、调色处理、视频传送门特效处理；
虚实融合模块，用于将所述搭建制作好的3D模型场景与所述处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；
优化与调整模块，用于对所述WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源；其中，所述优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；
输出模块，用于对所述优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端。
本发明的进一步地技术方案在于，所述优化与调整模块，具体用于对所述WEB端的3D编辑引擎中的所述搭建制作好的3D模型场景的材质进行润色以及参数调整；其中参数调整至少包括diffuse参数的调整、opacity参数的调整、emission参数的调整；
在所述WEB端的3D编辑引擎中添加数字人资源；其中，所述数字人资源至少包括所述数字人的模型、贴图、动画；
创建所述观众登录页面的交互操作；
在所述diffuse图层添加所述视频播放链接接口，并取代色彩图层；
在所述opacity图层添加所述视频播放链接接口，并播放mask遮罩的部分；
在所述emission图层添加所述视频播放链接接口，并作为模拟光照的部分。
本发明的进一步地技术方案在于，所述支持WEB端的3D编辑引擎，采用基于WebGL技术的Playcanvas引擎。
本发明的进一步地技术方案在于，还包括在线动态更新模块、以及流式加载模块；
所述在线动态更新模块，用于对所述优化与调整后的素材资源中的每一帧图片进行在线动态更新；
所述流式加载模块，用于对所述优化与调整后的素材资源中的每一帧视频进行流式加载。
本发明的有益效果为：
本发明的一种基于元宇宙的表演展场的虚实融合方法，包括步骤S101：对与实际表演场景数据匹配的3D模型进行搭建制作，形成搭建制作好的3D模型场景；步骤S102：对提前录制好的表演视频进行抠像与后期处理，形成处理后的表演视频文件；其中，后期处理至少包括灯光处理、调色处理、视频传送门特效处理；步骤S103：将搭建制作好的3D模型场景与处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；步骤S104：对WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源；其中，优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；步骤S105：对优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端。
以上实施，具体来说，首先在3D软件中进行实际表演场景数据匹配的3D模型的搭建与制作；然后在绿幕棚里利用所需的设备进行对现场表演视频，例如，现场乐队表演、歌唱表演、歌剧表演等音乐节活动的提前录制；接着对提前录制好的表演视频进行绿幕抠像与后期处理，增加视频的艺术效果以及对直播视频添加实时艺术效果；在将搭建制作好的3D模型场景与处理后的表演视频文件，例如，将表演人物、乐器等关键物和人物真实地虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；并对WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源，对优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端；其中，优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；在将虚实结合的表演形式通过WEB技术在线链接，使互联网覆盖范围内拥有互联网接收设备的观众在线观看表演，为每个登录的观众生成虚拟形象，实现观众参与节目的交互功能与对节目的点播功能。
本发明能够实现利用计算机渲染的动画特效与摄像机录制的真人现场表演的虚实结合，将真人演出视频与3D场景结合，通过AE软件处理和3D材质球配置，来提高表演展场的艺术效果、仿真效果，实现其分享性、传播性、互动性、参与度的目的；本发明可以利用有限的资源，在对表演的艺术化特效处理环节与观众参与表演的交互方式环节增加新的技术路径，营造出更加创新的，且具有互动探索性的演出体验，进一步深化与强化了元宇宙表演展场的技术，提高了元宇宙表演展场的艺术效果、仿真效果、参与性、互动性，使交流更加真实和丰富；人与人之间可根据需要在不同地点通过用户端设备连接网络实时交互，不受空间和时间的限制；可实现多人之间通过多个用户端设备连接网络在同一虚拟空间进行语音、视频、动作、体感多方位的互动，使多人之间的交互更加便捷。
附图说明
图1是本发明具体实施方式提供的一种基于元宇宙的表演展场的虚实融合方法的流程示意图；
图2是本发明具体实施方式提供的一种元宇宙虚拟展演的3D模型的视觉效果图示意图；
图3是本发明具体实施方式提供的一种绿幕录制时的录制现场的截图示意图；
图4是本发明具体实施方式提供的一种将原去底素材和遮罩层统一合成为视频后的截图示意图；
图5是本发明具体实施方式提供的一种基于元宇宙互联网端的音乐节表演展场的虚实融合方法的呈现效果示意图；
图6是本发明具体实施方式提供的一种基于元宇宙的表演展场的虚实融合装置的结构示意图。
图中：201、搭建制作模块；202、抠像与后期处理模块；203、虚实融合模块；204、优化与调整模块；205、在线动态更新模块；206、流式加载模块；207、输出模块。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
本发明的基于元宇宙的表演展场的虚实融合方法中的表演展场，可以是纯音乐节的表演展场，也可以是舞台剧、歌剧等的表演展场。在现有的基于WEB端的元宇宙表演展场中，主要有以下几种常见的模块化组合方式。首先是视频的输出方式环节：主要有视频实景录制，绿幕录制和直播；其次是对表演的艺术化特效处理环节：主要有在现场通过LED屏幕环境的艺术效果渲染方式，对录制的视频通过后期处理增加艺术效果的方式以及对直播视频添加实时艺术效果的方式；最后是观众参与表演的交互方式环节：其中主要是通过文字和表情类的评论，和发送实时弹幕功能的交互方式。以上三种不同的模块化组合，形成了现在大部分基于WEB端的元宇宙表演展场形式。然而，在元宇宙科技的大背景下，如何用计算机渲染的动画特效与摄像机录制的真人现场表演的虚实结合，提高表演展场的艺术效果、仿真效果，实现其分享性、传播性、参与度和互动性，成为增强元宇宙沉浸式体验亟待解决的问题。如何在以上提出的表演展场方式的基础上，进一步深化与强化元宇宙表演展场技术，成为了本技术实现方法的主要方向。
图1是本发明具体实施方式提供的一种基于元宇宙的表演展场的虚实融合方法的流程示意图，如图1所示。一种基于元宇宙的表演展场的虚实融合方法，包括：步骤S101：对与实际表演场景数据匹配的3D模型进行搭建制作，形成搭建制作好的3D模型场景；步骤S102：对提前录制好的表演视频进行抠像与后期处理，形成处理后的表演视频文件；其中，后期处理至少包括灯光处理、调色处理、视频传送门特效处理；步骤S103：将搭建制作好的3D模型场景与处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；步骤S104：对WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源；其中，优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；步骤S105：对优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端。
以上实施，具体来说，首先在3D软件中进行实际表演场景数据匹配的3D模型的搭建与制作；然后在绿幕棚里利用所需的设备进行对现场表演视频，例如，现场乐队表演、歌唱表演、歌剧表演等音乐节活动的提前录制；接着对提前录制好的表演视频进行绿幕抠像与后期处理，增加视频的艺术效果以及对直播视频添加实时艺术效果；在将搭建制作好的3D模型场景与处理后的表演视频文件，例如，将表演人物、乐器等关键物和人物真实地虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；并对WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源，对优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端；其中，优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；在将虚实结合的表演形式通过WEB技术在线链接，使互联网覆盖范围内拥有互联网接收设备的观众在线观看表演，为每个登录的观众生成虚拟形象，实现观众参与节目的交互功能与对节目的点播功能。
本发明能够实现利用计算机渲染的动画特效与摄像机录制的真人现场表演的虚实结合，将真人演出视频与3D场景结合，通过AE软件处理和3D材质球配置，来提高表演展场的艺术效果、仿真效果，实现其分享性、传播性、互动性、参与度的目的；本发明可以利用有限的资源，在对表演的艺术化特效处理环节与观众参与表演的交互方式环节增加新的技术路径，营造出更加创新的，且具有互动探索性的演出体验，进一步深化与强化了元宇宙表演展场的技术，提高了元宇宙表演展场的艺术效果、仿真效果、参与性、互动性，使交流更加真实和丰富；人与人之间可根据需要在不同地点通过用户端设备连接网络实时交互，不受空间和时间的限制；可实现多人之间通过多个用户端设备连接网络在同一虚拟空间进行语音、视频、动作、体感多方位的互动，使多人之间的交互更加便捷。
其中，步骤S101中对与实际表演场景数据匹配的3D模型进行搭建制作，形成搭建制作好的3D模型场景，具体地为：(1)利用实地考察以及拍摄等手段，对要虚拟化的实地场景即3D模型场景进行信息采集。主要对要搭建的主体建筑外立面的外形采集、主体建筑的三维立体空间采集、以及附属环境的评估。通过手机拍照或相机拍照的形式对要搭建与制作的主体建筑外立面进行记录与保存；对于主体建筑的3D模型，可以向建筑的开发方或者相关机构得到，或者根据建筑空间结构进行粗略的3D重建，这些方式都能够得到与表演场景数据匹配的3D模型；最后根据要呈现出的整体效果，选取周围附属的环境，例如选取：绿化带的植被树木、公共道路、其他建筑体、天空环境等附属环境；(2)根据展演方的需求，对虚拟的主体舞台进行设计，并且加入一些艺术效果的动画设计，例如舞台开启的方式，表演者登台的方式等；(3)通过上述中采集的主体建筑相片信息和附属环境信息作为参考，在MAYA等软件中进行虚拟3D模型场景的制作与搭建。在构建完主体舞台最终呈现效果与主体的建筑体模型后，利用相片参考制作主体建筑物表面的纹理贴图，其中，主体建筑物表面的纹理贴图的制作，包括以下几个步骤：
(a)在虚拟3D模型场景制作完毕后，在三维软件，例如，在MAYA软件里面对虚拟3D模型场景进行分解UV的操作处理；
(b)待分解UV结束后，在三维软件里对场景进行灯光模拟、材质模拟、纹理模拟处理；灯光模拟、材质模拟、纹理模拟的处理效果，可以根据具体的实施情况进行调整，这里就不再赘述；
(c)灯光、材质、纹理模拟处理完成后，利用渲染器如：Vray，redshift，Oc等，把灯光信息、材质贴图、纹理凹凸等信息，利用贴图烘焙技术，把灯光信息、材质贴图、纹理凹凸等信息生分别成为图片信息，使用的贴图内容为：灯光贴图、色彩贴图、发光贴图、法线贴图、反光贴图、透明贴图等；
(d)贴图烘焙信息转位完成后，到Web3D引擎里，导入模型、材质、贴图信息，还原三维软件里的渲染效果。
在完成纹理贴图的制作后，添加选择的周围环境要素，再整合主体舞台、主体建筑与附属环境资源，形成初步的元宇宙展演虚拟环境。
另外，根据：(2)根据展演方的需求，对虚拟的主体舞台进行设计，并且加入一些艺术效果的动画设计，例如舞台开启的方式，表演者登台的方式等的设计方案，具体地，可以在MAYA软件中制作舞台的开启动画、表演者登台的艺术特效：场景中如有动画调用，需要在三维软件中，进行动画制作，具体方法为：在动画起始位置记录模型坐标信息，在动画结束位置再次记录位置坐标信息，最后在动画运动过程中调整过程中的坐标信息，达到动画效；将所有文件打包输出为FBX格式备用。
以上实施中，其中，3D模型包括主体建筑与附属环境，主体建筑为要搭建的主体建筑外立面、主体建筑的三维立体空间、以及主体舞台；附属环境为绿化带的植被树木、公共道路、其他建筑体、天空环境等；3D模型的搭建与制作可以在MAYA、3DMAX、C4D、Blender等专业的曲面建模软件中搭建与制作。图2是本发明具体实施方式提供的一种元宇宙虚拟展演的3D模型的视觉效果图，如图2所示。
步骤S102中，对提前录制好的表演视频进行抠像与后期处理，形成处理后的表演视频文件；其中，后期处理至少包括灯光处理、调色处理、视频传送门特效处理；具体地，需要先对现场表演视频进行录制；为了将真实的人物与演出融入元宇宙展演的舞台，要提前对展演进行现场的实时绿幕录制，以便后期将其自然地融入到搭建好的虚拟3D模型场景之中。要完成模拟真实现场演出级别的录制，需要以下设备：4K电影级别录像机，型号为：SONYPXW-Z150；收音设备：有线电容麦克风，型号为：SONY ECM-100N；柔光布料绿环境制作的背景墙，规格为：2.5m×8m；根据上述中设计的主体舞台高度，表演角色平均视觉高度匹配现场摄影机的视角与高度；同时根据录制现场的空间结构，找到麦克风最佳收音位置；合理安排表演者在绿幕前的站位；并且根据以上参数拍摄符合场景的绿幕现场表演。
其中，灯光处理具体地可以为：根据录制现场对视频模拟实时的灯光，通过调整其自发光属性，同步模拟环境灯光；调色处理具体地为：在生成最终画面前，因录制关系，画面会带较多的绿色或蓝色的色彩信息，通过后期视频软件，如AE，对视频进行调色处理，去除多余的绿色或蓝色的色彩信息，以还原真实色彩效果，进一步还原真实度；接着用以下的方法制作视频传送门特效，丰富视频的演绎效果，包括：(1)使用后期软件工具制作过渡特效；(2)使用视频素材(传送门)直接用作过渡特效；(3)使用场景物体遮挡。
图3是本发明具体实施方式提供的一种绿幕录制时的录制现场的截图示意图，如图3所示。
步骤S102中：对提前录制好的表演视频进行抠像，具体实施中，可以采用AfterEffect软件对录制好的视频进行抠像。为了达到较为真实自然的实景拍摄抠像，要进行如下的流程：首先要对视频进行alpha透明图层的去底；随后用mask遮罩技术进行透明度的处理；最后，将原去底素材和遮罩层统一合成为视频。如图4所示，图4是本发明具体实施方式提供的一种将原去底素材和遮罩层统一合成为视频后的截图示意图。
步骤S103：将搭建制作好的3D模型场景与处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；具体地为：将搭建制作好的3D模型场景与处理后的表演视频文件，虚实移植到基于WebGL技术的Playcanvas引擎。
当所有必须的素材都整合在Playcanvas引擎后,因为引擎的改变，需要对这些资源在Playcanvas引擎做最后的优化与调整。
本发明的进一步地技术方案在于，对WEB端的3D编辑引擎中的资源进行优化与调整，形成优化与调整后的资源，包括：对WEB端的3D编辑引擎中的搭建制作好的3D模型场景的材质进行润色以及参数调整；其中参数调整至少包括diffuse参数的调整、opacity参数的调整、emission参数的调整；在WEB端的3D编辑引擎中添加数字人资源；其中，数字人资源至少包括数字人的模型、贴图、动画；创建观众登录页面的交互操作；在diffuse图层添加视频播放链接接口，并取代色彩图层；在opacity图层添加视频播放链接接口，并播放mask遮罩的部分；在emission图层添加视频播放链接接口，并作为模拟光照的部分。
以上实施，具体来说，虚拟场景与环境的材质属性可能会产生微小的差值，因此需要对其进行进一步的润色与调整，包括：1、(1)其主要是根据Playcanvas引擎渲染出来的效果，再对虚拟场景的材质的各种参数进行微调(如diffuse参数，opacity参数，emission参数等)，使场景渲染效果更贴近设计效果。(2)随后，将之前制作好的FBX格式的舞台开启、关闭动画进行安排与调度；当每个节目开始时，调度舞台开启动画；当节目演出结束时，调度舞台关闭动画；这样呈现完整的演出开闭幕流程。(3)最后，在将虚拟场景和调度好的动画进行模型资源和动画资源打包，转化成WebGL环境可以调用的JSON和GLB格式。
2、在Playcanvas引擎中添加现有的数字人资源，其中，(1)数字人资源包括数字人的模型、贴图、动画等。(2)然后，创建观众登录页面后的相关交互，使得观众能够通过连通互联网的设备端(如手机、平板、电脑等)进行登录后的数字人形象选择(本方案提供男女两种角色的选择)、现场节目的选择(通过悬浮在屏幕右方的下拉菜单)与数字人动作的选择(通过屏幕下方悬浮窗选择庆祝、鼓掌等数字人动作)。
3、在虚拟舞台上将抠图以及后处理过的实景表演视频片段通过以下三个的方式，与虚拟场景虚实融合。其具体实施方法如下三个步骤：(1)在diffuse即动态图片(视频)的漫反射贴图图层添加视频的播放链接接口，并且取代色彩图层(适用范围为视频播放的部分)；漫反射贴图图层主要表现出物体表面的反射和表面颜色；(2)然后在opacity，即动态图片(视频)的透明贴图图层添加相同的视频播放链接，并且播放mask遮罩的部分；透明贴图图层定义贴图的不透明度。黑色是透明的部分，白色为不透明的部分，灰色为半透明的部分；如图4中所示的；视频播放链接接口展示的内容主要分为上下两部分，用上半部分作为透明图层的数据，把人物以外的东西透明化隐藏掉。用下半部分作为漫反射贴图图层和自发光贴图的数据。(3)最后，在emission即动态图片(视频)的发光贴图图层添加相同的视频播放链接接口，作为模拟光照的部分，其发光值参数值的设定，根据不同的现场录制视频参考取值0.1到0.7之间(适用范围为视频播放的部分)；自发光贴图控制表面发射光的颜色和亮度，用来补充物体表面的亮度。
本发明的进一步地技术方案在于，支持WEB端的3D编辑引擎，采用基于WebGL技术的Playcanvas引擎。
本发明的进一步地技术方案在于，对优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端之前，还包括：对优化与调整后的素材资源中的每一帧图片进行在线动态更新；对优化与调整后的素材资源中的每一帧视频进行流式加载。
以上实施，具体来说，当所有必须的素材都整合在Playcanvas引擎后,最后的阶段则是对这些资源在Playcanvas引擎做最后的优化与调整(例如把模型格式转换为gltf格式，并进行压缩)，最后输出为网页链接，并且发布上线。图5是本发明具体实施方式提供的一种基于元宇宙互联网端的音乐节表演展场的虚实融合方法的呈现效果示意图，如图5所示。因为虚拟舞台上的展演是实景拍摄的现场表演，已经具备很高的真实度，为了进一步提高其保真度，需要在视频播放流中对每一帧的图片进行在线动态更新，完成动画的无延迟实现。在线动态更新需要获取播放视频的video标签的视频流，并将视频流的每一帧存储进一个Texture对象的内存缓冲区，在update方法内持续地把当前视频流获取到的帧数据存储进Texture对象的内存缓冲区替换掉旧有的帧数据，这样便能实现实时更新虚拟舞台上演出内容；另外，由于观众要通过互联网来获取展演资源到设备本地，确保流媒体的播放流畅性成为了提升观看体验中极其重要的一环。在此，在Playcanvas中利用HTML5 Video标签和MP4格式的特性，使视频在流式加载的同时，还可以播放(HTML5的Video原声支持边下边播，不需要缓冲完整个视频就能够播放)，减少用户的等待时间和对网络资源的占用，有效提高现场真人表演视频在线播放的流畅度；最后，则需要在Playcanvas引擎中将所有打包好的内容输出为网页链接，使得拥有互联网设备的观众可以无时空阻隔地观看元宇宙实景音乐节展演。
图6是本发明具体实施方式提供的一种基于元宇宙的表演展场的虚实融合装置的结构示意图，如图6所示。因此，本发明还提供一种基于元宇宙的表演展场的虚实融合装置，包括：搭建制作模块201，用于对与实际表演场景数据匹配的3D模型进行搭建制作，形成搭建制作好的3D模型场景；抠像与后期处理模块202，用于对提前录制好的表演视频进行抠像与后期处理，形成处理后的表演视频文件；其中，后期处理至少包括灯光处理、调色处理、视频传送门特效处理；虚实融合模块203，用于将搭建制作好的3D模型场景与处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；优化与调整模块204，用于对WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源；其中，优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；输出模块207，用于对优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端。
本发明的进一步地技术方案在于，优化与调整模块204，具体用于对WEB端的3D编辑引擎中的搭建制作好的3D模型场景的材质进行润色以及参数调整；其中参数调整至少包括diffuse参数的调整、opacity参数的调整、emission参数的调整；在WEB端的3D编辑引擎中添加数字人资源；其中，数字人资源至少包括数字人的模型、贴图、动画；创建观众登录页面的交互操作；在diffuse图层添加视频播放链接接口，并取代色彩图层；在opacity图层添加视频播放链接接口，并播放mask遮罩的部分；在emission图层添加视频播放链接接口，并作为模拟光照的部分。
本发明的进一步地技术方案在于，支持WEB端的3D编辑引擎，采用基于WebGL技术的Playcanvas引擎。
本发明的进一步地技术方案在于，还包括在线动态更新模块205、以及流式加载模块206；在线动态更新模块205，用于对优化与调整后的素材资源中的每一帧图片进行在线动态更新；流式加载模块206，用于对优化与调整后的素材资源中的每一帧视频进行流式加载。
本发明能够实现利用计算机渲染的动画特效与摄像机录制的真人现场表演的虚实结合，将真人演出视频与3D场景结合，通过AE软件处理和3D材质球配置，来提高表演展场的艺术效果、仿真效果，实现其分享性、传播性、互动性、参与度的目的；本发明可以利用有限的资源，在对表演的艺术化特效处理环节与观众参与表演的交互方式环节增加新的技术路径，营造出更加创新的，且具有互动探索性的演出体验，进一步深化与强化了元宇宙表演展场的技术，提高了元宇宙表演展场的艺术效果、仿真效果、参与性、互动性，使交流更加真实和丰富；人与人之间可根据需要在不同地点通过用户端设备连接网络实时交互，不受空间和时间的限制；可实现多人之间通过多个用户端设备连接网络在同一虚拟空间进行语音、视频、动作、体感多方位的互动，使多人之间的交互更加便捷。
本发明是通过优选实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。本发明不受此处所公开的具体实施例的限制，其他落入本申请的权利要求内的实施例都属于本发明保护的范围。
Claims (8)
1.一种基于元宇宙的表演展场的虚实融合方法，其特征在于，包括以下步骤：
对与实际表演场景数据匹配的3D模型进行搭建制作，形成搭建制作好的3D模型场景；
对提前录制好的表演视频进行抠像与后期处理，形成处理后的表演视频文件；其中，所述后期处理至少包括灯光处理、调色处理、视频传送门特效处理；
将所述搭建制作好的3D模型场景与所述处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；
对所述WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源；其中，所述优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；
对所述优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端。
2.如权利要求1所述的一种基于元宇宙的表演展场的虚实融合方法，其特征在于，所述对所述WEB端的3D编辑引擎中的资源进行优化与调整，形成优化与调整后的资源，包括：
对所述WEB端的3D编辑引擎中的所述搭建制作好的3D模型场景的材质进行润色以及参数调整；其中参数调整至少包括diffuse参数的调整、opacity参数的调整、emission参数的调整；
在所述WEB端的3D编辑引擎中添加数字人资源；其中，所述数字人资源至少包括所述数字人的模型、贴图、动画；
创建所述观众登录页面的交互操作；
在所述diffuse图层添加所述视频播放链接接口，并取代色彩图层；
在所述opacity图层添加所述视频播放链接接口，并播放mask遮罩的部分；
在所述emission图层添加所述视频播放链接接口，并作为模拟光照的部分。
3.如权利要求1所述的一种基于元宇宙的表演展场的虚实融合方法，其特征在于，
所述支持WEB端的3D编辑引擎，采用基于WebGL技术的Playcanvas引擎。
4.如权利要求1所述的一种基于元宇宙的表演展场的虚实融合方法，其特征在于，所述对所述优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端之前，还包括：
对所述优化与调整后的素材资源中的每一帧图片进行在线动态更新；
对所述优化与调整后的素材资源中的每一帧视频进行流式加载。
5.一种基于元宇宙的表演展场的虚实融合装置，其特征在于，包括：
搭建制作模块，用于对与实际表演场景数据匹配的3D模型进行搭建制作，形成搭建制作好的3D模型场景；
抠像与后期处理模块，用于对提前录制好的表演视频进行抠像与后期处理，形成处理后的表演视频文件；其中，所述后期处理至少包括灯光处理、调色处理、视频传送门特效处理；
虚实融合模块，用于将所述搭建制作好的3D模型场景与所述处理后的表演视频文件，虚实融合在支持WEB端的3D编辑引擎中，形成支持WEB端的3D编辑引擎的素材资源；
优化与调整模块，用于对所述WEB端的3D编辑引擎中的素材资源进行优化与调整，形成优化与调整后的素材资源；其中，所述优化与调整的内容至少包括对3D模型场景中材质的润色与参数调整、数字人资源的添加、供观众交互操作的创建、在diffuse漫反射图图层、opacity透明贴图图层、emission发光图图层分别添加视频播放链接接口；
输出模块，用于对所述优化与调整后的素材资源进行网页视频播放链接的输出，并分享到WEB端。
6.如权利要求1所述的一种基于元宇宙的表演展场的虚实融合装置，其特征在于，
所述优化与调整模块，具体用于对所述WEB端的3D编辑引擎中的所述搭建制作好的3D模型场景的材质进行润色以及参数调整；其中参数调整至少包括diffuse参数的调整、opacity参数的调整、emission参数的调整；
在所述WEB端的3D编辑引擎中添加数字人资源；其中，所述数字人资源至少包括所述数字人的模型、贴图、动画；
创建所述观众登录页面的交互操作；
在所述diffuse图层添加所述视频播放链接接口，并取代色彩图层；
在所述opacity图层添加所述视频播放链接接口，并播放mask遮罩的部分；
在所述emission图层添加所述视频播放链接接口，并作为模拟光照的部分。
7.如权利要求1所述的一种基于元宇宙的表演展场的虚实融合装置，其特征在于，
所述支持WEB端的3D编辑引擎，采用基于WebGL技术的Playcanvas引擎。
8.如权利要求1所述的一种基于元宇宙的表演展场的虚实融合装置，其特征在于，还包括在线动态更新模块、以及流式加载模块；
所述在线动态更新模块，用于对所述优化与调整后的素材资源中的每一帧图片进行在线动态更新；
所述流式加载模块，用于对所述优化与调整后的素材资源中的每一帧视频进行流式加载。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310203673.6A CN116563498A (zh) | 2023-03-03 | 2023-03-03 | 一种基于元宇宙的表演展场的虚实融合方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310203673.6A CN116563498A (zh) | 2023-03-03 | 2023-03-03 | 一种基于元宇宙的表演展场的虚实融合方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116563498A true CN116563498A (zh) | 2023-08-08 |
Family
ID=87495374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310203673.6A Pending CN116563498A (zh) | 2023-03-03 | 2023-03-03 | 一种基于元宇宙的表演展场的虚实融合方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563498A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180052496A (ko) * | 2016-11-10 | 2018-05-18 | 주식회사 다림비젼 | 가상 공연 스튜디오 시스템 |
| US10594786B1 (en) * | 2017-01-10 | 2020-03-17 | Lucasfilm Entertainment Company Ltd. | Multi-device interaction with an immersive environment |
| CN112738361A (zh) * | 2020-12-28 | 2021-04-30 | 广州赞赏信息科技有限公司 | 一种视频直播虚拟演播厅的实现方法 |
| CN114900678A (zh) * | 2022-07-15 | 2022-08-12 | 北京蔚领时代科技有限公司 | 一种vr端端云结合的虚拟演唱会渲染方法及系统 |
| CN115118880A (zh) * | 2022-06-24 | 2022-09-27 | 中广建融合(北京)科技有限公司 | 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统 |
-
2023
- 2023-03-03 CN CN202310203673.6A patent/CN116563498A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180052496A (ko) * | 2016-11-10 | 2018-05-18 | 주식회사 다림비젼 | 가상 공연 스튜디오 시스템 |
| US10594786B1 (en) * | 2017-01-10 | 2020-03-17 | Lucasfilm Entertainment Company Ltd. | Multi-device interaction with an immersive environment |
| CN112738361A (zh) * | 2020-12-28 | 2021-04-30 | 广州赞赏信息科技有限公司 | 一种视频直播虚拟演播厅的实现方法 |
| CN115118880A (zh) * | 2022-06-24 | 2022-09-27 | 中广建融合(北京)科技有限公司 | 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统 |
| CN114900678A (zh) * | 2022-07-15 | 2022-08-12 | 北京蔚领时代科技有限公司 | 一种vr端端云结合的虚拟演唱会渲染方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 21世纪经济报道: ""虚拟演出"走红背后：MTV增设最佳元宇宙表演奖，商业化模式待探索", pages 1 - 5, Retrieved from the Internet <URL:《https://rmh.pdnews.cn/Pc/ArtInfoApi/article?id=30767338》> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106713988A (zh) | 一种对虚拟场景直播进行美颜处理的方法及系统 | |
| CN105931288A (zh) | 数字展览馆构建方法及系统 | |
| CN107767432A (zh) | 一种采用三维虚拟技术的房地产宣传系统 | |
| CN113781660A (zh) | 一种用于直播间在线渲染加工虚拟场景的方法及装置 | |
| Guan et al. | Visual communication design using machine vision and digital media communication technology | |
| CN116055800A (zh) | 一种移动端获得定制背景实时舞蹈视频的方法 | |
| CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
| CN116563498A (zh) | 一种基于元宇宙的表演展场的虚实融合方法和装置 | |
| Sun | Research on the application of 3D animation special effects in animated films: taking the film avatar as an example | |
| CN113516761B (zh) | 视错觉类裸眼3d内容制作方法及装置 | |
| CN116962746A (zh) | 基于连麦直播的线上合唱方法、装置及线上合唱系统 | |
| Lombardo et al. | Archeology of multimedia | |
| KR100448914B1 (ko) | 실사 합성 애니메이션 제작 방법 및 그 제공 방법 | |
| Reinhuber et al. | The Scale of Immersion: Different audio-visual experiences exemplified by the 360 video Secret Detours | |
| CN115955554B (zh) | 一种图层化的虚实融合视频制作方法 | |
| Zeng et al. | The Application of Virtual Reality Technology in Digital Space Design | |
| Deng et al. | Design and Development of Virtual Scene of" Birds paying homage to the Phoenix" Based on Virtual Reality Technology | |
| KR102654323B1 (ko) | 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템 | |
| Mengni et al. | Research on cross-border practice and communication of dance art in the new media environment | |
| Barrass | An Immersive Interactive Experience of Contemporary Aboriginal Dance at the National Museum of Australia. | |
| Ming | Post-production of digital film and television with development of virtual reality image technology-advance research analysis | |
| Maejima et al. | Automatic Mapping Media to Device Algorithm that Considers Affective Effect | |
| Regina | Immersive Pipeline white paper | |
| CN112087663B (zh) | 一种移动端生成明暗环境适配舞蹈视频的方法 | |
| WO2023130715A1 (zh) | 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |