CN117014644A - 元宇宙直播视频处理方法、装置及元宇宙直播系统 - Google Patents

Abstract

本申请涉及一种元宇宙直播视频处理方法、装置、元宇宙直播系统、计算机设备及计算机可读存储介质；所述方法包括：获取元宇宙直播间的主播全景视频流并与背景图像进行合成得到直播全景视频流；对直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；将实时直播视频流渲染在透明球体上，并在透明球体的内部设置虚拟摄像头；获取客户端的设备类型，根据设备类型选择相应的实时直播视频流下发至客户端，并使得客户端以虚拟摄像头的视觉角度对实时直播视频流进行渲染；该技术方案，可以适应元宇宙直播场景下的不同终端设备的播放与观看交互需求，促进了元宇宙直播技术的应用推广。

Description

元宇宙直播视频处理方法、装置及元宇宙直播系统

技术领域

本申请涉及网络直播技术领域，特别是涉及一种元宇宙直播视频处理方法、装置、元宇宙直播系统、计算机设备及计算机可读存储介质。

背景技术

随着元宇宙技术的发展，在直播领域也得到越来越多的应用，基于元宇宙搭建的虚拟空间，各种虚拟资源在直播间中展示，可供主播和观众可以进行更加沉浸式的虚拟互动。

在元宇宙直播场景下，主播是在现实场景上开播，将现实人物跟虚拟场景进行结合，并呈现一套虚实结合的直播与观看技术方案；同时，客户端会使用不同的终端设备，如移动端设备、PC(Personal Computer，个人计算机)端设备及VR(Virtual Reality，虚拟现实)设备等等，不同设备类型的客户端观看直播体验与观看交互具有较大差异，常规的直播视频处理架构，无法匹配同一场元宇宙全景直播下的多类型终端直播视频处理需求，阻碍了元宇宙直播技术的应用。

发明内容

基于此，有必要针对上述技术问题之一，提供一种元宇宙直播视频处理方法、装置、元宇宙直播系统、计算机设备及计算机可读存储介质，满足元宇宙直播场景下不同设备类型终端设备的直播视频处理需求。

第一方面，本申请提供一种元宇宙直播视频处理方法，包括：

获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流；

对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；

将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头；

获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。

在一个实施例中，在获取元宇宙直播间的主播全景视频流之前，还包括：

通过主播端控制摄像机拍摄直播视频画面的角度，使得所述主播位于直播视频画面的中心区域；

对所述直播视频画面的人物畸变进行优化处理得到所述主播全景视频流。

在一个实施例中，将所述主播全景视频流与背景图像进行合成得到直播全景视频流，包括：

利用绿幕抠像技术从所述主播全景视频流中抠出主播图像；

将所述主播图像添加到背景图像的预定位置处，对所述主播图像进行参数设置，并将所述主播图像与所述背景图像进行合成得到直播全景视频流。

在一个实施例中，所述适配设备类型包括3D全景播放设备和2D平面播放设备；

所述对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流，包括：

以直播全景视频流中的主播图像为中心，从面向摄像机中心位置上裁剪出至少一种视角范围的3D全景视频流和至少一种宽高比的长方形的2D平面视频流。

在一个实施例中，所述3D全景视频流包括：360度全景视频流、180度全景视频流和90度全景视频流。

在一个实施例中，将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头，包括：

若所述实时直播视频流为360度全景视频流，则将所述实时直播视频流渲染在透明球体的内面上，并在透明球体的中心位置处设置虚拟摄像头；

若所述实时直播视频流为180度全景视频流，则将所述实时直播视频流渲染在透明半球的内面上，并在透明半球的中心偏内位置处设置虚拟摄像头；

若所述实时直播视频流为90度全景视频流，则将所述实时直播视频流渲染在1/4透明球体的内面上，并在1/4透明球体的中心靠近内面位置处设置虚拟摄像头。

在一个实施例中，所述的元宇宙直播视频处理方法，还包括：

获取现场麦克风采集到的实时声音；其中，所述实时声音包括人物声音、背景音乐和/或物体声音；

对所述实时声音的音效进行调整，并进行声音降噪和混响处理得到音频数据，添加到所述主播全景视频流中。

在一个实施例中，所述的元宇宙直播视频处理方法，还包括：

当元宇宙直播间产生赠送礼物事件时，根据客户端的设备类型下发所赠送礼物相应的播放脚本；其中，所述播放脚本与客户端预先下载的礼物模型进行绑定，用于控制礼物模型的动作；

触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现。

在一个实施例中，所述客户端包括主播端和观众端；

若所述实时直播视频流与赠送礼物为实时同步播放，所述触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现，包括：

当观众端收到赠送礼物的广播通知时，通过主播端将对应的礼物特效渲染层与实时直播视频流进行合成得到带特效直播视频流，并将所述带特效直播视频流推送到各个观众端，使得观众端播放所述带特效直播视频流。

在一个实施例中，若所述实时直播视频流与赠送礼物为非实时同步播放；

所述触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现，包括：

若所述赠送礼物为2D特效礼物，则触发所述客户端在界面上设定位置渲染礼物特征，并执行播放脚本控制礼物渲染过程；

若所述赠送礼物为3D特效礼物，则触发所述客户端将所述礼物模型渲染到球体中心上，执行所述播放脚本对所绑定的礼物模型进行程序脚本控制，使得所述礼物模型呈现出相应的动作。

第二方面，本申请提供一种元宇宙直播视频处理装置，包括：

全景合成模块，用于获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流；

视频裁剪模块，用于对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；

视频渲染模块，用于将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头；

视频播放模块，用于获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。

第三方面，本申请提供一种元宇宙直播系统，包括：主播端、观众端以及直播服务器；其中，所述主播端和观众端分别通过网络连接至所述直播服务器；

所述直播服务器，用于接收主播端上传的视频画面数据，执行所述的元宇宙直播视频处理方法的步骤，以及将直播视频数据转发至观众端；

所述主播端，用于接入直播间的主播，采集主播的视频画面并上传至直播服务器；

所述观众端，用于接入直播间的用户以及播放直播视频。

第四方面，本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的元宇宙直播视频处理方法的步骤。

第五方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的元宇宙直播视频处理方法的步骤。

上述实施例的技术方案，通过获取元宇宙直播间的主播全景视频流与背景图像进行合成得到直播全景视频流；然后对直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；将实时直播视频流渲染在透明球体上，并在透明球体的内部设置虚拟摄像头；在客户端播放时，根据客户端的设备类型选择相应的实时直播视频流，并以虚拟摄像头的视觉角度对所述实时直播视频流进行渲染；该技术方案，可以适应元宇宙直播场景下的不同终端设备的播放与观看交互需求，能够对不同设备类型的客户端及同一设备类型的不同用户按不同选择策略进行视频直播推流，促进了元宇宙直播技术的应用推广。

附图说明

图1为本申请实施例中元宇宙直播视频处理方法的应用场景图；

图2是一个实施例的元宇宙直播视频处理方法流程图；

图3是一个示例的实时直播视频流的画面示意图；

图4是一个实施例的元宇宙直播视频处理装置结构示意图；

图5是一个示例的元宇宙直播系统结构示意图；

图6是一个示例的元宇宙直播框架图；

图7为一个示例的计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的元宇宙直播视频处理方法，可以应用于如图1所示的元宇宙直播场景中，该应用场景可以包括客户端和直播服务器，其中，客户端可以具体包括直播间的主播端和多个观众端(如观众端1、观众端2，……)，主播端和多个观众端分别可以通过互联网与直播服务器进行通信，直播服务器可以为直播间的主播端和多个观众端提供直播相关服务。其中，终端可以但不限于是智能手机、平板电脑和头戴式VR设备等；直播服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。其中，直播服务器可以为直播间的主播和观众创建独立的元宇宙场景，搭建出一个与现实世界并行的虚拟空间，通过利用科技手段进行链接与创造出一个现实世界映射与交互的虚拟世界，可以在该虚拟空间中展示如人物、动物等各种三维的虚拟形象，主播和观众在该虚拟空间中可以与三维的虚拟形象进行自由的互动，例如在元宇宙场景下，当用户带上VR设备时，眼睛会看到三维的视觉的画面内容，获得更多更为丰富的立体交互及3D特效渲染效果；直播间的用户可以通过如手机、头戴式VR设备等终端设备完成人机交互，实现基本的控制操作，如手势移动切换，选择退出等，终端可以接收并显示直播服务器发送的如直播全景视频流、2D平面礼物、3D立体礼物等。

本申请提供的元宇宙直播视频处理方法，可以适用于元宇宙视频直播场景下的不同设备类型的终端上播放，比如，可以通过头戴式虚拟现实设备进行全景视频直播，在播放过程中，主播或者观众可以通过终端上的触控设备、传感器(比如穿戴设备的手柄、VR设备传感器)等输入触控动作，可以在观众端通过头戴式虚拟现实设备发出虚拟礼物赠送请求在直播间中进行礼物赠送，还可以通过移动端设备、PC端来播放直播间的直播视频流，同样可以赠送礼物互动等，实现了元宇宙直播视频的多端处理。

如图2所示，图2是一个实施例的元宇宙直播视频处理方法流程图，可以包括以下步骤：

S10，获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流。

此步骤中，在元宇宙直播场景下，直播服务器获取主播端在元宇宙直播间上传的主播全景视频流，然后根据主播选择的背景图像合成直播全景视频流。

在一个实施例中，对于将所述主播全景视频流与背景图像进行合成得到直播全景视频流的方法，可以包括如下：

S101，利用绿幕抠像技术从所述主播全景视频流中抠出主播图像。

一般情况下，在元宇宙直播场景中，主播或者表演嘉宾在绿幕影棚上进行开播，绿幕影棚的舞台上放置用于补光的摄影灯，用于采集主播和表演嘉宾声音的麦克风，多个不同角度的摄像机等；利用不同角度对主播或者嘉宾进行拍摄，在观众观看时可以切换视角，从不同的角度上观看元宇宙直播，还可以放置一个特写摄像机，便于近距离拍摄人物；主播端将拍摄的主播全景视频流传输到直播服务器，利用硬件或软件方式将主播或者嘉宾从绿色背景中抠出主播图像。

S102，将所述主播图像添加到背景图像的预定位置处，对所述主播图像进行参数设置，并将所述主播图像与所述背景图像进行合成得到直播全景视频流。

具体的，主播端选取合适的背景图像，直播服务器将主播图像中的人物定位到背景图像上的预设坐标位置，对于背景图像，其可以是二维背景场景，也可以是三维背景场景，对于二维背景场景则将主播图像放置在最上层，对于三维背景场景，则需要进一步考虑元宇宙虚拟场景的遮挡因素，并将人物放置在虚拟场景的一个合适层级上，并整体调节虚拟场景下光线强度及颜色等。

在一个实施例中，在获取元宇宙直播间的主播全景视频流之前，还可以通过主播端控制摄像机拍摄直播视频画面的角度，使得所述主播位于直播视频画面的中心区域；并且对所述直播视频画面的人物畸变进行优化处理得到所述主播全景视频流。

具体的，由于现场拍摄主播或者嘉宾视频时，由于不同摄像机离主播与嘉宾的位置距离不同，导致摄像机拍摄的直播视频画面中可能出现人物定位失准和人物畸变等问题，据此，通过特写摄影机实时看到主播，并以此为参考调整摄像机的拍摄角度以准确定位主播与嘉宾，并通过调整摄影机参数，调整灯光等方式优化人物畸变现象，修复人物畸变、暗光等问题，从而提升了主播全景视频流的画面质量。

在一个实施例中，在获取主播全景视频流时，还可以进行音频数据处理，据此，本申请的元宇宙直播视频处理方法，还包括：

获取现场麦克风采集到的实时声音；其中，所述实时声音包括人物声音、背景音乐和/或物体声音；对所述实时声音的音效进行调整，并进行声音降噪和混响处理得到音频数据，添加到所述主播全景视频流中。

示例性的，对麦克风采集到的人物的声音、背景音乐、物体声音等进行采集和控制，调整整体音频效果，实时的调整人声、背景声以达到匹配的声音效果，通过人声降噪、增加混响、增加延迟等对整体的声音效果进行美化，从而实现观众端优质的音频播放效果。

S20，对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流。

此步骤中，基于观众端使用的终端设备包括3D全景播放设备和2D平面播放设备，如移动端设备、PC端设备和VR设备等等，为了实现在观众端上能够对元宇宙的直播视频流进行播放，根据常用的终端设备来预设适配设备类型并每种适配设备类型从直播全景视频流中裁剪出多路实时直播视频流。

在一个实施例中，上述对直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流的方法，可以包括如下：

以直播全景视频流中的主播图像为中心，从面向摄像机中心位置上裁剪出至少一种视角范围的3D全景视频流和至少一种宽高比的长方形的2D平面视频流。优选的，所述3D全景视频流可以包括：360度全景视频流、180度全景视频流和90度全景视频流；所述2D平面视频流包括：4:3长方形视频流和16:9长方形视频流。

具体的，由于在直播过程中主播通常位于摄像机拍摄的中心位置，所以裁剪时以主播图像为中心，从面向摄像机中心位置上裁剪出多种不同视角范围的3D全景视频流；由于终端设备包括3D全景播放设备和2D平面播放设备，如VR设备、PC端、智能手机、平板等，据此，可以裁剪出多路3D全景视频流和多路2D平面视频流；示例性的，可以从直播全景视频流中裁剪出360度全景视频流(如果不需要裁剪则直接为直播全景视频流)，从直播全景视频流中裁剪出180度全景视频流(半球型)和90度全景视频流；根据智能手机及PC端所不同2D平面分辨率，可以裁剪出4:3和16:9宽高比的两路长方形视频流。

上述实施例的技术方案，通过裁剪出360度全景视频流、180度全景视频流和90度全景视频流，可以适用于不同的VR设备应用场景及VR设备的不同模式，通过裁剪出4:3和16:9宽高比的两路长方形视频流，可以适用于主流的终端设备屏幕分辨率。

S30，将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头。

此步骤中，将各路实时直播视频流渲染在透明球体上，并且在透明球体的内部设置基于游戏引擎(如Unity引擎)提供的虚拟摄像机来固定观众端的观看视角，从而可以渲染出特定视角的视频画面呈现给用户。

在一个实施例中，步骤S30的过程可以包括如下：

①若所述实时直播视频流为360度全景视频流，则将所述实时直播视频流渲染在透明球体的内面上，并在透明球体的中心位置处设置虚拟摄像头。

②若所述实时直播视频流为180度全景视频流，则将所述实时直播视频流渲染在透明半球的内面上，并在透明半球的中心偏内位置处设置虚拟摄像头。

③若所述实时直播视频流为90度全景视频流，则将所述实时直播视频流渲染在1/4透明球体的内面上，并在1/4透明球体的中心靠近内面位置处设置虚拟摄像头。

具体的，当观众端通过VR设备等3D全景播放设备进行播放时，所播放的3D实时直播视频流，通过将实时直播视频流渲染在透明球体(360度)、透明半球(180度)或者1/4透明球体的内面上；如果是360度，一般可以将虚拟摄像头放置在透明球体的中心，如果是180度，一般可以将虚拟摄像头防止在透明半球的球体中心偏内，如果是90度，则可以将虚拟摄像头防止在1/4透明球体的中心靠近内面位置处；如图3所示，图3是一个示例的实时直播视频流的画面示意图，其中上图为360度全景视频画面，下图为180度全景视频画面。另外，对于2D平面视频，则可以将虚拟摄像头放置在视频画面正前方。

S40，获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。

此步骤中，直播服务器根据客户端的设备类型以及用户所选择的设备类型，从多路实时直播视频流中选择适配的实时直播视频流下发到客户端上进行播放，客户端根据虚拟摄像头的视觉角度，调用渲染引擎在客户端界面上渲染实时直播视频流的画面内容，从而实现了不同设备类型客户端播放需求。

由于在元宇宙直播场景下，观众用户在不同的终端设备上观看直播，如移动端设备、PC端设备、VR设备等，在根据客户端的设备类型选择适配的实时直播视频流时，还可以根据终端设备的参数和网络状态进行选择，以及根据网络状态选择播放器的分辨率等，例如：

当观众端通过移动手机端、PC端、平板等设备进行播放时，可以根据网络情况选择播放器为1920*1080、1280*720等不同的分辨率的尺寸，或者可以根据网络情况、设备性能(内存、CPU、GPU参数)、及选择历史、运营情况等进行选择。当观众通过VR设备进行特效播放时，可以根据网络情况，选择360度、180度或者90度的全景视频流，也可以根据网络情况、设备性能(内存、CPU、GPU参数)、选择历史、运营情况等进行选择。

基于观众在VR设备等3D全景播放设备与PC、移动端设备等2D平面播放设备上的交互体验不同，在观众端上进行直播互动时，可以对包括公屏交互、礼物交互、直播资料卡交互等设置不同的交互方案。

据此，在一个实施例中，在元宇宙直播场景下的礼物交互差异时，其可以包括如下：

当元宇宙直播间产生赠送礼物事件时，根据客户端的设备类型下发所赠送礼物相应的播放脚本；触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现；其中，所述播放脚本与客户端预先下载的礼物模型进行绑定，用于控制礼物模型的动作。

示例性的，直播间内的观众端收到礼物广播后，根据所在的终端设备类型获取礼物对应的播放脚本并缓存下来，该播放脚本与相应的礼物模型(2D或者3D)进行绑定，对于复杂的3D礼物模型，还可以下载对应播放脚本所附带的音乐、图片素材等模型资源；在模型资源、播放脚本下载完成后，礼物模型按播放脚本指令进行对应的动作呈现；例如，根据播放脚本控制虚拟人物模型进行走路的动作，指定礼物模型的运动骨骼、移动方向、移动的坐标以及移动的时间等)，对于一些常见的礼物模型，观众端也可以在网络空闲或者未触发礼物播放之前预先下载缓存，在被触发时直接使用；

上述实施例的技术方案，通过编辑播放脚本与礼物模型进行绑定，在客户端播放礼物特效时，可以根据播放脚本控制礼物模型执行相应动作，提升了礼物互动效果。

在一个实施例中，针对于元宇宙直播场景下，当直播间出现赠送礼物时，需要根据礼物特效与直播视频画面之间的同步关系来确定渲染方案；据此，本申请提供如下渲染方案：

(1)若所述实时直播视频流与赠送礼物为实时同步播放，则当观众端收到赠送礼物的广播通知时，通过主播端将对应的礼物特效渲染层与实时直播视频流进行合成得到带特效直播视频流，并将所述带特效直播视频流推送到各个观众端，使得观众端播放所述带特效直播视频流。

(2)若所述实时直播视频流与赠送礼物为非实时同步播放；进一步确定礼物类型，若所述赠送礼物为2D特效礼物，则触发所述客户端在界面上设定位置渲染礼物特征，并执行播放脚本控制礼物渲染过程；若所述赠送礼物为3D特效礼物，则触发所述客户端将所述礼物模型渲染到球体中心上，执行所述播放脚本对所绑定的礼物模型进行程序脚本控制，使得所述礼物模型呈现出相应的动作。

示例性的，直播服务器收到用户赠送的礼物时，先验证用户的身份并判断礼物类型，若为VR场景下的礼物类型，则按VR场景的礼物流程处理，在验证成功之后，在当前直播间内发送赠送礼物广播；直播间内的观众端收到礼物广播后，根据播放脚本对礼物模型的特效画面进行渲染，若礼物特效与直播视频流的画面实时同步，则在主播端收到礼物广播时，在主播端将对应的礼物特效渲染层与直播视频流一并推送到各个观众端进行播放，观众端呈现的视频画面是礼物特效与直播视频画面是实时同步的；若礼物特效与直播视频画面不需要实时同步，对于2D平面礼物，则在合适的平面通过执行程序脚在球体合适的空间平面渲染礼物特效，若是3D特效礼物，则在透明球体中心附近通过执行程序脚本，在球体合适的立体空间渲染3D特效及音效。

上述实施例的技术方案，通过不同类型礼物及不同的同步播放需求情况下，观众端能够根据需求来呈现赠送礼物效果，实现了元宇宙直播场景下多种类型客户端的不同播放需求，从而可以提高元宇宙直播间的互动性，为元宇宙直播的观众带来优质的直播体验。

如上述实施例提供的技术方案，可以应用于礼物特效播放、进场秀、IM聊天界面、个人主页界面等外露入口，以实现元宇宙直播间的多维度互动。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的元宇宙直播视频处理方法的元宇宙直播视频处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个元宇宙直播视频处理装置实施例中的具体限定可以参见上文中对于元宇宙直播视频处理方法的限定，在此不再赘述。

在一个实施例中，如图4所示，图4是一个实施例的元宇宙直播视频处理装置结构示意图，可以包括如下：

全景合成模块10，用于获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流；

视频裁剪模块20，用于对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；

视频渲染模块30，用于将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头；

视频播放模块40，用于获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。

上述元宇宙直播视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本实施例的元宇宙直播视频处理装置可执行本申请的实施例所提供的一种元宇宙直播视频处理方法，其实现原理相类似，本申请各实施例中的元宇宙直播视频处理装置中的各模块所执行的动作是与本申请各实施例中的元宇宙直播视频处理方法中的步骤相对应的，对于元宇宙直播视频处理装置的各模块的详细功能描述具体可以参见前文中所示的对应的元宇宙直播视频处理方法中的描述，此处不再赘述。

下面阐述元宇宙直播系统的实施例。

本实施例的视频直播系统，参考图5所示，图5是一个示例的元宇宙直播系统结构示意图，该系统框架可以包括主播端、直播服务器和观众端，其中，主播端和多个观众端分别与直播服务器之间通过有线网络或者无线网络建立通信连接。主播用户通过主播端进行直播，如进行真人才艺表演等，观众用户通过观众端选择进入某一虚拟直播间观看主播用户进行直播。观众端和主播端可以通过安装在计算机设备上的客户端进入直播平台，示例性的，主播端和观众端可以为计算机类设备，如VR设备、智能手机、PC端等，对此并不做限定，也可以是应用程序的软件模块，直播服务器包括用于为计算机设备提供后台服务的后台服务器。

在本实施例中，直播服务器接收主播端上传的视频画面数据，执行元宇宙直播视频处理方法的步骤，以及将直播视频数据转发至观众端；主播端接入直播间的主播，采集主播的视频画面并上传至直播服务器；观众端接入直播间的用户以及播放直播视频。

参考图6所示，图6是一个示例的元宇宙直播框架图；在虚拟会场场地执行人员可以在绿幕影棚中进行直播，主播在绿幕场地中，现场通过投影灯进行补光，通过MIC麦克风采集声音数据，通过主摄像机来拍摄主播视频流，并通过特写摄像头进行移动特写；在直播服务器上，首先对主播视频流进行人物定位和人物畸变优化，然后再进行全景视频流合成，VR导播台可以将主摄像头、特写摄像头和摇臂摄像头等视频数据传输到现场本地给主播端进行投屏；在主播端开播之后，利用开播SDK导入各路实时直播视频流，裁剪成3D视频流和2D视频流，对于采用VR设备的A客户端，执行3D播放模式，对于采用智能手机的B客户端和采用PC端的C客户端，执行2D播放模式。

下面阐述计算机设备及计算机可读存储介质的实施例。

本申请提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的设备进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种元宇宙直播视频处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各元宇宙直播视频处理方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种元宇宙直播视频处理方法，其特征在于，包括：

获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流；

对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；

将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头；

获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。

2.根据权利要求1所述的元宇宙直播视频处理方法，其特征在于，在获取元宇宙直播间的主播全景视频流之前，还包括：

通过主播端控制摄像机拍摄直播视频画面的角度，使得所述主播位于直播视频画面的中心区域；

对所述直播视频画面的人物畸变进行优化处理得到所述主播全景视频流。

3.根据权利要求1所述的元宇宙直播视频处理方法，其特征在于，将所述主播全景视频流与背景图像进行合成得到直播全景视频流，包括：

利用绿幕抠像技术从所述主播全景视频流中抠出主播图像；

将所述主播图像添加到背景图像的预定位置处，对所述主播图像进行参数设置，并将所述主播图像与所述背景图像进行合成得到直播全景视频流。

4.根据权利要求1所述的元宇宙直播视频处理方法，其特征在于，所述适配设备类型包括3D全景播放设备和2D平面播放设备；

所述对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流，包括：

以直播全景视频流中的主播图像为中心，从面向摄像机中心位置上裁剪出至少一种视角范围的3D全景视频流和至少一种宽高比的长方形的2D平面视频流。

5.根据权利要求4所述的元宇宙直播视频处理方法，其特征在于，所述3D全景视频流包括：360度全景视频流、180度全景视频流和90度全景视频流。

6.根据权利要求4所述的元宇宙直播视频处理方法，其特征在于，将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头，包括：

若所述实时直播视频流为360度全景视频流，则将所述实时直播视频流渲染在透明球体的内面上，并在透明球体的中心位置处设置虚拟摄像头；

若所述实时直播视频流为180度全景视频流，则将所述实时直播视频流渲染在透明半球的内面上，并在透明半球的中心偏内位置处设置虚拟摄像头；

若所述实时直播视频流为90度全景视频流，则将所述实时直播视频流渲染在1/4透明球体的内面上，并在1/4透明球体的中心靠近内面位置处设置虚拟摄像头。

7.根据权利要求1所述的元宇宙直播视频处理方法，其特征在于，还包括：

获取现场麦克风采集到的实时声音；其中，所述实时声音包括人物声音、背景音乐和/或物体声音；

对所述实时声音的音效进行调整，并进行声音降噪和混响处理得到音频数据，添加到所述主播全景视频流中。

8.根据权利要求1-7任一项所述的元宇宙直播视频处理方法，其特征在于，还包括：

当元宇宙直播间产生赠送礼物事件时，根据客户端的设备类型下发所赠送礼物相应的播放脚本；其中，所述播放脚本与客户端预先下载的礼物模型进行绑定，用于控制礼物模型的动作；

触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现。

9.根据权利要求8所述的元宇宙直播视频处理方法，其特征在于，所述客户端包括主播端和观众端；

若所述实时直播视频流与赠送礼物为实时同步播放，所述触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现，包括：

当观众端收到赠送礼物的广播通知时，通过主播端将对应的礼物特效渲染层与实时直播视频流进行合成得到带特效直播视频流，并将所述带特效直播视频流推送到各个观众端，使得观众端播放所述带特效直播视频流。

10.根据权利要求9所述的元宇宙直播视频处理方法，其特征在于，若所述实时直播视频流与赠送礼物为非实时同步播放；

所述触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现，包括：

若所述赠送礼物为2D特效礼物，则触发所述客户端在界面上设定位置渲染礼物特征，并执行播放脚本控制礼物渲染过程；

若所述赠送礼物为3D特效礼物，则触发所述客户端将所述礼物模型渲染到球体中心上，执行所述播放脚本对所绑定的礼物模型进行程序脚本控制，使得所述礼物模型呈现出相应的动作。

11.一种元宇宙直播视频处理装置，其特征在于，包括：

全景合成模块，用于获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流；

视频裁剪模块，用于对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；

视频渲染模块，用于将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头；

视频播放模块，用于获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。

12.一种元宇宙直播系统，其特征在于，包括：主播端、观众端以及直播服务器；其中，所述主播端和观众端分别通过网络连接至所述直播服务器；

所述直播服务器，用于接收主播端上传的视频画面数据，执行权利要求1-10任一项所述的元宇宙直播视频处理方法的步骤，以及将直播视频数据转发至观众端；

所述主播端，用于接入直播间的主播，采集主播的视频画面并上传至直播服务器；

所述观众端，用于接入直播间的用户以及播放直播视频。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的元宇宙直播视频处理方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的元宇宙直播视频处理方法的步骤。