CN116112699A - 一种直播方法、装置、电子设备及可读存储介质 - Google Patents
一种直播方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116112699A CN116112699A CN202211601320.3A CN202211601320A CN116112699A CN 116112699 A CN116112699 A CN 116112699A CN 202211601320 A CN202211601320 A CN 202211601320A CN 116112699 A CN116112699 A CN 116112699A
- Authority
- CN
- China
- Prior art keywords
- live
- image data
- target image
- live broadcast
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000009877 rendering Methods 0.000 claims abstract description 25
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种直播方法、装置、电子设备及可读存储介质,属于虚拟现实技术领域。本申请通过获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧;针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据;将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。由此,实现了在虚拟空间中嵌入真实世界的直播画面,从而达到在虚拟世界中进行直播的效果。
Description
技术领域
本申请涉及虚拟现实技术领域,尤其涉及一种直播方法、装置、电子设备及可读存储介质。
背景技术
元宇宙(Metaverse),是人类运用数字技术构建的,由现实世界映射或超越现实世界,可与现实世界交互的虚拟世界,具备新型社会体系的数字生活空间。随着虚拟现实技术的发展,越来越多的人开始关注虚拟世界,并尝试在虚拟世界中体验一种新的生活方式。目前,元宇宙中的场景多为根据现实世界进行虚拟得到的虚拟场景,如何结合元宇宙与现实世界的真实场景进行展示成为热点研究方向。
为此,本申请提出了一种在虚拟空间中进行直播的方法。
发明内容
为了实现在虚拟空间中进行直播,本申请提供了一种直播方法、装置、电子设备及可读存储介质。
第一方面,提供了一种直播方法,所述方法包括:
获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧;
针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据;
将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。
在一个可能的实施方式中,所述直播视频帧为全景视频帧,所述基于所述直播视频帧确定对应的目标图像数据,包括:
确定所述虚拟空间中目标虚拟对象观看所述直播模型的观看角度;
在所述全景视频帧中选取符合所述观看角度的视频数据作为所述目标图像数据。
在一个可能的实施方式中,所述将所述目标图像数据渲染至虚拟空间中的直播模型上之后,还包括:
确定所述目标虚拟对象在所述虚拟空间中的对象位置以及所述直播模型在所述虚拟空间中的模型位置,并确定所述模型位置和所述对象位置之间的目标距离;
基于所述目标距离确定对应的目标音量;
控制所述虚拟空间对应的音频播放装置,按照所述目标音量播放所述直播视频流数据对应的直播音频。
在一个可能的实施方式中,所述直播视频帧为非全景视频帧,所述方法还包括:
基于所述非全景视频帧和所述直播模型在所述虚拟空间中确定非观看区域,所述非观看区域为无法正常观看所述目标图像数据的区域;
将所述非观看区域设置为虚拟对象不可到达区域,以使所述虚拟对象无法抵达所述非观看区域。
在一个可能的实施方式中,所述将所述目标图像数据渲染至虚拟空间中的直播模型上,包括:
基于预设的帧缓冲区对象将所述目标图像数据渲染至所述直播模型上,其中,所述帧缓冲区对象与所述直播模型对应的纹理缓冲区绑定。
在一个可能的实施方式中,所述基于所述直播视频帧确定对应的目标图像数据,包括:
利用预设的背景抠除算法抠除所述直播视频帧的背景,得到所述目标图像数据,所述目标图像数据的背景呈透明状态。
在一个可能的实施方式中,所述基于所述直播视频帧确定对应的目标图像数据,包括:
将所述直播视频帧确定为所述目标图像数据。
第二方面,提供了一种直播装置,所述装置包括:
获取模块,用于获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧;
确定模块,用于针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据;
渲染模块,用于将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。
在一个可能的实施方式中,所述直播视频帧为全景视频帧,所述确定模块,具体用于:
确定所述虚拟空间中目标虚拟对象观看所述直播模型的观看角度;
在所述全景视频帧中选取符合所述观看角度的视频数据作为所述目标图像数据。
在一个可能的实施方式中,所述装置还包括控制模块,用于:
确定所述目标虚拟对象在所述虚拟空间中的对象位置以及所述直播模型在所述虚拟空间中的模型位置,并确定所述模型位置和所述对象位置之间的目标距离;
基于所述目标距离确定对应的目标音量;
控制所述虚拟空间对应的音频播放装置,按照所述目标音量播放所述直播视频流数据对应的直播音频。
在一个可能的实施方式中,所述直播视频帧为非全景视频帧,所述装置还包括设置模块,用于:
基于所述非全景视频帧和所述直播模型在所述虚拟空间中确定非观看区域,所述非观看区域为无法正常观看所述目标图像数据的区域;
将所述非观看区域设置为虚拟对象不可到达区域,以使所述虚拟对象无法抵达所述非观看区域。
在一个可能的实施方式中,所述渲染模块,具体用于:
基于预设的帧缓冲区对象将所述目标图像数据渲染至所述直播模型上,其中,所述帧缓冲区对象与所述直播模型对应的纹理缓冲区绑定。
在一个可能的实施方式中,所述确定模块,还用于:
利用预设的背景抠除算法抠除所述直播视频帧的背景,得到所述目标图像数据,所述目标图像数据的背景呈透明状态。
在一个可能的实施方式中,所述确定模块,还用于:
将所述直播视频帧确定为所述目标图像数据。
第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
第四方面,提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的直播方法。
本申请实施例有益效果:
本申请实施例提供了一种直播方法、装置、电子设备及可读存储介质,本申请通过,首先,获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧,然后,针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据,最后,将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。由此,实现了在虚拟空间中嵌入真实世界的直播画面,从而达到在虚拟世界中进行直播的效果。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种直播方法的流程图;
图2为本申请实施例提供的另一种直播方法的流程图;
图3为本申请实施例提供的另一种直播方法的流程图;
图4为本申请实施例提供的一种直播装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合附图以具体实施例对本申请提供的直播方法做出解释说明,实施例并不构成对本申请实施例的限定。
参见图1,为本申请实施例提供的一种直播方法的实施例流程图。如图1所示,该流程可包括以下步骤:
S101,获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧。
本申请提供的一种直播方法可以应用于虚拟空间客户端,如安装有元宇宙游戏应用的客户端。
实际应用中,直播对象(即,直播主播)在直播现场中进行直播拍摄,生成直播视频流数据(即,包含直播对象的直播视频流,也即,包含直播对象的多个直播视频帧)。直播服务器可以将直播视频流数据推送到相应的虚拟空间客户端。
基于此,本申请实施例中,获取直播对象对应的直播视频流数据的具体实现可包括:接收直播服务器发送的直播视频流数据。
由于,直播服务器传输直播视频流数据前会将直播视频流数据进行编码,即,虚拟空间客户端直接接收到的直播视频流数据是编码格式的数据。为了后续可以对直播视频流数据进行进一步处理,本申请实施例中,虚拟空间客户端在接收到直播视频流数据后,可以对直播视频流数据进行解码,得到解码后的数据,并基于解码后的数据进行后续的数据处理。
S102,针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据。
在一实施例中,当用户希望仅将包含直播对象的直播视频帧(即,不包含背景的直播视频帧),作为后续在虚拟空间中展示的直播画面时,基于所述直播视频帧确定对应的目标图像数据的具体实现可包括:利用预设的背景抠除算法抠除所述直播视频帧的背景,得到所述目标图像数据,所述目标图像数据的背景呈透明状态。如此,可以得到仅包含直播对象,而其他背景呈透明状态的目标图像数据,则后续在虚拟空间中可以展示仅包含直播对象的直播画面。
在另一实施例中,当用户希望将包含背景的直播视频帧,作为后续在虚拟空间中展示的直播画面时,基于所述直播视频帧确定对应的目标图像数据的具体实现可包括:直接将该直播视频帧作为目标图像数据。如此,后续在虚拟空间中展示的直播画面是包含背景的,即,整个直播间的画面。
在实际应用中,为了实现更真实的直播效果,可以利用多个拍摄装置在多个角度对直播对象进行全景拍摄,如此,得到的直播视频流数据为全景数据,即,每个直播视频帧为全景视频帧,该全景视频帧中包含拍摄的角度信息。
基于此,在又一实施例中,基于所述直播视频帧确定对应的目标图像数据的具体实现包括:确定所述虚拟空间中目标虚拟对象观看所述直播模型的观看角度,在所述全景视频帧中选取符合所述观看角度的视频数据作为所述目标图像数据。
这里的目标虚拟对象,指用户在登录虚拟空间时,在虚拟空间中对应的虚拟形象,例如,用户在虚拟游戏中的游戏角色。这里的观看角度,指一个角度范围,如60度至180度。
该实施例中,首先,确定目标虚拟对象在虚拟空间中的对象位置,以及,确定直播模型在虚拟空间的模型位置,并基于对象位置和模型位置确定目标虚拟对象与直播模型的观看方向,然后,基于虚拟空间中预先设置的观看角度范围和该观看方向,确定目标虚拟对象观看直播模型的观看角度。最后,基于拍摄的角度信息在全景视频帧中选取与目标虚拟对象观看角度相符的视频数据,作为目标图像数据。如此,可以展示与目标虚拟对象观看角度对应的目标图像数据,提高用户的观看体验。
例如,直播视频流数据为对直播对象进行水平方向上360度拍摄的视频数据,则每个全景视频帧为包含对直播对象进行水平方向上360度拍摄的图像,在观看方向为正南方向,观看角度范围为120度时,确定观看角度为30度至150度,则在全景视频帧中选取30度至150度之间的图像作为目标图像数据。
此外,在实际应用中,为了方便抠除背景,可以在绿幕背景下对直播对象进行直播拍摄,则本申请实施例中,虚拟空间客户端可以利用绿幕抠除算法抠除直播视频帧的绿幕背景,得到仅包含直播对象的目标图像数据。如此,可以提高背景抠除效果。
S103,将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。
直播模型,指虚拟空间中用于展示直播画面(即,目标图像数据)的模型。
在本申请实施例中,将所述目标图像数据渲染至虚拟空间中的直播模型上的具体实现可包括:基于预设的FBO(Frame Buffer Object,帧缓冲区对象)将所述目标图像数据渲染至所述直播模型上,其中,所述帧缓冲区对象与所述直播模型对应的纹理缓冲区绑定。
具体的,预先绑定帧缓冲区对象与直播模型对应的纹理缓冲区,如此,在基于直播视频帧确定相应的目标图像数据后,可以将目标图像数据输入至FBO中,从而通过FBO将目标图像数据渲染至直播模型对应的纹理缓冲区,从而达到通过直播模型展示目标图像数据的效果。
实际应用中,每接收到一个直播视频帧,即通过S102对该直播视频帧进行处理得到目标图像数据,进而,利用S103将该目标图像数据渲染至直播模型,随着不断接收新的直播视频帧,直播模型上不断渲染新接收到的直播视频帧所对应的目标图像数据,以此达到动态播放直播画面的效果。
本申请实施例中,首先,获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧,然后,针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据,最后,将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。由此,实现了在虚拟空间中嵌入真实世界的直播画面,从而达到在虚拟世界中进行直播的效果。
参见图2,为本申请实施例提供的另一种直播方法的实施例流程图。如图2所示,该流程可包括以下步骤:
S201,确定所述目标虚拟对象在所述虚拟空间中的对象位置以及所述直播模型在所述虚拟空间中的模型位置,并确定所述模型位置和所述对象位置之间的目标距离。
S202,基于所述目标距离确定对应的目标音量。
S203,控制所述虚拟空间对应的音频播放装置,按照所述目标音量播放所述直播视频流数据对应的直播音频。
以下对S201-S203进行统一说明:
实际应用中,在通过虚拟空间展示直播画面的同时,还可以通过与虚拟空间相应的音频播放装置(如音箱)播放直播画面相应的直播音频。
为了使观看直播的效果更加逼真,本申请实施例中,在将目标图像数据渲染至虚拟空间中的直播模型上之后,可以根据直播模型在虚拟空间中的模型摆放信息确定其在虚拟空间中的模型位置,以及,实时检测目标虚拟对象在虚拟空间中的对象位置,并根据对象位置与模型位置的距离确定对应的目标音量,一般距离越近则音量越大,距离越远则音量越小,进而,控制音频播放装置按照该目标音量播放直播视频流数据对应的直播音频。
作为一种可能的实现方式,基于所述目标距离确定对应的目标音量的具体实现可包括:按照预设的距离与音量的对应关系,确定目标距离对应的目标音量,其中,距离越近则音量越大,距离越远则音量越小。如此,可以快速确定目标音量。
作为另一种可能的实现方式,基于所述目标距离确定对应的目标音量的具体实现可包括:确定用户设置的系统音量以及预设的距离范围,在目标距离处于该距离范围的情况下,将该系统音量确定为目标音量,在目标距离处于该距离范围以外的情况下,按照距离与调整参数的对应关系确定目标距离对应的目标参数,将目标参数与预设步进值的乘积确定为目标音量。预设步进值,可以为系统调整音量的步进值。
其中,目标距离小于距离范围的下限的情况下调整参数为正数,并且,距离越小则调整参数越大;目标距离大于距离范围的上限的情况下调整参数为负数,并且,距离越大则调整参数越小(如距离为5米时,调整参数为-1;距离为6米时,调整参数为-2)。也即,距离在预设的距离范围之外时,也是基于距离越近则音量越大,距离越远则音量越小的规则调整音量。如此,可以在用户设置的系统音量的基础上调整目标音量,使目标音量更符合用户的个人习惯。
通过图2所示流程,实现了根据目标虚拟对象与模型位置之间的距离,实时调整音频播放装置播放直播音频的音量,从而为用户提供更加真实的观看直播的效果。
参见图3,为本申请实施例提供的另一种直播方法的实施例流程图。如图3所示,该流程可包括以下步骤:
S301,基于所述非全景视频帧和所述直播模型在所述虚拟空间中确定非观看区域,所述非观看区域为无法正常观看所述目标图像数据的区域。
S302,将所述非观看区域设置为虚拟对象不可到达区域,以使所述虚拟对象无法抵达所述非观看区域。
以下对S301和S302进行统一说明:
虚拟对象,指用户在虚拟空间中的虚拟形象。
实际应用中,在直播视频帧为非全景视频帧的情况下,在渲染到虚拟空间中时,若虚拟对象到达一些特定区域观看会出现纸片效果。
例如,对直播对象进行拍摄时,只利用一个拍摄装置从直播对象的正面进行拍摄得到的直播视频流数据,其中所包含的直播视频帧即为非全景视频帧。由于直播视频帧只是对直播对象进行正面拍摄的图像,此时,若虚拟对象靠近直播模型的后侧或者两侧(即,直播对象的身后或两侧的区域),则会出现纸片效果。
基于此,本申请实施例中,可以先确定非全景视频帧对应的未拍摄角度(即,除了拍摄角度以外的其他角度),然后,将直播模型中与该未拍摄角度相应的区域确定为非观看区域,并将该非观看区域设置为虚拟对象不可到达区域,使虚拟对象无法抵达非观看区域。从而避免虚拟对象到达非观看区域,看到纸片效果的直播画面,造成不好的虚拟空间体验。
基于相同的技术构思,本申请实施例还提供了一种直播装置,如图4所示,该装置包括:
获取模块401,用于获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧;
确定模块402,用于针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据;
渲染模块403,用于将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。
在一个可能的实施方式中,所述直播视频帧为全景视频帧,所述确定模块,具体用于:
确定所述虚拟空间中目标虚拟对象观看所述直播模型的观看角度;
在所述全景视频帧中选取符合所述观看角度的视频数据作为所述目标图像数据。
在一个可能的实施方式中,所述装置还包括控制模块,用于:
确定所述目标虚拟对象在所述虚拟空间中的对象位置以及所述直播模型在所述虚拟空间中的模型位置,并确定所述模型位置和所述对象位置之间的目标距离;
基于所述目标距离确定对应的目标音量;
控制所述虚拟空间对应的音频播放装置,按照所述目标音量播放所述直播视频流数据对应的直播音频。
在一个可能的实施方式中,所述直播视频帧为非全景视频帧,所述装置还包括设置模块,用于:
基于所述非全景视频帧和所述直播模型在所述虚拟空间中确定非观看区域,所述非观看区域为无法正常观看所述目标图像数据的区域;
将所述非观看区域设置为虚拟对象不可到达区域,以使所述虚拟对象无法抵达所述非观看区域。
在一个可能的实施方式中,所述渲染模块,具体用于:
基于预设的帧缓冲区对象将所述目标图像数据渲染至所述直播模型上,其中,所述帧缓冲区对象与所述直播模型对应的纹理缓冲区绑定。
在一个可能的实施方式中,所述确定模块,还用于:
利用预设的背景抠除算法抠除所述直播视频帧的背景,得到所述目标图像数据,所述目标图像数据的背景呈透明状态。
在一个可能的实施方式中,所述确定模块,还用于:
将所述直播视频帧确定为所述目标图像数据。
本申请实施例中,首先,获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧,然后,针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据,最后,将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。由此,实现了在虚拟空间中嵌入真实世界的直播画面,从而达到在虚拟世界中进行直播的效果。
基于相同的技术构思,本申请实施例还提供了一种电子设备,如图5所示,包括处理器111、通信接口112、存储器113和通信总线114,其中,处理器111,通信接口112,存储器113通过通信总线114完成相互间的通信,
存储器113,用于存放计算机程序;
处理器111,用于执行存储器113上所存放的程序时,实现如下步骤:
获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧;
针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据;
将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。
在一个可能的实施方式中,所述直播视频帧为全景视频帧,所述基于所述直播视频帧确定对应的目标图像数据,包括:
确定所述虚拟空间中目标虚拟对象观看所述直播模型的观看角度;
在所述全景视频帧中选取符合所述观看角度的视频数据作为所述目标图像数据。
在一个可能的实施方式中,所述将所述目标图像数据渲染至虚拟空间中的直播模型上之后,还包括:
确定所述目标虚拟对象在所述虚拟空间中的对象位置以及所述直播模型在所述虚拟空间中的模型位置,并确定所述模型位置和所述对象位置之间的目标距离;
基于所述目标距离确定对应的目标音量;
控制所述虚拟空间对应的音频播放装置,按照所述目标音量播放所述直播视频流数据对应的直播音频。
在一个可能的实施方式中,所述直播视频帧为非全景视频帧,所述方法还包括:
基于所述非全景视频帧和所述直播模型在所述虚拟空间中确定非观看区域,所述非观看区域为无法正常观看所述目标图像数据的区域;
将所述非观看区域设置为虚拟对象不可到达区域,以使所述虚拟对象无法抵达所述非观看区域。
在一个可能的实施方式中,所述将所述目标图像数据渲染至虚拟空间中的直播模型上,包括:
基于预设的帧缓冲区对象将所述目标图像数据渲染至所述直播模型上,其中,所述帧缓冲区对象与所述直播模型对应的纹理缓冲区绑定。
在一个可能的实施方式中,所述基于所述直播视频帧确定对应的目标图像数据,包括:
利用预设的背景抠除算法抠除所述直播视频帧的背景,得到所述目标图像数据,所述目标图像数据的背景呈透明状态。
在一个可能的实施方式中,所述基于所述直播视频帧确定对应的目标图像数据,包括:
将所述直播视频帧确定为所述目标图像数据。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一直播方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一直播方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介
质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))5等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术
语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得0包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还
包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
5以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或
实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这
些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范0围。
Claims (10)
1.一种直播方法,其特征在于,所述方法包括:
获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧;
针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据;
将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。
2.根据权利要求1所述的方法,其特征在于,所述直播视频帧为全景视频帧,所述基于所述直播视频帧确定对应的目标图像数据,包括:
确定所述虚拟空间中目标虚拟对象观看所述直播模型的观看角度;
在所述全景视频帧中选取符合所述观看角度的视频数据作为所述目标图像数据。
3.根据权利要求2所述的方法,其特征在于,所述将所述目标图像数据渲染至虚拟空间中的直播模型上之后,还包括:
确定所述目标虚拟对象在所述虚拟空间中的对象位置以及所述直播模型在所述虚拟空间中的模型位置,并确定所述模型位置和所述对象位置之间的目标距离;
基于所述目标距离确定对应的目标音量;
控制所述虚拟空间对应的音频播放装置,按照所述目标音量播放所述直播视频流数据对应的直播音频。
4.根据权利要求1所述的方法,其特征在于,所述直播视频帧为非全景视频帧,所述方法还包括:
基于所述非全景视频帧和所述直播模型在所述虚拟空间中确定非观看区域,所述非观看区域为无法正常观看所述目标图像数据的区域;
将所述非观看区域设置为虚拟对象不可到达区域,以使所述虚拟对象无法抵达所述非观看区域。
5.根据权利要求1所述的方法,其特征在于,所述将所述目标图像数据渲染至虚拟空间中的直播模型上,包括:
基于预设的帧缓冲区对象将所述目标图像数据渲染至所述直播模型上,其中,所述帧缓冲区对象与所述直播模型对应的纹理缓冲区绑定。
6.根据权利要求1所述的方法,其特征在于,所述基于所述直播视频帧确定对应的目标图像数据,包括:
利用预设的背景抠除算法抠除所述直播视频帧的背景,得到所述目标图像数据,所述目标图像数据的背景呈透明状态。
7.根据权利要求1所述的方法,其特征在于,所述基于所述直播视频帧确定对应的目标图像数据,包括:
将所述直播视频帧确定为所述目标图像数据。
8.一种直播装置,其特征在于,所述装置包括:
获取模块,用于获取直播对象对应的直播视频流数据,所述直播视频流数据包括多个包含所述直播对象的直播视频帧;
确定模块,用于针对每个直播视频帧,基于所述直播视频帧确定对应的目标图像数据;
渲染模块,用于将所述目标图像数据渲染至虚拟空间中的直播模型上,以通过所述直播模型展示所述直播对象对应的目标图像数据。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211601320.3A CN116112699A (zh) | 2022-12-13 | 2022-12-13 | 一种直播方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211601320.3A CN116112699A (zh) | 2022-12-13 | 2022-12-13 | 一种直播方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116112699A true CN116112699A (zh) | 2023-05-12 |
Family
ID=86264788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211601320.3A Pending CN116112699A (zh) | 2022-12-13 | 2022-12-13 | 一种直播方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116112699A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090109213A1 (en) * | 2007-10-24 | 2009-04-30 | Hamilton Ii Rick A | Arrangements for enhancing multimedia features in a virtual universe |
CN107911737A (zh) * | 2017-11-28 | 2018-04-13 | 腾讯科技(深圳)有限公司 | 媒体内容的展示方法、装置、计算设备及存储介质 |
CN108108014A (zh) * | 2017-11-16 | 2018-06-01 | 北京密境和风科技有限公司 | 一种直播画面的展示方法、装置 |
CN113448475A (zh) * | 2021-06-30 | 2021-09-28 | 广州博冠信息科技有限公司 | 虚拟直播间的交互控制方法、装置、存储介质与电子设备 |
CN113440840A (zh) * | 2021-07-14 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 一种互动方法和相关装置 |
CN113996062A (zh) * | 2021-11-15 | 2022-02-01 | 网易(杭州)网络有限公司 | 画面显示的方法、装置和电子设备 |
CN114257875A (zh) * | 2021-12-16 | 2022-03-29 | 广州博冠信息科技有限公司 | 数据传输方法、装置、电子设备和存储介质 |
CN115375823A (zh) * | 2022-10-21 | 2022-11-22 | 北京百度网讯科技有限公司 | 三维虚拟服饰生成方法、装置、设备及存储介质 |
CN116939231A (zh) * | 2022-04-08 | 2023-10-24 | 北京字跳网络技术有限公司 | 基于虚拟现实的直播方法、装置、设备及存储介质 |
-
2022
- 2022-12-13 CN CN202211601320.3A patent/CN116112699A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090109213A1 (en) * | 2007-10-24 | 2009-04-30 | Hamilton Ii Rick A | Arrangements for enhancing multimedia features in a virtual universe |
CN108108014A (zh) * | 2017-11-16 | 2018-06-01 | 北京密境和风科技有限公司 | 一种直播画面的展示方法、装置 |
CN107911737A (zh) * | 2017-11-28 | 2018-04-13 | 腾讯科技(深圳)有限公司 | 媒体内容的展示方法、装置、计算设备及存储介质 |
CN113448475A (zh) * | 2021-06-30 | 2021-09-28 | 广州博冠信息科技有限公司 | 虚拟直播间的交互控制方法、装置、存储介质与电子设备 |
CN113440840A (zh) * | 2021-07-14 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 一种互动方法和相关装置 |
CN113996062A (zh) * | 2021-11-15 | 2022-02-01 | 网易(杭州)网络有限公司 | 画面显示的方法、装置和电子设备 |
CN114257875A (zh) * | 2021-12-16 | 2022-03-29 | 广州博冠信息科技有限公司 | 数据传输方法、装置、电子设备和存储介质 |
CN116939231A (zh) * | 2022-04-08 | 2023-10-24 | 北京字跳网络技术有限公司 | 基于虚拟现实的直播方法、装置、设备及存储介质 |
CN115375823A (zh) * | 2022-10-21 | 2022-11-22 | 北京百度网讯科技有限公司 | 三维虚拟服饰生成方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
王跃华;: "浅析虚拟现实视频的发展和应用", 现代电影技术, no. 07, 11 July 2016 (2016-07-11) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11184646B2 (en) | 360-degree panoramic video playing method, apparatus, and system | |
US8990842B2 (en) | Presenting content and augmenting a broadcast | |
CN108156520B (zh) | 视频播放方法、装置、电子设备及存储介质 | |
CN109168034A (zh) | 商品信息显示方法、装置、电子设备和可读存储介质 | |
WO2017148413A1 (zh) | 一种内容呈现的方法、用户设备及系统 | |
CN111970532B (zh) | 视频播放方法、装置及设备 | |
JP6672305B2 (ja) | オブジェクト検出に基づき外挿画像を生成する方法及び装置 | |
CN106249508B (zh) | 自动对焦方法和系统、拍摄装置 | |
WO2018000619A1 (zh) | 一种数据展示方法、装置、电子设备与虚拟现实设备 | |
US9172943B2 (en) | Dynamic modification of video content at a set-top box device | |
CN114245228B (zh) | 页面链接投放方法、装置及电子设备 | |
CN112843735A (zh) | 游戏画面的拍摄方法、装置、设备及存储介质 | |
CN112274921A (zh) | 游戏角色的渲染方法、装置、电子设备及存储介质 | |
CN108986117B (zh) | 视频图像分割方法及装置 | |
CN112652046A (zh) | 游戏画面的生成方法、装置、设备及存储介质 | |
CN114191823A (zh) | 多视角的游戏直播方法及装置、电子设备 | |
CN114697703B (zh) | 视频数据生成方法、装置、电子设备及存储介质 | |
CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 | |
CN111757138A (zh) | 一种基于单镜头直播视频的特写显示方法及装置 | |
CN109286760B (zh) | 一种娱乐视频制作方法及其终端 | |
WO2020093862A1 (zh) | 一种vr视频处理的方法及相关装置 | |
CN111277904B (zh) | 一种视频的播放控制方法、装置及计算设备 | |
JP2018506106A (ja) | 再帰的階層処理を使用して外挿画像を生成するための装置および方法 | |
CN111667313A (zh) | 广告展示方法、装置、客户端设备及存储介质 | |
US20230353717A1 (en) | Image processing system, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |