CN114092671A - 虚拟直播的场景处理方法及装置、存储介质、电子设备 - Google Patents
虚拟直播的场景处理方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN114092671A CN114092671A CN202111363829.4A CN202111363829A CN114092671A CN 114092671 A CN114092671 A CN 114092671A CN 202111363829 A CN202111363829 A CN 202111363829A CN 114092671 A CN114092671 A CN 114092671A
- Authority
- CN
- China
- Prior art keywords
- data
- scene
- virtual
- experience
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开属于直播技术领域,涉及一种虚拟直播的场景处理方法及装置、存储介质、电子设备。该方法包括:获取目标观众端的增强体验数据以及与增强体验数据对应的体验增强条件,并获取虚拟场景中的当前场景数据;当增强体验数据满足所述体验增强条件时,通过调整当前场景数据对虚拟场景进行更新,以在目标观众端显示更新后的虚拟场景。本公开利用体验增强数据对增强体验数据进行匹配判断,以调整当前场景数据实现虚拟场景的实时动态更新,为用户提供区别于正常虚拟直播效果的差异化和定制化视觉体验。同时,不影响其他用户的正常观看体验,实现同一虚拟直播分支化展示的效果,满足不同用户的观看需求,从深度和广度上优化用户的虚拟直播观看体验。
Description
技术领域
本公开涉及直播技术领域,尤其涉及一种虚拟直播的场景处理方法与虚拟直播的场景处理装置、计算机可读存储介质及电子设备。
背景技术
在目前的实景直播中,直播间内的场景效果都为实景装修,并且进行真实拍摄得到。而虚拟直播可以通过UE(Unreal Engine,虚幻引擎)服务端将人像放置于提前制作好的虚拟场景中进行开播。相比较而言,虚拟直播因无需购置实景而成本更低,并且无需增加实体,能够实现虚拟效果,且带来了高扩展性,因此在日常的直播场景内逐渐有了更多的应用。
但是,在目前的虚拟直播中,由于虚拟相机的机位过于固定,无法调整,同时UE引擎渲染整个虚拟场景的性能消耗巨大,因而产生了很多无效开销。此外,机位固定还会导致实际直播的呈现效果与常规直播间的差异小,使得用户无法感知虚拟直播带来的优化体验和使用效果。
鉴于此,本领域亟需开发一种新的虚拟直播的场景处理方法及装置。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种虚拟直播的场景处理方法、虚拟直播的场景处理装置、计算机可读存储介质及电子设备,进而至少在一定程度上克服由于相关技术的限制而导致的性能消耗大和直播效果不佳的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本发明实施例的第一个方面,提供一种虚拟直播的场景处理方法,所述方法包括:
获取目标观众端的增强体验数据以及与所述增强体验数据对应的体验增强条件,并获取虚拟场景中的当前场景数据;
当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,以在所述目标观众端显示更新后的所述虚拟场景。
在本发明的一种示例性实施例中,所述增强体验数据,包括:观众图像数据和终端设备数据。
在本发明的一种示例性实施例中,所述获取目标观众端的增强体验数据以及与所述增强体验数据对应的体验增强条件,包括:
获取目标观众端的局部位置数据,并对所述局部位置数据进行场景深度识别得到观众图像数据;
获取目标观众端的设备倾角数据,并对所述设备倾角数据进行设备趋势判定得到终端设备数据,以获取与所述观众图像数据和所述终端设备数据对应的体验增强条件。
在本发明的一种示例性实施例中,所述局部位置数据,包括:眼睛位置数据和瞳孔位置数据。
在本发明的一种示例性实施例中,所述对所述局部位置数据进行场景深度识别得到观众图像数据,包括:
对所述瞳孔位置数据进行场景深度识别得到视线夹角,并对所述视线夹角和所述眼睛位置数据进行注视视线计算得到视线范围数据;
对所述视线范围数据进行区域范围清洗得到观众图像数据。
在本发明的一种示例性实施例中,所述对所述设备倾角数据进行设备趋势判定得到终端设备数据,包括:
对所述设备倾角数据进行角度范围清洗得到目标倾角数据,并对所述目标倾角数据进行矢量数据计算得到所述目标倾角数据的初始设备数据;
获取与所述初始设备数据对应的加速度条件,并利用所述加速度条件对所述初始设备数据进行倾角数据剔除得到所述目标倾角数据的终端设备数据。
在本发明的一种示例性实施例中,在所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新之前,所述方法还包括:
对所述观众图像数据进行坐标映射处理确定所述观众图像数据是否满足所述体验增强条件;
对所述目标倾角数据或所述终端设备数据进行倾角映射处理确定所述终端设备数据是否满足所述体验增强条件。
在本发明的一种示例性实施例中,所述对所述观众图像数据进行坐标映射处理确定所述观众图像数据是否满足所述体验增强条件,包括:
获取所述虚拟场景的场景空间数据,并对所述场景空间数据进行场景热区划分得到划分空间数据;
对所述观众图像数据和所述划分空间数据进行热区计数处理得到计数处理结果,并获取与所述计数处理结果对应的计数阈值;
对所述计数处理结果和所述计数阈值进行计数比较得到计数比较结果,并根据所述计数比较结果确定所述观众图像数据是否满足所述体验增强条件。
在本发明的一种示例性实施例中,所述对所述观众图像数据和所述划分空间数据进行热区计数处理得到计数处理结果,包括:
对所述观众图像数据和所述划分空间数据进行热区计数处理得到多个初始计数结果;
对所述多个初始计数结果进行结果比较得到计数处理结果。
在本发明的一种示例性实施例中,所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述计数处理结果大于所述计数阈值时,确定所述观众图像数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
在本发明的一种示例性实施例中,所述对所述目标倾角数据或所述终端设备数据进行倾角映射处理确定所述终端设备数据是否满足所述体验增强条件,包括:
获取与所述目标倾角数据对应的倾角阈值,并对所述目标倾角数据和所述倾角阈值进行倾角比较得到倾角比较结果,以根据所述倾角比较结果确定所述终端设备数据是否满足所述体验增强条件;
获取与所述终端设备数据对应的导数阈值,并对所述终端设备数据和所述导数阈值进行导数比较得到导数比较结果,以根据所述导数比较结果确定所述终端设备数据是否满足所述体验增强条件。
在本发明的一种示例性实施例中,所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述目标倾角数据大于所述倾角阈值时,确定所述终端设备数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
在本发明的一种示例性实施例中,所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述终端设备数据大于所述导数阈值时,确定所述终端设备数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
在本发明的一种示例性实施例中,所述当前场景数据,包括:场景元件数据、光照控件数据和场景相机数据。
在本发明的一种示例性实施例中,所述通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
调整所述场景元件数据和所述场景相机数据,以触发所述虚拟场景中的元件逻辑事件;
调整所述场景元件数据、所述光照控件数据和所述场景相机数据,以触发所述虚拟场景的光照逻辑事件;
调整所述场景元件数据、所述光照控件数据和所述场景相机数据,以触发所述虚拟场景的玩法逻辑事件。
在本发明的一种示例性实施例中,在所述通过调整所述当前场景数据对所述虚拟场景进行更新之后,所述方法还包括:
获取更新所述虚拟场景后的直播端的当前光照数据,并获取与所述当前光照数据对应的上一光照数据;
根据所述当前光照数据和所述上一光照数据调整所述光照控件数据。
在本发明的一种示例性实施例中,所述根据所述当前光照数据和所述上一光照数据调整所述光照控件数据,包括:
对所述当前光照数据和所述上一光照数据进行光照比对处理得到光照差值数据,并获取光照调整条件与控件调整模式之间的映射关系;
对所述光照差值数据与所述光照调整条件进行数据条件匹配确定目标调整条件,并根据所述目标调整条件和所述映射关系调整所述光照控件数据。
在本发明的一种示例性实施例中,所述更新所述目标观众端的所述虚拟场景,包括:
获取显示更新所述虚拟场景之前的全量观众端的多个终端标识,并在所述多个终端标识中确定所述目标观众端的目标终端标识;
按照所述目标终端标识更新所述目标观众端的所述虚拟场景,并保持所述全量观众端中除所述目标观众端之外的其他观众端的所述虚拟场景。
根据本发明实施例的第二个方面,提供一种虚拟直播的场景处理装置,包括:
数据获取模块,被配置为获取目标观众端的增强体验数据以及与所述增强体验数据对应的体验增强条件,并获取虚拟场景中的当前场景数据;
场景更新模块,被配置为当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,以在所述目标观众端显示更新后的所述虚拟场景。
根据本发明实施例的第三个方面,提供一种电子设备,包括:处理器和存储器;其中,存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例中的虚拟直播的场景处理方法。
根据本发明实施例的第四个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意示例性实施例中的虚拟直播的场景处理方法。
由上述技术方案可知,本公开示例性实施例中的虚拟直播的场景处理方法、虚拟直播的场景处理装置、计算机存储介质及电子设备至少具备以下优点和积极效果:
在本公开的示例性实施例提供的方法及装置中,利用体验增强数据对增强体验数据进行匹配判断,从而调整当前场景数据,实现虚拟场景的实时动态更新,为用户提供区别于正常虚拟直播效果的差异化和定制化视觉体验。与此同时,不影响其他用户的正常观看体验,实现同一虚拟直播分支化展示的效果,满足不同用户的观看需求和习惯,从深度和广度上同时优化用户的虚拟直播观看体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种虚拟直播的场景处理方法的流程示意图;
图2示意性示出本公开示例性实施例中获取增强体验数据的方法的流程示意图;
图3示意性示出本公开示例性实施例中场景深度识别的方法的流程示意图;
图4示意性示出本公开示例性实施例中设备趋势判定的方法的流程示意图;
图5示意性示出本公开示例性实施例中判定增强体验数据是否满足体验增强条件的方法的流程示意图;
图6示意性示出本公开示例性实施例中坐标映射处理的方法的流程示意图;
图7示意性示出本公开示例性实施例中热区计数处理的方法的流程示意图;
图8示意性示出本公开示例性实施例中倾角映射处理的方法的流程示意图;
图9示意性示出本公开示例性实施例中调整当前场景数据的方法的流程示意图;
图10示意性示出本公开示例性实施例中更新虚拟场景的方法的流程示意图;
图11示意性示出本公开示例性实施例中调整光照控件数据的方法的流程示意图;
图12示意性示出本公开示例性实施例中进一步调整光照控件数据的方法的流程示意图;
图13示意性示出本公开示例性实施例中一种虚拟直播的场景处理装置的结构示意图;
图14示意性示出本公开示例性实施例中一种用于实现虚拟直播的场景处理方法的电子设备;
图15示意性示出本公开示例性实施例中一种用于实现虚拟直播的场景处理方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
针对相关技术中存在的问题,本公开提出了一种虚拟直播的场景处理方法。图1示出了虚拟直播的场景处理方法的流程图,如图1所示,虚拟直播的场景处理方法至少包括以下步骤:
步骤S110.获取目标观众端的增强体验数据以及与增强体验数据对应的体验增强条件,并获取虚拟场景中的当前场景数据。
步骤S120.当增强体验数据满足体验增强条件时,通过调整当前场景数据对虚拟场景进行更新,以在目标观众端显示更新后的虚拟场景。
在本公开的示例性实施例中,利用体验增强数据对增强体验数据进行匹配判断,从而调整当前场景数据,实现虚拟场景的实时动态更新,为用户提供区别于正常虚拟直播效果的差异化和定制化视觉体验。与此同时,不影响其他用户的正常观看体验,实现同一虚拟直播分支化展示的效果,满足不同用户的观看需求和习惯,从深度和广度上同时优化用户的虚拟直播观看体验。
下面对虚拟直播的场景处理方法的各个步骤进行详细说明。
在步骤S110中,获取目标观众端的增强体验数据以及与增强体验数据对应的体验增强条件,并获取虚拟场景中的当前场景数据。
在本公开的示例性实施例中,UE实例运行在主播PC(Personal Computer,个人计算机)开播端,主播通过UE实例选择虚拟场景。并且,通过摄像头等视频采集装置采集主播视频,对采集到的主播视频进行抠图处理得到主播人像,以将连续帧的主播人像显示在构建出的虚拟场景中。除此之外,主播还可以设置美颜和彩妆等其余参数项,完成虚拟开播。
当用户正常进入虚拟开播的直播间,用户可以进行在直播间内发送弹幕,或者向主播赠送礼物等互动项目。
除此之外,还可以在用户端的直播间内提供增强模式功能入口,亦即“体验增强模式”控件。用户通过点击“体验增强模式”的控件,可以进入直播间增强模式。
进一步的,用户端的直播平台客户端可以将用户指令发送至直播平台服务器端。当当前的虚拟场景不支持增强模式时,可以向用户端提示一错误信息;而当当前的虚拟场景支持增强模式时,直播平台服务器端可以获取到开启增强模式功能的目标观众端的增强体验数据,以及与该增强体验数据对应的体验增强条件。
在可选的实施例中,增强体验数据,包括:观众图像数据和终端设备数据。
由于增强体验数据包括观众图像数据和终端设备数据两种,因此,可以通过不同的方式获取对应的增强体验数据。
在可选的实施例中,图2示出了获取增强体验数据的方法的流程示意图,如图2所示,该方法至少包括以下步骤:在步骤S210中,获取目标观众端的局部位置数据,并对局部位置数据进行场景深度识别得到观众图像数据。
用户进入“体验增强模式”之后,直播平台客户端通过用户手机已有的硬件设备采集用户手机摄像头回传的图像数据。进一步的,通过图像识别技术可以识别出回传的图像数据中的局部位置数据。
在可选的实施例中,局部位置数据,包括:眼睛位置数据和瞳孔位置数据。
具体的,眼睛位置数据为表征用户的眼睛所在位置的数据,瞳孔位置数据为表征用户的瞳孔所在位置的数据。
在获取到局部位置数据的之后,可以对局部位置数据进行场景深度识别。
在可选的实施例中,图3示出了场景深度识别的方法的流程示意图,如图3所示,该方法至少包括以下步骤:在步骤S310中,对瞳孔位置数据进行场景深度识别得到视线夹角,并对视线夹角和眼睛位置数据进行注视视线计算得到视线范围数据。
根据瞳孔位置数据和场景深度识别技术可以初步计算出用户实现与登录直播平台客户端的手机等终端设备所在平面形成的夹角,亦即实现夹角。
进一步的,根据实现夹角发出的注射实现和眼睛位置数据得出用户眼睛所注视的手机等终端设备的屏幕上的二维坐标范围,亦即实现范围数据。
在步骤S320中,对视线范围数据进行区域范围清洗得到观众图像数据。
在得到实现范围数据之后,可以对该实现范围数据进行区域范围清洗,将非视频区域的相关坐标点数据剔除,并将清洗后的数据保存得到观众图像数据。
在本示例性实施例中,通过对局部位置数据进行场景深度识别得到对应的观众图像数据,为调整当前场景数据提供了观众图像数据这一方面的数据基础,保证了虚拟场景的更新效果。
在步骤S220中,获取目标观众端的设备倾角数据,并对设备倾角数据进行设备趋势判定得到终端设备数据,以获取与观众图像数据和终端设备数据对应的体验增强条件。
在用户进入“体验增强模式”之后,直播平台客户端还可以通过用户手机等终端设备已有的硬件设备,采集用户手机的倾角传感数据,亦即设备倾角数据。
进一步的,可以对获取到的设备倾角数据进行设备趋势判定。
在可选的实施例中,图4示出了设备趋势判定的方法的流程示意图,如图4所示,该方法至少包括以下步骤:在步骤S410中,对设备倾角数据进行角度范围清洗得到目标倾角数据,并对目标倾角数据进行矢量数据计算得到目标倾角数据的初始设备数据。
对设备倾角数据进行角度范围清洗,将抖动大的设备倾角数据剔除得到一定范围内的矢量数据,亦即目标倾角数据。
进一步的,对前后两帧的目标倾角数据进行矢量数据计算,亦即计算两帧目标倾角数据的差值和导数作为初始设备数据,以为判定用户手机的倾斜趋势提供初始数据基础。
举例而言,当前一帧的目标倾角数据为(1,0,0),后一帧的目标倾角数据为(2,0,0),计算这两帧目标倾角数据的差值为(1,0,0),导数为0,因此,可以确定这两帧目标倾角数据的运动趋势为匀速向右倾斜。
在步骤S420中,获取与初始设备数据对应的加速度条件,并利用加速度条件对初始设备数据进行倾角数据剔除得到目标倾角数据的终端设备数据。
为对初始设备数据进行二次清洗,可以获取到加速度条件。举例而言,该加速度条件可以是标准差为(-1,1)之间。
进一步的,利用该加速度条件可以对不符合加速度条件的初始设备数据对应的目标倾角数据进行剔除,以得到满足一定加速度条件的目标倾角数据对应的终端设备数据。该终端设备数据为满足加速度条件的目标倾角数据对应的差值和导数,也可以根据实际情况包括其他数据,本示例性实施例对此不做特殊限定。
在本示例性实施例中,通过对设备倾角数据进行设备趋势判定得到对应的终端设备数据,为调整当前场景数据提供了终端设备数据的这一方面的数据基础,保证了虚拟场景的更新效果。
在获取到增强体验数据之后,还可以对应获取与该增强体验数据对应的体验增强条件。
该体验增强条件可以是分别针对观众图像数据,以及目标倾角数据或终端设备数据设定的对应的条件。并且,该体验增强条件可以是根据预设体验增强模板数据设定的。
举例而言,体验增强条件包含触发目标观众端的虚拟场景中的元件逻辑事件的条件,包含触发目标观众端的虚拟场景的光照逻辑事件的条件,还可以包含触发目标观众端的虚拟场景的玩法逻辑事件的条件。其中,元件逻辑事件可以是控制虚拟摄像机的水平横向视角移动,或者是调整焦距光圈,或者是控制虚拟摄像机的的镜头水平左右晃动30°等;光照逻辑事件可以是在终端设备数据中的导数超过一定数值时,调整动态风格动效,或者在虚拟场景内将虚拟灯光的色温在4k-7k之间进行调整等;该玩法逻辑事件可以是直播客户端支持的其他玩法功能等。
并且,还可以获取到虚拟场景中的当前场景数据。
在可选的实施例中,当前场景数据,包括:场景元件数据、光照控件数据和场景相机数据。
其中,场景元件数据包括虚拟场景现有元件的坐标和属性数据,该现有元件可以包括虚拟场景中的装饰性元件的模型,例如挂件和灯等。
光照控件数据可以包括虚拟场中的光照控件的坐标和属性数据等。
场景相机数据可以包括虚拟场景内相机的坐标和属性参数数据等。
值得说明的是,当直播平台服务端获取到增强体验数据之后,可以在请求直播平台主播端开播时,进一步获取当前虚拟直播的场景数据。而当服务端UE实例获取到该请求时,可以获取当前场景数据。并且,当前场景数据并不限制于场景元件数据、光照控件数据和场景相机数据,还可以根据实际情况和需求包括其他数据,本示例性实施例对此不做特殊限定。
在步骤S120中,当增强体验数据满足体验增强条件时,通过调整当前场景数据对虚拟场景进行更新,以在目标观众端显示更新后的虚拟场景。
在本公开的示例性实施例中,直播平台服务端在接收到当前场景数据,以及与该当前场景数据对应的预设体验增强模板数据,亦即体验增强条件之后,可以根据保存的观众图像数据和终端设备数据对拟控制的虚拟直播元件进行映射。
因此,获取到增强体验数据和体验增强条件之后,可以在调整当前场景数据之前,判断增强体验数据是否满足体验增强条件。
在可选的实施例中,图5示出了判定增强体验数据是否满足体验增强条件的方法的流程示意图,如图5所示,该方法至少包括以下步骤:在步骤S510中,对观众图像数据进行坐标映射处理确定观众图像数据是否满足体验增强条件。
在可选的实施例中,图6示出了坐标映射处理的方法的流程示意图,如图6所示,该方法至少包括以下步骤:在步骤S610中,获取虚拟场景的场景空间数据,并对场景空间数据进行场景热区划分得到划分空间数据。
具体的,场景空间数据可以是表征虚拟场景所在的立体空间的数据。
在得到虚拟场景的场景空间数据之后,可以对场景空间数据进行场景热区划分,将虚拟场景的立体空间划分为九等分的划分空间数据。
在步骤S620中,对观众图像数据和划分空间数据进行热区计数处理得到计数处理结果,并获取与计数处理结果对应的计数阈值。
在可选的实施例中,图7示出了热区计数处理的方法的流程示意图,如图7所示,该方法至少包括以下步骤:在步骤S710中,对观众图像数据和划分空间数据进行热区计数处理得到多个初始计数结果。
按照九等分的划分空间数据对读取到的观众图像数据进行热区计数处理,确定观众图像数据表征的点落入九等分划分空间内的个数作为初始计数结果。
在步骤S720中,对多个初始计数结果进行结果比较得到计数处理结果。
在得到九个初始计数结果之后,可以对九个初始计数结果进行结果比较处理得到九等分划分空间内落入点数最多的区域作为计数处理结果。
在本示例性实施例中,通过对观众图像数据和划分空间数据进行热区计算初始可以得到计数处理结果,为注视点坐标映射提供了基础数据支持。
在得到计数处理结果之后,可以获取到与该计数处理结果对应的计数阈值。并且,该计数阈值可以是预设体验增强模板数据,亦即体验增强条件规定的。
在步骤S630中,对计数处理结果和计数阈值进行计数比较得到计数比较结果,并根据计数比较结果确定观众图像数据是否满足体验增强条件。
在得到计数处理结果和计数阈值之后,可以对计数处理结果和计数阈值进行比较得到对应的计数比较结果。
其中,计数比较结果可以是计数处理结果大于计数阈值,也可以是计数比较结果小于或等于计数阈值。
当计数比较结果为计数处理结果大于计数阈值时,确定观众图像数据满足体验增强条件;当计数比较结果为计数比较结果小于或等于计数阈值时,确定观众图像数据不满足体验增强条件。
在本示例性实施例中,通过对观众图像数据进行坐标映射处理可以判断观众图像数据是否满足对应的体验增强条件,为调整当前场景数据提供了一种调整功能支持入口,丰富了虚拟直播的场景处理方式。
在步骤S520中,对目标倾角数据或终端设备数据进行倾角映射处理确定终端设备数据是否满足体验增强条件。
图8示出了倾角映射处理的方法的流程示意图,如图8所示,该方法至少包括以下步骤:在步骤S810中,获取与目标倾角数据对应的倾角阈值,并对目标倾角数据和倾角阈值进行倾角比较得到倾角比较结果,以根据倾角比较结果确定所述终端设备数据是否满足体验增强条件。
该倾角阈值也可以是预设体验增强模板内规定的阈值。
在获取到倾角阈值之后,可以将目标倾角数据与倾角阈值进行比较,以根据倾角比较结果确定是否满足体验增强条件。该倾角比较结果可以是目标倾角数据大于倾角阈值,也可以是目标倾角数据小于或等于倾角阈值。
当目标倾角数据大于倾角阈值时,确定终端设备数据满足体验增强条件;当目标倾角数据小于或等于倾角阈值时,确定终端设备数据不满足体验增强条件。
在步骤S820中,获取与终端设备数据对应的导数阈值,并对终端设备数据和导数阈值进行导数比较得到导数比较结果,以根据导数比较结果确定终端设备数据是否满足体验增强条件。
该导数阈值也可以是预设体验增强模板内规定的阈值。
在获取到导数阈值之后,可以将终端设备数据中的导数与导数阈值进行比较,以根据导数比较结果确定是否满足体验增强条件。该导数比较结果可以是终端设备数据中的导数大于导数阈值,也可以是终端设备数据中的导数小于或等于导数阈值。
当终端设备数据中的导数大于导数阈值时,确定终端设备数据满足体验增强条件;当终端设备数据中的导数小于或等于导数阈值时,确定终端设备数据不满足体验增强条件。
在本示例性实施例中,通过对两种增强体验数据进行不同的映射处理可以确定是否满足体验增强条件,也在调整当前场景数据之前提供了前置判断方式,保证了当前场景数据调整的逻辑缜密性和数据准确性,保证了增强体验的调整效果。
在判断增强体验数据是否满足体验增强条件之后,可以根据判断结果调整当前场景数据。
在可选的实施例中,若计数比较结果为计数处理结果大于计数阈值时,确定观众图像数据满足体验增强条件,并通过调整当前场景数据对虚拟场景进行更新。
当通过计数处理结果和计数阈值进行计数比较得到的计数比较结果,以根据计数比较结果确定观众图像数据是否满足体验增强条件时,可以确定在计数处理结果大于计数阈值时,进一步确定观众图像数据满足体验增强条件,以调整当前场景数据实现对虚拟场景的更新。
在可选的实施例中,若倾角比较结果为目标倾角数据大于倾角阈值时,确定终端设备数据满足体验增强条件,并通过调整当前场景数据对虚拟场景进行更新。
当通过目标倾角数据与倾角阈值进行倾角比较确定倾角比较结果,并根据倾角比较结果确定终端设备数据是否满足体验增强数据时,可以确定在目标倾角数据大于倾角阈值时,进一步确定终端设备数据满足体验增强条件,以调整当前场景数据实现对虚拟场景的更新。
在可选的实施例中,若导数比较结果为终端设备数据大于导数阈值时,确定终端设备数据满足体验增强条件,并通过调整当前场景数据对虚拟场景进行更新。
当通过终端设备数据中的导数与导数阈值进行导数比较得到导数比较结果,并根据导数比较结果确定终端设备数据是否满足体验增强数据时,可以确定在终端设备数据中的导数大于导数阈值时,进一步确定终端设备数据满足体验增强条件,以调整当前场景数据实现对虚拟场景的更新。
在本示例性实施例中,提供了三种判定增强体验数据满足体验增强条件的方式,为调整当前场景数据提供了多样化的判断标准,也丰富了调整当前场景数据的应用方式。
在确定增强体验数据满足体验增强条件的情况下,可以进一步调整当前场景数据。
在可选的实施例中,图9示出了调整当前场景数据的方法的流程示意图,如图9所示,该方法至少包括以下步骤:在步骤S910中,调整场景元件数据和场景相机数据,以触发虚拟场景中的元件逻辑事件。
具体的,可以调整场景元件数据中的坐标和属性数据,以及场景相机数据中的坐标和属性参数数据,可以触发目标观众端的虚拟场景中的元件逻辑事件。
举例而言,该元件逻辑事件可以是控制虚拟摄像机的水平横向视角移动,或者是调整焦距光圈,或者是控制虚拟摄像机的的镜头水平左右晃动30°等,本示例性实施例对元件逻辑事件不做特殊限定。
在步骤S920中,调整场景元件数据、光照控件数据和场景相机数据,以触发虚拟场景的光照逻辑事件。
具体的,调整场景元件数据中的坐标和属性数据,以及光照控件数据中的光照控件的坐标和属性数据,还有场景相机数据中的坐标和属性参数数据,可以触发目标观众端的虚拟场景中的光照逻辑事件。
举例而言,光照逻辑事件可以是在终端设备数据中的导数超过一定数值时,调整动态风格动效,或者在虚拟场景内将虚拟灯光的色温在4k-7k之间进行调整等,本示例性实施例对光照逻辑事件不做特殊限定。
在步骤S930中,调整场景元件数据、光照控件数据和场景相机数据,以触发虚拟场景的玩法逻辑事件。
具体的,调整场景元件数据中的坐标和属性数据,以及光照控件数据中的光照控件的坐标和属性数据,还有场景相机数据中的坐标和属性参数数据,还可以触发目标观众端的虚拟场景的玩法逻辑事件。
举例而言,该玩法逻辑事件可以是直播客户端支持的其他玩法功能等。并且,该直播客户端支持的玩法功能还能够同时唤起客户端的UI(User Interface,用户界面)呈现,例如弹窗等,本示例性实施例对此不做特殊限定。
值得说明的是,调整场景元件数据、场景相机数据和光照控件数据,与触发元件逻辑事件、光照逻辑事件和玩法逻辑事件之间并不限制是一一对应,或者是一对多,又或者是多对一,还或者是多对多的对应关系,这可以由元件逻辑事件、光照逻辑事件或者玩法逻辑事件的具体实施设定进行关联。
在本示例性实施例中,提供了三种自动调整和更新虚拟场景的方式,提升了虚拟直播场景的调整方式的自动化程度和智能化程度,丰富了用户的增强体验方式,在一定程度上优化了用户观看直播的体验。
但是,在更新目标观众端的虚拟场景之前,还可以对目标观众端进行识别和判断。
在可选的实施例中,图10示出了更新虚拟场景的方法的流程示意图,如图10所示,该方法至少包括以下步骤:在步骤S1010中,获取显示更新虚拟场景之前的全量观众端的多个终端标识,并在多个终端标识中确定目标观众端的目标终端标识。
其中,全量观众端可以是进入同一个直播间的所有观众端。因此,可以获取到与全量观众端的多个终端标识。该终端标识可以是唯一表征一个观众端的标识数据。例如,该终端标识可以是每一个观众端的客户端ID(Identity document,身份标识)。
进一步的,还可以从多个终端标识中读取进入体验增强模式的目标观众端的客户端ID作为目标终端标识。
在步骤S1020中,按照目标终端标识更新目标观众端的虚拟场景,并保持全量观众端中除目标观众端之外的其他观众端的虚拟场景。
服务端UE实例可以同时返回一份正常虚拟直播视频流的,无差别的图像画面,以及一份调整当前场景数据后的图像画面,经由主播侧开播端发送至直播平台服务端。
直播平台服务端收到两种视频流之后,可以读取到多个终端标识和目标终端标识。并且,直播平台服务端将调整当前场景数据后的图像画面的视频流推送至目标终端标识对应的目标观众端,从而完成一次增强体验模式下在目标观众端显示更新后的虚拟场景的流程。
并且,直播平台服务端还可以将正常虚拟直播视频流的,无差别的图像画面推送至除目标观众端之外的其他观众端中,以使没有进入增强体验模式的用户正常观看直播。
在本示例性实施例中,通过对不同观众端的差异化推送,能够同时满足进入增强体验模式和没有进入增强体验模式的两种用户的观看需求,不同用户之间不会产生影响,多分支优化了不同用户的直播观看体验。
除此之外,在调整当前场景数据之后,还可以根据调整后的当前场景数据进一步控制当前虚拟场景到的光照控件数据。
在可选的实施例中,图11示出了调整光照控件数据的方法的流程示意图,如图11所示,该方法至少包括以下步骤:在步骤S1110中,获取更新虚拟场景后的直播端的当前光照数据,并获取与当前光照数据对应的上一光照数据。
在根据当前场景数据确定触发的逻辑事件之后,直播平台服务端可以将指令经由主播侧开播端发送回服务端UE实例。
服务端UE实例根据控制指令对虚拟场景内的各个元件进行实时调整。
并且,在完成调整之后,服务端UE实例将拟更新的场景画面截帧后经由主播侧开播端发送至直播平台服务端。
直播平台服务端对当前帧和上一帧回传的画面的主播人物面片光照信息,亦即当前光照数据和上一光照数据。
该当前光照数据可以是更新虚拟场景之后得到的主播人物面片的坐标数据。并且,该当前光照数据可以包括主播人物的上半身的坐标数据。
对应的,上一光照数据可以是更新虚拟场景的上一帧的主播人物面片的坐标数据。并且,该上一光照数据也可以包括主播人物的上半身的坐标数据。
值得说明的是,当前光照数据与上一光照数据的光照数据也可以属于当前场景数据。
在步骤S1120中,根据当前光照数据和上一光照数据调整光照控件数据。
在可选的实施例中,图12示出了进一步调整光照控件数据的方法的流程示意图,如图12所示,该方法至少包括以下步骤:在步骤S1210中,对当前光照数据和上一光照数据进行光照比对处理得到光照差值数据,并获取光照调整条件与控件调整模式之间的映射关系。
在得到当前光照数据和上一光照数据之后,可以对当前光照数据和上一光照数据进行光照比对处理,亦即进行计算得到光照差值数据。其中,光照差值数据可以包括色温、光强和光照聚集点的差值数据。
进一步的,还可以获取到光照调整条件与控件调整模式之间的映射关系。该光照调整条件与控件调整模式之间的映射关系可以是由预设体验增强模板规定的,并且,可以包括多种映射关系,映射关系也不存在固定的一对一、多对一、一对多或多对多的数量对应关系,本示例性实施例对此不做特殊限定。
在步骤S1220中,对光照差值数据与光照调整条件进行数据条件匹配确定目标调整条件,并根据目标调整条件和映射关系调整光照控件数据。
在获取到光照调整条件与控件调整模式之间的映射关系之后,可以利用光照差值数据与光照调整条件进行数据条件匹配,以从光照调整条件中确定出光照差值数据满足的目标调整条件。
进一步的,根据目标调整条件与映射关系可以确定对应的控件调整模板,并按照该控件调整模板调整光照控件数据。
直播平台服务端结合预设体验增强模板内的指令要求,亦即光照调整条件与控件调整模式之间的映射关系得到拟调整的光照控制指令。
直播平台服务端将该光照控制指令经由主播侧开播端回传至服务端UE实例,以使服务端UE实例在接收到光照控制指令之后,能够控制虚拟场景内的光照控件数据进行色温、光照或光照强度的动态调整,从而保证整体视觉效果不发生太大变化,维持观感的变化平滑性。
在本示例性实施例中,通过调整后的当前场景数据进一步调整光照控件数据,实时且动态地调整虚拟场景的灯光效果。
简而言之,通过用户手机搭载的常规硬件设备,例如摄像头和手机倾角传感器等,当用户进入处于虚拟开播的主播直播间,且授权进入体验增强模式时,直播平台客户端通过传感器实时采集所需的观众图像数据和倾角矢量数据等目标倾角数据至直播平台服务端。
直播平台服务端在接收到增强体验数据之后,请求直播平台主播侧开播端,获取当前虚拟场景数据与此场景对应的预设体验增强模板。通过对增强体验数据与模板的匹配计算,得出所需控制调整的场景元件数据、光照控件数据和场景相机数据,并确定拟触发的逻辑事件。进一步的,将控制指令回传至服务端UE实例进行实时调整。
完成调整后,服务端UE实例将拟更新的场景截帧发送至直播平台服务端,直播平台服务端根据对上一帧画面的主播人物面片光照信息进行比对,并根据模板进行光照调整指令判定调整动态平衡或风格光照的控件调整模式,并按照与控件调整模式对应的控制指令回传至服务端UE实例,控制虚拟场景内的光源进行色温、光照角度或光照强度的动态调整,以完成一次体验增强模式下虚拟场景的更新。并且,还可以重复执行虚拟直播的场景处理流程,直至用户退出体验增强模式。
在本公开的示例性实施例中的虚拟直播的场景处理方法,利用体验增强数据对增强体验数据进行匹配判断,从而调整当前场景数据,实现虚拟场景的实时动态更新,为用户提供区别于正常虚拟直播效果的差异化和定制化视觉体验。与此同时,不影响其他用户的正常观看体验,实现同一虚拟直播分支化展示的效果,满足不同用户的观看需求和习惯,从深度和广度上同时优化用户的虚拟直播观看体验。
此外,在本公开的示例性实施例中,还提供一种虚拟直播的场景处理装置。图13示出了虚拟直播的场景处理装置的结构示意图,如图13所示,虚拟直播的场景处理装置1300可以包括:数据获取模块1310和场景更新模块1320。其中:
数据获取模块1310,被配置为获取目标观众端的增强体验数据以及与增强体验数据对应的体验增强条件,并获取虚拟场景中的当前场景数据;场景更新模块1320,被配置为当增强体验数据满足体验增强条件时,通过调整当前场景数据对虚拟场景进行更新,以在目标观众端显示更新后的虚拟场景。
在本发明的一种示例性实施例中,所述增强体验数据,包括:观众图像数据和终端设备数据。
在本发明的一种示例性实施例中,所述获取目标观众端的增强体验数据以及与所述增强体验数据对应的体验增强条件,包括:
获取目标观众端的局部位置数据,并对所述局部位置数据进行场景深度识别得到观众图像数据;
获取目标观众端的设备倾角数据,并对所述设备倾角数据进行设备趋势判定得到终端设备数据,以获取与所述观众图像数据和所述终端设备数据对应的体验增强条件。
在本发明的一种示例性实施例中,所述局部位置数据,包括:眼睛位置数据和瞳孔位置数据。
在本发明的一种示例性实施例中,所述对所述局部位置数据进行场景深度识别得到观众图像数据,包括:
对所述瞳孔位置数据进行场景深度识别得到视线夹角,并对所述视线夹角和所述眼睛位置数据进行注视视线计算得到视线范围数据;
对所述视线范围数据进行区域范围清洗得到观众图像数据。
在本发明的一种示例性实施例中,所述对所述设备倾角数据进行设备趋势判定得到终端设备数据,包括:
对所述设备倾角数据进行角度范围清洗得到目标倾角数据,并对所述目标倾角数据进行矢量数据计算得到所述目标倾角数据的初始设备数据;
获取与所述初始设备数据对应的加速度条件,并利用所述加速度条件对所述初始设备数据进行倾角数据剔除得到所述目标倾角数据的终端设备数据。
在本发明的一种示例性实施例中,在所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新之前,所述方法还包括:
对所述观众图像数据进行坐标映射处理确定所述观众图像数据是否满足所述体验增强条件;
对所述目标倾角数据或所述终端设备数据进行倾角映射处理确定所述终端设备数据是否满足所述体验增强条件。
在本发明的一种示例性实施例中,所述对所述观众图像数据进行坐标映射处理确定所述观众图像数据是否满足所述体验增强条件,包括:
获取所述虚拟场景的场景空间数据,并对所述场景空间数据进行场景热区划分得到划分空间数据;
对所述观众图像数据和所述划分空间数据进行热区计数处理得到计数处理结果,并获取与所述计数处理结果对应的计数阈值;
对所述计数处理结果和所述计数阈值进行计数比较得到计数比较结果,并根据所述计数比较结果确定所述观众图像数据是否满足所述体验增强条件。
在本发明的一种示例性实施例中,所述对所述观众图像数据和所述划分空间数据进行热区计数处理得到计数处理结果,包括:
对所述观众图像数据和所述划分空间数据进行热区计数处理得到多个初始计数结果;
对所述多个初始计数结果进行结果比较得到计数处理结果。
在本发明的一种示例性实施例中,所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述计数处理结果大于所述计数阈值时,确定所述观众图像数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
在本发明的一种示例性实施例中,所述对所述目标倾角数据或所述终端设备数据进行倾角映射处理确定所述终端设备数据是否满足所述体验增强条件,包括:
获取与所述目标倾角数据对应的倾角阈值,并对所述目标倾角数据和所述倾角阈值进行倾角比较得到倾角比较结果,以根据所述倾角比较结果确定所述终端设备数据是否满足所述体验增强条件;
获取与所述终端设备数据对应的导数阈值,并对所述终端设备数据和所述导数阈值进行导数比较得到导数比较结果,以根据所述导数比较结果确定所述终端设备数据是否满足所述体验增强条件。
在本发明的一种示例性实施例中,所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述目标倾角数据大于所述倾角阈值时,确定所述终端设备数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
在本发明的一种示例性实施例中,所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述终端设备数据大于所述导数阈值时,确定所述终端设备数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
在本发明的一种示例性实施例中,所述当前场景数据,包括:场景元件数据、光照控件数据和场景相机数据。
在本发明的一种示例性实施例中,所述通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
调整所述场景元件数据和所述场景相机数据,以触发所述虚拟场景中的元件逻辑事件;
调整所述场景元件数据、所述光照控件数据和所述场景相机数据,以触发所述虚拟场景的光照逻辑事件;
调整所述场景元件数据、所述光照控件数据和所述场景相机数据,以触发所述虚拟场景的玩法逻辑事件。
在本发明的一种示例性实施例中,在所述通过调整所述当前场景数据对所述虚拟场景进行更新之后,所述方法还包括:
获取更新所述虚拟场景后的直播端的当前光照数据,并获取与所述当前光照数据对应的上一光照数据;
根据所述当前光照数据和所述上一光照数据调整所述光照控件数据。
在本发明的一种示例性实施例中,所述根据所述当前光照数据和所述上一光照数据调整所述光照控件数据,包括:
对所述当前光照数据和所述上一光照数据进行光照比对处理得到光照差值数据,并获取光照调整条件与控件调整模式之间的映射关系;
对所述光照差值数据与所述光照调整条件进行数据条件匹配确定目标调整条件,并根据所述目标调整条件和所述映射关系调整所述光照控件数据。
在本发明的一种示例性实施例中,所述更新所述目标观众端的所述虚拟场景,包括:
获取显示更新所述虚拟场景之前的全量观众端的多个终端标识,并在所述多个终端标识中确定所述目标观众端的目标终端标识;
按照所述目标终端标识更新所述目标观众端的所述虚拟场景,并保持所述全量观众端中除所述目标观众端之外的其他观众端的所述虚拟场景。
上述虚拟直播的场景处理装置1300的具体细节已经在对应的虚拟直播的场景处理方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了虚拟直播的场景处理装置1300的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参照图14来描述根据本发明的这种实施例的电子设备1400。图14显示的电子设备1400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图14所示,电子设备1400以通用计算设备的形式表现。电子设备1400的组件可以包括但不限于:上述至少一个处理单元1410、上述至少一个存储单元1420、连接不同系统组件(包括存储单元1420和处理单元1410)的总线1430、显示单元1440。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1410执行,使得所述处理单元1410执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元1420可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)1421和/或高速缓存存储单元1422,还可以进一步包括只读存储单元(ROM)1423。
存储单元1420还可以包括具有一组(至少一个)程序模块1425的程序/实用工具1424,这样的程序模块1425包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1430可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1400也可以与一个或多个外部设备1600(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1400交互的设备通信,和/或与使得该电子设备1400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1450进行。并且,电子设备1400还可以通过网络适配器1460与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1460通过总线1430与电子设备1400的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图15所示,描述了根据本发明的实施例的用于实现上述方法的程序产品1500,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (21)
1.一种虚拟直播的场景处理方法,其特征在于,所述方法包括:
获取目标观众端的增强体验数据以及与所述增强体验数据对应的体验增强条件,并获取虚拟场景中的当前场景数据;
当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,以在所述目标观众端显示更新后的所述虚拟场景。
2.根据权利要求1所述的虚拟直播的场景处理方法,其特征在于,所述增强体验数据,包括:观众图像数据和终端设备数据。
3.根据权利要求2所述的虚拟直播的场景处理方法,其特征在于,所述获取目标观众端的增强体验数据以及与所述增强体验数据对应的体验增强条件,包括:
获取目标观众端的局部位置数据,并对所述局部位置数据进行场景深度识别得到观众图像数据;
获取目标观众端的设备倾角数据,并对所述设备倾角数据进行设备趋势判定得到终端设备数据,以获取与所述观众图像数据和所述终端设备数据对应的体验增强条件。
4.根据权利要求3所述的虚拟直播的场景处理方法,其特征在于,所述局部位置数据,包括:眼睛位置数据和瞳孔位置数据。
5.根据权利要求4所述的虚拟直播的场景处理方法,其特征在于,所述对所述局部位置数据进行场景深度识别得到观众图像数据,包括:
对所述瞳孔位置数据进行场景深度识别得到视线夹角,并对所述视线夹角和所述眼睛位置数据进行注视视线计算得到视线范围数据;
对所述视线范围数据进行区域范围清洗得到观众图像数据。
6.根据权利要求3所述的虚拟直播的场景处理方法,其特征在于,所述对所述设备倾角数据进行设备趋势判定得到终端设备数据,包括:
对所述设备倾角数据进行角度范围清洗得到目标倾角数据,并对所述目标倾角数据进行矢量数据计算得到所述目标倾角数据的初始设备数据;
获取与所述初始设备数据对应的加速度条件,并利用所述加速度条件对所述初始设备数据进行倾角数据剔除得到所述目标倾角数据的终端设备数据。
7.根据权利要求6所述的虚拟直播的场景处理方法,其特征在于,在所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新之前,所述方法还包括:
对所述观众图像数据进行坐标映射处理确定所述观众图像数据是否满足所述体验增强条件;
对所述目标倾角数据或所述终端设备数据进行倾角映射处理确定所述终端设备数据是否满足所述体验增强条件。
8.根据权利要求7所述的虚拟直播的场景处理方法,其特征在于,所述对所述观众图像数据进行坐标映射处理确定所述观众图像数据是否满足所述体验增强条件,包括:
获取所述虚拟场景的场景空间数据,并对所述场景空间数据进行场景热区划分得到划分空间数据;
对所述观众图像数据和所述划分空间数据进行热区计数处理得到计数处理结果,并获取与所述计数处理结果对应的计数阈值;
对所述计数处理结果和所述计数阈值进行计数比较得到计数比较结果,并根据所述计数比较结果确定所述观众图像数据是否满足所述体验增强条件。
9.根据权利要求8所述的虚拟直播的场景处理方法,其特征在于,所述对所述观众图像数据和所述划分空间数据进行热区计数处理得到计数处理结果,包括:
对所述观众图像数据和所述划分空间数据进行热区计数处理得到多个初始计数结果;
对所述多个初始计数结果进行结果比较得到计数处理结果。
10.根据权利要求8所述的虚拟直播的场景处理方法,其特征在于,所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述计数比较结果为所述计数处理结果大于所述计数阈值时,确定所述观众图像数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
11.根据权利要求7所述的虚拟直播的场景处理方法,其特征在于,所述对所述目标倾角数据或所述终端设备数据进行倾角映射处理确定所述终端设备数据是否满足所述体验增强条件,包括:
获取与所述目标倾角数据对应的倾角阈值,并对所述目标倾角数据和所述倾角阈值进行倾角比较得到倾角比较结果,以根据所述倾角比较结果确定所述终端设备数据是否满足所述体验增强条件;
获取与所述终端设备数据对应的导数阈值,并对所述终端设备数据和所述导数阈值进行导数比较得到导数比较结果,以根据所述导数比较结果确定所述终端设备数据是否满足所述体验增强条件。
12.根据权利要求11所述的虚拟直播的场景处理方法,其特征在于,所述所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述倾角比较结果为所述目标倾角数据大于所述倾角阈值时,确定所述终端设备数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
13.根据权利要求11所述的虚拟直播的场景处理方法,其特征在于,所述所述当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
若所述导数比较结果为所述终端设备数据大于所述导数阈值时,确定所述终端设备数据满足所述体验增强条件,并通过调整所述当前场景数据对所述虚拟场景进行更新。
14.根据权利要求1所述的虚拟直播的场景处理方法,其特征在于,所述当前场景数据,包括:场景元件数据、光照控件数据和场景相机数据。
15.根据权利要求14所述的虚拟直播的场景处理方法,其特征在于,所述通过调整所述当前场景数据对所述虚拟场景进行更新,包括:
调整所述场景元件数据和所述场景相机数据,以触发所述虚拟场景中的元件逻辑事件;
调整所述场景元件数据、所述光照控件数据和所述场景相机数据,以触发所述虚拟场景的光照逻辑事件;
调整所述场景元件数据、所述光照控件数据和所述场景相机数据,以触发所述虚拟场景的玩法逻辑事件。
16.根据权利要求14所述的虚拟直播的场景处理方法,其特征在于,在所述通过调整所述当前场景数据对所述虚拟场景进行更新之后,所述方法还包括:
获取更新所述虚拟场景后的直播端的当前光照数据,并获取与所述当前光照数据对应的上一光照数据;
根据所述当前光照数据和所述上一光照数据调整所述光照控件数据。
17.根据权利要求16所述的虚拟直播的场景处理方法,其特征在于,所述根据所述当前光照数据和所述上一光照数据调整所述光照控件数据,包括:
对所述当前光照数据和所述上一光照数据进行光照比对处理得到光照差值数据,并获取光照调整条件与控件调整模式之间的映射关系;
对所述光照差值数据与所述光照调整条件进行数据条件匹配确定目标调整条件,并根据所述目标调整条件和所述映射关系调整所述光照控件数据。
18.根据权利要求1所述的虚拟直播的场景处理方法,其特征在于,所述更新所述目标观众端的所述虚拟场景,包括:
获取显示更新所述虚拟场景之前的全量观众端的多个终端标识,并在所述多个终端标识中确定所述目标观众端的目标终端标识;
按照所述目标终端标识更新所述目标观众端的所述虚拟场景,并保持所述全量观众端中除所述目标观众端之外的其他观众端的所述虚拟场景。
19.一种虚拟直播的场景处理装置,其特征在于,包括:
数据获取模块,被配置为获取目标观众端的增强体验数据以及与所述增强体验数据对应的体验增强条件,并获取虚拟场景中的当前场景数据;
场景更新模块,被配置为当所述增强体验数据满足所述体验增强条件时,通过调整所述当前场景数据对所述虚拟场景进行更新,以在所述目标观众端显示更新后的所述虚拟场景。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-18中任意一项所述的虚拟直播的场景处理方法。
21.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器被配置为经由执行所述可执行指令来执行权利要求1-18中任意一项所述的虚拟直播的场景处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111363829.4A CN114092671A (zh) | 2021-11-17 | 2021-11-17 | 虚拟直播的场景处理方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111363829.4A CN114092671A (zh) | 2021-11-17 | 2021-11-17 | 虚拟直播的场景处理方法及装置、存储介质、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114092671A true CN114092671A (zh) | 2022-02-25 |
Family
ID=80301524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111363829.4A Pending CN114092671A (zh) | 2021-11-17 | 2021-11-17 | 虚拟直播的场景处理方法及装置、存储介质、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114092671A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114615556A (zh) * | 2022-03-18 | 2022-06-10 | 广州博冠信息科技有限公司 | 虚拟直播增强互动方法及装置、电子设备、存储介质 |
CN115225949A (zh) * | 2022-07-11 | 2022-10-21 | 广州博冠信息科技有限公司 | 直播互动方法及装置、计算机存储介质、电子设备 |
-
2021
- 2021-11-17 CN CN202111363829.4A patent/CN114092671A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114615556A (zh) * | 2022-03-18 | 2022-06-10 | 广州博冠信息科技有限公司 | 虚拟直播增强互动方法及装置、电子设备、存储介质 |
CN114615556B (zh) * | 2022-03-18 | 2024-05-10 | 广州博冠信息科技有限公司 | 虚拟直播增强互动方法及装置、电子设备、存储介质 |
CN115225949A (zh) * | 2022-07-11 | 2022-10-21 | 广州博冠信息科技有限公司 | 直播互动方法及装置、计算机存储介质、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108605166B (zh) | 一种增强现实中呈现替换图像的方法及设备 | |
US11024083B2 (en) | Server, user terminal device, and control method therefor | |
US10089769B2 (en) | Augmented display of information in a device view of a display screen | |
JP6558587B2 (ja) | 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム | |
US9460351B2 (en) | Image processing apparatus and method using smart glass | |
CN106507178B (zh) | 视频播放方法及装置 | |
US20140146148A1 (en) | System and method for generating 3-d plenoptic video images | |
CN114092671A (zh) | 虚拟直播的场景处理方法及装置、存储介质、电子设备 | |
US20170076498A1 (en) | System and method for presenting content within virtual reality environment | |
WO2013028586A1 (en) | Location based skins for mixed reality displays | |
WO2020048441A1 (zh) | 通信连接方法、终端设备及无线通信系统 | |
KR20130010424A (ko) | 콘텐츠 재생 방법 및 장치 | |
CN113706719A (zh) | 虚拟场景的生成方法及装置、存储介质、电子设备 | |
CN113411561A (zh) | 一种现场演出的立体显示方法、装置、介质及系统 | |
JP2014182597A (ja) | 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 | |
CN114302221B (zh) | 一种虚拟现实设备及投屏媒资播放方法 | |
US11290772B2 (en) | Multi-source content displaying interface | |
KR102140077B1 (ko) | 서버, 사용자 단말 장치 및 그 제어 방법 | |
CN114615556B (zh) | 虚拟直播增强互动方法及装置、电子设备、存储介质 | |
WO2022193931A1 (zh) | 一种虚拟现实设备及媒资播放方法 | |
CN116170624A (zh) | 一种对象展示方法、装置、电子设备及存储介质 | |
CN110910508B (zh) | 一种图像显示方法、装置和系统 | |
CN115129280A (zh) | 一种虚拟现实设备及投屏媒资播放方法 | |
CN117354567A (zh) | 弹幕调整方法、装置、设备及介质 | |
CN114567768A (zh) | 一种基于vr技术的交互方法、系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |