CN114615556B - 虚拟直播增强互动方法及装置、电子设备、存储介质 - Google Patents
虚拟直播增强互动方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN114615556B CN114615556B CN202210270620.1A CN202210270620A CN114615556B CN 114615556 B CN114615556 B CN 114615556B CN 202210270620 A CN202210270620 A CN 202210270620A CN 114615556 B CN114615556 B CN 114615556B
- Authority
- CN
- China
- Prior art keywords
- virtual scene
- anchor
- virtual
- scene template
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000003993 interaction Effects 0.000 title claims abstract description 57
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000009877 rendering Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 239000002245 particle Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 6
- 238000007654 immersion Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种虚拟直播增强互动方法及装置、电子设备、存储介质,涉及计算机技术领域。该虚拟直播增强互动方法包括:响应于对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成与虚拟场景模板对应的配置数据;实时采集主播画面和主播当前位置信息,并将主播当前位置信息,以及虚拟场景模板和配置数据发送至服务端,以通过服务端从虚拟场景模板中确定与主播当前位置信息对应的目标虚拟场景模板;在接收到由服务端下发的目标虚拟场景模板的标识数据时,播放由主播画面和目标虚拟场景模板构建的直播画面。本公开实施例的技术方案可以提高主播侧直播互动的便捷性,也可以丰富直播内容,提高用户侧观看直播的体验和主播侧制作直播内容的体验。
Description
技术领域
本公开涉及机器学习技术领域,具体而言,涉及一种虚拟直播增强互动方法、虚拟直播增强互动装置、电子设备以及计算机可读存储介质。
背景技术
随着互联网技术的飞速发展,虚拟直播领域也迎来了发展的空间。
然而,为了增强主播与用户之间的互动,通常都是通过物理层面的方式改变直播画面内容以提高用户观看直播的体验,如增加场景内的实体道具或灯光,以及使用遥控器控制摄像头的拍摄画面,不但需要主播侧做较多的前期准备,而且主播侧能够支持的增强互动的方法相当有限。
因此,提供一种普适且高效的虚拟直播增强互动方法,在直播领域具有重要的现实意义。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种虚拟直播增强互动方法、虚拟直播互动增强装置、电子设备以及计算机可读存储介质,进而至少在一定程度上克服主播侧支持的虚拟直播增强互动局限性较大,以及用户观看直播体验较差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的第一方面,提供了一种虚拟直播增强互动方法,包括:响应于对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据;实时采集主播画面和主播当前位置信息,并将所述主播当前位置信息,以及所述虚拟场景模板和所述配置数据发送至服务端,以通过所述服务端从所述虚拟场景模板中确定与所述主播当前位置信息对应的目标虚拟场景模板;在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面。
在本公开的一些示例实施例中,基于前述方案,所述配置数据包括虚拟场景渲染数据和与所述虚拟场景渲染数据对应的触发状态数据。
在本公开的一些示例实施例中,基于前述方案,所述方法还包括:基于所述主播画面确定主播的待识别关键点,并对所述待识别关键点进行检测识别,确定所述主播当前位置信息;将所述当前位置信息发送至所述服务端,并通过所述服务端获取与所述主播画面相邻的上一主播画面的主播历史位置信息,以基于所述主播历史位置信息和所述主播当前位置信息确定主播移动信息。
在本公开的一些示例实施例中,基于前述方案,所述通过所述服务端从所述虚拟场景模板中确定与所述主播移动信息匹配的目标虚拟场景模板,包括:在接收所述服务端发送的获取与所述主播移动信息对应的目标虚拟场景渲染数据和目标触发状态数据的指令时,将所述目标虚拟场景渲染数据和所述目标触发状态数据发送至所述服务端;通过所述服务端对所述主播移动信息和所述目标触发状态数据进行匹配处理,并在检测到所述主播移动信息与所述目标触发状态数据匹配时,基于所述目标虚拟场景渲染数据确定目标虚拟场景模板。
在本公开的一些示例实施例中,基于前述方案,所述在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面,包括:在接收到由所述服务端下发的用于触发所述目标虚拟场景模板的标识数据时,获取所述目标虚拟场景模板的预设位置坐标;在检测到所述预设位置坐标与所述主播移动信息匹配时,将所述预设位置坐标作为所述目标虚拟场景模板的展示位置坐标;基于所述展示位置坐标,构建由所述主播画面和所述目标虚拟场景模板组成的直播画面,并播放所述直播画面。
在本公开的一些示例实施例中,基于前述方案,所述方法还包括:获取虚拟相机的当前拍摄属性数据;所述当前拍摄属性数据包括焦距、焦段、拍摄角度;基于所述焦距、所述焦段、所述拍摄角度,计算当前直播场景的可见范围数据;在检测到所述标识数据中包括聚焦字段时,基于所述可见范围数据以及所述主播移动信息,对所述主播画面进行位置调整,以使所述主播画面位于所述当前直播场景的中心位置。
在本公开的一些示例实施例中,基于前述方案,所述方法还包括:基于所述主播画面和与所述主播画面相邻的上一主播画面,确定所述主播的移动方向;根据所述移动方向调整所述所述虚拟相机的运镜方向,以自动化控制所述虚拟相机运镜。
在本公开的一些示例实施例中,基于前述方案,所述方法还包括:在检测到与所述待识别关键点对应的当前姿势数据满足所述目标触发状态数据时,获取所述目标虚拟场景渲染数据和所述虚拟相机的预设运动参数;基于所述预设运动参数,控制所述虚拟虚拟相机的移动状态,并以最大化视角基于所述目标虚拟场景渲染数据动态展示所述目标虚拟场景模板。
根据本公开实施例的第二方面,提供了一种虚拟直播增强互动装置,包括:虚拟场景模板构建模块,用于响应于对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据;目标虚拟场景模板确定模块,用于实时采集主播画面和主播当前位置信息,并将所述主播当前位置信息,以及所述虚拟场景模板和所述配置数据发送至服务端,以通过所述服务端从所述虚拟场景模板中确定与所述主播当前位置信息对应的目标虚拟场景模板;直播画面播放模块,用于在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面。
在本公开的一些示例实施例中,基于前述方案,所述虚拟场景模板构建模块包括配置数据生成单元,所述配置数据生成单元用于生成所述虚拟场景模板的虚拟场景渲染数据和与所述虚拟场景渲染数据对应的触发状态数据。
在本公开的一些示例实施例中,基于前述方案,所述虚拟直播增强互动装置还包括待识别关键点检测模块,所述待识别关键点检测模块用于基于所述主播画面确定主播的待识别关键点,并对所述待识别关键点进行检测识别,确定所述主播当前位置信息;将所述当前位置信息发送至所述服务端,并通过所述服务端获取与所述主播画面相邻的上一主播画面的主播历史位置信息,以基于所述主播历史位置信息和所述主播当前位置信息确定所述主播移动信息。
在本公开的一些示例实施例中,基于前述方案,所述目标虚拟场景模板确定模块包括目标虚拟场景模板确定单元,所述目标虚拟场景模板确定单元用于在接收所述服务端发送的获取与所述主播移动信息对应的目标虚拟场景渲染数据和目标触发状态数据的指令时,将所述目标虚拟场景渲染数据和所述目标触发状态数据发送至所述服务端;通过所述服务端对所述主播移动信息和所述目标触发状态数据进行匹配处理,并在检测到所述主播移动信息与所述目标触发状态数据匹配时,基于所述目标虚拟场景渲染数据确定目标虚拟场景模板。
在本公开的一些示例实施例中,基于前述方案,所述直播画面播放模块包括直播画面播放单元,所述直播画面播放单元用于在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,获取所述目标虚拟场景模板的预设位置坐标;在检测到所述预设位置坐标与所述主播移动信息匹配时,将所述预设位置坐标作为所述目标虚拟场景模板的展示位置坐标;基于所述展示位置坐标,构建由所述主播画面和所述目标虚拟场景模板组成的直播画面,并播放所述直播画面。
在本公开的一些示例实施例中,基于前述方案,所述虚拟直播增强互动装置包括主播画面调整模块,所述主播画面调整模块用于获取虚拟相机的当前拍摄属性数据;所述当前拍摄属性数据包括焦距、焦段、拍摄角度;基于所述焦距、所述焦段、所述拍摄角度,计算当前直播场景的可见范围数据;在检测到所述虚拟场景渲染数据中包括聚焦字段时,基于所述可见范围数据以及所述主播移动信息,对所述主播画面相机进行位置调整,以使所述主播画面位于所述当前直播场景的中心位置。
在本公开的一些示例实施例中,基于前述方案,所述虚拟直播互动增强装置还包括虚拟相机调整模块,所述虚拟相机调整模块用于基于所述主播画面和与所述主播画面相邻的上一主播画面,确定所述主播的移动方向;根据所述移动方向调整所述所述虚拟相机的运镜方向,以自动化控制所述虚拟相机运镜。
在本公开的一些示例实施例中,基于前述方案,所述虚拟直播增强互动装置包括目标虚拟场景模板动态展示模块,所述目标虚拟场景模板动态展示模块用于在检测到与所述待识别关键点对应的当前姿势数据满足所述目标触发状态数据时,获取所述目标虚拟场景渲染数据和所述虚拟相机的预设运动参数;基于所述预设运动参数,控制所述虚拟虚拟相机的移动状态,并以最大化视角基于所述目标虚拟场景渲染数据展示所述目标虚拟场景模板。
根据本公开实施例的第三方面,提供了一种电子设备,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述任意一项所述的虚拟直播增强互动方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据上述任意一项所述的虚拟直播增强互动方法。
本公开实施例提供的技术方案可以包括以下有益效果:
本公开的示例实施例中的虚拟直播增强互动方法,响应于对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成与虚拟场景模板对应的配置数据;实时采集主播画面和主播当前位置信息,并将主播当前位置信息,以及虚拟场景模板和配置数据发送至服务端,以通过服务端从虚拟场景模板中确定与主播当前位置信息对应的目标虚拟场景模板;在接收到由服务端下发的目标虚拟场景模板的标识数据时,播放由主播画面和目标虚拟场景模板构建的直播画面。一方面,可以通过虚拟开播面板为主播提供构建虚拟场景模板的渠道,进而可以基于虚拟场景模板丰富直播画面内容,避免只通过物理层面的方式改变主播画面内容,提高了虚拟直播增强互动的便捷性和广泛性;另一方面,可以将实时采集的主播当前位置信息,以及预构建的虚拟场景模板和虚拟场景模板的配置数据发送至服务端,由服务端从虚拟场景模板中确定与主播当前位置信息匹配的目标虚拟场景模板,并基于服务端发送的目标虚拟场景模板的标识数据,播放由主播画面和目标虚拟场景模板构建的直播画面,提高直播画面的真实性和多样性,进一步提高用户观看直播画面的沉浸感,从而改善用户的观看体验;再一方面,可以使主播基于虚拟开播面板选择虚拟场景模板,提高了主播选择虚拟场景模板的自主性,进而提升了主播的虚拟直播增强互动体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了根据本公开的一些实施例的虚拟直播增强互动方法流程的示意图;
图2示意性示出了根据本公开的一些实施例的主播移动信息确定方法流程的示意图;
图3示意性示出了根据本公开的一些实施例的目标虚拟场景模板确定方法流程的示意图;
图4示意性示出了根据本公开的一些实施例的直播画面播放方法流程的示意图;
图5示意性示出了根据本公开的一些实施例的主播画面位置调整方法流程的示意图;
图6示意性示出了根据本公开的一些实施例的虚拟相机控制方法流程的示意图;
图7示意性示出了根据本公开的一些实施例的目标虚拟场景模板动态展示方法流程的示意图;
图8示意性示出了根据本公开的一些实施例的虚拟直播增强互动装置的示意图;
图9示意性示出了根据本公开的一些实施例的电子设备的计算机系统的结构示意图;
图10示意性示出了根据本公开的一些实施例的计算机可读存储介质的示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
此外,附图仅为示意性图解,并非一定是按比例绘制。附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本示例实施例中,首先提供了一种虚拟直播增强互动方法,该虚拟直播增强互动方法可以应用于终端设备,例如手机、电脑等电子设备。图1示意性示出了根据本公开的一些实施例的虚拟直播增强互动方法流程的示意图。参考图1所示,该虚拟直播增强互动方法可以包括以下步骤:
在步骤S110中,响应于对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据;
在步骤S120中,实时采集主播画面和主播当前位置信息,并将所述主播当前位置信息,以及所述虚拟场景模板和所述配置数据发送至服务端,以通过所述服务端从所述虚拟场景模板中确定与所述主播移动信息对应的目标虚拟场景模板;
在步骤S130中,在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面。
根据本示例实施例中的虚拟直播增强互动方法,一方面,可以通过虚拟开播面板为主播提供构建虚拟场景模板的渠道,进而可以基于虚拟场景模板丰富直播画面内容,避免只通过物理层面的方式改变主播画面内容,提高了虚拟直播增强互动的便捷性和广泛性;另一方面,可以将实时采集的主播当前位置信息,以及预构建的虚拟场景模板和虚拟场景模板的配置数据发送至服务端,由服务端从虚拟场景模板中确定与主播当前位置信息对应的目标虚拟场景模板,并基于服务端发送的目标虚拟场景模板的标识数据,播放由主播画面和目标虚拟场景模板构建的直播画面,提高直播画面的真实性和多样性,进一步提高用户观看直播画面的沉浸感,从而改善用户的观看体验;再一方面,可以使主播基于虚拟开播面板选择虚拟场景模板,提高了主播选择虚拟场景模板的自主性,进而提升了主播的虚拟直播增强互动体验。
下面,将对本示例实施例中的虚拟直播增强互动方法进行进一步的说明。
在步骤S110中,响应于对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据。
在本公开的一个示例实施例中,虚拟开播面板可以指直播设备的功能面板,例如,虚拟开播面板可以是直播设备中用于提供取像和美颜的功能面板,虚拟开播面板也可以是直播设备中用于提供场景和特效的功能面板,虚拟开播面板还可以是直播设备中用于提供虚拟直播中道具的功能模板,当然,虚拟开播面板还可以是直播设备中用于提供虚拟直播其他辅助的功能模板,本例实施例对此不作特殊限定。
配置数据可以指虚拟场景模板的属性配置数据,例如,配置数据可以是虚拟场景模板的虚拟场景渲染数据,配置数据也可以是虚拟场景模板的触发状态数据,配置数据还可以是虚拟场景模板的唯一标识数据,当然,配置数据还可以是虚拟场景模板的其他属性配置数据,本例实施例对此不作特殊限定。
可以响应于主播对虚拟开播面板中功能选项的配置操作,例如,响应于主播对虚拟开播面板中场景选项的触控操作,展示场景选项的子选项如包含多个不同的虚拟场景,以及多个不同的风格滤镜,并在检测到主播对场景选项下虚拟场景中的第一虚拟场景模板的可视化拖拽操作时,将第一虚拟场景模板显示在预览窗口,并继续检测主播对第一虚拟场景模板的配置操作,确定第一虚拟场景模板如触发展示第一虚拟场景模板的动作,即第一虚拟场景模板的触发状态数据,以及第一虚拟场景模板的效果,即第一虚拟场景模板的虚拟场景渲染数据;同理,可以基于虚拟开播面板设置多个用于在本次虚拟直播过程的虚拟场景模板,并在确定各个虚拟场景模板的配置数据后,圈定各个虚拟场景模板的出场顺序,在虚拟直播过程中所有的虚拟场景模板不重复的条件下,也可以通过各个虚拟场景模板的配置数据中的唯一标识数据确定各个虚拟场景模板的出场顺序,进而实现虚拟场景模板的预构建。
基于虚拟开播面板,检测主播对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成虚拟场景模板的配置数据,进而可以基于虚拟场景模板的配置数据,展示虚拟场景模板以丰富虚拟直播过程中的直播画面内容,避免了只通过物理层面如增加场景内的实体道具或灯光,以及使用遥控器控制摄像头的拍摄画面等丰富直播画面内容,提高了主播侧虚拟直播增强互动的便捷性和广泛性,也提高了直播画面的真实性,进而可以提高用户观看直播内容的沉浸感,改善用户的观看体验。同时,也可以使主播可以通过虚拟开播面板组装本场直播所需的虚拟直播互动模板,提高了主播的选择虚拟直播互动模板的自主性,进而提升了主播的虚拟直播增强互动体验。
在步骤S120中,实时采集主播画面和主播当前位置信息,并将所述主播当前位置信息,以及所述虚拟场景模板和所述配置数据发送至服务端,以通过所述服务端从所述虚拟场景模板中确定与所述主播当前位置信息匹配的目标虚拟场景模板。
在本公开的一个示例实施例中,主播当前位置信息可以指主播画面中待识别关键点的当前位置信息,例如,主播当前位置信息可以是主播的当前视线位置信息,主播当前位置信息也可以是主播的关键肢体的当前位置信息,主播当前位置信息还可以是主播的躯干的当前位置信息,当然,主播当前位置信息还可以是主播画面中其他待识别关键点的当前位置信息,本例实施例对此不作特殊限定。
目标虚拟场景模板可以指与主播移动信息匹配的用于增强虚拟直播互动的虚拟场景模板,例如,目标虚拟场景模板可以是与主播移动信息匹配的用于增强虚拟直播互动的虚拟场景氛围元素模板如樱花飘落的动态氛围特效模板,目标虚拟场景模板也可以是与主播移动信息匹配的用于增强虚拟直播互动的互动元素模板如烟花粒子特效,目标虚拟场景模板还可以是与主播移动信息匹配的用于增强虚拟直播互动的虚拟特效模板如聚焦模式特效或跟随人像特效,当然,目标虚拟场景模板还可以是与主播移动信息匹配的其他虚拟场景模板,本例实施例对此不作特殊限定。
可以通过实时采集主播画面,并对主播画面中的待识别关键点进行检测识别确定主播当前位置信息,进而将主播当前位置信息,以及预构建的虚拟场景模板发送至服务端,由服务端基于主播当前位置信息以及与主播画面相邻的上一主播画面的主播历史位置信息计算主播移动信息。其中,主播移动信息可以指对实时采集的主播画面中的待识别关键点进行检测识别后确定的主播位置信息,例如,待识别关键点可以是主播的视线,主播的移动信息可以是对实时采集的主播画面中主播的瞳孔视线到真实相机拍摄距离之间的位置信息,待识别关键点也可以是主播的肢体关键点如手,主播移动信息也可以是对实时采集的主播画面中主播关键手部动作的变化信息,待识别关键点还可以是主播躯干点如身体重心点,主播移动信息还可以是对实时采集的主播画面中主播躯干点的位置坐标进行检测识别,并计算与相邻的上一主播画面中主播的躯干移动点的位置坐标的偏移量得到的信息,当然,主播移动信息还可以指对实时采集的主播画面中的其他待识别关键点进行检测识别确定的主播位置信息,本例实施例对此不作特殊限定。
进而,服务端可以从虚拟场景模板中确定与主播移动信息匹配的目标虚拟场景模板,并基于主播画面和目标虚拟场景模板构建直播画面,丰富直播画面内容,提高用户观看直播内容的沉浸感,从而改善用户的观看体验。
在步骤S130中,在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面。
在本公开的一个示例实施例中,标识数据可以指目标虚拟场景模板的区别特征数据,例如,标识数据可以是目标虚拟场景模板的序列号数据,标识数据也可以是与目标虚拟场景模板对应的配置数据中的关键字段数据,当然,标识数据还可以是目标虚拟场景模板的其他区别特征数据,本例实施例对此不作特殊限定。
在服务端接收到由客户端发送的主播当前位置信息时,服务端可以向客户端发送获取与主播移动信息对应的目标虚拟场景渲染数据和目标触发状态数据的指令,在客户端接收到该指令后,可以将该目标虚拟场景渲染数据和目标触发状态数据发送至服务端,再由该服务端计算主播移动信息,并对目标触发状态数据和主播移动信息进行匹配处理,若服务端检测到目标触发状态数据和主播移动信息匹配时,可以向客户端发送与目标触发状态数据对应的目标虚拟场景模板的标识数据。
可以通过服务端从虚拟场景模板中确定与主播移动信息匹配的目标虚拟场景模板,并在接收到由服务端下发的目标虚拟场景模板的标识数据时,获取虚拟场景模板的预设位置坐标,并在检测到该预设位置坐标与主播移动信息匹配时,可以将该预设位置坐标作为目标虚拟场景模板的展示位置坐标,并播放由该目标虚拟场景模板和主播画面构建的直播画面,不但丰富了直播画面内容,而且可以通过预设坐标和主播移动信息控制目标虚拟场景模板的展示位置,也可以通过接收目标虚拟场景模板的标识数据控制直播画面的播放时机,提高了直播画面的真实性,进而可以提高用户观看直播内容的沉浸感,改善用户的观看体验。
在本公开的一个示例实施例中,虚拟场景模板的配置数据可以包括虚拟场景渲染数据和与虚拟场景渲染数据对应的触发状态数据。
其中,虚拟场景渲染数据可以指用于渲染虚拟场景模板的数据。触发状态数据可以指用于触发调用虚拟场景渲染数据以展示虚拟场景模板的状态数据,例如,触发状态数据可以是用于触发调用虚拟场景渲染数据以展示虚拟场景模板的动作状态数据,触发状态数据也可以是用于触发调用虚拟场景渲染数据以展示虚拟场景模板的姿势数据,触发状态数据还可以是用于触发调用虚拟场景渲染数据以展示虚拟场景模板的位置偏移状态数据,当然,触发状态数据还可以是用于触发调用虚拟场景渲染数据以展示虚拟场景模板的其他状态数据,本例实施例对此不作特殊限定。
可以响应于主播对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成各虚拟场景模板的配置数据如虚拟场景渲染数据和与虚拟场景渲染数据对应的触发状态数据,并实时采集虚拟开播过程中主播画面和主播当前位置信息,并将主播当前位置信息和虚拟场景模板的虚拟场景渲染数据和触发状态数据发送至服务端,由服务端计算主播移动信息,并对主播移动信息和触发状态数据进行匹配处理,并从虚拟场景模板中确定与主播移动信息对应的目标虚拟场景模板,并将目标虚拟场景模板的标识数据发送至客户端,由客户端确定目标虚拟场景模板的展示位置,并基于该展示位置构建并播放由主播画面和目标虚拟场景模板构建的虚拟直播画面。
图2示意性示出了根据本公开的一些实施例的主播移动信息确定方法流程的示意图。参考图2所示,该主播移动信息确定方法可以包括以下步骤:
在步骤S210中,基于所述主播画面确定主播的待识别关键点,并对所述待识别关键点进行检测识别,确定所述主播当前位置信息;
在步骤S220中,将所述主播当前位置信息发送至所述服务端,并通过所述服务端获取与所述主播画面相邻的上一主播画面的主播历史位置信息,以基于所述主播历史位置信息和所述主播当前位置信息确定所述主播移动信息。
其中,待识别关键点可以指主播画面中用于确定主播当前位置信息的关键点,例如,待识别关键点可以是主播画面中用于确定主播当前位置信息的关键肢体点如手部关键点,待识别关键点也可以是主播画面中用于确定主播当前位置信息的主播视线关键点,待识别关键点还可以是主播画面中用于确定主播当前位置信息的主播躯干关键点如身体重心点,当然,待识别关键点还可以是主播画面中用于确定主播的当前位置信息的其他关键点,本例实施例对此不作特殊限定。
可以实时采集主播的当前视线位置信息如检测主播的人物面片的位置与主播瞳孔距离,也可以采用肢体关键点检测技术检测识别主播画面中待识别关键点的当前位置信息,进而可以将实时采集的主播的当前视线位置信息或主播的当前肢体位置信息发送至服务端,由服务端根据与当前主播画面相邻的上一主播画面中主播的历史视线位置信息以及主播的当前视线位置信息,确定主播移动信息,或根据主播的历史肢体位置信息以及当前肢体位置信息确定主播移动信息,进而对主播移动信息和与主播移动信息匹配的目标虚拟场景模板对应的目标触发状态数据进行匹配处理,若检测到主播移动信息和目标触发状态数据匹配,则向客户端发送与目标触发状态数据对应的目标虚拟场景模板的标识数据,控制客户端播放由目标虚拟场景模板和主播画面构建的直播画面。
图3示意性示出了根据本公开的一些实施例的目标虚拟场景模板确定方法流程的示意图。参考图3所示,该目标虚拟场景模板确定方法可以包括以下步骤:
在步骤S310中,在接收所述服务端发送的获取与所述主播移动信息对应的目标虚拟场景渲染数据和目标触发状态数据的指令时,将所述目标虚拟场景渲染数据和所述目标触发状态数据发送至所述服务端;
在步骤S320中,通过所述服务端对所述主播移动信息和所述目标触发状态数据进行匹配处理,并在检测到所述主播移动信息与所述目标触发状态数据匹配时,基于所述目标虚拟场景渲染数据确定目标虚拟场景模板。
其中,由于在客户端构建虚拟场景模板时,每个虚拟场景模板都对应的有配置数据,即每个虚拟场景模板都有与每个虚拟场景模板对应的虚拟场景渲染数据和触发状态数据,且触发状态数据中包含了用于触发调用虚拟场景渲染数据展示虚拟场景模板的动作状态数据或肢体姿势数据;在客户端将实时采集的主播当前位置信息发送至服务端后,服务端可以向客户端发送获取与该主播当前位置信息对应的目标虚拟场景渲染数据和目标触发状态数据的指令,可以由客户端按照该指令向服务端发送该目标虚拟场景渲染数据和目标触发状态数据,进而由服务端获取与主播画面相连的上一主播画面对应的主播历史位置信息,并基于主播历史位置信息和主播当前位置信息确定主播移动信息,以对主播移动信息和目标触发状态数据进行匹配处理,若服务端检测到主播移动信息和目标触发状态数据匹配,则可以向客户端下发目标虚拟模板的标识数据。
可以将实时采集主播画面,并对主播画面中的待识别关键点进行实时检测识别,确定主播当前位置信息,并将主播当前位置信息发送至服务端,由服务端基于主播当前位置信息,以及与主播画面相邻的上一主播画面对应的主播历史位置信息,计算主播移动信息,以对主播移动信息和虚拟场景模板中的各触发状态数据进行匹配处理;若检测到主播移动信息与虚拟场景模板中的目标虚拟场景模板的触发状态数据匹配,则可以基于该触发状态数据对应的目标虚拟场景渲染数据确定目标虚拟场景模板。通过将主播移动信息与虚拟场景模板中的触发状态数据进行匹配处理,避免了主播为丰富直播内容做较多的前期准备,降低了丰富直播内容的成本,提高了直播内容的多样性,也提高了丰富直播内容的时效性。
可选的,也可以将待识别关键点的当前姿势数据发送至服务端,由服务端对当前姿势数据与各虚拟场景模板中的各触发状态数据进行匹配处理;在检测到主播的当前姿势数据与虚拟场景模板中的目标虚拟场景模板的触发状态数据匹配时,基于与该触发状态数据对应的目标虚拟场景渲染数据确定目标虚拟场景模板。
图4示意性示出了根据本公开的一些实施例的直播画面播放方法流程的示意图。参考图4所示,该直播画面播放方法可以包括以下步骤:
在步骤S410中,在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,获取所述目标虚拟场景模板的预设位置坐标;
在步骤S420中,在检测到所述预设位置坐标与所述主播移动信息匹配时,将所述预设位置坐标作为所述目标虚拟场景模板的展示位置坐标;
在步骤S430中,基于所述展示位置坐标,构建由所述主播画面和所述目标虚拟场景模板组成的直播画面,并播放所述直播画面。
其中,在虚拟开播场景中,主播终端设备中的摄像头可以拍摄到主播画面,进而可以将该主播画面发送至与主播移动信息或当前姿势数据匹配的目标虚拟场景模板对应的目标虚拟场景实例中,以使与目标虚拟场景实例对应的虚拟场景中的虚拟摄像头可以拍摄到带有滤镜效果的主播画面,进而实现由主播画面和目标虚拟场景模板组成的直播画面的构建。其中,目标虚拟场景实例可以是用于展示包含与目标虚拟场景模板对应的虚拟场景的直播数据流的底层数据,例如,目标虚拟场景实例可以是用于展示包含与目标虚拟场景模板对应的虚拟场景的直播数据流的窗口,也可以是用于展示包含与目标虚拟场景模板对应的虚拟场景的直播数据流的进程,当然,目标虚拟场景实例还可以用于展示包含与目标虚拟场景模板对应的虚拟场景的其他底层数据,本例实施例对此不作特殊限定。
可以通过接收由服务端下发的目标虚拟场景模板的标识数据,并在该标识数据控制的目标虚拟场景模板为场景互动类模板如场景互动道具、粒子效果等时,可以预先获取目标虚拟场景模板的预设位置坐标,以对该预设位置坐标和主播移动信息进行匹配处理,若检测到该预设位置坐标与主播移动信息匹配,则可以将该预设位置坐标作为目标虚拟场景模板的展示位置坐标。例如,目标虚拟场景模板可以是烟花粒子特效,主播移动信息可以是主播的手部动作变化信息如主播作出放烟花手势的位置信息,可以将主播移动信息与预设位置坐标进行匹配处理,若检测到主播移动信息和该预设位置坐标匹配,则将该预设位置坐标作为烟花粒子特效的展示位置坐标,并触发烟花粒子特效,以及由与目标虚拟场景模板对应的目标虚拟场景实例中的虚拟摄像头,拍摄由主播画面和目标虚拟场景模板构建的直播画面。从而,丰富了直播画面的内容,提高了直播画面的真实性。
图5示意性示出了根据本公开的一些实施例的主播画面位置调整方法流程的示意图。参考图5所示,该主播画面位置调整方法可以包括以下步骤:
在步骤S510中,获取虚拟相机的当前拍摄属性数据;所述当前拍摄属性数据包括焦距、焦段、拍摄角度;
在步骤S520中,基于所述焦距、所述焦段、所述拍摄角度,计算当前直播场景的可见范围数据;
在步骤S530中,在检测到所述标识数据中包括聚焦字段时,基于所述可见范围数据以及所述主播移动信息,对所述主播画面进行位置调整,以使所述主播画面位于所述当前直播场景的中心位置。
其中,可以通过预先获取当前直播场景的左右边缘坐标,计算出当前直播场景的中轴线,并将虚拟相机的拍摄角度调整为正对该中轴线,接着调整焦距,直至能够覆盖当前直播场景的左右两侧的边缘坐标,即可得到当前直播场景的可见范围数据。
可以基于虚拟相机的当前拍摄属性数据如焦距、焦段、拍摄角度,计算当前直播场景的可见范围数据,并在检测到目标虚拟场景模板的标识数据中包含聚焦字段时,可以基于当前直播场景的可见范围数据,对主播画面进行位置调整,以使主播画面处于当前直播画面的中心位置。同时,也可以通过目标虚拟场景实例根据主播当前位置坐标信息或主播的当前姿势数据,确定主播的躯干坐标数据,并计算相邻两帧直播画面之间主播躯干的偏移量与偏移速率,控制场景内的虚拟相机按照主播的偏移速率按照主播移动的方向同步移动,并适当带有一定旋转角度,从而实现平滑运镜,使主播人像始终居中的效果。
图6示意性示出了根据本公开的一些实施例的虚拟相机控制方法流程的示意图。参考图6所示,该虚拟相机控制方法可以包括以下步骤:
在步骤S610中,基于所述主播画面和与所述主播画面相邻的上一主播画面,确定所述主播的移动方向;
在步骤S620中,根据所述移动方向调整所述所述虚拟相机的运镜方向,以自动化控制所述虚拟相机运镜。
其中,移动方向可以指主播画面中待识别关键点的运动方向,例如,移动方向可以是主播画面中主播的瞳孔视线的运动方向,移动方向也可以是主播画面中主播的关键肢体的运动方向,移动方向还可以是主播画面中主播的躯干移动方向,当然,移动方向还可以是主播画面中其他待识别关键点的运动方向,本例实施例对此不作特殊限定。
可以通过检测主播画面中主播视线,在检测到主播视线和上一帧主播画面中的主播视线发生改变时,可以通过控制与目标虚拟场景模板对应的目标虚拟场景实例中的虚拟摄像机,根据主播视线的偏移方向进行运镜,并调整虚拟摄像机镜头射线角度,使得用户可以看见更多的虚拟场景画面,达到自动化控制虚拟相机运镜的效果。同时,主播终端的目标虚拟场景实例也可以根据主播姿态关键点数据,计算得到相邻两直播画面帧之间主播的位置偏移量与偏移速率,当速率大于一定数值时,可以认定主播正在较大幅度的移动肢干,进而控制虚拟场景内的点光源进行预设的偏色、投射角度的调整处理,从而实现在主播在大范围运动时,风格化灯光跟随主播移动的动态效果。
图7示意性示出了根据本公开的一些实施例的目标虚拟场景模板动态展示方法流程的示意图。参考图7所示,该目标虚拟场景模板动态展示方法可以包括以下步骤:
在步骤S710中,在检测到与所述待识别关键点对应的当前姿势数据满足所述目标触发状态数据时,获取所述目标虚拟场景渲染数据和所述虚拟相机的预设运动参数;
在步骤S720中,基于所述预设运动参数,控制所述虚拟虚拟相机的移动状态,并以最大化视角基于所述目标虚拟场景渲染数据动态展示所述目标虚拟场景模板。
其中,预设运动参数可以指虚拟相机的运动指标参数,例如,预设运动参数可以是虚拟相机的运动高度阈值参数,预设运动参数也可以是虚拟相机的运动速率参数,预设运动参数还可以是虚拟相机的运动角度参数,当然,预设运动参数还可以是虚拟相机的其他运动指标参数如运动方向参数,本例实施例对此不作特殊限定。
可以在检测到与主播画面中的待识别关键点对应的当前姿势数据满足目标触发状态数据时,例如,目标虚拟场景模板可以是烟花粒子特效,与烟花粒子特效对应的目标触发状态数据为放烟花的手势数据,当检测到主播画面中的待识别关键点如手对应的当前姿势数据为放烟花姿势数据时,可以预先获取播放烟花粒子特效过程中虚拟相机的预设运动参数,例如,虚拟相机的预设运动方向参数以及预设运动高度阈值参数,与目标虚拟场景模板对应的目标虚拟场景实例可以根据与主播触发效果时的手势空间坐标位置对应的垂直向上的方向为烟花燃放的方向,并触发该烟花粒子特效;同时,目标虚拟场景实例中的虚拟相机也可以根据该与主播触发效果时的手势空间坐标位置对应的垂直向上的方向,旋转并向上移动位置,从而实现跟随烟花燃放逐渐向上的效果;此外,还可以将该虚拟相机的镜头移动至天空,从而以最大视角的动态播放烟花粒子特效;当虚拟相机运动到预设的垂直高度时,目标虚拟场景实例播放星空粒子特效,以实现星空璀璨的视觉效果,实现了以最大化视角动态播放目标虚拟场景模板,丰富了直播画面内容,提高了用户观看体验。
需要说明的是,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
此外,在本示例实施例中,还提供了一种虚拟直播增强互动装置。参照图8所示,该虚拟直播增强互动装置800包括:虚拟场景模板构建模块810、目标虚拟场景模板确定模块820、直播画面播放模块830。其中:虚拟场景模板构建模块810,用于响应于对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据;目标虚拟场景模板确定模块820,用于实时采集主播画面和主播当前位置信息,并将所述主播当前位置信息,以及所述虚拟场景模板和所述配置数据发送至服务端,以通过所述服务端从所述虚拟场景模板中确定与所述主播当前位置信息对应的目标虚拟场景模板;直播画面播放模块830,用于在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面。
在本公开的一些示例实施例中,基于前述方案,所述虚拟场景模板构建模块810包括配置数据生成单元,所述配置数据生成单元用于生成所述虚拟场景模板的虚拟场景渲染数据和与所述虚拟场景渲染数据对应的触发状态数据。
在本公开的一些示例实施例中,基于前述方案,所述虚拟直播增强互动装置800还包括待识别关键点检测模块,所述待识别关键点检测模块用于基于所述主播画面确定主播的待识别关键点,并对所述待识别关键点进行检测识别,确定所述主播当前位置信息;将所述当前位置信息发送至所述服务端,并通过所述服务端获取与所述主播画面相邻的上一主播画面的主播历史位置信息,以基于所述主播历史位置信息和所述主播当前位置信息确定所述主播移动信息。
在本公开的一些示例实施例中,基于前述方案,所述目标虚拟场景模板确定模块820包括目标虚拟场景模板确定单元,所述目标虚拟场景模板确定单元用于在接收所述服务端发送的获取与所述主播移动信息对应的目标虚拟场景渲染数据和目标触发状态数据的指令时,将所述目标虚拟场景渲染数据和所述目标触发状态数据发送至所述服务端;通过所述服务端对所述主播移动信息和所述目标触发状态数据进行匹配处理,并在检测到所述主播移动信息与所述目标触发状态数据匹配时,基于所述目标虚拟场景渲染数据确定目标虚拟场景模板。
在本公开的一些示例实施例中,基于前述方案,所述直播画面播放模块830包括直播画面播放单元,所述直播画面播放单元用于在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,获取所述目标虚拟场景模板的预设位置坐标;在检测到所述预设位置坐标与所述主播移动信息匹配时,将所述预设位置坐标作为所述目标虚拟场景模板的展示位置坐标;基于所述展示位置坐标,构建由所述主播画面和所述目标虚拟场景模板组成的直播画面,并播放所述直播画面。
在本公开的一些示例实施例中,基于前述方案,所述虚拟直播增强互动装置800包括主播画面调整模块,所述主播画面调整模块用于获取虚拟相机的当前拍摄属性数据;所述当前拍摄属性数据包括焦距、焦段、拍摄角度;基于所述焦距、所述焦段、所述拍摄角度,计算当前直播场景的可见范围数据;在检测到所述虚拟场景渲染数据中包括聚焦字段时,基于所述可见范围数据以及所述主播移动信息,对所述主播画面进行位置调整,以使所述主播画面位于所述当前直播场景的中心位置。
在本公开的一些示例实施例中,基于前述方案,所述虚拟直播增强互动装置800还包括虚拟相机调整模块,所述虚拟相机调整模块用于基于所述主播画面和与所述主播画面相邻的上一主播画面,确定所述主播的移动方向;根据所述移动方向调整所述所述虚拟相机的运镜方向,以自动化控制所述虚拟相机运镜。
在本公开的一些示例实施例中,基于前述方案,所述虚拟直播增强互动装置800包括目标虚拟场景模板动态展示模块,所述目标虚拟场景模板动态展示模块用于在检测到与所述待识别关键点对应的当前姿势数据满足所述目标触发状态数据时,获取所述目标虚拟场景渲染数据和所述虚拟相机的预设运动参数;基于所述预设运动参数,控制所述虚拟虚拟相机的移动状态,并以最大化视角基于所述目标虚拟场景渲染数据展示所述目标虚拟场景模板。
上述中虚拟直播增强互动装置各模块的具体细节已经在对应的虚拟直播增强互动方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了虚拟直播增强互动装置的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述虚拟直播增强互动方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施例、完全的软件实施例(包括固件、微代码等),或硬件和软件方面结合的实施例,这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本公开的这种实施例的电子设备900。图9所示的电子设备900仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于:上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元910执行,使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如,所述处理单元910可以执行如图1中所示的步骤S110,响应于对虚拟开播面板的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据;步骤S120,实时采集主播画面和主播当前位置信息,并将所述主播当前位置信息,以及所述虚拟场景模板和所述配置数据发送至服务端,以通过所述服务端从所述虚拟场景模板中确定与所述主播当前位置信息对应的目标虚拟场景模板;步骤S130,在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面。
存储单元920可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)921和/或高速缓存存储单元922,还可以进一步包括只读存储单元(ROM)923。
存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924,这样的程序模块925包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备970(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备900交互的设备通信,和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且,电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
参考图10所示,描述了根据本公开的实施例的用于实现上述虚拟直播增强互动方法的程序产品1000,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种虚拟直播增强互动方法,其特征在于,包括:
响应于对虚拟开播面板中功能选项的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据;所述虚拟开播面板为直播设备中用于提供虚拟直播辅助的功能面板;
实时采集主播画面和主播当前位置信息,并将所述主播当前位置信息,以及所述虚拟场景模板和所述配置数据发送至服务端,以通过所述服务端从所述虚拟场景模板中确定与所述主播当前位置信息对应的目标虚拟场景模板;
在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面;所述标识数据包括所述目标虚拟场景模板的序列号数据;
所述响应于对虚拟开播面板中功能选项的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据,包括:
响应于对虚拟开播面板中功能选项的配置操作,预构建多个用于在本次虚拟直播过程中的虚拟场景模板,并确定各个所述虚拟场景模板的配置数据;
在确定各个虚拟场景模板的配置数据后,所述方法还包括:
圈定各个所述虚拟场景模板的出场顺序;或者
在所述虚拟直播过程中所述虚拟场景模板不重复的条件下,通过各个所述虚拟场景模板的配置数据中的标识数据确定所述各个虚拟场景模板的出场顺序。
2.根据权利要求1所述的虚拟直播增强互动方法,其特征在于,所述配置数据包括虚拟场景渲染数据和与所述虚拟场景渲染数据对应的触发状态数据。
3.根据权利要求1所述的虚拟直播增强互动方法,其特征在于,所述方法还包括:
基于所述主播画面确定主播的待识别关键点,并对所述待识别关键点进行检测识别,确定所述主播当前位置信息;
将所述主播当前位置信息发送至所述服务端,并通过所述服务端获取与所述主播画面相邻的上一主播画面的主播历史位置信息,以基于所述主播历史位置信息和所述当前位置信息确定主播移动信息。
4.根据权利要求3所述的虚拟直播增强互动方法,其特征在于,所述通过所述服务端从所述虚拟场景模板中确定与所述主播当前位置信息对应的目标虚拟场景模板,包括:
在接收所述服务端发送的获取与所述主播移动信息对应的目标虚拟场景渲染数据和目标触发状态数据的指令时,将所述目标虚拟场景渲染数据和所述目标触发状态数据发送至所述服务端;
通过所述服务端对所述主播移动信息和所述目标触发状态数据进行匹配处理,并在检测到所述主播移动信息与所述目标触发状态数据匹配时,基于所述目标虚拟场景渲染数据确定目标虚拟场景模板。
5.根据权利要求3所述的虚拟直播增强互动方法,其特征在于,所述在接收到由所述服务端下发的所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面,包括:
在接收到由所述服务端下发的用于触发所述目标虚拟场景模板的标识数据时,获取所述目标虚拟场景模板的预设位置坐标;
在检测到所述预设位置坐标与所述主播移动信息匹配时,将所述预设位置坐标作为所述目标虚拟场景模板的展示位置坐标;
基于所述展示位置坐标,构建由所述主播画面和所述目标虚拟场景模板组成的直播画面,并播放所述直播画面。
6.根据权利要求5所述的虚拟直播增强互动方法,其特征在于,所述方法还包括:
获取虚拟相机的当前拍摄属性数据;所述当前拍摄属性数据包括焦距、焦段、拍摄角度;
基于所述焦距、所述焦段、所述拍摄角度,计算当前直播场景的可见范围数据;
在检测到所述标识数据中包括聚焦字段时,基于所述可见范围数据以及所述主播移动信息,对所述主播画面进行位置调整,以使所述主播画面位于所述当前直播场景的中心位置。
7.根据权利要求6所述的虚拟直播增强互动方法,其特征在于,所述方法还包括:
基于所述主播画面和与所述主播画面相邻的上一主播画面,确定所述主播的移动方向;
根据所述移动方向调整所述虚拟相机的运镜方向,以自动化控制所述虚拟相机运镜。
8.根据权利要求3所述的虚拟直播增强互动方法,其特征在于,所述方法还包括:
在检测到与所述待识别关键点对应的当前姿势数据满足目标触发状态数据时,获取目标虚拟场景渲染数据和虚拟相机的预设运动参数;
基于所述预设运动参数,控制所述虚拟相机的移动状态,并以最大化视角基于所述目标虚拟场景渲染数据动态展示所述目标虚拟场景模板。
9.一种虚拟直播增强互动装置,其特征在于,包括:
虚拟场景模板构建模块,用于响应于对虚拟开播面板中功能选项的配置操作,预构建虚拟场景模板,并生成与所述虚拟场景模板对应的配置数据;所述虚拟开播面板为直播设备中用于提供虚拟直播辅助的功能面板;
目标虚拟场景模板确定模块,用于实时采集主播画面和主播当前位置信息,并将所述主播当前位置信息,以及所述虚拟场景模板和所述配置数据发送至服务端,以通过所述服务端从所述虚拟场景模板中确定与所述主播当前位置信息对应的目标虚拟场景模板;
直播画面播放模块,用于在接收到由所述服务端下发的用于触发所述目标虚拟场景模板的标识数据时,播放由所述主播画面和所述目标虚拟场景模板构建的直播画面;所述标识数据包括所述目标虚拟场景模板的序列号数据;
虚拟场景模板构建模块,被配置为:
响应于对虚拟开播面板中功能选项的配置操作,预构建多个用于在本次虚拟直播过程中的虚拟场景模板,并确定各个所述虚拟场景模板的配置数据;
在确定各个虚拟场景模板的配置数据后,所述虚拟直播增强互动装置还被配置为:
圈定各个所述虚拟场景模板的出场顺序;或者
在所述虚拟直播过程中所述虚拟场景模板不重复的条件下,通过各个所述虚拟场景模板的配置数据中的标识数据确定所述各个虚拟场景模板的出场顺序。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至8中任一项所述的虚拟直播增强互动方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的虚拟直播增强互动方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210270620.1A CN114615556B (zh) | 2022-03-18 | 2022-03-18 | 虚拟直播增强互动方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210270620.1A CN114615556B (zh) | 2022-03-18 | 2022-03-18 | 虚拟直播增强互动方法及装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114615556A CN114615556A (zh) | 2022-06-10 |
CN114615556B true CN114615556B (zh) | 2024-05-10 |
Family
ID=81865203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210270620.1A Active CN114615556B (zh) | 2022-03-18 | 2022-03-18 | 虚拟直播增强互动方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114615556B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115695841B (zh) * | 2023-01-05 | 2023-03-10 | 威图瑞(北京)科技有限公司 | 一种在外置式虚拟场景中嵌入在线直播的方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106730815A (zh) * | 2016-12-09 | 2017-05-31 | 福建星网视易信息系统有限公司 | 一种易实现的体感互动方法及系统 |
CN106804007A (zh) * | 2017-03-20 | 2017-06-06 | 合网络技术(北京)有限公司 | 一种网络直播中自动匹配特效的方法、系统及设备 |
CN111131850A (zh) * | 2019-12-27 | 2020-05-08 | 广州华多网络科技有限公司 | 显示虚拟礼物特效的方法、装置及电子设备 |
CN111698390A (zh) * | 2020-06-23 | 2020-09-22 | 网易(杭州)网络有限公司 | 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统 |
CN112333459A (zh) * | 2020-10-30 | 2021-02-05 | 北京字跳网络技术有限公司 | 一种视频直播的方法、装置以及计算机存储介质 |
CN113660503A (zh) * | 2021-08-17 | 2021-11-16 | 广州博冠信息科技有限公司 | 同屏互动控制方法及装置、电子设备、存储介质 |
CN114092671A (zh) * | 2021-11-17 | 2022-02-25 | 广州博冠信息科技有限公司 | 虚拟直播的场景处理方法及装置、存储介质、电子设备 |
-
2022
- 2022-03-18 CN CN202210270620.1A patent/CN114615556B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106730815A (zh) * | 2016-12-09 | 2017-05-31 | 福建星网视易信息系统有限公司 | 一种易实现的体感互动方法及系统 |
CN106804007A (zh) * | 2017-03-20 | 2017-06-06 | 合网络技术(北京)有限公司 | 一种网络直播中自动匹配特效的方法、系统及设备 |
CN111131850A (zh) * | 2019-12-27 | 2020-05-08 | 广州华多网络科技有限公司 | 显示虚拟礼物特效的方法、装置及电子设备 |
CN111698390A (zh) * | 2020-06-23 | 2020-09-22 | 网易(杭州)网络有限公司 | 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统 |
CN112333459A (zh) * | 2020-10-30 | 2021-02-05 | 北京字跳网络技术有限公司 | 一种视频直播的方法、装置以及计算机存储介质 |
CN113660503A (zh) * | 2021-08-17 | 2021-11-16 | 广州博冠信息科技有限公司 | 同屏互动控制方法及装置、电子设备、存储介质 |
CN114092671A (zh) * | 2021-11-17 | 2022-02-25 | 广州博冠信息科技有限公司 | 虚拟直播的场景处理方法及装置、存储介质、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114615556A (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9460351B2 (en) | Image processing apparatus and method using smart glass | |
US20150229838A1 (en) | Photo composition and position guidance in a camera or augmented reality system | |
US9392248B2 (en) | Dynamic POV composite 3D video system | |
CN110971925B (zh) | 直播界面的显示方法、装置及系统 | |
US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
CN114327700A (zh) | 一种虚拟现实设备及截屏图片播放方法 | |
CN110809187A (zh) | 视频选择方法、视频选择装置、存储介质与电子设备 | |
CN112732089A (zh) | 一种虚拟现实设备及快捷交互方法 | |
CN114615556B (zh) | 虚拟直播增强互动方法及装置、电子设备、存储介质 | |
CN110928509B (zh) | 显示控制方法、显示控制装置、存储介质、通信终端 | |
CN111757138A (zh) | 一种基于单镜头直播视频的特写显示方法及装置 | |
CN112581571A (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
CN114092671A (zh) | 虚拟直播的场景处理方法及装置、存储介质、电子设备 | |
WO2023174009A1 (zh) | 基于虚拟现实的拍摄处理方法、装置及电子设备 | |
CN109636917B (zh) | 三维模型的生成方法、装置、硬件装置 | |
CN113676690A (zh) | 一种视频会议的实现方法、设备及存储介质 | |
CN112929685B (zh) | Vr直播间的互动方法、装置、电子设备和存储介质 | |
JP2022543510A (ja) | 撮影方法、装置、電子機器及び記憶媒体 | |
US9860480B2 (en) | Method for processing information and electronic device | |
CN116055708B (zh) | 一种感知可视交互式球幕三维立体成像方法及系统 | |
US20230405475A1 (en) | Shooting method, apparatus, device and medium based on virtual reality space | |
CN112634339B (zh) | 商品对象信息展示方法、装置及电子设备 | |
WO2022226745A1 (zh) | 拍摄方法、控制装置、拍摄设备及存储介质 | |
WO2022111005A1 (zh) | 虚拟现实设备及vr场景图像识别方法 | |
CN117440215A (zh) | 直播间互动方法、装置、存储介质与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |