CN115904159A - 虚拟场景中的显示方法、装置、客户端设备及存储介质 - Google Patents

虚拟场景中的显示方法、装置、客户端设备及存储介质 Download PDF

Info

Publication number
CN115904159A
CN115904159A CN202211414927.0A CN202211414927A CN115904159A CN 115904159 A CN115904159 A CN 115904159A CN 202211414927 A CN202211414927 A CN 202211414927A CN 115904159 A CN115904159 A CN 115904159A
Authority
CN
China
Prior art keywords
virtual
display object
video stream
scene
dimensional scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211414927.0A
Other languages
English (en)
Inventor
张丽莎
张艳琪
陈铭
苏航
刘柏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202211414927.0A priority Critical patent/CN115904159A/zh
Publication of CN115904159A publication Critical patent/CN115904159A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种虚拟场景中的显示方法、装置、客户端设备及存储介质,涉及计算机技术领域。该虚拟场景中的显示方法应用于呈现有虚拟三维场景的客户端设备,虚拟三维场景中包括:虚拟显示对象,包括:采用虚拟显示对象获取真实场景的目标人物的直播视频流;在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放直播视频流。在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放的是真实场景的目标人物的直播视频流,无需进行虚拟角色模型和动作的生成,实现过程简单、便捷,而且,真实场景的目标人物的直播视频流呈现效果更加生动、自然,提升了呈现效果。

Description

虚拟场景中的显示方法、装置、客户端设备及存储介质
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种虚拟场景中的显示方法、装置、客户端设备及存储介质。
背景技术
随着互联网技术的发展,各种各样的线上峰会、发布会、学术会议等越来越多,通常可以提供虚拟场景,各个参会者对应的虚拟角色模型可以在虚拟场景中,参加线上会议。
相关技术中,根据演讲人的人脸图像生成虚拟角色模型;增加大量的演讲动作,根据演讲人的语音信息进行语义识别,得到语义信息,基于语义信息确定虚拟角色模型对应的动作,控制虚拟角色模型执行该动作,实现在虚拟场景中的演讲。
但是,相关技术中,存在生成虚拟角色模型和动作,均需要大量的数据采集以及训练,实现过程复杂,而且存在呈现效果不佳的问题。
发明内容
本发明的目的在于,针对上述现有技术中的不足,提供一种虚拟场景中的显示方法、装置、客户端设备及存储介质,以便解决相关技术中存在生成虚拟角色模型和动作,均需要大量的数据采集以及训练,实现过程复杂,而且存在呈现效果不佳的问题。
为实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种虚拟场景中的显示方法,应用于呈现有虚拟三维场景的客户端设备,所述虚拟三维场景中包括:虚拟显示对象,所述方法包括:
采用所述虚拟显示对象获取真实场景的目标人物的直播视频流;
在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流。
第二方面,本发明实施例还提供了一种虚拟场景中的显示装置,应用于呈现有虚拟三维场景的客户端设备,所述虚拟三维场景中包括:虚拟显示对象,所述装置包括:
获取模块,用于采用所述虚拟显示对象获取真实场景的目标人物的直播视频流;
播放模块,用于在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流。
第三方面,本发明实施例还提供了一种客户端设备,包括:存储器和处理器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的虚拟场景中的显示方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被读取并执行时,实现上述第一方面任一项所述的虚拟场景中的显示方法。
本发明的有益效果是:本发明实施例提供一种虚拟场景中的显示方法,应用于呈现有虚拟三维场景的客户端设备,虚拟三维场景中包括:虚拟显示对象,该虚拟场景中的显示方法包括:采用虚拟显示对象获取真实场景的目标人物的直播视频流;在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放直播视频流。在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放的是真实场景的目标人物的直播视频流,无需进行虚拟角色模型和动作的生成,实现过程简单、便捷,而且,真实场景的目标人物的直播视频流呈现效果更加生动、自然,提升了呈现效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图;
图2为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图;
图3为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图;
图4为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图;
图5为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图;
图6为本发明实施例提供的一种虚拟三维场景的显示示意图;
图7为本发明实施例提供的一种虚拟场景中的显示装置的结构示意图;
图8为本发明实施例提供的一种客户端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要说明的是,若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
相关技术中,根据演讲人的人脸图像生成虚拟角色模型;增加大量的演讲动作,根据演讲人的语音信息进行语义识别,得到语义信息,基于语义信息确定虚拟角色模型对应的动作,控制虚拟角色模型执行该动作,实现在虚拟场景中的演讲。但是,相关技术中,存在生成虚拟角色模型和动作,均需要大量的数据采集以及训练,实现过程复杂、成本较高,而且存在呈现效果不佳的问题。
针对相关技术中所存在的上述技术问题,本申请实施例提供一种虚拟场景中的显示方法,采用虚拟显示对象获取真实场景的目标人物的直播视频流,使得直播视频流的获取更加灵活;继而在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象显示虚拟显示对象播放直播视频流,在虚拟三维场景中直播视频流是真实场景的目标人物的视频流,无需进行虚拟角色模型和动作的生成,实现过程简单、便捷,而且,真实场景的目标人物的直播视频流呈现效果更加生动、自然,提升了呈现效果。
本申请实施例提供一种虚拟场景中的显示方法,应用于呈现有虚拟三维场景的客户端设备,该虚拟三维场景中可以包括:虚拟显示对象,该客户端设备可以为下述中的任一项:台式电脑、笔记本电脑、平板电脑、智能手机等。
以下对本申请实施例提供的一种虚拟场景中的显示方法进行解释说明。
图1为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图,如图1所示,该方法可以包括:
S101、采用虚拟显示对象获取真实场景的目标人物的直播视频流。
在本申请实施例中,虚拟显示对象有对应的配置信息,基于该虚拟显示对象的配置信息,客户端设备可以采用虚拟显示对象获取真实场景的目标人物的直播视频流。
需要说明的是,真实场景为真实世界中的场景,目标人物为真实人物,在实际应用中,该目标人物为需要进行发言或者演讲的人物。
另外,真实场景的目标人物的直播视频流,可以包括直播的真实场景中的目标人物以及背景,其中,直播视频流可以包括:具有先后顺序的多帧图像,以及真实场景中目标人物讲话的音频。
S102、在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放直播视频流。
其中,虚拟显示对象的配置信息还可以指示虚拟三维场景中虚拟显示对象的目标位置,以及在虚拟显示对象上播放直播视频流。
在一些实施方式中,基于虚拟显示对象的配置信息可以确定虚拟三维场景中虚拟显示对象所在的目标位置处,在虚拟三维场景中的目标位置处设置虚拟显示对象,继而基于虚拟显示对象的配置信息采用虚拟显示对象播放直播视频流,其中,直播视频流可以包括直播图像信息以及直播音频信息。
在实际应用中,直播视频流中可以包括目标人物在发言时的视频流,以及目标人物发言时的音频流,采用虚拟显示对象在虚拟三维场景中播放直播视频流,可以实现目标人物在虚拟三维场景中的演讲,无需提前生成虚拟角色模型和动作,也可以避免呈现效果不自然的问题。
另外,基于不同的实际需求,虚拟三维场景可以为虚拟峰会场景、虚拟发布会场景、虚拟学术会议场景等等,当然,可以根据实际需求进行设定和选择。
综上所述,本发明实施例提供一种虚拟场景中的显示方法,应用于呈现有虚拟三维场景的客户端设备,虚拟三维场景中包括:虚拟显示对象,该虚拟场景中的显示方法包括:采用虚拟显示对象获取真实场景的目标人物的直播视频流;在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放直播视频流。在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放的是真实场景的目标人物的直播视频流,无需进行虚拟角色模型和动作的生成,实现过程简单、便捷,而且,真实场景的目标人物的直播视频流呈现效果更加生动、自然,提升了呈现效果。
可选的,上述S101中采用虚拟显示对象获取真实场景的目标人物的直播视频流的过程,可以包括:
采用虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流。
在一些实施方式中,基于虚拟显示对象的配置信息,采用虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流。
另外,可以通过管理推流以及拉流的起始时间,控制目标视频流进入虚拟三维场景或者退出虚拟三维场景。
在实际应用中,采用虚拟显示对象可以检测触发信息,若检测到触发信息,则采用虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流。其中,触发信息是指,主持人在确定可以在虚拟三维场景中播放直播视频流后,可以在主持人对应的客户端进行开始操作,响应该开始操作可以产生触发信息。
可选的,在上述采用虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流的过程之前,该方法还可以包括:
通过客户端设备对应的服务端设备,接收直播服务器发送的预设拉流信息,其中,直播服务器中的直播视频流是由直播客户端根据推流地址上传的。
在本申请实施例中,直播客户端通过推流地址将直播视频流推送到直播服务器,直播服务器将推流地址对应的拉流地址发送到服务端设备,服务端设备可以向客户端设备发送拉流地址,客户端设备采用虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流。
在一些实施方式中,直播服务器可以创建频道API(Application ProgramInterface,应用程序界面),并生成推流地址,向服务端设备发送推流地址,服务端设备接收推流地址,直播客户端可以从服务端设备获取推流地址;其中,响应输入的复制粘贴操作,从服务端设备复制推流地址以及秘钥,并将推流地址以及秘钥粘贴在直播客户端对应的接口上,则直播客户端可以获取推流地址以及秘钥。
在本申请实施例中,可以采用高并发低延时特性的全球智能路由网络,传输流信息,支持客户端设备能够低时延的接收到流信息,从而保障了线上活动的稳定性以及低延时性,增强了沉浸式的体验。
值得注意的是,在服务端设备上可以进行虚拟三维场景的管理,可以从多种类型的预设虚拟三维场景中选择一虚拟三维场景,多种类型的预设虚拟三维场景可以包括:科技发布会、室内会议室、室外广场,可以根据实际需求选择视频流所在的场地,配置视频流在虚拟显示对象中推拉流的地址。
可选的,虚拟三维场景中还包括:受控虚拟对象,该方法还可以包括:
根据虚拟三维场景中受控虚拟对象的方位,控制虚拟显示对象在虚拟三维场景中的方位。
其中,受控虚拟对象的方位可以表征受控虚拟对象的位置、方向,虚拟显示对象可以表征虚拟显示对象的位置、方向,此处的方向可以理解为朝向。
在本申请实施例中,客户端设备可以根据虚拟三维场景中受控虚拟对象的位置、方向,控制虚拟显示对象在虚拟三维场景中的位置、方向。
另外,客户端设备可以响应输入的针对受控虚拟对象的移动操作,控制受控虚拟对象在虚拟三维场景中移动。虚拟三维场景中还可以包括其他虚拟对象,每个其他虚拟对象由对应的其他客户端设备控制。
可选的,上述S102中根据虚拟三维场景中受控虚拟对象的方位,控制虚拟显示对象在虚拟三维场景中的方位的过程,可以包括:
根据受控虚拟对象的方位,控制虚拟显示对象在虚拟三维场景中的朝向,使得虚拟显示对象朝向受控虚拟对象。
在一些实施方式中,客户端设备可以根据受控虚拟对象的朝向和/或位置,控制虚拟显示对象在虚拟三维场景中的朝向,使得虚拟显示对象朝向受控虚拟对象。
值得说明的是,若检测到受控虚拟对象的朝向为面向虚拟显示对象的朝向时,可以控制虚拟显示对象朝向受控虚拟对象;或者,若检测到受控虚拟对象的朝向为未面向虚拟显示对象的朝向时,可以控制虚拟显示对象朝向预设方向;或者,无论受控虚拟对象的朝向是否为面向虚拟显示对象的朝向,根据受控虚拟对象的位置,控制虚拟显示对象在虚拟三维场景中的朝向,朝向受控虚拟对象的位置。
综上所述,使得虚拟显示对象朝向受控虚拟对象,可以便于受控虚拟对象对应的用户观察到采用虚拟显示对象所显示的直播视频流,从而提高用户的观看体验。
可选的,上述S102中根据虚拟三维场景中受控虚拟对象的方位,控制虚拟显示对象在虚拟三维场景中的方位的过程,还可以包括:
根据受控虚拟对象的方位,控制虚拟显示对象在虚拟三维场景中进行移动,使得虚拟显示对象与受控虚拟对象的距离在预设范围内。
在一些实施方式中,根据受控虚拟对象的位置,控制虚拟显示对象在虚拟三维场景中进行移动,实现虚拟显示对象跟随受控虚拟对象,即实现直播视频流跟随受控虚拟对象,使得虚拟显示对象与受控虚拟对象的距离在预设范围内,使得受控虚拟对象不论移动到何位置,均可以观察到采用虚拟显示对象显示的直播视频流。
值得注意的是,虚拟显示对象跟随受控虚拟对象移动的过程中,虚拟显示对象可以朝向受控虚拟对象所在的位置。当然,受控虚拟对象在移动的过程中,响应输入的针对受控虚拟对象的转向操作,控制受控虚拟对象可以朝向虚拟显示对象。
图2为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图,如图2所示,上述根据受控虚拟对象的方位,控制虚拟显示对象在虚拟三维场景中的朝向,使得虚拟显示对象朝向受控虚拟对象的过程,可以包括:
S201、根据受控虚拟对象在虚拟三维场景中的移动方向确定虚拟显示对象的旋转方向。
在一些实施方式中,响应输入的针对受控虚拟对象的移动操作,控制受控虚拟对象在虚拟显示对象的周围移动,确定移动方向,根据移动方向确定虚拟显示对象的旋转方向为顺时针方向或者逆时针方向。
在本申请实施例中,若受控虚拟对象在虚拟三维场景中的移动方向为从左向右运动,则虚拟显示对象的旋转方向为逆时针旋转;若受控虚拟对象在虚拟三维场景中的移动方向为从右向左运动,则虚拟显示对象的旋转方向为顺时针旋转。
当然,若受控虚拟对象在虚拟三维场景中的移动方向为围绕虚拟显示对象顺时针移动,则虚拟显示对象的旋转方向为顺时针旋转;若受控虚拟对象在虚拟三维场景中的移动方向为围绕虚拟显示对象逆时针移动,则虚拟显示对象的旋转方向为逆时针旋转。
S202、根据旋转方向控制虚拟显示对象在虚拟三维场景中进行旋转,使得虚拟显示对象朝向受控虚拟对象。
值得说明的是,客户端设备可以根据根据旋转方向控制虚拟显示对象在虚拟三维场景中顺时针旋转或者逆时针旋转,使得虚拟显示对象朝向受控虚拟对象,增加客户端设备对应的用户观看目标人物发言的沉浸感。
可选的,图3为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图,如图3所示,在上述S101中采用虚拟显示对象获取真实场景的目标人物的直播视频流的过程之后,该方法还可以包括:
S301、对直播视频流进行处理,得到真实场景中目标人物的目标直播视频流。
其中,对真实场景的直播视频流进行抠图处理,保留目标人物的图像,删除目标人物的背景图像,得到仅包括真实场景中目标人物的目标直播视频流。
在实际应用中,目标人物的背景图像可以为纯色背景,例如,目标人物的背景图像可以为绿幕背景;目标任务的背景图像也可以为其他背景图像,本申请实施例对此不进行具体限制。
可选的,虚拟显示对象为虚拟透明显示屏;上述S102中在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放直播视频流的过程,可以包括:
S302、在目标位置处,采用虚拟透明显示屏播放目标直播视频流。
需要说明的是,虚拟透明显示屏仅作为目标直播视频流载体存在,在展示的图形用户界面中,用户感知不到虚拟透明显示屏的存在,使得目标直播视频流可以更好的融入到虚拟三维场景中,增加用户观看目标直播视频流的沉浸感,提升了用户的观看体验。
可选的,图4为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图,如图4所示,该方法还可以包括:
S401、判断受控虚拟对象与虚拟显示对象之间的距离,是否小于或者等于预设第一阈值。
其中,客户端设备可以确定受控虚拟对象的位置以及虚拟显示对象的位置;根据受控虚拟对象的位置以及虚拟显示对象的位置,确定受控虚拟对象与虚拟显示对象之间的距离;判断受控虚拟对象与虚拟显示对象之间的距离,是否小于或者等于预设第一阈值。
可选的,位置可以为虚拟三维场景中的坐标信息。
S402、若是,则限制受控虚拟对象的移动。
值得注意的是,若受控虚拟对象与虚拟显示对象之间的距离,小于或者等于预设第一阈值,限制受控虚拟对象的移动,避免从侧面或者后面看到2D(two dimensional,二维)的目标人物,使得呈现出的目标人物更加立体、逼真,提升用户的观看体验。
可选的,图5为本发明实施例提供的一种虚拟场景中的显示方法的流程示意图,如图5所示,该方法还可以包括:
S501、在距离虚拟显示对象预设第二阈值的目标位置处,设置透明障碍对象。
S502、若检测到受控虚拟对象移动至透明障碍对象所在的位置,则限制受控虚拟对象的移动。
其中,在距离虚拟显示对象预设第二阈值的目标位置处,虚拟三维场景中设置透明障碍对象,可以避免受控虚拟对象距离虚拟显示对象过近,避免从侧面或者后面看到2D(two dimensional,二维)的目标人物,使得呈现出的目标人物更加立体、逼真,提升用户的观看体验。
另外,该透明障碍对象可以为虚拟空气墙。
综上所述,可以根据受控虚拟对象与虚拟显示对象之间的距离,限制受控虚拟对象的移动;也可以采用透明障碍对象,限制受控虚拟对象的移动,使得限制受控虚拟对象的移动的方式更加灵活。
图6为本发明实施例提供的一种虚拟三维场景的显示示意图,如图6所示,该虚拟三维场景中可以包括:受控虚拟对象、目标直播视频流中的目标人物。
可选的,虚拟显示对象可以设置在虚拟舞台上,则最终呈现的画面中目标直播视频流中的目标人物可以站立在虚拟舞台上。
需要说明的是,在直播视频流播放结束后,可以关闭拉流,并取消设置的虚拟透明显示屏以及透明障碍对象。
当然,也可以采用虚拟显示对象,从客户端设备对应的服务端设备获取视频流信息,该视频流信息是预先存储在服务端设备中的,继而在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放该视频流信息。
其中,可以预先录制视频流信息,并预先上传、并存储在服务端设备中。客户端设备可以从服务端设备中下载该视频流信息。
可选的,上述S301中对直播视频流进行处理,得到真实场景中目标人物的目标直播视频流的过程,可以包括:
根据直播视频流中每帧图像的每个像素的像素值,以及预设的背景像素值,对直播视频流进行处理,得到目标直播视频流。
其中,直播视频流中每帧图像可以包括:目标人物的图像以及背景图像,背景图像可以为绿幕图像。
在一些实施方式中,客户端设备比较直播视频流中每帧图像的每个像素的像素值,以及预设绿幕像素值,经过色度和亮度的数学计算后,删除与预设绿幕像素值相匹配像素值对应的像素,即将该像素值的alpha通道设置为0,从而可以删除每帧图像中的绿幕图像,保留目标人物的图像,将多张目标人物的图像作为目标直播视频流。
综上所述,本发明实施例提供一种虚拟场景中的显示方法,在虚拟三维场景中的目标位置处,采用虚拟显示对象灵活的播放针对真实场景的目标人物的直播视频流,实现了真实的目标人物在虚拟三维场景中的发言,无需生成虚拟角色模型以及合成动作,实现过程简单、便捷,还使得呈现效果更加自然。
而且,利用真人录制流信息,以虚拟透明显示屏播放目标直播视频流的形式导入客户端设备;从用户层面,大幅降低对于针对目标人物的虚拟对象的学习成本、操作成本,更加匹配目标人物的其线下发言习惯,并且完全满足目标人物的“露脸”需求,提升个人活动影响力、营销价值的实现;支持直播视频流围绕虚拟角色旋转,极大提升视频画面的真实感;支持直播视频流周围的动态空气墙,符合线下活动的秩序情景,提升沉浸式活动的真实体验;从技术层面,降低算法迭代人脸的数据处理成本,降低虚拟模型动作制作、动作与演讲内容自然匹配的语义理解、动作编排成本,极大地节省了制作成本。
下述对用以执行本申请所提供的虚拟场景中的显示方法的虚拟场景中的显示装置、客户端设备及存储介质等进行说明,其具体的实现过程以及技术效果参见上述虚拟场景中的显示方法的相关内容,下述不再赘述。
图7为本发明实施例提供的一种虚拟场景中的显示装置的结构示意图,如图7所示,应用于呈现有虚拟三维场景的客户端设备,所述虚拟三维场景中包括:虚拟显示对象,所述装置包括:
获取模块701,用于采用所述虚拟显示对象获取真实场景的目标人物的直播视频流;
播放模块702,用于在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流。
可选的,所述获取模块701,具体用于采用所述虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流。
可选的,所述虚拟三维场景中还包括:受控虚拟对象,所述装置还包括:
控制模块,用于根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位。
可选的,所述控制模块,具体用于根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的朝向,使得所述虚拟显示对象朝向所述受控虚拟对象。
可选的,所述控制模块,具体用于根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中进行移动,使得所述虚拟显示对象与所述受控虚拟对象的距离在预设范围内。
可选的,所述控制模块,具体用于根据所述受控虚拟对象在所述虚拟三维场景中的移动方向确定所述虚拟显示对象的旋转方向;根据所述旋转方向控制所述虚拟显示对象在所述虚拟三维场景中进行旋转,使得所述虚拟显示对象朝向所述受控虚拟对象。
可选的,所述装置还包括:
处理模块,用于对所述直播视频流进行处理,得到所述真实场景中所述目标人物的目标直播视频流;
所述虚拟显示对象为虚拟透明显示屏;所述播放模块702,具体用于在所述目标位置处,采用所述虚拟透明显示屏播放所述目标直播视频流。
可选的,所述装置还包括:
判断模块,用于判断所述受控虚拟对象与所述虚拟显示对象之间的距离,是否小于或者等于预设第一阈值;
第一限制模块,用于若是,则限制所述受控虚拟对象的移动。
可选的,所述装置还包括:
设置模块,用于在距离所述虚拟显示对象预设第二阈值的目标位置处,设置透明障碍对象;
第二限制模块,用于若检测到所述受控虚拟对象移动至所述透明障碍对象所在的位置,则限制所述受控虚拟对象的移动。
可选的,所述装置还包括:
接收模块,用于通过所述客户端设备对应的服务端设备,接收所述直播服务器发送的所述预设拉流信息,其中,所述直播服务器中的所述直播视频流是由直播客户端根据推流地址上传的。
可选的,所述处理模块,具体用于根据所述直播视频流中每帧图像的每个像素的像素值,以及预设的背景像素值,对所述直播视频流进行处理,得到所述目标直播视频流。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图8为本发明实施例提供的一种客户端设备的结构示意图,如图8所示,该客户端设备可以包括:处理器801、存储器802。
其中,存储器802用于存储程序,处理器801调用存储器802存储的程序,以执行上述方法实施例。
示例的,该方法可以包括:
采用所述虚拟显示对象获取真实场景的目标人物的直播视频流;
在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流。
可选的,所述采用所述虚拟显示对象获取真实场景的目标人物的直播视频流,包括:
采用所述虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流。
可选的,所述虚拟三维场景中还包括:受控虚拟对象,所述方法还包括:
根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位。
可选的,所述根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位,包括:
根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的朝向,使得所述虚拟显示对象朝向所述受控虚拟对象。
可选的,所述根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位,还包括:
根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中进行移动,使得所述虚拟显示对象与所述受控虚拟对象的距离在预设范围内。
可选的,所述根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的朝向,使得所述虚拟显示对象朝向所述受控虚拟对象,包括:
根据所述受控虚拟对象在所述虚拟三维场景中的移动方向确定所述虚拟显示对象的旋转方向;
根据所述旋转方向控制所述虚拟显示对象在所述虚拟三维场景中进行旋转,使得所述虚拟显示对象朝向所述受控虚拟对象。
可选的,在所述采用所述虚拟显示对象获取真实场景的目标人物的直播视频流之后,所述方法还包括:
对所述直播视频流进行处理,得到所述真实场景中所述目标人物的目标直播视频流;
所述虚拟显示对象为虚拟透明显示屏;所述在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流,包括:
在所述目标位置处,采用所述虚拟透明显示屏播放所述目标直播视频流。
可选的,所述方法还包括:
判断所述受控虚拟对象与所述虚拟显示对象之间的距离,是否小于或者等于预设第一阈值;
若是,则限制所述受控虚拟对象的移动。
可选的,所述方法还包括:
在距离所述虚拟显示对象预设第二阈值的目标位置处,设置透明障碍对象;
若检测到所述受控虚拟对象移动至所述透明障碍对象所在的位置,则限制所述受控虚拟对象的移动。
可选的,所述采用所述虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流之前,所述方法还包括:
通过所述客户端设备对应的服务端设备,接收所述直播服务器发送的所述预设拉流信息,其中,所述直播服务器中的所述直播视频流是由直播客户端根据推流地址上传的。
可选的,所述对所述直播视频流进行处理,得到所述真实场景中所述目标人物的目标直播视频流,包括:
根据所述直播视频流中每帧图像的每个像素的像素值,以及预设的背景像素值,对所述直播视频流进行处理,得到所述目标直播视频流。
综上所述,在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放的是真实场景的目标人物的直播视频流,无需进行虚拟角色模型和动作的生成,实现过程简单、便捷,而且,真实场景的目标人物的直播视频流呈现效果更加生动、自然,提升了呈现效果。
可选地,本发明还提供一种程序产品,例如计算机可读存储介质,包括程序,该程序在被处理器执行时用于执行上述方法实施例。
示例的,该方法可以包括:
采用所述虚拟显示对象获取真实场景的目标人物的直播视频流;
在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流。
可选的,所述采用所述虚拟显示对象获取真实场景的目标人物的直播视频流,包括:
采用所述虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流。
可选的,所述虚拟三维场景中还包括:受控虚拟对象,所述方法还包括:
根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位。
可选的,所述根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位,包括:
根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的朝向,使得所述虚拟显示对象朝向所述受控虚拟对象。
可选的,所述根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位,还包括:
根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中进行移动,使得所述虚拟显示对象与所述受控虚拟对象的距离在预设范围内。
可选的,所述根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的朝向,使得所述虚拟显示对象朝向所述受控虚拟对象,包括:
根据所述受控虚拟对象在所述虚拟三维场景中的移动方向确定所述虚拟显示对象的旋转方向;
根据所述旋转方向控制所述虚拟显示对象在所述虚拟三维场景中进行旋转,使得所述虚拟显示对象朝向所述受控虚拟对象。
可选的,在所述采用所述虚拟显示对象获取真实场景的目标人物的直播视频流之后,所述方法还包括:
对所述直播视频流进行处理,得到所述真实场景中所述目标人物的目标直播视频流;
所述虚拟显示对象为虚拟透明显示屏;所述在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流,包括:
在所述目标位置处,采用所述虚拟透明显示屏播放所述目标直播视频流。
可选的,所述方法还包括:
判断所述受控虚拟对象与所述虚拟显示对象之间的距离,是否小于或者等于预设第一阈值;
若是,则限制所述受控虚拟对象的移动。
可选的,所述方法还包括:
在距离所述虚拟显示对象预设第二阈值的目标位置处,设置透明障碍对象;
若检测到所述受控虚拟对象移动至所述透明障碍对象所在的位置,则限制所述受控虚拟对象的移动。
可选的,所述采用所述虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流之前,所述方法还包括:
通过所述客户端设备对应的服务端设备,接收所述直播服务器发送的所述预设拉流信息,其中,所述直播服务器中的所述直播视频流是由直播客户端根据推流地址上传的。
可选的,所述对所述直播视频流进行处理,得到所述真实场景中所述目标人物的目标直播视频流,包括:
根据所述直播视频流中每帧图像的每个像素的像素值,以及预设的背景像素值,对所述直播视频流进行处理,得到所述目标直播视频流。
综上所述,在虚拟三维场景中虚拟显示对象所在的目标位置处,采用虚拟显示对象播放的是真实场景的目标人物的直播视频流,无需进行虚拟角色模型和动作的生成,实现过程简单、便捷,而且,真实场景的目标人物的直播视频流呈现效果更加生动、自然,提升了呈现效果。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种虚拟场景中的显示方法,其特征在于,应用于呈现有虚拟三维场景的客户端设备,所述虚拟三维场景中包括:虚拟显示对象,所述方法包括:
采用所述虚拟显示对象获取真实场景的目标人物的直播视频流;
在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流。
2.根据权利要求1所述的方法,其特征在于,所述采用所述虚拟显示对象获取真实场景的目标人物的直播视频流,包括:
采用所述虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流。
3.根据权利要求1所述的方法,其特征在于,所述虚拟三维场景中还包括:受控虚拟对象,所述方法还包括:
根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位。
4.根据权利要求3所述的方法,其特征在于,所述根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位,包括:
根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的朝向,使得所述虚拟显示对象朝向所述受控虚拟对象。
5.根据权利要求4所述的方法,其特征在于,所述根据所述虚拟三维场景中所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的方位,还包括:
根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中进行移动,使得所述虚拟显示对象与所述受控虚拟对象的距离在预设范围内。
6.根据权利要求4所述的方法,其特征在于,所述根据所述受控虚拟对象的方位,控制所述虚拟显示对象在所述虚拟三维场景中的朝向,使得所述虚拟显示对象朝向所述受控虚拟对象,包括:
根据所述受控虚拟对象在所述虚拟三维场景中的移动方向确定所述虚拟显示对象的旋转方向;
根据所述旋转方向控制所述虚拟显示对象在所述虚拟三维场景中进行旋转,使得所述虚拟显示对象朝向所述受控虚拟对象。
7.根据权利要求1所述的方法,其特征在于,在所述采用所述虚拟显示对象获取真实场景的目标人物的直播视频流之后,所述方法还包括:
对所述直播视频流进行处理,得到所述真实场景中所述目标人物的目标直播视频流;
所述虚拟显示对象为虚拟透明显示屏;所述在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流,包括:
在所述目标位置处,采用所述虚拟透明显示屏播放所述目标直播视频流。
8.根据权利要求3所述的方法,其特征在于,所述方法还包括:
判断所述受控虚拟对象与所述虚拟显示对象之间的距离,是否小于或者等于预设第一阈值;
若是,则限制所述受控虚拟对象的移动。
9.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在距离所述虚拟显示对象预设第二阈值的目标位置处,设置透明障碍对象;
若检测到所述受控虚拟对象移动至所述透明障碍对象所在的位置,则限制所述受控虚拟对象的移动。
10.根据权利要求2所述的方法,其特征在于,所述采用所述虚拟显示对象根据预设拉流地址,从直播服务器上获取真实场景的目标人物的直播视频流之前,所述方法还包括:
通过所述客户端设备对应的服务端设备,接收所述直播服务器发送的所述预设拉流地址,其中,所述直播服务器中的所述直播视频流是由直播客户端根据推流地址上传的。
11.根据权利要求7所述的方法,其特征在于,所述对所述直播视频流进行处理,得到所述真实场景中所述目标人物的目标直播视频流,包括:
根据所述直播视频流中每帧图像的每个像素的像素值,以及预设的背景像素值,对所述直播视频流进行处理,得到所述目标直播视频流。
12.一种虚拟场景中的显示装置,其特征在于,应用于呈现有虚拟三维场景的客户端设备,所述虚拟三维场景中包括:虚拟显示对象,所述装置包括:
获取模块,用于采用所述虚拟显示对象获取真实场景的目标人物的直播视频流;
播放模块,用于在所述虚拟三维场景中所述虚拟显示对象所在的目标位置处,采用所述虚拟显示对象播放所述直播视频流。
13.一种客户端设备,其特征在于,包括:存储器和处理器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1-11任一项所述的虚拟场景中的显示方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被读取并执行时,实现上述权利要求1-11任一项所述的虚拟场景中的显示方法。
CN202211414927.0A 2022-11-11 2022-11-11 虚拟场景中的显示方法、装置、客户端设备及存储介质 Pending CN115904159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211414927.0A CN115904159A (zh) 2022-11-11 2022-11-11 虚拟场景中的显示方法、装置、客户端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211414927.0A CN115904159A (zh) 2022-11-11 2022-11-11 虚拟场景中的显示方法、装置、客户端设备及存储介质

Publications (1)

Publication Number Publication Date
CN115904159A true CN115904159A (zh) 2023-04-04

Family

ID=86490832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211414927.0A Pending CN115904159A (zh) 2022-11-11 2022-11-11 虚拟场景中的显示方法、装置、客户端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115904159A (zh)

Similar Documents

Publication Publication Date Title
US11082661B1 (en) Virtual conference view for video calling
US10200654B2 (en) Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space
CN112243583B (zh) 多端点混合现实会议
US20170127023A1 (en) Virtual conference room
CN113240782A (zh) 基于虚拟角色的流媒体生成方法及装置
JP2015505175A (ja) テレビ会議の強化
WO2021204139A1 (zh) 视频显示方法、装置、设备和存储介质
CN109120990B (zh) 直播方法、装置和存储介质
WO2019193364A1 (en) Method and apparatus for generating augmented reality images
WO2023098011A1 (zh) 视频播放方法及电子设备
CN114430494B (zh) 界面显示方法、装置、设备及存储介质
US20230341993A1 (en) Moving a digital representation of a video conference participant to a new location in a virtual environment
CN111249723A (zh) 游戏中的显示控制的方法、装置、电子设备及存储介质
WO2023076648A1 (en) Extraction of user representation from video stream to a virtual environment
CN115904159A (zh) 虚拟场景中的显示方法、装置、客户端设备及存储介质
US20190012834A1 (en) Augmented Content System and Method
CN114846808A (zh) 内容发布系统、内容发布方法以及内容发布程序
JP2023527624A (ja) コンピュータプログラムおよびアバター表現方法
CN112672089A (zh) 会议控制及与会方法、装置、服务器、终端及存储介质
US11910132B2 (en) Head tracking for video communications in a virtual environment
CN114938430B (zh) 全真场景下的画面显示方法、装置、电子设备和可读存储介质
EP4376385A1 (en) System and method enabling live broadcasting sessions in virtual environments
CN115842936A (zh) 多主播直播方法及装置
TW202236845A (zh) 視頻顯示方法、裝置、設備和儲存媒體
WO2023156984A1 (en) Movable virtual camera for improved meeting views in 3d virtual

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination