CN114625468B - 增强现实画面的展示方法、装置、计算机设备及存储介质 - Google Patents

增强现实画面的展示方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114625468B
CN114625468B CN202210279107.9A CN202210279107A CN114625468B CN 114625468 B CN114625468 B CN 114625468B CN 202210279107 A CN202210279107 A CN 202210279107A CN 114625468 B CN114625468 B CN 114625468B
Authority
CN
China
Prior art keywords
picture
target
real scene
picture data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210279107.9A
Other languages
English (en)
Other versions
CN114625468A (zh
Inventor
南天骄
程晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210279107.9A priority Critical patent/CN114625468B/zh
Publication of CN114625468A publication Critical patent/CN114625468A/zh
Application granted granted Critical
Publication of CN114625468B publication Critical patent/CN114625468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Abstract

本公开提供了一种增强现实画面的展示方法、装置、计算机设备及存储介质,其中,该方法包括:获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息;基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据;其中,所述AR画面数据包含基于所述控制信息生成的虚拟角色的行为数据;响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示。

Description

增强现实画面的展示方法、装置、计算机设备及存储介质
技术领域
本公开涉及人工智能技术领域,具体而言,涉及一种增强现实画面的展示方法、装置、计算机设备及存储介质。
背景技术
在虚拟直播等场景下,真实人物可以控制虚拟角色执行相关动作,并将虚拟角色叠加在现实场景画面上,以将虚拟角色以增强现实(Augmented Reality,AR)的形式展示出。
除了虚拟角色和现实场景本身的内容会影响AR画面展示内容外,AR拍摄设备的拍摄角度也会影响AR画面的展示,用户当前观看的AR画面内容可能会受到当前拍摄设备的拍摄角度的影响,而导致无法突出呈现虚拟角色的一些重要动作或现实场景中的一些重要场景内容。
发明内容
本公开实施例至少提供一种增强现实画面的展示方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种增强现实画面的展示方法,包括:
获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息;
基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据;其中,所述AR画面数据包含基于所述控制信息生成的虚拟角色的行为数据;
响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示。
一种可选的实施方式中,在获取多个AR拍摄设备分别在不同的拍摄视角下拍摄目标现实场景得到的现实场景画面之前,所述方法还包括:
响应针对各所述AR拍摄设备的坐标系对齐指令,对各所述AR拍摄设备进行坐标系对齐,以使各所述AR拍摄设备拍摄的现实场景画面中各场景元素的坐标数据均位于预设的标定坐标系;
所述基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据,包括:
针对进行坐标系对齐后的所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第一AR画面数据;
基于所述第一AR画面数据和所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
一种可选的实施方式中,所述基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据,包括:
针对每个所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第二AR画面数据;以及,确定所述AR拍摄设备的相机坐标系与预设的标定坐标系之间的坐标系转换关系;
基于所述第二AR画面数据、所述坐标系转换关系以及所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
一种可选的实施方式中,所述目标展示需求包括重点展示虚拟角色的需求;所述从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,包括:
确定虚拟角色分别在所述各个现实场景画面对应的AR画面数据中的位姿数据;所述位姿数据用于指示所述虚拟角色在AR画面中的展示位姿;
从各个所述位姿数据中,选取满足预设条件的目标位姿数据,将所述目标位姿数据对应的AR画面数据作为所述目标AR画面数据。
一种可选的实施方式中,所述从各个所述位姿数据中,选取满足预设条件的目标位姿数据,包括:
从各个所述位姿数据中,选取对应的位置位于AR画面的预设位置区域内、且朝向与面向镜头的方向之间的夹角小于设定角度阈值的目标位姿数据。
一种可选的实施方式中,所述从各个所述位姿数据中,选取满足预设条件的目标位姿数据,包括:
从各个所述位姿数据中,选取位姿差异性满足预设条件的多个目标位姿数据;其中,所述多个目标位姿数据用于从多个视角展示所述虚拟角色。
一种可选的实施方式中,所述目标展示需求包括当前对拍摄视角的选择需求;所述响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,包括:
响应于用户从多个拍摄视角中选择的目标拍摄视角,从所述各个现实场景画面分别对应的所述AR画面数据中,确定与所述目标拍摄视角分别对应的目标AR画面数据。
一种可选的实施方式中,所述从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示,包括:
在确定的目标AR画面数据包括多个现实场景画面分别对应的AR画面数据的情况下,将多个所述目标AR画面数据进行合成,得到合成AR画面数据;所述合成AR画面数据用于从多个视角展示所述虚拟角色;
展示所述合成AR画面数据。
一种可选的实施方式中,针对任一所述AR拍摄设备,在生成与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据之后,所述方法还包括:
将与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据发送至该AR拍摄设备,以指示该AR拍摄设备展示接收到的增强现实AR画面数据。
一种可选的实施方式中,所述基于所述目标AR画面数据进行AR画面展示,包括:
将所述目标AR画面数据发送至直播服务器,以基于所述直播服务器将所述目标AR画面数据推流至直播客户端,并在所述直播客户端进行AR画面展示。
第二方面,本公开实施例还提供一种增强现实画面的展示装置,包括:
获取模块,用于获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息;
生成模块,用于基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据;其中,所述AR画面数据包含基于所述控制信息生成的虚拟角色的行为数据;
展示模块,用于响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示。
一种可选的实施方式中,在获取多个AR拍摄设备分别在不同的拍摄视角下拍摄目标现实场景得到的现实场景画面之前,所述获取模块还用于:
响应针对各所述AR拍摄设备的坐标系对齐指令,对各所述AR拍摄设备进行坐标系对齐,以使各所述AR拍摄设备拍摄的现实场景画面中各场景元素的坐标数据均位于预设的标定坐标系;
所述生成模块,在基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据时,用于:
针对进行坐标系对齐后的所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第一AR画面数据;
基于所述第一AR画面数据和所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
一种可选的实施方式中,所述生成模块在基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据时,用于:
针对每个所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第二AR画面数据;以及,确定所述AR拍摄设备的相机坐标系与预设的标定坐标系之间的坐标系转换关系;
基于所述第二AR画面数据、所述坐标系转换关系以及所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
一种可选的实施方式中,所述目标展示需求包括重点展示虚拟角色的需求;所述展示模块在从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据时,用于:
确定虚拟角色分别在所述各个现实场景画面对应的AR画面数据中的位姿数据;所述位姿数据用于指示所述虚拟角色在AR画面中的展示位姿;
从各个所述位姿数据中,选取满足预设条件的目标位姿数据,将所述目标位姿数据对应的AR画面数据作为所述目标AR画面数据。
一种可选的实施方式中,所述展示模块在从各个所述位姿数据中,选取满足预设条件的目标位姿数据时,用于:
从各个所述位姿数据中,选取对应的位置位于AR画面的预设位置区域内、且朝向与面向镜头的方向之间的夹角小于设定角度阈值的目标位姿数据。
一种可选的实施方式中,所述展示模块在从各个所述位姿数据中,选取满足预设条件的目标位姿数据时,用于:
从各个所述位姿数据中,选取位姿差异性满足预设条件的多个目标位姿数据;其中,所述多个目标位姿数据用于从多个视角展示所述虚拟角色。
一种可选的实施方式中,所述目标展示需求包括当前对拍摄视角的选择需求;所述展示模块在响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据时,用于:
响应于用户从多个拍摄视角中选择的目标拍摄视角,从所述各个现实场景画面分别对应的所述AR画面数据中,确定与所述目标拍摄视角分别对应的目标AR画面数据。
一种可选的实施方式中,所述展示模块在从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示时,用于:
在确定的目标AR画面数据包括多个现实场景画面分别对应的AR画面数据的情况下,将多个所述目标AR画面数据进行合成,得到合成AR画面数据;所述合成AR画面数据用于从多个视角展示所述虚拟角色;
展示所述合成AR画面数据。
一种可选的实施方式中,针对任一所述AR拍摄设备,在生成与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据之后,所述生成模块还用于:
将与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据发送至该AR拍摄设备,以指示该AR拍摄设备展示接收到的增强现实AR画面数据。
一种可选的实施方式中,所述展示模块在基于所述目标AR画面数据进行AR画面展示时,用于:
将所述目标AR画面数据发送至直播服务器,以基于所述直播服务器将所述目标AR画面数据推流至直播客户端,并在所述直播客户端进行AR画面展示。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的增强现实画面的展示方法、装置、计算机设备及存储介质,通过获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息,并经过相应处理后生成与各个现实场景画面分别对应的增强现实AR画面数据,从而可以响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示;从而本公开实施例可以在虚拟角色执行相关动作的过程中,通过多个不同拍摄位姿下的AR拍摄设备进行现实场景拍摄,并同步得到虚拟角色融入拍摄的不同现实场景下的AR画面数据;在进行AR画面展示时,可以根据当前对融入现实场景的虚拟角色以及现实场景内容本身的实时展示需求,来选择对应的AR画面数据进行展示,从而可以根据实时展示需求来进行AR画面的选择和切换,能够更好地呈现虚拟角色的一些重要行为或现实场景中一些重要场景内容。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种增强现实画面的展示方法的流程图;
图2a示出了本公开实施例所提供的一种现实场景画面的示意图;
图2b示出了本公开实施例所提供的另一种现实场景画面的示意图;
图3a示出了本公开实施例所提供的一种通过AR画面展示出的虚拟角色的展示形象;
图3b示出了本公开实施例所提供的另一种通过AR画面展示出的虚拟角色的展示形象;
图4示出了本公开实施例所提供的一种增强现实画面的展示装置的示意图;
图5示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现,除了虚拟角色和现实场景本身的内容会影响AR画面展示内容外,AR拍摄设备的拍摄角度也会影响AR画面的展示,用户当前观看的AR画面内容可能会受到当前拍摄设备的拍摄角度的影响,而导致无法突出呈现虚拟角色的一些重要动作或现实场景中的一些重要场景内容。
基于上述研究,本公开提供了一种增强现实画面的展示方法、装置、计算机设备及存储介质,通过获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息,并经过相应处理后生成与各个现实场景画面分别对应的增强现实AR画面数据,从而可以响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示;从而本公开实施例可以在虚拟角色执行相关动作的过程中,通过多个不同拍摄位姿下的AR拍摄设备进行现实场景拍摄,并同步得到虚拟角色融入拍摄的不同现实场景下的AR画面数据;在进行AR画面展示时,可以根据当前对融入现实场景的虚拟角色以及现实场景内容本身的实时展示需求,来选择对应的AR画面数据进行展示,从而可以根据实时展示需求来进行AR画面的选择和切换,能够更好地呈现虚拟角色的一些重要行为或现实场景中一些重要场景内容。
具体地,由于本公开实施例提供的渲染显示方法可以应用于增强现实(AugmentedReality,AR)场景,因此计算机设备例如可以包括但不限于可以支持AR显示的设备,例如手机、平板电脑等移动设备;或者AR穿戴设备,例如AR眼镜。在一些可能的实现方式中,该增强现实画面的展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
本公开实施例提供的场景画面显示方法用于展示AR画面。在一种可能的情况下,在将本公开实施例提供的场景画面显示方法应用于虚拟直播的场景下,AR画面可以在观看虚拟直播的用户对应的用户端进行展示。在AR画面中,可以显示出现实场景和虚拟对象。其中,现实场景例如可以包括室内有限大小的场景,比如客厅、厨房、展览馆等;或者也可以包括室外开阔空间的场景,比如游乐园、广场等。此处,用于进行AR画面背景展示的现实场景,为了便于区分称为第一现实场景。
针对虚拟角色,虚拟角色例如包括人物角色或者动漫角色等。虚拟角色的实时行为受控于虚拟角色控制对象的行为数据;虚拟角色控制对象可以为现实场景中的真实人物。虚拟角色控制对象例如可以在区别于第一现实场景的第二现实场景中,通过行为捕捉设备对虚拟角色控制对象的行为进行实时捕捉,可以生成虚拟角色控制对象的行为数据;进一步的,利用行为数据可以确定控制虚拟角色的实时行为的控制信息,控制信息可以控制虚拟角色的行为,以得到基于现实场景画面和虚拟角色的AR画面数据。在AR画面数据中,可以显示出虚拟角色在第一现实场景中活动的效果。
此处,在对虚拟角色通过AR画面进行展示时,还可以确定对虚拟角色的多种不同的展示视角,以有针对性地对虚拟角色进行展示。例如,可以设置不同拍摄角度的AR拍摄设备,以从不同的视角下对虚拟角色进行拍摄,以在获取到的AR画面中展示虚拟角色正面、侧面、背面等,从而对虚拟角色进行全方位、多角度的展示。
参见图1所示,为本公开实施例提供的增强现实画面的展示方法的流程图,所述方法包括S101~S103,其中:
S101:获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息。
S102:基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据;其中,所述AR画面数据包含基于所述控制信息生成的虚拟角色的行为数据。
S103:响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示。
以下是对上述步骤的详细介绍。
针对S101,AR拍摄设备,例如可以包括AR相机等。下面以图像采集设备包括相机为例进行说明。在确定目标现实场景的情况下,通过工作人员手持相机或者通过机器人搭载相机,可以对目标现实场景进行图像采集。在一种可能的情况下,在相机进行图像采集时,可以同步地上传当前状态下的当前相机位姿,也即拍摄位姿。针对拍摄位姿,具体包括相机的拍摄角度和拍摄位置。
为了对虚拟角色进行全方位、多角度的拍摄,在本公开实施例中,具体获取了多个相机在不同拍摄位姿下拍摄目标现实场景得到的现实场景画面。对于多个相机而言,在分别确定拍摄位姿的情况下,对目标现实场景进行图像采集得到的多张现实场景画面例如图2a以及图2b所示。示例性的,图2a和图2b包括针对目标现实场景中的树林,在不同的拍摄位姿下拍摄得到的现实场景画面。在图2a和图2b中仅包含目标现实场景下的现实场景画面,并不包含虚拟角色。
另外,为了将虚拟角色在现实场景画面中展示出,还可以获取对虚拟角色的控制信息。具体地,可以由在现实场景中真实存在的虚拟角色控制虚拟角色的行为动作。在一种可能的情况下,虚拟角色控制对象对虚拟角色的控制信息,例如可以通过虚拟角色控制对象的行为数据确定。这里,行为数据也即通过各种动作捕捉设备捕捉的指示虚拟角色控制对象发生的一系列行为的数据。
其中,用于获取行为数据的动作捕捉设备,具体可以包括感应虚拟角色控制对象的身体各部位动作的传感器设备,比如动捕手套、动捕头盔(用于捕捉面部表情动作)、以及发声捕捉设备(比如捕捉嘴部发声的麦克风和捕捉发声动作的喉麦)等。行为数据包括动作捕捉设备对虚拟角色控制对象捕捉的动作数据和/或音频数据。这样,利用动作捕捉设备对虚拟角色控制对象的动作、音频等进行捕捉,可以生成虚拟角色控制对象的行为数据。或者,动作捕捉设备也可以包括摄像头,通过摄像头拍摄虚拟角色控制对象得到视频帧图像,并对视频帧图像进行人体动作的语义特征识别,也可以相应地确定虚拟角色控制对象的行为数据。利用虚拟角色控制对象的行为数据,可以相应的生成使虚拟角色执行相同或相似行为动作的控制信息,以使虚拟角色在AR画面数据中展示出与虚拟角色控制对象相同或相似的行为动作。
针对S102,在确定控制信息和多个现实场景画面的情况下,可以根据对虚拟角色的控制信息、以及用于对虚拟角色进行AR画面展示的各现实场景画面,生成与各现实场景画面分别对应的AR画面数据。示例性的,针对上述图2a示出的现实场景画面,图3a对应的示出了在该现实场景画面的拍摄位姿下,通过AR画面展示出的虚拟角色的展示形象;以及,针对上述图2b示出的现实场景画面,图3b对应的示出了在该现实场景画面的拍摄位姿下,通过AR画面展示出的虚拟角色的展示形象。
一种可能的实施方式中,由于目标现实场景中存在多个AR拍摄设备进行拍摄,而不同的AR拍摄设备对应的,因此在获取多个AR拍摄设备分别在不同的拍摄视角下拍摄目标现实场景得到的现实场景画面之前,还可以响应针对各所述AR拍摄设备的坐标系对齐指令,对各所述AR拍摄设备进行坐标系对齐,以使各所述AR拍摄设备拍摄的现实场景画面中各场景元素的坐标数据均位于预设的标定坐标系。
这里,对于各个现实场景画面分别对应的AR画面数据,在用于展示时仅能够展示其中的一个AR画面数据,因此为了通过展示出的AR画面数据展示出全方位、多角度的虚拟角色,通常会选择在多个AR画面数据中切换展示不同拍摄视角下的AR画面数据。在目标现实场景中,在利用多个拍摄视角下的相机对真实存在的人进行拍摄时,由于人真实存在,因此在切换多个视角时,并不会出现人的“瞬移”现象。而对于AR画面数据中展示出的虚拟角色,由于并不真实存在,而是由控制信息确定展示位置,因此对于多个相机而言,由于不同相机对应的相机坐标系不同,因此在相同的控制信息下,虚拟角色在AR画面数据中的显示出在现实场景画面中的位姿可能会有所偏差。
例如,以目标现实场景为舞台场景为例,对于多个相机中一个相机拍摄得到的现实场景画面,生成的AR画面上虚拟角色可能靠近舞台左侧,而利用另一个相机拍摄得到的现实场景画面,生成的AR画面上虚拟角色则可能靠近舞台右侧。这样,在这两个AR画面之间进行切换时,就会呈现出虚拟角色在舞台的左侧和右侧“瞬移”的情况出现,这种情况与真实场景相违背,就会造成AR画面不真实的问题。
为了避免上述情况的出现,可以在获取现实场景画面之前,对各相机进行坐标系对齐。具体地,在进行坐标系对齐时,可以响应于坐标系对齐指令,对每个相机进行坐标系对齐。在进行坐标系对齐时,可以预先设置一个标定坐标系,并见所有相机的相机坐标系标定至该标定坐标系。或者,也可以以一个相机的相机坐标系为标定坐标系,并将其余相机的相机坐标系标定至该标定坐标系下。这样,相机拍摄的现实场景画面中各场景元素的坐标数据均位于预设的标定坐标系,从而使生成的AR画面数据中虚拟角色的位置均相同,在切换时不会出现造成画面不真实的人物“瞬移”现象。
一种可能的实施方式中,可以首先对相机坐标系进行对齐,然后再利用坐标系对齐后各个相机拍摄到的现实场景画面,叠加虚拟角色生成多个AR画面数据。具体地,通过如下步骤A1~A2,生成与各个现实场景画面分别对应的增强现实AR画面数据:
A1:针对进行坐标系对齐后的所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第一AR画面数据。
此处,针对对齐后的各相机,均在标定坐标系下,并且控制信息也唯一确定,因此利用控制信息以及各相机对应的位姿信息,确定虚拟角色在各个拍摄获取到的现实场景画面中,相对于现实场景画面的位姿是固定的,也即在各现实场景画面中虚拟角色的位姿均一致。因此,得到的虚拟角色在现实场景画面中的第一AR画面数据,例如可以包括仅能显示虚拟角色的AR画面数据,可以直接通过叠加渲染的方式与现实场景画面对齐进行展示。
A2:基于所述第一AR画面数据和所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
具体地,由于第一AR画面数据中,虚拟角色相对于每个现实场景画面中的位姿均一致,因此可以直接利用第一AR画面数据叠加渲染至现实场景画面中,生成与现实场景画面对应的AR画面数据。
另一种可能的实施方式中,可以首先利用控制信息和各相机的位姿,分别确定虚拟角色与每个相机之间的相对位姿关系,然后再利用各相机的相机坐标系与标定坐标系之间的坐标系转换关系,将虚拟角色显示在由各相机拍摄获得的现实场景画面上。具体地,通过如下步骤B1~B2,生成与各个现实场景画面分别对应的增强现实AR画面数据:
B1:针对每个所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第二AR画面数据;以及,确定所述AR拍摄设备的相机坐标系与预设的标定坐标系之间的坐标系转换关系。
此处,第二AR画面数据,用于表示待显示出虚拟角色与相机之间的相对位姿关系。确定标定坐标系的方式参见上述的相关说明,在此不再赘述。利用确定的标定坐标系,可以较为容易且准确地确定相机坐标系与标定坐标系之间的坐标系转换关系。
B2:基于所述第二AR画面数据、所述坐标系转换关系以及所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
在利用第二AR画面数据确定虚拟角色与相机之间的相对位姿关系、以及相机的相机坐标系与标定坐标系的坐标系转换关系的情况下,即可以利用相机的相机坐标系,确定虚拟角色与标定坐标系之间的转换关系。这样,虚拟角色在标定坐标系下的显示位置确定,利用现实场景画面以及确定的显示位置,也可以生成虚拟角色位置固定的AR画面数据。
一种可能的实施方式中,由于AR拍摄设备也可以由人工手持拍摄或者由机器人搭载进行拍摄,这种情况下AR拍摄设备的位姿是不断变化的,为了可以利用多个AR拍摄设备获取到不同拍摄角度下的现实场景图像,针对任一所述AR拍摄设备,在生成与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据之后,可以将与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据发送至该AR拍摄设备,以指示该AR拍摄设备展示接收到的增强现实AR画面数据。这样,工作人员或者机器人可以根据AR画面数据对相机的拍摄位姿进行调整,以控制多台相机从多种不同角度进行拍摄,而不仅集中在某一拍摄位姿下进行拍摄。
S103:响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示。
这里,所述目标展示需求可以根据实际情况确定,例如虚拟角色在舞台上进行舞蹈动作展示的场景,根据舞蹈动作的改变,相应的可以切换展示出不同身位下的AR画面。或者,也可以确定将可以显示出虚拟角色正面的AR画面作为目标AR画面数据,这样在虚拟角色的活动过程中,可以始终跟随虚拟角色的正面形象进行展示。
一种可能的实施方式中,在确定目标AR画面数据时,可以确定将正在画面中特定位置展示出虚拟角色的AR画面数据,作为目标AR画面数据。具体地,可以通过如下步骤C1~C2确定目标AR画面数据:
C1:确定虚拟角色分别在所述各个现实场景画面对应的AR画面数据中的位姿数据;所述位姿数据用于指示所述虚拟角色在AR画面中的展示位姿。
C2:从各个所述位姿数据中,选取满足预设条件的目标位姿数据,将所述目标位姿数据对应的AR画面数据作为所述目标AR画面数据。
这里,预设条件例如可以根据实际情况确定,比如对应的位姿数据表示虚拟角色在AR画面数据中的居中位置展示。在确定各现实场景画面的AR画面数据中虚拟角色的位姿数据后,即可以确定虚拟角色在AR画面中的展示位姿,这样就能够根据预设条件从多个AR画面数据中确定目标AR画面数据,以利用目标AR画面数据展示出完整的虚拟角色,以居中的形式进行展示也能更好地对虚拟角色进行突出展示。
一种可能的实施方式中,在选取所述目标位姿数据时,可以从各个所述位姿数据中,选取对应的位置位于AR画面的预设位置区域内、且朝向与面向镜头的方向之间的夹角小于设定角度阈值的目标位姿数据。
具体的,对于各个现实场景画面对应的AR画面数据,由于虚拟角色在现实场景画面中的位姿固定,若相机在进行拍摄时均以将虚拟角色集中在画面中央位置下的位姿进行拍摄,则在选择目标位姿数据时,还可以根据位姿数据中确定的朝向与面向镜头的方向之间的夹角,确定目标位姿数据。这样,在一种可能的情况下,虚拟角色的朝向也即虚拟角色的视线朝向,选取出的目标位姿数据中虚拟角色的朝向与面向镜头的方向的夹角较小,相应显示的AR画面中可以显示出虚拟角色的视线面向镜头方向,更容易引导观看的用户通过AR画面集中于显示出的虚拟角色。
另一种可能的实施方式中,在选取所述目标位姿数据时,还可以从各个所述位姿数据中,选取位姿差异性满足预设条件的多个目标位姿数据;其中,所述多个目标位姿数据用于从多个视角展示所述虚拟角色。
在该种情况下,多台相机在拍摄时,可能会出现位姿相近的几台相机,而位姿相近的几台相机相应得到的AR画面,显示出的虚拟角色并不存在较大的差异。因此,在位姿相近的几台相机之间进行画面的切换,依旧仅能限制在对虚拟角色的某一视角下的展示。因此,在确定目标位姿数据时,可以从多个位姿数据中确定位姿差异性较大的多个位姿数据,比如表示对虚拟角色正面、左侧面、右侧面、顶部等不同差异性较大的位姿数据,作为目标位姿数据,以在进行画面切换时从多个不同的视角下展示虚拟角色。
另一种可能的实施方式中,在确定目标AR画面数据时,还可以响应于用户从多个拍摄视角中选择的目标拍摄视角,从所述各个现实场景画面分别对应的所述AR画面数据中,确定与所述目标拍摄视角分别对应的目标AR画面数据。
此处,用户可以包括在直播场景下观看直播的用户,或者也可以包括的虚拟角色控制对象。以观看直播的用户为例,在确定目标拍摄视角时,例如可以从用户发送的弹幕信息中确定指示切换拍摄视角的目标弹幕,以利用目标弹幕确定目标拍摄视角。其中,在从弹幕信息中确定目标弹幕时,可以采用自然语义处理的方式对弹幕信息进行语义识别,确定是否包含与“拍摄视角”、“切换视角”等相关的关键词。在一种可能的情况下,若确定的目标弹幕信息包括“切换至侧面进行展示”,则可以确定目标拍摄视角为对应侧面展示虚拟角色的拍摄视角,则利用确定的目标拍摄视角,可以从多个的AR画面数据中,确定与目标拍摄视角对应的目标AR画面数据。
对于用户包括虚拟角色控制对象的情况,也可以响应于虚拟角色控制对象对多个拍摄视角下目标拍摄视角的选择操作,确定目标拍摄视角,以利用目标拍摄视角确定目标AR画面数据。这样,由于虚拟角色控制对象对虚拟角色进行控制,因此通过虚拟角色控制对象对目标拍摄视角进行切换控制,也更有利于对虚拟角色进行在动作、表情等方面的展示。
一种可能的实施方式中,在进行AR画面展示时,可以在确定的目标AR画面数据包括多个现实场景画面分别对应的AR画面数据的情况下,将多个所述目标AR画面数据进行合成,得到并展示合成后的合成AR画面数据。
这里,所述合成AR画面数据可以用于从多个视角展示所述虚拟角色。
另一种可能的实施方式中,在进行AR画面展示时,可以将所述目标AR画面数据发送至直播服务器,以基于所述直播服务器将所述目标AR画面数据推流至直播客户端,并在所述直播客户端进行AR画面展示。这样,用户可以通过直播客户端对展示出的AR画面进行观看。
本公开实施例提供的增强现实画面的展示方法,通过获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息,并经过相应处理后生成与各个现实场景画面分别对应的增强现实AR画面数据,从而可以响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示;从而本公开实施例可以在虚拟角色执行相关动作的过程中,通过多个不同拍摄位姿下的AR拍摄设备进行现实场景拍摄,并同步得到虚拟角色融入拍摄的不同现实场景下的AR画面数据;在进行AR画面展示时,可以根据当前对融入现实场景的虚拟角色以及现实场景内容本身的实时展示需求,来选择对应的AR画面数据进行展示,从而可以根据实时展示需求来进行AR画面的选择和切换,能够更好地呈现虚拟角色的一些重要行为或现实场景中一些重要场景内容。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与增强现实画面的展示方法对应的增强现实画面的展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述增强现实画面的展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种增强现实画面的展示装置的架构示意图,所述装置包括:获取模块41、生成模块42、展示模块43;其中,
获取模块41,用于获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息;
生成模块42,用于基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据;其中,所述AR画面数据包含基于所述控制信息生成的虚拟角色的行为数据;
展示模块43,用于响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示。
一种可选的实施方式中,在获取多个AR拍摄设备分别在不同的拍摄视角下拍摄目标现实场景得到的现实场景画面之前,所述获取模块41还用于:
响应针对各所述AR拍摄设备的坐标系对齐指令,对各所述AR拍摄设备进行坐标系对齐,以使各所述AR拍摄设备拍摄的现实场景画面中各场景元素的坐标数据均位于预设的标定坐标系;
所述生成模块42,在基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据时,用于:
针对进行坐标系对齐后的所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第一AR画面数据;
基于所述第一AR画面数据和所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
一种可选的实施方式中,所述生成模块42在基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据时,用于:
针对每个所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第二AR画面数据;以及,确定所述AR拍摄设备的相机坐标系与预设的标定坐标系之间的坐标系转换关系;
基于所述第二AR画面数据、所述坐标系转换关系以及所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
一种可选的实施方式中,所述目标展示需求包括重点展示虚拟角色的需求;所述展示模块43在从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据时,用于:
确定虚拟角色分别在所述各个现实场景画面对应的AR画面数据中的位姿数据;所述位姿数据用于指示所述虚拟角色在AR画面中的展示位姿;
从各个所述位姿数据中,选取满足预设条件的目标位姿数据,将所述目标位姿数据对应的AR画面数据作为所述目标AR画面数据。
一种可选的实施方式中,所述展示模块43在从各个所述位姿数据中,选取满足预设条件的目标位姿数据时,用于:
从各个所述位姿数据中,选取对应的位置位于AR画面的预设位置区域内、且朝向与面向镜头的方向之间的夹角小于设定角度阈值的目标位姿数据。
一种可选的实施方式中,所述展示模块43在从各个所述位姿数据中,选取满足预设条件的目标位姿数据时,用于:
从各个所述位姿数据中,选取位姿差异性满足预设条件的多个目标位姿数据;其中,所述多个目标位姿数据用于从多个视角展示所述虚拟角色。
一种可选的实施方式中,所述目标展示需求包括当前对拍摄视角的选择需求;所述展示模块43在响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据时,用于:
响应于用户从多个拍摄视角中选择的目标拍摄视角,从所述各个现实场景画面分别对应的所述AR画面数据中,确定与所述目标拍摄视角分别对应的目标AR画面数据。
一种可选的实施方式中,所述展示模块43在从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示时,用于:
在确定的目标AR画面数据包括多个现实场景画面分别对应的AR画面数据的情况下,将多个所述目标AR画面数据进行合成,得到合成AR画面数据;所述合成AR画面数据用于从多个视角展示所述虚拟角色;
展示所述合成AR画面数据。
一种可选的实施方式中,针对任一所述AR拍摄设备,在生成与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据之后,所述生成模块42还用于:
将与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据发送至该AR拍摄设备,以指示该AR拍摄设备展示接收到的增强现实AR画面数据。
一种可选的实施方式中,所述展示模块43在基于所述目标AR画面数据进行AR画面展示时,用于:
将所述目标AR画面数据发送至直播服务器,以基于所述直播服务器将所述目标AR画面数据推流至直播客户端,并在所述直播客户端进行AR画面展示。
本公开实施例提供的增强现实画面的展示装置,通过获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息,并经过相应处理后生成与各个现实场景画面分别对应的增强现实AR画面数据,从而可以响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示;从而本公开实施例可以在虚拟角色执行相关动作的过程中,通过多个不同拍摄位姿下的AR拍摄设备进行现实场景拍摄,并同步得到虚拟角色融入拍摄的不同现实场景下的AR画面数据;在进行AR画面展示时,可以根据当前对融入现实场景的虚拟角色以及现实场景内容本身的实时展示需求,来选择对应的AR画面数据进行展示,从而可以根据实时展示需求来进行AR画面的选择和切换,能够更好地呈现虚拟角色的一些重要行为或现实场景中一些重要场景内容。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图5所示,为本公开实施例提供的计算机设备500的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当计算机设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:
获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息;
基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据;其中,所述AR画面数据包含基于所述控制信息生成的虚拟角色的行为数据;
响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示。本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的增强现实画面的展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实画面的展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种增强现实画面的展示方法,其特征在于,包括:
获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息;
基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据;其中,所述AR画面数据包含基于所述控制信息生成的虚拟角色的行为数据;
响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示,以根据目标展示需求对AR画面进行切换展示;
其中,所述基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据,包括:
针对每个所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第二AR画面数据,所述第二AR画面数据用于表示虚拟角色与相机之间的相对位姿关系;以及,确定所述AR拍摄设备的相机坐标系与预设的标定坐标系之间的坐标系转换关系;基于所述第二AR画面数据、所述坐标系转换关系以及所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
2.根据权利要求1所述的方法,其特征在于,所述目标展示需求包括重点展示虚拟角色的需求;所述从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,包括:
确定虚拟角色分别在所述各个现实场景画面对应的AR画面数据中的位姿数据;所述位姿数据用于指示所述虚拟角色在AR画面中的展示位姿;
从各个所述位姿数据中,选取满足预设条件的目标位姿数据,将所述目标位姿数据对应的AR画面数据作为所述目标AR画面数据。
3.根据权利要求2所述的方法,其特征在于,所述从各个所述位姿数据中,选取满足预设条件的目标位姿数据,包括:
从各个所述位姿数据中,选取对应的位置位于AR画面的预设位置区域内、且朝向与面向镜头的方向之间的夹角小于设定角度阈值的目标位姿数据。
4.根据权利要求2所述的方法,其特征在于,所述从各个所述位姿数据中,选取满足预设条件的目标位姿数据,包括:
从各个所述位姿数据中,选取位姿差异性满足预设条件的多个目标位姿数据;其中,所述多个目标位姿数据用于从多个视角展示所述虚拟角色。
5.根据权利要求1所述的方法,其特征在于,所述目标展示需求包括当前对拍摄视角的选择需求;所述响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,包括:
响应于用户从多个拍摄视角中选择的目标拍摄视角,从所述各个现实场景画面分别对应的所述AR画面数据中,确定与所述目标拍摄视角分别对应的目标AR画面数据。
6.根据权利要求1所述的方法,其特征在于,所述从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示,包括:
在确定的目标AR画面数据包括多个现实场景画面分别对应的AR画面数据的情况下,将多个所述目标AR画面数据进行合成,得到合成AR画面数据;所述合成AR画面数据用于从多个视角展示所述虚拟角色;
展示所述合成AR画面数据。
7.根据权利要求1所述的方法,其特征在于,针对任一所述AR拍摄设备,在生成与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据之后,所述方法还包括:
将与该AR拍摄设备拍摄的现实场景画面对应的增强现实AR画面数据发送至该AR拍摄设备,以指示该AR拍摄设备展示接收到的增强现实AR画面数据。
8.根据权利要求1所述的方法,其特征在于,所述基于所述目标AR画面数据进行AR画面展示,包括:
将所述目标AR画面数据发送至直播服务器,以基于所述直播服务器将所述目标AR画面数据推流至直播客户端,并在所述直播客户端进行AR画面展示。
9.一种增强现实画面的展示装置,其特征在于,包括:
获取模块,用于获取多个AR拍摄设备分别在不同的拍摄位姿下拍摄目标现实场景得到的现实场景画面,以及虚拟角色控制对象对虚拟角色的控制信息;
生成模块,用于基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据;其中,所述AR画面数据包含基于所述控制信息生成的虚拟角色的行为数据;
展示模块,用于响应于目标展示需求,从所述各个现实场景画面分别对应的所述AR画面数据中确定目标AR画面数据,并基于所述目标AR画面数据进行AR画面展示,以根据目标展示需求对AR画面进行切换展示;
其中,所述生成模块,在基于所述控制信息、各个所述现实场景画面、以及各所述AR拍摄设备分别对应的位姿信息,生成与各个现实场景画面分别对应的增强现实AR画面数据时,用于:
针对每个所述AR拍摄设备,基于所述AR拍摄设备对应的位姿信息和所述控制信息,确定虚拟角色在所述AR拍摄设备拍摄的现实场景画面中的第二AR画面数据,所述第二AR画面数据用于表示虚拟角色与相机之间的相对位姿关系;以及,确定所述AR拍摄设备的相机坐标系与预设的标定坐标系之间的坐标系转换关系;基于所述第二AR画面数据、所述坐标系转换关系以及所述AR拍摄设备拍摄的现实场景画面,生成所述AR拍摄设备对应的增强现实AR画面数据。
10.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的增强现实画面的展示方法的步骤。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任一所述的增强现实画面的展示方法的步骤。
CN202210279107.9A 2022-03-21 2022-03-21 增强现实画面的展示方法、装置、计算机设备及存储介质 Active CN114625468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210279107.9A CN114625468B (zh) 2022-03-21 2022-03-21 增强现实画面的展示方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210279107.9A CN114625468B (zh) 2022-03-21 2022-03-21 增强现实画面的展示方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114625468A CN114625468A (zh) 2022-06-14
CN114625468B true CN114625468B (zh) 2023-09-22

Family

ID=81903206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210279107.9A Active CN114625468B (zh) 2022-03-21 2022-03-21 增强现实画面的展示方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114625468B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363331B (zh) * 2023-04-03 2024-02-23 北京百度网讯科技有限公司 图像生成方法、装置、设备以及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111640201A (zh) * 2020-06-11 2020-09-08 浙江商汤科技开发有限公司 虚拟沙盘展示的控制方法、装置、电子设备及存储介质
CN111698646A (zh) * 2020-06-08 2020-09-22 浙江商汤科技开发有限公司 一种定位方法及装置
CN111694430A (zh) * 2020-06-10 2020-09-22 浙江商汤科技开发有限公司 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN112037314A (zh) * 2020-08-31 2020-12-04 北京市商汤科技开发有限公司 图像显示方法、装置、显示设备及计算机可读存储介质
CN112148188A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景下的交互方法、装置、电子设备及存储介质
CN112148187A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN112653848A (zh) * 2020-12-23 2021-04-13 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112817449A (zh) * 2021-01-28 2021-05-18 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN113377205A (zh) * 2021-07-06 2021-09-10 浙江商汤科技开发有限公司 场景显示方法及装置、设备、车辆、计算机可读存储介质
WO2022040920A1 (zh) * 2020-08-25 2022-03-03 南京翱翔智能制造科技有限公司 一种基于数字孪生 ar 交互系统和方法
CN114155322A (zh) * 2021-12-01 2022-03-08 北京字跳网络技术有限公司 一种场景画面的展示控制方法、装置以及计算机存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111698646A (zh) * 2020-06-08 2020-09-22 浙江商汤科技开发有限公司 一种定位方法及装置
CN111694430A (zh) * 2020-06-10 2020-09-22 浙江商汤科技开发有限公司 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN111640201A (zh) * 2020-06-11 2020-09-08 浙江商汤科技开发有限公司 虚拟沙盘展示的控制方法、装置、电子设备及存储介质
WO2022040920A1 (zh) * 2020-08-25 2022-03-03 南京翱翔智能制造科技有限公司 一种基于数字孪生 ar 交互系统和方法
CN112037314A (zh) * 2020-08-31 2020-12-04 北京市商汤科技开发有限公司 图像显示方法、装置、显示设备及计算机可读存储介质
CN112148188A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景下的交互方法、装置、电子设备及存储介质
CN112148187A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN112653848A (zh) * 2020-12-23 2021-04-13 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112817449A (zh) * 2021-01-28 2021-05-18 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN113377205A (zh) * 2021-07-06 2021-09-10 浙江商汤科技开发有限公司 场景显示方法及装置、设备、车辆、计算机可读存储介质
CN114155322A (zh) * 2021-12-01 2022-03-08 北京字跳网络技术有限公司 一种场景画面的展示控制方法、装置以及计算机存储介质

Also Published As

Publication number Publication date
CN114625468A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
US10471355B2 (en) Display system, method of controlling display system, image generation control program, and computer-readable storage medium
US9779538B2 (en) Real-time content immersion system
CN109952759B (zh) 用于具有hmd的视频会议的改进的方法和系统
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
CN106791906B (zh) 一种多人网络直播方法、装置及其电子设备
JP6723512B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10764493B2 (en) Display method and electronic device
JP7378243B2 (ja) 画像生成装置、画像表示装置および画像処理方法
CN114615513B (zh) 视频数据生成方法、装置、电子设备及存储介质
CN113852838B (zh) 视频数据生成方法、装置、电子设备及可读存储介质
CN110673735A (zh) 全息虚拟人ar互动展示方法、装置及设备
CN110324553A (zh) 基于视频通信的实景窗系统
CN113784160A (zh) 视频数据生成方法、装置、电子设备及可读存储介质
CN114625468B (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US20220277511A1 (en) Information processing apparatus, information processing method, and recording medium
WO2023236656A1 (zh) 互动画面的渲染方法、装置、设备、存储介质及程序产品
CN114584681A (zh) 目标对象的运动展示方法、装置、电子设备及存储介质
CN111602391B (zh) 用于根据物理环境定制合成现实体验的方法和设备
CN113632498A (zh) 内容发布系统、内容发布方法、以及内容发布程序
JP2020162084A (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
US20200225467A1 (en) Method for projecting immersive audiovisual content
CN114612637A (zh) 一种场景画面显示方法、装置、计算机设备及存储介质
US20230260235A1 (en) Information processing apparatus, information processing method, and information processing system
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant