CN111640185A - 一种虚拟建筑物的展示方法及装置 - Google Patents

一种虚拟建筑物的展示方法及装置 Download PDF

Info

Publication number
CN111640185A
CN111640185A CN202010505847.0A CN202010505847A CN111640185A CN 111640185 A CN111640185 A CN 111640185A CN 202010505847 A CN202010505847 A CN 202010505847A CN 111640185 A CN111640185 A CN 111640185A
Authority
CN
China
Prior art keywords
building
virtual component
target
posture information
target user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010505847.0A
Other languages
English (en)
Inventor
王子彬
孙红亮
李炳泽
张一�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010505847.0A priority Critical patent/CN111640185A/zh
Publication of CN111640185A publication Critical patent/CN111640185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本公开提供了一种虚拟建筑物的展示方法及装置,包括:获取AR设备拍摄的包含目标用户的现实场景图像;识别所述现实场景图像中目标用户的肢体姿态信息;根据所述目标用户的肢体姿态信息,确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分;生成将所述目标虚拟组成部分融入现实场景的AR展示数据,并进行展示。

Description

一种虚拟建筑物的展示方法及装置
技术领域
本公开涉及增强现实(Augmented Reality,AR)技术领域,具体而言,涉及一种虚拟建筑物的展示方式及装置。
背景技术
相关技术中,在展示虚拟建筑物时,一般在预先设置的固定的位置展示虚拟建筑物,当用户进入到某个区域后,便能通过增强显示AR设备观看虚拟建筑物,然而这种方式展示形式和虚拟建筑物的展示的触发方式都较为单一。
发明内容
本公开实施例至少提供一种虚拟建筑物的展示方法及装置。
第一方面,本公开实施例提供了一种虚拟建筑物的展示方法,包括:
获取AR设备拍摄的包含目标用户的现实场景图像;
识别所述现实场景图像中目标用户的肢体姿态信息;
根据所述目标用户的肢体姿态信息,确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分;
生成将所述目标虚拟组成部分融入现实场景的AR展示数据,并通进行展示。
通过上述方法,可以根据目标用户的肢体姿态信息,确定与目标用户的肢体姿态信息相匹配的建筑物的目标虚拟组成部分,并通过AR设备展示目标虚拟组成部分,目标用户可以通过改变肢体姿态信息,来改变展示的目标虚拟组成部分,因此,这种展示方式增加了与用户之间的交互,丰富了展示形式和展示内容,且该目标虚拟组成部分是建筑物的组成部分,因此该目标虚拟组成部分与真实世界的融入感更强,提升了用户的沉浸感。
一种可能的实施方式中,所述肢体姿态信息为门卫的肢体姿态,所述目标虚拟组成部分为建筑物的门。
一种可能的实施方式中,生成将所述目标虚拟组成部分融入现实场景的AR展示数据,包括:
生成将所述现实场景图像中的目标用户与所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件。
一种可能的实施方式中,生成将所述目标虚拟组成部分融入现实场景的AR展示数据,包括:
获取与所述目标虚拟组成部分匹配的虚拟对象;
生成将所述现实场景图像中的目标用户、所述虚拟对象、以及所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件,所述虚拟对象与所述目标用户之间的第二相对位置关系满足第二预设条件。
一种可能的实施方式中,所述识别所述现实场景图像中目标用户的肢体姿态信息,包括:
识别所述现实场景图像中所述目标用户与真实物体之间的产生的肢体姿态信息;
所述确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分,包括:
确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
一种可能的实施方式中,所述确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分,包括:
基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;
基于所述肢体姿态信息,从所述至少一个待筛选的建筑物的虚拟组成部分中筛选出所述建筑物的目标虚拟组成部分。
一种可能的实施方式中,所述确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分,包括:
基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;
确定所述真实物体与每一个待筛选的建筑物的虚拟组成部分之间的匹配度;
将匹配度满足预设条件的建筑物的虚拟组成部分作为与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
第二方面,本公开实施例还提供一种虚拟建筑物的展示装置,包括:
获取模块,用于获取AR设备拍摄的包含目标用户的现实场景图像;
识别模块,用于识别所述现实场景图像中目标用户的肢体姿态信息;
确定模块,用于根据所述目标用户的肢体姿态信息,确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分;
展示模块,用于生成将所述目标虚拟组成部分融入现实场景的AR展示数据,并进行展示。
一种可能的实施方式中,所述肢体姿态信息为门卫的肢体姿态,所述目标虚拟组成部分为建筑物的门。
一种可能的实施方式中,所述展示模块,在生成将所述目标虚拟组成部分融入现实场景的AR展示数据时,用于:
生成将所述现实场景图像中的目标用户与所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件。
一种可能的实施方式中,所述展示模块,在生成将所述目标虚拟组成部分融入现实场景的AR展示数据时,用于:
获取与所述目标虚拟组成部分匹配的虚拟对象;
生成将所述现实场景图像中的目标用户、所述虚拟对象、以及所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件,所述虚拟对象与所述目标用户之间的第二相对位置关系满足第二预设条件。
一种可能的实施方式中,所述识别模块,在识别所述现实场景图像中目标用户的肢体姿态信息时,用于:
识别所述现实场景图像中所述目标用户与真实物体之间的产生的肢体姿态信息;
所述确定模块,在确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分时,用于:
确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
一种可能的实施方式中,所述确定模块,在确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分时,用于:
基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;
基于所述肢体姿态信息,从所述至少一个待筛选的建筑物的虚拟组成部分中筛选出所述建筑物的目标虚拟组成部分。
一种可能的实施方式中,所述确定模块,在确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分时,用于:
基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;
确定所述真实物体与每一个待筛选的建筑物的虚拟组成部分之间的匹配度;
将匹配度满足预设条件的建筑物的虚拟组成部分作为与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种虚拟建筑物的展示方法的流程图;
图2示出了本公开实施例所提供的一种虚拟建筑物的展示装置的架构示意图;
图3示出了本公开实施例所提供的计算机设备300的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
相关技术中,在展示虚拟建筑物时,一般是通过直接在预先设置的固定的位置展示,其展示的触发方式一般是用户进入某个区域后,便能通过增强现实AR设备进行观看,展示形式和虚拟建筑物的展示的触发方式都较为单一。
基于此,本公开实施例提供了一种虚拟建筑物的展示方法及装置,可以根据目标用户的肢体姿态信息,确定与目标用户的肢体姿态信息相匹配的建筑物的目标虚拟组成部分,并通过AR设备展示目标虚拟组成部分,目标用户可以通过改变肢体姿态信息,来改变展示的目标虚拟组成部分,因此,这种展示方式增加了与用户之间的交互,丰富了展示形式和展示内容,且该目标虚拟组成部分是建筑物的组成部分,因此该目标虚拟组成部分与真实世界的融入感更强,提升了用户的沉浸感。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种虚拟建筑物的展示方法进行详细介绍,本公开实施例所提供的虚拟建筑物的展示方法的执行主体一般为具有一定计算能力的电子设备,该电子设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、个人数字处理(Personal Digital Assistant,PDA)等。
参见图1所示,为本公开实施例提供的一种虚拟建筑物的展示方法的流程图,所述方法包括步骤101~步骤104,其中:
步骤101、获取AR设备拍摄的包含目标用户的现实场景图像。
其中,所述AR设备拍摄的包含目标用户的现实场景图像可以是通过用户手持的移动设备拍摄的图像,所述手持的移动设备例如可以是智能手机、平板电脑等,或者,所述AR设备还可以是AR智能眼镜。
具体实施中,所述AR设备拍摄的现实场景图像可以是多张连续的现实场景图像,或者通过AR设备拍摄包含目标用户的视频,然后将该视频划分为多个联系的视频帧,每个视频帧均为所述现实场景图像。
步骤102、识别所述现实场景图像中目标用户的肢体姿态信息。
在一种可能的实施方式中,所述目标用户的肢体姿态信息用于描述所述目标用户所做出的动作,例如可以是门卫的肢体姿态。
具体实施中,在识别现实场景图像中目标用户的肢体姿态信息时,可以将获取的现实场景图像输入至预先训练的第一神经网络中,得到目标用户的肢体姿态信息。其中,所述第一神经网络是基于携带有肢体信息标签的样本图像训练得到的。
具体的,第一神经网络在训练时,可以将样本图像输入至待训练的第一神经网络中,得到第一神经网络预测的肢体姿态信息,然后基于第一神经网络预测的肢体姿态信息和样本图像的肢体信息标签,确定本次训练过程中的损失值,并在损失值不满足预设损失值条件时,调整本次训练过程中第一神经网络的网络参数,并重新执行训练过程。
在另外一种可能的实施方式中,在识别现实场景图像中目标用户的肢体姿态信息时,可以监测在现实场景图像中目标用户的各个预设位置点的位置坐标,然后基于各个预设位置点的位置坐标,确定各个预设位置点的相对位置关系,并基于所述相对位置关系,识别所述肢体姿态信息。
其中,所述预设位置点例如可以是手掌、手肘、脚、脚踝、膝关节、胯部、腰部等,肢体姿态信息的变化可以引起预设位置点之间的相对位置关系的变化,同理,也可以根据预设位置点之间的相对位置关系,确定肢体姿态信息,例如肢体姿态信息“叉腰”对应的各个预设位置点之间的相对位置关系,与肢体姿态信息“鞠躬”对应的各个预设位置点之间的相对位置关系并不相同。
每一种肢体姿态信息对应的各个预设位置点之间的相对位置关系可以是预先设置好的,在检测到现实场景图像中目标用户的各个预设位置点之间的相对位置关系之后,可以与预先设置的每一种肢体姿态信息对应的各个预设位置点之间的相对位置关系进行匹配,并将成功的肢体姿态信息作为目标用户的肢体姿态信息。
在另外一种可能的实施方式中,所述识别现实场景图像中目标用户的肢体姿态信息,还可以先检测现实场景图像中的真实物体,然后识别现实场景图像中目标用户与真实物体之间产生的肢体姿态信息。
示例性的,若现实场景图像中的真实物体为大门,目标用户与真实物体之间产生的肢体姿态信息可以为推开大门;若显示场景图像中展示物体为椅子,目标用户与真实物体之间产生的肢体姿态信息可以为搬起椅子。
在识别现实场景图像中目标用户与真实物体之间产生的肢体姿态信息时,可以先将现实场景图像输入至训练的第二神经网络中,识别现实场景图像中的真实物体;然后将真实物体标识和所述现实场景图像输入至训练的第三神经网络中,识别目标用户与真实物体之间产生的肢体姿态信息。其中,所述第二神经网络为基于携带有物体标签的样本图像训练得到的,所述第三神经网络为基于携带有肢体姿态信息标签的样本图像和样本图像的真实物体标识信息训练得到的,具体的训练过程与第一神经网络类似,在此将不再赘述。
在另外一种可能的实施方式中,还可以直接将现实场景图像输入至第四神经网络中,直接输出得到目标用户与真实物体之间产生的肢体姿态信息,所述第四神经网络为基于样本图像和样本的标签信息训练得到的,所述标签信息用于表示所述样本图像中用户与真实物体之间产生的肢体姿态信息。
步骤103、根据所述目标用户的肢体姿态信息,确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分。
具体实施中,在确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分时,可以预先设置每个肢体姿态信息与建筑物的目标虚拟组成部分的映射关系,然后从预先设置的每个肢体姿态信息与建筑物的目标虚拟组成部分的映射关系中,筛选出与目标用户的肢体姿态信息相匹配的建筑物的目标虚拟组成部分。
在另外一种可能的实施方式中,为增强用户的融入感,在确定与目标用户的肢体姿态信息匹配的建筑物的目标虚拟组成部分时,可以确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
具体的,可以先基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;然后基于所述肢体姿态信息,从所述至少一个待筛选的建筑物的虚拟组成部分中筛选出所述建筑物的目标虚拟组成部分。
示例性的,与真实物体“大门”对应的待筛选的建筑物的虚拟组成部分可以是石狮子、台阶、门把手、门槛等;若检测到目标用户的肢体姿态信息为“抚摸”,则可以确定与目标用户的肢体姿态信息和真实物体相匹配的建筑物的目标虚拟组成部分可以为“石狮子”;若检测到目标用户的肢体姿态信息为“拖拽”,则可以确定与目标用户的肢体姿态信息和真实物体相匹配的建筑物的目标虚拟组成部分可以为“门把手”。
在另外一种可能的实施方式中,在确定与肢体姿态信息和真实物体相匹配的建筑物的目标虚拟组成部分时,可以先基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分,然后确定所述真实物体与每一个待筛选的建筑物的虚拟组成部分之间的匹配度;将匹配度满足预设条件的建筑物的虚拟组成部分作为与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
其中,在确定真实物体与每一个待筛选的建筑物的虚拟组成部分之间的匹配度时,可以基于真实物体的轮廓信息和待筛选的建筑物的虚拟组成部分的轮廓信息,确定真实物体与待筛选的建筑物的虚拟组成部分之间的匹配度。
步骤104、生成将所述目标虚拟组成部分融入现实场景的AR展示数据,并进行展示。
具体的,可以通过屏幕进行展示。
在生成将目标虚拟组成部分融入现实场景的AR展示数据时,可以生成将现实场景图像中的目标用户与建筑物的目标虚拟组成部分融合后的AR展示数据;其中,目标用户与建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件。
具体的,可以先确定目标用户在世界坐标系下的坐标,然后基于第一预设条件(例如可以设置目标用户和目标虚拟组成部分在世界坐标系下的坐标差值),确定目标虚拟组成部分在世界坐标系下的坐标,然后基于目标虚拟组成部分在世界坐标系下的坐标,将目标虚拟组成部分融入现实场景。
在另外一种可能的实施方式中,在生成将目标虚拟组成部分融入现实场景的AR展示数据时,还可以获取与所述目标虚拟组成部分匹配的虚拟对象;生成将所述现实场景图像中的目标用户、所述虚拟对象、以及所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件,所述虚拟对象与所述目标用户之间的第二相对位置关系满足第二预设条件。
示例性的,若与目标用户的肢体姿态信息相匹配的建筑物的目标虚拟组成部分为“木门”,与目标虚拟组成部分匹配的虚拟对象可以是“灯笼”,则可以生成包括“木门”和“灯笼”的AR展示数据。
通过这种实施方式,在展示AR展示数据时,可以在展示建筑物的目标虚拟组成部分的同时,展示与目标虚拟部分匹配的虚拟对象,且虚拟对象的展示位置与目标位置相关,由此可以提升用户的融入感。
本公开所提供的方法,可以根据目标用户的肢体姿态信息,确定与目标用户的肢体姿态信息相匹配的建筑物的目标虚拟组成部分,并通过AR设备展示目标虚拟组成部分,目标用户可以通过改变肢体姿态信息,来改变展示的目标虚拟组成部分,因此,这种展示方式增加了与用户之间的交互,丰富了展示形式和展示内容,且该目标虚拟组成部分是建筑物的组成部分,因此该目标虚拟组成部分与真实世界的融入感更强,提升了用户的沉浸感。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与虚拟建筑物的展示方法对应的虚拟建筑物的展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟建筑物的展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图2所示,为本公开实施例提供的一种虚拟建筑物的展示装置的架构示意图,所述装置包括:获取模块201、识别模块202、确定模块203、以及展示模块204;其中,
获取模块201,用于获取AR设备拍摄的包含目标用户的现实场景图像;
识别模块202,用于识别所述现实场景图像中目标用户的肢体姿态信息;
确定模块203,用于根据所述目标用户的肢体姿态信息,确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分;
展示模块204,用于生成将所述目标虚拟组成部分融入现实场景的AR展示数据,并通过AR设备进行展示。
一种可能的实施方式中,所述肢体姿态信息为门卫的肢体姿态,所述目标虚拟组成部分为建筑物的门。
一种可能的实施方式中,所述展示模块204,在生成将所述目标虚拟组成部分融入现实场景的AR展示数据时,用于:
生成将所述现实场景图像中的目标用户与所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件。
一种可能的实施方式中,所述展示模块204,在生成将所述目标虚拟组成部分融入现实场景的AR展示数据时,用于:
获取与所述目标虚拟组成部分匹配的虚拟对象;
生成将所述现实场景图像中的目标用户、所述虚拟对象、以及所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件,所述虚拟对象与所述目标用户之间的第二相对位置关系满足第二预设条件。
一种可能的实施方式中,所述识别模块202,在识别所述现实场景图像中目标用户的肢体姿态信息时,用于:
识别所述现实场景图像中所述目标用户与真实物体之间的产生的肢体姿态信息;
所述确定模块203,在确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分时,用于:
确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
一种可能的实施方式中,所述确定模块203,在确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分时,用于:
基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;
基于所述肢体姿态信息,从所述至少一个待筛选的建筑物的虚拟组成部分中筛选出所述建筑物的目标虚拟组成部分。
一种可能的实施方式中,所述确定模块203,在确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分时,用于:
基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;
确定所述真实物体与每一个待筛选的建筑物的虚拟组成部分之间的匹配度;
将匹配度满足预设条件的建筑物的虚拟组成部分作为与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
通过上述装置,可以根据目标用户的肢体姿态信息,确定与目标用户的肢体姿态信息相匹配的建筑物的目标虚拟组成部分,并通过AR设备展示目标虚拟组成部分,目标用户可以通过改变肢体姿态信息,来改变展示的目标虚拟组成部分,因此,这种展示方式增加了与用户之间的交互,丰富了展示形式和展示内容,且该目标虚拟组成部分是建筑物的组成部分,因此该目标虚拟组成部分与真实世界的融入感更强,提升了用户的沉浸感。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图3所示,为本公开实施例提供的计算机设备300的结构示意图,包括处理器301、存储器302、和总线303。其中,存储器302用于存储执行指令,包括内存3021和外部存储器3022;这里的内存3021也称内存储器,用于暂时存放处理器301中的运算数据,以及与硬盘等外部存储器3022交换的数据,处理器301通过内存3021与外部存储器3022进行数据交换,当计算机设备300运行时,处理器301与存储器302之间通过总线303通信,使得处理器301在执行以下指令:
识别所述现实场景图像中目标用户的肢体姿态信息;
根据所述目标用户的肢体姿态信息,确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分;
生成将所述目标虚拟组成部分融入现实场景的AR展示数据,并通过AR设备进行展示。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的虚拟建筑物的展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的虚拟建筑物的展示方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的虚拟建筑物的展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种虚拟建筑物的展示方法,其特征在于,包括:
获取AR设备拍摄的包含目标用户的现实场景图像;
识别所述现实场景图像中目标用户的肢体姿态信息;
根据所述目标用户的肢体姿态信息,确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分;
生成将所述目标虚拟组成部分融入现实场景的AR展示数据,并进行展示。
2.根据权利要求1所述的方法,其特征在于,所述肢体姿态信息为门卫的肢体姿态,所述目标虚拟组成部分为建筑物的门。
3.根据权利要求1所述的方法,其特征在于,生成将所述目标虚拟组成部分融入现实场景的AR展示数据,包括:
生成将所述现实场景图像中的目标用户与所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件。
4.根据权利要求1所述的方法,其特征在于,生成将所述目标虚拟组成部分融入现实场景的AR展示数据,包括:
获取与所述目标虚拟组成部分匹配的虚拟对象;
生成将所述现实场景图像中的目标用户、所述虚拟对象、以及所述建筑物的目标虚拟组成部分融合后的AR展示数据;其中,所述目标用户与所述建筑物的目标虚拟组成部分之间的第一相对位置关系满足第一预设条件,所述虚拟对象与所述目标用户之间的第二相对位置关系满足第二预设条件。
5.根据权利要求1所述的方法,其特征在于,所述识别所述现实场景图像中目标用户的肢体姿态信息,包括:
识别所述现实场景图像中所述目标用户与真实物体之间的产生的肢体姿态信息;
所述确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分,包括:
确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
6.根据权利要求5所述的方法,其特征在于,所述确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分,包括:
基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;
基于所述肢体姿态信息,从所述至少一个待筛选的建筑物的虚拟组成部分中筛选出所述建筑物的目标虚拟组成部分。
7.根据权利要求5所述的方法,其特征在于,所述确定与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分,包括:
基于预先设置的多个真实物体与建筑物的虚拟组成部分之间的对应关系,确定与所述真实物体对应的至少一个待筛选的建筑物的虚拟组成部分;
确定所述真实物体与每一个待筛选的建筑物的虚拟组成部分之间的匹配度;
将匹配度满足预设条件的建筑物的虚拟组成部分作为与所述肢体姿态信息和所述真实物体相匹配的建筑物的目标虚拟组成部分。
8.一种虚拟建筑物的展示装置,其特征在于,包括:
获取模块,用于获取AR设备拍摄的包含目标用户的现实场景图像;
识别模块,用于识别所述现实场景图像中目标用户的肢体姿态信息;
确定模块,用于根据所述目标用户的肢体姿态信息,确定与该肢体姿态信息匹配的建筑物的目标虚拟组成部分;
展示模块,用于生成将所述目标虚拟组成部分融入现实场景的AR展示数据,并进行展示。
9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的虚拟建筑物的展示方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的虚拟建筑物的展示方法的步骤。
CN202010505847.0A 2020-06-05 2020-06-05 一种虚拟建筑物的展示方法及装置 Pending CN111640185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010505847.0A CN111640185A (zh) 2020-06-05 2020-06-05 一种虚拟建筑物的展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010505847.0A CN111640185A (zh) 2020-06-05 2020-06-05 一种虚拟建筑物的展示方法及装置

Publications (1)

Publication Number Publication Date
CN111640185A true CN111640185A (zh) 2020-09-08

Family

ID=72331742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010505847.0A Pending CN111640185A (zh) 2020-06-05 2020-06-05 一种虚拟建筑物的展示方法及装置

Country Status (1)

Country Link
CN (1) CN111640185A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824993A (zh) * 2021-09-24 2021-12-21 北京市商汤科技开发有限公司 一种视频处理的方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097435A (zh) * 2016-06-07 2016-11-09 北京圣威特科技有限公司 一种增强现实拍摄系统及方法
CN107728782A (zh) * 2017-09-21 2018-02-23 广州数娱信息科技有限公司 交互方法及交互系统、服务器
CN108519817A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 基于增强现实的交互方法、装置、存储介质及电子设备
CN109636918A (zh) * 2018-11-20 2019-04-16 上海玄彩美科网络科技有限公司 一种ar显示的方法和设备
CN111026261A (zh) * 2018-10-09 2020-04-17 上海奈飒翱网络科技有限公司 一种旅游景点ar互动展示的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097435A (zh) * 2016-06-07 2016-11-09 北京圣威特科技有限公司 一种增强现实拍摄系统及方法
CN107728782A (zh) * 2017-09-21 2018-02-23 广州数娱信息科技有限公司 交互方法及交互系统、服务器
CN108519817A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 基于增强现实的交互方法、装置、存储介质及电子设备
CN111026261A (zh) * 2018-10-09 2020-04-17 上海奈飒翱网络科技有限公司 一种旅游景点ar互动展示的方法
CN109636918A (zh) * 2018-11-20 2019-04-16 上海玄彩美科网络科技有限公司 一种ar显示的方法和设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824993A (zh) * 2021-09-24 2021-12-21 北京市商汤科技开发有限公司 一种视频处理的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11587297B2 (en) Virtual content generation
CN107886032B (zh) 终端设备、智能手机、基于脸部识别的认证方法和系统
CN111680562A (zh) 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
EP3811337A1 (en) System for predicting articulated object feature location
CN111401318B (zh) 动作识别方法及装置
CN111259751A (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
CN111638797A (zh) 一种展示控制方法及装置
CN111240482A (zh) 一种特效展示方法及装置
CN108153421B (zh) 体感交互方法、装置及计算机可读存储介质
CN114402369A (zh) 人体姿态的识别方法、装置、存储介质及电子设备
CN112150349A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN111652983A (zh) 一种增强现实ar特效生成方法、装置及设备
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN111639613A (zh) 一种增强现实ar特效生成方法、装置及电子设备
Jiang et al. independent hand gesture recognition with Kinect
CN112991555B (zh) 数据展示方法、装置、设备以及存储介质
CN111639615A (zh) 一种虚拟建筑物的触发控制方法及装置
CN111640185A (zh) 一种虚拟建筑物的展示方法及装置
CN111638794A (zh) 一种虚拟文物的显示控制方法及装置
CN115061577B (zh) 手部投影交互方法、系统及存储介质
CN111651054A (zh) 音效控制方法、装置、电子设备及存储介质
CN111638792A (zh) Ar效果的呈现方法、装置、计算机设备及存储介质
CN111640183A (zh) 一种ar数据展示控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination