CN111651047B - 一种虚拟物体展示方法、装置、电子设备及存储介质 - Google Patents

一种虚拟物体展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111651047B
CN111651047B CN202010507548.0A CN202010507548A CN111651047B CN 111651047 B CN111651047 B CN 111651047B CN 202010507548 A CN202010507548 A CN 202010507548A CN 111651047 B CN111651047 B CN 111651047B
Authority
CN
China
Prior art keywords
virtual
real scene
box
scene image
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010507548.0A
Other languages
English (en)
Other versions
CN111651047A (zh
Inventor
揭志伟
武明飞
符修源
陈凯彬
李炳泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202010507548.0A priority Critical patent/CN111651047B/zh
Publication of CN111651047A publication Critical patent/CN111651047A/zh
Application granted granted Critical
Publication of CN111651047B publication Critical patent/CN111651047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种虚拟物体展示方法、装置、电子设备及存储介质,其中,该方法包括:获取增强现实AR设备拍摄的现实场景图像;基于现实场景图像,确定虚拟宝箱展示数据,以及,基于现实场景图像,识别用户当前所在的现实场景的目标属性信息;根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与目标属性信息匹配的虚拟宝物类型;响应针对虚拟宝箱的打开触发操作,通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物。本公开在打开虚拟宝箱之后,可以展示与用户当前所在的现实场景相对应的虚拟宝物,便于用户了解特定环境下的展品,整个过程无需人工部署,省时省力。

Description

一种虚拟物体展示方法、装置、电子设备及存储介质
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种虚拟物体展示方法、装置、电子设备及存储介质。
背景技术
为了开展相关活动的需要,策划方经常需要进行一些现场的实物部署,比如在活动现场的不同地方放置宝箱,并在宝箱内放置相关物品。这种现场部署的方式部署成本高、部署效率低。
发明内容
本公开实施例至少提供一种虚拟物体展示方案,可以展示与用户当前所处的现实场景相匹配的虚拟宝物,无需人工部署,省时省力。
主要包括以下几个方面:
第一方面,本公开实施例提供了一种虚拟物体展示方法,所述方法包括:
获取增强现实AR设备拍摄的现实场景图像;
基于所述现实场景图像,确定虚拟宝箱展示数据,以便AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,以及,基于所述现实场景图像,识别用户当前所在的现实场景的目标属性信息;
根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与所述目标属性信息匹配的虚拟宝物类型;
响应针对所述虚拟宝箱的打开触发操作,通过AR设备展示所述虚拟宝箱内的、与所述虚拟宝物类型匹配的虚拟宝物。
在一种实施方式中,所述基于所述现实场景图像,确定虚拟宝箱展示数据,包括:
根据所述现实场景图像,确定是否需要在当前的现实场景中展示虚拟宝箱,若需要展示虚拟宝箱,确定虚拟宝箱在当前的现实场景中的展示位置信息。
在一种实施方式中,所述AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,包括:
根据确定的所述虚拟宝箱在当前的现实场景中的展示位置信息、所述虚拟宝箱、以及所述现实场景图像,生成AR场景图像;所述AR场景图像中融入有现实场景的虚拟宝箱。
在一种实施方式中,所述基于所述现实场景图像,识别用户当前所在的现实场景的目标属性信息,包括:
基于训练的属性特征提取网络,对所述现实场景图像进行特征提取,确定所述目标属性信息;其中,所述属性特征提取网络为基于标记有属性信息的场景图像样本训练得到的。
在一种实施方式中,所述目标属性信息包括以下信息中的至少一种:
场景对象年代信息、场景对象风格信息、场景对象类型信息。
在一种实施方式中,所述通过AR设备展示所述虚拟宝箱内的、与所述虚拟宝物类型匹配的虚拟宝物之前,还包括:
基于所述虚拟宝物类型,确定与该虚拟宝物类型对应的特效数据;所述特效数据用于渲染打开虚拟宝箱后,所述虚拟宝物出现的场景;
所述通过AR设备展示所述虚拟宝箱内的、与所述虚拟宝物类型匹配的虚拟宝物,包括:
通过AR设备展示所述虚拟宝箱内的、与所述虚拟宝物类型匹配的虚拟宝物,以及与所述虚拟宝物类型对应的特效数据。
第二方面,本公开实施例还提供了一种虚拟物体展示装置,所述装置包括:
获取模块,用于获取增强现实AR设备拍摄的现实场景图像;
识别模块,用于基于所述现实场景图像,确定虚拟宝箱展示数据,以便AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,以及,基于所述现实场景图像,识别用户当前所在的现实场景的目标属性信息;
确定模块,用于根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与所述目标属性信息匹配的虚拟宝物类型;
展示模块,用于响应针对所述虚拟宝箱的打开触发操作,通过AR设备展示所述虚拟宝箱内的、与所述虚拟宝物类型匹配的虚拟宝物。
在一种实施方式中,所述识别模块,用于按照以下步骤确定虚拟宝箱展示数据:
根据所述现实场景图像,确定是否需要在当前的现实场景中展示虚拟宝箱,若需要展示虚拟宝箱,确定虚拟宝箱在当前的现实场景中的展示位置信息。
第三方面,本公开实施例还提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的虚拟物体展示方法的步骤。
第四方面,本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的虚拟物体展示方法的步骤。
采用上述虚拟物体展示方案,在获取到增强现实AR设备拍摄的现实场景图像之后,可以基于现实场景图像,确定虚拟宝箱展示数据,以及,基于现实场景图像,识别用户当前所在的现实场景的目标属性信息,然后根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与目标属性信息匹配的虚拟宝物类型,这样,在响应针对虚拟宝箱的打开触发操作,即可以通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物。上述虚拟物体展示方案所展示的虚拟宝物所对应的虚拟宝物类型是与用户当前所在的现实场景的目标属性信息相匹配的,也即,在打开虚拟宝箱之后,可以展示与用户当前所在的现实场景相对应的虚拟宝物,例如现实场景为唐朝物品展馆,则对应打开的虚拟宝物为唐三彩,从而便于用户了解特定环境下的展品,整个过程无需人工部署,省时省力。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例一所提供的一种虚拟物体展示方法的流程图;
图2(a)示出了本公开一实施例所提供的一种虚拟物体展示方法的应用示意图;
图2(b)示出了本公开一实施例所提供的一种虚拟物体展示方法的应用示意图;
图3示出了本公开实施例二所提供的一种虚拟物体展示装置的示意图;
图4示出了本公开实施例三所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,相关在活动现场的不同地方放置宝箱,并在宝箱内放置相关物品的宝箱部署方案,部署成本高、部署效率低。
基于上述研究,本公开至少提供一种虚拟物体展示方案,可以展示与用户当前所处的现实场景相匹配的虚拟宝物,无需人工部署,省时省力。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种虚拟物体展示方法进行详细介绍,本公开实施例所提供的虚拟物体展示方法的执行主体一般为具有一定计算能力的电子设备,该电子设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备,该可穿戴设备可以是增强现实(Augmented Reality,AR)眼镜、AR头盔等AR设备。在一些可能的实现方式中,该虚拟物体展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为服务器为例对本公开实施例提供的虚拟物体展示方法加以说明。
实施例一
参见图1所示,为本公开实施例提供的虚拟物体展示方法的流程图,方法包括步骤S101~S104,其中:
S101、获取AR设备拍摄的现实场景图像;
S102、基于现实场景图像,确定虚拟宝箱展示数据,以便AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,以及,基于现实场景图像,识别用户当前所在的现实场景的目标属性信息;
S103、根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与目标属性信息匹配的虚拟宝物类型;
S104、响应针对虚拟宝箱的打开触发操作,通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物。
这里,为了便于对本公开实施例提供的虚拟物体展示方法进行理解,首先对该宝箱展示方法的应用场景进行简单说明。本公开实施例提供的虚拟物体展示方法可以应用于博物馆、展览馆、纪念馆等馆区内,这样,用户穿戴AR设备在馆区内浏览的过程中,即可以针对AR设备上所呈现的融入现实场景的虚拟宝箱发起打开触发操作,以通过AR设备展示虚拟宝箱内、与用户当前所在的现实场景所匹配的虚拟宝物,整个过程无需人工部署,省时省力。
其中,有关虚拟宝箱可以是基于通过AR设备内置的AR应用程序进入寻宝页面,并在所进入的当前寻宝页面上发起寻宝触发指令后,在生成的AR场景图像中所呈现的。这里的寻宝触发指令可以是触发寻宝页面上的相关按钮发起的。在发起寻宝触发指令之后,终端设备即可以开启内置的摄像头进行现实场景的拍摄。
基于采集的现实场景图像,可以确定是否存在与现实场景图像对应的虚拟宝箱,这里所确定的与现实场景图像对应的虚拟宝箱可以是根据馆内环境预设设置好的,这样,当摄像头移动到相应的位置之后,即可以基于对包括现实场景图像的分析,确定是否存在与现实场景图像对应的虚拟宝箱。
上述展示的虚拟宝物所对应的虚拟宝物类型可以是与用户当前所在的现实场景的目标属性信息相匹配的,也即,针对不同的现实场景,其所对应的虚拟宝物类型也不同。本公开实施例提供的虚拟物体展示方法可以根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与上述目标属性信息对应的虚拟宝物类型。
本公开实施例中,可以基于对AR设备拍摄的现实场景图像的分析处理,来识别用户当前所处的现实场景的目标属性信息。在具体应用中,可以基于深度学习的方法进行特征提取。
这里,可以基于训练的属性特征提取网络,对现实场景图像进行特征提取,确定目标属性信息。其中,上述属性特征提取网络可以是基于标记有属性信息的场景图像样本训练得到的,在训练得到属性特征提取网络之后,即可以将获取的现实场景图像输入到训练好的属性特征提取网络,以提取出目标属性信息。
上述目标属性信息可以是场景对象年代信息、场景对象风格信息、场景对象类型信息,其中,场景对象年代信息指示的可以是现实场景所属的年代,例如,是80年代场景,还是90年代场景;场景对象风格信息指示的可以是欧式建筑风格童趣风格等;场景对象类型则可以指示的是场景对象的类型信息,例如,如名族服装、古代兵器等。
与目标属性信息类似的是,有关预先存储的现实场景属性信息也可以是上述有关的对象年代信息、场景对象风格信息、场景对象类型信息等信息,相关内容在此不再赘述。这样,即可以基于预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,从中确定出与目标属性信息匹配的虚拟宝物类型。
另外,本公开实施例中,AR设备上所呈现的融入现实场景的虚拟宝箱可以是基于虚拟宝箱展示数据所展示得到的。
在具体应用中,可以根据现实场景图像,确定是否需要在当前的现实场景中展示虚拟宝箱,并能够在确定需要展示虚拟宝箱的情况下,确定虚拟宝箱在当前的现实场景中的展示位置信息。
在确定虚拟宝箱在当前的现实场景中的展示位置信息之后,可以基于该展示位置信息、虚拟宝箱、以及现实场景图像,生成AR场景图像。
本公开实施例中,可以基于世界坐标系与AR场景图像所在图像坐标系的转换关系,将展示位置信息映射到对应的融合位置。这时,在确定与展示位置信息对应的虚拟宝箱的融合位置之后,即可以将现实场景图像、与融合位置处的虚拟宝箱进行融合,从而得到包含虚拟宝箱的AR场景图像,融合后的AR场景图像更具丰富性。
本公开实施例所提供的虚拟物体展示还可以在进行虚拟宝物展示的过程中,结合特效数据进行展示。
这里,首先可以基于虚拟宝物类型,确定与该虚拟宝物类型对应的特效数据,该特效数据可以是在打开虚拟宝箱后,渲染虚拟宝物出现的场景。本公开实施例中的特效数据可以是金子闪闪发光的特效,比如首饰从宝箱内蹦出的动画特效。这样,通过AR设备展示的内容即可以包括虚拟宝物,也可以展示有与虚拟宝物类型对应的特效数据。
其中,不同虚拟宝物类型所对应的特效数据可以不同。以刀剑类虚拟宝物类型为例,其所对应的特效数据可以对应渲染出的是剑出鞘的特效,以陶器类虚拟宝物为例,其所对应的特效数据可以对应渲染出的是从包厢内缓缓升起的特效,还可以是以中心轴进行旋转的特效,本公开实施例可以基于现实场景的不同需求进行不同的特效设置,在此不做具体的限制。
为了便于理解本公开实施例所提供的虚拟物体展示方法,如图2(a)~2(b)所示,接下来可以结合AR设备的展示效果图进行进一步说明。
在基于获取的现实场景图像,确定存在与现实场景图像对应的虚拟宝箱展示数据之后,可以生成包含虚拟宝箱的AR场景图像,如图2(a)所示。与此同时,还可以基于现实场景图像,识别用户当前所在的现实场景的目标属性信息,在确定该目标属性信息所匹配的虚拟宝物类型为金币类虚拟宝物类型的情况下,若虚拟宝箱被触发,宝箱可以打开,从宝箱中弹出与虚拟宝物类型匹配的虚拟宝物(即金币),如图2(b)所示,可见,本公开实施例所呈现的虚拟宝物是与用户所在的现实场景相匹配的,从而便于用户了解特定环境下的展品。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与虚拟物体展示方法对应的虚拟物体展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟物体展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
实施例二
参照图3所示,为本公开实施例提供的一种虚拟物体展示装置的架构示意图,装置包括:获取模块301、识别模块302、确定模块303、展示模块304;其中,
获取模块301,用于获取AR设备拍摄的现实场景图像;
识别模块302,用于基于现实场景图像,确定虚拟宝箱展示数据,以便AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,以及,基于现实场景图像,识别用户当前所在的现实场景的目标属性信息;
确定模块303,用于根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与目标属性信息匹配的虚拟宝物类型;
展示模块304,用于响应针对虚拟宝箱的打开触发操作,通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物。
采用上述虚拟物体展示装置,在获取到增强现实AR设备拍摄的现实场景图像之后,可以基于现实场景图像,确定虚拟宝箱展示数据,以及,基于现实场景图像,识别用户当前所在的现实场景的目标属性信息,然后根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与目标属性信息匹配的虚拟宝物类型,这样,在响应针对虚拟宝箱的打开触发操作,即可以通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物。上述虚拟物体展示方案所展示的虚拟宝物所对应的虚拟宝物类型是与用户当前所在的现实场景的目标属性信息相匹配的,也即,在打开虚拟宝箱之后,可以展示与用户当前所在的现实场景相对应的虚拟宝物,例如现实场景为唐朝物品展馆,则对应打开的虚拟宝物为唐三彩,从而便于用户了解特定环境下的展品,整个过程无需人工部署,省时省力。
在一种实施方式中,识别模块302,用于按照以下步骤确定虚拟宝箱展示数据:
根据现实场景图像,确定是否需要在当前的现实场景中展示虚拟宝箱,若需要展示虚拟宝箱,确定虚拟宝箱在当前的现实场景中的展示位置信息。
在一种实施方式中,识别模块302,用于按照以下步骤基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱:
根据确定的虚拟宝箱在当前的现实场景中的展示位置信息、虚拟宝箱、以及现实场景图像,生成AR场景图像;AR场景图像中融入有现实场景的虚拟宝箱。
在一种实施方式中,识别模块302,用于按照以下步骤基于现实场景图像,识别用户当前所在的现实场景的目标属性信息:
基于训练的属性特征提取网络,对现实场景图像进行特征提取,确定目标属性信息;其中,属性特征提取网络为基于标记有属性信息的场景图像样本训练得到的。
在一种实施方式中,目标属性信息包括以下信息中的至少一种:
场景对象年代信息、场景对象风格信息、场景对象类型信息。
在一种实施方式中,展示模块304,用于按照以下步骤展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物:
通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物之前,基于虚拟宝物类型,确定与该虚拟宝物类型对应的特效数据;特效数据用于渲染打开虚拟宝箱后,虚拟宝物出现的场景;
通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物,以及与虚拟宝物类型对应的特效数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
实施例三
本公开实施例还提供了一种电子设备,如图4所示,为本公开实施例提供的电子设备的结构示意图,包括:处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令,当电子设备运行时,处理器401与存储器402之间通过总线403通信,机器可读指令被处理器401执行时执行如下处理:
获取增强现实AR设备拍摄的现实场景图像;
基于现实场景图像,确定虚拟宝箱展示数据,以便AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,以及,基于现实场景图像,识别用户当前所在的现实场景的目标属性信息;
根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与目标属性信息匹配的虚拟宝物类型;
响应针对虚拟宝箱的打开触发操作,通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物。
在一种实施方式中,上述处理器401执行的指令中,基于现实场景图像,确定虚拟宝箱展示数据,包括:
根据现实场景图像,确定是否需要在当前的现实场景中展示虚拟宝箱,若需要展示虚拟宝箱,确定虚拟宝箱在当前的现实场景中的展示位置信息。
在一种实施方式中,上述处理器401执行的指令中,AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,包括:
根据确定的虚拟宝箱在当前的现实场景中的展示位置信息、虚拟宝箱、以及现实场景图像,生成AR场景图像;AR场景图像中融入有现实场景的虚拟宝箱。
在一种实施方式中,上述处理器401执行的指令中,基于现实场景图像,识别用户当前所在的现实场景的目标属性信息,包括:
基于训练的属性特征提取网络,对现实场景图像进行特征提取,确定目标属性信息;其中,属性特征提取网络为基于标记有属性信息的场景图像样本训练得到的。
在一种实施方式中,目标属性信息包括以下信息中的至少一种:
场景对象年代信息、场景对象风格信息、场景对象类型信息。
在一种实施方式中,通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物之前,上述处理器401执行的指令还包括:
基于虚拟宝物类型,确定与该虚拟宝物类型对应的特效数据;特效数据用于渲染打开虚拟宝箱后,虚拟宝物出现的场景;
上述处理器401执行的指令中,通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物,包括:
通过AR设备展示虚拟宝箱内的、与虚拟宝物类型匹配的虚拟宝物,以及与虚拟宝物类型对应的特效数据。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器401运行时执行上述方法实施例中所述的虚拟物体展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的虚拟物体展示方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的虚拟物体展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种虚拟物体展示方法,其特征在于,所述方法包括:
获取增强现实AR设备拍摄的现实场景图像;
基于所述现实场景图像,确定虚拟宝箱展示数据,以便AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,以及,基于所述现实场景图像,识别用户当前所在的现实场景的目标属性信息;
根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与所述目标属性信息匹配的虚拟宝物类型;
响应针对基于所述现实场景图像确定的所述虚拟宝箱的打开触发操作,通过AR设备展示所述虚拟宝箱内的、与基于所述映射关系确定的所述虚拟宝物类型匹配的虚拟宝物。
2.根据权利要求1所述的方法,其特征在于,所述基于所述现实场景图像,确定虚拟宝箱展示数据,包括:
根据所述现实场景图像,确定是否需要在当前的现实场景中展示虚拟宝箱,若需要展示虚拟宝箱,确定虚拟宝箱在当前的现实场景中的展示位置信息。
3.根据权利要求2所述的方法,其特征在于,所述AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,包括:
根据确定的所述虚拟宝箱在当前的现实场景中的展示位置信息、所述虚拟宝箱、以及所述现实场景图像,生成AR场景图像;所述AR场景图像中融入有现实场景的虚拟宝箱。
4.根据权利要求1~3任一所述的方法,其特征在于,所述基于所述现实场景图像,识别用户当前所在的现实场景的目标属性信息,包括:
基于训练的属性特征提取网络,对所述现实场景图像进行特征提取,确定所述目标属性信息;其中,所述属性特征提取网络为基于标记有属性信息的场景图像样本训练得到的。
5.根据权利要求1~3任一所述的方法,其特征在于,所述目标属性信息包括以下信息中的至少一种:
场景对象年代信息、场景对象风格信息、场景对象类型信息。
6.根据权利要求1所述的方法,其特征在于,所述通过AR设备展示所述虚拟宝箱内的、与所述虚拟宝物类型匹配的虚拟宝物之前,还包括:
基于所述虚拟宝物类型,确定与该虚拟宝物类型对应的特效数据;所述特效数据用于渲染打开虚拟宝箱后,所述虚拟宝物出现的场景;
所述通过AR设备展示所述虚拟宝箱内的、与所述虚拟宝物类型匹配的虚拟宝物,包括:
通过AR设备展示所述虚拟宝箱内的、与所述虚拟宝物类型匹配的虚拟宝物,以及与所述虚拟宝物类型对应的特效数据。
7.一种虚拟物体展示装置,其特征在于,所述装置包括:
获取模块,用于获取增强现实AR设备拍摄的现实场景图像;
识别模块,用于基于所述现实场景图像,确定虚拟宝箱展示数据,以便AR设备基于该虚拟宝箱展示数据展示融入现实场景的虚拟宝箱,以及,基于所述现实场景图像,识别用户当前所在的现实场景的目标属性信息;
确定模块,用于根据预先存储的现实场景属性信息与虚拟宝物类型之间的映射关系,确定与所述目标属性信息匹配的虚拟宝物类型;
展示模块,用于响应针对基于所述现实场景图像确定的所述虚拟宝箱的打开触发操作,通过AR设备展示所述虚拟宝箱内的、与基于所述映射关系确定的所述虚拟宝物类型匹配的虚拟宝物。
8.根据权利要求7所述的装置,其特征在于,所述识别模块,用于按照以下步骤确定虚拟宝箱展示数据:
根据所述现实场景图像,确定是否需要在当前的现实场景中展示虚拟宝箱,若需要展示虚拟宝箱,确定虚拟宝箱在当前的现实场景中的展示位置信息。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的虚拟物体展示方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至6任一所述的虚拟物体展示方法的步骤。
CN202010507548.0A 2020-06-05 2020-06-05 一种虚拟物体展示方法、装置、电子设备及存储介质 Active CN111651047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010507548.0A CN111651047B (zh) 2020-06-05 2020-06-05 一种虚拟物体展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010507548.0A CN111651047B (zh) 2020-06-05 2020-06-05 一种虚拟物体展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111651047A CN111651047A (zh) 2020-09-11
CN111651047B true CN111651047B (zh) 2023-09-19

Family

ID=72352787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010507548.0A Active CN111651047B (zh) 2020-06-05 2020-06-05 一种虚拟物体展示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111651047B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529690B (zh) * 2020-10-30 2024-02-27 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN112365607A (zh) * 2020-11-06 2021-02-12 北京市商汤科技开发有限公司 一种增强现实ar交互的方法、装置、设备及存储介质
CN113034668B (zh) * 2021-03-01 2023-04-07 中科数据(青岛)科技信息有限公司 一种ar辅助的机械模拟操作方法和系统
CN116212361B (zh) * 2021-12-06 2024-04-16 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置
US11748958B2 (en) * 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107390875A (zh) * 2017-07-28 2017-11-24 腾讯科技(上海)有限公司 信息处理方法、装置、终端设备和计算机可读存储介质
KR20180011609A (ko) * 2016-07-25 2018-02-02 옥윤선 Ar 기반의 보물 제공 시스템, 그리고 이를 이용한 현실 보물 제공 방법
CN108537889A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 增强现实模型的调整方法、装置、存储介质和电子设备
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技(深圳)有限公司 增强现实数据处理方法、装置、计算机设备和存储介质
CN109213728A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及系统
CN110286773A (zh) * 2019-07-01 2019-09-27 腾讯科技(深圳)有限公司 基于增强现实的信息提供方法、装置、设备及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110865708A (zh) * 2019-11-14 2020-03-06 杭州网易云音乐科技有限公司 虚拟内容载体的交互方法、介质、装置和计算设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911231B2 (en) * 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US20190019011A1 (en) * 2017-07-16 2019-01-17 Tsunami VR, Inc. Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
US10650597B2 (en) * 2018-02-06 2020-05-12 Servicenow, Inc. Augmented reality assistant
US11120070B2 (en) * 2018-05-21 2021-09-14 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180011609A (ko) * 2016-07-25 2018-02-02 옥윤선 Ar 기반의 보물 제공 시스템, 그리고 이를 이용한 현실 보물 제공 방법
CN109213728A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及系统
CN107390875A (zh) * 2017-07-28 2017-11-24 腾讯科技(上海)有限公司 信息处理方法、装置、终端设备和计算机可读存储介质
CN108537889A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 增强现实模型的调整方法、装置、存储介质和电子设备
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技(深圳)有限公司 增强现实数据处理方法、装置、计算机设备和存储介质
CN110286773A (zh) * 2019-07-01 2019-09-27 腾讯科技(深圳)有限公司 基于增强现实的信息提供方法、装置、设备及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110865708A (zh) * 2019-11-14 2020-03-06 杭州网易云音乐科技有限公司 虚拟内容载体的交互方法、介质、装置和计算设备

Also Published As

Publication number Publication date
CN111651047A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111651047B (zh) 一种虚拟物体展示方法、装置、电子设备及存储介质
CN112348969B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111640171B (zh) 一种历史场景的讲解方法、装置、电子设备及存储介质
CN111638796A (zh) 虚拟对象的展示方法、装置、计算机设备及存储介质
CN111640202B (zh) 一种ar场景特效生成的方法及装置
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN111643900B (zh) 一种展示画面控制方法、装置、电子设备和存储介质
CN105354792B (zh) 一种虚拟眼镜试戴方法及移动终端
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN106354777B (zh) 一种应用于电子终端的搜题方法及装置
CN111638797A (zh) 一种展示控制方法及装置
CN111639979A (zh) 一种游乐项目推荐方法及装置
CN111639613B (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111652971A (zh) 一种显示控制方法及装置
CN111640169A (zh) 历史事件呈现方法、装置、电子设备及存储介质
CN113975788A (zh) 一种入口索引方法、装置、计算机设备及存储介质
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN111651058A (zh) 历史场景的控制展示方法、装置、电子设备及存储介质
CN113497973B (zh) 视频处理方法和装置、计算机可读存储介质及计算机设备
CN106791091A (zh) 图像生成方法、装置和移动终端
CN111651049B (zh) 交互方法、装置、计算机设备及存储介质
CN111665942A (zh) 一种ar特效触发展示方法、装置、电子设备和存储介质
CN113359985A (zh) 数据展示方法、装置、计算机设备以及存储介质
CN114647303A (zh) 互动方法、装置及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant