CN111694430A - 一种ar场景画面呈现方法、装置、电子设备和存储介质 - Google Patents

一种ar场景画面呈现方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111694430A
CN111694430A CN202010525135.5A CN202010525135A CN111694430A CN 111694430 A CN111694430 A CN 111694430A CN 202010525135 A CN202010525135 A CN 202010525135A CN 111694430 A CN111694430 A CN 111694430A
Authority
CN
China
Prior art keywords
scene
information
determining
pose information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010525135.5A
Other languages
English (en)
Inventor
潘思霁
揭志伟
李炳泽
张一�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202010525135.5A priority Critical patent/CN111694430A/zh
Publication of CN111694430A publication Critical patent/CN111694430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种AR场景画面呈现方法、装置、电子设备和存储介质,其中,该方法包括:获取增强现实AR设备拍摄的目标游乐场所的场景图像;基于所述场景图像,以及所述目标游乐场所对应的三维模型,确定所述AR设备的位姿信息;基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容;所述AR场景内容中包含融入现实场景的虚拟游乐设施信息;控制所述AR设备展示所述AR场景内容,通过上述方法,可以丰富游乐场所包含的游乐项目,并且上述展示方法可以更好地匹配现实场景,提高AR场景内容在现实场景中的融入性。

Description

一种AR场景画面呈现方法、装置、电子设备和存储介质
技术领域
本公开涉及AR技术领域,具体而言,涉及一种AR场景画面呈现方法、装置、电子设备和存储介质。
背景技术
随着人们生活水平的提升,以及开发的游乐项目越来越多,用户在游玩时想要体验的游乐项目也随之增加,但是对于实体游乐场地而言,很难将所有的游乐项目都包括进来,并且,某些游乐项目是独有的,并不能被其他实体游乐场地所复制,因此用户在一个实体游乐场地体验到游乐项目是有限的,并且实体游乐项目的设施成本较高。
近年来,随着增强现实(Augmented Reality,AR)技术的发展,AR技术的应用范围也越来越广,如何将AR技术融入到游乐园,增加游乐园的项目内容是值得研究的问题。
发明内容
本公开实施例至少提供一种AR场景画面呈现方法、装置、电子设备和存储介质。
第一方面,本公开实施例提供了一种AR场景画面呈现方法,所述方法包括:
获取增强现实AR设备拍摄的目标游乐场所的场景图像;
基于所述场景图像,以及所述目标游乐场所对应的三维模型,确定所述AR设备的位姿信息;
基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容;所述AR场景内容中包含融入现实场景的虚拟游乐设施信息;
控制所述AR设备展示所述AR场景内容。
本公开实施例中,获取到AR设备拍摄到的目标游乐场所的场景图像,然后基于该场景图像和目标游乐场所对应的三维模型确定AR设备的位姿信息,由于不同的位姿信息对应的不同的AR场景内容,因此可以根据该位姿信息确定处于该位姿信息相匹配的AR场景内容,然后控制AR设备展示该AR场景内容,通过上述方法,用户可以通过控制AR设备的位姿来获取到不同的AR场景内容,从而使AR设备展示不同的虚拟游乐设施信息,进而可以使用户看到不同的游乐项目,进一步地,对于一个游乐场所,用户可以通过改变AR设备的位姿来观看到不同的游乐项目,从而使得用户可以在一个游乐场所体验到多种游乐项目,进而丰富了游乐场所包含的游乐项目,降低了设施成本,并且上述展示方法可以更好地匹配现实场景,提高AR场景内容在现实场景中的融入性。
在一种可能的实施方式中,基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容,包括:
基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息;
基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容。
在本公开实施例中,由于不同的场景图像中包括不同的场景属性特征,通过上述方法确定出来的虚拟游乐设施信息更加多样,从而丰富了AR场景内容对应的游乐项目。
在一种可能的实施方式中,基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容,包括:
基于确定的所述AR设备的位置和朝向,确定所述AR设备的拍摄范围信息;以及基于所述三维模型以及所述虚拟游乐设施信息,生成AR场景数据;
基于所述拍摄范围信息,以及所述AR场景数据,从所述AR场景数据中确定落入所述AR设备的拍摄范围内的AR场景内容,将该AR场景内容作为与所述位姿信息匹配的AR场景内容。
在一种可能的实施方式中,基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息,包括:
基于所述场景图像对应的场景属性特征,以及不同的场景属性特征匹配的不同的虚拟游乐设施信息,确定与所述场景图像匹配的虚拟游乐设施信息。
在一种可能的实施方式中,所述场景属性特征包括实体门或实体窗的属性特征。
在一种可能的实施方式中,所述方法还包括:
获取使用全景摄像机拍摄的所述目标游乐场所的多张实景图像;
基于所述多张实景图像,以及预先标定的所述目标游乐场所内的多个目标实体对象的尺寸大小或不同目标实体对象之间的尺寸比例,构建所述目标游乐场所对应的所述三维模型。
在本公开实施例中,由于全景摄像机拍摄的所述目标游乐场所的多张实景图像存在失真现象,导致从不同角度拍摄到的游乐场所内各个不同实体之间的尺寸比例与真实尺寸比例相比存在误差(比如两个正方体在真实世界中尺寸比例是1:2,拍出图像来在图形里尺寸比例是1:1),导致出现失真现象,为了克服上述问题,可以预先标定的目标游乐场所内的多个目标实体对象的尺寸大小或不同目标实体对象之间的尺寸比例,在基于多张实景图像构建目标游乐场所对应的三维模型时,可以以预先标定的目标游乐场所内的多个目标实体对象的尺寸大小为基准进行构建,保证不同实体对象之间的尺寸比例与真实世界一致,从而使得构建出来的三维模型还原度高。
在一种可能的实施方式中,所述AR设备包括:
手持式AR设备和可穿戴式AR设备。
第二方面,本公开实施例提供了一种AR场景画面呈现装置,所述装置包括:
获取单元,用于获取增强现实AR设备拍摄的目标游乐场所的场景图像;
确定单元,用于基于所述场景图像,以及所述目标游乐场所对应的三维模型,确定所述AR设备的位姿信息;
匹配单元,用于基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容;所述AR场景内容中包含融入现实场景的虚拟游乐设施信息;
展示单元,用于控制所述AR设备展示所述AR场景内容。
在一种可能的实施方式中,所述确定单元的配置在用于基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容时,包括:
基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息;
基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容。
在一种可能的实施方式中,所述确定单元的配置在用于基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容时,包括:
基于确定的所述AR设备的位置和朝向,确定所述AR设备的拍摄范围信息;以及基于所述三维模型以及所述虚拟游乐设施信息,生成AR场景数据;
基于所述拍摄范围信息,以及所述AR场景数据,从所述AR场景数据中确定落入所述AR设备的拍摄范围内的AR场景内容,将该AR场景内容作为与所述位姿信息匹配的AR场景内容。
在一种可能的实施方式中,所述确定单元的配置在用于基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息时,包括:
基于所述场景图像对应的场景属性特征,以及不同的场景属性特征匹配的不同的虚拟游乐设施信息,确定与所述场景图像匹配的虚拟游乐设施信息。
在一种可能的实施方式中,所述场景属性特征包括实体门或实体窗的属性特征。
在一种可能的实施方式中,所述获取单元,还用于:获取使用全景摄像机拍摄的所述目标游乐场所的多张实景图像;以及,基于所述多张实景图像,以及预先标定的所述目标游乐场所内的多个目标实体对象的尺寸大小或不同目标实体对象之间的尺寸比例,构建所述目标游乐场所对应的所述三维模型。
在一种可能的实施方式中,所述AR设备包括:
手持式AR设备和可穿戴式AR设备。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的AR场景画面呈现方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的AR场景画面呈现方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本公开实施例提供的一种AR场景画面呈现方法的流程示意图;
图2为本公开实施例提供的另一种AR场景画面呈现方法的流程示意图;
图3为本公开实施例提供的另一种AR场景画面呈现方法的流程示意图;
图4为本公开实施例提供的另一种AR场景画面呈现方法的流程示意图;
图5为本公开实施例提供的一种AR场景画面呈现装置的结构示意图;
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现,AR技术能够给用户带来更加生动形象的体验,并且将AR技术和游乐场所结合起来后,可以在一个游乐场所内为用户展示不同的AR特效,不仅可以使游乐场所为用户带来比较丰富的游乐体验项目,提高用户游玩时的体验,还有利于降低游乐场所的建造成本,同时还可以更好地匹配现实场景,提高AR场景内容在现实场景中的融入性。
基于上述研究,本公开实施例提供了一种AR场景画面呈现方法、装置、电子设备和存储介质,在获取到AR设备拍摄到的目标游乐场所的场景图像后,基于该场景图像和目标游乐场所对应的三维模型确定AR设备的位姿信息,由于不同的位姿信息对应的不同的AR场景内容,因此可以根据该位姿信息确定处于该位姿信息相匹配的AR场景内容,然后控制AR设备展示该AR场景内容,通过上述方法,用户可以通过控制AR设备的位姿来获取到不同的AR场景内容,从而使AR设备展示不同的虚拟游乐设施信息,进而可以使用户看到不同的游乐项目,进一步地,对于一个游乐场所,用户可以通过改变AR设备的位姿来观看到不同的游乐项目,从而使得用户可以在一个游乐场所体验到多种游乐项目,进而丰富了游乐场所包含的游乐项目,并且上述展示方法可以更好地匹配现实场景,提高AR场景内容在现实场景中的融入性。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种AR场景画面呈现方法进行详细介绍,本公开实施例所提供的AR场景画面呈现方法的执行主体可以为具有一定计算能力的计算机设备,具体可以为终端设备或服务器或其他处理设备,比如可以是与AR设备连接的服务器,AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,本公开实施例中不作限定,在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图1为本公开实施例提供的一种AR场景画面呈现方法的流程示意图,如图1所示,该方法包括以下步骤:
步骤101、获取增强现实AR设备拍摄的目标游乐场所的场景图像。
步骤102、基于所述场景图像,以及所述目标游乐场所对应的三维模型,确定所述AR设备的位姿信息。
步骤103、基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容;所述AR场景内容中包含融入现实场景的虚拟游乐设施信息。
步骤104、控制所述AR设备展示所述AR场景内容。
具体的,用户在游玩游乐场所时,可以通过AR设备拍摄到游乐场所的场景图像,然后将拍摄到的场景图像发送给服务器,此时服务器将该游乐场所作为目标游乐场所,将该场景图像作为该目标游乐场所的场景图像,并且预先在服务器中建立目标游乐场所的三维模型,由于目标游乐场所的三维模型是基于真实场景建立的,因此通过目标游乐场所的三维模型,可以确定场景图像对应的AR设备的位姿信息,例如:由于AR设备在以不同的位姿进行拍摄时,可以得到不同的场景图像,然后使用拍摄到的场景图像和目标游乐场所的三维模型进行比对,由于目标游乐场所对应的三维模型可以真实还原世界坐标系下各个实景对象的坐标信息,因此基于该场景图像,就可以计算出AR设备拍摄时的位置和朝向角,也即位姿信息。在得到AR设备的位姿信息后,也即可以得到AR设备的拍摄范围,进而得到应该呈现在AR设备拍摄范围内的AR场景内容,然后控制AR设备展示该AR场景内容,由于该AR场景内容中包含融入现实场景的虚拟游乐设施信息,因此用户可以通过AR设备观看到虚拟游乐设施,以供用户体验。
以旋转木马为目标游乐场所为例,用户在通过AR设备拍摄到场景图像,然后将实时拍摄到的场景图像发送给服务器,服务器对每帧场景图像进行识别,在确定出包含旋转木马的场景图像后,从目标游乐场所的三维模型中确定获取与该场景图像匹配的场景内容在世界坐标系下的坐标范围,基于所述坐标范围,通过进行坐标系转换等一系列计算,得到AR设备的位姿信息,然后将该位姿信息作为AR设备的位姿信息,然后基于该位姿信息,确定出与该位姿信息匹配的待呈现的AR场景内容,将融入现实场景的虚拟旋转木马对应的AR场景内容作为与该位姿信息匹配的AR场景内容,然后控制AR设备展示融入现实场景的虚拟旋转木马,此时用户可以观看到虚拟旋转木马,以使用户可以体验游玩旋转木马时的乐趣。
通过上述方法,用户可以通过控制AR设备的位姿来获取到不同的AR场景内容,从而使AR设备展示不同的虚拟游乐设施信息,进而可以使用户看到不同的游乐项目,进一步地,对于一个游乐场所,用户可以通过改变AR设备的位姿来观看到不同的游乐项目,从而使得用户可以在一个游乐场所体验到多种游乐项目,进而丰富了游乐场所包含的游乐项目,并且上述展示方法可以更好地匹配现实场景,提高AR场景内容在现实场景中的融入性。
需要说明的是,可以利用即时定位与地图构建(simultaneous localization andmapping,SLAM)技术,对目标游乐场所进行三维建模,从而得到目标游乐场所对应的三维模型,通过上述方法得到的三维模型可以对AR设备进行高精定位。
在一个可行的实施方案中,图2为本公开实施例提供的另一种AR场景画面呈现方法的流程示意图,如图2所示,在执行步骤103时,可以通过以下步骤实现:
步骤201、基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息。
步骤202、基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容。
具体的,不同的场景图像中包含的场景属性特征是不同的,因此可以对获取的场景图像进行分析,得到场景图像中包含的场景属性特征,然后根据场景属性特征和虚拟游乐设施信息的对应关系,确定当前获取的场景图像中包含的场景属性特征对应的虚拟游乐设施信息,此时可以确定用户当前拍摄到的实体游乐设施,由于不同的位姿下拍摄到的游乐设施的图像是不同的,因此可以基于得到位姿信息、目标游乐场所对应的三维模型和虚拟游乐设施信息,确定与该位姿信息匹配的AR场景内容,例如:以旋转木马为例,当位姿信息为位姿信息1时,确定出来的AR场景内容可以为旋转木马的左侧对应的AR场景内容,在控制AR设备展示该AR场景内容后,用户可以看到虚拟旋转木马左侧对应的虚拟动画,当位姿信息为位姿信息2时,确定出来的AR场景内容可以为旋转木马的右侧对应的AR场景内容,在控制AR设备展示该AR场景内容后,用户可以看到虚拟旋转木马右侧对应的虚拟动画,从而使用户根据AR设备的位姿的变换可以看到不同的AR场景内容,使得用户的代入感更强。
在一个可行的实施方案中,图3为本公开实施例提供的另一种AR场景画面呈现方法的流程示意图,如图3所示,在执行步骤202时,可以通过以下步骤实现:
步骤301、基于确定的所述AR设备的位置和朝向,确定所述AR设备的拍摄范围信息;以及基于所述三维模型以及所述虚拟游乐设施信息,生成AR场景数据。
步骤302、基于所述拍摄范围信息,以及所述AR场景数据,从所述AR场景数据中确定落入所述AR设备的拍摄范围内的AR场景内容,将该AR场景内容作为与所述位姿信息匹配的AR场景内容。
具体的,由于AR设备在不同位姿下对应的位置和朝向是不同的,并且AR设备在不同位置和朝向上,拍摄到的场景图像中包含的游乐设备的范围是不同的,因此可以根据AR设备的位姿信息,可以确定AR设备的位置和朝向,然后确定AR设备的拍摄范围,通过AR设备的拍摄范围可以确定将要向用户展示的AR场景内容的范围,并且,基于目标游乐场所的三维模型和虚拟游乐设施信息,可以确定对应的AR场景数据,即:将要展示的游乐设施,在得到上述两种信息后,然后基于上述得到的拍摄范围信息、AR场景数据,从AR场景数据中确定落入AR设备的拍摄范围内的AR场景内容,将该AR场景内容作为与位姿信息匹配的AR场景内容,此时,用户可以AR设备的位姿的变换可以看到不同的AR场景内容,使得用户的代入感更强。
在一个可行的实施方案中,在执行步骤201时,可以基于所述场景图像对应的场景属性特征,以及不同的场景属性特征匹配的不同的虚拟游乐设施信息,确定与所述场景图像匹配的虚拟游乐设施信息。
具体的,由于不同的场景图像中包括不同的场景属性特征,因此通过场景属性特征来确定与场景图像匹配的虚拟游乐设施信息时,可以得到相对准确的结果。
在一个可行的实施方案中,所述场景属性特征包括实体门或实体窗的属性特征。
具体的,不同的虚拟游乐设施可以对应不同的实体门或实体窗,从而可以通过实体门或实体窗来辨别出对应的虚拟游乐设施,因此在得到场景图像后,对场景图像进行分析,确定该场景图像中包含的实体门或实体窗的属性特征,然后基于该场景图像中包含的实体门或实体窗的属性特征确定出与该场景图像匹配的虚拟游乐设施信息,通过上述方法,有利于使游乐场所包含较多的游乐项目,从而有利于增加用户游玩时的体验。
在一个可行的实施方案中,图4为本公开实施例提供的另一种AR场景画面呈现方法的流程示意图,如图4所示,在构建目标游乐场所对应的三维模型时,可以通过以下步骤实现:
步骤401、获取使用全景摄像机拍摄的所述目标游乐场所的多张实景图像。
步骤402、基于所述多张实景图像,以及预先标定的所述目标游乐场所内的多个目标实体对象的尺寸大小或不同目标实体对象之间的尺寸比例,构建所述目标游乐场所对应的所述三维模型。
具体的,由于全景摄像机拍摄的所述目标游乐场所的多张实景图像存在失真现象,导致从不同角度拍摄到的游乐场所内各个不同实体之间的尺寸比例与真实尺寸比例相比存在误差(比如两个正方体在真实世界中尺寸比例是1:2,拍出图像来在图形里尺寸比例是1:1),导致出现失真现象为了克服上述问题,可以预先标定的目标游乐场所内的多个目标实体对象的尺寸大小或不同目标实体对象之间的尺寸比例,在基于多张实景图像构建目标游乐场所对应的三维模型时,可以以预先标定的目标游乐场所内的多个目标实体对象的尺寸大小为基准进行构建,保证不同实体对象之间的尺寸比例与真实世界一致,从而使得构建出来的三维模型还原度高。
在一个可行的实施方案中,所述AR设备包括:手持式AR设备和可穿戴式AR设备。
需要说明的是,关于具体的AR设备可以根据实际需要进行设定,在此不做具体限定。
图5为本公开实施例提供的一种AR场景画面呈现装置的结构示意图,如图5所示,该装置包括:
获取单元51,用于获取增强现实AR设备拍摄的目标游乐场所的场景图像;
确定单元52,用于基于所述场景图像,以及所述目标游乐场所对应的三维模型,确定所述AR设备的位姿信息;
匹配单元53,用于基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容;所述AR场景内容中包含融入现实场景的虚拟游乐设施信息;
展示单元54,用于控制所述AR设备展示所述AR场景内容。
在一种可能的实施方式中,所述确定单元52的配置在用于基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容时,包括:
基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息;
基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容。
在一种可能的实施方式中,所述确定单元52的配置在用于基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容时,包括:
基于确定的所述AR设备的位置和朝向,确定所述AR设备的拍摄范围信息;以及基于所述三维模型以及所述虚拟游乐设施信息,生成AR场景数据;
基于所述拍摄范围信息,以及所述AR场景数据,从所述AR场景数据中确定落入所述AR设备的拍摄范围内的AR场景内容,将该AR场景内容作为与所述位姿信息匹配的AR场景内容。
在一种可能的实施方式中,所述确定单元52的配置在用于基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息时,包括:
基于所述场景图像对应的场景属性特征,以及不同的场景属性特征匹配的不同的虚拟游乐设施信息,确定与所述场景图像匹配的虚拟游乐设施信息。
在一种可能的实施方式中,所述场景属性特征包括实体门或实体窗的属性特征。
在一种可能的实施方式中,所述获取单元51,还用于:获取使用全景摄像机拍摄的所述目标游乐场所的多张实景图像;以及,用于基于所述多张实景图像,以及预先标定的所述目标游乐场所内的多个目标实体对象的尺寸大小或不同目标实体对象之间的尺寸比例,构建所述目标游乐场所对应的所述三维模型。
在一种可能的实施方式中,所述AR设备包括:
手持式AR设备和可穿戴式AR设备。
对应于图1中的AR场景画面呈现方法,图6为本公开实施例提供的一种电子设备的结构示意图,如图6所示,该电子设备包括:
处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当所述电子设备运行时,所述处理器61与所述存储器62之间通过总线63通信,使得所述处理器61执行以下指令:获取增强现实AR设备拍摄的目标游乐场所的场景图像;基于所述场景图像,以及所述目标游乐场所对应的三维模型,确定所述AR设备的位姿信息;基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容;所述AR场景内容中包含融入现实场景的虚拟游乐设施信息;控制所述AR设备展示所述AR场景内容。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的AR场景画面呈现方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的AR场景画面呈现方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种AR场景画面呈现方法,其特征在于,所述方法包括:
获取增强现实AR设备拍摄的目标游乐场所的场景图像;
基于所述场景图像,以及所述目标游乐场所对应的三维模型,确定所述AR设备的位姿信息;
基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容;所述AR场景内容中包含融入现实场景的虚拟游乐设施信息;
控制所述AR设备展示所述AR场景内容。
2.根据权利要求1所述的方法,其特征在于,基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容,包括:
基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息;
基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容。
3.根据权利要求2所述的方法,其特征在于,基于确定的所述AR设备的位姿信息、所述三维模型、以及所述虚拟游乐设施信息,确定与所述位姿信息匹配的AR场景内容,包括:
基于确定的所述AR设备的位置和朝向,确定所述AR设备的拍摄范围信息;以及基于所述三维模型以及所述虚拟游乐设施信息,生成AR场景数据;
基于所述拍摄范围信息,以及所述AR场景数据,从所述AR场景数据中确定落入所述AR设备的拍摄范围内的AR场景内容,将该AR场景内容作为与所述位姿信息匹配的AR场景内容。
4.根据权利要求2或3所述的方法,其特征在于,基于所述场景图像对应的场景属性特征,确定与所述场景图像匹配的虚拟游乐设施信息,包括:
基于所述场景图像对应的场景属性特征,以及不同的场景属性特征匹配的不同的虚拟游乐设施信息,确定与所述场景图像匹配的虚拟游乐设施信息。
5.根据权利要求4所述的方法,其特征在于,所述场景属性特征包括实体门或实体窗的属性特征。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
获取使用全景摄像机拍摄的所述目标游乐场所的多张实景图像;
基于所述多张实景图像,以及预先标定的所述目标游乐场所内的多个目标实体对象的尺寸大小或不同目标实体对象之间的尺寸比例,构建所述目标游乐场所对应的所述三维模型。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述AR设备包括:
手持式AR设备和可穿戴式AR设备。
8.一种AR场景画面呈现装置,其特征在于,所述装置包括:
获取单元,用于获取增强现实AR设备拍摄的目标游乐场所的场景图像;
确定单元,用于基于所述场景图像,以及所述目标游乐场所对应的三维模型,确定所述AR设备的位姿信息;
匹配单元,用于基于确定的所述AR设备的位姿信息,确定与所述位姿信息匹配的AR场景内容;所述AR场景内容中包含融入现实场景的虚拟游乐设施信息;
展示单元,用于控制所述AR设备展示所述AR场景内容。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的AR场景画面呈现的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的AR场景画面呈现的步骤。
CN202010525135.5A 2020-06-10 2020-06-10 一种ar场景画面呈现方法、装置、电子设备和存储介质 Pending CN111694430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010525135.5A CN111694430A (zh) 2020-06-10 2020-06-10 一种ar场景画面呈现方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010525135.5A CN111694430A (zh) 2020-06-10 2020-06-10 一种ar场景画面呈现方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN111694430A true CN111694430A (zh) 2020-09-22

Family

ID=72480263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010525135.5A Pending CN111694430A (zh) 2020-06-10 2020-06-10 一种ar场景画面呈现方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111694430A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112179331A (zh) * 2020-09-23 2021-01-05 北京市商汤科技开发有限公司 Ar导航的方法、装置、电子设备及存储介质
CN112307363A (zh) * 2020-11-05 2021-02-02 深圳市慧鲤科技有限公司 虚实融合展示方法及装置、电子设备和存储介质
CN112333498A (zh) * 2020-10-30 2021-02-05 深圳市慧鲤科技有限公司 一种展示控制方法、装置、计算机设备及存储介质
CN112598805A (zh) * 2020-12-24 2021-04-02 浙江商汤科技开发有限公司 一种提示信息展示方法、装置、设备及存储介质
CN112802097A (zh) * 2020-12-30 2021-05-14 深圳市慧鲤科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113010936A (zh) * 2021-02-23 2021-06-22 上海巡智科技有限公司 辅助施工方法、设备及可读存储介质
CN113379838A (zh) * 2021-08-16 2021-09-10 贝壳技术有限公司 虚拟现实场景的漫游路径的生成方法和存储介质
CN114153214A (zh) * 2021-12-02 2022-03-08 浙江科顿科技有限公司 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质
CN114529690A (zh) * 2020-10-30 2022-05-24 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN114625468A (zh) * 2022-03-21 2022-06-14 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114661398A (zh) * 2022-03-22 2022-06-24 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质
WO2023216957A1 (zh) * 2022-05-11 2023-11-16 华为技术有限公司 一种目标定位方法、系统和电子设备
CN114661398B (zh) * 2022-03-22 2024-05-17 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102052916A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 一种全景实景立体测量方法
CN106023307A (zh) * 2016-07-12 2016-10-12 深圳市海达唯赢科技有限公司 基于现场环境的快速重建三维模型方法及系统
CN107943286A (zh) * 2017-11-14 2018-04-20 国网山东省电力公司 一种增强漫游沉浸感的方法
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN109865289A (zh) * 2019-01-15 2019-06-11 特斯联(北京)科技有限公司 一种基于增强现实技术的实景环境娱乐系统及其方法
CN110352085A (zh) * 2017-03-06 2019-10-18 环球城市电影有限责任公司 用于游乐园环境中的分层虚拟特征的系统和方法
CN110378990A (zh) * 2019-07-03 2019-10-25 北京悉见科技有限公司 增强现实场景展现方法、装置及存储介质
CN110582334A (zh) * 2017-05-10 2019-12-17 环球城市电影有限责任公司 虚拟现实移动吊舱
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN110858376A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 服务提供方法、设备、系统及存储介质
CN110858134A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102052916A (zh) * 2009-11-04 2011-05-11 沈阳隆惠科技有限公司 一种全景实景立体测量方法
CN106023307A (zh) * 2016-07-12 2016-10-12 深圳市海达唯赢科技有限公司 基于现场环境的快速重建三维模型方法及系统
CN110352085A (zh) * 2017-03-06 2019-10-18 环球城市电影有限责任公司 用于游乐园环境中的分层虚拟特征的系统和方法
CN110582334A (zh) * 2017-05-10 2019-12-17 环球城市电影有限责任公司 虚拟现实移动吊舱
CN107943286A (zh) * 2017-11-14 2018-04-20 国网山东省电力公司 一种增强漫游沉浸感的方法
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN110858376A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 服务提供方法、设备、系统及存储介质
CN110858134A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN109865289A (zh) * 2019-01-15 2019-06-11 特斯联(北京)科技有限公司 一种基于增强现实技术的实景环境娱乐系统及其方法
CN110378990A (zh) * 2019-07-03 2019-10-25 北京悉见科技有限公司 增强现实场景展现方法、装置及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112179331A (zh) * 2020-09-23 2021-01-05 北京市商汤科技开发有限公司 Ar导航的方法、装置、电子设备及存储介质
CN112179331B (zh) * 2020-09-23 2023-01-31 北京市商汤科技开发有限公司 Ar导航的方法、装置、电子设备及存储介质
CN114529690A (zh) * 2020-10-30 2022-05-24 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN112333498A (zh) * 2020-10-30 2021-02-05 深圳市慧鲤科技有限公司 一种展示控制方法、装置、计算机设备及存储介质
CN114529690B (zh) * 2020-10-30 2024-02-27 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN112307363A (zh) * 2020-11-05 2021-02-02 深圳市慧鲤科技有限公司 虚实融合展示方法及装置、电子设备和存储介质
CN112598805A (zh) * 2020-12-24 2021-04-02 浙江商汤科技开发有限公司 一种提示信息展示方法、装置、设备及存储介质
CN112802097A (zh) * 2020-12-30 2021-05-14 深圳市慧鲤科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113010936A (zh) * 2021-02-23 2021-06-22 上海巡智科技有限公司 辅助施工方法、设备及可读存储介质
CN113379838A (zh) * 2021-08-16 2021-09-10 贝壳技术有限公司 虚拟现实场景的漫游路径的生成方法和存储介质
CN114153214A (zh) * 2021-12-02 2022-03-08 浙江科顿科技有限公司 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质
CN114625468A (zh) * 2022-03-21 2022-06-14 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114625468B (zh) * 2022-03-21 2023-09-22 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114661398A (zh) * 2022-03-22 2022-06-24 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质
CN114661398B (zh) * 2022-03-22 2024-05-17 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质
WO2023216957A1 (zh) * 2022-05-11 2023-11-16 华为技术有限公司 一种目标定位方法、系统和电子设备

Similar Documents

Publication Publication Date Title
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN112348969B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111638793B (zh) 飞行器的展示方法、装置、电子设备及存储介质
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
CN111744202A (zh) 加载虚拟游戏的方法及装置、存储介质、电子装置
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CN112933606B (zh) 游戏场景转换方法及装置、存储介质、计算机设备
CN111651057A (zh) 一种数据展示方法、装置、电子设备及存储介质
CN111643900A (zh) 一种展示画面控制方法、装置、电子设备和存储介质
CN111882674A (zh) 虚拟对象的调整方法、装置、电子设备及存储介质
CN111652987A (zh) 一种ar合影图像生成的方法及装置
KR20110110379A (ko) 카메라를 이용한 카드 게임 시스템
CN112637665B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111667588A (zh) 人物图像处理方法、装置、ar设备以及存储介质
CN111744180A (zh) 加载虚拟游戏的方法及装置、存储介质、电子装置
CN111833457A (zh) 图像处理方法、设备及存储介质
CN111862348A (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN112148125A (zh) 一种ar交互状态控制的方法、装置、设备及存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN112882576A (zh) Ar交互方法、装置、电子设备及存储介质
CN108325208A (zh) 应用于游戏领域的增强现实实现方法
CN111651058A (zh) 历史场景的控制展示方法、装置、电子设备及存储介质
CN111599292A (zh) 一种历史场景的呈现方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination