CN112148125A - 一种ar交互状态控制的方法、装置、设备及存储介质 - Google Patents

一种ar交互状态控制的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112148125A
CN112148125A CN202011010672.2A CN202011010672A CN112148125A CN 112148125 A CN112148125 A CN 112148125A CN 202011010672 A CN202011010672 A CN 202011010672A CN 112148125 A CN112148125 A CN 112148125A
Authority
CN
China
Prior art keywords
target
interaction
equipment
scene
positioning pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011010672.2A
Other languages
English (en)
Inventor
王鼎禄
侯欣如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011010672.2A priority Critical patent/CN112148125A/zh
Publication of CN112148125A publication Critical patent/CN112148125A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

本公开提供了一种AR交互状态控制的方法、装置、设备及存储介质,其中,该方法包括:基于AR设备的定位位姿信息,确定所述AR设备是否位于目标交互区域内;在确定所述AR设备位于目标交互区域内、且获取到交互操作开始指令的情况下,基于所述AR设备的定位位姿信息,通过所述AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景。本公开基于AR设备当前的定位位姿信息进行目标AR交互场景中各个待操作虚拟对象的自动展示,使得操作虚拟对象的过程更加便捷,另外也提升了用户在参与AR交互过程中的体验感。

Description

一种AR交互状态控制的方法、装置、设备及存储介质
技术领域
本公开涉及增强现实(Augmented Reality,AR)技术领域,具体而言,涉及一种AR交互状态控制的方法、装置、设备及存储介质。
背景技术
AR技术作为一种根据实时计算的摄像机影像的位置及角度,在影像上叠加相应的图像、视频、三维(3-Dimensional,3D)模型以实现虚拟世界与现实世界融合的技术,面向用户提供了一种新的交互体验,因而被广泛应用于消费、医疗、游戏等各种技术领域。
目前,在AR场景下进行人机交互时,可以通过操作输入设备,如鼠标、键盘、触摸屏等对AR场景中的虚拟对象进行操控,这种操控方式应用在AR场景下,存在操作便捷性差、交互体验感低的问题。
发明内容
本公开实施例至少提供一种AR交互状态控制的方案。
第一方面,本公开实施例提供了一种AR交互状态控制的方法,所述方法包括:
基于AR设备的定位位姿信息,确定所述AR设备是否位于目标交互区域内;
在确定所述AR设备位于目标交互区域内、且获取到交互操作开始指令的情况下,基于所述AR设备的定位位姿信息,通过所述AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景。
本公开实施例中,可以基于AR设备的定位位姿信息检测到AR设备进入到目标交互区域(如游戏区域)且获取到用户针对AR设备指示的交互操作开始指令的情况下,基于AR设备当前的定位位姿信息进行目标AR交互场景中各个待操作虚拟对象的自动展示,使得操作虚拟对象的过程更加便捷,另外也提升了用户在参与AR交互过程中的体验感。
在一种可能的实施方式中,所述方法还包括:
在基于AR设备的定位位姿信息,确定所述AR设备离开所述目标交互区域之后,通过所述AR设备展示提示是否离开所述目标AR交互场景的第一提示信息;
在确定用户选择离开所述目标AR交互场景后,在所述AR设备中结束展示所述目标AR交互场景。
本公开实施例中,可以在确定AR设备离开所述目标交互区域之后,通过信息提示来确定用户是否选择离开目标AR交互场景,并能够在确定离开该交互场景后,结束场景展示。
在一种可能的实施方式中,所述方法还包括:
在基于所述AR设备的定位位姿信息,确定所述AR设备对应的虚拟相机的拍摄方向未朝向所述目标AR交互场景的情况下,确定所述虚拟相机到所述目标AR交互场景的连线方向和所述虚拟相机的拍摄方向之间的夹角;
在所述夹角大于设定角度阈值的情况下,在所述AR设备中展示提示所述目标AR交互场景的方位的第二提示信息。
本公开实施例,可以通过AR设备的虚拟相机与目标AR交互场景的位置关系,在AR设备上展示提示目标AR交互场景的方位的第二提示信息,例如,可以提示左转45度进入交互场景等相关提示信息,从而可以有效引导用户进入目标AR交互场景中,以便快速进行AR交互过程。
在一种可能的实施方式中,在所述AR设备中展示提示所述目标AR交互场景的方位的第二提示信息,包括:
根据所述目标AR交互场景相对所述虚拟相机的方位,确定所述第二提示信息在屏幕上的目标展示位置;
根据确定的目标展示位置展示所述第二提示信息。
在一种可能的实施方式中,通过所述AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景之后,还包括:
响应针对任一所述待操作虚拟对象的目标操作,在目标AR交互场景中展示所述待操作虚拟对象对应的目标AR特效。
本公开实施例中,可以响应针对待操作虚拟对象的目标操作,展示待操作虚拟对象对应的目标AR特效,从而可以提升待操作虚拟对象在AR交互场景中的展示效果。
在一种可能的实施方式中,根据以下步骤确定所述AR设备的定位位姿信息:
基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定所述AR设备的定位位姿信息。
在一种可能的实施方式中,所述基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定所述AR设备的定位位姿信息,包括:
基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定所述AR设备的初始定位位姿;
基于所述AR设备的初始定位位姿,通过实时定位与地图构建SLAM,确定所述AR设备的实时定位位姿。
本公开实施例可以结合三维场景地图和SLAM实现对AR设备的定位位姿信息的确定,定位的准确性较高,且时延较小。
第二方面,本公开实施例还提供一种AR交互状态控制的装置,所述装置包括:
确定模块,用于基于AR设备的定位位姿信息,确定所述AR设备是否位于目标交互区域内;
展示模块,用于在确定所述AR设备位于目标交互区域内、且获取到交互操作开始指令的情况下,基于所述AR设备的定位位姿信息,通过所述AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景。
第三方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的AR交互状态控制的方法的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被电子设备运行时,所述电子设备执行如第一方面及其各种实施方式任一所述的AR交互状态控制的方法的步骤。
关于上述AR交互状态控制的装置、电子设备、及计算机可读存储介质的效果描述参见上述AR交互状态控制的方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种AR交互状态控制的方法的流程图;
图2示出了本公开实施例所提供的一种AR交互状态控制的应用示意图;
图3示出了本公开实施例所提供的一种AR交互状态控制的应用流程图;
图4示出了本公开实施例所提供的一种AR交互状态控制的装置的示意图;
图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,目前,在AR场景下进行人机交互时,可以通过操作输入设备,如鼠标、键盘、触摸屏等对AR场景中的虚拟对象进行操控,这种操控方式应用在AR场景下,存在操作便捷性差、交互体验感低的问题。
基于上述研究,本公开至少提供了一种AR交互状态控制的方案,通过AR设备的定位位姿实现对展示的AR交互场景中的虚拟对象的自动控制。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种AR交互状态控制的方法进行详细介绍,本公开实施例所提供的AR交互状态控制的方法的执行主体一般为具有一定计算能力的电子设备,该电子设备例如包括:用户终端或服务器或其它处理设备,比如可以是与用户终端连接的服务器,该用户终端可以是平板电脑、智能手机、智能穿戴式设备、AR设备(如AR眼镜、AR头盔等)等具有显示功能和数据处理能力的设备,用户终端可以通过应用程序连接服务器。在一些可能的实现方式中,该AR交互状态控制的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的AR交互状态控制的方法加以说明。
参见图1所示,为本公开实施例提供的AR交互状态控制的方法的流程图,方法包括步骤S101~S102,其中:
S101、基于AR设备的定位位姿信息,确定AR设备是否位于目标交互区域内;
S102、在确定AR设备位于目标交互区域内、且获取到交互操作开始指令的情况下,基于AR设备的定位位姿信息,通过AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景。
上述AR交互状态控制的方法主要可以应用于各种需要进行AR场景交互的场景中,例如,可以应用于AR游戏场景中,实现对AR游戏场景中的虚拟游戏角色的展示/控制等,还可以是应用于AR导航场景中,实现对AR导航场景中的虚拟对象(如路标、地标等)的展示/控制等,还可以是应用于其他各种应用场景中,在此不做具体的限制。考虑到AR游戏的广泛应用,接下来多以AR游戏应用为例进行示例说明。
本公开实施例提供的方法,在通过AR设备展示包含待操作虚拟对象的目标AR交互场景之前,可以先确定AR设备是否位于目标交互区域。在确定位于目标交互区域内的情况下,可以确定是否获取到用户指示的交互操作开始指令。在确定AR设备进入目标交互区域的同时,并获取到交互操作开始指令的情况下,可以通过AR设备展示包含待操作虚拟对象的目标AR交互场景。
在一些实施例中,还可以在确定AR设备位于目标交互区域之后,在AR设备展示提示是否进入目标AR交互场景的提示信息,基于用户选择进入目标AR交互场景的选择操作来确定获取到用户指示的交互操作开始指令。
示例性的,上述有关是否进入目标AR交互场景的提示信息,可以是以弹窗形式呈现在AR设备的屏幕上,这样,通过用户在屏幕上的相关触发操作即可以实现交互操作开始指令的获取。
本公开实施例中,可以基于AR设备的定位位姿信息进行目标AR交互场景中待操作虚拟对象的展示,这主要是考虑到在AR设备所处的位置不同、姿态发生变化的情况下,所能够观察到的真实世界是不同的,而AR交互场景作为一种融合真实世界和虚拟世界的呈现场景,AR设备的位姿将直接影响到AR交互场景的呈现。
其中,上述目标AR交互场景可以是与目标交互区域对应的AR交互场景。本公开实施例中的目标交互区域可以是有一个,也可以有多个,不同的目标交互区域所对应的目标AR交互场景也可以不同。
在一些实施例中,上述目标交互区域与目标AR交互场景之间的对应关系可以是预先设定的。这里以AR游戏场景为例,上述目标交互区域可以对应一个游戏的不同游戏任务,对应的目标AR交互场景则可以是对应不同游戏任务所依赖的AR游戏场景;上述目标交互区域还可以对应不同的游戏,对应的目标AR交互场景则可以是对应不同游戏所依赖的AR游戏场景,除此之外,还可以采用其它设置方式,在此不做具体的限制。
在一些实施例中,在呈现目标AR交互场景的过程中,可以在目标AR交互场景中呈现对应的待操作虚拟对象,这里的待操作虚拟对象可以是虚拟人物、虚拟动物、虚拟物品等,本公开实施例可以结合不同的目标AR交互场景选取不同的待操作虚拟对象,在此不做具体的限制。
在不同的目标AR交互场景下,针对待操作虚拟对象可以预先配置有不同的AR特效包,该特效包可以包括目标AR交互场景下待操作虚拟对象的特效数据,这里的特效数据包括但不限于虚拟人物的动画数据、语音播报数据等。
考虑到本公开实施例提供的方法中可以是基于AR设备的定位位姿信息来确定AR设备是否位于目标交互区域内,而是否位于目标交互区域内的判断结果又是本公开实施例实现AR交互场景控制的关键步骤,基于此,接下来可以首先对AR设备的定位位姿信息的确定进行具体描述。
本公开实施例中,可以基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定AR设备的定位位姿信息。
其中,上述现实场景图像可以是穿戴AR设备的用户在AR场景进行AR体验的过程中,通过AR设备上设置的摄像头拍摄的相关图像。基于拍摄的相关图像,这里一方面可以采用在AR设备进行基于预先构建的三维场景地图确定AR设备的定位位姿信息的本地定位,另一方面,可以采用服务器的远端定位,也即将拍摄的现实场景图像上传至服务器之后,服务器可以基于预先构建的三维场景地图来确定AR设备的定位位姿信息,本公开实施例对此不做具体的限制。
本公开实施例中的三维场景地图可以是基于点云数据构建的高精地图。这里,可以针对一个特定地点收集大量的照片或者视频,例如,包括不同拍摄时间、不同拍摄角度,不同拍摄位置的照片集合,基于收集的照片集合来恢复特定地点的稀疏特征点云,基于恢复的稀疏特征点云即可以构建对应这一特定地点的高精地图。在一些实施例中,可以基于运动重构(Structure from Motion,SFM)这一三维重建技术来具体实现。
这样,在获取到AR设备上传的现实场景图像之后,首先可以提取照片中的特征点,再将现实场景图像与高精地图对应的稀疏特征点云进行匹配,基于匹配结果可以确定AR设备拍摄现实场景图像过程中的位置和姿态。
由此利用上述三维场景地图可以实现对AR设备进行高精度和高准确性的位姿确认。
本公开实施例还可以结合实时定位与地图构建(Simultaneous LocalizationAnd Mapping,SLAM)技术实现AR设备的定位。本公开实施例可以按照如下步骤来实现联合定位:
步骤一、基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定AR设备的初始定位位姿;
步骤二、基于AR设备的初始定位位姿,通过实时定位与地图构建SLAM,确定AR设备的实时定位位姿。
这里,首先可以基于三维场景地图对AR设备进行初始定位位姿的确定,在初始定位位姿的基础上,可以通过SLAM,确定AR设备的实时定位位姿。这里的SLAM可以在AR设备自身定位的基础上建造增量式地图,这样,在AR设备的初始定位位姿确定的情况下,即可以确定设备在空间中运动的位置和方向,从而实现AR设备的实时定位,这样,不仅确保了定位的高精度和高准确度,还降低了定位延迟,达到更高的实时性。
在一些实施例中,在基于SLAM进行实时定位的过程中,还可以每隔一个预设时间间隔(如5秒)结合三维场景地图的高精度定位来进行定位校准,从而进一步提升定位的准确度和精度。
基于上述定位方式确定AR设备的定位位姿信息之后,可以基于定位位姿信息,确定所述AR设备是否位于目标交互区域内。该目标交互区域可以是基于三维场景地图预先设定好的区域,在确定进入AR交互的空间位置范围之后,可以在三维场景地图确定与空间位置范围对应的目标交互区域。
在一些实施例中,可以基于Unity这一引擎工具实现上述有关目标交互区域在三维场景地图中的设置,Unity这一引擎工具提供了一套非常完整的图形化界面,包括文本窗口、输入框、拖动框等等。
这里,可以先通过Unity的图形化界面实现在Unity展示地图中针对目标交互区域的框选设置,然后再利用Unity展示地图与三维场景地图之间的预设映射关系,将框选后的针对目标交互区域映射至三维场景地图上,从而实现目标交互区域在三维场景地图中的设置。
本公开实施例提供的AR交互状态控制的方法不仅可以在AR设备位于目标交互区域内时进行交互场景的展示,还可以在AR设备离开目标交互区域后,结束交互场景的展示。
本公开实施例中,基于上述三维场景地图以及SLAM的定位方式可以实时跟踪到AR设备的定位位姿,这样,在确定AR设备离开目标交互区域之后可以通过AR设备展示提示是否离开目标AR交互场景的第一提示信息,例如,针对AR游戏场景,可以弹出提醒用户是否离开游戏区,结束游戏的提示信息,如图2所示为一种提示信息的展示示意图,这样,在用户选择离开之后即可以在AR设备中结束展示AR游戏场景。
在AR设备离开目标AR交互场景之后,可以直接关闭目标AR交互场景所在的AR画面,也可以将AR设备置于漫游状态,在漫游状态下,AR设备只要再次进入到目标交互区域,即可以被激活。这里,仍以AR游戏场景为例,在设备被激活之后,有关提醒用户离开游戏区的弹窗提示可以消失,如图2所示为对应的示意图,与此同时,可以重新弹出开始进行游戏的提醒。在一些实施例中,在激活之前,本公开实施例可以自动降低AR设备的亮度等来节省设备电量。
考虑到用户穿戴AR设备进行AR体验的过程中,AR设备的行程轨迹多变,可能无法及时准确地进入目标交互区域对应的目标AR交互场景的情形。在这种情形下,及时的提醒用户进入目标AR场景显的格外重要。本公开实施例中可以按照如下步骤进行提醒:
步骤一、在基于AR设备的定位位姿信息,确定AR设备对应的虚拟相机的拍摄方向未朝向目标AR交互场景的情况下,确定虚拟相机到目标AR交互场景的连线方向和虚拟相机的拍摄方向之间的夹角;
步骤二、在夹角大于设定角度阈值的情况下,在AR设备中展示提示目标AR交互场景的方位的第二提示信息。
这里,可以基于AR设备实时的定位位姿确定AR设备对应的虚拟相机的拍摄方向是否朝向目标AR交互场景,这里,可以是在虚拟相机的拍摄范围包含目标AR交互场景的情况下,确定朝向了目标AR交互场景,反之,若拍摄范围未包含目标AR交互场景的情况下,可以确定未朝向目标AR交互场景。
在确定AR设备对应的拍摄方向未朝向目标AR交互场景的情况下,可以确定虚拟相机到目标AR交互场景的连线方向和虚拟相机的拍摄方向之间的夹角是否大于设定角度阈值,在夹角大于设定角度阈值的情况下,一定程度上说明用户未处于进入目标AR交互场景的正确方位,因而可以基于目标AR交互场景的方位的相关提示信息来帮助用户更快的进入AR交互场景进行AR体验。
其中,上述设定角度阈值不宜过大,也不宜过小,过大的设定角度阈值将可能导致用户仍需较长时间才能够进入AR交互场景,降低AR体验,过小的设定角度阈值,将可能降低用户在AR体验过程中的搜寻乐趣,例如,针对寻宝类游戏而言,如果在较小的设定角度阈值下即提醒用户进入相应的寻宝区,这将导致寻宝的乐趣大大降低,示例性的,可以设置20°作为设定角度阈值。
本公开实施例中可以根据目标AR交互场景相对虚拟相机的方位,确定第二提示信息在屏幕上的目标展示位置,并根据确定的目标展示位置展示第二提示信息。
这里,仍以AR游戏场景为例,当前展示的AR画面可以是虚拟相机正对的画面,若目标交互区域分别位于虚拟相机的左侧和右侧的情况下,可以在对应的目标展示位置弹窗显示第二提示信息,如图2所示的“游戏区在这边”这一提示内容所示。
本公开实施例中,在虚拟相机到目标AR交互场景的连线方向和虚拟相机的拍摄方向之间的夹角小于设定角度阈值的情况下,可以通过AR设备播放待操作虚拟对象在目标AR交互场景中对应的目标AR特效,例如,可以是针对怪兽这一虚拟对象的喷火特效等。
为了进一步理解本公开实施例提供的方法,这里,可以以AR游戏场景为例,结合图3对上述有关AR交互场景的状态控制过程进行整体描述。
如图3所示,在弹出离开游戏区提醒之后,AR设备的屏幕中的其它UI不可以进行交互,也即,AR设备当前展示的UI界面中提供的各个交互选项在离开交互区域之后被触发,则无法被响应。
除此之外,当前的AR设备与其它AR设备也无法进行交互,例如,当前的AR设备对应控制AR游戏场景中的一个虚拟对象,其它AR设备对应控制该AR游戏场景中的一个虚拟对象,在当前的AR设备离开之后,两个虚拟对象之间也无法进行交互。
在用户点击确认离开按钮之后,可确定用户选择离开AR游戏场景,这时,可以结束当前游戏,并可以隐藏对应的游戏素材,若用户再次回到游戏区,则可以隐藏离开游戏区提醒并继续游戏。
不管AR设备是否位于目标交互区域,本公开实施例均可以实时判断AR设备的虚拟相机的方向与游戏区的中心水平方向之间的夹角(对应虚拟相机到目标AR交互场景的连线方向和虚拟相机的拍摄方向之间的夹角)是否大于20°,若是,则可以显示对应场景所在方向的提醒,例如,在上述夹角达到90°的情况下,可以如图2中的向右指向箭头(→)进行提醒。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与AR交互状态控制的方法对应的AR交互状态控制的装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR交互状态控制的方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种AR交互状态控制的装置的示意图,该装置包括:确定模块401和展示模块402;其中,
确定模块401,用于基于AR设备的定位位姿信息,确定AR设备是否位于目标交互区域内;
展示模块402,用于在确定AR设备位于目标交互区域内、且获取到交互操作开始指令的情况下,基于AR设备的定位位姿信息,通过AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景。
本公开实施例中,在基于AR设备的定位位姿信息检测到AR设备进入到目标交互区域(如游戏区域)且获取到用户针对AR设备指示的交互操作开始指令的情况下,基于AR设备当前的定位位姿信息进行目标AR交互场景中各个待操作虚拟对象的自动展示,使得操作虚拟对象的过程更加便捷,另外也提升了用户在参与AR交互过程中的体验感。
在一种可能的实施方式中,装置还包括:
第一提示模块403,用于在基于AR设备的定位位姿信息,确定AR设备离开目标交互区域之后,通过AR设备展示提示是否离开目标AR交互场景的第一提示信息;在确定用户选择离开目标AR交互场景后,在AR设备中结束展示目标AR交互场景。
在一种可能的实施方式中,装置还包括:
第二提示模块404,用于在基于AR设备的定位位姿信息,确定AR设备对应的虚拟相机的拍摄方向未朝向目标AR交互场景的情况下,确定虚拟相机到目标AR交互场景的连线方向和虚拟相机的拍摄方向之间的夹角;在夹角大于设定角度阈值的情况下,在AR设备中展示提示目标AR交互场景的方位的第二提示信息。
在一种可能的实施方式中,第二提示模块404,用于按照以下步骤在AR设备中展示提示目标AR交互场景的方位的第二提示信息:
根据目标AR交互场景相对虚拟相机的方位,确定第二提示信息在屏幕上的目标展示位置;
根据确定的目标展示位置展示第二提示信息。
在一种可能的实施方式中,展示模块402,还用于:
通过AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景之后,响应针对任一待操作虚拟对象的目标操作,在目标AR交互场景中展示待操作虚拟对象对应的目标AR特效。
在一种可能的实施方式中,确定模块401,用于根据以下步骤确定AR设备的定位位姿信息:
基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定AR设备的定位位姿信息。
在一种可能的实施方式中,确定模块401,用于根据以下步骤基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定AR设备的定位位姿信息:
基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定AR设备的初始定位位姿;
基于AR设备的初始定位位姿,通过实时定位与地图构建SLAM,确定AR设备的实时定位位姿。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种电子设备,如图5所示,为本公开实施例提供的电子设备结构示意图,包括:处理器501、存储器502、和总线503。存储器502存储有处理器501可执行的机器可读指令(比如,图4中的AR交互状态控制的装置中确定模块401、展示模块402对应的执行指令等),当电子设备运行时,处理器501与存储器502之间通过总线503通信,机器可读指令被处理器501执行时执行如下处理:
基于AR设备的定位位姿信息,确定AR设备是否位于目标交互区域内;
在确定AR设备位于目标交互区域内、且获取到交互操作开始指令的情况下,基于AR设备的定位位姿信息,通过AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景。
在一种可能的实施方式中,上述处理器501执行的指令还包括:
在基于AR设备的定位位姿信息,确定AR设备离开目标交互区域之后,通过AR设备展示提示是否离开目标AR交互场景的第一提示信息;
在确定用户选择离开目标AR交互场景后,在AR设备中结束展示目标AR交互场景。
在一种可能的实施方式中,上述处理器501执行的指令还包括:
在基于AR设备的定位位姿信息,确定AR设备对应的虚拟相机的拍摄方向未朝向目标AR交互场景的情况下,确定虚拟相机到目标AR交互场景的连线方向和虚拟相机的拍摄方向之间的夹角;
在夹角大于设定角度阈值的情况下,在AR设备中展示提示目标AR交互场景的方位的第二提示信息。
在一种可能的实施方式中,上述处理器501执行的指令中,在AR设备中展示提示目标AR交互场景的方位的第二提示信息,包括:
根据目标AR交互场景相对虚拟相机的方位,确定第二提示信息在屏幕上的目标展示位置;
根据确定的目标展示位置展示第二提示信息。
在一种可能的实施方式中,通过AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景之后,上述处理器501执行的指令还包括:
响应针对任一待操作虚拟对象的目标操作,在目标AR交互场景中展示待操作虚拟对象对应的目标AR特效。
在一种可能的实施方式中,上述处理器501执行的指令中,根据以下步骤确定AR设备的定位位姿信息:
基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定AR设备的定位位姿信息。
在一种可能的实施方式中,上述处理器501执行的指令中,基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定AR设备的定位位姿信息,包括:
基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定AR设备的初始定位位姿;
基于AR设备的初始定位位姿,通过实时定位与地图构建SLAM,确定AR设备的实时定位位姿。
上述指令的具体执行过程可以参考本公开实施例中所述的AR交互状态控制的方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例一中所述的AR交互状态控制的方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例一所提供的AR交互状态控制的方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例一中所述的AR交互状态控制的方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种增强现实AR交互状态控制的方法,其特征在于,所述方法包括:
基于AR设备的定位位姿信息,确定所述AR设备是否位于目标交互区域内;
在确定所述AR设备位于目标交互区域内、且获取到交互操作开始指令的情况下,基于所述AR设备的定位位姿信息,通过所述AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在基于AR设备的定位位姿信息,确定所述AR设备离开所述目标交互区域之后,通过所述AR设备展示提示是否离开所述目标AR交互场景的第一提示信息;
在确定用户选择离开所述目标AR交互场景后,在所述AR设备中结束展示所述目标AR交互场景。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在基于所述AR设备的定位位姿信息,确定所述AR设备对应的虚拟相机的拍摄方向未朝向所述目标AR交互场景的情况下,确定所述虚拟相机到所述目标AR交互场景的连线方向和所述虚拟相机的拍摄方向之间的夹角;
在所述夹角大于设定角度阈值的情况下,在所述AR设备中展示提示所述目标AR交互场景的方位的第二提示信息。
4.根据权利要求3所述的方法,其特征在于,在所述AR设备中展示提示所述目标AR交互场景的方位的第二提示信息,包括:
根据所述目标AR交互场景相对所述虚拟相机的方位,确定所述第二提示信息在屏幕上的目标展示位置;
根据确定的目标展示位置展示所述第二提示信息。
5.根据权利要求1~4任一所述的方法,其特征在于,通过所述AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景之后,还包括:
响应针对任一所述待操作虚拟对象的目标操作,在目标AR交互场景中展示所述待操作虚拟对象对应的目标AR特效。
6.根据权利要求1~5任一所述的方法,其特征在于,根据以下步骤确定所述AR设备的定位位姿信息:
基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定所述AR设备的定位位姿信息。
7.根据权利要求6所述的方法,其特征在于,所述基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定所述AR设备的定位位姿信息,包括:
基于AR设备拍摄的现实场景图像,以及预先构建的三维场景地图,确定所述AR设备的初始定位位姿;
基于所述AR设备的初始定位位姿,通过实时定位与地图构建SLAM,确定所述AR设备的实时定位位姿。
8.一种增强现实AR交互状态控制的装置,其特征在于,所述装置包括:
确定模块,用于基于AR设备的定位位姿信息,确定所述AR设备是否位于目标交互区域内;
展示模块,用于在确定所述AR设备位于目标交互区域内、且获取到交互操作开始指令的情况下,基于所述AR设备的定位位姿信息,通过所述AR设备展示包含至少一个待操作虚拟对象的目标AR交互场景。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的增强现实AR交互状态控制的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被电子设备运行时,所述电子设备执行如权利要求1至7任一所述的增强现实AR交互状态控制的方法的步骤。
CN202011010672.2A 2020-09-23 2020-09-23 一种ar交互状态控制的方法、装置、设备及存储介质 Pending CN112148125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011010672.2A CN112148125A (zh) 2020-09-23 2020-09-23 一种ar交互状态控制的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011010672.2A CN112148125A (zh) 2020-09-23 2020-09-23 一种ar交互状态控制的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112148125A true CN112148125A (zh) 2020-12-29

Family

ID=73896236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011010672.2A Pending CN112148125A (zh) 2020-09-23 2020-09-23 一种ar交互状态控制的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112148125A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884909A (zh) * 2021-02-23 2021-06-01 浙江商汤科技开发有限公司 Ar特效的显示方法、装置、计算机设备及存储介质
WO2022048428A1 (zh) * 2020-09-07 2022-03-10 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
CN114564106A (zh) * 2022-02-25 2022-05-31 北京字跳网络技术有限公司 交互指示线的确定方法、装置、电子设备及存储介质
CN115193038A (zh) * 2022-07-26 2022-10-18 北京字跳网络技术有限公司 一种交互控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190236843A1 (en) * 2018-01-30 2019-08-01 Disney Enterprises, Inc. Real physical objects interacting with augmented reality features
CN111569414A (zh) * 2020-06-08 2020-08-25 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111679742A (zh) * 2020-06-10 2020-09-18 浙江商汤科技开发有限公司 基于ar的交互控制方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190236843A1 (en) * 2018-01-30 2019-08-01 Disney Enterprises, Inc. Real physical objects interacting with augmented reality features
CN111569414A (zh) * 2020-06-08 2020-08-25 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111679742A (zh) * 2020-06-10 2020-09-18 浙江商汤科技开发有限公司 基于ar的交互控制方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048428A1 (zh) * 2020-09-07 2022-03-10 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
US11869195B2 (en) 2020-09-07 2024-01-09 Beijing Bytedance Network Technology Co., Ltd. Target object controlling method, apparatus, electronic device, and storage medium
CN112884909A (zh) * 2021-02-23 2021-06-01 浙江商汤科技开发有限公司 Ar特效的显示方法、装置、计算机设备及存储介质
CN114564106A (zh) * 2022-02-25 2022-05-31 北京字跳网络技术有限公司 交互指示线的确定方法、装置、电子设备及存储介质
CN114564106B (zh) * 2022-02-25 2023-11-28 北京字跳网络技术有限公司 交互指示线的确定方法、装置、电子设备及存储介质
CN115193038A (zh) * 2022-07-26 2022-10-18 北京字跳网络技术有限公司 一种交互控制方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20210125414A1 (en) Systems and methods for virtual and augmented reality
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
CN112148125A (zh) 一种ar交互状态控制的方法、装置、设备及存储介质
US11615592B2 (en) Side-by-side character animation from realtime 3D body motion capture
US11450051B2 (en) Personalized avatar real-time motion capture
US11763481B2 (en) Mirror-based augmented reality experience
KR20230107655A (ko) 신체 애니메이션 공유 및 재혼합
US20230080584A1 (en) Blending body mesh into external mesh
KR20230107654A (ko) 보철 림을 위한 실시간 모션 전달
US11517826B2 (en) Game result overlay system
US11832015B2 (en) User interface for pose driven virtual effects
CN117916774A (zh) 基于身体网格对定制网格进行变形
US20210409615A1 (en) Skeletal tracking for real-time virtual effects
CN117999584A (zh) 使用外部网格使现实世界对象变形
US11960784B2 (en) Shared augmented reality unboxing experience
CN116076063A (zh) 增强现实信使系统
CN117957043A (zh) 控制时尚物品上的ar游戏
CN117337442A (zh) 基于vr的连接门户购物
CN110544315A (zh) 虚拟对象的控制方法及相关设备
CN113359983A (zh) 增强现实数据呈现方法、装置、电子设备及存储介质
US20240144545A1 (en) Avatar fashion delivery
US20230410440A1 (en) Integrating augmented reality experiences with other components
US20230344728A1 (en) Augmented reality experience event metrics system
CN118001725A (zh) 游戏信息显示方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201229

RJ01 Rejection of invention patent application after publication