CN111693063A

CN111693063A - 导航互动展示方法、装置、电子设备及存储介质

Info

Publication number: CN111693063A
Application number: CN202010538298.7A
Authority: CN
Inventors: 揭志伟; 符修源; 李炳泽; 武明飞; 陈凯彬
Original assignee: Zhejiang Shangtang Technology Development Co Ltd
Current assignee: Zhejiang Shangtang Technology Development Co Ltd; Zhejiang Sensetime Technology Development Co Ltd
Priority date: 2020-06-12
Filing date: 2020-06-12
Publication date: 2020-09-22

Abstract

本公开提供了一种导航互动展示方法、装置、电子设备及存储介质，该方法包括：基于目标用户利用AR设备实时拍摄的现实场景画面，动态更新AR场景画面，并通过AR设备进行展示；所述AR场景画面中展示有进行路径导航的虚拟导航员，所述虚拟导航员根据导航路线进行移动导航；当检测到所述AR设备的位姿变化符合预设条件时，确定与所述预设条件匹配的虚拟导航员的互动动作特效；在动态更新的AR场景画面中展示所述虚拟导航员的所述互动动作特效。

Description

导航互动展示方法、装置、电子设备及存储介质

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种导航互动展示方法、装置、电子设备及存储介质。

背景技术

一般的，增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界进行融合的技术，该技术可以将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，实现对真实世界的增强，即实现将虚拟事物呈现在现实世界中。

在AR场景对应的场馆较大时，用户可能无法获知如何快速到达目的地的方式，因此，AR场景下也存在现实场景中的导航需求。

发明内容

有鉴于此，本公开至少提供一种导航互动展示方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种导航互动展示方法，包括：

基于目标用户利用AR设备实时拍摄的现实场景画面，动态更新AR场景画面，并通过AR设备进行展示；所述AR场景画面中展示有进行路径导航的虚拟导航员，所述虚拟导航员根据导航路线进行移动导航；

当检测到所述AR设备的位姿变化符合预设条件时，确定与所述预设条件匹配的虚拟导航员的互动动作特效；

在动态更新的AR场景画面中展示所述虚拟导航员的所述互动动作特效。

采用上述方法，根据目标用户基于AR设备实时拍摄的现实场景画面，动态更新AR场景画面，并通过AR设备进行展示；AR场景画面中展示有进行路径导航的虚拟导航员，虚拟导航员根据导航路线进行移动导航；从而用户能够在虚拟导航员的指引下，快速到达目的地，提高了寻路效率；另外，当检测到该AR设备的位姿变化符合预设条件时，确定与预设条件匹配的虚拟导航员的互动动作特效；在动态更新的AR场景画面中展示虚拟导航员的互动动作特效，实现了虚拟导航员与目标用户之间的互动，提升了目标用户的真实代入感，进一步提高了导航体验。

一种可能的实施方式中，检测到所述AR设备的位姿变化符合预设条件，包括：

检测到所述AR设备的位姿变化匹配预设的位姿变化类型时，确定所述AR设备的位姿变化符合预设条件。

一种可能的实施方式中，所述位姿变化类型包括停止移动；所述互动动作特效包括：停止移动并回头。

一种可能的实施方式中，在所述互动动作特效包括：停止移动并回头的情况下，所述述互动动作特效还包括：在回头后招手和/或微笑。

一种可能的实施方式中，所述方法还包括：

根据所述现实场景画面对应的场景特征，确定所述虚拟导航员对应的虚拟形象。

一种可能的实施方式中，检测到所述AR设备的位姿变化，包括：

通过所述AR设备上设置的位姿传感器检测所述位姿变化。

以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。

第二方面，本公开提供了一种导航互动展示装置，包括：

第一展示模块，用于基于目标用户利用AR设备实时拍摄的现实场景画面，动态更新AR场景画面，并通过AR设备进行展示；所述AR场景画面中展示有进行路径导航的虚拟导航员，所述虚拟导航员根据导航路线进行移动导航；

确定模块，用于当检测到所述AR设备的位姿变化符合预设条件时，确定与所述预设条件匹配的虚拟导航员的互动动作特效；

第二展示模块，用于在动态更新的AR场景画面中展示所述虚拟导航员的所述互动动作特效。

一种可能的实施方式中，所述确定模块，在检测到所述AR设备的位姿变化符合预设条件时，用于：

一种可能的实施方式中，所述装置还包括：

虚拟形象确定模块，用于根据所述现实场景画面对应的场景特征，确定所述虚拟导航员对应的虚拟形象。

一种可能的实施方式中，所述确定模块，在检测到所述AR设备的位姿变化时，用于：

通过所述AR设备上设置的位姿传感器检测所述位姿变化。

第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的导航互动展示方法的步骤。

第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的导航互动展示方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种导航互动展示方法的流程示意图；

图2A示出了本公开实施例所提供的一种导航互动展示方法中，AR设备的界面示意图；

图2B示出了本公开实施例所提供的一种导航互动展示方法中，AR设备的界面示意图；

图3示出了本公开实施例所提供的一种导航互动展示装置的架构示意图；

图4示出了本公开实施例所提供的一种电子设备400的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界进行融合的技术，该技术可以将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，实现对真实世界的增强，即实现将虚拟事物呈现在现实世界中。

随着增强现实技术的成熟，以及应用程序的数量不断增长，增强现实技术对人们的购物、娱乐、工作和生活等各个方面存在着影响。故增强现实技术与人们的日常生活息息相关。比如，在AR场景对应的场馆较大时，用户可能无法获知如何快速到达目的地的方式，因此，AR场景下也存在现实场景中的导航需求。

为了提高增强现实数据的展示灵活性、有效性，实现与虚拟对象的互动，提高导航体现，本公开实施例提供了一种导航互动展示方法，根据目标用户基于AR设备实时拍摄的现实场景画面，动态更新AR场景画面，并通过AR设备进行展示；当检测到该AR设备的位姿变化符合预设条件时，确定与预设条件匹配的虚拟导航员的互动动作特效；在动态更新的AR场景画面中展示虚拟导航员的互动动作特效，实现了虚拟导航员与目标用户之间的互动，提升了目标用户的真实代入感，进一步提高了导航体验。

为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种导航互动展示方法进行详细介绍。

本公开实施例所提供的导航互动展示方法的执行主体一般为具有一定计算能力的设备，具体可为终端设备、服务器或其他处理设备。例如所述设备可以包括：智能手机、平板电脑、车载设备、可穿戴设备、增强现实(augmented reality，AR)设备、展示设备、与AR设备连接的服务器等。其中，所述AR设备可以AR眼镜、平板电脑、智能手机、可穿戴设备，展示设备等等具有显示功能和数据处理能力的设备。在一些可能的实现方式中，该导航互动展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例所提供的导航互动展示方法的流程示意图，该方法包括S101-S103，其中：

S101，基于目标用户利用AR设备实时拍摄的现实场景画面，动态更新AR场景画面，并通过AR设备进行展示；所述AR场景画面中展示有进行路径导航的虚拟导航员，所述虚拟导航员根据导航路线进行移动导航。

S102，当检测到所述AR设备的位姿变化符合预设条件时，确定与所述预设条件匹配的虚拟导航员的互动动作特效。

S103，在动态更新的AR场景画面中展示所述虚拟导航员的所述互动动作特效。

上述方法中，根据目标用户基于AR设备实时拍摄的现实场景画面，动态更新AR场景画面，并通过AR设备进行展示；AR场景画面中展示有进行路径导航的虚拟导航员，虚拟导航员根据导航路线进行移动导航；从而用户能够在虚拟导航员的指引下，快速到达目的地，提高了寻路效率；另外，当检测到该AR设备的位姿变化符合预设条件时，确定与预设条件匹配的虚拟导航员的互动动作特效；在动态更新的AR场景画面中展示虚拟导航员的互动动作特效，实现了虚拟导航员与目标用户之间的互动，提升了目标用户的真实代入感，进一步提高了导航体验。

针对S101：

本公开实施例中，AR设备为能够支持AR功能的智能设备，示例性说明，AR设备包括但不限于：手机、平板电脑、AR眼镜等能够呈现增强现实效果的电子设备。

目标用户可以利用AR设备实时拍摄现实场景画面，该现实场景画面可以为AR设备移动过程中拍摄到的任一画面。服务器可以基于目标用户实时拍摄得到的现实场景画面，动态更新AR场景画面，并通过AR设备展示更新后的AR场景画面。

其中，AR场景画面中展示有进行路径导航的虚拟导航员，该虚拟导航员根据导航路线进行移动导航，该导航路线可以基于目标用户的初始位置和目的地位置确定得到的；或者，该导航路线可以基于目标用户的当前位置和目的地位置确定得到的。示例性的，该导航路线可以在目标用户触发虚拟导航员展示之前生成。同时，该导航路线可以在目标用户展示虚拟导航员的过程中进行实时更新。

一种可选实施方式中，所述方法还包括：根据所述现实场景画面对应的场景特征，确定所述虚拟导航员对应的虚拟形象。

示例性的，可以确定现实场景画面的场景特征对应的特征向量，并计算确定的现实场景画面对应的特征向量和每个虚拟导航员对应的场景特征向量之间的匹配度，选择匹配度最高的虚拟导航员作为现实场景画面对应的虚拟导航员。或者，还可以根据现实场景画面对应的场景特征，确定现实场景的场景标识，基于现实场景的场景标识、和预先存储的每个场景标识与虚拟形象之间的关联关系，确定与现实场景画面匹配的虚拟导航员的虚拟形象。比如。若现实场景是儿童乐园，则展示卡通形象的虚拟导航员，该虚拟导航员可以为卡通人物；若现实场景是兵马俑展览馆，则展示兵士形象的虚拟导航员。或者，还可以将现实场景画面输入至训练的图像检测神经网络中，通过图像检测神经网络得到现实场景画面对应的场景特征。

示例性的，还可以预先为每个虚拟导航员设置标签，并根据AR设备对应的目标用户的基本信息，确定虚拟导航员的标签，进而根据标签，确定虚拟导航员对应的虚拟形象；比如，若目标用户为女性，则可以展示标签为可爱的虚拟导航员；若目标用户为女性，则可以展示标签为帅气的虚拟导航员。比如，若目标用户的年龄为18岁以上，则可以展示标签为历史人物的虚拟导航员；若目标用户为18岁以下(包括18岁)，则可以展示标签为卡通人物的虚拟导航员。

在具体实施时，还可以将预先存储的多个虚拟导航员的虚拟形象展示在AR设备上，用户可以根据展示的多个虚拟形象，选择感兴趣的虚拟形象，作为本次导航对应的虚拟导航员的虚拟形象。

针对S102：

这里，实时获取AR设备的位姿变化，在检测到AR设备的位姿变化符合预设条件时，确定与预设条件匹配的虚拟导航员的互动动作特效。比如，可以根据上一时刻获取到的AR设备的位姿数据和该时刻获取到的AR设备的位姿数据，确定AR设备的位姿变化。

作为一可选实施方式，检测到所述AR设备的位姿变化，可以包括：通过所述AR设备上设置的位姿传感器检测所述位姿变化。

这里，可以通过AR设备上设置的位姿传感器检测位姿变化。位姿传感器可以为检测AR设备移动的位移传感器；或者，位姿传感器还可以为检测AR设备高度、角度等信息的传感器。

作为一可选实施方式，检测到所述AR设备的位姿变化符合预设条件，包括：检测到所述AR设备的位姿变化匹配预设的位姿变化类型时，确定所述AR设备的位姿变化符合预设条件。

这里，可以将检测到的AR设备的位姿变化与预设的位姿变化类型进行匹配，判断AR设备的位姿变化是否符合预设条件；若AR设备的位姿变化与预设的位姿变化类型匹配成功，则确定AR设备的位姿变化符合预设条件；若AR设备的位姿变化与预设的位姿变化类型匹配失败，则确定AR设备的位姿变化不符合预设条件。在检测到AR设备的位姿变化不符合预设条件时，则不更改虚拟导航员的动作特效，即虚拟导航员按照设定的速度，沿着导航路线继续移动。

一种可选实施方式中，所述位姿变化类型包括停止移动；所述互动动作特效包括：停止移动并回头。示例性的，该互动动作特效还可以为停止移动并转身；该互动动作特效还可以为停止移动、转身并朝向目标用户的方向移动等。其中，互动动作特效可以根据实际需要进行设置，此处仅为示例性说明。

这里，位姿变化类型包括停止移动，若AR设备静止(即AR设备的位姿不发生改变，或者，AR设备的位置信息不发生改变)，且静止持续时间超过预设时间值(比如该预设时间值可以为3秒、5秒等)，则确定AR设备的位姿变化匹配预设的位姿变化类型，即AR设备与停止移动的位姿变化类型相匹配。互动动作特效包括停止移动并回头，即在检测到AR设备的位姿变化符合预设条件时，确定与预设条件匹配的虚拟导航员的互动动作特效为停止移动并回头，即在更新后的AR场景画面中展示有虚拟导航员停止移动并回头的动画效果。

一种可选实施方式中，在所述互动动作特效包括：停止移动并回头的情况下，所述述互动动作特效还包括：在回头后招手和/或微笑。

这里，互动动作特效还包括：在回头后招手和/或微笑。即在检测到AR设备的位姿变化符合预设条件时，确定与预设条件匹配的虚拟导航员的互动动作特效为停止移动并回头微笑，即在更新后的AR场景画面中展示有虚拟导航员停止移动并回头微笑的动画效果；或者，在检测到AR设备的位姿变化符合预设条件时，确定与预设条件匹配的虚拟导航员的互动动作特效为停止移动并回头招手，即在更新后的AR场景画面中展示有虚拟导航员停止移动并回头招手的动画效果。其中，位姿变化类型和对应的互动动作特效可以根据实际情况进行设置，此处仅为示例性说明，比如，位姿变化类型还可以为快速移动，对应的互动动作特效可以为跑步移动。

针对S103：

可以在AR设备上展示动态更新的AR场景画面，该动态更新的AR场景画面中展示有虚拟导航员的互动动作特效。比如，动态更新的AR场景画面中展示有虚拟导航员的停止移动并回头微笑的互动动作特效；或者，动态更新的AR场景画面中展示有虚拟导航员的停止移动并回头招手的互动动作特效；或者，动态更新的AR场景画面中展示有虚拟导航员的停止移动并转身的互动动作特效。

参见图2A所示的一种导航互动展示方法中，AR设备的界面示意图，图中包括虚拟导航员21(图中以卡通形象作为虚拟导航员)，该虚拟导航员21按照导航路线22移动，在检测到AR设备的位姿变化符合预设条件之后，确定与预设条件匹配的虚拟导航员的互动动作特效，比如，导航员停止移动并回头微笑，在AR设备上展示动态更新的AR场景画面，该AR场景画面中展示虚拟导航员的互动动作特效，AR设备展示动态更新的AR场景画面的界面示意图如图2B所示。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例还提供了一种导航互动展示装置，参见图3所示，为本公开实施例提供的一种导航互动展示装置的架构示意图，包括第一展示模块301、确定模块302、第二展示模块303、以及虚拟形象确定模块304，具体的：

第一展示模块301，用于基于目标用户利用AR设备实时拍摄的现实场景画面，动态更新AR场景画面，并通过AR设备进行展示；所述AR场景画面中展示有进行路径导航的虚拟导航员，所述虚拟导航员根据导航路线进行移动导航；

确定模块302，用于当检测到所述AR设备的位姿变化符合预设条件时，确定与所述预设条件匹配的虚拟导航员的互动动作特效；

第二展示模块303，用于在动态更新的AR场景画面中展示所述虚拟导航员的所述互动动作特效。

一种可能的实施方式中，所述确定模块302，在检测到所述AR设备的位姿变化符合预设条件时，用于：

一种可能的实施方式中，所述装置还包括：

虚拟形象确定模块304，用于根据所述现实场景画面对应的场景特征，确定所述虚拟导航员对应的虚拟形象。

一种可能的实施方式中，所述确定模块302，在检测到所述AR设备的位姿变化时，用于：

通过所述AR设备上设置的位姿传感器检测所述位姿变化。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：

一种可能的设计中，处理器401执行的指令中，检测到所述AR设备的位姿变化符合预设条件，包括：

一种可能的设计中，处理器401执行的指令中，所述位姿变化类型包括停止移动；所述互动动作特效包括：停止移动并回头。

一种可能的设计中，处理器401执行的指令中，在所述互动动作特效包括：停止移动并回头的情况下，所述述互动动作特效还包括：在回头后招手和/或微笑。

一种可能的设计中，处理器401执行的指令中，所述方法还包括：

一种可能的设计中，处理器401执行的指令中，检测到所述AR设备的位姿变化，包括：

通过所述AR设备上设置的位姿传感器检测所述位姿变化。

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的导航互动展示方法的步骤。

本公开实施例所提供的导航互动展示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的导航互动展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims

1.一种导航互动展示方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，检测到所述AR设备的位姿变化符合预设条件，包括：

3.根据权利要求2所述的方法，其特征在于，所述位姿变化类型包括停止移动；所述互动动作特效包括：停止移动并回头。

4.根据权利要求3所述的方法，其特征在于，在所述互动动作特效包括：停止移动并回头的情况下，所述述互动动作特效还包括：在回头后招手和/或微笑。

5.根据权利要求1～4任一所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1～5任一所述的方法，其特征在于，检测到所述AR设备的位姿变化，包括：

通过所述AR设备上设置的位姿传感器检测所述位姿变化。

7.一种导航互动展示装置，其特征在于，包括：

8.根据权利要求1所述的装置，其特征在于，所述确定模块，在检测到所述AR设备的位姿变化符合预设条件时，用于：

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的导航互动展示方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的导航互动展示方法的步骤。