CN118227061A - 基于增强现实的显示方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供一种基于增强现实的显示方法、装置、设备及可读存储介质，电子设备位于自移动设备的上方且平行于自移动设备时，在预览界面上显示包含自移动设备的预览图像，当用户下发触发指令后，电子设备获取自移动设备在世界坐标系下的第一位姿以及自移动设备在AR坐标系下的第二位姿，根据第一位姿和第二位姿确定任意点在世界坐标系下的坐标和在AR坐标系下的坐标的转换关系，进而根据转换关系呈现AR场景。采用该种方案，通过在预览界面上触发电子设备确定任意点在世界坐标系下的坐标和在AR坐标系下的坐标的转换关系，根据转换关系及增强现实方式呈现自移动设备的当前环境，直观且准确度高，进而实现对自移动设备的精确控制。

Description

基于增强现实的显示方法、装置、设备及可读存储介质

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种基于增强现实的显示方法、装置、设备及可读存储介质。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的发展，各种自移动设备越来越多地进入人们的生活，比如物流机器人、扫地机器人、割草机器人、迎宾机器人等。

用户在终端设备上安装自移动设备的应用程序(application，APP)，通过APP界面，用户能方便的查看自移动设备的环境地图等，进而实现对自移动设备的控制。

然而，目前很多APP仅基于平面视图进行显示，直观性差、准确度低，无法精准控制自移动设备。

发明内容

本申请实施例提供一种基于增强现实的显示方法、装置、设备及可读存储介质，通过增强现实方式呈现自移动设备的当前环境等，直观且准确度高，进而实现对自移动设备的精确控制。

第一方面，本申请实施例提供一种基于增强现实的显示方法，应用于电子设备，所述方法包括：

在预览界面上显示包含自移动设备的预览图像，所述电子设备位于所述自移动设备的上方且平行于所述自移动设备；

响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿；

根据所述第一位姿和所述第二位姿确定转换关系，所述转换关系用于指示任意点在世界坐标系下的坐标和在AR坐标系下的坐标的关系；

根据所述转换关系显示AR场景。

第二方面，本申请实施例提供一种基于增强现实的显示装置，包括：

第一显示模块，用于在预览界面上显示包含自移动设备的预览图像，所述电子设备位于所述自移动设备的上方且平行于所述自移动设备；

响应模块，用于响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿；

处理模块，用于根据所述第一位姿和所述第二位姿确定转换关系，所述转换关系用于指示任意点在世界坐标系下的坐标和在AR坐标系下的坐标的关系；

第二显示模块，用于根据所述转换关系显示AR场景。

第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时使得所述电子设备实现如上第一方面或第一方面各种可能的实现方式所述的方法。

第四方面，本申请实施例提供一种非易失性计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，所述计算机指令在被处理器执行时用于实现如上第一方面或第一方面各种可能的实现方式所述的方法。

第五方面，本申请实施例提供一种包含计算程序的计算机程序产品，所述计算机程序被处理器执行时实现如上第一方面或第一方面各种可能的实现方式所述的方法。

本申请实施例提供的基于增强现实的显示方法、装置、设备及可读存储介质，电子设备位于自移动设备的上方且平行于自移动设备时，在预览界面上显示包含自移动设备的预览图像，当用户下发触发指令后，电子设备获取自移动设备在世界坐标系下的第一位姿以及自移动设备在AR坐标系下的第二位姿，根据第一位姿和第二位姿确定任意点在世界坐标系下的坐标和在AR坐标系下的坐标的转换关系，进而根据转换关系呈现AR场景。采用该种方案，通过在预览界面上触发电子设备确定任意点在世界坐标系下的坐标和在AR坐标系下的坐标的转换关系，根据转换关系及增强现实方式呈现自移动设备的当前环境，直观且准确度高，进而实现对自移动设备的精确控制。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的用于执行基于增强现实的显示方法的电子设备的结构示意图；

图2是本申请实施例提供的基于增强现实的显示方法的流程图；

图3A是本申请实施例提供的基于增强现实的显示方法中预览界面的一个示意图；

图3B是本申请实施例提供的基于增强现实的显示方法中预览界面的另一个示意图；

图3C是本申请实施例提供的基于增强现实的显示方法中预览界面的又一个示意图；

图4是本申请实施例提供的基于增强现实的显示方法中生成虚拟自移动设备的过程示意图

图5是图2中步骤203的详细流程图；

图6A是本申请实施例提供的基于增强现实的显示方法中第一位姿的示意图；

图6B是本申请实施例提供的基于增强现实的显示方法中第二位姿的示意图；

图6C是将图6A投影到图6B后的示意图；

图6D是对图6C中的世界坐标系进行旋转之后的示意图；

图7是本申请实施例提供的基于增强现实的显示方法的另一个流程图；

图8A是本申请实施例提供的基于增强现实显示的方法中AR场景和现实场景的融合示意图；

图8B是本申请实施例提供的基于增强现实显示的方法中的AR场景示意图；

图9是本申请实施例提供的基于增强现实的显示方法中电子设备显示AR场景的示意图；

图10为本申请实施例提供的基于增强现实的显示装置的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

目前市面上大多数家用机器人通过电子设备上的APP控制，APP基于平面视图或3D视图来呈现环境地图、当前时刻家用机器人的位置等，便于用户及时查看。例如，家用机器人为扫地机，用户在公司，通过APP显示2D的环境地图，并在环境地图上显示清扫完毕的区域和待清扫的区域，便于用户及时查看扫地机机器人的工作进度。

然而，传统基于平面视图或3D视图的环境呈现方法直观性差、准确度低，基于该种呈现，用户无法精准控制自移动设备。

基于此，本申请实施例提供一种基于增强现实的显示方法、装置、设备及可读存储介质，通过增强现实方式呈现自移动设备的当前环境等，直观且准确度高，进而实现对自移动设备的精确控制。

本申请实施例提供的基于增强现实的显示方法由电子设备执行，电子设备为安装了自移动设备的应用程序(application，APP)的设备，包括但不限于手机、平板电脑等。图1是本申请实施例提供的用于执行基于增强现实的显示方法的电子设备的结构示意图。本申请实施例中，电子设备支持增强现实(Augmented Reality，AR)功能。例如，电子设备出厂前就具备支持AR的功能。再如，电子设备按照自移动设备的APP后，使用APP过程中，提示用户下载并按照AR插件，以支持AR功能。

请参照图1，本申请实施例提供的电子设备包括：射频(Radio Frequency，RF)电路101、存储器102、触摸屏103、传感器104、无线保真(wirelessfidelity，WiFi)模块105、音频电路106、处理器107、以及电源108等部件。本领域技术人员可以理解，图1中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对电子设备的各个构成部件进行具体的介绍：

RF电路101用于收发信息或通话过程中信号的接收和发送，例如，接收下行数据并交给处理器107处理；再如，将上行数据发送给基站。通常，RF电路101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。

存储器102用于存储软件程序等，处理器107通过运行存储在存储器102的软件程序，从而执行电子设备的各种功能应用以及数据处理。存储器102主要包括程序存储区和数据存储区，其中，程序存储区存储操作系统、至少一个功能所需的应用程序，比如声音播放功能、图像播放功能、自移动设备的APP等；数据存储区存储电子设备使用过程中所创建的音频数据、电话本、环境地图等。

触摸屏103，也称为触控面板、显示屏等，触摸屏103包括触敏表面1031和显示器1032。其中，触敏表面1031(例如触控面板)采集用户在其上或附近的触摸事件(比如用户使用手指、触控笔等任何适合的物体在触敏表面1031上或在触敏表面1031附近的操作)，并将采集到的触摸信息发送给其他器件例如处理器107。其中，用户在触敏表面1031附近的触摸事件可以是直接接触触敏表面1031的触摸事件，也可以是悬浮触控。悬浮触控指用户无需为了选择、移动或拖动目标而直接接触触控板，而只需用户位于电子设备附近以便执行所想要的功能。在悬浮触控的应用场景下，术语“触摸”、“接触”等不会暗示用于直接接触触摸屏，而是触摸屏附近即可。能够进行悬浮触控的触敏表面1031可以采用电容式、红外光感以及超声波等实现。触敏表面1031包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信号，并将它转换成触点坐标，再发送给处理器101，触摸控制器还可以接收处理器107发送的指令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型来实现触敏表面1031。显示器1032用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种菜单。可以采用液晶显示器、有机发光二极管等形式来配置显示器1032。触敏表面1031覆盖在显示器1032之上，当触敏表面1031确定在其上或附近的触摸事件后，传送给处理器107以确定触摸事件的类型，随后处理器107根据触摸事件的类型在显示器1032上提供相应的视觉输出。虽然在图1中，触敏表面1031与显示器1032是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触敏表面1031与显示器1032集成而实现电子设备的输入和输出功能。可以理解的是，触摸屏103是由多层材料堆叠而成，本申请实施例中只展示出了触敏表面(层)和显示器(层)，其他层在本申请实施例中不予记载。另外，在本申请其他一些实施例中，触敏表面1031覆盖在显示器1032之上，并且触敏表面1031的尺寸大于显示器1032的尺寸，使得显示器1032全部覆盖在触敏表面1031下面，或者，上述触敏表面1031可以以全面板的形式配置在电子设备的正面，也即用户在电子设备正面的触摸均能被电子设备感知，这样就可以实现电子设备正面的全触控体验。

电子设备还可包括至少一种传感器104，比如图像传感器、光传感器、运动传感器以及其他传感器。具体地，图像传感器能够将图像转换为电信号，对电信号进行放大和同步控制等处理后送给触摸屏103，供触摸屏103显示。光传感器可包括环境光传感器及接近传感器，其中，环境光传感器根据环境光线的明暗来调节显示器1032的亮度，接近传感器在电子设备移动到耳边时，关闭显示器1032和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器、图像传感器等其他传感器，在此不再赘述。

音频电路106、扬声器1062，传声器1061提供用户与电子设备之间的音频接口。音频电路106将接收到的音频数据转换后的电信号，传输到扬声器1062，由扬声器1062转换为声音信号输出；另一方面，传声器1061将收集的声音信号转换为电信号，由音频电路106接收后转换为音频数据，再将音频数据输出处理器107处理后，经RF电路101以发送给比如另一电子设备，或者将音频数据输出至存储器102以便进一步处理。

WiFi属于短距离无线传输技术，电子设备通过WiFi模块105可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。特别地，电子设备通过WiFi模块105使得电子设备能与自移动设备通信，以使得电子设备控制自移动设备。例如通过WiFi模块105向自移动设备发送工作指令，以使得自移动设备工作。

处理器107是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

电子设备还包括给各个部件供电的电源108(比如电池)，优选的，电源可以通过电源管理系统与处理器107逻辑相连，从而通过电源管理系统管理充电、放电、以及功耗管理等功能。

尽管未示出，电子设备还可以包括其他模块，例如蓝牙模块等，在此不再赘述。

以下实施例均可以在具有上述硬件的电子设备(例如电子设备)中实现。

下面，基于图1所示电子设备，对本申请实施例所述的基于增强现实的显示方法进行详细说明。示例性的，请参照2，图2是本申请实施例提供的基于增强现实的显示方法的流程图。本实施例的执行主体是电子设备，本实施例包括：

201、在预览界面上显示包含自移动设备的预览图像，所述电子设备位于所述自移动设备的上方且平行于所述自移动设备。

本申请实施例中，电子设备上安装摄像头等。用户手持电子设备以使得电子设备所在的平面和自移动设备所在的平面平行，这种平行状态又称作电子设备平行于自移动设备。用户操作电子设备上的APP进入预览界面。例如，用户打开APP后直接进入预览界面；再如，用户打开APP后，通过下拉菜单等调出“AR显示”选项，点击该选项进入预览界面。预览界面显示摄像头视野范围的景物。

电子设备的摄像头开启进入预览界面的同时，电子设备创建AR坐标系，该AR坐标系的原点Oar为摄像头开启时电子设备所在的位置，AR坐标系是一个3D坐标系，AR坐标系的X轴和Z轴形成的XZ平面与地平面平行，即与自移动设备所在的平面平行，AR坐标系的Z轴为电子设备的摄像头的方向。也就是说，AR坐标系的原点Oar的初始位置是根据电子设备的摄像头打开的瞬间而确定的，电设备根据陀螺仪参数等，把电子设备的当前位置作为原点Oar的初始位置，把电子设备所在的平面作为AR坐标系的XZ平面，把垂直于电子设备的预览界面的方向作为AR坐标系的Z轴初始方向。因此，AR坐标系和世界坐标系是两个不同的坐标系。世界坐标系又称作即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)坐标系。采用该种方案，实现准确、快速创建出AR坐标系的目的。

图3A是本申请实施例提供的基于增强现实的显示方法中预览界面的一个示意图。请参照图3A，自移动设备位于电子设备的正上方，自移动设备平行于电子设备，且自移动设备的行进方向平行于电子设备的方向。其中，电子设备的方向为预览界面的纵向对称轴的方向，如图中虚线箭头所示。自移动设备的机身为圆柱形，侧面设置摄像头传感器21，表面设置麦克风阵列23，底面设置边刷组件22等。图3A中仅示意出自移动设备的部分构件。

图3A中，自移动设备的朝向即为前进方向，如图中实线箭头所示。当摄像头传感器21设置在侧面时，自移动设备的朝向也可以理解为摄像头传感器21的朝向。

图3B是本申请实施例提供的基于增强现实的显示方法中预览界面的另一个示意图。请参照图3B，自移动设备位于电子设备的上方并与自移动设备错开，也就是说电子设备位于自移动设备的斜上方，且自移动设备在电子设备的摄像头的视野范围内。同时，电子设备平行于自移动设备，且自移动设备的行进方向平行于电子设备的方向。

图3C是本申请实施例提供的基于增强现实的显示方法中预览界面的又一个示意图。与图3B的不同之处在于：图3C中，虽然自移动设备位于电子设备的上方并与自移动设备错开，电子设备平行于自移动设备，但是自移动设备的行进方向与电子设备的方向不平行。另外，虽然图3C中是以自移动设备的行进方向与电子设备的方向之间的夹角为锐角为例，对两个方向不平行进行说明。然而，本申请实施例并不以此为限制，其他可行的实现方式中，自移动设备的行进方向与电子设备的方向之间的角度为0°～360°之间的任意一个角度，例如，两个方向之间的夹角为90度，此时自移动设备的行进方向垂直于电子设备的方向。再如，两个方向之间的夹角为180度，此时自移动设备的行进方向与电子设备的方向相反。

上述图3A-图3C中，仅在预览界面中示意出了自移动设备。然而，本申请实施例并不限制，当自移动设备周围具有家具、玩具、人或动物等物体时，也可以同步显示在预览界面中。

202、响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在AR坐标系下的第二位姿。

当需求AR显示时，用户通过点击预览界面等方式下发触发指令，以使得电子设备获取自移动设备在世界坐标系下的第一位姿。同时，电子设备确定自移动设备在AR坐标系下的第二位姿。第一位姿和第二位姿是自移动设备同一时刻在不同坐标系下的位姿。

一种方式中，用户点击预览界面上自移动设备的中心位置。自移动设备识别到该点击操作后，向自移动设备发送获取指令，以使得自移动设备上报第一位姿。同时，由于点击位置，即预览图像中自移动设备的中心即为自移动设备在AR环境中的具体位置，因此，电子设备根据点击位置获取第二位姿。

电子设备获取第一位姿和第二位姿的同时，在点击位置处生成一个虚拟自移动设备，该虚拟自移动设备即为预览界面中的自移动设备在AR场景中的展示效果，该虚拟自移动设备不是依赖转换关系生成的，而是自移动设备根据用户的点击操作的点击位置生成的。

本申请实施例中，AR坐标系和世界坐标系是两个不同的坐标系，唯一已知的共同点是自移动设备本身。因此，以自移动设备的位置和方向一致为基准，获取自移动设备在AR场景中的坐标并生成虚拟自移动设备。下面，以电子设备为手机为例，对电子设备生成虚拟自移动设备的过程进行详细说明。示例性的，请参照图4。

图4是本申请实施例提供的基于增强现实的显示方法中生成虚拟自移动设备的过程示意图。请参照图4，初始时，用户手持手机，手机位于自移动设备的正方方并平行于地面，而且手机的朝向与自移动设备的方向一致，手机的朝向和自移动设备的朝向如图中实线箭头所示。

接着，用户在预览界面上点击自移动设备的中心，从而在AR平面获得交点R'，交点R'表示自移动设备在AR平面中的位置。

之后，电子设备在AR平面的点R'位置处生成一个虚拟自移动设备。

采用该种方案，由于点击位置代表自移动设备在AR环境中的具体位置，因此根据点击位置能够得到准确的第二位姿，而且，生成的虚拟自移动设备的显示位置更准确，便于用户直观的观看当前环境。

另一种方式中，用户点击预览界面上的任意位置。电子设备检测到点击操作后，向自移动设备发送获取指令，以使得自移动设备上报第一位姿。同时，利用预先部署到机器模型识别预览界面中的对象。当识别出自移动设备时，确定自移动设备的中心在预览界面上的位置，根据该位置确定自移动设备在AR环境中的第二位姿。并且，电子设备在自移动设备的中心位置处生成一个虚拟自移动设备。

本申请实施例中，自移动设备上预先创建环境地图，自移动设备接收到获取指令后，根据环境地图确定第一位姿并上报给电子设备。

203、根据所述第一位姿和所述第二位姿确定转换关系，所述转换关系用于指示任意点在世界坐标系下的坐标和在AR坐标系下的坐标的关系。

电子设备得到第一位姿和第二位姿后，通过坐标系投影、旋转等推导出一个转换关系。通过该转换关系，电子设备在已知任意点在世界坐标系下的坐标的情况下，能够确定出该任意点在AR坐标系下的坐标；同理，通过该转换关系，电子设备在已知任意点在AR坐标系下的坐标的情况下，能够确定出该任意点在世界坐标系下的坐标。

204、根据所述转换关系显示AR场景。

由于电子设备得到第一位姿后，能够得到预览界面中每个物体的任意点在世界坐标系下的坐标。因此，当电子设备得到转换关系后，能够确定出预览界面中任意点在AR坐标下的坐标，进而对电子设备摄像头视野范围内的物体进行AR呈现。

当电子设备显示AR场景后，用户无需保持电子设备在自移动设备上方且电子设备与自移动设备平行的状态，而是可以随意的调整电子设备的姿态，比如用户坐在沙发上，电子设备的预览界面的纵向对称轴垂直于地面、与地面有一定夹角等。无论电子设备处于哪种姿态，均显示AR场景，且AR场景中的物体为电子设备摄像头的视野范围内的物体。

本申请实施例提供的基于增强现实的显示方法，电子设备位于自移动设备的上方且平行于自移动设备时，在预览界面上显示包含自移动设备的预览图像，当用户下发触发指令后，电子设备获取自移动设备在世界坐标系下的第一位姿以及自移动设备在AR坐标系下的第二位姿，根据第一位姿和第二位姿确定任意点在世界坐标系下的坐标和在AR坐标系下的坐标的转换关系，进而根据转换关系呈现AR场景。采用该种方案，通过在预览界面上触发电子设备确定任意点在世界坐标系下的坐标和在AR坐标系下的坐标的转换关系，根据转换关系及增强现实方式呈现自移动设备的当前环境，直观且准确度高，进而实现对自移动设备的精确控制。

可选的，上述实施例中，当根据图3A或图3B所示场景确定转换关系时，电子设备响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在实AR坐标系下的第二位姿的过程中，确定所述电子设备的方向与所述自移动设备的朝向是否相同，所述电子设备的方向为所述预览界面的纵向对称轴的正方向。

示例性的，电子设备检测到触发指令后，从预览图像中识别出自移动设备并确定自移动设备的行进方向。然后，电子设备确定行进方向与电子设备的方向之间的夹角，当夹角为0°时确定电子设备的方向与自移动设备的朝向相同。此时，电子设备获取第一位姿和第二位置以响应用户的触发指令。若行进方向与电子设备的方向之间的夹角不为0°，则表示自移动设备的朝向与电子设备的方向不相同，电子设备通过语音、动画等提示用户，用户调整电子设备的位姿，以使得自移动设备的朝向与电子设备的方向相同。

图3A和图3B中，电子设备的方向与所述自移动设备的朝向相同时，确定转换关系的过程中，无需考虑电子设备的旋转角度等，仅根据自移动设备的第一位姿和第二位姿即可确定出转换关系，过程简单、效率高。

另外，若用户在图3C所示预览界面触发电子设备显示AR场景，则需要考虑电子设备的旋转角，即电子设备与AR坐标系的Z轴的夹角等。

下面，对上述实施例中电子设备如何根据第一位姿和第二位姿确定转换关系进行详细说明。示例性的，请参照图5。图5是图2中步骤203的详细流程图。

本实施例包括:

501、将所述世界坐标系投影到所述AR坐标系。

本申请实施例中，AR坐标系是3D坐标系，3D坐标系的三个坐标轴分别为X轴、Z轴和Y轴，其中X轴和Z轴分别对应二维的世界坐标系下的X轴和Z轴。两个坐标系的比例单位均统一以米为单位。

为了方便对比AR坐标系和世界坐标系，忽略AR坐标系中的Y轴，将AR坐标系中的X轴和Z轴形成的平面作为AR平面。

电子设备将世界坐标系投影到AR坐标系中，以使得第一位姿指示的第一坐标和第二位姿指示的第二坐标重合，并使得第一位姿指示的第一方向和第二位姿指示的第二方向重合。示例性的，请参照图6A、图6B和图6C。

图6A是本申请实施例提供的基于增强现实的显示方法中第一位姿的示意图。请参照图6A，世界坐标系的原点为O_slam，点R为自移动设备在世界坐标系下的位置，点R的位置即为自移动设备在世界坐标系下的第一位姿对应的第一坐标，第一坐标为R(Rx，Rz)。第一位姿指示的第一方向为自移动设备的朝向与Z轴的夹角θ1，以下为方便起见，当自移动设备的朝向与Z轴的夹角θ1时，称之为自移动设备的第一方向为θ1，该第一方向θ1又称作旋转差θ1。虽然此处是以自移动设备的前进方向与世界坐标系的Z轴的夹角为例定义第一方向θ1。然而，本申请实施例并不以此为限制，其他可选的实现方式中，第一方向也可以是自移动设备的朝向与X轴的夹角，此时，第二方向θ2是AR坐标系中自移动设备的朝向与AR坐标系中的X轴之间的夹角。

图6A中，自移动设备朝向，即自移动设备的前进方向(如图中粗黑实线箭头所示)平行于X轴，此时，θ1为90度。然而，本申请实施例并不限制，其他可行的实现方式中，θ1为0度～360度中的任意角度。

图6B是本申请实施例提供的基于增强现实的显示方法中第二位姿的示意图。请参照图6B，AR坐标系的原点为O_ar，点R'为自移动设备在AR坐标系下的位置，点R'的位置即为自移动设备在AR坐标系下的第二位姿对应的第二坐标，第二坐标为R'(R'x，R'z)。第二位姿指示的第二方向为自移动设备的朝向与AR坐标系的Z轴的夹角θ2，以下为方便起见，当自移动设备的朝向与Z轴的夹角θ2时，称之为第二方向为θ2，该第二方向θ2又称作旋转差θ2。虽然此处是以自移动设备的前进方向与AR坐标系的Z轴的夹角为例定义第二方向θ2。然而，本申请实施例并不以此为限制，其他可选的实现方式中，第二方向也可以是自移动设备的朝向与AR坐标系的X轴的夹角。图6B中，自移动设备朝向，即自移动设备的前进方向如图中粗黑实线箭头所示。

图6C是将图6A投影到图6B后的示意图。请参照图6C，将世界坐标系和第一位姿投影到所述AR坐标系，使得第一坐标和第二坐标重合，并使得第一方向和第二方向重合。

502、旋转所述世界坐标系，以使得所述世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行。

本申请实施例中，为了方便坐标转换，应当对齐世界坐标系的Z轴和AR坐标系的Z轴。此时，需要电子设备对世界坐标系进行旋转，以使得世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行。

图6D是对图6C中的世界坐标系进行旋转之后的示意图。请参照图6D，电子设备顺时针或逆时针旋转世界坐标系，旋转过程中，保持第一坐标和第二坐标重合，直到AR坐标系的X轴和世界坐标系的X轴平行，且AR坐标系的Z轴和世界坐标系的Z轴平行。

一种方式中，旋转世界坐标系的过程中，电子设备不断检测世界坐标系和AR坐标系对应坐标轴之间的角度，一旦角度为0度则停止旋转，此时AR坐标系和世界坐标系的对应轴平行。

另一种方式中，电子设备根据所述第一位姿对应的第一方向和所述第二位姿对应的第二方向确定旋转角。之后，根据所述旋转角旋转所述世界坐标系，以使得所述世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行。

示例性的，请参照图6C，需要将世界坐标系顺时针旋转一个角度θ，即旋转角的角度值为θ，θ＝θ1-θ2。因此，电子设备将世界坐标系顺时针旋转角度θ后，AR坐标系的X轴和世界坐标系的X轴平行，AR坐标系的Z轴和世界坐标系的Z轴平行，且第一坐标和第二坐标重合。

采用该种方案，通过根据第一方向和第二方向确定旋转角，根据旋转角旋转世界坐标系，以使得世界坐标系和AR坐标系对应坐标重合，速度快、准确率高。

503、确定旋转后的世界坐标系的原点在所述AR坐标系中的原点坐标。

请参照图6D，在世界坐标系和AR坐标系单位一致的前提下，假设世界坐标系的原点O_slam在AR坐标系下的位置为O'_slam，则得到如下公式(1)：

O'_slam＝(R'x，R'z)-(Rx，Rz)公式(1)

公式(1)中O'_slam即世界坐标系的原点在AR坐标系中的坐标，该坐标称为原点坐标为O'_slam。

504、根据所述原点坐标、所述第一坐标和所述第二坐标确定所述转换关系。

本申请实施例中，自移动设备的环境地图是基于世界坐标系创建的。因此，对于环境地图中的任意一点P，则点P在世界坐标系下的位置坐标P(Px，Pz)是已知的。将点P在AR坐标系下的位置坐标表示为P'(P'x，P'z)，则得到如下公式(2)：

(P'x，P'z)＝O'_slam+(Px，Pz)公式(2)

将公式(1)带入公式(2)可得公式(3)：

(P'x，P'z)＝(R'x，R'z)-(Rx，Rz)+(Px，Pz)公式(3)

公式(3)即为本申请实施例中的转换关系，用于指示任意点在世界坐标系下的坐标和在AR坐标系下的坐标的关系。根据公式(3)，当电子设备已知任意点在世界坐标系下的位置坐标(Px，Pz)时，就能够得到该点在AR坐标系下的位置坐标(P'x，P'z)。同理，根据公式(3)，当电子设备已知任意点在AR坐标系下的位置坐标(P'x，P'z)时，就能够得到该点在世界坐标系下的位置坐标(Px，Pz)。

采用该种方案，通过将世界坐标系投影到AR坐标系后，在AR坐标系中选择世界坐标系，进而确定出转换关系，过程简单、速度快。

图7是本申请实施例提供的基于增强现实的显示方法的另一个流程图。本实施例包括：

701、启动电子设备上的APP。

示例性的，用户在电子设备位于自移动设备上方且平行于自移动设备的状态下开启APP。

702、在APP界面打开电子设备的摄像头，在预览界面上显示预览图像的同时，创建AR坐标系。

703、当用户点击预览图像中自移动设备的中心位置时，电子设备确定自移动设备在AR坐标系中的第二位姿，并获取自移动设备在世界坐标系下的第一位姿。

可选的，用户点击自移动设备的中心位置后，电子设备确定出点击位置，并在点击位置处生成虚拟自移动设备并采用AR方式呈现。

704、根据第一位姿和第二位姿确定转换关系。

705、根据转换关系显示AR场景。

电子设备根据转换关系等确定摄像头视野范围内的环境的每个点对应的AR坐标，并进行AR显示。

706、根据用户的编辑指令对AR场景中的物体进行编辑操作。

编辑操作包括设置虚拟墙、增加家具、删除家具等。在AR场景中进行编辑后，电子设备根据转换关系确定新设定的虚拟墙、家具等在世界坐标系下的位置坐标，使得电子设备更新二维的环境地图等，进而向自移动设备发送最新的环境地图。

本申请实施例中，电子设备确定出转换关系显示AR场景后，一方面，对自移动设备及其当前环境中真实存在的物体进行AR显示；另一方面，电子设备还可以对一些虚拟数据进行显示，从而使得用户通过APP设定的虚拟数据在AR场景中能够精准的呈现。虚拟数据例如用于设定虚拟墙的数据、自移动设备的工作状态等。

以虚拟墙数据为例，电子设备根据所述转换关系显示AR场景后，获取环境地图中的虚拟墙的第一坐标集合，所述第一坐标集合用于指示所述虚拟墙的各位置点在所述世界坐标系下的坐标。之后，电子设备根据所述转换关系和所述第一坐标集合，确定第二坐标集合，所述第二坐标集合用于指示所述虚拟墙的各位置点在所述AR坐标系下的坐标。最后，电子设备根据所述第二坐标集合在所述AR场景中显示虚拟墙。

示例性的，用户预先通过APP设定虚拟墙。例如，用户在APP界面上调出环境地图，在环境地图上用手指绘制封闭的区域，如正方形、长方形、圆形或不规则形等，并将封闭区域的边界作为虚拟墙。例如，环境地图显示客厅、卧室、书房等，客厅里具有一个积木区域，用户围着积木画一个长方形区域，该长方形的边界即为虚拟墙。该虚拟墙可以用一系列的点来表示，电子设备预先存储虚拟墙的各位置点在世界坐标系下的坐标，即对于每个虚拟墙，电子设备上存储一个第一坐标集合，不同虚拟墙对应不同的第一坐标集合。

电子设备确定出转换关系后呈现AR场景的时候，由于虚拟墙的第一坐标集合中各个位置点在世界坐标系下的坐标是已知的。因此，电子设备根据转换关系和第一坐标集合，就能够确定出第二坐标集合，该第二坐标集合即为虚拟墙的各位置点在所述AR坐标系下的坐标。电子设备根据第二坐标集合在AR场景中展示虚拟墙，使得用户直观的看到虚拟墙。

图8A是本申请实施例提供的基于增强现实显示的方法中AR场景和现实场景的融合示意图，图8B是本申请实施例提供的基于增强现实显示的方法中的AR场景示意图。请参照图8A和图8B，真实环境中存在人物81'和自移动设备82'，均在电子设备的摄像头的视野范围内。电子设备在AR场景中显示人物81'的AR对象81，以及自移动设备82'的AR对象82。另外，AR场景中还显示虚拟墙83。

采用该种方案，电子设备根据转换关系在AR场景中精准呈现用户在APP中设定的虚拟墙等虚拟数据，便于用户直观的查看虚拟墙等，直观且准确度高，进而实现对自移动设备的精确控制。

可选的，上述实施例中，电子设备根据所述第二坐标集合在所述AR场景中显示虚拟墙之后，还响应于用户在所述AR场景中的拖拽指令，以编辑所述虚拟墙，在AR场景中显示编辑后的虚拟墙。同时，电子设备向所述自移动设备发送指示信息，以使得所述自移动设备根据编辑后的虚拟墙更新环境地图，所述指示信息用于指示所述编辑后的虚拟墙。

本申请实施例中，虚拟墙的属性包括位置、大小、形状等。用户可在AR场景中对虚拟墙进行编辑。例如，用户按压虚拟墙的任意一条边，朝向虚拟墙内部滑动，则虚拟墙的内部区域变小；若用户手指朝向虚拟墙的外部滑动，则虚拟墙的内部区域变大。再如，若用户按压虚拟墙的顶点并朝向虚拟墙的内部滑动，则整体缩小虚拟墙；若用户按压虚拟墙的定点并朝向虚拟墙的外部滑动，则整体放大虚拟墙。又如，若用户双指长按虚拟墙的任意位置并拖动，则整体移动虚拟墙以改变虚拟墙的位置。

用户编辑虚拟墙的过程中，电子设备在AR场景中显示编辑后的虚拟墙。同时，电子设备根据转换关系和编辑后的虚拟墙的各个位置点在AR坐标系中的位置坐标，确定编辑后的虚拟墙的各个位置点在世界坐标系下的位置坐标，并向自移动设备发送指示信息以指示最新的虚拟墙。自移动设备接收到指示信息后，更新环境地图中的虚拟墙，并在工作过程中根据最新的虚拟墙避免进入工作禁区。工作区域即为虚拟墙围成的区域。

采用该种方案，用户在AR界面修改虚拟墙位置、大小、形状等，从而得到精确的虚拟墙，实现对自移动设备的精准控制。

可选的，上述实施例中，自移动设备在AR场景中除了对虚拟墙进行编辑之外，还可以响应用户在AR场景中的编辑指令，以在AR场景中新增或删除对象等。例如，实际环境中餐厅的角落没有冰箱，用户双击餐厅角落，电子设备弹出一系列选项供用户选择，选项包括冰箱、橱柜或自定义等，用户选中冰箱，电子设备通过AR方式在餐厅角落显示虚拟冰箱。

再如，客厅原本有一块地毯区域，用户在AR场景中长按地毯，则电子设备提示用户是否删除地毯。当用户确认删除地毯时，AR场景中显示的客厅地面上不存在地毯。

电子设备根据用户的编辑指令更新AR场景的显示的同时，更新环境地图。例如，在环境地图中增加对象或删除对象。

采用该种方案，通过在AR场景中编辑自移动设备工作环境中的对象，并同步到世界坐标系的环境地图中，实现对自移动设备的精准控制。

可选的，上述实施例中，电子设备还在AR场景中显示自移动设备的电量、当前工作状态、名称中的至少一个。

图9是本申请实施例提供的基于增强现实的显示方法中电子设备显示AR场景的示意图。请参照图9，电子设备在AR场景中除了显示自移动设备外，还显示电量、当前工作状态、名称等，供用户直观的查看自移动设备的当前状态。另外，AR场景中还显示自移动设备周围的物体、虚拟墙等，图9中未示意出。

可选的，上述实施例中，用户除了在AR场景中编辑虚拟墙、删除或新增对象、查看自移动设备的工作状态等，还能基于AR场景触发自移动设备到目标位置工作的功能。当自移动设备为扫地机器人时，该功能又称作指哪扫哪功能。

当用户在所述AR场景中点击目标位置时，电子设备根据所述目标位置和所述转换关系确定所述目标位置在所述世界坐标系下的平面位置。然后，电子设备向所述自移动设备发送所述平面位置，以使得所述自移动设备行进至所述平面位置所在的区域并工作。

示例性的，以自移动设备为扫地机器人为例，扫地机器人正在卧室工作。小朋友在餐厅吃饭时地上撒了很多米粒，用户点击AR场景中餐桌下的地面，则自移动设备来到餐厅并清洁。

采用该种方案，用户在AR场景中指示自移动设备到指定位置工作，准确度高、速度快。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图10为本申请实施例提供的基于增强现实的显示装置的示意图。该基于增强现实的显示装置1000包括：第一显示模块1001、响应模块1002、处理模块1003和第二显示模块1004。

第一显示模块1001，用于在预览界面上显示包含自移动设备的预览图像，所述电子设备位于所述自移动设备的上方且平行于所述自移动设备；

响应模块1002，用于响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿；

处理模块1003，用于根据所述第一位姿和所述第二位姿确定转换关系，所述转换关系用于指示任意点在世界坐标系下的坐标和在AR坐标系下的坐标的关系；

第二显示模块1004，用于根据所述转换关系显示AR场景。

一种可行的实现方式中，所述响应模块1002，当检测到用户点击所述预览图像中自移动设备的中心的点击操作时，确定所述点击操作对应的点击位置；获取所述自移动设备在世界坐标系下的第一位姿，并根据所述点击位置确定所述自移动设备在增强现实AR坐标系下的第二位姿。

一种可行的实现方式中，所述处理模块1003，还用于确定所述电子设备的方向与所述自移动设备的朝向是否相同，所述电子设备的方向为所述预览界面的纵向对称轴的正方向；

所述响应模块1002，用于当电子设备的方向与所述自移动设备的朝向相同时，响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿。

一种可行的实现方式中，所述处理模块1003，用于将所述世界坐标系投影到所述AR坐标系，以使得所述第一位姿指示的第一坐标和所述第二位姿指示的第二坐标重合，并使得所述第一位姿指示的第一方向和所述第二位姿指示的第二方向重合；旋转所述世界坐标系，以使得所述世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行；确定旋转后的世界坐标系的原点在所述AR坐标系中的原点坐标；根据所述原点坐标、所述第一坐标和所述第二坐标确定所述转换关系。

一种可行的实现方式中，所述处理模块1003旋转所述世界坐标系，以使得所述世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行时，用于根据所述第一位姿对应的第一方向和所述第二位姿对应的第二方向确定旋转角；根据所述旋转角旋转所述世界坐标系，以使得所述世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行。

一种可行的实现方式中，所述处理模块1003，在所述响应模块1002应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿之前，还用于当所述电子设备的摄像头开启时，确定所述电子设备的当前位置；根据所述当前位置确定所述AR坐标系的原点；根据所述原点、所述电子设备所在的平面以及垂直于所述电子设备所在的平面的方向创建AR坐标系。

一种可行的实现方式中，所述处理模块1003在所述第二显示模块1004根据所述转换关系显示AR场景之后，还用于获取环境地图中的虚拟墙的第一坐标集合，所述第一坐标集合用于指示所述虚拟墙的各位置点在所述世界坐标系下的坐标；根据所述转换关系和所述第一坐标集合，确定第二坐标集合，所述第二坐标集合用于指示所述虚拟墙的各位置点在所述AR坐标系下的坐标；

所述第二显示模块1004，还用于根据所述第二坐标集合在所述AR场景中显示虚拟墙。

一种可行的实现方式中，可选的，上述的基于增强现实的显示装置还包括：收发模块1005；

所述响应模块1002，在所述第二显示模块1004根据所述第二坐标集合在所述AR场景中显示虚拟墙之后，还用于响应于用户在所述AR场景中的拖拽指令，以编辑所述虚拟墙；

所述第二显示模块1004，还用于显示编辑后的虚拟墙；

所述收发模块1005，用于向所述自移动设备发送指示信息，以使得所述自移动设备根据编辑后的虚拟墙更新环境地图，所述指示信息用于指示所述编辑后的虚拟墙。

一种可行的实现方式中，所述响应模块1002，在所述第二显示模块1004根据所述转换关系显示AR场景之后，还用于响应于用户在所述AR场景中的编辑指令，以在所述AR场景中新增或删除对象。

一种可行的实现方式中，所述第二显示模块1004，还用于在所述AR场景中显示所述自移动设备的电量、当前工作状态、名称中的至少一个。

一种可行的实现方式中，所述处理模块1003根据所述转换关系显示AR场景之后，还用于当用户在所述AR场景中点击目标位置时，根据所述目标位置和所述转换关系确定所述目标位置在所述世界坐标系下的平面位置；

所述收发模块1005，用于向所述自移动设备发送所述平面位置，以使得所述自移动设备行进至所述平面位置所在的区域并工作。

本申请实施例还提供一种非易失性计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现如上电子设备实施的基于增强现实的显示方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包含计算机程序，计算机程序被处理器执行时实现如上电子设备实施的基于增强现实的显示方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (14)

1.一种基于增强现实的显示方法，其特征在于，应用于电子设备，所述方法包括：

在预览界面上显示包含自移动设备的预览图像，所述电子设备位于所述自移动设备的上方且平行于所述自移动设备；

响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿；

根据所述第一位姿和所述第二位姿确定转换关系，所述转换关系用于指示任意点在世界坐标系下的坐标和在AR坐标系下的坐标的关系；

根据所述转换关系显示AR场景。

2.根据权利要求1所述的方法，其特征在于，所述响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿，包括：

当检测到用户点击所述预览图像中自移动设备的中心的点击操作时，确定所述点击操作对应的点击位置；

获取所述自移动设备在世界坐标系下的第一位姿，并根据所述点击位置确定所述自移动设备在增强现实AR坐标系下的第二位姿。

3.根据权利要求1所述的方法，其特征在于，所述响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿，包括：

确定所述电子设备的方向与所述自移动设备的朝向是否相同，所述电子设备的方向为所述预览界面的纵向对称轴的正方向；

当电子设备的方向与所述自移动设备的朝向相同时，响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述根据所述第一位姿和所述第二位姿确定转换关系，包括：

将所述世界坐标系投影到所述AR坐标系，以使得所述第一位姿指示的第一坐标和所述第二位姿指示的第二坐标重合，并使得所述第一位姿指示的第一方向和所述第二位姿指示的第二方向重合；

旋转所述世界坐标系，以使得所述世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行；

确定旋转后的世界坐标系的原点在所述AR坐标系中的原点坐标；

根据所述原点坐标、所述第一坐标和所述第二坐标确定所述转换关系。

5.根据权利要求4所述的方法，其特征在于，所述旋转所述世界坐标系，以使得所述世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行，包括：

根据所述第一位姿对应的第一方向和所述第二位姿对应的第二方向确定旋转角；

根据所述旋转角旋转所述世界坐标系，以使得所述世界坐标系的坐标轴与所述AR坐标系的对应坐标轴平行。

6.根据权利要求1～3任一项所述的方法，其特征在于，所述响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿之前，还包括：

当所述电子设备的摄像头开启时，确定所述电子设备的当前位置；

根据所述当前位置确定所述AR坐标系的原点；

根据所述原点、所述电子设备所在的平面以及垂直于所述电子设备所在的平面的方向创建AR坐标系。

7.根据权利要求1～3任一项所述的方法，其特征在于，所述根据所述转换关系显示AR场景之后，还包括：

获取环境地图中的虚拟墙的第一坐标集合，所述第一坐标集合用于指示所述虚拟墙的各位置点在所述世界坐标系下的坐标；

根据所述转换关系和所述第一坐标集合，确定第二坐标集合，所述第二坐标集合用于指示所述虚拟墙的各位置点在所述AR坐标系下的坐标；

根据所述第二坐标集合在所述AR场景中显示虚拟墙。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第二坐标集合在所述AR场景中显示虚拟墙之后，还包括：

响应于用户在所述AR场景中的拖拽指令，以编辑所述虚拟墙；

显示编辑后的虚拟墙；

向所述自移动设备发送指示信息，以使得所述自移动设备根据编辑后的虚拟墙更新环境地图，所述指示信息用于指示所述编辑后的虚拟墙。

9.根据权利要求1～3任一项所述的方法，其特征在于，所述根据所述转换关系显示AR场景之后，还包括：

响应于用户在所述AR场景中的编辑指令，以在所述AR场景中新增或删除对象。

10.根据权利要求1～3任一项所述的方法，其特征在于，还包括：

在所述AR场景中显示所述自移动设备的电量、当前工作状态、名称中的至少一个。

11.根据权利要求1～3任一项所述的方法，其特征在于，所述根据所述转换关系显示AR场景之后，还包括：

当用户在所述AR场景中点击目标位置时，根据所述目标位置和所述转换关系确定所述目标位置在所述世界坐标系下的平面位置；

向所述自移动设备发送所述平面位置，以使得所述自移动设备行进至所述平面位置所在的区域并工作。

12.一种基于增强现实的显示装置，其特征在于，包括：

第一显示模块，用于在电子设备的预览界面上显示包含自移动设备的预览图像，所述电子设备位于所述自移动设备的上方且平行于所述自移动设备；

响应模块，用于响应于用户的触发指令，获取所述自移动设备在世界坐标系下的第一位姿，并确定所述自移动设备在增强现实AR坐标系下的第二位姿；

处理模块，用于根据所述第一位姿和所述第二位姿确定转换关系，所述转换关系用于指示任意点在世界坐标系下的坐标和在AR坐标系下的坐标的关系；

第二显示模块，用于根据所述转换关系显示AR场景。

13.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时使得所述电子设备实现如权利要求1至11任一所述的方法。

14.一种非易失性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一所述的方法。