CN115129585A - 增强现实测试方法、装置、终端设备、服务端及存储介质 - Google Patents

Abstract

本申请公开了一种增强现实测试方法、装置、终端设备、服务端及存储介质。该方法包括：服务端接收第一终端设备发送的测试配置信息，测试配置信息包括第一目的地信息，第一终端设备所在位置不属于第一目的地；服务端根据测试配置信息生成AR测试任务和虚拟目标对象，虚拟目标对象用于在第一目的地对应的虚拟环境中执行AR测试任务；在虚拟目标对象执行AR测试任务的过程中，服务端将虚拟目标对象自身的部分或全部视野范围显示在第一终端设备屏幕上；在第一终端设备屏幕上出现指定的AR影像的情况下，服务端确定当前AR应用符合测试需求。利用本申请公开的实施例能够实现AR远程测试。

Description

增强现实测试方法、装置、终端设备、服务端及存储介质

技术领域

本申请涉及软件测试技术领域，具体涉及一种增强现实AR测试方法、装置、终端设备、服务端、计算机可读存储介质及计算机程序产品。

背景技术

随着增强现实(Augmented Reality，AR)技术的不断迭代，在经济社会的各个领域已有诸多应用，例如聚焦在数字城市、教育、交通、医疗、购物、娱乐等领域的各类AR软件产品，可将真实环境与虚拟物体实时叠加在同一画面或空间中，为人们提供不同于以往的数字体验。目前，对于AR软件产品的测试验收环节，绝大多数情况仍需要测试人员前往现场进行实景测试，在目的地运行AR软件，结合实时的定位信息，核验AR产品能否在指定位置生成期望的AR效果。然而，由于这种测试流程要求人员到场，因此会产生诸多痛点问题，例如在大范围疫情影响下，现场测试就需要投入较高的时间成本和人力成本，导致测试任务迟迟无法完成，拖累产品发布进程。

发明内容

有鉴于此，本申请实施例提供一种增强现实AR测试方法、装置、终端设备、服务端、计算机可读存储介质及计算机程序产品，用于解决至少一种技术问题。

第一方面，本申请实施例提供一种AR测试方法，应用于服务端，包括：服务端接收第一终端设备发送的测试配置信息，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地；所述服务端根据所述测试配置信息生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；在所述虚拟目标对象执行AR测试任务的过程中，所述服务端将所述虚拟目标对象自身的部分或全部视野范围显示在所述第一终端设备屏幕上；在所述第一终端设备屏幕上出现指定的AR影像的情况下，所述服务端确定当前AR应用符合测试需求。

第二方面，本申请实施例提供一种AR测试方法，应用于终端设备，包括：在待测试的AR应用的运行环境下，第一终端设备接收外部输入的测试配置信息并发送至服务端；其中，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地，所述测试配置信息用于使所述服务端生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；在所述虚拟目标对象执行AR测试任务的过程中，所述第一终端设备在屏幕上显示所述虚拟目标对象自身的部分或全部视野范围；所述第一终端设备将屏幕上出现的AR影像的相关信息发送至所述服务端。

第三方面，本申请实施例提供一种AR测试装置，包括：

收发模块，用于接收第一终端设备发送的测试配置信息，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地；

生成模块，用于根据所述测试配置信息生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；

显示处理模块，用于在所述虚拟目标对象执行AR测试任务的过程中，将所述虚拟目标对象自身的部分或全部视野范围显示在所述第一终端设备屏幕上；

确定模块，用于在所述第一终端设备屏幕上出现指定的AR影像的情况下，确定当前AR应用符合测试需求。

第四方面，本申请实施例提供一种AR测试装置，包括：

收发处理模块，用于在待测试的AR应用的运行环境下，接收外部输入的测试配置信息并发送至服务端；其中，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地，所述测试配置信息用于使所述服务端生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；

显示处理模块，用于在所述虚拟目标对象执行AR测试任务的过程中，在屏幕上显示所述虚拟目标对象自身的部分或全部视野范围；

所述收发处理模块还用于将屏幕上出现的AR影像的相关信息发送至所述服务端。

第五方面，本申请实施例提供一种服务端设备，包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如上所述的方法的步骤。

第六方面，本申请实施例提供一种终端设备，包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如上所述的方法的步骤。

第七方面，本申请实施例提供一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。

第八方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品中包括计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。

利用本申请实施例提供的方案执行AR测试，不需要人员到场，而是在构建的虚拟环境中开展测试，得到可靠的测试结果，达到测试目的，因此本申请实施例能够应对当前AR产品测试中的痛点问题，使得现场测试不再是必不可少的环节，投入较低的时间成本和人力成本即可完成，有利于AR技术和产品的发布推广。

附图说明

为了更清楚地说明本申请实施例的技术方案，以下对本申请实施例中的附图作简单介绍。

图1是本申请实施例的基于服务器和终端设备的AR系统架构示意图。

图2是一种利用手机端APP进行AR导航的虚实融合图像示意图。

图3是本申请实施例的服务器侧的AR测试方法的流程框图。

图4是本申请实施例的终端设备侧的AR测试方法的流程框图。

图5是基于本申请实施例的AR测试方法的测试流程示意图。

图6是基于图5实施例的虚拟人在虚拟环境中行进时应出现的AR效果的情景示意图。

图7是与图6实施例中的虚拟人绑定的手机屏幕画面的示意图。

图8是本申请实施例的服务端侧的AR测试装置的结构框图。

图9是本申请实施例的终端设备侧的AR测试装置的结构框图。

图10是用来实现本申请实施例的AR测试方法的电子设备的示意图。

图11是本申请实施例的一种终端设备的软件结构示意图。

具体实施方式

以下将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，提供这些实施方式的目的是为了使本申请的原理和精神更加清楚和透彻，使本领域技术人员能够更好地理解进而实现本申请的原理和精神。本文中提供的示例性实施方式仅是本申请的一部分实施方式，而不是全部的实施方式。基于本文中的实施方式，本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

本领域技术人员知晓，本申请的实施方式可以实现为一种系统、装置、设备、方法、计算机可读存储介质或计算机程序产品。因此，本申请可以具体实现为以下至少一种形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件与软件结合的形式。

根据本申请的实施方式，本申请请求保护一种增强现实AR测试方法、装置、终端设备、服务端及计算机可读存储介质。

在本文中，诸如第一、第二、第三之类的用语，仅用来将一个实体(或操作)与另一个实体(或操作)区分开来，而不在于要求或暗示这些实体(或操作)之间存在任何顺序或关联。

本申请的实施例可应用于服务器和终端设备。请参考图1，示意性地示出了一种基于服务器和终端设备的AR系统架构示意图。AR系统架构包括服务器10和若干终端设备20。在一些示例中，终端设备20为AR设备，其可以为专用的AR设备，例如头戴式AR设备(Head-mounted displays，HMD)、智能手套、服饰等可穿戴电子设备。在一些示例中，终端设备20可为通用的AR设备，例如安装有AR功能软件的手机、便携式计算机、笔记本电脑、平板电脑、虚拟现实(Virtual Reality，VR)设备或者车载设备，等等。

以AR头盔或AR眼镜为例，可将头戴式显示器、机器视觉系统、移动计算机等进行集成，设置在可绑定佩戴的设备中，该设备具有外形类似眼镜的显示器，工作时佩戴在使用者头部，该设备能将增强现实类信息传输至显示器上或投射至使用者的眼球中，从而增强用户的视觉沉浸感。在一些示例中，AR设备还具有摄像头，可以为广角摄像头、长焦摄像头，还可以为结构光摄像头(也称为点云深度摄像头、3D结构光摄像头或者深度摄像头)。其中结构光摄像头基于3D视觉技术，可获取物体的平面和深度信息。结构光摄像头可通过近红外激光器将具有一定结构特征的光线投射到被拍摄物体上，再由红外摄像头采集反射光，由处理器芯片处理，其计算原理是根据物体导致的光信号的变化计算物体位置和深度信息，呈现3D图像。通常的终端设备例如手机上呈现二维图像，并不能显示图像上不同位置的深度，利用结构光摄像头可拍摄获取3D图像信息数据，即不仅可获得图像中不同位置的颜色等信息，还可获得不同位置的深度信息，可用于AR测距。当然，普通终端设备也可以基于光学摄像头采集2D图像并结合深度学习算法等方式获取2D图像的深度信息，最终也可呈现3D图像。

在一些示例中，终端设备20中安装有具备AR功能的软件或应用程序APP。服务器10可以是该软件或APP的管理服务器或应用服务器。服务器10可以为一台服务器，也可以为多台服务器组成的服务器集群，也可以为云服务器或称云端服务器等等。终端设备20中集成有具备联网功能的模块，例如无线保真(Wireless-Fidelity，Wifi)模块、蓝牙模块、2G/3G/4G/5G通信模块等，以便通过网络连接到服务器10。

以具备AR导航功能的APP为例，APP可以具备例如高精地图导航能力、环境理解能力和虚实融合渲染能力等，APP可通过终端设备20向服务器10上报当前地理位置信息，服务器10基于实时地理位置信息为用户提供AR导航服务。示例性地，以终端设备20是手机为例，响应于用户启动APP的操作，手机可启动摄像头采集现实环境的图像，然后通过系统对摄像头采集的现实环境图像进行AR增强，在现实环境图像中融入或叠加渲染的AR效果(例如导航路线标识、道路名称、商户信息、广告展示等)，将虚实融合的图像展示在手机屏幕上。

示例性地，第一用户可通过安装在手机中的APP登录第一用户账号，第二用户可通过安装在AR眼镜中的软件登录第二用户账号。

图2示意性地示出了一种利用手机端APP进行AR导航的虚实融合图像，其中AR导航的指示箭头叠加在图中真实的路面上及空间中，商户促销的电子资源以降落伞携带小礼盒的形式显示在建筑物内的空间中。在用户携带手机行走过程中，既可以通过手机屏幕查看AR导航路线，又可以轻松获得环境相关的数字信息。

本申请的实施例涉及终端设备和/或服务器。以下将通过若干示例性实施例或代表性实施方式，对本申请的原理和精神进行详细阐释。

首先，对本申请实施例中可能涉及的概念和技术术语等相关内容进行简要描述。

AR软件产品的类型可以有多种，目前主要是安装在硬件终端设备上的软件程序、客户端、应用程序APP或者APP内的小程序，等等。本申请的实施例对于AR软件产品的类型或称运行形式没有特殊要求，也就是，各类型的AR软件产品均可采用本申请实施例进行测试。

通常，软件测试(Software Testing)是指确认软件的正确性、完整性、安全性和可靠性等的过程，也是一种对预期输出与实际输出进行比较审核的过程。执行软件测试时，可在规定条件下对软件程序进行操作，从而发现程序错误、衡量软件质量，对软件是否满足设计要求进行评估。

对于AR软件产品的测试，由于相当一部分的AR软件产品的功能涉及地理位置定位，测试时需要获取AR软件所在的终端设备的真实地理位置信息，因此如前文所述，大多数AR软件产品的测试过程是由测试人员在实际场景中完成的，例如对建筑物内部空间增加的AR效果，需要测试人员进入建筑物内部进行实地测试，也就是携带AR设备在建筑物内部的指定位置处核验AR设备是否能够展示软件设计的AR效果。在本领域，实地测试存在的诸多痛点问题一直未能得到缓解。

鉴于此，本申请实施例提出一种增强现实AR测试方法，应用于服务端，参考图3，包括以下步骤：

S101，服务端接收第一终端设备发送的测试配置信息，该测试配置信息包括第一目的地信息，该第一终端设备所在位置不属于该第一目的地；

S102，该服务端根据该测试配置信息生成AR测试任务和虚拟目标对象，该虚拟目标对象用于在该第一目的地对应的虚拟环境中执行该AR测试任务；

S103，在该虚拟目标对象执行AR测试任务的过程中，该服务端将该虚拟目标对象自身的部分或全部视野范围显示在该第一终端设备屏幕上；

S104，在该第一终端设备屏幕上出现指定的AR影像的情况下，该服务端确定当前AR应用符合测试需求。

根据本申请实施例的AR测试方法，服务端在接收到终端设备发送的测试配置信息后，生成针对测试目的地的AR测试任务，并且，还生成用于测试的虚拟目标对象(例如虚拟人或虚拟摄像头)，这里，并不要求终端设备本身位于测试的目的地，而是通过令虚拟目标对象在测试目的地的虚拟环境中执行AR测试任务的方式来完成AR测试。在测试过程中，为了确认AR软件在测试目的地内产生的AR视觉效果，将虚拟目标对象的视野范围显示在终端设备屏幕上，供测试人员观察并确认测试结果，这样处理的原理在于，因虚拟环境及虚拟目标对象均由服务端构建生成，因此在服务端或称服务器侧，各个时刻下虚拟目标对象例如虚拟人在虚拟环境中的位置、姿态是已知的，虚拟人的视野范围中的内容也是可获取的，那么当虚拟人进入指定区域后，如果能够触发AR效果展示，则将在测试人员的终端设备上显示出该AR效果，说明该指定区域点位的测试成功，反之，如果终端设备上没有出现AR效果，说明该指定区域点位存在问题，需要调整排查。如此，测试人员只需通过异地的终端设备即可知晓AR软件在测试目的地产生的AR视觉效果，进而确认AR软件是否通过测试，达到AR软件异地测试的目的，可免去测试人员前往测试目的地的麻烦，节省时间成本和人力成本，为AR技术推广提供便利。

与服务器侧的处理相对应地，本申请实施例还提供一种AR测试方法，应用于终端设备，参考图4，包括如下步骤：

S201，在待测试的AR应用的运行环境下，第一终端设备接收外部输入的测试配置信息并发送至服务端；其中，该测试配置信息包括第一目的地信息，该第一终端设备所在位置不属于该第一目的地，该测试配置信息用于使该服务端生成AR测试任务和虚拟目标对象，该虚拟目标对象用于在该第一目的地对应的虚拟环境中执行该AR测试任务；

S202，在该虚拟目标对象执行AR测试任务的过程中，该第一终端设备在屏幕上显示该虚拟目标对象自身的部分或全部视野范围；

S203，该第一终端设备将屏幕上出现的AR影像的相关信息发送至该服务端。

根据本申请实施例的AR测试方法，在终端侧，测试人员通过测试用的终端设备输入配置信息，配置信息中需要包含测试目的地的信息，例如，测试人员和测试用终端设备位于K城市，测试目的地假设为位于L城市的某地标建筑物，则配置信息中应包含L城市的该地标建筑物的信息，以便于服务器生成对该地标建筑物的AR测试任务和虚拟目标对象，并且，在虚拟目标对象执行AR测试任务过程中，终端设备可将虚拟目标对象的视野呈现在终端设备的屏幕上，当出现AR影像时，终端设备将该AR影像的相关信息(例如名称、呈现时长等)发送给服务端，以便于服务端与判断是否与指定的AR影像一致，如果一致则表明符合软件的测试要求。

为了更清楚地说明本申请实施例可取得的优势，以下以测试任务为考察在A商场内从位置或称点位S1行走至点位S2途中的AR效果为例，比较描述本申请实施例与常规测试的本质区别。假设按照AR软件的设计，用户佩戴AR眼镜或携带安装app的手机，能够看到从S1至S2的AR导航路线上，地面上叠加显示有虚拟的行进指示箭头，跟随行箭头走至途中P点位时用户能够看到空中悬浮一组卡通人物。

对于以上测试任务，常见的测试解决方案是测试人员将自己作为用户，在A商场内进行实地测试，在从点位S1行走至点位S2途中，测试人员需验证地面上是否出现虚拟的行进指示箭头，到达P点位时空中是否出现悬浮的卡通人物组。如果在测试设备上以上AR效果均能正常显示，可认为本次测试通过。

不同于这种常规的实地测试，采用本申请的实施例，测试人员不需要到达A商场内，测试人员在可连接到服务器的场所即可，通过测试用终端例如手机输入配置信息，上传至服务器后，服务器可根据配置信息调取数据库中A商场的建模数据，生成A商场的虚拟环境或称数字孪生，还生成测试任务和虚拟人，测试任务可以是令虚拟人从点位S1行走至点位S2，途径P点位。在虚拟人行进过程中，服务器将虚拟人“看到的”图像传回手机并播放出来，以此确认AR效果是否正常显示，达到测试目的，例如，如果图像中路面上叠加显示有虚拟的行进指示箭头，且在虚拟人到达P点位时空中出现悬浮的卡通人物组，可认为本次测试通过。

可以看出，利用本申请的实施例执行AR测试，不需要人员到场，而是在构建的虚拟环境中开展测试，达到测试目的，得到可靠的测试结果。因此，本申请的实施例能够应对当前AR产品测试中的痛点问题，使得现场测试不再是必不可少的环节，投入较低的时间成本和人力成本即可完成，有利于AR技术和产品的发布推广。

根据本申请的实施例，还可以包括以下处理：将该第一终端设备与该虚拟目标对象绑定；在该虚拟目标对象执行该测试任务过程中，通过调节该第一终端设备的位置和/或姿态而调节该虚拟目标对象在该虚拟环境中的位置和/或姿态。

这样处理的原因在于，为了确认测试效果，需要观察虚拟环境中的不同方位，因此在虚拟目标对象行进过程中，还需要改变虚拟目标对象的姿态，从而改变其视野范围。为了快速调节虚拟目标对象的姿态，可将测试用终端设备与虚拟目标对象绑定，如此，测试人员可通过改变终端设备的姿态而直接调节虚拟目标对象的姿态，调节过程快捷且直观。应用中，作为一种示例，可将终端设备安装在具有运动捕捉采集功能的硬件装置上，例如可多自由度调节的云台或支架，可快速调节终端设备的姿态，实现对虚拟目标对象的姿态调节。

根据本申请的实施例，还可以包括以下处理：在该虚拟目标对象执行AR测试任务过程中，如果该第一终端设备屏幕上出现指定的AR影像，则该第一终端设备向该服务端发送第一指示信息，用于指示该第一终端设备屏幕上已出现指定的AR影像。

相对应地，服务器接收到该第一指示信息后，可确定第一终端设备屏幕上已出现指定的AR影像。

这样处理的原因在于，在测试过程中，需要确认软件中设计好的AR效果是否正常展现，例如对于前文举例提到的在P点位应当出现的虚拟卡通人物，测试中，如果虚拟目标对象到达P点位时出现了该虚拟卡通人物，则可通过指示信息的方式通知服务器记录该内容。可选地，该第一指示信息中包括以下至少一项：预定格式的字符串、携带预定比特位的数据帧、预定格式的报文。测试之后，如果所有指定的AR效果均出现过，说明本次测试符合要求。

作为一种示例，该第一指示信息可以包括该第一终端设备屏幕上出现指定的AR影像时的屏幕图像，该屏幕图像用于再次测试时回放该指定的AR影像，如果再次测试时终端设备屏幕上出现同样的AR影像，则确定当前测试符合需求。

举例来讲，终端设备可以通过例如截屏、录屏等方式保留测试时出现的AR效果图像，可将AR效果图像及相关的时间信息、位置信息等均上传至服务器，还可保存在终端内存，用于后续测试时调用，可直观地比对多次测试的效果。

以上过程，也可以通过测试中的录制回放来代替，也就是，记录下当前测试过程中服务器与终端产生以及交互的数据信息，形成脚本(Script)程序，之后需要再次测试时可运行回放该脚本，便于对测试结果进行分析。

在本申请实施例的测试和应用过程中，在测试目的地改变、软件版本迭代或者软件运行环境改变，都应对AR产品再次进行测试，利用本申请上述实施例提供的方案，上报指示信息、上报AR效果图像或执行录制回放，可在多次测试中快速定位问题和解决问题，有利于解决AR软件回归测试和兼容测试的问题。

根据本申请的实施例，其中，根据测试配置信息生成AR测试任务和虚拟目标对象，可通过如下处理实现：

1)根据该第一目的地的建模数据和相关的全景图像数据，生成该第一目的地对应的虚拟环境；

2)生成虚拟目标对象，该虚拟目标对象位于该虚拟环境中；

3)生成AR测试任务，该AR测试任务包括该虚拟目标对象在该虚拟环境中沿指定路线从第一位置移动至第二位置。

此外，还可执行以下处理：

1)在该虚拟环境中设置多个可移动的虚拟辅助对象；

2)在该虚拟目标对象执行AR测试任务过程中，记录该虚拟目标对象和该虚拟辅助对象的定位信息。

详细来看，测试目的地例如A商场的建模数据和相关的全景图像数据均是可以预先获取的，例如通过深度摄像头或称AR摄像头扫描获取，还可以从外部直接获取(例如从A商场的建筑方或设计方获取)，存入系统数据库，需要构建测试目的地的虚拟数字孪生时，服务器可从数据库调用这部分数据进行建模，生成A商场对应的虚拟环境。

进一步，服务器可生成多个虚拟人以及AR测试任务，其中可以以一个虚拟人作为测试主体，与终端绑定，该虚拟人按照AR测试任务的路线行进，从第一位置出发到达第二位置，其余大量虚拟人可设置为在A商场的虚拟环境中随机移动，可尽可能地还原真实场景，有利于提高测试的鲁棒性。

根据本申请的实施例，可选地，该测试配置信息还包括第一终端设备的机型信息。也就是说，测试时，除了配置测试目的地之外，还可配置测试用的终端设备的机型，原因在于，不同机型终端设备为AR软件提供的计算环境不同，AR软件的表现也不同，例如显示位置、跳转方式等，需要确认各种机型下AR效果是否正常显示，便于及时调整相关程序指令，确保AR软件在不同机型终端设备上的表现符合设计要求。以下描述本申请实施例的两种情况。

·情况一：测试目的地相同，测试用终端机型不同

在待测试的AR应用的运行环境下，通过第二终端设备接收新的测试配置信息，其中新的测试配置信息包括第二目的地信息和第二终端设备的机型信息，第二终端设备所在位置不属于第二目的地，并且，第二目的地与第一目的地相同，第二终端设备的机型与第一终端设备的机型不同，(例如：第一终端设备为安卓系统H品牌手机，第二终端设备为安卓系统H品牌平板)；根据新的测试配置信息生成新的AR测试任务和新的虚拟目标对象，在新的虚拟目标对象执行新的测试任务后，确定第二终端设备上出现的AR影像与第一终端设备上出现的AR影像之间的差异信息，差异信息用于对AR应用进行修改。

·情况二：测试目的地不同，测试用终端机型相同

在待测试的AR应用的运行环境下，通过第三终端设备接收新的测试配置信息，其中新的测试配置信息包括第三目的地信息和第三终端设备的机型信息，第三终端设备所在位置不属于第三目的地，并且，第三目的地与第一目的地不同，第三终端设备的机型与第一终端设备的机型相同(例如：第一目的地为T城市的某商场，第三目的地为W城市的某地标建筑)；根据新的测试配置信息生成新的AR测试任务和新的虚拟目标对象，在新的虚拟目标对象执行新的测试任务后，确定第三终端设备上出现的AR影像与第一终端设备上出现的AR影像之间的差异信息，差异信息用于对AR应用进行修改。

以上通过多个实施例描述了本申请实施例的AR测试方法的实现方式以及带来的优势。以下结合具体的例子，详细描述本申请实施例的具体处理过程。

参考图5、图6和图7，作为一种示例，以下以测试终端为手机1、测试任务为路径导航为例，描述本申请实施例可以采取的具体操作过程。

参考图5，首先，可为手机1连接可视化操作界面，测试人员可通过可视化操作界面输入测试配置信息，例如输入以下配置信息：

●配置1：定位场景配置信息；例如，可定位测试目的地，例如为测试目的地的虚拟环境和内部场景可以预先生成，本实施例中以测试目的地为某5A级景区内的标志性城楼为例；

●配置2：虚拟人配置信息和行进路线配置信息；也就是，配置测试用的虚拟人及其行进路线，例如虚拟人的测试任务是在该5A景区标志性城楼的入口处为起点，沿参观路线行进，直至到达顶层；

●配置3：手机型号等配置信息；例如，可输入手机1的型号及其搭载的操作系统版本信息等。

然后，将配置1-3的信息发送给控制系统，由控制系统对配置信息进行对应的处理并入库，为后续步骤做好准备，其中控制系统的计算能力可由服务器提供。

其中，数据库中存储有测试目的地的扫描信息数据，包括建模所需的模型数据和全景图像等数据，这部分数据可事先由工作人员通过AR设备实景扫描后入库。以测试目的地的扫描数据为基础，结合前述的配置1-3的信息，可完成定位mock服务配置，还可完成对虚拟人和行进路线的配置(使虚拟人按照“配置2”中测试任务的行进路线移动)，还可完成整个测试过程与手机1型号的适配，例如根据手机1的显示屏比例或是否为可折叠屏，来适配AR影像在显示界面的布置、相关按钮的图例及位置等。

在本实施例中，将手机1与虚拟人绑定，通过调节手机可改变虚拟人行走的振幅、频率、姿态等。作为一种示例，可将手机1安置在运动捕捉采集模块上，例如安装在全自由度云台上，并设定其位姿调节模式，使手机1按照设定的方式改变姿态；此外，也可将手机1设置为随机运动，或者，也可由测试人员手持手机1改变其姿态。

参考图6，示意性地示出了按照AR软件设计，在测试过程中虚拟人601在该5A景区标志性城楼的虚拟环境中行进时应该出现的情景。其中，在道路602地面上显示有AR导航指示箭头702，虚拟人按照指示箭头702的方向行进，并且，在虚拟人601将要到达十字路口时，在空间中悬浮显示AR影像，具体为悬浮的虚拟旗帜701，作为一种示例，当虚拟人看到旗帜701时，代表即将到达AR导航的目的地(如城楼的顶层)。

为了测试AR软件是否正常运行，本次需要确认的AR效果主要是：虚拟人是否能够看到道路602地面上的AR导航指示箭头702，以及在虚拟人来到十字路口时，空中悬浮的旗帜701是否能够正常显示。

为此，根据本申请实施例的AR测试方案，测试人员可通过观察与虚拟人601绑定的手机的屏幕画面，来确认AR效果。为此，与图6相对应地，图7示意性地示出了与虚拟人601绑定的手机的屏幕画面。可以看到，图7中以虚拟人的视角展示了虚拟人的部分或全部视野，其中道路602’上叠加显示有虚拟的指示箭头702’，并且在十字路口可看到上方悬浮展示有旗帜701’。这说明，AR软件设计的AR影像能够正常展示，测试符合预期。

其中，注意到图6中的虚拟指示箭头702与图7中的虚拟指示箭头702’的图样并不完全相同，对于此类设计与表现不一致的问题，可在测试完毕之后，由工程师修正AR软件的程序指令，确保AR效果能够完整、准确的展示给用户。

以上过程对应于图5中控制系统根据运动捕捉采集模块获取与手机1绑定的虚拟人的位置信息、姿态信息，然后基于当前数据，对AR导航标识及其他AR内容渲染后展示在手机1上，本实施例中也就是虚拟的指示箭头702’和悬浮展示的旗帜701’；并且，在这些AR影像正常显示后，手机1可向控制系统发送指示信息，以确认AR效果；此外，手机1屏幕显示的图像可以同步展示在可视化界面上，提供AR效果展示，方便测试人员核实，确认测试效果。

由以上描述的过程可知，利用本申请实施例进行AR测试，不再需要测试人员到达测试目的地，而是由测试人员在异地远程操作即可完成测试，能够很好地解决实景测试导致的时间成本、人力成本过高的问题。

除此之外，测试过程中可记录手机1上出现的所有AR效果的图像，用于再次测试时可直接比对AR效果差异。

作为一种示例，还可设置录制回放模块，在虚拟人601执行测试任务过程中，记录下服务器与手机端的通讯信息，形成脚本，之后需要再次测试时可运行回放该脚本，分析测试结果。

如此，在再一次测试时，经过case样例筛选后，确定以手机2作为测试用终端，手机2的型号与手机1型号不同，因此配置的测试任务的具体展示方案与前一次使用手机1的测试配置可能有所不用，通过AR图像效果直接比对或者运行录制回放模块的脚本的方式，可以使测试人员快速便捷地发现不同型号终端设备在AR效果显示上的差异，便于工程师有针对性地修正程序指令。

此外，不同的产品形式之间也可能存在类似的差异，例如在手机app上与在小程序中的显示模式很可能不同，产品的不同版本之间也很可能存在显示效果的差异，均可基于上述任一种方式进行多次测试，在实现AR远程测试的基础上，有利于解决回归测试和兼容测试中的问题。

与本申请提供的方法对应地，本申请还提供一种AR测试装置。图8示出了本申请提供的一种对象数据处理装置的一个实施例的结构示意图。

如图8所示，AR测试装置100包括：

收发模块110，用于接收第一终端设备发送的测试配置信息，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地；

生成模块120，用于根据所述测试配置信息生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；

显示处理模块130，用于在所述虚拟目标对象执行AR测试任务的过程中，将所述虚拟目标对象自身的部分或全部视野范围显示在所述第一终端设备屏幕上；

确定模块140，用于在所述第一终端设备屏幕上出现指定的AR影像的情况下，确定当前AR应用符合测试需求。

与本申请提供的方法对应地，本申请还提供一种AR测试装置。图9示出了本申请提供的一种对象数据处理装置的一个实施例的结构示意图。

如图9所示，AR测试装置200包括：

收发处理模块210，用于在待测试的AR应用的运行环境下，接收外部输入的测试配置信息并发送至服务端；其中，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地，所述测试配置信息用于使所述服务端生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；

显示处理模块220，用于在所述虚拟目标对象执行AR测试任务的过程中，在屏幕上显示所述虚拟目标对象自身的部分或全部视野范围；

所述收发处理模块210还用于将屏幕上出现的AR影像的相关信息发送至所述服务端。

需要注意，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应理解，本文中所描述的实施例属于优选实施例，所涉及的动作、步骤、模块或单元等并不一定是本申请实施例所必须的。在上述实施例中，本申请实施例对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

图10为本申请实施例提供的一种电子设备10的结构示意图，电子设备10包括处理器11、存储器12以及用于连接处理器11和存储器12的通信总线，其中在存储器12中存储有可以在处理器11上运行的计算机程序，处理器11运行该计算机程序时可执行或称实现本申请中各个实施例的方法中的步骤。电子设备10可以是本申请实施例中的服务器，电子设备10也可以是云端服务器。电子设备10也可以是本申请实施例中的终端设备或AR设备。在合适的情况下电子设备也可称为计算设备.电子设备10也可以是云端服务器。电子设备10还包括通信接口，用于接收和发送数据。

在一些实施例中，处理器11可以是中央处理器(Central Processing Unit，CPU)、图形处理器(graphics processing unit，GPU)、应用处理器(application processor，AP)、调制解调处理器、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)等；处理器11还可以是其他通用处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器，也可以是任何常规的处理器等。其中，神经网络处理器NPU通过借鉴生物神经网络结构，可对输入信息快速处理，还可以不断进行自我学习。通过NPU电子设备10可以实现智能认知等应用，例如图像识别、人脸识别、语义识别、语音识别、文本理解等。

在一些实施例中，存储器12可以是电子设备10的内部存储单元，例如电子设备10的硬盘或内存；存储器12也可以是电子设备10的外部存储设备，例如电子设备10上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。存储器12还可以既包括电子设备10的内部存储单元也包括外部存储设备。存储器12可用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器12包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)或便携式只读存储器(compact disc read-only memory,CD-ROM)。存储器12用于存储电子设备10所执行的程序代码和所传输的数据。存储器12还可以用于暂时地存储已经输出或者将要输出的数据。

本领域技术人员可以理解，图10仅是电子设备10的举例，并不构成对电子设备10的限定，电子设备10可以包括比图示更多或更少的部件，或者组合某些部件，或者包括不同的部件，例如还可以包括输入输出设备、网络接入设备等。

图11是本申请实施例的终端设备的软件结构示意图。以手机操作系统为Android系统为例，在一些实施例中，将Android系统分为四层，分别为：应用程序层、应用程序框架层(framework，FWK)、系统层以及硬件抽象层，层与层之间通过软件接口通信。

首先，应用程序层可以包括多个应用程序包，应用程序包可以是例如通话、相机、视频、导航、天气、即时通讯、教育等各种应用程序app，也可以是基于AR技术的应用程序app。

第二，应用程序框架层FWK为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层可以包括一些预先定义的函数，例如用于接收应用程序框架层所发送的事件的函数。

应用程序框架层可以包括窗口管理器、资源管理器以及通知管理器等。

其中，窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

其中，资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

其中，通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

此外，应用程序框架层还可以包括视图系统，视图系统包括可视控件，例如显示文字的控件、显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的，例如短信通知图标的显示界面上可以包括显示文字的视图以及显示图片的视图。

第三，系统层可以包括多个功能模块，例如传感器服务模块、物理状态识别模块、三维图形处理库(例如：OpenGLES)，等等。

其中，传感器服务模块用于对硬件层各类传感器上传的传感器数据进行监测，确定手机的物理状态；物理状态识别模块用于对用户手势、人脸等进行分析和识别；三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

此外，系统层还可以包括表面管理器和媒体库。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。

最后，硬件抽象层是硬件和软件之间的层。硬件抽象层可以包括显示驱动、摄像头驱动、传感器驱动等，用于驱动硬件层的相关硬件，如显示屏、摄像头、传感器等。

本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序或指令，该计算机程序或指令被执行时以实现上述实施例中所设计的方法中的步骤。

本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被执行时以实现上述实施例中所设计的方法中的步骤。示例性的，该计算机程序产品可以为一个软件安装包。

本领域技术人员应该知悉，本申请实施例所描述的方法、步骤或者相关模块/单元的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式来实现，也可以是由处理器执行计算机程序指令的方式来实现。其中，该计算机程序产品包括至少一个计算机程序指令，计算机程序指令可以由相应的软件模块组成，软件模块可以被存放于RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。该计算机程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。例如，该计算机程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质、或者半导体介质(如SSD)等。

关于上述实施例中描述的各个装置/产品，其中包含的模块/单元可以是软件模块/单元，也可以是硬件模块/单元，还可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用或集成于芯片的装置/产品，其包含的各个模块/单元可以都用电路等硬件的方式实现，或者，至少部分模块/单元采用软件程序的方式实现，运行于芯片内部集成的处理器，剩余的部分模块/单元采用电路等硬件方式实现。又如，对于应用或集成于终端的装置/产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元采用软件程序的方式实现，运行于终端内部集成的处理器，剩余部分模块/单元可以采用电路等硬件方式实现。

应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (24)

1.一种增强现实AR测试方法，应用于服务端，其特征在于，所述AR测试方法包括：

服务端接收第一终端设备发送的测试配置信息，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地；

所述服务端根据所述测试配置信息生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；

在所述虚拟目标对象执行AR测试任务的过程中，所述服务端将所述虚拟目标对象自身的部分或全部视野范围显示在所述第一终端设备屏幕上；

在所述第一终端设备屏幕上出现指定的AR影像的情况下，所述服务端确定当前AR应用符合测试需求。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述第一终端设备与所述虚拟目标对象绑定；

在所述虚拟目标对象执行所述测试任务过程中，通过调节所述第一终端设备的位置和/或姿态而调节所述虚拟目标对象在所述虚拟环境中的位置和/或姿态。

3.根据权利要求1所述的方法，其特征在于，还包括：

在所述虚拟目标对象执行AR测试任务过程中，接收所述第一终端设备发送的第一指示信息，用于指示所述第一终端设备屏幕上已出现指定的AR影像。

4.根据权利要求3所述的方法，其特征在于，

所述第一指示信息中包括以下至少一项：预定格式的字符串、携带预定比特位的数据帧、预定格式的报文。

5.根据权利要求3所述的方法，其特征在于，

所述第一指示信息包括所述第一终端设备屏幕上出现指定的AR影像时的屏幕图像，所述屏幕图像用于再次测试时回放所述指定的AR影像，如果再次测试时终端设备屏幕上出现同样的AR影响，则确定当前AR应用符合测试需求。

6.根据权利要求1所述的方法，其特征在于，所述根据所述测试配置信息生成AR测试任务和虚拟目标对象，包括：

根据所述第一目的地的建模数据和相关的全景图像数据，生成所述第一目的地对应的虚拟环境；

生成虚拟目标对象，所述虚拟目标对象位于所述虚拟环境中；

生成AR测试任务，所述AR测试任务包括所述虚拟目标对象在所述虚拟环境中沿指定路线从第一位置移动至第二位置。

7.根据权利要求6所述的方法，其特征在于，还包括：

在所述虚拟环境中设置多个可移动的虚拟辅助对象；

在所述虚拟目标对象执行AR测试任务过程中，记录所述虚拟目标对象和所述虚拟辅助对象的定位信息。

8.根据权利要求1所述的方法，其特征在于，所述测试配置信息还包括所述第一终端设备的机型信息。

9.根据权利要求8所述的方法，其特征在于，还包括：

在所述待测试的AR应用的运行环境下，通过第二终端设备接收新的测试配置信息，其中新的测试配置信息包括第二目的地信息和所述第二终端设备的机型信息，所述第二终端设备所在位置不属于所述第二目的地，并且，所述第二目的地与所述第一目的地相同，所述第二终端设备的机型与所述第一终端设备的机型不同；

根据新的测试配置信息生成新的AR测试任务和新的虚拟目标对象，在新的虚拟目标对象执行新的测试任务后，确定所述第二终端设备上出现的AR影像与所述第一终端设备上出现的AR影像之间的差异信息，所述差异信息用于对所述AR应用进行修改。

10.根据权利要求8所述的方法，其特征在于，还包括：

在所述待测试的AR应用的运行环境下，通过第三终端设备接收新的测试配置信息，其中新的测试配置信息包括第三目的地信息和所述第三终端设备的机型信息，所述第三终端设备所在位置不属于所述第三目的地，并且，所述第三目的地与所述第一目的地不同，所述第三终端设备的机型与所述第一终端设备的机型相同；

根据新的测试配置信息生成新的AR测试任务和新的虚拟目标对象，在新的虚拟目标对象执行新的测试任务后，确定所述第三终端设备上出现的AR影像与所述第一终端设备上出现的AR影像之间的差异信息，所述差异信息用于对所述AR应用进行修改。

11.一种增强现实AR测试方法，应用于终端设备，其特征在于，所述AR测试方法包括：

在待测试的AR应用的运行环境下，第一终端设备接收外部输入的测试配置信息并发送至服务端；其中，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地，所述测试配置信息用于使所述服务端生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；

在所述虚拟目标对象执行AR测试任务的过程中，所述第一终端设备在屏幕上显示所述虚拟目标对象自身的部分或全部视野范围；

所述第一终端设备将屏幕上出现的AR影像的相关信息发送至所述服务端。

12.根据权利要求11所述的方法，其特征在于，还包括：

所述第一终端设备与所述虚拟目标对象绑定；

在所述虚拟目标对象执行AR测试任务过程中，通过调节所述第一终端设备的位置和/或姿态而调节所述虚拟目标对象在所述虚拟环境中的位置和/或姿态。

13.根据权利要求11所述的方法，其特征在于，还包括：

在所述虚拟目标对象执行AR测试任务过程中，如果所述第一终端设备屏幕上出现指定的AR影像，则所述第一终端设备向所述服务端发送第一指示信息，用于指示所述第一终端设备屏幕上已出现指定的AR影像。

14.根据权利要求13所述的方法，其特征在于，

所述第一指示信息中包括以下至少一项：预定格式的字符串、携带预定比特位的数据帧、预定格式的报文。

15.根据权利要求13所述的方法，其特征在于，

所述第一指示信息包括所述第一终端设备屏幕上出现指定的AR影像时的屏幕图像，所述屏幕图像用于再次测试时回放所述指定的AR影像，如果再次测试时终端设备屏幕上出现同样的AR影像，则确定当前AR应用符合测试需求。

16.根据权利要求1所述的方法，其特征在于，所述测试配置信息还包括所述第一终端设备的机型信息。

17.根据权利要求16所述的方法，其特征在于，还包括：

在所述待测试的AR应用的运行环境下，第二终端设备接收新的测试配置信息并发送至所述服务端，其中新的测试配置信息包括第二目的地信息和所述第二终端设备的机型信息，所述第二终端设备所在位置不属于所述第二目的地，并且，所述第二目的地与所述第一目的地相同，所述第二终端设备的机型与所述第一终端设备的机型不同；

在所述服务端根据新的测试配置信息生成新的AR测试任务和新的虚拟目标对象之后，在新的虚拟目标对象执行新的AR测试任务时，所述第二终端设备在屏幕上显示新的虚拟目标对象自身的部分或全部视野范围；

所述第二终端设备确定自身屏幕上出现的AR影像与所述第一终端设备屏幕上出现的AR影像之间的差异信息，所述差异信息用于对所述AR应用进行修改。

18.根据权利要求16所述的方法，其特征在于，还包括：

在所述待测试的AR应用的运行环境下，第三终端设备接收新的测试配置信息并发送至所述服务端，其中新的测试配置信息包括第三目的地信息和所述第三终端设备的机型信息，所述第三终端设备所在位置不属于所述第三目的地，并且，所述第三目的地与所述第一目的地不同，所述第三终端设备的机型与所述第一终端设备的机型相同；

在所述服务端根据新的测试配置信息生成新的AR测试任务和新的虚拟目标对象之后，在新的虚拟目标对象执行新的AR测试任务时，所述第三终端设备在屏幕上显示新的虚拟目标对象自身的部分或全部视野范围；

所述第三终端设备确定自身屏幕上出现的AR影像与所述第一终端设备屏幕上出现的AR影像之间的差异信息，所述差异信息用于对所述AR应用进行修改。

19.一种增强现实AR测试装置，其特征在于，包括：

收发模块，用于接收第一终端设备发送的测试配置信息，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地；

生成模块，用于根据所述测试配置信息生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；

显示处理模块，用于在所述虚拟目标对象执行AR测试任务的过程中，将所述虚拟目标对象自身的部分或全部视野范围显示在所述第一终端设备屏幕上；

确定模块，用于在所述第一终端设备屏幕上出现指定的AR影像的情况下，确定当前AR应用符合测试需求。

20.一种增强现实AR测试装置，其特征在于，包括：

收发处理模块，用于在待测试的AR应用的运行环境下，接收外部输入的测试配置信息并发送至服务端；其中，所述测试配置信息包括第一目的地信息，所述第一终端设备所在位置不属于所述第一目的地，所述测试配置信息用于使所述服务端生成AR测试任务和虚拟目标对象，所述虚拟目标对象用于在所述第一目的地对应的虚拟环境中执行所述AR测试任务；

显示处理模块，用于在所述虚拟目标对象执行AR测试任务的过程中，在屏幕上显示所述虚拟目标对象自身的部分或全部视野范围；

所述收发处理模块还用于将屏幕上出现的AR影像的相关信息发送至所述服务端。

21.一种服务端设备，其特征在于，包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-10中任一项所述的方法。

22.一种终端设备，其特征在于，包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求11-18中任一项所述的方法。

23.一种计算机可读存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-18中任一项所述的方法。

24.一种计算机程序产品，其特征在于，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-18中任一项所述的方法。

Images