CN107844418A - 应用与终端兼容性测评方法及系统 - Google Patents

Abstract

本发明公开了一种应用与终端兼容性测评方法及系统，其中方法包括：按如下方式控制目标终端对待测应用进行操作：控制目标终端安装待测应用，若安装成功，则：控制目标终端启动待测应用，若启动成功，则：控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；在上述控制目标终端对待测应用进行操作的过程中收集操作结果；根据收集的操作结果确定待测应用与目标终端的兼容性级别。本发明可以定性地评估应用与终端的兼容性，形成较为完善的自动化测评方案，便于指导应用和终端提供者进行产品优化，提升用户体验。

Description

应用与终端兼容性测评方法及系统

技术领域

本发明涉及软件测试技术领域，尤其涉及应用与终端兼容性测评方法及系统。

背景技术

得益于通信网络环境的持续改善、软硬件技术的不断创新，终端产业发展迅猛。终端包括智能手机、平板、智能电视等，现已成为人们日常生活中的基本设施，终端上的应用为人们生活的方方面面提供服务，其数量和种类也得到了爆发式的增长，无论是安卓系统还是ios系统，应用的数目都早已超过了百万级，并且还在不断增长。海量应用的出现导致了应用之间的同质化严重，如何使应用能够在激烈的竞争中脱颖而出，获得用户的认可，保证应用能够在终端上的正常使用是保证用户体验的基础。而终端种类繁多，不同的操作系统、屏幕、芯片、厂商品牌都可能导致应用无法在所有终端上都能良好运行。因此，应用与终端的兼容性就成了应用或终端开发时需要考虑的关键问题，然而在现有技术中并没有提供较为完善的应用与终端的兼容性测评方案。

发明内容

本发明实施例提供一种应用与终端兼容性测评方法，用以提供较为完善的应用与终端的兼容性测评方案，该方法包括：

按如下方式控制目标终端对待测应用进行操作：

控制目标终端安装待测应用，若安装成功，则：

控制目标终端启动待测应用，若启动成功，则：

控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；

在上述控制目标终端对待测应用进行操作的过程中收集操作结果；

根据收集的操作结果确定待测应用与目标终端的兼容性级别。

本发明实施例还提供了一种应用与终端兼容性测评系统，用以提供较为完善的应用与终端的兼容性测评方案，该系统包括：

测试服务器，用于按如下方式控制目标终端对待测应用进行操作：

控制目标终端安装待测应用，若安装成功，则：

控制目标终端启动待测应用，若启动成功，则：

控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；

评估服务器，用于在上述控制目标终端对待测应用进行操作的过程中收集操作结果；根据收集的操作结果确定待测应用与目标终端的兼容性级别。

在本发明实施例中，控制目标终端安装待测应用，若安装成功，则控制目标终端启动待测应用，若启动成功，则控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；并在这些操作的过程中收集操作结果，根据收集的操作结果确定待测应用与目标终端的兼容性级别，充分考虑到了不同的兼容性级别对用户的影响不同，从而定性地评估应用与终端的兼容性，形成较为完善的自动化测评方案，实现应用与终端兼容性测评，便于指导应用和终端提供者进行产品优化，提升用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中应用与终端兼容性测评方法的示意图；

图2为本发明实施例中应用与终端的兼容性测评的一具体实例图；

图3为本发明实施例中兼容性评估报告的一示例图；

图4为本发明实施例中兼容性评估报告的另一示例图；

图5为本发明实施例中应用与终端兼容性测评系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

发明人考虑到，在对应用与终端的兼容性进行测评时，需要考虑到不同的兼容性程度对用户的影响不同，从而对兼容性情况进行深入的定性分析，以此形成较为完善的自动化测评方案，因此，在本发明实施例中提出了一种应用与终端兼容性测评方法。

图1为本发明实施例中应用与终端兼容性测评方法的示意图，如图1所示，该方法可以包括：

步骤10、按如下方式控制目标终端对待测应用进行操作：步骤101、控制目标终端安装待测应用，若安装成功，则：步骤102、控制目标终端启动待测应用，若启动成功，则：步骤103、控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；

步骤20、在上述控制目标终端对待测应用进行操作的过程中收集操作结果；根据收集的操作结果确定待测应用与目标终端的兼容性级别。

由图1所示流程可以得知，在本发明实施例中，充分考虑到了不同的兼容性级别对用户的影响不同，从而定性地评估应用与终端的兼容性，形成较为完善的自动化测评方案，实现应用兼容性测评，便于指导应用和终端提供者进行产品优化，提升用户体验。本发明实施例中，终端包括智能手机、平板电脑、智能手表、网络电视等，当然根据实际需求还可以是其它类型的终端。

本发明实施例能够自动的实现大量操作结果相关测试数据的分析及评估工作。实施例中可以用自动化测试平台获得测试数据，通过机器分析确定应用与终端之间的适配情况。一方面可帮助应用开发者对应用的兼容性进行提升，另一方面终端作为应用的载体，应用的不良质量可以直接导致用户对终端的抱怨，本发明实施例也可以用于终端制造厂商在发布新产品前预知市面上应用的问题，减少用户投诉，提升终端用户体验。

在本发明实施例中，通过将待测应用安装到目标终端上进行操作，记录操作结果相关测试数据，并对测试结果进行自动化分析来实现应用的兼容性测评。

具体实施时，按如下方式控制目标终端对待测应用进行操作：控制目标终端安装待测应用，若安装成功，则：控制目标终端启动待测应用，若启动成功，则：控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作。其中，目标终端可以是一个或多个目标终端；和/或，待测应用可以是一个或多个待测应用。即，可以将一个或多个待测应用安装到一个或多个目标终端，在目标终端上对待测应用进行操作，再收集操作过程中的操作结果相关测试数据，并进行处理，生成最终的测评结果。

实施例中，可以根据应用开发者选定的一个或多个终端，将待测应用安装到选定的一个或多个目标终端上进行测试；还根据终端制造商选定的一个或多个应用，将选定的一个或多个应用安装到待测终端上进行测试。一方面，可以通过选定多个目标终端，帮助应用开发者在应用开发迭代过程中快速的了解应用在目标用户的终端上的兼容性情况，指导应用开发者提升应用的使用体验；另一方面，可以通过选定多个应用，帮助终端制造商了解终端对于市场主流的应用的兼容性情况，指导终端制造商提升终端的使用体验。因此，本发明实施例的应用兼容性测评方法不仅可以针对应用进行兼容性测评，还可以进行针对终端的兼容性测评。

控制目标终端安装待测应用，若安装成功，则控制目标终端启动待测应用，若启动成功，则控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作。其中，随机操作可以包括对待测应用进行随机的点击、滑屏等操作。例如，通过Monkey随机操作5分钟，Monkey是一种随机操作方式，根据设置的参数，随机的产生点击、滑屏等参数。需要指出的是，在本实施例中，操作时间作为一个例子来说明，不局限于该时间长度，可根据实际需求适当延长或缩短。

遍历操作可以包括对待测应用的功能进行遍历，全面了解待测应用在终端上运行的兼容性情况。遍历操作可以通过自动化脚本实现，例如，通过自动化脚本控制终端对待测应用一个界面上所有可操作控件进行操作，包括：点击，滑动，输入，退出等，经过反复操作，遍历待测应用所有功能。

随机操作相比于遍历操作，操作程度较低、持续时间较短，可以用于一些对兼容性要求不高的应用，可以提高测试效率，降低测试成本。

在上述控制目标终端对待测应用进行操作的过程中收集操作结果，例如可以包括：在上述控制目标终端对待测应用进行操作的过程中收集目标终端的系统日志和屏幕截图；对收集的目标终端的系统日志和屏幕截图进行分析，确定操作结果。实施例中可以通过日志分析、图像识别、OCR文字等方法对收集的目标终端的系统日志和屏幕截图进行分析，确定操作结果。

不同级别的兼容性问题对用户流失造成的严重性不同，比如如果应用启动失败，会导致用户直接卸载应用，如果应用在使用功能过程中出现UI异常，如出现黑边，用户可能会选择忽略此异常，继续使用应用。因此不同的兼容性问题对用户的影响不同，在本发明实施例中提出一套完善的评估方法指导应用进行策略优化。具体的，提出用不同的兼容性级别来反映不同的兼容性问题对用户的影响。

实施时，根据收集的操作结果确定待测应用与目标终端的兼容性级别。例如：

若操作结果为待测应用安装失败，则确定待测应用与目标终端不兼容；

若操作结果为待测应用启动失败，则确定待测应用与目标终端不兼容；

若操作结果为待测应用启动成功，则确定待测应用与目标终端为一级兼容；

若操作结果为待测应用在随机操作过程中未出现异常现象，则确定待测应用与目标终端为二级兼容；

若操作结果为待测应用在遍历操作过程中未出现异常现象，则确定待测应用与目标终端为三级兼容；

其中，一级兼容比二级兼容的兼容性程度低，二级兼容比三级兼容的兼容性程度低。

图2为本发明实施例中应用与终端的兼容性测评的一具体实例图，如图2所示，在本例中，将待测应用安装到目标终端上，如果安装失败，则应用与终端不兼容。进一步地，启动应用，如果启动成功，则应用与终端为一级兼容，表示应用在目标终端上有了基本可用性，否则为应用与终端不兼容。进一步地，分别执行两种操作。一种是随机操作，例如通过Monkey操作5分钟，根据设置的参数，随机的产生点击、滑屏等参数。如果在随机操作过程中未发现异常现象，则认为应用与终端为二级兼容。另一种是遍历应用的功能，例如采用测试脚本对应用的主要功能进行自动化测试，如果在遍历操作过程中未发现异常现象，则认为应用与终端为三级兼容。其中，一级兼容比二级兼容的兼容性程度低，二级兼容比三级兼容的兼容性程度低。

上述异常现象可以包括：无响应、黑屏、白屏、强制关闭、闪退、UI异常、功能异常等之一或组合。其中：

无响应(Application Not Responding)：指应用在使用过程中卡死在某一页面，无法操作，且等待一段时间后，系统弹出应用无响应提示信息；

黑/白屏(Black/White Screen)：指应用在使用过程中屏幕变黑或者变白；

强制关闭(Force Close)：指应用在启动或者使用过程中崩溃，导致无法使用，终端屏幕弹出弹框提示应用发生错误，强制停止；

闪退(Flash Back)：指应用在启动或者使用过程中崩溃，应用程序画面一闪而过，随即退回到桌面，并且系统未给出其他提示；

UI异常(User Interface abnormity)：指应用的图形界面没有能够开发者设计预期正常的适配屏幕，出现字体大小失真、黑边、屏幕未填满、图像显示不全等现象；

功能异常(Function abnormity)：指在操作过程中，应用未能按照开发者的目的给出正确的响应的状态。

在确定待测应用与目标终端的兼容性级别之后，还可以生成兼容性评估报告。举例来讲，应用开发者选择目标用户使用的终端进行测试，通过一个应用在多个终端上测试，了解应用的总体兼容性情况，图3是兼容性评估报告的例子，图中√表示应用与终端通过这一级的兼容性测试。╳表示应用与终端不满足这一级的兼容性。同样，另外一个例子，终端制造商选择市场主流的应用进行测试，比如应用市场上排名TOP1000的应用，通过多个应用在目标终端上的测试，了解终端的总体兼容性情况，图4是兼容性评估报告的例子，图中√表示应用与终端通过这一级的兼容性测试。╳表示应用与终端不满足这一级的兼容性。

在兼容性评估报告中，还可以统计待测应用在各终端上各个兼容性级别的通过率，判断待测应用或待测终端的兼容适配情况。比如：若待测应用在各终端上三级兼容通过率高于80％，说明该待测应用在大多数终端上都能完全兼容，则该待测应用的兼容适配性优秀；又比如：若一个待测终端上的各应用二级兼容通过率不足20％，说明该终端无法良好兼容所选的多数应用，则判断该待测终端兼容适配性较差。当然，上述评判标准仅为本发明一个实施例而已，具体实施时可以根据不同应用或终端的具体兼容性要求设定不同的评判标准，本发明并不以此为限。

本发明实施例中还提供了一种应用与终端兼容性测评系统，如下面的实施例所述。由于该系统解决问题的原理和应用与终端兼容性测评方法相似，因此该系统的实施可以参见应用与终端兼容性测评方法的实施，重复之处不再赘述。

本发明实施例还提供了一种应用与终端兼容性测评系统，如图5所示，该系统可以包括：

测试服务器，用于按如下方式控制目标终端对待测应用进行操作：

控制目标终端安装待测应用，若安装成功，则：

控制目标终端启动待测应用，若启动成功，则：

控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；

评估服务器，用于在上述控制目标终端对待测应用进行操作的过程中收集操作结果；根据收集的操作结果确定待测应用与目标终端的兼容性级别。

如图5所示，终端可以通过网络链接到测试服务器和评估服务器，也可以直接与两个服务器线路连接。服务器可以连接一个目标终端，也可以连接多个目标终端并行测试，以提高测评效率。

一个实施例中，所述目标终端为一个或多个目标终端；和/或，所述待测应用为一个或多个待测应用。

一个实施例中，所述评估服务器具体用于：

在上述控制目标终端对待测应用进行操作的过程中收集目标终端的系统日志和屏幕截图；

对收集的目标终端的系统日志和屏幕截图进行分析，确定操作结果。

一个实施例中，所述评估服务器具体用于：

若操作结果为待测应用安装失败，则确定待测应用与目标终端不兼容；

若操作结果为待测应用启动失败，则确定待测应用与目标终端不兼容；

若操作结果为待测应用启动成功，则确定待测应用与目标终端为一级兼容；

若操作结果为待测应用在随机操作过程中未出现异常现象，则确定待测应用与目标终端为二级兼容；

若操作结果为待测应用在遍历操作过程中未出现异常现象，则确定待测应用与目标终端为三级兼容；

其中，一级兼容比二级兼容的兼容性程度低，二级兼容比三级兼容的兼容性程度低。

一个实施例中，所述异常现象包括：无响应、黑屏、白屏、强制关闭、闪退、UI异常、功能异常之一或组合。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述应用与终端兼容性测评方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述应用与终端兼容性测评方法的计算机程序。

综上所述，在本发明实施例中，控制目标终端安装待测应用，若安装成功，则控制目标终端启动待测应用，若启动成功，则控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；并在这些操作的过程中收集操作结果，根据收集的操作结果确定待测应用与目标终端的兼容性级别，充分考虑到了不同的兼容性级别对用户的影响不同，从而定性地评估应用与终端的兼容性，形成较为完善的自动化测评方案，实现应用兼容性测评，便于指导应用和终端提供商进行产品优化，提升用户体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种应用与终端兼容性测评方法，其特征在于，包括：

按如下方式控制目标终端对待测应用进行操作：

控制目标终端安装待测应用，若安装成功，则：

控制目标终端启动待测应用，若启动成功，则：

控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；

在上述控制目标终端对待测应用进行操作的过程中收集操作结果；

根据收集的操作结果确定待测应用与目标终端的兼容性级别。

2.如权利要求1所述的方法，其特征在于，所述目标终端为一个或多个目标终端；和/或，所述待测应用为一个或多个待测应用。

3.如权利要求1所述的方法，其特征在于，所述在上述控制目标终端对待测应用进行操作的过程中收集操作结果，包括：

在上述控制目标终端对待测应用进行操作的过程中收集目标终端的系统日志和屏幕截图；

对收集的目标终端的系统日志和屏幕截图进行分析，确定操作结果。

4.如权利要求1至3任一项所述的方法，其特征在于，所述根据收集的操作结果确定待测应用与目标终端的兼容性级别，包括：

若操作结果为待测应用安装失败，则确定待测应用与目标终端不兼容；

若操作结果为待测应用启动失败，则确定待测应用与目标终端不兼容；

若操作结果为待测应用启动成功，则确定待测应用与目标终端为一级兼容；

若操作结果为待测应用在随机操作过程中未出现异常现象，则确定待测应用与目标终端为二级兼容；

若操作结果为待测应用在遍历操作过程中未出现异常现象，则确定待测应用与目标终端为三级兼容；

其中，一级兼容比二级兼容的兼容性程度低，二级兼容比三级兼容的兼容性程度低。

5.如权利要求4所述的方法，其特征在于，所述异常现象包括：无响应、黑屏、白屏、强制关闭、闪退、UI异常、功能异常之一或组合。

6.一种应用与终端兼容性测评系统，其特征在于，包括：

测试服务器，用于按如下方式控制目标终端对待测应用进行操作：

控制目标终端安装待测应用，若安装成功，则：

控制目标终端启动待测应用，若启动成功，则：

控制目标终端对待测应用进行随机操作，及对待测应用的功能进行遍历操作；

评估服务器，用于在上述控制目标终端对待测应用进行操作的过程中收集操作结果；根据收集的操作结果确定待测应用与目标终端的兼容性级别。

7.如权利要求6所述的系统，其特征在于，所述目标终端为一个或多个目标终端；和/或，所述待测应用为一个或多个待测应用。

8.如权利要求6所述的系统，其特征在于，所述评估服务器具体用于：

在上述控制目标终端对待测应用进行操作的过程中收集目标终端的系统日志和屏幕截图；

对收集的目标终端的系统日志和屏幕截图进行分析，确定操作结果。

9.如权利要求6至8任一项所述的系统，其特征在于，所述评估服务器具体用于：

若操作结果为待测应用安装失败，则确定待测应用与目标终端不兼容；

若操作结果为待测应用启动失败，则确定待测应用与目标终端不兼容；

若操作结果为待测应用启动成功，则确定待测应用与目标终端为一级兼容；

若操作结果为待测应用在随机操作过程中未出现异常现象，则确定待测应用与目标终端为二级兼容；

若操作结果为待测应用在遍历操作过程中未出现异常现象，则确定待测应用与目标终端为三级兼容；

其中，一级兼容比二级兼容的兼容性程度低，二级兼容比三级兼容的兼容性程度低。

10.如权利要求9所述的系统，其特征在于，所述异常现象包括：无响应、黑屏、白屏、强制关闭、闪退、UI异常、功能异常之一或组合。