CN111694752A - 应用测试方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及测试领域，公开了一种应用测试方法、电子设备及存储介质。本发明中，获取应用的特征信息；根据特征信息生成应用中的控件的测试规则；根据测试规则对应用中的控件进行自动遍历测试，并生成测试结果。根据直接获取的特征信息生成测试规则，可以减少编写脚本所需的人力成本，简化了测试脚本的编写难度，提高了测试效率。另外，基于收集的特征信息对应用的控件进行测试，使测试的内容更加灵活，丰富了测试的业务场景，提高测试的覆盖率使测试结果更为全面。

Description

应用测试方法、电子设备及存储介质

技术领域

本发明实施例涉及测试领域，特别涉及一种应用测试方法、电子设备及存储介质。

背景技术

随着终端设备的发展，为满足用户的需求，研发人员开发的应用程序的界面中包含的功能越来越丰富，实现丰富功能的同时应用程序也较为容易出现操作问题，这时就需要对应用程序进行测试，提前发现应用程序中可能会出现的问题。在对应用程序进行测试时，通常采用手动编写大量的代码来模拟对应用程序的操作，根据测试结果得到应用程序中可能出现的问题。

发明人发现相关技术中至少存在如下问题：测试人员需要针对不同的控件编写不同的代码进行模拟测试，在应用程序中的控件类型和数量较多的情况下，编写难度大大增加，且代码的编写效率较低，降低了测试的效率。另一方面测试人员编写代码的数量有限，测试场景有限，也就导致测试的结果无法覆盖到应用程序的所有应用场景，测试的场景覆盖率较低。

发明内容

本发明实施例的目的在于提供一种应用测试方法、电子设备及存储介质。降低自动遍历实现难度，提高测试覆盖率。

为解决上述技术问题，本发明的实施例提供了一种应用测试方法，包括：获取应用的特征信息；根据特征信息生成应用中的控件的测试规则；根据测试规则对应用中的控件进行自动遍历测试，并生成测试结果。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述应用测试方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述应用测试方法。

本发明实施例相对于现有技术而言，利用获取的应用的特征信息生成测试规则，基于生成的测试规则对应用中的控件进行测试，特征信息可以在应用数据统计平台中直接获取，根据直接获取的特征信息生成测试规则，可以减少编写脚本所需的人力成本，简化了测试脚本的编写难度，提高了测试效率。另外，基于收集的特征信息对应用的控件进行测试，使测试的内容更加灵活，丰富了测试的业务场景，提高测试的覆盖率使测试结果更为全面。

另外，根据特征信息生成应用中的控件的测试规则，包括：识别特征信息中包含的控件；其中，特征信息至少包括应用场景信息和应用界面信息；获取控件的属性；其中，属性包括，控件对应的操作方式和控件对应的测试顺序；根据控件的属性生成应用中的控件的测试规则。

另外，根据测试规则对应用中的控件进行自动遍历测试，包括：若控件为弹框上的控件，则获取控件对应的操作和操作位置；根据控件对应的操作和操作位置更新控件的测试规则；根据更新后的测试规则对控件进行自动遍历测试。在对弹框上的控件进行测试之前，获取控件的属性，避免由于控件的属性发生变化而导致测试失败。

另外，在根据测试数据生成测试结果之后，还包括：将测试结果与预期结果进行比对；统计测试结果中不符合预期结果的信息作为错误信息；确定错误信息对应的控件的操作信息；根据控件的操作信息对控件进行循环测试，直至测试结果符合预期结果或循环测试的次数达到预设阈值，停止循环测试。这样做如果错误信息中包括由于网络因素导致的错误，在循环过程中测试结果会出现符合预期结果的情况，从而排除由于网络异常原因导致的错误结果，对错误结果进行筛选，使测试的结果更可以反映应用自身存在的问题。

另外，在生成测试结果之前，还包括：利用插件采集自动遍历测试的测试数据；其中，测试数据包括日志数据，网络请求数据，卡顿数据和性能数据；生成测试结果，包括：根据测试数据生成测试结果。利用插件在测试过程中采集测试数据，使生成的测试结果更加准确。

另外，根据测试数据生成测试结果，包括：在日志信息中查找表征异常情况的目标日志；截取目标日志作为测试结果。这样做便于查找到问题出现的位置及出现的原因。

另外，在生成测试结果之后，还包括：获取应用的历史测试结果；对生成的测试结果和历史测试结果的区别之处进行标记。利用历史测试的记录简化对测试结果的分析，更加简单直观的找到应用程序中出现的问题。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施例的应用测试方法的流程图；

图2是根据本发明第一实施例的测试规则的配置界面的示意图；

图3是根据本发明第一实施例的测试结果的示意图；

图4是根据本发明第一实施例的测试结果与历史测试结果的比对结果的示意图；

图5是根据本发明第二实施例的应用测试方法的流程图；

图6是根据本发明第三实施例的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的第一实施例涉及一种应用测试方法，包括：获取应用的特征信息；根据特征信息生成应用中的控件的测试规则；根据测试规则对应用中的控件进行自动遍历测试，并生成测试结果。降低了自动遍历实现难度，提高了测试的覆盖率。下面对本实施例的应用测试方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例中涉及的应用测试方法，如图1所示，包括：

步骤101，获取应用的特征信息。

具体地说，应用的特征信息包括应用的点击停留频率高的界面，点击频率高的控件以及经常出现问题的场景等。测试设备通过网络爬虫技术，从公司内部的商业智能BI系统、友盟以及投诉系统等第三方数据统计平台上获取特征信息，将获取到的特征信息记录在数据集中，以便之后直接获取特征信息并对特征信息进行处理。

步骤102，根据特征信息生成应用中的控件的测试规则。

具体地说，将特征信息抽象具体化成配置文件可识别的已经约定好的格式，作为应用中控件的测试规则，在运行配置文件时根据测试规则对特征信息进行自动遍历。在根据特征信息生成应用中的控件的测试规则时，识别特征信息包括的控件名称，根据控件名称对应查找到控件的操作方式和控件的测试顺序等控件属性，根据查找到的控件属性生成控件的测试规则，根据生成的测试规则中的控件测试顺序对特征信息中的所有控件进行遍历。例如，特征信息为点击频率高的控件，则根据测试规则中规定的控件测试顺序，对点击频率高的控件依次进行操作；特征信息为点击停留频率高的界面时，则根据测试规则易预设的测试顺序对界面上的所有控件进行操作，等等。另外，控件的名称和控件的操作对应记录在数据集中，在测试时基于控件的名称即可查找到该控件对应的操作，对控件的操作包括，点击操作，输入操作等等。

另外，测试规则可以利用可视化的界面进行配置，配置的界面如图2所示，界面中包括测试的各种场景选项，通过可视化的界面，选择重点测试的场景，用户可以在单选、多选或自定义所需重点测试的场景，若只选择一个选项，如选择登录选项，那么本次应用测试可以只针对登录功能进行测试，若选择多个选项，则可以根据需求添加每个测试场景的测试权重，例如选择登录和商城两个选项，其中，登录选项权重为30％，商城选项权重为20％，那么本次应用测试的30％的测试时间用于测试登录功能，20％的测试时间用于测试商城功能，剩余50％的测试时间则自由进行测试。

步骤103，根据测试规则对应用中的控件进行自动遍历测试。

具体地说，采用智能化的爬虫技术，根据测试规则中规定的测试顺序对应用进行自动化测试。例如，对登录功能进行自动遍历测试时，可以在遍历爬虫到账号和密码的输入框时，经过Xpath表达式判断，并自动触发预先设置的账号和密码，从而每当遍历登录功能时均可以自动触发登录账号的获取和输入。再比如对未知弹框进行测试时，可以在遍历爬虫到未知弹框是，爬取未知弹框上的控件的属性，获取未知弹框上控件的位置，控件的操作以及控件的测试顺序等等，根据爬取的未知弹框上的控件的属性，对未知弹框的控件进行自动遍历，在对弹框上的控件进行测试之前，获取控件的属性，避免由于控件的属性发生变化而导致测试失败。

另外，在对列表页或tab页中需要精确的控制点击顺序的业务场景进行自动遍历时，可以在测试规则中具体设置控件的点击顺序，或者规定特定类型的控件遍历的最大次数，例如，在对列表页进行遍历时列表项遍历的次数较少。

另外，在对应用中的控件进行自动遍历时，若对某一控件的遍历出现错误，如某个断言失败或者测试程序运行异常，则记录错误数据，并对其余的控件进行无序的自动遍历，直到再次进入规定好的场景，则进行新一轮的有序的自动化测试。在进行无序的自动遍历时，以默认的遍历顺序对其余的控件进行自动遍历。

另外，在对应用中的控件进行自动遍历时，还可以进行快速遍历模式，调用getpagesource函数获取获取应用中的所有控件列表，获取的控件列表中包括应用中的按键，图片，文本等。列表中每个控件均记录有对应的名称和属性，根据Xpath表达式直接在列表中选择控件对应的属性，并根据获取的属性对控件进行自动遍历。例如，假设当前测试的界面中有且只有一个“登录”字段，则可以通过Xpath表达式查找“登”字段即可定位此控件，查找到该控件的属性。同理，在对查询其他控件对应的属性时，只需找到此控件唯一区别于其他控件的属性进行定位，从而大大提高了遍历的速度，提高测试效率。

另外，在自动遍历过程中，若客户端程序出现闪退，自动化测试工具会根据安卓客户端的包名或IOS客户端的bundle id通过系统自带的shell脚本重新唤起客户端，保证客户端处于被测试状态，从而保证自动化测试可以充分进行，不会因为断言失败或者程序运行异常导致的闪退而打断对应用的自动化测试。

另外，在自动遍历测试过程中，还可以利用一些插件对测试过程中的数据进行收集，从而使最终生成的测试结果更加准确，从而可以准确的对问题进行复现和定位。例如，可以利用插件对详细的错误信息，内存泄漏情况，页面卡顿情况以及性能数据进行自动采集等等。

下面针对测试过程中可以用到的插件进行具体说明：

在对详细的错误信息进行采集时，可以针对应用日志中存在的错误信息以及网络请求数据中的错误信息进行采集，在对应用日志中的错误信息进行采集时，可以咋应用程序运行异常时，利用logcat工具获得程序的log(日志)信息，并且将PID(process ID)发生改变的activity(用户接口程序)持久的自动保存下来，从而对应用中出现崩溃的问题进行定位。在对网络请求数据中的错误信息进行采集时，可以利用tcpdump工具保存测试过程中网络请求的详细信息，以待后续调用分析进而生成测试结果。在对内存泄露或页面卡顿情况进行采集时，可以利用插件leakcanary或BlockCanary，对发生泄露或卡顿的地方的日志进行抓取并对应生成一个或多个文件，完成内存泄露情况或页面卡顿情况的自动采集。在对性能数据进行采集时，可以基于APM技术(APM是用于监控和管理应用软件性能和可用性的应用)对中央控制器(CPU)的使用率，内存使用率，用户响应时间等性能数据进行采集，从而可以及时发现测试过程中出现的性能问题。

步骤104，生成测试结果。

具体地说，在采集测试过程中的测试数据之后，根据测试数据生成测试结果，可以以报告的形式将测试结果展示给测试人员，便于测试人员可以及时根据测试结果定位问题，从而便于对出现的问题进行修正。

生成的测试报告如图3所示，以每一次针对控件的操作为单位，对测试过程中操作成功和操作失败的次数，例如，图3中生成的报告中显示了当前应用总存在的界面，界面1，界面2，界面3……，针对界面1中控件的操作一共进行了3次，成功3次，失败0次；同理，针对界面2一共操作47次，成功47次，失败0次；针对界面3一共操作了21次，成功了21次，失败0次，等等。针对这些数据可以计算出本次应用测试的成功率和失败率，以及容易出现问题的界面，测试人员可以直观的查看测试的结果，对应用的性能有一个整体的了解。

另外，在生成的测试报告中，还可以将收集到的测试数据以截图的方式添加，在出现问题的位置做高亮处理，便于测试人员快速定位出现问题的数据，从而及时对问题进行修正。

另外，在生成测试结果之后，还可以利用历史测试结果对本次的测试结果进行分析，从而实现对问题的定位。在实际应用中可以获取应用的历史版本对应的测试结果，通过比对历史版本的测试结果和本次测试结果之间的差异，将两者之间的不同之处进行统计，借助历史版本的已测结果在本次测试结果中对不同之处进行定位，由于历史版本与本次测试的版本并不相同，不同的版本的内容存在一定的更新之处，而这些更新或改进之处即为需要重点测试的地方，利用历史版本的测试结果进行比对可以快速的查找出这些改进之处，从而可以更有针对性的进行测试。测试结果与历史测试结果的比对结果的示意图如图4所示，图4左侧为当前版本的测试结果截图，即本次测试结果截图，图4右侧为历史版本的测试结果截图，通过两者之间的比对可以清晰的观察出两者的不同之处，从而快速进行定位，提高了对测试结果分析的效率。

另外，在查找测试结果与历史测试结果的不同之处时，可以利用深度学习选定模型进行分析，提高了分析速度，所利用的模型可以为Darknet-53网络模型，由于Darknet-53网络层数少、训练推理速度快，从而进一步提高了分析效率，另外，由于Darknet-53采用了ResNet这种跳层连接方式，准确率更高。在分析出测试结果与历史测试结果的不同之处后，还可以利用Docker集群分布式部署推理模型来分析所有不同之处中测试人员所需的有效的信息，将无效信息筛除，降低测试人员的工作量即工作难度。最后，再利用模型发现并筛除测试结果，最终得到问题的有效信息之后，可以利用Jenkins持续集成邮箱将问题的有效信息发送至测试人员及开发人员，并利用Selenium工具自动生成bug(问题)单，以便开发及时处理问题。

本发明实施例相对于现有技术而言，利用获取的应用的特征信息生成测试规则，基于生成的测试规则对应用中的控件进行测试，特征信息可以在应用数据统计平台中直接获取，根据直接获取的特征信息生成测试规则，可以减少编写脚本所需的人力成本，简化了测试脚本的编写难度，提高了测试效率。另外，基于收集的特征信息对应用的控件进行测试，使测试的内容更加灵活，丰富了测试的业务场景，提高测试的覆盖率使测试结果更为全面。

本发明的第二实施例涉及一种应用测试方法。在本发明第二实施例中，在生成测试结果之后，还包括：将测试结果与预期结果进行比对；统计测试结果中不符合预期结果的信息作为错误信息；确定错误信息对应的控件的操作信息；根据控件的操作信息对控件进行循环测试，直至测试结果符合预期结果或循环测试的次数达到预设阈值，停止循环测试。

本实施例中涉及的应用测试方法，如图5所示，包括：

步骤501，获取应用的特征信息。

步骤502，根据特征信息生成应用中的控件的测试规则。

步骤503，根据测试规则对应用中的控件进行自动遍历测试。

步骤504，生成测试结果。

步骤501至504与第一实施例中步骤101至104一一对应，在此不再赘述。

步骤505，获取测试结果中不符合预期结果的信息作为错误信息。

步骤506，将错误信息对应的控件进行循环测试。

具体地说，在获取到测试结果中不符合预期结果的信息时，如在测试过程中测试程序运行失败产生的数据，或断言失败的数据，或网络连接异常产生的数据等，均属于不符合预期结果的信息数据。将不符合预期结果的信息汇总，并在一次完成的遍历测试结束之后，对不符合预期结果的信息进行自动循环测试，直至测试结果符合预期结果或循环测试的次数达到预设阈值，停止循环测试。

在实际应用中，若不符合预期结果的信息为某次操作的信息，还可以对应查找到该次操作所属的业务场景，针对业务场景进行循环测试，保证测试场景的完成。例如，在对登录功能进行测试时的某一次点击操作，由于网络断开导致测试数据异常，在获取到异常的测试数据之后，对应查找到所属的业务场景登录场景，将登录场景添加至循环测试，对登录场景下的所有操作重新进行遍历测试，直至该场景下所有操作均正常停止循环测试。

另外，为便于管理，可以将测试过程中各个功能以模块化划分，如数据收集模块，自动遍历测试模块，测试结果分析模块等，数据收集模块用于通过爬虫网络技术从第三方数据统计平台获取应用的特征信息，为用户提供可视化界面，以便用户配置测试的重点场景及测试场景所占权重等，还用于获取测试结果中出现问题的信息及场景，为循环测试提供素材。自动遍历测试模块用于对数据收集模块中手机的特征信息进行有序的自动遍历，并结合插件获取有效的测试数据，还可以对特征信息进行快速遍历或以默认的预设顺序进行遍历等。测试结果分析模块用于对测试结果进行截图提取，通过断言技术判断业务场景运行的正确性，生成网页报告等，还用于将测试结果与历史测试结果进行比对获取有效的bug信息，将最终定位的bug信息通知开发人员及时对问题进行修复。

在本实施例中，结合人工智能，依据测试结果对运行失败的场景进行自动循环测试，若在自动循环测试过程中场景测试并未出现问题，则将其作为测试正常的数据，实现进一步对测试结果中出现的bug进行筛选。将有效的bug发送至开发部以便开发人员可以及时对问题进行修复。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施例涉及一种电子设备，如图6所示，包括至少一个处理器601；以及，与至少一个处理器601通信连接的存储器602；其中，存储器602存储有可被至少一个处理器601执行的指令，指令被至少一个处理器601执行，以使至少一个处理器601能够执行上述的任一方法实施例中的应用测试方法。

其中，存储器602和处理器601采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器601和存储器602的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器601处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器601。

处理器601负责管理总线和通常的处理，还可以提供各种功能，包括定时、外围接口、电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。

本发明第四实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种应用测试方法，其特征在于，包括：

获取应用的特征信息；

根据所述特征信息生成所述应用中的控件的测试规则；

根据所述测试规则对所述应用中的控件进行自动遍历测试，并生成测试结果。

2.根据权利要求1所述的应用测试方法，其特征在于，所述根据所述特征信息生成所述应用中的控件的测试规则，包括：

识别所述特征信息中包含的控件；其中，所述特征信息至少包括应用场景信息和应用界面信息；

获取所述控件的属性；其中，所述属性包括，控件对应的操作方式和控件对应的测试顺序；

根据所述控件的属性生成应用中的控件的测试规则。

3.根据权利要求1所述的应用测试方法，其特征在于，所述根据所述测试规则对所述应用中的控件进行自动遍历测试，包括：

若所述控件为弹框上的控件，则获取所述控件对应的操作和操作位置；

根据所述控件对应的操作和操作位置更新所述控件的测试规则；

根据所述更新后的测试规则对所述控件进行自动遍历测试。

4.根据权利要求1所述的应用测试方法，其特征在于，所述根据所述测试规则对所述应用中的控件进行自动遍历测试，包括：

若对所述应用中的控件进行自动遍历测试出现异常，则根据预设规则对未进行自动遍历测试的控件进行测试。

5.根据权利要求1所述的应用测试方法，其特征在于，在所述根据所述测试数据生成测试结果之后，还包括：

将所述测试结果与预期结果进行比对；

统计所述测试结果中不符合预期结果的信息作为错误信息；

确定所述错误信息对应的控件的操作信息；

根据所述控件的操作信息对所述控件进行循环测试，直至测试结果符合预期结果或所述循环测试的次数达到预设阈值，停止所述循环测试。

6.根据权利要求1所述的应用测试方法，其特征在于，在所述生成测试结果之前，还包括：

利用插件采集所述自动遍历测试的测试数据；

其中，所述测试数据包括日志数据，网络请求数据，卡顿数据和性能数据；

所述生成测试结果，包括：

根据所述测试数据生成测试结果。

7.根据权利要求6所述的应用测试方法，其特征在于，所述根据所述测试数据生成测试结果，包括：

在所述日志信息中查找表征异常情况的目标日志；

截取所述目标日志作为测试结果。

8.根据权利要求1所述的应用测试方法，其特征在于，在所述生成测试结果之后，还包括：

获取所述应用的历史测试结果；

对所述生成的测试结果和所述历史测试结果的区别之处进行标记。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的应用测试方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的应用测试方法。

Images