CN107341104A - 一种基于云测试的测试结果处理方法及系统 - Google Patents

Abstract

本发明涉及一种基于云测试的测试结果处理方法及系统，该方法包括以下步骤：获取待测试软件；将待测试软件发送到测试设备进行测试；当在测试过程中发现待测试软件的缺陷时，对缺陷的级别进行判断；对缺陷的类型进行匹配识别；分别根据缺陷的级别和缺陷的类型对缺陷进行分类并存储。本发明提供的一种基于云测试的测试结果处理方法及系统，实现了自动判断缺陷的级别和类型，提高了测试的工作效率，对于测试结果的展示更加直观合理，便于对测试结果的进一步分析和处理。

Description

一种基于云测试的测试结果处理方法及系统

技术领域

本发明涉及云测试领域，尤其涉及一种基于云测试的测试结果处理方法及系统。

背景技术

在软件或应用交付用户使用之前，需要对软件或应用的运行情况进行测试。测试方法通常是将需要测试的软件或应用安装到需要测试的终端设备上，在终端设备上运行该软件或应用，以测试该软件或应用在该终端设备上的运行缺陷情况，而云测试则是通过网络，远程获取用户需要测试的软件或应用，通过云服务器对软件进行测试。

当检测到缺陷时，通常只能得到缺陷的位置和对缺陷的描述，目前对于缺陷是否严重的判断都是基于人工的主观判断，例如，当出现闪退BUG的时候，可以将这个缺陷归为非常严重的缺陷，当出现图片显示不全缺陷的时候，可以将这个缺陷归为一般缺陷，这些判断都依赖于测试人员的主观判断，目前缺少一种规范化的判断识别流程。当测试量很大时，人工判断的效率低下，无法高效地对测试过程中出现的缺陷进行分类和分级，无法实现根据缺陷的严重性和出现频率对软件或应用的质量进行评估和分析。

发明内容

本发明所要解决的技术问题是现有技术在云测试过程中无法自动判断识别缺陷的类型和严重性，提供一种基于云测试的测试结果处理方法及系统。

本发明解决上述技术问题的技术方案如下：

一种基于云测试的测试结果处理方法，包括以下步骤：

步骤1，获取待测试软件；

步骤2，将所述待测试软件发送到测试设备进行测试；

步骤3，当在测试过程中发现所述待测试软件的缺陷时，对所述缺陷的级别进行判断；

步骤4，对所述缺陷的类型进行匹配识别；

步骤5，分别根据所述缺陷的级别和所述缺陷的类型对所述缺陷进行分类并存储。

本发明的有益效果是：本发明提供的一种基于云测试的测试结果处理方法，通过对缺陷的级别和类型进行判断匹配识别，并对缺陷进行分类存储，实现了自动判断缺陷的级别和类型，提高了测试的工作效率，对于测试结果的展示更加直观合理，便于对测试结果的进一步分析和处理。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，步骤3中具体包括：

步骤3.1，将测试过程分为多个测试环节；

步骤3.2，当任一测试环节发现所述待测试软件的缺陷时，判断所述缺陷是否导致所述测试环节停止测试；

步骤3.3，当所述缺陷未导致所述测试环节停止测试时，得到所述缺陷的级别为第一级缺陷；

步骤3.4，当所述缺陷导致所述测试环节停止测试时，判断所述缺陷是否导致所述测试过程停止测试；

步骤3.5，当所述缺陷未导致所述测试过程停止测试时，得到所述缺陷的级别为第二级缺陷；

步骤3.6，当所述缺陷导致所述测试过程停止测试时，得到所述缺陷的级别为第三级缺陷。

采用上述进一步方案的有益效果是：通过对缺陷的严重性进行判断，可以将缺陷分成三个级别，便于开发人员对缺陷进行评估，可以清楚直观地得到各级缺陷的数量，提高了测试的效率。

进一步地，多个所述测试环节包括：安装环节、软件启动环节、功能执行环节、运行稳定性环节、软件关闭环节和卸载环节，其中，所述功能执行环节根据所述待测试软件中待测试的功能数量分为对应数量的功能执行子环节，所述缺陷的类型包括：显示缺陷、功能缺陷、稳定性缺陷、安全缺陷和响应缺陷。

进一步地，步骤4中具体包括：

步骤4.1，向所述测试设备发送缺陷信息获取脚本；

步骤4.2，通过所述缺陷信息获取脚本获取所述缺陷的特征信息；

步骤4.3，根据所述特征信息从云服务器中匹配与所述特征信息相同的缺陷类型，得到所述缺陷的类型。

进一步地，步骤4中还包括：

步骤4.4，当所述云服务器中没有与所述特征信息相同的缺陷类型时，将所述特征信息作为新的缺陷类型存储在所述云服务器中。

进一步地，所述测试结果处理方法还包括：

步骤6，获取所述缺陷的出现次数，以及测试总次数；

步骤7，根据所述缺陷的出现次数、所述测试总次数和所述缺陷的级别，计算所述待测试软件的通过指数；

步骤8，根据所述通过指数对所述待测试软件的质量进行分析。

进一步地，通过平均加权算法，计算所述待测试软件的通过指数。

进一步地，根据所述缺陷的级别和所述缺陷的出现次数确定所述通过指数的各项权。

本发明解决上述技术问题的另一种技术方案如下：

一种基于云测试的测试结果处理系统，包括：

第一获取模块，用于获取待测试软件；

传输模块，用于将所述待测试软件发送到测试设备进行测试；

缺陷级别判断模块，用于当在测试过程中发现所述待测试软件的缺陷时，对所述缺陷的级别进行判断；

缺陷类型识别模块，用于对所述缺陷的类型进行匹配识别；

分类存储模块，用于分别根据所述缺陷的级别和所述缺陷的类型对所述缺陷进行分类并存储。

进一步地，所述缺陷级别判断模块包括：

测试环节划分单元，用于将测试过程分为多个测试环节；

第一判断单元，用于当任一测试环节发现所述待测试软件的缺陷时，判断所述缺陷是否导致所述测试环节停止测试，当所述缺陷未导致所述测试环节停止测试时，得到所述缺陷的级别为第一级缺陷，当所述缺陷导致所述测试环节停止测试时，调用第二判断单元；

第二判断单元，用于判断所述缺陷是否导致所述测试过程停止测试，当所述缺陷未导致所述测试过程停止测试时，得到所述缺陷的级别为第二级缺陷，当所述缺陷导致所述测试过程停止测试时，得到所述缺陷的级别为第三级缺陷。

进一步地，多个所述测试环节包括：安装环节、软件启动环节、功能执行环节、运行稳定性环节、软件关闭环节和卸载环节，其中，所述功能执行环节根据所述待测试软件中待测试的功能数量分为对应数量的功能执行子环节，所述缺陷的类型包括：显示缺陷、功能缺陷、稳定性缺陷、安全缺陷和响应缺陷。

进一步地，所述缺陷类型识别模块包括：

脚本传输单元，用于向所述测试设备发送缺陷信息获取脚本；

特征信息获取单元，用于通过所述缺陷信息获取脚本获取所述缺陷的特征信息；

缺陷类型匹配单元，用于根据所述特征信息从云服务器中匹配与所述特征信息相同的缺陷类型，得到所述缺陷的类型。

进一步地，缺陷类型匹配单元还用于当所述云服务器中没有与所述特征信息相同的缺陷类型时，将所述特征信息作为新的缺陷类型存储在所述云服务器中。

进一步地，所述测试结果处理系统还包括：

第二获取模块，用于获取所述缺陷的出现次数，以及测试总次数；

通过指数计算模块，用于根据所述缺陷的出现次数、所述测试总次数和所述缺陷的级别，计算所述待测试软件的通过指数；

分析模块，用于根据所述通过指数对所述待测试软件的质量进行分析。

进一步地，通过平均加权算法，计算所述待测试软件的通过指数。

进一步地，根据所述缺陷的级别和所述缺陷的出现次数确定所述通过指数的各项权。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明实施例提供的一种基于云测试的测试结果处理方法的流程示意图；

图2为本发明另一实施例提供的一种基于云测试的测试结果处理方法的流程图；

图3为本发明另一实施例提供的一种基于云测试的测试结果处理系统的结构框架图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明实施例提供的一种基于云测试的测试结果处理方法的流程示意图，该方法包括：

S101，通过云服务器远程获取用户提供的待测试软件，例如，用户可以通过网页提交待测试软件，其中，待测试软件可以为手机应用、手机游戏或电脑程序等；

S102，将待测试软件通过云服务器发送到测试设备进行测试，例如，测试设备可以为手机、电脑或平板等；

S103，当在测试过程中发现待测试软件的缺陷时，对缺陷的级别进行判断，其中，缺陷指的是该软件的运行过程中，实际结果与预期结果不符的情况，例如，当软件在测试的运行过程中，预期结果是软件正常运行，但是实际结果是出现了闪退，则该软件在测试过程中出现了缺陷，或，预期结果是某图片以全屏的方式显示，但是实际结果是该图片与屏幕尺寸不符，四周出现黑边，则该软件在测试过程中出现了缺陷；

S104，通过云服务器中存储的缺陷的缺陷类型，对软件测试过程中出现的缺陷的类型进行匹配识别，例如，缺陷的类型可以有显示缺陷，如图片无法正常显示、图片过小、图片方向不对或文字字号不统一等，还可以有响应缺陷，如点击某一链接没反应等，还可以有功能缺陷，如当输入缺陷的注册号码，应该提示该号码未注册，但实际提示null等；

S105，分别根据缺陷的级别和缺陷的类型对缺陷进行分类并存储。

需要说明的是，缺陷的级别共分为三级，分别是第一级缺陷、第二级缺陷和第三级缺陷，其中，第一级缺陷指的是不太严重的缺陷，不会影响软件完整运行，并且不会影响当前测试环节运行的缺陷，例如，图片显示不完全；第二级缺陷指的是比较严重的缺陷，不会影响软件完整运行，但会使当前测试环节无法正常测试的缺陷，例如，购买商品时无法完成支付，第三级缺陷指的是非常严重的缺陷，会使整个测试过程中止，例如，闪退、崩溃、程序无响应等。

上述实施例提供的一种基于云测试的测试结果处理方法，通过对缺陷的级别和类型进行判断匹配识别，并对缺陷进行分类存储，实现了自动判断缺陷的级别和类型，提高了测试的工作效率，对于测试结果的展示更加直观合理，便于对测试结果的进一步分析和处理。

在另一实施例中，如图2所示，为本发明另一实施例提供的一种基于云测试的测试结果处理方法的流程图，以对滴滴出行软件进行测试为例，测试方法包括：

S201，通过云服务器远程获取用户通过网页提交的滴滴出行软件；

S202，将滴滴出行软件通过云服务器发送到小米5S手机上进行测试，例如，还可以对华为、三星、魅族或小米等手机进行测试；

S203，将测试过程分为安装环节、注册环节、叫车环节、支付环节和卸载环节，其中，对测试过程的环节划分只是一种优选的方式，实际测试过程中会有其他的划分方式，例如，还可以加入稳定性测试环节、GPS定位测试环节或取消叫车环节等；

S204，当任一测试环节发现待测试软件的缺陷时，判断出现的缺陷是否导致测试环节停止测试，例如，当在注册环节出现注册失败缺陷的时候，对注册失败缺陷进行判断，得出该缺陷导致无法正常完成注册，停止注册环节的测试；

S205，当出现的缺陷未导致测试环节停止测试时，得到缺陷的级别为第一级缺陷，例如，图片显示不完全、字号缺陷或颜色偏差等，不会影响当前测试环节的继续测试，因此，将这类不太严重的缺陷归为第一级缺陷，即不会影响对软件和当前环节进行测试的缺陷；

S206，当出现的缺陷导致测试环节停止测试时，判断缺陷是否导致测试过程停止测试；

S207，当出现的缺陷未导致测试过程停止测试时，得到缺陷的级别为第二级缺陷，例如，当在注册环节出现注册失败缺陷的时候，就会导致注册环节无法正常进行，但是整个软件仍然在运行，还可以继续进行其他的测试，因此，将这个缺陷归为第二级缺陷，即不那么严重的缺陷；

S208，当出现的缺陷导致测试过程停止测试时，得到缺陷的级别为第三级缺陷，例如，在叫车过程中，出现闪退缺陷，导致整个软件关闭，不仅使叫车过程无法正常完成，而且使整个测试过程都中止了，这是非常严重的缺陷，导致整个软件无法正常使用，因此，将这个缺陷归为第三级缺陷，即非常严重的缺陷；

S209，向该小米5S手机发送缺陷信息获取脚本，缺陷信息获取脚本是预先编写的，用于实现识别测试过程中缺陷，并获取缺陷的相关信息，从相关信息中提取缺陷的特征信息的程序；

S210，通过缺陷信息获取脚本获取缺陷的特征信息，例如，当出现无响应缺陷时，特征信息就是在一定时间未接收到软件发送的信号，当出现注册失败缺陷时，特征信息就是注册结果与预期结果不同；

S211，根据特征信息从云服务器中匹配与特征信息相同的缺陷类型，得到缺陷的类型，例如，当一定时间内未接收到软件发送的信号时，与云服务器中预存的模型进行匹配，匹配成功后，得到是闪退缺陷；

S212，当云服务器中没有与特征信息相同的缺陷类型时，将特征信息作为新的缺陷类型存储在云服务器中，例如，在注册环节，当输入22222222222作为手机号时，会出现提示null，但是该缺陷类型在云服务器中没有记录，于是将这个缺陷类型作为新的缺陷存储在云服务器中；

S213，分别根据缺陷的级别和缺陷的类型对缺陷进行分类并存储，例如，假设缺陷类型有闪退和叫车失败，那么就将测试得到的缺陷分别按闪退和叫车失败这两类缺陷类型存储，并且将测试得到的缺陷按照缺陷的三个级别分城三类进行存储，分别得到两张存储有缺陷信息的分类表；

S214，获取缺陷的出现次数，以及测试总次数，根据缺陷的出现次数、测试总次数和缺陷的级别，通过加权平均的方法计算待测试软件的通过指数，由于第三级缺陷非常严重，因此给第三级缺陷比较高的权重，给第二级缺陷一般高的权重，给第一级缺陷比较低的权重，例如，当测试100次时，滴滴出行软件共出现第一级缺陷20个，第二级缺陷10个，第一级缺陷5个时，分别给予权重0.5，0.3和0.2，那么可以计算得到通过指数为n＝1-(20*0.5+10*0.3+5*0.2)/100＝0.86；

S215，根据通过指数对待测试软件的质量进行分析，例如，滴滴出行的通过指数在上一步骤中已得到，为0.86，而在对另一软件的测试过程中，同样测试100次，发现共出现第一级缺陷5个，第二级缺陷10个，第一级缺陷20个，赋予同样的权重，计算得到通过指数为0.905，虽然出现缺陷的总数是一样的，但是可以明显发现另一个软件的通过指数更高，这是因为另一个软件的严重缺陷更少，说明另一个软件的质量更好。

需要说明的是，S204至S208中，可以通过云服务器监控缺陷，对缺陷进行分级，或，事先编写脚本植入测试设备中，测试时直接调用脚本对测试过程中的缺陷进行监控和分级，或，将判断分级的功能通过编写代码的方式整合到缺陷信息获取脚本中，通过缺陷信息获取脚本实现对缺陷的识别和分级。

在另一实施例中，还可以将在测试过程中，待测试软件出现的缺陷分为5级，分别是：

建议级缺陷，对用户使用基本不影响的缺陷，例如，图片大一不统一、界面颜色与文字相近、字号不统一等；

瑕疵级缺陷，会影响用户体验感的缺陷，例如，出现错别字、图片尺寸与界面不符等；

较严重级缺陷，用户可完成操作，但操作受到阻碍的bug，例如，操作被遮盖、内容显示不全等；

严重级缺陷，造成用户完全无法完成操作的bug，但不会影响到系统运行，例如，功能无法实现、点击无效、内容无法显示、数值计算错误、功能报错等；

致命级缺陷，影响程序运行的bug，程序无法跑通，系统无法运行，例如，崩溃或严重资源不足、应用模块无法启动或异常退出、循环报错、无法退出、支付漏洞等。

上述实施例中，对于各级缺陷的识别均可以通过软件或程序实现。

在另一实施例中，如图3所示，为本发明另一实施例提供的一种基于云测试的测试结果处理系统的结构框架图，该系统包括：

第一获取模块310，用于获取待测试软件；

传输模块320，用于将待测试软件发送到测试设备进行测试；

缺陷级别判断模块330，用于当在测试过程中发现待测试软件的缺陷时，对缺陷的级别进行判断；

缺陷类型识别模块340，用于对缺陷的类型进行匹配识别；

分类存储模块350，用于分别根据缺陷的级别和缺陷的类型对缺陷进行分类并存储。

进一步，缺陷级别判断模块330包括：

测试环节划分单元331，用于将测试过程分为多个测试环节；

第一判断单元332，用于当任一测试环节发现待测试软件的缺陷时，判断缺陷是否导致测试环节停止测试，当缺陷未导致测试环节停止测试时，得到缺陷的级别为第一级缺陷，当缺陷导致测试环节停止测试时，调用第二判断单元；

第二判断单元333，用于判断缺陷是否导致测试过程停止测试，当缺陷未导致测试过程停止测试时，得到缺陷的级别为第二级缺陷，当缺陷导致测试过程停止测试时，得到缺陷的级别为第三级缺陷。

进一步，缺陷类型识别模块340包括：

脚本传输单元341，用于向测试设备发送缺陷信息获取脚本；

特征信息获取单元342，用于通过缺陷信息获取脚本获取缺陷的特征信息；

缺陷类型匹配单元343，用于根据特征信息从云服务器中匹配与特征信息相同的缺陷类型，得到缺陷的类型。

进一步，缺陷类型匹配单元343还用于当云服务器中没有与特征信息相同的缺陷类型时，将特征信息作为新的缺陷类型存储在云服务器中。

进一步，多个测试环节包括：安装环节、软件启动环节、功能执行环节、运行稳定性环节、软件关闭环节和卸载环节，其中，功能执行环节根据待测试软件中待测试的功能数量分为对应数量的功能执行子环节，缺陷的类型包括：显示缺陷、功能缺陷、稳定性缺陷、安全缺陷和响应缺陷。

进一步，测试结果处理系统还包括：

第二获取模块360，用于获取缺陷的出现次数，以及测试总次数；

通过指数计算模块370，用于根据缺陷的出现次数、测试总次数和缺陷的级别，计算待测试软件的通过指数；

分析模块380，用于根据通过指数对待测试软件的质量进行分析。

进一步，通过平均加权算法，计算待测试软件的通过指数。

进一步，根据缺陷的级别和缺陷的出现次数确定通过指数的各项权。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于云测试的测试结果处理方法，其特征在于，包括以下步骤：

步骤1，获取待测试软件；

步骤2，将所述待测试软件发送到测试设备进行测试；

步骤3，当在测试过程中发现所述待测试软件的缺陷时，对所述缺陷的级别进行判断；

步骤4，对所述缺陷的类型进行匹配识别；

步骤5，分别根据所述缺陷的级别和所述缺陷的类型对所述缺陷进行分类并存储。

2.根据权利要求1所述的测试结果处理方法，其特征在于，步骤3中具体包括：

步骤3.1，将测试过程分为多个测试环节；

步骤3.2，当任一测试环节发现所述待测试软件的缺陷时，判断所述缺陷是否导致所述测试环节停止测试；

步骤3.3，当所述缺陷未导致所述测试环节停止测试时，得到所述缺陷的级别为第一级缺陷；

步骤3.4，当所述缺陷导致所述测试环节停止测试时，判断所述缺陷是否导致所述测试过程停止测试；

步骤3.5，当所述缺陷未导致所述测试过程停止测试时，得到所述缺陷的级别为第二级缺陷；

步骤3.6，当所述缺陷导致所述测试过程停止测试时，得到所述缺陷的级别为第三级缺陷。

3.根据权利要求2所述的测试结果处理方法，其特征在于，多个所述测试环节包括：安装环节、软件启动环节、功能执行环节、运行稳定性环节、软件关闭环节和卸载环节，其中，所述功能执行环节根据所述待测试软件中待测试的功能数量分为对应数量的功能执行子环节，所述缺陷的类型包括：显示缺陷、功能缺陷、稳定性缺陷、安全缺陷和响应缺陷。

4.根据权利要求1至3中任一项所述的测试结果处理方法，其特征在于，步骤4中具体包括：

步骤4.1，向所述测试设备发送缺陷信息获取脚本；

步骤4.2，通过所述缺陷信息获取脚本获取所述缺陷的特征信息；

步骤4.3，根据所述特征信息从云服务器中匹配与所述特征信息相同的缺陷类型，得到所述缺陷的类型。

5.根据权利要求4所述的测试结果处理方法，其特征在于，还包括：

步骤6，获取所述缺陷的出现次数，以及测试总次数；

步骤7，根据所述缺陷的出现次数、所述测试总次数和所述缺陷的级别，计算所述待测试软件的通过指数；

步骤8，根据所述通过指数对所述待测试软件的质量进行分析。

6.一种基于云测试的测试结果处理系统，其特征在于，包括：

第一获取模块，用于获取待测试软件；

传输模块，用于将所述待测试软件发送到测试设备进行测试；

缺陷级别判断模块，用于当在测试过程中发现所述待测试软件的缺陷时，对所述缺陷的级别进行判断；

缺陷类型识别模块，用于对所述缺陷的类型进行匹配识别；

分类存储模块，用于分别根据所述缺陷的级别和所述缺陷的类型对所述缺陷进行分类并存储。

7.根据权利要求6所述的测试结果处理系统，其特征在于，所述缺陷级别判断模块包括：

测试环节划分单元，用于将测试过程分为多个测试环节；

第一判断单元，用于当任一测试环节发现所述待测试软件的缺陷时，判断所述缺陷是否导致所述测试环节停止测试，当所述缺陷未导致所述测试环节停止测试时，得到所述缺陷的级别为第一级缺陷，当所述缺陷导致所述测试环节停止测试时，调用第二判断单元；

第二判断单元，用于判断所述缺陷是否导致所述测试过程停止测试，当所述缺陷未导致所述测试过程停止测试时，得到所述缺陷的级别为第二级缺陷，当所述缺陷导致所述测试过程停止测试时，得到所述缺陷的级别为第三级缺陷。

8.根据权利要求7所述的测试结果处理系统，其特征在于，多个所述测试环节包括：安装环节、软件启动环节、功能执行环节、运行稳定性环节、软件关闭环节和卸载环节，其中，所述功能执行环节根据所述待测试软件中待测试的功能数量分为对应数量的功能执行子环节，所述缺陷的类型包括：显示缺陷、功能缺陷、稳定性缺陷、安全缺陷和响应缺陷。

9.根据权利要求6至8中任一项所述的测试结果处理系统，其特征在于，所述缺陷类型识别模块包括：

脚本传输单元，用于向所述测试设备发送缺陷信息获取脚本；

特征信息获取单元，用于通过所述缺陷信息获取脚本获取所述缺陷的特征信息；

缺陷类型匹配单元，用于根据所述特征信息从云服务器中匹配与所述特征信息相同的缺陷类型，得到所述缺陷的类型。

10.根据权利要求9所述的测试结果处理系统，其特征在于，还包括：

第二获取模块，用于获取所述缺陷的出现次数，以及测试总次数；

通过指数计算模块，用于根据所述缺陷的出现次数、所述测试总次数和所述缺陷的级别，计算所述待测试软件的通过指数；

分析模块，用于根据所述通过指数对所述待测试软件的质量进行分析。