CN112486808A - 一种系统测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本说明书一个或多个实施例提供一种系统测试方法、装置、电子设备及存储装置。在进行系统测试时，获取待测系统的全量路径分支数据，并使用测试过程中记录的测试路径分支数据与其比对，得到第一测试覆盖度；在待测系统的增量部分中进行插桩，根据测试过程中触发的探针数量和插桩数量比对得到第二测试覆盖度；同时，在测试前由上游用户列出期望实现的需求，测试人员根据测试结果对实现的需求进行勾选，比对二者得到第三测试覆盖度。利用测试覆盖度数据分别为全量/增量测试打分，使用计算结果为全量/增量测试工作做出评价。本方法及相关设备能够直观的显示出系统测试结果和评价结果，为系统测试工作提供了便利。

Description

一种系统测试方法、装置、电子设备及存储介质

技术领域

本说明书一个或多个实施例涉及测试领域，尤其涉及对待测系统测试并对测试结果进行评价。

背景技术

当前的系统测试一般是成立独立的团队，通过白盒测试、黑盒测试、灰盒测试等方法对系统进行测试，但针对测试完整性难以做出评价，通常是通过上线以后运维缺陷逃逸率的情况来逆向分析系统的测试质量。

目前没有针对系统测试完整性评估的相关技术手段。系统测试到什么程度算是合格并没有一个明确的要求并且没有一个客观的方法来衡量、验证。

由此可得，现有的系统测试技术面临以下问题：

系统测试人员缺少对自身工作价值主观/客观评价的依据；

客户对产品的验收没有可参考的测试评价结果。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种系统测试方法、装置、电子设备及存储介质，以解决现有技术面临的问题。

基于上述目的，本说明书一个或多个实施例提供了一种系统测试方法，包括：

获取待测系统的全量路径分支列表；

在系统测试过程中，记录所述系统测试每一步操作的请求、路径以及参数，得到测试路径分支列表；

比对所述全量路径分支列表和所述测试路径分支列表，确定第一测试覆盖度以及未测试路径分支；

显示所述第一测试覆盖度以及未测试路径分支。

进一步的，本说明书一个或多个实施例还提供了一种系统增量测试的方法，包括：

在系统测试过程中，记录弹出的已测试标志的数量；

将所述弹出的已测试标志的数量与预先在待测试系统中埋入的探针的数量进行比较，确定第二测试覆盖度；以及显示所述第二测试覆盖度。

进一步的，本说明书一个或多个实施例还提供了一种测试人员对自己完成的测试工作的评价方法，包括：

预先设置待测试系统的期望需求列表；

在系统测试过程中，记录已测试的需求；

对比所述期望需求列表和已测试的需求，确定所述第三覆盖度以及所述期望需求列表中的未测试的需求；

显示所述第三测试覆盖度以及所述未测试的需求。

为三类测试覆盖度分别赋予权值，第一测试覆盖度与第三测试覆盖度及逆行加权求和得到全量测试结果的得分，第二测试覆盖度与第三测试覆盖度加权求和得到增量测试结果的得分，可根据得分对测试工作进行评价。

基于同一发明构思，本说明书一个或多个实施例还提供了一种系统测试装置，可根据其功能分为以下模块：

全量路径获取模块，获取待测系统的全量路径分支列表；

测试路径获取模块，在系统测试过程中，记录所述系统测试每一步操作的请求、路径以及参数，得到测试路径分支列表；

路径对比模块，比对所述全量路径分支列表和所述测试路径分支列表，确定第一测试覆盖度以及未测试路径分支；

显示模块，显示所述第一测试覆盖度以及未测试路径分支。

基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时能够实现系统测试方法。

基于同一发明构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行系统测试方法。

从上面所述可以看出，本说明书一个或多个实施例提供的一种系统测试方法，能够为用户对系统的验收测试提供数据参考，对测试完整性及整体产品质量都提供了一个客观的评价，提供了对系统测试人员工作评价的依据，提供了系统完整性评估的解决方案。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例使用的系统测试方法的步骤示意图；

图2为本说明书一个或多个实施例计算第二测试覆盖度的步骤示意图；

图3为本说明书一个或多个实施例计算第三测试覆盖度的步骤示意图；

图4为本说明书一个或多个实施例的系统测试装置的结构示意图；

图5为本说明书一个或多个实施例实现系统测试的电子设备示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

如背景技术所述，在现有的系统测试领域中，对于系统测试到什么程度视为合格并没有明确的要求和客观的衡量验证方法，主要表现为测试人员缺少对自身工作价值的评价依据；客户验收产品时没有可参考的测试评价。

有鉴于此，发明人提出了一种测试完整性综合评价方法，来解决上述问题，参考图1，进行综合评价的步骤如下。

步骤S101、获取待测系统的全量路径分支列表。

本步骤中，可以通过使用爬虫技术获取待测试软件全量路径分支技术方案。具体的，获取待测系统的全量路径分支列表的方法可以利用代码实现，包括：首先通过系统网页的链接地址(通常是首页)开始检索，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。抓取的过程中将抓取到的链接地址存入数据库形成全量系统路径分支列表。

在本说明书的实施例中，获取的全量路径分支列表的具体内容是待测系统的链接地址的集合。

步骤S102、在系统测试过程中，记录所述系统测试每一步操作的请求、路径以及参数，得到测试路径分支列表。

本步骤中，测试人员进行的每一步操作都会被测试工具记录在历史记录中，获取的测试路径即为每一步操作的链接地址，将其去重后存放在数据库中形成测试路径分支列表。

步骤S103、比对所述全量路径分支列表和所述测试路径分支列表，确定第一测试覆盖度以及未测试路径分支。

本步骤中，第一测试覆盖度即为测试路径数与全量路径数的比值。

本步骤中，未测试路径分支可通过在全量路径分支列表中对于测试路径分支列表中存在的路径进行标记，未标记的路径即为未测试路径分支。进一步，将上述未测试路径分支导出即可生成未测试路径分支列表。

步骤S104、显示所述第一测试覆盖度以及未测试路径分支。

在本说明书的实施例中，显示上述第一测试覆盖度可根据需要展现成覆盖情况的饼状图来显示测试分支覆盖百分比。

在本说明书的实施例中，显示未测试路径的方法可以是全量系统路径为展现为基础表格，测试路径分支未覆盖的部分底色标红。

进一步的，本步骤中，显示的第一测试覆盖度未达到为所述第一测试覆盖度设置的阈值时，根据未测试路径分支继续进行测试工作直到达到阈值，并记录第一测试覆盖度。

进一步的，本说明书一个或多个实施例还提供了一种获取系统增量测试的测试覆盖度的方法，参考图2，该方法的步骤如下：

步骤S201、在系统测试过程中，记录弹出的已测试标志的数量；

本步骤中，通过插桩的方式在待测系统的增量内容或修改内容中插入一定数量的探针，当测试人员进行系统测试触发探针时，会弹出已测试标志，记录已测试标志的数量即为触发的探针的数量。

本步骤中，开发人员根据本次增量部分抽象出程序执行的所有场景的集合，针对可能执行的所有程序路径集合统一插入信息采集的代码段，如其中一个场景路径分支被执行则被记录为某场景被执行，即弹出已测试标志。

步骤S202、将所述弹出的已测试标志的数量与预先在待测试系统中埋入的探针的数量进行比较，确定第二测试覆盖度；以及显示所述第二测试覆盖度。

本步骤中，第二测试覆盖度即为已测试标志的数量与探针数量的比值。

更进一步，在本说明书的实施例中，可以进一步由测试人员为第二测试覆盖度设置阈值，第二测试覆盖度需达到阈值才可以输出。也就是说，当第二测试覆盖度没有达到阈值时，需要测试人员进行进一步的测试，以保证第二测试覆盖度达到设定的阈值。

上述获取系统增量测试的测试覆盖度的方法中，对增量部分的操作为开发人员根据本次增量部分抽象出程序执行的所有场景的集合，针对可能执行的所有程序路径集合统一插入信息采集的代码段，如其中一个场景路径分支被执行则被记录为某场景被执行。例如根据场景不同排列组合出所有可能情况的集合：如条件一(A、B)，条件二(C、D)，条件一可触发条件二。则集合中就包括AC、AD、BC、BD四种，出现任意一种即为某一条件一触发条件二的的场景被执行,如AC场景被执行则弹出“AC已测试”。

进一步的，本说明书一个或多个实施例还提供了一种获取期望需求的测试覆盖度的方法，参考图3，该方法的步骤如下：

步骤S301、预先设置待测试系统的期望需求列表。

本步骤中，上游用户包括业务人员、需求人员、设计人员、开发人员在系统中录入业务需求、系统需求的相关数据，由系统将期望功能实现数据库，在测试人员查询时系统将期望功能实现数据库数据查出显示在系统界面上，且每一条数据都要由必要项/附加项的属性。

步骤S302、在系统测试过程中，记录已测试的需求。

本步骤中，测试人员在系统测试过程对实现的需求进行勾选。

步骤S303、对比所述期望需求列表和已测试的需求，确定所述第三覆盖度以及所述期望需求列表中的未测试的需求。

本步骤中，属性为必要项的需求勾选率需要大于80％且属性为附加项的需求勾选率大于30％可视为测试达标，计算第三测试覆盖度时，必要项勾选率占比为70％，附加项勾选率占比为30％，计算方法为：

需要说明的是，上述80％、70％和30％仅仅是一个比例以及权重系数的示例，在本说明书的实施例中，还可以根据实际情况设置其他数值的勾选率以及权重系数，来检验测试是否达标以及计算上述第三测试覆盖度。与前述实施例类似，在测试不达标的情况下，可以提示测试人员做进一步的测试。

进一步的，本说明书一个或多个实施例能够根据第一测试覆盖度、第二测试覆盖度和第三测试覆盖度对测试工作的完整性通过计算得到评分，其中，第一测试覆盖度和第二测试覆盖度为由计算机根据测试结果做出的客观评价，第三测试覆盖度为由测试人员为自己的测试结果进行的主观评价。

根据第一测试覆盖度和第三测测试覆盖度进行了全量测试评价，计算方法为：

第一测试覆盖度*70％+第三测试覆盖度*30％＝全量测试得分

根据第二测试覆盖度和第三测试覆盖度进行了增量客观评价，计算方法为：

第二测试覆盖度*70％+第三测试覆盖度*30％＝增量测试得分

计算得到的全量/增量测试得分分别作为为对待测系统的全量/增量测试工作结果进行评价的依据。

需要说明的是，上述70％和30％仅仅是一个权重系数的示例，在本说明书的实施例中，还可以根据实际情况设置其他数值的权重系数，来进行全量测试评价。

通过上述实施例提供的方法得到的综合评价结果提供了对系统测试人员进行工作评价的依据，为用户对系统产品的验收测试提供了参考数据，对测试完整性及整体产品质量都提供了一个客观的评价。其中，对待测系统进行的客观评价能够直观的显示出测试的进度和待测系统的完成度。本方案是系统测试方法，对应的方案也同样适用开发完整性评价、安全系统测试等通过上下游相关的数据对比与分析进行的对下游工作完整性的评价场景。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种系统测试装置。

参考图4，所述系统测试装置，包括：

全量路径获取模块401，获取待测系统的全量路径分支列表。

测试路径获取模块402，在系统测试过程中，记录所述系统测试每一步操作的请求、路径以及参数，得到测试路径分支列表。

路径对比模块403，比对所述全量路径分支列表和所述测试路径分支列表，确定第一测试覆盖度以及未测试路径分支.

显示模块404，显示所述第一测试覆盖度以及未测试路径分支。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个系统和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的系统测试方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的系统测试方法。

图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过系统或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的系统测试方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的系统测试方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的系统测试方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种系统测试方法，包括：

获取待测系统的全量路径分支列表；

在系统测试过程中，记录所述系统测试每一步操作的请求、路径以及参数，得到测试路径分支列表；

比对所述全量路径分支列表和所述测试路径分支列表，确定第一测试覆盖度以及未测试路径分支；

显示所述第一测试覆盖度以及未测试路径分支。

2.根据权利要求1所述的方法，其中，所述获取待测系统的全量路径分支列表，包括：

通过所述待测系统的网页链接地址进行检索，读取所述网页内容；

找到所述网页中的其他所述链接地址；

根据其他所述链接地址寻找下一个所述网页；

重复此过程直到抓取完所述待测系统的全部所述网页；

以及将抓取到的所有所述链接地址存入数据库形成所述全量路径分支列表。

3.根据权利要求2所述的方法，其中，所述记录所述系统测试每一步操作的请求、路径以及参数，得到测试路径分支列表包括：

利用测试工具将所述每一步操作的请求、路径以及参数记录在历史记录中；

根据所述历史记录生成所述每一步操作的链接地址；

将所述历史记录中的全部所述链接地址导出并去掉重复的所述链接地址；

将剩余所述链接地址存入数据库形成所述测试路径分支列表。

4.根据权利要求1所述的方法，其中，显示所述未测试路径分支包括：

在所述全量路径分支列表中对位于所述测试路径分支列表中的路径进行标记，没有被标记的即为所述未测试路径分支；

将所述未测试路径分支导出生成未测试路径分支列表；

以及显示所述未测试路径分支列表。

5.根据权利要求1所述的方法，其中，所述方法进一步包括：

在系统测试过程中，记录弹出的已测试标志的数量；

将所述弹出的已测试标志的数量与预先在待测试系统中埋入的探针的数量进行比较，确定第二测试覆盖度，以及显示所述第二测试覆盖度。

6.根据权利要求5所述的方法，其中，所述方法进一步包括：

预先设置待测试系统的期望需求列表；

在系统测试过程中，记录已测试的需求；

对比所述期望需求列表和已测试的需求，确定所述第三覆盖度以及所述期望需求列表中的未测试的需求；

显示所述第三测试覆盖度以及所述未测试的需求。

7.根据权利要求6所述的方法，其中，所述方法进一步包括：

根据所述第一测试覆盖度、第二测试覆盖度、第三测试覆盖度及预先设置的第一测试覆盖度、第二测试覆盖度、第三测试覆盖度的权重系数确定完整性测试覆盖度，以及显示所述完整性测试覆盖度。

8.一种系统测试装置，包括：

全量路径获取模块，获取待测系统的全量路径分支列表；

测试路径获取模块，在系统测试过程中，记录所述系统测试每一步操作的请求、路径以及参数，得到测试路径分支列表；

路径对比模块，比对所述全量路径分支列表和所述测试路径分支列表，确定第一测试覆盖度以及未测试路径分支；

显示模块，显示所述第一测试覆盖度以及未测试路径分支。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至7任意一项所述的方法。

Images