CN113656319A - 一种回归测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种回归测试方法、装置、电子设备及存储介质，涉及回归测试技术领域。该装置包括Launcher模块，用于启动待测试网站的整个项目；RestServer模块，用于提供通信接口，以将url列表发送至所述待测试网站的测试客户端，以对所述命令集与标准数据集进行解析、生成并执行适配mocha的测试用例；Reporter模块，用于接收所述测试客户端返回的所述测试用例的执行结果并进行展示，使用命令集和标准数据集进行测试，对项目的低耦合性以及代码可测试性要求不高，解决现有方法用例编写复杂、用例维护困难、以及对项目的低耦合性、代码可测试性要求较高的问题。

Description

一种回归测试方法、装置、电子设备及存储介质

技术领域

本申请涉及回归测试技术领域，具体而言，涉及一种回归测试方法、装置、电子设备及存储介质。

背景技术

现有的TypeScript大项目中，常常用到的回归测试方法为黑盒测试，例如基于python selenium的UI(User Interface)回归测试，因为用例都得根据UI操作去写python脚本，从而导致用例编写复杂，并且UI或UE(User Experience)上的修改将会导致用例失效，使得用例维护困难，对比结果用的是非数据的对比导致精准度低，出问题后的跟踪也比较麻烦。另外，如果使用白盒测试，同样存在用例维护困难的问题，并且对项目的低耦合性以及代码可测试性要求较高。

发明内容

本申请实施例的目的在于提供一种回归测试方法、装置、电子设备及存储介质，使用命令集和标准数据集进行测试，对项目的低耦合性以及代码可测试性要求不高，解决现有方法用例编写复杂、用例维护困难、以及对项目的低耦合性、代码可测试性要求较高的问题。

本申请实施例提供了一种回归测试装置，应用于测试服务端，所述装置包括：

Launcher模块，用于启动待测试网站的整个项目；

RestServer模块，用于提供通信接口，以将预先录制的命令集和标准数据集对应的访问地址数据发送至所述待测试网站的测试客户端，以根据所述命令集与标准数据集生成并执行适配mocha的测试用例；

Reporter模块，用于接收测试客户端返回的所述测试用例的执行结果并进行展示。

在上述实现过程中，每轮测试时均加载整个项目，避免各个被测试的模块之间形成依赖关系，从而对项目的低耦合性以及代码可测试性要求不高。

进一步地，所述地址数据包括url列表，所述装置还包括：

Tester模块，用于解析预先录制的命令集与标准数据集，以生成url列表。

在上述实现过程中，使用预先录制的命令集与标准数据集进行测试，用例无需编写，并且可直接回放，并且用例维护简单，只要底层数据无大改，用例都能一直使用，跟UI和UE无关，每一步操作都会将内存中的数据与标准数据进行对比，能够确切地知道具体出错的具体步骤，以及具体出错的对象，甚至出错的变量，从而提高了测试精度。

本申请实施例还提供一种回归测试方法，所述方法包括：

启动待测试网站的整个项目；

将预先录制的命令集和标准数据集对应的访问地址数据发送至所述待测试网站的测试客户端，以根据所述命令集与标准数据集进行生成并执行适配mocha的测试用例；

接收测试客户端返回的所述测试用例的执行结果并进行展示。

在上述实现过程中，每轮测试时均加载整个项目，避免各个被测试的模块之间形成依赖关系，从而对项目的低耦合性以及代码可测试性要求不高。

进一步地，所述地址数据包括url列表，在所述将预先录制的命令集和标准数据集对应的访问地址数据发送至所述待测试网站的测试客户端的步骤之前，所述方法还包括：

解析预先录制的命令集与标准数据集，以生成url列表。

在上述实现过程中，利用预先录制的命令集与标准数据集进行测试，无需编写测试用例，不需要关心代码细节，所以对代码的可测试性要求不高。

本申请实施例还提供一种面向数据的回归测试装置，应用于测试客户端，所述装置包括：

mizarclient模块，用于接收并解析测试服务端发送的命令集与标准数据集对应的访问地址数据；

RegressionTestStub模块，用于根据解析结果生成并执行适配mocha的测试用例，并将执行结果通过所述mizarclient模块发送至测试服务端。

在上述实现过程中，在测试客户端这一端，通过执行命令集生成适配mocha的测试用例，在执行命令集的过程中，需要对比每个步骤执行完毕后，内存中的数据跟测试前录制的标准数据集是否一致，不需要关心代码细节，所以对代码的可测试性要求不高，并且在对比过程中，能够确切地知道具体出错的具体步骤，以及具体出错的对象，甚至出错的变量，从而快速定位问题位置，从而提高了测试精度。

本申请实施例还提供一种面向数据的回归测试方法，所述方法包括：

接收并解析测试服务端发送的命令集与标准数据集对应的访问地址数据；

根据解析结果生成并执行适配mocha的测试用例，并将执行结果发送至测试服务端。

在上述实现过程中，根据命令集与标准数据集的url列表生成适配mocha的测试用例，无需编写，并且用例维护更简单，只要底层数据无大改，用例都能一直使用，跟UI和UE无关。

进一步地，所述地址数据包括url列表，所述解析测试服务端发送的命令集与标准数据集对应的访问地址数据，包括：

加载所述url列表中的JavaScript文件；

根据url文件名，获得所述JavaScript文件中的JavaScript变量。

在上述实现过程中，通过加载url列表的js文件，从而生成js变量。

进一步地，所述根据解析结果生成并执行适配mocha的测试用例，包括：

统计命令集中的命令个数，并生成相同个数的测试代码字符串并执行，以获得测试结果；

将所述测试结果与所述标准数据集进行对比，并对得到的差异项进行断言，以得到所述执行结果。

在上述实现过程中，将测试结果与标准数据集的对比，并进行断言，从而可获得更加精确的用例测试结果。

本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的回归测试方法。

本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的回归测试方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种回归测试装置的结构框图；

图2为本申请实施例提供的回归测试装置的整体结构框图；

图3为本申请实施例提供的面向数据的回归测试装置的结构框图；

图4为本申请实施例提供的面向数据的回归测试装置的整体结构框图；

图5为本申请实施例提供的回归测试方法的流程图；

图6为本申请实施例提供的回归测试过程的时序图；

图7为本申请实施例提供的面向数据的回归测试方法的流程图；

图8为本申请实施例提供的解析url列表的流程图；

图9为本申请实施例提供的获取执行结果的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参看图1，图1为本申请实施例提供的一种回归测试装置的结构框图。该装置应用于测试服务端，本申请所采用的测试方法介于黑盒和白盒之间，采用测试服务端TestServer实现。

示例地，TestServer采用TypeScript语言编写，并通过tsc(TypeScript的编译器)编译为JavaScript运行，用npm(一种JavaScript的包管理器)作为依赖管理工具，编译的产物也属于npm(一种JavaScript的包管理器)包。

该装置具体可以包括：

Launcher模块101，用于启动待测试网站的整个项目；

该Launcher模块依赖selenium(一种浏览器控制工具)，用于带参启动并控制浏览器，加载整个被测试项目。通过待测试网站的配置文件如版本号、参数信息获取配置的待测试网站得网址，用selenium将网站打开，并通过selenium提供的接口，自动登录网站，进入可测试状态。

RestServer模块102，用于提供通信接口，以将预先录制的命令集和标准数据集对应的访问地址数据发送至所述待测试网站的测试客户端，以对所述命令集与标准数据集进行解析、生成并执行适配mocha的测试用例；

该RestServer模块102提供http接口，控制整个测试生命周期，提供的通信接口包含建立链接、上报结果、上报错误、断开链接、暂停测试和开始测试等功能。

示例地，访问地址数据可以是url列表，url列表为Restserver模块102作为http文件服务器为TestServer提供的标准数据集与指令集文件的访问链接的集合。

Reporter模块103，用于接收所述测试客户端返回的所述测试用例的执行结果并进行展示。

该Reporter模块103用于将TestClient测试客户端回传回来的测试结果，处理之后显示给用户进行查看。

如图2所示，为回归测试装置的整体结构框图，该装置还包括：

Tester模块104，用于解析预先录制的命令集与标准数据集，以生成url列表。

该Tester模块104主要用于处理测试前的一些准备工作，如拉取测试用例，并转换成url列表以提供给TestClient等。

对于命令集与标准数据集的录制，示例地，可采用待测试项目自带的录制工具，录制出命令集和标准数据集。命令集为可通过JavaScript中的eval函数执行的字符串数组，标准数据集为每执行一个命令后项目变量集的序列化结果。命令集与标准数据集都为合法的JavaScript文件。

命令集的录制，采用了MVC(Model-View-Controller，模型-视图-控制器)的模式，将模型数据、控制器以及界面在工程中拆开了，结合装饰器模式，在MVC中C(controlor)中监听执行的流程，并序列化成字符串。所以人工操作界面的时候，就能将执行的流程给记录成字符串，存档到本地文件中。

标准数据集的录制类似于命令集的录制，数据集即是MVC中的M(model)数据模型，每次执行完一组操作，就会将软件中的数据给序列化成json对象，并存储到本地文件中。在测试人员操作过程中，观察软件是否表现正确，如果表现正确，那么录制的这份json文件，即是标准数据集。后面用测试框架执行命令集的时候，每一步，都会跟标准数据集进行对比。

此外，还包括：

Common模块105：用于为TestServer各个模块提供可能用到的公共功能，例如http请求、文件夹与文件的操作类、Log类、压缩解压类、消息队列类和UUID(唯一序列号)类等。

本申请实施例还提供一种面向数据的回归测试装置，如图3所示，为面向数据的回归测试装置的结构框图，应用于测试客户端，被测试网站中埋入TestClient测试客户端、测试套件，包含了mocha、Sinon、chai等模块，用于进行测试时的命令与数据之间的传输以及测试流程的执行，具体地：

Mizarclient模块201，用于接收并解析测试服务端发送的命令集与标准数据集的url列表；

Mizarclient模块201收到TestServer发送的命令集与标准数据集的url列表，通过JavaScript加载url列表中的JavaScript文件，通过url文件名，推理出JavaScript文件中的JavaScript变量，用于后续测试。

该Mizarclient模块201用于与TestServer之间进行通信，并管理整个测试生命周期。

RegressionTestStub模块202，用于根据解析结果生成并执行适配mocha的测试用例，并将执行结果通过所述mizarclient模块发送至测试服务端。

RegressionTestStub模块202通过统计命令集中命令的个数，生成指定个数的测试代码字符串，并通过eval执行，生成的代码为mocha所支持的格式，代码中包含执行命令和监听命令执行完毕事件，从监听命令执行完毕事件中解析出测试结果，与上述Mizarclient模块201解析出来的标准数据集进行对比，对比使用的是JsonDiffPatch，找出差异项后，通过chai进行断言。

该RegressionTestStub模块202，用于生成mocha测试用例，并依赖Jsondiffpatch模块进行json数据对比。

Mizarclient模块201通过RegressionTestStub模块202获取到mocha简单版本的测试结果回传到TestServer中；Testserver通过RestServer模块102接收到测试结果，并告知Reporter模块103，以将结果展示给用户。

如图4所示，为面向数据的回归测试装置的整体结构框图，该装置还包括：

Mocha模块203，一种开源的测试框架，用于执行实际的测试代码；

Chai mocha模块204，用于断言的工具，提供断言函数；

Sinon mocha模块205，mock数据的工具，提供mock类接口等功能，使得测试过程中可以提供依赖mock的类或接口；

Mochaadapter模块206，是对mocha的封装，提供mocha状态、mocha简化版结果等功能；

Jsondiffpatch模块207，用于进行测试结果与标准数据集的对比，数据类型都为json对象。

该装置对项目的低耦合性以及代码可测试性要求不高，因为每轮测试都是加载整个项目：

对于测试框架来说，测试时，需要启动整个项目，被测试的对象，不管依赖于多少个其他类，都能在内存中找到，例如被测试的模块A，依赖于模块B、C、D，模块B依赖于模块F、F，又依赖于H，在测试前，测试对象会根据依赖关系，把整个项目给加载起来，加载顺序为H->F->B->C->D->A。由于整个项目被加载，在测试模块A的时候，就不需要关心其他依赖对象了，也不需要去mock(模拟)依赖对象。这点是白盒回归测试做不到的，因为白盒回归测试需要解决依赖的问题，并且需要mock依赖的对象，对高耦合的项目很不友好，而本申请所示装置则不存在该问题。

代码可测试性要求不高：

对于传统白盒测试，要求代码具有较高的可测试性才能开展测试，但很多情况下，是先存在了项目，才思考测试(先开发，后测试)，导致很难将原有的可测试性不高的代码重构成可测试性高的代码。而本框架因为采取的思路为执行命令集，然后对比每个步骤执行完毕后，内存中的数据是否跟测试前录制的标准数据集一致，因此不需要关心代码细节，所以对代码的可测试性要求不高。

用例无需编写：

传统UI回归测试的测试用例，需要开发者或测试开发者，根据业务的流程，例如利用python和selenium去编写测试用例。但本框架只需要测试者知道如何使用软件就能轻松录制命令集与标准数据集，从而生成测试用例，并且录制后的命令集与标准数据集可以回放，进而多次利用。

用例维护更简单：

测试用例代码的生成需要用到的命令集与标准数据集是录制的，而录制过程中采取的是MVC的设计模式，因此测试过程中只需关注M也就是模型数据，只要保证模型数据准确，就能推断出UI是准确的，所以无需关注UI、UE的细节。测试精度相比于黑盒测试更加精准，更有利于精确定位：

标准数据集为录制得到的json格式数据，其存储的为待测试网站在执行过程中创建的对象的序列化结果。而在测试过程中，每执行一条录制的命令集中的指令，就会将待测试网站中的对象序列化为json数据，将该json数据与标准数据集中的json格式数据进行json的比对(Jsondiffpatch模块207)，如果两份数据一致，则说明这个测试步骤通过。

因此，相比于传统UI回归测试，可能是根据画面或者被操作的具体对象，判断软件是否执行正确，只能给出大概出错的范围，甚至会出现误判的情况；本测试框架，因为每一步操作都会将内存中的数据与标准数据进行对比，能够确切地知道具体出错的具体步骤，以及具体出错的对象，甚至出错的变量，因此可快速、精确定位出错位置。

实施例2

本申请实施例提供一种回归测试方法，如图5所示，为回归测试方法的流程图，在测试服务端，该方法具体包括以下步骤：

步骤S100：启动待测试网站的整个项目；

步骤S200：将url列表发送至所述待测试网站的测试客户端，以对所述命令集与标准数据集进行解析、生成并执行适配mocha的测试用例；

步骤S300：接收所述测试客户端返回的所述测试用例的执行结果并进行展示。

如图6所示，为回归测试过程的时序图。在测试客户端，如图7所示，为面向数据的回归测试方法的流程图，所述方法包括：

步骤S400：接收并解析测试服务端发送的命令集与标准数据集的url列表；

步骤S500：根据解析结果生成并执行适配mocha的测试用例，并将执行结果发送至测试服务端。

其中，如图8所示，为解析url列表的流程图，步骤S400具体可以包括：

步骤S401：加载所述url列表中的JavaScript文件；

步骤S402：根据url文件名，获得所述JavaScript文件中的JavaScript变量。

如图9所示，为获取执行结果的流程图，步骤S500具体可以包括：

步骤S501：统计命令集中的命令个数，并生成相同个数的测试代码字符串并执行，以获得测试结果；

步骤S502：将所述测试结果与所述标准数据集进行对比，并对得到的差异项进行断言，以得到所述执行结果。

本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的回归测试方法。

本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的回归测试方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种回归测试装置，其特征在于，应用于测试服务端，所述装置包括：

Launcher模块，用于启动待测试网站的整个项目；

RestServer模块，用于提供通信接口，以将预先录制的命令集和标准数据集对应的访问地址数据发送至所述待测试网站的测试客户端，以根据所述命令集与标准数据集生成并执行适配mocha的测试用例；

Reporter模块，用于接收所述测试客户端返回的所述测试用例的执行结果并进行展示。

2.根据权利要求1所述的回归测试装置，其特征在于，所述地址数据包括url列表，所述装置还包括：

Tester模块，用于解析预先录制的命令集与标准数据集，以生成url列表。

3.一种回归测试方法，其特征在于，所述方法包括：

启动待测试网站的整个项目；

将预先录制的命令集和标准数据集对应的访问地址数据发送至所述待测试网站的测试客户端，以根据所述命令集与标准数据集进行生成并执行适配mocha的测试用例；

接收所述测试客户端返回的所述测试用例的执行结果并进行展示。

4.根据权利要求3所述的回归测试方法，其特征在于，所述地址数据包括url列表，在所述将预先录制的命令集和标准数据集对应的访问地址数据发送至所述待测试网站的测试客户端的步骤之前，所述方法还包括：

解析预先录制的命令集与标准数据集，以生成url列表。

5.一种面向数据的回归测试装置，其特征在于，应用于测试客户端，所述装置包括：

Mizarclient模块，用于接收并解析测试服务端发送的命令集与标准数据集对应的访问地址数据；

RegressionTestStub模块，用于根据解析结果生成并执行适配mocha的测试用例，并将执行结果通过所述Mizarclient模块发送至测试服务端。

6.一种面向数据的回归测试方法，其特征在于，所述方法包括：

接收并解析测试服务端发送的命令集与标准数据集对应的访问地址数据；

根据解析结果生成并执行适配mocha的测试用例，并将执行结果发送至测试服务端。

7.根据权利要求6所述的面向数据的回归测试方法，其特征在于，所述地址数据包括url列表，所述解析测试服务端发送的命令集与标准数据集对应的访问地址数据，包括：

加载所述url列表中的JavaScript文件；

根据url文件名，获得所述JavaScript文件中的JavaScript变量。

8.根据权利要求6所述的面向数据的回归测试方法，其特征在于，所述根据解析结果生成并执行适配mocha的测试用例，包括：

统计命令集中的命令个数，并生成相同个数的测试代码字符串并执行，以获得测试结果；

将所述测试结果与所述标准数据集进行对比，并对得到的差异项进行断言，以得到所述执行结果。

9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求3至4中任一项所述的回归测试方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求3至4中任一项所述的回归测试方法。

Images