CN112328484A - 一种实现算法自动化测试管理平台的方法及系统 - Google Patents

Abstract

本发明公开了一种实现算法自动化测试管理平台的方法及系统，安装python3开发环境；封装原有API；自动化车上平台框架实现。本发明的有益效果：实现testlink能够对linux下后台运行程序进行测试用例结果统计，实现算法接口业务功能自动化测试，Testlink可以自动化执行linux后台服务，进行测试用例结果管理及展示。

Description

一种实现算法自动化测试管理平台的方法及系统

技术领域

本发明涉及算法自动化测试用例管理的技术领域，尤其涉及一种基于TestLink、python、shell和jenkins实现算法自动化测试管理平台的方法及自动化测试管理平台系统。

背景技术

以前现有的技术没有将自动化框架和用例管理工具有机的结合在一起，如果辅助手工测试人员执行用例后，需要手工测试人员将自动化生成的执行日志手动填充到手动测试的执行日志中，这个填充过程极容易造成人为的错漏，并且效率还很低下。总之，自动化只是参与持续集成的回归，并没有与手工测试有机的结合从真正意义上解放手工测试人员的双手。

但目前软件开发的速度越来越快，软件的自动化测试是将人工测试行为转化为机器自动执行测试的一种过程。通常，在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，将得到的实际结果与期望结果进行比较。在此过程中，为了节省人力、时间或硬件资源，提高测试效率，引入了自动化测试。但现有的testlink无法针对算法进行测试，同时testlink提供的原生API是基于java对控制linux命令开发难度较大。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的一个技术问题是：解决现有的testlink无法针对后台服务算法进行自动化执行测试用例管理，只能针对前端用例进行自动化执行测试管理的问题。

为解决上述技术问题，本发明提供如下技术方案：一种实现算法自动化测试管理平台的方法，安装python3开发环境；封装原有API；自动化车上平台框架实现。

作为本发明所述的实现算法自动化测试管理平台的方法的一种优选方案，其中：所述安装python3开发环境包括，安装TestLink-API-Python-client库；和subprocess库；安装testlink；安装jenkins。

作为本发明所述的实现算法自动化测试管理平台的方法的一种优选方案，其中：所述开发环境包括，

利用Python3.5语言作为编程语言，使用TestLink-API-Python-client库进行testlink控制操作；使用subprocess库进行linux命令控制操作；使用testlink进行测试用例、测试计划图形界面统一管理；使用jenkins进行持续集成管理。

作为本发明所述的实现算法自动化测试管理平台的方法的一种优选方案，其中：包括，

安装python3.5版本及pip3工具；在github上获取TestLink-API-Python-client库并进行安装；使用pip3安装subprocess；源码安装testlink；在github上获取jenkins版本后进行dpkg安装deb包。

作为本发明所述的实现算法自动化测试管理平台的方法的一种优选方案，其中：所述封装原有API包括，对TestLink-API-Python-client库接口进行重新封装；测试计划获取、测试用例获取、测试结果获取并回传给Testlink平台；对subprocess库接口进行封装，python操作linux命令并记录测试执行结果和测试执行日志信息。

作为本发明所述的实现算法自动化测试管理平台的方法的一种优选方案，其中：所述自动化车上平台框架实现包括使用shell+python规划实现后台配置管理、用例管理、日志管理、结果管理、预期结果管理和待测版本升级。

作为本发明所述的实现算法自动化测试管理平台的方法的一种优选方案，其中：所述自动化车上平台框架实现包括，用python编写获取预测结果和测试用例等信息代码；用shell编写获取测试平台系统配置环境信息代码；部署自动化测试平台环境。

本发明解决的另一个技术问题是：解决现有的testlink无法针对后台服务算法进行自动化执行测试用例管理，只能针对前端用例进行自动化执行测试管理的问题。

为解决上述技术问题，本发明提供如下技术方案：一种实现算法自动化测试管理平台的系统，包括执行测试模块、选择测试模块、获取模块、输出模块和推送模块；所述执行测试模块用于测试命令的执行；所述选择测试模块用于选择测试的用例、参数和算法；所述获取模块用于获取数据和预期结果；所述输出模块用于输出测试的结果和执行日志；所述推送模块用于推送测试结果。

本发明的有益效果：实现testlink能够对linux下后台运行程序进行测试用例结果统计，实现算法接口业务功能自动化测试，Testlink可以自动化执行linux后台服务，进行测试用例结果管理及展示。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一种实施例所述算法自动化测试平台运行流程、部署模块和执行过程关系示意图；

图2为本发明第一种实施例所述系统部署环境截图的示意图；

图3为本发明第一种实施例所述算法执行用例日志示意图；

图4为本发明第一种实施例所述自动化执行算法测试创建的测试计划示意图；

图5为本发明第一种实施例所述自动化执行算法测试用例结果示意图；

图6为本发明第三种实施例所述自动化测试管理系统的模块结构分布示意图；

图7为本发明第三种实施例所述自动化测试管理系统的拓扑结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

本实施例中提出的自动化测试框架即是应用于自动化测试所用的框架。按照框架的定义，自动化测试框架要么是提供可重用的基础自动化测试模块，如:selenium、watir等，它们主要提供最基础的自动化测试功能，比如打开一个程序，模拟鼠标和键盘来点击或操作被测试对象，最后验证被测对象的属性以判断程序的正确性；要么是可以提供自动化测试执行和管理功能的架构模块，如:PhoenixFramework，robot，STAF等，它们本身不提供基础的自动化测试支持，只是用于组织、管理和执行那些独立的自动化测试用例，测试完成后统计测试结果，通常这类框架一般都会集成一个基础自动化测试模块，如:robot框架就可以集成selenium框架，PhoenixFramework集成的也是selenium框架。

目前一般的公司软件自动化测试都是盲目的，将系统测试的用例直接转化为自动化测试脚本，一个脚本对应一个用例，脚本之间独立、不可共享，造成脚本编写复杂、可维护性差，往往造成自动化测试半途而废的后果，造成人力、物力的浪费。

参照图1～5的示意，为本实施例算法自动化测试平台运行流程及部署模块和执行过程关系的示意，具体的，一种实现算法自动化测试管理平台的方法，包括以下步骤，

S1：安装python3开发环境；

本步骤中安装python3开发环境包括，

安装TestLink-API-Python-client库；

和subprocess库；

安装testlink；

安装jenkins。

进一步的，开发环境包括，

利用Python3.5语言作为编程语言，使用TestLink-API-Python-client库进行testlink控制操作；

使用subprocess库进行linux命令控制操作；

使用testlink进行测试用例、测试计划图形界面统一管理；

使用jenkins进行持续集成管理。

本实施例中该步骤还包括安装python3.5版本及pip3工具；

在github上获取TestLink-API-Python-client库并进行安装；

使用pip3安装subprocess；

源码安装testlink；

在github上获取jenkins版本后进行dpkg安装deb包。

S2：封装原有API；封装原有API包括，

对TestLink-API-Python-client库接口进行重新封装；

测试计划获取、测试用例获取、测试结果获取并回传给Testlink平台；

对subprocess库接口进行封装，python操作linux命令并记录测试执行结果和测试执行日志信息。

S3：自动化车上平台框架实现，本步骤中自动化车上平台框架实现包括使用shell+python规划实现后台配置管理、用例管理、日志管理、结果管理、预期结果管理和待测版本升级。

进一步的，自动化车上平台框架实现包括，

用python编写获取预测结果和测试用例等信息代码；

用shell编写获取测试平台系统配置环境信息代码；

部署自动化测试平台环境。

还需要说明的是，中对TestLink-API-Python-client库接口进行重新封装，实现测试计划获取、测试用例获取、测试结果获取并回传给Testlink平台；对subprocess库接口进行封装，让python可以更加方便的操作linux命令。

TestLink-API-Python-client库接口进行封装，代码实现如下：

实施例2

为了对本方法中采用的技术效果加以验证说明，本实施例选择的传统的testlink算法和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。

传统的testlink算法无法针对算法进行测试，同时testlink提供的原生API是基于java对控制linux命令开发难度较大。

为验证本方法相对传统的testlink算法能够实现自动化测试以及具有较高的测试效率。

本实施例中将采用传统的testlink算法和本方法分别对算法的测试效率进行实时测量对比，具体的，按如下步骤进行实验：

(1)测试用例对象TestCase tc；上传文件的本地文件路径file；上传附件的标题：title1，title1；上传附件的描述信息desc1，desc1；附件的文件名字fileName1，fileName1。

(2)读取本地脚本文件转换为字节数组：byteArray，然后对该字节数组进行Base64编码并转换为字符串类型的fileContent。

(3)分别调用TestLinkAPI的uploadTestCaseAttachment()方法完成附件的上传，其中代码中使用到了Commons IO开源类库文件中的FileUitls类。

(4)同时运行附件。

实验一共指派10个测试用例，运行结果如下表所示：

表1：采用传统的testlink算法和本方法进行算法自动化测试的结果对比表。

	需求覆盖率	通过率	锁定比例	失败率
					传统的testlink算法	100％	76.2％	11.9％	11.9％
本方法	100％	85.4％	7.3％	7.3％

由此可见，本方法较于传统的testlink算法具有较好的测试效果，且配置及使用非常方便。

实现testlink能够对linux下后台运行程序进行测试用例结果统计，实现算法接口业务功能自动化测试，Testlink可以自动化执行linux后台服务，进行测试用例结果管理及展示。

实施例3

参照图6～图7，本实施例提出一种实现算法自动化测试管理平台的系统，包括执行测试模块100、选择测试模块200、获取模块300、输出模块400和推送模块500。具体的，

执行测试模块100：用于测试命令的执行；当接收到测试命令时，执行测试模块100内的CPU立刻向选择测试模块传送第一信号。

选择测试模块200：与执行测试模块100连接，用于在接收执行测试模块100发送的第一信号后选择测试的用例、参数和算法，并按照用例、参数和算法进行测试；该模块可以是51系列单片机，单片机执行完测试操作后，接着向获取模块300发送第二信号。

获取模块300：与选择测试模块200连接，用于在接收选择测试模块200的第二信号后获取选择测试模块200的测试数据和预期结果。

输出模块400：与获取模块300连接，用于输出测试的结果和执行日志。

推送模块500：与获取模块300和输出模块400连接，用于推送测试结果，本实施例中可通过4G、5G或Wi-Fi通信将结果实时推送至可移动终端。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种实现算法自动化测试管理平台的方法，其特征在于：包括以下步骤，

安装python3开发环境；

封装原有API；

自动化车上平台框架实现。

2.如权利要求1所述的实现算法自动化测试管理平台的方法，其特征在于：所述安装python3开发环境包括，

安装TestLink-API-Python-client库；

和subprocess库；

安装testlink；

安装jenkins。

3.如权利要求1或2所述的实现算法自动化测试管理平台的方法，其特征在于：所述开发环境包括，

利用Python3.5语言作为编程语言，使用TestLink-API-Python-client库进行testlink控制操作；

使用subprocess库进行linux命令控制操作；

使用testlink进行测试用例、测试计划图形界面统一管理；

使用jenkins进行持续集成管理。

4.如权利要求3所述的实现算法自动化测试管理平台的方法，其特征在于：包括安装python3.5版本及pip3工具；

在github上获取TestLink-API-Python-client库并进行安装；

使用pip3安装subprocess；

源码安装testlink；

在github上获取jenkins版本后进行dpkg安装deb包。

5.如权利要求1～2或4任一所述的实现算法自动化测试管理平台的方法，其特征在于：所述封装原有API包括，

对TestLink-API-Python-client库接口进行重新封装；

测试计划获取、测试用例获取、测试结果获取并回传给Testlink平台；

对subprocess库接口进行封装，python操作linux命令并记录测试执行结果和测试执行日志信息。

6.如权利要求5所述的实现算法自动化测试管理平台的方法，其特征在于：所述自动化车上平台框架实现包括使用shell+python规划实现后台配置管理、用例管理、日志管理、结果管理、预期结果管理和待测版本升级。

7.如权利要求6所述的实现算法自动化测试管理平台的方法，其特征在于：所述自动化车上平台框架实现包括，

用python编写获取预测结果和测试用例等信息代码；

用shell编写获取测试平台系统配置环境信息代码；

部署自动化测试平台环境。

8.一种实现算法自动化测试管理平台的系统，其特征在于：包括执行测试模块(100)、选择测试模块(200)、获取模块(300)、输出模块(400)和推送模块(500)；

所述执行测试模块(100)用于测试命令的执行；

所述选择测试模块(200)用于选择测试的用例、参数和算法；

所述获取模块(300)用于获取数据和预期结果；

所述输出模块(400)用于输出测试的结果和执行日志；

所述推送模块(500)用于推送测试结果。

Images