CN106776314A

CN106776314A - 一种测试系统

Info

Publication number: CN106776314A
Application number: CN201611154479.XA
Authority: CN
Inventors: 李鹏; 周晓宇; 李祥凯; 江水; 黄建忠
Original assignee: ISOFT INFRASTRUCTURE SOFTWARE CO Ltd
Current assignee: ISOFT INFRASTRUCTURE SOFTWARE CO Ltd
Priority date: 2016-12-14
Filing date: 2016-12-14
Publication date: 2017-05-31
Anticipated expiration: 2036-12-14
Also published as: CN106776314B

Abstract

本发明提供了一种测试系统，应用于对多种测试项目执行测试，其中，包括：第一配置模块，用以对系统参数进行配置；第二配置模块，用以对所有待测试的测试项目进行配置；控制模块，用以根据待测试的测试项目，调用一数据接口以获取测试系统所需的测试工具；测试模块，与控制模块连接，用以获取由测试项目组成的测试项目列表，并通过遍历测试项目列表中的测试项目，分别采用与测试项目对应的测试工具进行测试，以分别获得对应每个测试项目的测试结果；报告生成模块，与测试模块连接，用以将测试结果生成对应可视化的测试报告。其技术方案的有益效果在于，实现了对多个测试项目同时进行测试，克服了现有技术中测试效率较低且系统耦合度较高的缺陷。

Description

一种测试系统

技术领域

本发明涉及测试技术领域，尤其涉及一种测试系统。

背景技术

Linux系统研制及使用过程中经常会需要进行系统中的测试项目进行测试。目前已有的测试工具，大部分只针对某一方面进行测试。在进行多方面的系统测试时，需要人工进行多工具的测试和测试报告制作。部分测试系统在一定程度上进行了改进，实现了测试工具的集成或结果自动处理的功能，但仍存在一些缺陷。对目前已有的测试系统存在的缺陷基本包括：

一次只能进行单一工具的测试；部署复杂，测试参数设置复杂；同一工具一次只能进行一个版本或一个参数的测试，不适用同一工具多个版本或多个参数的对比测试；只能进行通过性验证，没有数据可视化处理(图文报告)；部分工具生成的报告格式单一，只能生成固定格式的报告；无测试报告自动反馈功能，测试人员不能在第一时间获取测试报告；测试工具和测试系统集成到一起，造成工具包过大，不利于测试工具的管理和维护；测试系统的兼容性差，尤其对国产处理器平台架构和操作系统支持较少。

发明内容

针对现有技术中测试系统在对测试项目执行测试时存在的上述问题，现提供一种旨在实现可对多个测试项目同时进行测试，以及可提供多个测试工具执行测试，系统耦合度较低的测试系统。

具体技术方案如下：

一种测试系统，应用于对多种测试项目执行测试，其中，包括：

第一配置模块，用以对系统参数进行配置；

所述系统参数的配置包括对测试工具的地址、包括多个测试项目的测试项目列表、测试结果保存目录、测试报告的格式以及客户列表的配置；

第二配置模块，用以对所有待测试的所述测试项目进行配置；

所述测试项目的配置是指对配置文件中的参数记录进行配置，每个所述测试项目对应的测试记录包括参数记录名称、测试工具名称、测试工具包名称以及测试工具的执行参数；

控制模块，与所述第二配置模块连接，用以根据待测试的所述测试项目，调用一数据接口以获取所述测试系统所需的测试工具；

测试模块，与所述控制模块连接，用以获取由所述测试项目组成的测试项目列表，并通过遍历所述测试项目列表中的所述测试项目，分别采用与所述测试项目对应的所述测试工具进行测试，以分别获得对应每个所述测试项目的测试结果；

报告生成模块，与所述测试模块连接，用以将所述测试结果生成对应可视化的测试报告。

优选的，还包括一发送模块，所述发送模块与所述报告生成模块连接，用以按照预先生成的所述客户列表将所述测试报告发送至所述客户列表中对应的客户。

优选的，所述数据接口包括一解析接口，所述解析接口调用一参数解析模块，通过所述参数解析模块对所述测试系统的参数以及所述测试工具的参数进行解析；

以生成一包含所述测试系统的所述系统参数和所述测试工具的所述系统参数的列表；

所述测试模块用以调用所述列表并于所述列表中获取所述测试项目列表以及每个所述测试项目的测试参数；

所述测试参数用以供所述测试模块进行测试，以获取对应每个所述测试项目的所述测试结果。

优选的，所述数据接口还包括：

文件下载接口，所述控制模块根据需要下载的所述测试工具的地址以及所述测试工具包名称调用所述文件下载接口获取对应的所述测试工具的安装包；

压缩接口，用以对下载的所述测试工具的安装包进行解压，以形成解压文件；

安装接口，用以对解压文件进行的所述测试工具执行安装操作。

优选的，所述数据接口还包括一程序执行接口，所述测试工具根据所述测试项目的对应的所述测试参数形成对应的测试指令；

所述程序执行接口根据所述测试指令调用执行程序对待测的所述测试项进行测试。

优选的，还包括一测试结果临时目录，所述测试工具对所述测试项目列表中的每一所述测试项目进行测试时均将与所述测试项目对应的所述测试结果保存至所述测试结果临时目录；

待所有的所述测试项目测试完毕后，将所述测试结果汇总并保存至所述测试结果保存目录中。

优选的，还包括一图表处理模块，用以将每个所述测试结果生成对应的图标格式，并保存于所述测试报告中。

上述技术方案具有如下优点或有益效果：可将测试列表中的测试项目遍历进行测试，实现了对多个测试项目同时进行测试，并且对每个测试项目采取对应的测试工具执行测试，还可将测试形成的结果形成预定的格式发送至客户方便客户及时查看，克服了现有技术中测试效率较低且系统耦合度较高的缺陷。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明一种测试系统实施例的结构示意图；

图2为本发明一种测试系统实施例中，关于数据接口的结构示意图。

上述说明书中各附图标记表示；

(1)、第一配置模块；(2)、第二配置模块；(3)、控制模块；(4)、测试模块；(5)、报告生成模块；(6)、发送模块；(7)、数据接口；(71)、解析接口；(72)、文件下载接口；(73)、压缩接口；(74)、安装接口；(75)、程序执行接口。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的技术方案中包括一种测试系统。

如图1所示，一种测试系统的实施例，应用于对多种测试项目执行测试，其中，包括：

第一配置模块1，用以对系统参数进行配置；

第二配置模块2，用以对所有待测试的所述测试项目进行配置；

控制模块3，与所述第二配置模块2连接，用以根据待测试的所述测试项目，调用一数据接口7以获取所述测试系统所需的测试工具；

测试模块4，与所述控制模块3连接，用以获取由所述测试项目组成的测试项目列表，并通过遍历所述测试项目列表中的所述测试项目，分别采用与所述测试项目对应的所述测试工具进行测试，以分别获得对应每个所述测试项目的测试结果；

报告生成模块5，与所述测试模块4连接，用以将所述测试结果生成对应可视化的测试报告。

上述技术方案中，系统参数的配置包括；

测试工具的地址；测试工具的地址即测试工具集中存放的仓库地址，支持外部的网络磁盘、云盘，支持局域网内的ftp服务器、http服务器，将测试框架与测试工具分离的设计，解决了现有技术中测试包过大的问题；测试工具获取地址动态指定的设计，解决了现有技术中测试工具存储分散，依赖外网、管理难度大的问题；

测试项目列表，用于选定测试项目，即一次要进行测试的项目名称，测试项需要从支持测试项目列表中选取；

测试结果保存目录，用于设置测试结果保存目录的名称，用于区分多次测试的结果，该设计将多次测试结果分开存储，用于对比测试报告的制作。

测试报告的格式以及客户列表的配置。

测试项目的配置是指对配置文件中的参数记录进行配置，每个测试项目对应的测试记录包括：

参数记录名称，用于区别不同测试项目的参数记录，该名称需和测试框架参数中的支持列表的项目名称一致；

测试工具名称，用于指定测试项目选择的测试工具名称，该工具名称需和测试模块4中测试工具部分的工具执行程序的名称一一对应；

测试工具包名称，用于指定测试工具的包名称，支持一次测试选择不同版本的工具。如在一次测试中进行同一工具两个版本的测试，只需添加两个测试项目，测试项目参数记录的工具包名分别指定这两个版本即可。该设计解决了现有技术中不支持同一工具一次进行多个版本对比测试的问题。

测试工具的执行参数，用于设置测试项目的测试工具的执行参数。支持一次测试中，同一个工具选择不同参数测试。如测试需求为对比1G、2G、4G测试文件大小I/O性能的差异，只需添加3个测试项目，测试项目参数记录的工具参数分别指定3种文件的大小即可。该设计解决了现有技术中不支持同一工具一次进行多种参数对比测试的问题；

上述技术方案中，在测试系统执行测试前，可通过配置模块对配置测试系统以及测试项目进行配置；

其中对测试系统的配置还包括被测试项目的系统架构平台的设置，即根据不同的处理器架构采取不同的参数编译，以实现技术中处理器架构兼容的问题；

软件包管理参数，软件在安装前用以获取该管理参数执行安装；

上述技术方案中，通过将测试项目形成测试项目列表，控制模块3根据需要测试的测试项目调用数据口以获取测试系统所需的测试工具，在获取了测试工具之后，由测试模块4执行测试，具体是对测试列表中的测试项目采取对应的测试工具依次进行测试以获得测试结果；

在一种较优的实施方式中，还包括一发送模块6，发送模块6与报告生成模块5连接，用以按照预先生成的客户列表将测试报告发送至客户列表中对应的客户。

为了方便使用者及时的获取测试结果，可通过报告生成模块5将测试结果生成对应的测试报告，并根据预先生成的客户列表，将测试报告发送至对应的客户；

其中客户列表中可包括客户的名称以及客户的邮箱地址，生成的测试报告通过客户的邮箱地址发送至对应的客户。

在一种较优的实施方式中，如图2所示，数据接口7包括一解析接口71，解析接口71调用一参数解析模块，通过参数解析模块对测试系统的参数以及测试工具的参数进行解析；

以生成一包含测试系统的参数信息和测试工具的参数信息的列表；

测试模块4用以调用列表并于列表中获取测试项目列表以及每个测试项目的测试参数，所述测试参数用以供所述测试模块4进行测试，以获取对应每个所述测试项目的所述测试结果。

在一种较优的实施方式中，数据接口7还包括：

文件下载接口72，控制模块3根据需要下载的测试工具的地址以及测试工具包名称调用文件下载接口72获取对应的测试工具的安装包；

压缩接口73，用以对下载的测试工具的安装包进行解压，以形成解压文件；

安装接口74，用以对解压文件进行的测试工具执行安装操作。

在一种较优的实施方式中，数据接口7还包括一程序执行接口75，测试工具根据测试项目的对应的测试参数形成对应的测试指令；

程序执行接口75根据测试指令调用执行程序对待测的测试项进行测试。

上述技术方案中测试工具的执行主要包括获取解压以及安装的三个步骤，即通过分别调用上述的文件下载接口72，压缩接口73，安装接口74实现测试工具的安装。

在一种较优的实施方式中，还包括一测试结果临时目录，测试工具对测试项目列表中的每一测试项目进行测试时均将与测试项目对应的测试结果保存至测试结果临时目录；

待所有的测试项目测试完毕后，将测试结果汇总并保存至测试结果保存目录中。

上述技术方案中，包括一日志模块，当执行程序在对测试项目进行测试时调用日志模块对测试结果进行保存。

在一种较优的实施方式中，预定格式包括xls、html、pdf以及doc格式。

在一种较优的实施方式中，还包括一图表处理模块，用以将每个测试结果生成对应的图标格式，并保存于测试报告中。

以下以一种具体的实施方式进行说明，如图2所示，以python语言实现，所有涉及的名词和术语全部为python开发环境常用名词和术语，以下将详细阐述如何通过python语言来实现本发明中系统评测框架。

(1)参数模块

参数模块由文本标记语言实现，如xml、json，本案例选择xml语言。参数模块的框架参数、测试项目参数，分别通过Setup.xml、Test_parameter.xml实现。

Setup.xml包括测试框架基本信息、系统平台架构、包管理方式、测试工具地址、测试项目列表、测试结果tag、测试报告格式列表、邮件订阅列表，每一项可以由一个标签进行区别。

Setup.xml包括version、date、summary、support等标签对，每个标签对写入对应的内容，如version:”<version>1.0</version>”。

系统平台架构为<arch>标签实现，内容为“<arch>mips</arch>；

包管理方式为<install_package>,内容包括yum、apt、pacman的一种；

测试工具地址为<testtoolurl>,内容例如”http://192.168.32.18/testtool/“；测试项目列表为<testlist>，内容例如“Perf_cpu Perf_mem”；测试结果tag内容例如“isoft_desktop_v4.0”；

测试报告格式内容例如”xls html”；邮件订阅列表内容例如“xxx@xxx.com xxx@xxx.com.cn”。Test_parameter.xml包括记录名称、测试工具tag、测试工具包名、工具参数。

Test_parameter.xml包括支持列表中所有的测试参数记录

一个标准的测试参数记录例如：包括中为注释内容”<Test>Perf_cpu</Test>(记录名称)<Perf_cpu>tarbal＝sysbench-0.4.12.tar.gz(工具包名)testtool＝sysbench(测试工具tag)×cpu_max_prime＝10000,20000,30000(工具参数)runtimes＝3(测试次数)</Perf_cpu>”。

(2)基础API(应用程序编程接口)

基础API包括日志模块、参数解析、软件包安装、目录创建、文件下载、文件解压缩、工具安装、程序执行、邮件通知、数据处理、格式转换、图表生成等独立的API。

日志模块API采用python中的logging模块实现。

本实施案例中，日志模块API由Logging_Congig类实现，该类存在一个静态方法，该方法支持传入loggername、logfile两个参数。其中loggername为创建logger对象的名称，logfile为保存日志记录的文件名。该方法需要创建FileHandler,用于日志记录保存，创建StreamHandler,用于日志记录的屏幕输出，通过Formatter定义两个handler的格式，格式定义为“％(asctime)s-％(name)s-％(levelname)s-％(message)s”，并且定义FileHandler的信息级别为DEBUG,定义StreamHandler的信息级别为ERROR.

参数解析API需实现xml文件的解析，通过python的xml.dom.minidom模块实现。

本实施案例中以Parsing_XML类实现，该类包含两个静态方法，分别调用xml.dom.minidom中的方法，进行xml文件的解析。测试参数需要传入解析文件的名称，如Setup.xml。该类最终返回包含参数信息的字典。

软件包安装API需实现软件包的安装。本实施案例中通过PacketInstall类实现，该类包含3个方法packetcheck、installtoolcheck、packinstall，其中installtoolcheck实现包管理的方式的确认，调用参数解析API，获取包管理方式，返回包管理命令。packetcheck接收传入的待检查的包列表，然后遍历包列表，调用installtoolcheck方法获取包管理命令，通过python标准库中的subprocess的PIPE,Popen类实现调用系统包管理命令查询依赖包是否需要安装，如需要安装则调用packinstall方法进行安装，不需要则退出。packinstall方法接收传入的待安装包名称和包管理命令，然后进行包的安装。

目录创建API需实现软件包的安装。

本案例中通过mkdirectory函数实现，接收传入的需要创建的目录名。首先通过调用python标准库os.path.abspath获取目录绝对路径，然后将需要创建的目录名和绝对路径进行拼接，获取待创建目录的绝对路径，然后调用os.path.exists判断是否已存在该路径，如果没有则进行创建，调用os.makedirs创建，如果已存在则跳过。

文件下载API需实现文件的远程下载。本案例中通过downloadfile函数实现，接收传入的本地保存路径，远程下载地址，待下载文件名，通过调用urllib2、urllib模块实现文件的下载。

文件解压缩API需实现文件的解压缩。本案例中通过decompressfile、compressfile两个函数实现，decompressfile用于实现文件的解压缩，通过调用python标准库tarfile模块实现，接收文件路径参数，返回解压之后的文件路径。Compressfile实现文件的压缩，通过调用tarfile模块实现，接收文件夹路径，返回压缩之后的文件路径。

工具安装API需要实现linux软件的安装。本案例中通过configure、make 2个函数实现，其中configure函数用于封装configure命令，接收configure参数，然后调用call执行带参数的configure命令。make函数用于封装make命令，接收make参数，然后调用call执行带参数的make命令，其中make install、make clean等操作均由make函数实现。

程序执行API实现测试工具的执行。本案例中通过runtest函数实现，函数接收执行命令路径、执行命令、运行次数参数，然后按照测试次数参数，调用call函数进行测试程序的执行。

邮件通知API实现邮件的发送。本案例中通过automail_result函数实现，函数接收文件路径参数，函数首先调用参数解析API，获取订阅的邮件列表。然后通过python中的email模块的实现带附件邮件的发送。

数据处理API实现测试结果数据的解析。本案例中通过ResultSorting类实现，该类包含readfile、datasearch等多个方法。其中readfile用于测试结果文件的读入。该类维护一个测试工具中指标项对应的正则表达式的匹配规则的字典，其中指标项目和其匹配规则需要根据具体测试工具进行整理。Datasearch方法接入结果文件、工具名、匹配规则参数，通过python re模块进行有效数值的提取，然后返回一个包含有效数据的列表。

格式转换API实现测试报告格式的转换。本案例中实现的markdown格式转换为html、pdf等格式。格式转换通过pandoc实现，为了可以实现多种格式的转换，通过formatchange函数接收markdown文件、转换格式参数。Formatchange函数内部分别对pandoc的md转html、md转pdf进行了封装。该函数将返回一个转换之后的文件路径。

图表生成API实现了包含测试数据图表的图片的生成。本案例中通过mkchart模块实现，该模块通过matplotlib、numpy、multiprocessing等python库实现。Mkchart模块中包含多个函数分别为_setfigsize、_setbarwidth、_setymax、_setlegend、graphing、mkchart等函数。通过一系列的函数实现了测试项目名称、指标名称、测试结果数据、图片layout信息等，图片layout信息包括图片的大小、颜色、布局等定制功能。该模块需接收图表生成的信息模板和测试结果数据。

(3)控制模块3

控制模块3需实现main、setup、流程控制3个部分的功能。其中通过recivefile函数进行参数的接收和处理，该部分调用python标准库optparse实现。该模块需要维护一个系统评测框架依赖工具的列表。该列表包括pandoc、matplotlib等工具。环境部署通过setup函数实现，该函数遍历依赖列表，调用包安装工具实现依赖包的安装。流程控制放到if__name__＝＝"__main__"中，先后调用测试模块4、报告制作模块的类或函数，最后调用邮件通知API实现测试报告的反馈。

(4)测试模块4

测试模块4需实现测试驱动、测试工具两个部分的功能。测试驱动通过TestDrive类实现，该类包扩mktestdir、_runtest、parameter等方法。其中mktestdir方法实现测试环境的部署，主要为调用目录创建API生成相关目录。_parameter函数实现参数的解析，主要为调用参数解析API获取测试项目、测试参数列表。_runtest实现流程控制的功能，通过遍历测试项目列表实现，然后调用创建目录API实现结果和debug目录的创建，然后将测试工具类实例化，然后调用测试工具对象的_runtest方法实现测试。_runtest测试前需调用日志模块用于测试结果和debug信息的保存。测试工具则有一系列的单独的模块实现，模块名和测试工具名对应。每个模块包含一个DoTest的类，以sysbench测试工具为例，该类中包含_setup和_runtest两个方法。其中_setup先调用包安装API，解决sysbench工具的依赖，如gcc、make、automake、libtool，然后调用文件下载API，进行sysbench工具的下载，然后调用解压缩API，实现工具包的解压，然后调用工具安装API，实现工具的安装。_runtest函数，首先进行参数的处理，例如sysbench的参数可以为cpu_max_prime，然后和执行工具sysbench拼接，然后以最终命令、测试次数为参数调用测试执行API，进行测试。其他的测试工具的实现方式和sysbench类似，该方式支持扩展任意测试工具。

(5)报告生成模块5

报告生成模块5需要实现控制程序，和多种报告格式的生成。该案例中控制程序由mkresult、processingcontrol模块实现。其中mkresult通过调用python标准库optparse实现参数处理，然后调用processingcontrol。Processingcontrol由Control_processing类实现，通过调用参数解析API获取需要制作报告格式的列表，然后分别调用对应格式的报告制作模块实现报告生成。Xls格式报告通过mkxls模块实现,包括MkSinglesheet类、mkxls函数等。其中mkxls函数实现一次结果多个测试工具对应sheet制作的控制功能。MkSinglesheet类通过python的xlsxwriter库实现sheet的制作。MkSinglesheet类中包含多个方法分别实现文件名、sheet名称、报告标题、测试信息、图表格式(柱状图、饼状图)、表格风格(字体大小、字体颜色、图表颜色等)的处理。不同测试工具通过一个文件模块来维护自定的模板信息。Html、PDF、DOC格式通过pandoc转markdown格式文件实现，本案例以mkhtml模块实现，包括MkFormat类和mkformat函数。MkFormat类将测试报告的title、测试数据、图表图片等内容按照markdown语法形成md格式文件。MkFormat类中的包含多个方法分别实现测试报告的title、测试数据、图片的的处理，图片的制作通过调用图片生成API制作。mkformat函数则调用格式转换API将md转成html、PDF、DOC格式。测试数据都通过调用数据处理API获取。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims

1.一种测试系统，应用于对多种测试项目执行测试，其特征在于，包括：

第一配置模块，用以对系统参数进行配置；

2.根据权利要求1所述的测试系统，其特征在于，还包括一发送模块，所述发送模块与所述报告生成模块连接，用以按照预先生成的所述客户列表将所述测试报告发送至所述客户列表中对应的客户。

3.根据权利要求1所述的测试系统，其特征在于，所述数据接口包括一解析接口，所述解析接口调用一参数解析模块，通过所述参数解析模块对所述测试系统的参数以及所述测试工具的参数进行解析；

4.根据权利要求1所述的测试系统，其特征在于，所述数据接口还包括：

5.根据权利要求4所述的测试系统，其特征在于，所述数据接口还包括一程序执行接口，所述测试工具根据所述测试项目的对应的所述测试参数形成对应的测试指令；

6.根据权利要求1所述的测试系统，其特征在于，还包括一测试结果临时目录，所述测试工具对所述测试项目列表中的每一所述测试项目进行测试时均将与所述测试项目对应的所述测试结果保存至所述测试结果临时目录；

7.根据权利要求1所述的测试系统，其特征在于，所述报告生成模块还包括一图表处理模块，用以将每个所述测试结果生成对应的图标格式，并保存于所述测试报告中。