CN107544908A - 一种定位openstack集成测试框架执行报错方法 - Google Patents

Abstract

本发明公开了一种定位openstack集成测试框架执行报错方法，包括以下步骤：对配置文件增加打印日志配置信息；对配置文件进行修改，增加输出路径配置信息和过滤标签信息；对配置文件增加步骤标识标签；执行脚本后按照添加步骤标签信息过滤文件输出日志。通过完善tempest测试框架，全局测试时使输出log信息加入特定标签后，再通过对log信息使用脚本去过滤，保存到对应的文件，就方便地使文件按照方便的形式展示出来，包括执行对应的类名、请求方式、url等，这样在判断出错问题时直接再excel中对应搜索就可以快速定位问题。

Description

一种定位openstack集成测试框架执行报错方法

技术领域

本发明涉及测试技术领域，尤其是一种定位openstack集成测试框架执行报错方法。

背景技术

OpenStack是开源的领先的云操作系统。OpenStack有全球大量的组织支持，大量的开发人员参与，发展迅速。OpenStack社区已经是仅次于linux开源社区的第二大开源社区。Openstack开源、开放、包容的基因是优秀的，目前已经成为公有云、私有云及混合云管理的“云操作系统”标准。Openstack中针对不同的组件服务有不同的对应项目，为了保证社区成员提交的代码符合现有规范，社区有对应的测试项目来验证提测代码，其中包括单元测试、集成测试、业务自动化测试、压力测试、兼容性测试等全方位认证。集成测试框架是openstack开源社区重要的QA工程——tempest集成测试框架，通过对Openstack终端发起一系列API(OpenStack public interfaces)请求，并且对终端的响应进行验证。

目前tempest测试框架可以根据输入测试命令自动执行指定的测试用例，并根据执行过程输出响应log信息，包括error信息。由于tempest测试套件一般包含2000多条用例，数目庞大，而且每个具体测试用例中包含很多setup、准备数据、cleanup等其他步骤，如果用例报错，可能是在准备数据或者清理数据等其他情况下失败，不一定是用例的测试点步骤失败，所以排查工作变的比较繁琐，要在log中定位出出错的用例、异常报错点、甚至还要到具体用例中查看上下文关联进行判断。Tempest工具执行的log信息有两种形式展现：

1)/opt/stack/tempest/etc/tempest.log中对每个用例具体执行步骤都会有相应的log信息，从log信息中可以看到报错。tempest.log文件定位问题的话，log信息根据展示多而且报错信息比较粗略，不能很直观的查看到具体执行调用哪个API报错。

2)tempest执行时调用nose等测试框架在执行界面打印出来的log信息，可以比较直观的看到具体哪个用例fail且展示格式比较清晰。虽然可以比较快速的指导哪些用例fail，但是存在跟第一种形式一样的问题，用例整体报错，不能直观的查看到用例中具体哪一个步骤、调用的哪个API报错。

发明内容

本发明的目的是提供一种定位openstack集成测试框架执行报错方法，实现针对tempest测试框架进行快速定位。

为实现上述目的，本发明采用下述技术方案：

一种定位openstack集成测试框架执行报错方法，包括以下步骤：

对配置文件增加打印日志配置信息；

对配置文件进行修改，增加输出路径配置信息和过滤标签信息；

对配置文件增加步骤标识标签；

执行脚本后按照添加步骤标签信息过滤文件输出日志。

进一步地，所述对配置文件增加打印日志配置信息步骤之前，还包括：

配置openstack环境，通过tempest cli命令查看响应是否正确，如果输出log信息没有报错，则安装成功，否则，重新配置。

进一步地，所述配置openstack环境包括对测试需要的计算、网络、存储和用户的配置。

进一步地，所述对配置文件增加打印日志配置信息，包括：

查找到lib/common下的rest_client.py文件，编辑文件；

查找rest_client.py脚本文件中打印日志的语句，并将rest请求的methos、url加入到打印语句中，将method和url对应值按照固定格式打印出来。

进一步地，所述对配置文件进行修改，增加输出路径配置信息和过滤标签信息，包括：在配置文件脚本中输出路径指定为excel路径；在配置文件脚本中加入为了过滤log信息的过滤标签，所述过滤标签用来区别测试框架中其他log信息。

进一步地，所述对配置文件增加步骤标识标签，包括：

对test.py文件中log输出的位置增加用例初始化、用例环境销毁、类初始化、类环境销毁标记标签一并输出。

进一步地，所述执行脚本后按照添加步骤标签信息过滤文件输出日志，包括：

执行脚本按照操作类型、请求方式、类名、url过滤出所有用例对应的相关信息，并保存到excel，所述excel中的信息对应着测试用例中每个操作步骤对应的请求的RESTAPI，获取测试用例、用例类名、API请求方式、步骤对应的URL信息。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明完善tempest集成测试框架，全部执行所有的测试用例后，可以自动输出一个excel文件，其中列出了执行用例所处的API请求类型、所在的类、请求方式、每个用例中每一步骤对应的API URL。这样在执行后具体用例报错后，可以直接在这个excel中去查看具体报错在哪个API上，可以更精确的定位问题。使文件按照方便的形式展示出来，包括执行对应的类名、请求方式、url等，这样在判断出错问题时直接再excel中对应搜索就可以快速定位问题。此方法也可以复用，对不同版本的tempest都可使用，提升效率。在后续其他环境中有相同诉求时，可通过相同的方式得到列表文件，省去了繁琐的手工配置的步骤，提升定位问题的效率。

附图说明

图1是本发明方法流程图。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，一种定位openstack集成测试框架执行报错方法，包括以下步骤：

S1、对配置文件增加打印日志配置信息；

S2、对配置文件进行修改，增加输出路径配置信息和过滤标签信息；

S3、对配置文件增加步骤标识标签；

S4、执行脚本后按照添加步骤标签信息过滤文件输出日志。

对配置文件增加打印日志配置信息步骤之前，还包括：配置openstack环境，通过tempest cli命令查看响应是否正确，如果输出log信息没有报错，则安装成功，否则，重新配置。

Tempest测试集是openstack的集成测试框架，openstack是全python语言实现的云操作系统，所以tempest集成测试框架也全部使用python实现。部署openstack环境，以devstack自动化部署方式为例，从openstack官网下载对应版本的devstack代码，修改配置文件后切换到stack用户执行stack.sh脚本，即可完成自动化部署。部署过程中输出的log信息无报错，且完成部署后提示成功，再尝试下通过horizon界面进行操作基础操作不报错即搭建成功。

在通过devstack自动部署openstack时，tempest下载安装到默认目录/opt/stack/tempest，使用tempest cli命令去操作查看响应是否正确。如果自动部署安装失败，可以自行下载安装部署，从官网下载tempest对应源码后，手动执行对应的setup脚本自动安装，安装不报错提示成功后，同样使用tempest cli命令去操作查看响应是否正确。在openstack的horizon界面配置测试需要的计算、网络、存储、用户等信息，配置成功以准备好测试数据。

对配置文件增加打印日志配置信息，包括：查找到lib/common下的rest_client.py文件，编辑文件；查找rest_client.py脚本文件中打印日志的语句，并将rest请求的methos、url加入到打印语句中，将method和url对应值按照固定格式打印出来。

对配置文件进行修改，增加输出路径配置信息和过滤标签信息，包括：在配置文件脚本中输出路径指定为excel路径；在配置文件脚本中加入为了过滤log信息的过滤标签，所述过滤标签用来区别测试框架中其他log信息。

对配置文件增加步骤标识标签，包括：对test.py文件中log输出的位置增加casesetup(用例初始化)、case teardown(用例环境销毁)、class setup(类初始化)、classteardown(类环境销毁)等标记标签一并输出。

执行脚本后按照添加步骤标签信息过滤文件输出日志，包括：执行脚本按照操作类型、请求方式、类名、url过滤出所有用例对应的相关信息，并保存到excel，所述excel中的信息对应着测试用例中每个操作步骤对应的请求的RESTAPI，获取测试用例、用例类名、API请求方式、步骤对应的URL信息。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种定位openstack集成测试框架执行报错方法，其特征是，包括以下步骤：

对配置文件增加打印日志配置信息；

对配置文件进行修改，增加输出路径配置信息和过滤标签信息；

对配置文件增加步骤标识标签；

执行脚本后按照添加步骤标签信息过滤文件输出日志。

2.如权利要求1所述的一种定位openstack集成测试框架执行报错方法，其特征是，所述对配置文件增加打印日志配置信息步骤之前，还包括：

配置openstack环境，通过tempest cli命令查看响应是否正确，如果输出log信息没有报错，则安装成功，否则，重新配置。

3.如权利要求2所述的一种定位openstack集成测试框架执行报错方法，其特征是，所述配置openstack环境包括对测试需要的计算、网络、存储和用户的配置。

4.如权利要求1所述的一种定位openstack集成测试框架执行报错方法，其特征是，所述对配置文件增加打印日志配置信息，包括：

查找到lib/common下的rest_client.py文件，编辑文件；

查找rest_client.py脚本文件中打印日志的语句，并将rest请求的methos、url加入到打印语句中，将method和url对应值按照固定格式打印出来。

5.如权利要求1所述的一种定位openstack集成测试框架执行报错方法，其特征是，所述对配置文件进行修改，增加输出路径配置信息和过滤标签信息，包括：在配置文件脚本中输出路径指定为excel路径；在配置文件脚本中加入为了过滤log信息的过滤标签，所述过滤标签用来区别测试框架中其他log信息。

6.如权利要求1所述的一种定位openstack集成测试框架执行报错方法，其特征是，所述对配置文件增加步骤标识标签，包括：

对test.py文件中log输出的位置增加用例初始化、用例环境销毁、类初始化、类环境销毁标记标签一并输出。

7.如权利要求1所述的一种定位openstack集成测试框架执行报错方法，其特征是，所述执行脚本后按照添加步骤标签信息过滤文件输出日志，包括：

执行脚本按照操作类型、请求方式、类名、url过滤出所有用例对应的相关信息，并保存到excel，所述excel中的信息对应着测试用例中每个操作步骤对应的请求的RESTAPI，获取测试用例、用例类名、API请求方式、步骤对应的URL信息。