CN111143193B

CN111143193B - 基于RobotFramework的大数据服务测试方法、系统、终端及存储介质

Info

Publication number: CN111143193B
Application number: CN201911208364.8A
Authority: CN
Inventors: 陈欣
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2019-11-30
Filing date: 2019-11-30
Publication date: 2022-10-18
Anticipated expiration: 2039-11-30
Also published as: CN111143193A

Abstract

本发明提供一种基于RobotFramework的大数据服务测试方法、系统、终端及存储介质，包括：设置大数据集群通用参数的第一配置文件；设置大数据服务通用参数的第二配置文件；根据大数据服务的测试用例设置执行脚本；通过所述执行脚本读取第一配置文件和第二配置文件在大数据服务上配置所述测试用例的测试环境。本发明测试方法简便，测试过程结果全程显示，使shell后台操作由传统的手动操作变为自动化操作。

Description

基于RobotFramework的大数据服务测试方法、系统、终端及存储介质

技术领域

本发明涉及大数据技术领域，具体涉及一种基于RobotFramework的大数据服务测试方法、系统、终端及存储介质。

背景技术

数据的爆炸式增长，使大数据平台应运而生，而以Hadoop、Spark等开源项目为基础的大数据计算系统在不断的迭代升级，也对不同版本的大数据平台的自动化测试提出了新的要求。而如何实现大数据平台服务的自动化测试，也成为一大难题。

发明内容

针对现有技术的上述不足，本发明提供一种基于RobotFramework的大数据服务测试方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种基于RobotFramework的大数据服务测试方法，包括：

设置大数据集群通用参数的第一配置文件；

设置大数据服务通用参数的第二配置文件；

根据大数据服务的测试用例设置执行脚本；

通过所述执行脚本读取第一配置文件和第二配置文件在大数据服务上配置所述测试用例的测试环境。

进一步的，所述设置大数据集群通用参数的第一配置文件，包括：

提取大数据集群的必要参数信息，将所述必要参数信息封装到public.variable文件中，所述必要参数信息包括集群Manager节点IP、集群主机名配置、集群所有节点的IP、集群Manager平台的端口号、集群统一的后台用户名密码、集群数据库的用户名密码；

将大数据集群的常用执行命令提炼成关键字信息，封装到public.keyword文件中，所述常用执行命令包括打开SSH连接主机、关闭SSH连接、切换用户、退出当前用户、等待预设时间。

进一步的，所述设置大数据服务通用参数的第二配置文件，包括：

将大数据服务的服务参数信息提炼成变量，封装到service.variable文件中，所述服务参数信息包括service安装的节点IP和主机名、service默认的端口号、使用的service用户名称、service命令行连接；

将大数据服务的服务执行命令提炼成关键字信息，封装到service.keyword文件中，所述服务执行命令包括更改service用户、进入service命令行、清除service环境。

进一步的，在所述配置测试用例的测试环境之后，所述方法还包括：

通过所述执行脚本调用所述测试用例，启动大数据服务自动测试。

第二方面，本发明提供一种基于RobotFramework的大数据服务测试系统，包括：

第一设置单元，配置用于设置大数据集群通用参数的第一配置文件；

第二设置单元，配置用于设置大数据服务通用参数的第二配置文件；

脚本设置单元，配置用于根据大数据服务的测试用例设置执行脚本；

脚本执行单元，配置用于通过所述执行脚本读取第一配置文件和第二配置文件在大数据服务上配置所述测试用例的测试环境。

进一步的，所述第一设置单元包括：

第一参数提取模块，配置用于提取大数据集群的必要参数信息，将所述必要参数信息封装到public.variable文件中，所述必要参数信息包括集群Manager节点IP、集群主机名配置、集群所有节点的IP、集群Manager平台的端口号、集群统一的后台用户名密码、集群数据库的用户名密码；

第一命令提取模块，配置用于将大数据集群的常用执行命令提炼成关键字信息，封装到public.keyword文件中，所述常用执行命令包括打开SSH连接主机、关闭SSH连接、切换用户、退出当前用户、等待预设时间。

进一步的，所述第二设置单元包括：

第二参数提取模块，配置用于将大数据服务的服务参数信息提炼成变量，封装到service.variable文件中，所述服务参数信息包括service安装的节点IP和主机名、service默认的端口号、使用的service用户名称、service命令行连接；

第二命令提取模块，配置用于将大数据服务的服务执行命令提炼成关键字信息，封装到service.keyword文件中，所述服务执行命令包括更改service用户、进入service命令行、清除service环境。

进一步的，所述系统还包括：

测试启动单元，配置用于通过所述执行脚本调用所述测试用例，启动大数据服务自动测试。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，

本发明提供的基于RobotFramework的大数据服务测试方法、系统、终端及存储介质，使用当前主流的robotframework自动化测试框架，对集群的配置信息进行变量封装，对常用的函数方法进行关键字封装，从而构建一种新的大数据服务自动化测试的体系架构。本发明测试方法简便，测试过程结果全程显示，使shell后台操作由传统的手动操作变为自动化操作。脚本使用时，利用robot可执行文件，在cmd下，输入robot–outputdir日志保存路径脚本名称，运行脚本。测试过程及结果实时展现，并以html格式保存log。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

图3为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种基于RobotFramework的大数据服务测试系统。

如图1所示，该方法100包括：

步骤110，设置大数据集群通用参数的第一配置文件；

步骤120，设置大数据服务通用参数的第二配置文件；

步骤130，根据大数据服务的测试用例设置执行脚本；

步骤140，通过所述执行脚本读取第一配置文件和第二配置文件在大数据服务上配置所述测试用例的测试环境。

为了便于对本发明的理解，下面以本发明基于RobotFramework的大数据服务测试方法的原理，结合实施例中对大数据服务进行自动测试的过程，对本发明提供的基于RobotFramework的大数据服务测试方法做进一步的描述。

具体的以hive大数据服务为例，所述基于RobotFramework的大数据服务测试方法包括：

(1)配置通用变量public.variable文件

首先，把大数据集群的必要的参数信息提炼出来，封装到public.variable文件中，主要包括集群Manager节点IP、集群主机名配置、集群所有节点的IP、集群Manager平台的端口号、集群统一的后台用户名密码、集群数据库的用户名密码等信息。

该public.variable文件为通用配置提供了全部的变量信息，保证必要参数的稳定获取来源，对整体的自动化框架提供了底层支撑的作用。

该文件配置参数信息示例如下：

ManagerIP 100.7.34.121

${clusterHostname} manager.bigdata slave.bigdata worker.bigdata

${clusterIP}100.7.34.121 100.7.34.122 100.7.34.123

ManagerPort 8080

SSHUser root

SSHPassword root 123

MysqlUser root

MysqlPassword bigdata123

(2)配置通用关键字public.keyword文件

其次，把大数据集群的常用的执行命令提炼成关键字信息，封装到public.keyword文件中，主要包括打开SSH连接主机、关闭SSH连接、切换用户、退出当前用户、等待一段时间等信息。

该public.keyword文件为通用配置提供了全部的关键字动作，保证常用的通用类的关键字调用的稳定获取来源，对整体的自动化框架也提供了底层支撑的作用。

该文件配置关键字名称示例如下：

OpenSSHSession${IP}

CloseSSHSession

ChangeToHDFS

ExitHDFS

Wait

(3)配置大数据服务变量hive.variable文件

之后，把大数据服务(如Hive)的必要的参数信息提炼成变量，封装到hive.variable文件中，主要包括hive安装的节点IP和主机名、hive默认的端口号、使用的hive用户名称、Hive命令行连接等信息。

该hive.variable文件为hive服务的自动化提供了全部的变量信息，保证hive的必要参数的稳定获取来源，对hive服务的自动化脚本提供了底层支撑的作用。

该文件配置参数信息示例如下：

HivePort 10001

HiveUser hive

HiveServer2Hostname manager.bigdata

HiveServer2IP 100.7.34.121

HiveCLI ！connectjdbc:hive2://${HiveServer2Hostname}:${HivePort}hivehive

HiveCLIZK ！connectjdbc:hive2://${clusterAllHostname}:${ZookeeperPort}/；serviceDiscoveryMode＝zooKeeper；zooKeeperNamespace＝hiveserver2

(4)配置大数据服务关键字hive.keyword文件

之后，把大数据服务(如Hive)的常用的执行命令提炼成关键字信息，封装到hive.keyword文件中，主要包括更改hive用户、进入hive命令行、通过ZK方式连接hive、清除Hive环境等信息。

该hive.keyword文件为hive服务的自动化提供了常用的关键字动作，保证常用的Hive的关键字调用的稳定获取来源，对hive服务的自动化脚本也提供了底层支撑的作用。

该文件配置关键字名称示例如下：

ChangeHiveUser

OpenHiveCLI

OpenHiveCLIZK

ExitHiveCLI

CleanHiveENV

(5)编写大数据服务hive.robot脚本

之后，根据大数据服务(如Hive)的测试用例，进行功能实现，并编写成hive.robot脚本。

在hive.robot文件中，需要先引用通用的变量文件public.variable和关键字文件public.keyword、hive服务的变量hive.variable和关键字hive.keyword，之后依次进行打开SSH连接、切换成Hive用户、进入Hive命令行、执行数据库操作、执行表操作、退出Hive命令行、退出Hive用户、关闭SSH连接等操作，完成一个hive.robot自动化脚本。

该hive.robot文件通过引用SSHLibrary、通用的变量和关键字、大数据服务的变量和关键字，保证整个脚本功能的简洁性和规范化，同时能使自动化脚本的开发更加简便。

该文件内容示例如下：

Resource ../public/public.variable

Resource ../public/public.keyword

Resource ./hive.variable

Resource ./hive.keyword

Library SSHLibrary

OpenSSHSession${HiveServer2 IP}

ChangeHiveUser

Write beeline

OpenHiveCLI

Write Create Database db01；

Should contain ‘OK’

Write Create table test(id int,name string)

Should contain ‘OK’

ExitHiveCLI

CleanHiveENV

CloseSSHSession

(6)执行大数据服务hive.robot脚本

在RobotFramework软件平台中，选中HiveTestCase中的hive.robot文件，点击Run，运行Hive测试用例，查看自动化平台执行的日志和结果。

如图2示，该系统200包括：

第一设置单元210，配置用于设置大数据集群通用参数的第一配置文件；

第二设置单元220，配置用于设置大数据服务通用参数的第二配置文件；

脚本设置单元230，配置用于根据大数据服务的测试用例设置执行脚本；

脚本执行单元240，配置用于通过所述执行脚本读取第一配置文件和第二配置文件在大数据服务上配置所述测试用例的测试环境。

可选地，作为本发明一个实施例，所述第一设置单元包括：

可选地，作为本发明一个实施例，所述第二设置单元包括：

可选地，作为本发明一个实施例，所述系统还包括：

图3为本发明实施例提供的一种终端系统300的结构示意图，该终端系统300可以用于执行本发明实施例提供的基于RobotFramework的大数据服务测试方法。

其中，该终端系统300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

因此，本发明使用当前主流的robotframework自动化测试框架，对集群的配置信息进行变量封装，对常用的函数方法进行关键字封装，从而构建一种新的大数据服务自动化测试的体系架构。本发明测试方法简便，测试过程结果全程显示，使shell后台操作由传统的手动操作变为自动化操作。脚本使用时，利用robot可执行文件，在cmd下，输入robot–outputdir日志保存路径脚本名称，运行脚本。测试过程及结果实时展现，并以html格式保存log，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种基于RobotFramework的大数据服务测试方法，其特征在于，包括：

设置大数据集群通用参数的第一配置文件；

设置大数据服务通用参数的第二配置文件；

根据大数据服务的测试用例设置执行脚本；

通过所述执行脚本读取第一配置文件和第二配置文件在大数据服务上配置所述测试用例的测试环境；

所述设置大数据集群通用参数的第一配置文件，包括：

将大数据集群的常用执行命令提炼成关键字信息，封装到public.keyword文件中，所述常用执行命令包括打开SSH连接主机、关闭SSH连接、切换用户、退出当前用户、等待预设时间；

所述设置大数据服务通用参数的第二配置文件，包括：

将大数据服务的服务执行命令提炼成关键字信息，封装到service.keyword文件中，所述服务执行命令包括更改service用户、进入service命令行、清除service环境；

编译执行脚本，所述执行脚本的执行内容包括引用第一配置文件中的大数据集群通用参数和第二配置文件中的大数据服务通用参数，依次打开SSH连接、切换成Hive用户、进入Hive命令行、执行数据库操作、执行表操作、退出Hive命令行、退出Hive用户、关闭SSH连接。

2.根据权利要求1所述的方法，其特征在于，在所述配置测试用例的测试环境之后，所述方法还包括：

3.一种基于RobotFramework的大数据服务测试系统，其特征在于，包括：

脚本执行单元，配置用于通过所述执行脚本读取第一配置文件和第二配置文件在大数据服务上配置所述测试用例的测试环境；

所述第一设置单元包括：

第一命令提取模块，配置用于将大数据集群的常用执行命令提炼成关键字信息，封装到public.keyword文件中，所述常用执行命令包括打开SSH连接主机、关闭SSH连接、切换用户、退出当前用户、等待预设时间；

所述第二设置单元包括：

第二命令提取模块，配置用于将大数据服务的服务执行命令提炼成关键字信息，封装到service.keyword文件中，所述服务执行命令包括更改service用户、进入service命令行、清除service环境；

脚本设置单元具体用于：编译执行脚本，所述执行脚本的执行内容包括引用第一配置文件中的大数据集群通用参数和第二配置文件中的大数据服务通用参数，依次打开SSH连接、切换成Hive用户、进入Hive命令行、执行数据库操作、执行表操作、退出Hive命令行、退出Hive用户、关闭SSH连接。

4.根据权利要求3所述的系统，其特征在于，所述系统还包括：

5.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-2任一项所述的方法。

6.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一项所述的方法。