CN111026656A

CN111026656A - 分布式存储的自动化测试系统、方法、设备及存储介质

Info

Publication number: CN111026656A
Application number: CN201911205024.XA
Authority: CN
Inventors: 王垒
Original assignee: Inspur Power Commercial Systems Co Ltd
Current assignee: Inspur Power Commercial Systems Co Ltd
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2020-04-17

Abstract

本申请公开了一种分布式存储的自动化测试系统，包括：软件包定制模块，用于进行软件包的定制；集群部署模块，用于安装软件包并完成存储集群的部署；自动测试模块，用于对存储集群进行自动化测试，获得存储集群的测试结果。应用本申请的方案，有利于降低人力成本，提高测试效率。本申请还公开了一种分布式存储的自动化测试方法、设备及存储介质，具有相应技术效果。

Description

分布式存储的自动化测试系统、方法、设备及存储介质

技术领域

本发明涉及存储技术领域，特别是涉及一种分布式存储的自动化测试系统、方法、设备及存储介质。

背景技术

随着分布式存储的迅猛发展以及分布式存储的业务需求的不断增加，服务器厂商针对分布式存储都推出了存储服务器产品，而对服务器存储性能进行评估是服务器厂商的重要工作。

目前对分布式存储进行自动化测试时，通常采用fio测试工具，fio测试工具需要人工部署、配置，并且由人工操作来执行测试流程，使得测试流程较为繁琐，效率较低，特别是在存在大量待测试的分布式存储时，人力成本特别高。

综上所述，如何有效地进行分布式存储的测试，降低人力成本，提高测试效率，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种分布式存储的自动化测试系统、方法、设备及存储介质，以有效地进行分布式存储的测试，降低人力成本，提高测试效率。

为解决上述技术问题，本发明提供如下技术方案：

一种分布式存储的自动化测试系统，包括：

软件包定制模块，用于进行软件包的定制；

集群部署模块，用于安装所述软件包并完成存储集群的部署；

自动测试模块，用于对所述存储集群进行自动化测试，获得所述存储集群的测试结果。

优选的，所述自动测试模块包括：

块存储创建单元，用于根据所述存储集群的容量创建对应的存储池，并在所述存储池中创建预设数量的块存储；

数据写入单元，用于向各个所述块存储中写入数据；

参数设置单元，用于设置测试参数；

执行单元，用于按照所述参数设置单元设置的测试参数，执行测试软件对所述存储集群进行自动化测试，获得所述存储集群的测试结果。

优选的，所述数据写入单元，具体用于：

向各个所述块存储中写入数据，且针对每一个块存储，写入的数据在该块存储的存储空间中的占比不低于预设的第一阈值。

优选的，所述参数设置单元，具体用于：

设置测试大小，测试项目以及测试时间这三项测试参数。

优选的，还包括：

测试报告生成模块，用于将所述测试结果进行统计，生成并输出测试报告。

优选的，所述软件包定制模块，具体用于：

配置yum源及所述yum源的本地缓存；

通过yum工具安装ceph软件包，所述ceph软件包的依赖包，fio软件包以及所述fio软件包的依赖包；

将yum源以及yum源的本地缓存中的文件打包，作为定制出的软件包。

优选的，所述集群部署模块，具体用于：

在构成存储集群的各个服务器上，基于所述软件包定制模块定制出的软件包，执行软件包的安装；

在各个服务器上进行参数配置，权限配置，模式配置，以及服务配置以完成存储集群的部署。

一种分布式存储的自动化测试方法，包括：

软件包定制模块进行软件包的定制；

集群部署模块安装所述软件包并完成存储集群的部署；

自动测试模块对所述存储集群进行自动化测试，获得所述存储集群的测试结果。

一种分布式存储的自动化测试设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现上述任一项所述的分布式存储的自动化测试系统。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的分布式存储的自动化测试系统。

应用本发明实施例所提供的技术方案，由自动测试模块对存储集群进行自动化测试，获得存储集群的测试结果，因此有利于降低人力成本，提高测试效率。同时，本申请的方案中，完成存储集群的部署以及对存储进行自动化测试时所需要的软件包可以由软件包定制模块自动进行软件包的定制，并且由集群部署模块安装软件包并完成存储集群的部署，因此有利于进一步地降低人力成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明中一种分布式存储的自动化测试系统的结构示意图；

图2本发明中一种分布式存储的自动化测试方法的实施流程图；

图3本发明中一种分布式存储的自动化测试设备的结构示意图。

具体实施方式

本发明的核心是提供一种分布式存储的自动化测试系统，因此有利于降低人力成本，提高测试效率。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明中一种分布式存储的自动化测试系统的结构示意图，该分布式存储的自动化测试系统的可以包括以下模块：

软件包定制模块101，用于进行软件包的定制。

软件包定制模块101可以进行软件包的定制，即，为存储集群的自动部署提供软件基础，并且也需要包括进行自动化测试时所需的fio测试工具，将这些相关软件做成一个整体的安装包。

在本发明的一种具体实施方式中，软件包定制模块101可以具体用于：

配置yum源及yum源的本地缓存；

通过yum工具安装ceph软件包，ceph软件包的依赖包，fio软件包以及fio 软件包的依赖包；

例如在某一个服务器上安装了操作系统之后，便可以配置yum源及yum源的本地缓存。例如可以在一个服务器上采用最小化的安装方式，安装CentOS 7.5 操作系统，配置ceph安装的yum源。当然，通常还可以配置CentOS的官方软件包源。

配置了yum源之后，需要配置yum源的本地缓存，具体的，可以将 /etc/yum.conf中的keepcache配置项设置为1，完成yum源的本地缓存的配置。

由于配置了yum源以及yum源的本地缓存，因此便可以通过yum工具安装 ceph软件包，ceph软件包的依赖包，fio软件包以及fio软件包的依赖包，这些文件会被保存在yun源的本地缓存中。在安装完成之后，将yum源打包，具体的，例如可以将/etc/yum.repos.d/目录打包为yum.repos.tgz。通过yum工具安装的相关软件可以从缓存中获取，即，将yum源的本地缓存中的相关文件打包，具体的，可以将/var/cache/yum/目录打包为yum.cache.tgz。将yum源以及yum 源的本地缓存中的文件打包之后，便得到了定制出的软件包。

需要说明的是，存储集群中通常包括多个服务器，软件包定制模块101进行软件包的定制，任意选取一个服务器来实现即可，相较于通过手动操作定制出所需的软件包，本申请的方案利用软件包定制模块101自动完成软件包的定制，有利于降低人力成本，提高效率。

集群部署模块102，用于安装软件包并完成存储集群的部署。

通常，可以在存储集群中的各个服务器中安装定制好的软件包，之后通过相关参数配置，模式配置等操作，可以完成存储集群的部署。

例如当存储集群为ceph存储集群时，集群部署模块102可以具体用于：

在构成存储集群的各个服务器上，基于软件包定制模块定制出的软件包，执行软件包的安装；

例如由3个服务器构成ceph存储集群，在这三个服务器上都安装了CentOS 7.5操作系统，采用最小化安装的方式，操作系统例如安装在/dev/sda盘上，同时，配置/etc/hostname、/etc/hosts和IP地址。

每一个服务器的操作系统安装之后，便可以安装软件包定制模块101定制出的软件包。安装完成之后，可以在各个服务器上进行参数配置，权限配置，模式配置，以及服务配置以完成存储集群的部署。

具体的，参数配置可以具体包括：可以在任意一个服务器上获取主机名 /etc/hostname、IP地址。将/etc/ceph.conf文件中的mon_initial_members的配置项设置成三个服务器的主机名hostname。并且，将/etc/ceph.conf文件中的 mon_host的配置项设置成三个服务器的IP地址。将/etc/ceph.conf文件中的 public_network的配置项设置成三个服务器的IP所在网段。然后再拷贝到其他两个服务器上，完成参数配置。

权限配置可以包括：在各个服务器上设置权限，启动mon服务、mgr服务。

模式配置可以包括：在各个服务器上的Raid卡中，设置除系统盘以外的硬盘均为jbod模式。

服务配置可以包括：在各个服务器上获取系统硬盘列表，根据硬盘列表，在除系统盘以外的硬盘上启动osd服务。

当然，在实际应用中，在完成了存储集群的部署之后，可以检测部署完毕的存储集群的状态是否正常。

自动测试模块103，用于对存储集群进行自动化测试，获得存储集群的测试结果。

由于本申请通过自动测试模块103对存储集群进行自动化测试，获得存储集群的测试结果，因此有利于提高测试效率，方便了对存储集群的测试。

在本发明的一种具体实施方式中，自动测试模块103可以包括：

块存储创建单元，用于根据存储集群的容量创建对应的存储池，并在存储池中创建预设数量的块存储；

数据写入单元，用于向各个块存储中写入数据；

参数设置单元，用于设置测试参数；

执行单元，用于按照参数设置单元设置的测试参数，执行测试软件对存储集群进行自动化测试，获得存储集群的测试结果。

块存储创建单元创建的块存储的数量可以预先进行设定，例如根据实际情况，通常可以创建12个块存储。创建完毕之后，数据写入单元便可以向各个块存储中写入数据。进一步的，在本发明的一种具体实施方式中，考虑到具体实施时，向各个块存储中写入足够数量的数据有利于保障测试结果的准确性，因此，数据写入单元可以具体用于：向各个块存储中写入数据，且针对每一个块存储，写入的数据在该块存储的存储空间中的占比不低于预设的第一阈值。第一阈值的具体取值也可以根据需要进行设定和选取，但通常会设置地较高，例如设置为90％，即，每个块存储中都被写入了至少90％容量的数据。

由于该种实施方式中设置了参数设置单元，参数设置单元可以设置测试参数，因此，当需要调整测试参数时非常方便，即有利于对测试用例进行灵活的调整。参数设置单元可以设置的测试参数的具体项目可以根据实际需要进行选取，例如在一种具体实施方式中，参数设置单元具体用于：设置测试大小，测试项目以及测试时间这三项测试参数。测试项目通常可以包括读、写、混合读写、随机读、随机写、混合随机读写这六项，测试大小指的是每次进行读写的数据量，例如设置为每次随机读4K的数据。

参数设置单元将测试参数设置完毕之后，执行单元便可以按照参数设置单元设置的测试参数，执行测试软件，具体的，通常指的是执行fio软件，获得存储集群的测试结果。

进一步地，为了便于测试结果的查看以及后续的分析、统计，在本发明的一种具体实施方式中，还可以包括测试报告生成模块，用于将测试结果进行统计，生成并输出测试报告。具体的，例如可以将测试报告输出至文档中，便于后续的分析。

应用本发明实施例所提供的技术方案，由自动测试模块103对存储集群进行自动化测试，获得存储集群的测试结果，因此有利于降低人力成本，提高测试效率。同时，本申请的方案中，完成存储集群的部署以及对存储进行自动化测试时所需要的软件包可以由软件包定制模块101自动进行软件包的定制，并且由集群部署模块202安装软件包并完成存储集群的部署，因此有利于进一步地降低人力成本。

相应于上面的系统实施例，本发明实施例还提供了一种分布式存储的自动化测试方法，可与上文相互对应参照。

可参阅图2，为本发明中分布式存储的自动化测试方法的实施流程图，包括：

步骤S101：软件包定制模块进行软件包的定制；

步骤S102：集群部署模块安装软件包并完成存储集群的部署；

步骤S103：自动测试模块对存储集群进行自动化测试，获得存储集群的测试结果。

在本发明的一种具体实施方式中，步骤S103可以包括：

块存储创建单元根据存储集群的容量创建对应的存储池，并在存储池中创建预设数量的块存储；

数据写入单元向各个块存储中写入数据；

参数设置单元设置测试参数；

执行单元按照参数设置单元设置的测试参数，执行测试软件对存储集群进行自动化测试，获得存储集群的测试结果。

在本发明的一种具体实施方式中，数据写入单元向各个块存储中写入数据，包括：

数据写入单元向各个块存储中写入数据，且针对每一个块存储，写入的数据在该块存储的存储空间中的占比不低于预设的第一阈值。

在本发明的一种具体实施方式中，参数设置单元设置测试参数，包括：

参数设置单元设置测试大小，测试项目以及测试时间这三项测试参数。

在本发明的一种具体实施方式中，还包括：

测试报告生成模块将测试结果进行统计，生成并输出测试报告。

在本发明的一种具体实施方式中，步骤S101包括：

配置yum源及yum源的本地缓存；

在本发明的一种具体实施方式中，步骤S102包括：

相应于上面的方法和系统实施例，本发明实施例还提供了一种分布式存储的自动化测试设备和一种计算机可读存储介质，可与上文相互对应参照。

参见图3所示，该分布式存储的自动化测试设备可以包括：

存储器301，用于存储计算机程序；

处理器302，用于执行计算机程序以实现上述任一实施例中的分布式存储的自动化测试系统。

计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中的分布式存储的自动化测试系统。这里所说的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围。

Claims

1.一种分布式存储的自动化测试系统，其特征在于，包括：

软件包定制模块，用于进行软件包的定制；

2.根据权利要求1所述的分布式存储的自动化测试系统，其特征在于，所述自动测试模块包括：

数据写入单元，用于向各个所述块存储中写入数据；

参数设置单元，用于设置测试参数；

3.根据权利要求2所述的分布式存储的自动化测试系统，其特征在于，所述数据写入单元，具体用于：

4.根据权利要求2所述的分布式存储的自动化测试系统，其特征在于，所述参数设置单元，具体用于：

设置测试大小，测试项目以及测试时间这三项测试参数。

5.根据权利要求1至4任一项所述的分布式存储的自动化测试系统，其特征在于，还包括：

6.根据权利要求1所述的分布式存储的自动化测试系统，其特征在于，所述软件包定制模块，具体用于：

配置yum源及所述yum源的本地缓存；

7.根据权利要求6所述的分布式存储的自动化测试系统，其特征在于，所述集群部署模块，具体用于：

8.一种分布式存储的自动化测试方法，其特征在于，包括：

软件包定制模块进行软件包的定制；

集群部署模块安装所述软件包并完成存储集群的部署；

9.一种分布式存储的自动化测试设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的分布式存储的自动化测试系统。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式存储的自动化测试系统。