CN111400117B - 一种自动化测试Ceph集群的方法 - Google Patents

Abstract

本发明公开一种自动化测试Ceph集群的方法，涉及Ceph集群技术领域，该方法包括测试输入、测试流程和测试输出三个阶段；在测试输入阶段，需要编写一个配置文件作为输入，获取需要进行测试的集群节点信息；在测试流程阶段，通过输入获取的集群信息，调用与集群节点相应的测试脚本进行自动测试，测试项目及结果通过流的方式写入指定文件；在测试输出阶段，当测试结束后输出测试是否成功、集群是否可用的结果，并输出详细测试结果已保存到指定文件的提示信息。本发明可以通过调用现有的测试脚本实现Ceph集群的自动化测试，无需依赖测试人员通过人力完成重复性工作，节省了大量的时间和人力。

Description

一种自动化测试Ceph集群的方法

技术领域

本发明涉及Ceph集群技术领域，具体的说是一种自动化测试Ceph集群的方法。

背景技术

Ceph作为一个统一的分布式存储系统，具有高性能、高可靠性和可扩展性等良好的特性，可支持块存储、文件存储和对象存储三种存储类型，实现了一个后端存储多类型数据。在云计算日益发展的今天，Ceph凭借其这些优点，得到了广泛应用，如OpenStack通过libvirt协议可以与Ceph整合，将Ceph块设备(RBD)作为后端存储提供给虚拟机使用。

Ceph在多台服务器上部署，是可处理PB级数据的统一存储系统，输出更高的性能和容量。Ceph存储集群至少需要一个Ceph Monitor和两个OSD守护进程。而运行Ceph文件系统客户端时，则必须要有元数据服务器(Metadata Server)。Ceph作为分布式系统，在自动化测试方面存在很大困难。Ceph用户的主要关注点在于Ceph集群的功能能否正常使用以及存储性能。

在Ceph功能测试方面，目前多是产品在交付给用户前，由产品测试人员进行手动测试，人工输出测试报告，部署人员根据测试结果进行环境调整后会再次交给测试人员进行测试，即在产品交付给用户前需要进行多次“测试——调整——测试”的过程。事实上，这些功能测试多是重复的过程，如Ceph health状态检查、pool管理功能、RBD管理功能等。全部依靠人力重复这些过程是对人力和时间的一种严重浪费。

Ceph作为存储系统，其性能指的是IO性能，在Ceph性能测试方面，影响Ceph性能的几个考虑点如下：

·OSD磁盘的性能

·如果做了RAID，RAID卡的性能

·存储节点存储网卡的性能

·接入交换机上联到核心的线路性能

故基准测试选择osd磁盘、存储节点和集群3个级别进行测试。对于IO测试，目前已有一些测试工具，包括FIO、Rados Bench。在Ceph测试时，FIO主要用于Ceph搭建前对磁盘性能的测试，而Rados Bench则用于集群整体性能的测试，测试结果主要关注磁盘IOPS、吞吐和时延。针对某一类型的云计算平台，在使用性能测试工具时，所使用的可选参数是经过计算后固定下来的，测试过程也就成为了重复工作。

发明内容

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。也正是由于Ceph为分布式系统，所以集群功能和性能的测试依赖测试人员通过人力完成重复性工作，且需要对测试结果进行手动提取生成文档用于后续结果分析,并且,Ceph集群的测试通常需要多次进行，以确保所有修改都是使集群更符合客户要求的方向进行的。基于此，提供一种自动化测试Ceph集群的方法，旨在解决常用平台方式的重复性工作，通过获取集群节点信息确定测试执行节点，通过已有的性能测试工具，实现Ceph的自动化测试，

本发明的一种自动化测试Ceph集群的方法，解决上述技术问题采用的技术方案如下：

一种自动化测试Ceph集群的方法，该方法包括测试输入、测试流程和测试输出三个阶段；

在测试输入阶段，需要编写一个配置文件作为输入，获取需要进行测试的集群节点信息；

在测试流程阶段，通过输入获取的集群信息，调用与集群节点相应的测试脚本进行自动测试，测试项目及结果通过流的方式写入指定文件；

在测试输出阶段，当测试结束后输出测试是否成功、集群是否可用的结果，并输出详细测试结果已保存到指定文件的提示信息。

针对上述三个阶段，需要指出的是，测试脚本是已知现有的，编写的配置文件和获取的集群节点信息，可以完成与待测试集群节点相对应测试脚本的调用，进而完成自动测试。

进一步的，在测试输入阶段，需要编写的配置文件为yaml文件，配置文件作为参数，在调用测试脚本进行自动测试时进行传入；配置文件包括且不限于包括：集群ID、可运行客户端的节点IP、osd盘所对应的存储节点IP、集群是否作为OpenStack后端使用、和可选参数测试结果输出文件路径及文件名。

优选的，在测试输入阶段，需要进行测试的集群节点之间需要已经完成免密认证。

进一步的，在测试流程阶段，包括Ceph集群的功能测试和性能测试；

Ceph集群的功能测试包括Ceph集群健康状态检查，Ceph的pool管理功能测试、文块存储、件系统存储功能测试；功能测试过程需要在装有Ceph客户端的节点执行，首先获取Ceph的健康状态进行判断，当Ceph的健康状态为“ERR”时，集群已经不能正常使用，后续功能测试将不再执行；

Ceph集群的性能测试包括集群性能测试、rbd块性能测试、OSD磁盘性能测试、存储节点性能测试；性能测试需要在存储节点进行，即OSD磁盘所挂载的节点。

优选的，在测试流程阶段，Ceph集群作为OpenStack后端使用时，必须进行OSD磁盘性能测试，而Ceph集群不作为OpenStack后端使用时，则无需进行OSD磁盘性能测试。

更进一步的，集群性能测试是通过集成Ceph自带的测试工具Rados Bench进行的，测试过程包括至少一个写过程，顺序读和随机读两个读过程；测试过程中建立测试池test-pool，对其进行不擦除的写操作，提取写操作过程中需要观察的性能参数，获取作为性能测试结果，然后对写入数据分别进行顺序读和随机读操作，同样提取结果参数，作为分析对象，输出结果展示。

更进一步的，集群性能测试的具体流程包括：

1)开始集群性能测试；

2)进行不擦除随机写测试；

3)查看是否写入成功；

a.1)在写入不成功时，擦除写入数据；

a.2)在进行不擦除随机写测试的次数小于3次时，返回执行步骤2)；

a.3)在进行不擦除随机写测试的次数大于3次时，结束集群性能测试，输出测试失败的结果；

b.1)在写入成功时，提取测试结果参数，并将提取的测试结果写入报告；

b.2)进行顺序读测试，提取测试结果参数，并将提取的测试结果写入报告；

b.3)进行随机读测试，提取测试结果参数，并将提取的测试结果写入报告，执行步骤4)；

4)集群性能测试结束，输出测试成功的结果。

优选的，在测试流程阶段，一方面，需要进行测试的集群节点之间需要已经完成免密认证，以保证不同测试时可以完成节点切换，另一方面，还需要保证节点可以连通网络，实现apt安装测试工具。

进一步的，在测试输出阶段，测试结果的保存路径作为一个可选参数，如果指定了保存位置，则测试结果保存在指定文件中，若未指定，则会默认在当前路径下创建result文件，保存测试结果；

测试结果内容包括测试过程中的全部输出内容和结论；其中，功能测试包括测试过程输出和结论，即集群健康状态、管理功能是否正常，性能测试方面会根据不同性能测试将输出划分成相应的几个部分。

本发明的一种自动化测试Ceph集群的方法，与现有技术相比具有的有益效果是：

1)本发明通过编写配置文件来获取需要进行测试的集群节点信息即可调用相对应的已知、现有的测试脚本，获取正确测试脚本后进行自动测试，实现Ceph的自动化测试；无需依赖测试人员通过人力完成重复性工作，节省了大量的时间和人力；

2)本发明可适用于多个平台，且适用平台发生改变时，只需要更改性能测试时的部分参数为当前平台的最优参数即可实现新平台的自动化测试，技术上具有一定的可移植性。

附图说明

附图1是本发明集群性能测试的流程图。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。

实施例一：

本实施例提出一种自动化测试Ceph集群的方法，该方法包括测试输入、测试流程和测试输出三个阶段。

一)在测试输入阶段，需要编写一个配置文件作为输入，获取需要进行测试的集群节点信息。

此阶段中，需要编写的配置文件为yaml文件，配置文件作为参数，在调用测试脚本进行自动测试时进行传入。

配置文件包括且不限于包括：集群ID、可运行客户端的节点IP、osd盘所对应的存储节点IP、集群是否作为OpenStack后端使用、和可选参数测试结果输出文件路径及文件名。

需要进行测试的集群节点之间需要已经完成免密认证。

二)在测试流程阶段，通过输入获取的集群信息，调用与集群节点相应的测试脚本进行自动测试，测试项目及结果通过流的方式写入指定文件。

此阶段，需要指出的是：测试脚本是已知现有的，编写的配置文件和获取的集群节点信息，可以完成与待测试集群节点相对应测试脚本的调用，进而完成自动测试。

在测试流程阶段，包括Ceph集群的功能测试和性能测试。

Ceph集群的功能测试包括Ceph集群健康状态检查，Ceph的pool管理功能测试、文块存储、件系统存储功能测试；功能测试过程需要在装有Ceph客户端的节点执行，首先获取Ceph的健康状态进行判断，当Ceph的健康状态为“ERR”时，集群已经不能正常使用，后续功能测试将不再执行。

Ceph集群的性能测试包括集群性能测试、rbd块性能测试、OSD磁盘性能测试、存储节点性能测试；性能测试需要在存储节点进行，即OSD磁盘所挂载的节点。其中，Ceph集群作为OpenStack后端使用时，必须进行OSD磁盘性能测试，而Ceph集群不作为OpenStack后端使用时，则无需进行OSD磁盘性能测试。

在测试流程阶段，OSD磁盘性能测试通过集成磁盘测试工具fio完成，fio测试过程中所需要的参数，为经过计算后固定的最优一组或两组参数。需要注意的是，应在安装Ceph前或者在未对接OSD的物理磁盘上进行。由于测试时，集群已经存在，所以测试需要在未对接的物理磁盘上进行。当没有未使用磁盘时，若集群作为OpenStack后端使用，将在待测试的磁盘上创建一个卷，将卷挂载到虚机上，通过在虚机上测试卷的性能获取OSD性能。

在测试流程阶段，集群性能测试是通过集成Ceph自带的测试工具Rados Bench进行的，测试过程包括至少一个写过程，顺序读和随机读两个读过程；测试过程中建立测试池test-pool，对其进行不擦除的写操作，提取写操作过程中需要观察的性能参数，获取作为性能测试结果，然后对写入数据分别进行顺序读和随机读操作，同样提取结果参数，作为分析对象，输出结果展示。

在测试流程阶段，集群性能测试的具体流程包括：

1)开始集群性能测试；

2)进行不擦除随机写测试；

3)查看是否写入成功；

a.1)在写入不成功时，擦除写入数据；

a.2)在进行不擦除随机写测试的次数小于3次时，返回执行步骤2)；

a.3)在进行不擦除随机写测试的次数大于3次时，结束集群性能测试，输出测试失败的结果；

b.1)在写入成功时，提取测试结果参数，并将提取的测试结果写入报告；

b.2)进行顺序读测试，提取测试结果参数，并将提取的测试结果写入报告；

b.3)进行随机读测试，提取测试结果参数，并将提取的测试结果写入报告，执行步骤4)；

4)集群性能测试结束，输出测试成功的结果。

在测试流程阶段，一方面，需要进行测试的集群节点之间需要已经完成免密认证，以保证不同测试时可以完成节点切换，另一方面，还需要保证节点可以连通网络，实现apt安装测试工具。

三)在测试输出阶段，当测试结束后输出测试是否成功、集群是否可用的结果，并输出详细测试结果已保存到指定文件的提示信息。

此阶段，测试结果的保存路径作为一个可选参数，如果指定了保存位置，则测试结果保存在指定文件中，若未指定，则会默认在当前路径下创建result文件，保存测试结果。

测试结果内容包括测试过程中的全部输出内容和结论；其中，功能测试包括测试过程输出和结论，即集群健康状态、管理功能是否正常，性能测试方面会根据不同性能测试将输出划分成相应的几个部分。

综上可知，采用本发明的一种自动化测试Ceph集群的方法，旨在解决常用平台方式的重复性工作，通过获取集群节点信息确定测试执行节点，通过已有的性能测试工具，实现Ceph的自动化测试，

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (7)

1.一种自动化测试Ceph集群的方法，其特征在于,该方法包括测试输入、测试流程和测试输出三个阶段；

在测试输入阶段，需要编写一个配置文件作为输入，获取需要进行测试的集群节点信息；

在测试流程阶段，通过输入获取的集群信息，调用与集群节点相应的测试脚本进行自动测试，测试项目及结果通过流的方式写入指定文件；测试流程阶段包括Ceph集群的功能测试和性能测试，其中，Ceph集群的功能测试包括Ceph集群健康状态检查，Ceph的pool管理功能测试、文块存储及系统存储功能测试；功能测试过程需要在装有Ceph客户端的节点执行，首先获取Ceph的健康状态进行判断，当Ceph的健康状态为“ERR”时，集群已经不能正常使用，后续功能测试将不再执行；Ceph集群的性能测试包括集群性能测试、rbd块性能测试、OSD磁盘性能测试、存储节点性能测试，性能测试需要在存储节点进行，即OSD磁盘所挂载的节点；集群性能测试是通过集成Ceph自带的测试工具Rados Bench进行的，测试过程包括至少一个写过程，顺序读和随机读两个读过程，测试过程中建立测试池test-pool，对其进行不擦除的写操作，提取写操作过程中需要观察的性能参数，获取作为性能测试结果，然后对写入数据分别进行顺序读和随机读操作，同样提取结果参数，作为分析对象，输出结果展示；

在测试输出阶段，当测试结束后输出测试是否成功、集群是否可用的结果，并输出详细测试结果已保存到指定文件的提示信息。

2.根据权利要求1所述的一种自动化测试Ceph集群的方法，其特征在于，在测试输入阶段，需要编写的配置文件为yaml文件，配置文件作为参数，在调用测试脚本进行自动测试时进行传入；配置文件包括且不限于包括：集群ID、可运行客户端的节点IP、osd盘所对应的存储节点IP、集群是否作为OpenStack后端使用、和可选参数测试结果输出文件路径及文件名。

3.根据权利要求2所述的一种自动化测试Ceph集群的方法，其特征在于，在测试输入阶段，需要进行测试的集群节点之间需要已经完成免密认证。

4.根据权利要求1或2或3所述的一种自动化测试Ceph集群的方法，其特征在于，在测试流程阶段，Ceph集群作为OpenStack后端使用时，必须进行OSD磁盘性能测试，而Ceph集群不作为OpenStack后端使用时，则无需进行OSD磁盘性能测试。

5.根据权利要求4所述的一种自动化测试Ceph集群的方法，其特征在于，集群性能测试的具体流程包括：

1）开始集群性能测试；

2）进行不擦除随机写测试；

3）查看是否写入成功；

a.1）在写入不成功时，擦除写入数据；

a.2）在进行不擦除随机写测试的次数小于3次时，返回执行步骤2）；

a.3）在进行不擦除随机写测试的次数大于3次时，结束集群性能测试，输出测试失败的结果；

b.1）在写入成功时，提取测试结果参数，并将提取的测试结果写入报告；

b.2）进行顺序读测试，提取测试结果参数，并将提取的测试结果写入报告；

b.3）进行随机读测试，提取测试结果参数，并将提取的测试结果写入报告，执行步骤4）；

4）集群性能测试结束，输出测试成功的结果。

6.根据权利要求1或2或3所述的一种自动化测试Ceph集群的方法，其特征在于，在测试流程阶段，一方面，需要进行测试的集群节点之间需要已经完成免密认证，以保证不同测试时可以完成节点切换，另一方面，还需要保证节点可以连通网络，实现apt安装测试工具。

7.根据权利要求1或2或3所述的一种自动化测试Ceph集群的方法，其特征在于，在测试输出阶段，测试结果的保存路径作为一个可选参数，如果指定了保存位置，则测试结果保存在指定文件中，若未指定，则会默认在当前路径下创建result文件，保存测试结果；

测试结果内容包括测试过程中的全部输出内容和结论；其中，功能测试包括测试过程输出和结论，即集群健康状态、管理功能是否正常，性能测试方面会根据不同性能测试将输出划分成相应的几个部分。

Images