CN111124911A - 一种自动化测试方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种自动化测试方法，包括：当检测到测试指令时，根据测试指令确定目标测试集群、目标测试场景和至少一个目标测试用例；确定目标测试用例对应的至少一个目标执行顺序；其中，目标执行顺序包括顺序执行、逆序执行和随机顺序执行；在目标测试集群上按照目标执行顺序和目标测试场景执行目标测试用例，得到测试结果；该方法可以对分布式存储集群进行自动化测试，同时可以选择至少一个目标执行顺序，解决了现有分布式存储系统测试方法存在测试人员数量不足、测试时间不足、测试工作覆盖不全面等问题，减少人力和时间成本，提高测试效率；此外，本发明还提供了一种自动化测试装置、设备及计算机可读存储介质，同样具有上述有益效果。

Description

一种自动化测试方法、装置、设备及可读存储介质

技术领域

本发明涉及自动化测试技术领域，特别涉及一种自动化测试方法、自动化测试装置、自动化测试设备及计算机可读存储介质。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上，由各个设备组成的系统。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

在分布式存储系统的测试工作中，测试人员一直使用手工执行测试工作。例如对分布式存储系统进行故障测试等项目的测试。随着测试项目的增多，需要进行测试的软件版本的增多，由测试人员手工执行测试工作会导致测试人员数量不足、测试时间不足、测试工作覆盖不全面等问题，耗费大量人力和时间成本，测试效率极低。

因此，如何解决现有分布式存储系统测试方法耗费大量人力和时间成本，测试效率极低的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种自动化测试方法、自动化测试装置、自动化测试设备及计算机可读存储介质，解决了现有分布式存储系统测试方法耗费大量人力和时间成本，测试效率极低的问题。

为解决上述技术问题，本发明提供了一种自动化测试方法，包括：

当检测到测试指令时，根据所述测试指令确定目标测试集群、目标测试场景和至少一个目标测试用例；

确定所述目标测试用例对应的至少一个目标执行顺序；其中，所述目标执行顺序包括顺序执行、逆序执行和随机顺序执行；

在所述目标测试集群上按照所述目标执行顺序和所述目标测试场景执行所述目标测试用例，得到测试结果。

可选地，所述目标测试集群为文件系统集群、对象系统集群或块系统集群，所述目标测试场景为全量测试场景、冒烟测试场景、性能测试场景、特殊测试场景或POC现场测试场景。

可选地，所述检测到测试指令，包括：

通过目标端口获取指令，判断所述指令的发送方信息是否为目标发送方信息；

若所述发送方信息为所述目标发送方信息，则将所述指令确定为所述测试指令。

可选地，所述确定所述目标测试用例的至少一个目标执行顺序，包括：

获取所述测试指令中的执行顺序信息；

按照所述执行顺序信息在多个执行顺序中确定至少一个所述目标执行顺序。

可选地，所述根据测试指令确定目标测试集群，包括：

解析所述测试指令，确定所述测试指令指定的测试项目；

根据所述测试项目确定目标种类集群，将所述目标种类集群中的目标闲置集群确定为目标测试集群。

可选地，所述根据测试指令确定至少一个目标测试用例，包括：

解析所述测试指令，确定所述测试指令指定的测试项目；

获取所述测试项目对应的可用测试用例信息，在所述可用测试用例信息中确定所述测试指令指定的目标测试用例信息；

将所述目标测试用例信息对应的测试用例确定为目标测试用例。

可选地，在所述得到测试结果之后，还包括：

获取执行日志，利用所述测试结果和所述执行日志生成测试报告。

本发明还提供了一种自动化测试装置，包括：

集群确定模块，用于当检测到测试指令时，根据所述测试指令确定目标测试集群、目标测试场景和至少一个目标测试用例；

顺序确定模块，用于确定所述目标测试用例对应的至少一个目标执行顺序；其中，所述目标执行顺序包括顺序执行、逆序执行和随机顺序执行；

执行模块，用于在所述目标测试集群上按照所述目标执行顺序和所述目标测试场景执行所述目标测试用例，得到测试结果。

本发明还提供了一种自动化测试设备，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现上述的自动化测试方法。

本发明还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的自动化测试方法。

本发明提供的自动化测试方法，当检测到测试指令时，根据测试指令确定目标测试集群、目标测试场景和至少一个目标测试用例。确定目标测试用例对应的至少一个目标执行顺序；其中，目标执行顺序包括顺序执行、逆序执行和随机顺序执行。在目标测试集群上按照目标执行顺序和目标测试场景执行目标测试用例，得到测试结果。

可见，该方法在检测到测试指令后根据测试指令确定目标测试集群、目标测试场景和目标测试用例，在目标测试集群上按照目标执行顺序执行目标测试用例即可完成对分布式集群的自动化测试，同时可以获取测试结果。该方法可以对分布式存储集群进行自动化测试，解决了现有分布式存储系统测试方法存在测试人员数量不足、测试时间不足、测试工作覆盖不全面等问题，减少人力和时间成本，提高测试效率。同时可以选择至少一个目标执行顺序，即顺序执行、逆序执行和随机顺序执行，随机顺序执行的执行顺序可以根据测试用例的数量进行多种随机排列。按照不同目标执行顺序在目标测试集群上执行目标测试用例，可以检测出按照某一固定顺序执行目标测试用例时无法测试出的问题，进一步提高测试效率。

此外，本发明还提供了一种自动化测试装置、自动化测试设备及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种自动化测试方法流程图；

图2为本发明实施例提供的一种具体的目标测试集群确定方法流程图；

图3为本发明实施例提供的一种具体的目标测试用例确定方法流程图；

图4为本发明实施例提供的一种自动化测试装置的结构示意图；

图5为本发明实施例提供的一种自动化测试设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例提供的一种自动化测试方法流程图。该方法包括：

S101：当检测到测试指令时，根据测试指令确定目标测试集群、目标测试场景和至少一个目标测试用例。

测试指令用于进行自动化测试，可以由测试人员手动输入，或者可以对测试人员输入的信息进行封装，得到测试指令。根据测试指令可以确定目标测试集群和目标测试用例。目标测试集群为被测试的集群，即符合测试指令要求的测试集群，其具体类型本实施例不做限定，例如可以为文件系统存储集群；或者可以为对象系统存储集群；或者可以为块系统存储集群。目标测试场景用于规定在什么场景下进行测试，其具体可以为全量测试场景、冒烟测试场景、性能测试场景、特殊测试场景或POC现场测试场景。测试用例(Test Case)是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求。目标测试用例即为测试指令指定的测试用例，其具体内容根据测试指令的不同而不同，例如可以为用户配额测试用例、ACL功能测试用例、负载均衡测试用例、快照测试用例、块纠删测试用例等几十种测试用例。目标测试用例的数量可以为一个也可以为多个，具体数量根据测试指令的不同而不同。

具体的，测试指令可以直接指定目标测试集群和目标测试用例，例如测试指令中可以包括目标测试集群的id信息和目标测试用例的编号信息；或者可以根据测试指令的要求自动选择相应的测试集群和测试用例，例如测试指令要求对文件系统存储集群进行测试，则可以在多个文件系统存储集群中选择某一个集群作为目标测试集群，在该目标测试集群上运行目标测试用例以对目标测试集群进行测试，或者在该测试集群上运行故障测试用例、扩容测试用例、缩容测试用例等以对目标测试集群进行全方面的测试。

进一步，为了将测试人员发送的测试指令和正常工作人员发送的指令进行区分，同时为了测试工作的安全性，防止有人恶意利用自动化测试影响分布式集群的正常业务，在本发明实施例中，通过目标端口获取指令，判断指令的发送方信息是否为目标发送方信息。目标发送方信息即为测试人员的信息，其可以为测试人员的终端mac地址；或者可以为测试人员的终端编号信息等。目标端口与测试指令的测试内容相关，其具体为哪一个端口本实施例不做限定。例如可以设定在A区域的测试人员通过A端口发送指令，在B区域的测试人员通过B端口发送指令；或者可以设定为想要对文件系统存储集群进行测试的指令通过C端口发送，想要对对象系统存储集群进行车市的指令通过D端口发送。当确定发送方信息为目标发送放信息时，说明该指令为测试人员发送的测试指令，因此将指令确定为测试指令，即检测到测试指令。

S102：确定目标测试用例对应的至少一个目标执行顺序；其中，目标执行顺序包括顺序执行、逆序执行和随机顺序执行。

目标执行顺序即为目标测试用例的执行顺序，由于目标测试用例可以为一个或多个。当目标测试用例为多个时，批量执行目标测试用例可以减少测试人员的操作数量，减少测试时间，因此可以确定目标测试用例对应的目标执行顺序并按照目标执行顺序执行目标测试用例，其中，目标执行顺序包括顺序执行、逆序执行和随机顺序执行，需要说明的是，根据目标测试用例的数量的不同，随机顺序执行可以为一个或多个不同的随机顺序。目标执行顺序的数量为至少一个，即可以选择一个目标执行顺序。优选的，也可以选择多个目标执行顺序。在不同执行顺序下执行目标测试用例可能会出现不同的故障或按照单一顺序执行时无法发现的故障，因此为了提高测试效率，本发明实施例中优选的，确定多个目标执行顺序用于执行目标测试用例。当目标测试用例为一个时，则直接执行该目标测试用例即可，即任意目标执行顺序祈祷的效果均相同。目标执行顺序可以为随机确定，即在多个执行顺序中随机确定一个或多个。

进一步，为了能够按照测试人员实际需要的测试顺序执行目标测试用例，本发明实施例中优选的，获取测试指令中的执行顺序信息。执行顺序信息用于确定目标执行顺序，其具体内容本实施例不做限定，例如可以为目标执行顺序对应的编号；或者可以为用于确定目标测试用例的信息，例如测试项目信息。按照执行顺序信息在多个执行顺序中确定至少一个目标执行顺序。

S103：在目标测试集群上按照目标执行顺序和目标测试场景执行目标测试用例，得到测试结果。

在确定目标测试集群、目标测试用例和目标执行顺序后，按照目标执行顺序在目标测试集群上执行目标测试用例，以便得到测试结果。在有多个目标执行顺序时，可以对各个目标执行顺序进行排序，按照排序后的先后顺序确定当前目标执行顺序，按照当前目标执行顺序在目标测试集群上执行目标测试用例。

进一步，在得到测试结果后，可以生成测试报告，测试报告可以由测试结果组成，以便测试人员了解具体的测试情况。优选的，为了使测试人员清楚地了解集群在测试过程中的状况，可以获取执行日志，利用测试结果和执行日志生成测试报告。执行日志即为集群执行日志，反映了集群的运行状态等信息。

应用本发明实施例提供的自动化测试方法，在检测到测试指令后根据测试指令确定目标测试集群和目标测试用例，在目标测试集群上按照目标执行顺序执行目标测试用例即可完成对分布式集群的自动化测试，同时可以获取测试结果。该方法可以对分布式存储集群进行自动化测试，解决了现有分布式存储系统测试方法存在测试人员数量不足、测试时间不足、测试工作覆盖不全面等问题，减少人力和时间成本，提高测试效率。同时可以选择至少一个目标执行顺序，按照不同目标执行顺序在目标测试集群上执行目标测试用例，可以检测出按照固定顺序执行目标测试用例时无法测试出的问题，进一步提高测试效率。

基于上述发明实施例，为了避免自动化测试对集群正常运行造成影响，本发明实施例地宫了一种具体的目标测试集群确定方法。请参考图2，图2为本发明实施例提供的一种具体的目标测试集群确定方法流程图，包括：

S201：解析测试指令，确定测试指令指定的测试项目。

在本发明实施例中，测试指令中包括测试项目信息，因此在获取测试指令后对测试指令进行解析，即可确定测试指令指定的测试项目，一个测试项目可以包括一个或多个测试用例，用于进行某一项目的测试。

S202：根据测试项目确定目标种类集群，将目标种类集群中的目标闲置集群确定为目标测试集群。

需要说明的是，由于不同种类的集群可以进行的测试项目可以相同也可以不同，例如文件系统存储集群上无法进行对象系统存储集群的某些测试项目，因此根据差异的测试项目可以确定目标种类集群。若测试项目为各种集群均可以进行的，则可以在测试指令中加入测试集群的类别代码以进行区分；若测试项目中包括特定种类集群才能进行的测试项目，则可以不加入类别代码。在确定目标种类集群后，将目标种类集群中的目标限制集群确定为目标测试集群。具体的，可以检测目标种类集群中的闲置集群，闲置集群即为任务较少的集群，例如可以将目标参数低于预设阈值的集群确定为闲置集群，例如将CPU使用率低于40％的集群确定为闲置集群。在确定闲置集群后，在各个闲置集群中随机选择一个作为目标闲置集群，或者可以选择最为闲置的集群作为目标闲置集群。利用目标闲置集群完成自动测试工作，可以避免自动化测试对集群正常业务的影响。

应用本发明实施例提供的自动化测试方法，可以选择目标闲置集群作为目标测试集群，避免使用业务较多的集群进行自动化测试，进而避免自动化测试对集群正常业务的影响。

基于上述发明实施例，本发明实施例将说明一种具体的目标测试用例的确定方法。请参考图3，图3为本发明实施例提供的一种具体的目标测试用例确定方法流程图

S301：解析测试指令，确定测试指令指定的测试项目。

在本发明实施例中，测试指令中包括测试项目信息，因此在获取测试指令后对测试指令进行解析，即可确定测试指令指定的测试项目，一个测试项目可以包括一个或多个测试用例。

S302：获取测试项目对应的可用测试用例信息，在可用测试用例信息中确定测试指令指定的目标测试用例信息。

由于测试项目对应一个或多个测试用例，因此在确定测试用例后，获取测试项目对应的可用测试用例信息，在可用测试用例中确定测试指令指定的目标测试用例信息。具体的，可以在获取可用测试用例信息后按照测试指令的要求确定目标测试用例信息，例如当某个测试项目在不同种类的集群上均可以进行时，可以根据目标测试集群确定对应的目标测试用例信息；或者可以在获取可用测试用例信息后输出，并获取与测试指令对应的选择指令，根据选择指令在可用测试用例信息中确定测试指令指定的目标测试用例信息。

S303：将目标测试用例信息对应的测试用例确定为目标测试用例。

在确定目标测试用例信息后，将目标测试用例信息对应的测试用例确定为目标测试用例。

下面对本发明实施例提供的自动化测试装置进行介绍，下文描述的自动化测试装置与上文描述的自动化测试方法可相互对应参照。

请参考图4，图4为本发明实施例提供的一种自动化测试装置的结构示意图，包括：

集群确定模块410，用于当检测到测试指令时，根据测试指令确定目标测试集群、目标测试场景和至少一个目标测试用例；

顺序确定模块420，用于确定目标测试用例对应的至少一个目标执行顺序；其中，目标执行顺序包括顺序执行、逆序执行和随机顺序执行；

执行模块430，用于在目标测试集群上按照目标执行顺序和目标测试场景执行目标测试用例，得到测试结果。

可选地，目标测试集群为文件系统集群、对象系统集群或块系统集群，目标测试场景为全量测试场景、冒烟测试场景、性能测试场景、特殊测试场景或POC现场测试场景。

可选地，集群确定模块410，包括：

判断单元，用于通过目标端口获取指令，判断指令的发送方信息是否为目标发送方信息；

确定单元，用于若发送方信息为目标发送方信息，则将指令确定为测试指令。

可选地，顺序确定模块420，包括：

执行顺序信息获取单元，用于获取测试指令中的执行顺序信息；

目标执行顺序确定单元，用于按照执行顺序信息在多个执行顺序中确定至少一个目标执行顺序。

可选地，集群确定模块410，包括：

第一解析单元，用于解析测试指令，确定测试指令指定的测试项目；

第一确定单元，用于根据测试项目确定目标种类集群，将目标种类集群中的目标闲置集群确定为目标测试集群。

可选地，集群确定模块410，包括：

第二解析单元，用于解析测试指令，确定测试指令指定的测试项目；

获取单元，用于获取测试项目对应的可用测试用例信息，在可用测试用例信息中确定测试指令指定的目标测试用例信息；

第二确定单元，用于将目标测试用例信息对应的测试用例确定为目标测试用例。

可选地，还包括：

报告生成模块，用于获取执行日志，利用测试结果和执行日志生成测试报告。

下面对本发明实施例提供的自动化测试设备进行介绍，下文描述的自动化测试设备与上文描述的自动化测试方法可相互对应参照。

请参考图5，图5为本发明实施例提供的一种自动化测试设备的结构示意图，该自动化测试设备包括存储器、处理器，其中：

存储器510，用于保存计算机程序；

处理器520，用于执行计算机程序，以实现上述的自动化测试方法。

下面对本发明实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的自动化测试方法可相互对应参照。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的自动化测试方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上对本发明所提供的一种自动化测试方法、自动化测试装置、自动化测试设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种自动化测试方法，其特征在于，包括：

当检测到测试指令时，根据所述测试指令确定目标测试集群、目标测试场景和至少一个目标测试用例；

确定所述目标测试用例对应的至少一个目标执行顺序；其中，所述目标执行顺序包括顺序执行、逆序执行和随机顺序执行；

在所述目标测试集群上按照所述目标执行顺序和所述目标测试场景执行所述目标测试用例，得到测试结果。

2.根据权利要求1所述的自动化测试方法，其特征在于，所述目标测试集群为文件系统集群、对象系统集群或块系统集群，所述目标测试场景为全量测试场景、冒烟测试场景、性能测试场景、特殊测试场景或POC现场测试场景。

3.根据权利要求1所述的自动化测试方法，其特征在于，所述检测到测试指令，包括：

通过目标端口获取指令，判断所述指令的发送方信息是否为目标发送方信息；

若所述发送方信息为所述目标发送方信息，则将所述指令确定为所述测试指令。

4.根据权利要求1所述的自动化测试方法，其特征在于，所述确定所述目标测试用例的至少一个目标执行顺序，包括：

获取所述测试指令中的执行顺序信息；

按照所述执行顺序信息在多个执行顺序中确定至少一个所述目标执行顺序。

5.根据权利要求1至4任一项所述的自动化测试方法，其特征在于，所述根据测试指令确定目标测试集群，包括：

解析所述测试指令，确定所述测试指令指定的测试项目；

根据所述测试项目确定目标种类集群，将所述目标种类集群中的目标闲置集群确定为目标测试集群。

6.根据权利要求5所述的自动化测试方法，其特征在于，所述根据测试指令确定至少一个目标测试用例，包括：

解析所述测试指令，确定所述测试指令指定的测试项目；

获取所述测试项目对应的可用测试用例信息，在所述可用测试用例信息中确定所述测试指令指定的目标测试用例信息；

将所述目标测试用例信息对应的测试用例确定为目标测试用例。

7.根据权利要求1所述的自动化测试方法，其特征在于，在所述得到测试结果之后，还包括：

获取执行日志，利用所述测试结果和所述执行日志生成测试报告。

8.一种自动化测试装置，其特征在于，包括：

集群确定模块，用于当检测到测试指令时，根据所述测试指令确定目标测试集群、目标测试场景和至少一个目标测试用例；

顺序确定模块，用于确定所述目标测试用例对应的至少一个目标执行顺序；其中，所述目标执行顺序包括顺序执行、逆序执行和随机顺序执行；

执行模块，用于在所述目标测试集群上按照所述目标执行顺序和所述目标测试场景执行所述目标测试用例，得到测试结果。

9.一种自动化测试设备，其特征在于，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的自动化测试方法。

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的自动化测试方法。

Images