CN115080397A - 系统可靠性测试方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种系统可靠性测试方法、装置、设备和存储介质，该方法包括获取待测试系统的配置信息，根据配置信息，得到待测试系统对应的至少一种测试场景；获取各测试场景对应的测试用例；根据各测试场景对应的测试用例对各测试场景进行测试，得到各测试场景的评估指标数据；根据各测试场景的评估指标数据以及预设目标评估指标数据，确定得到待测试系统的可靠性评分；通过可靠性评分量化可靠性测试的结果，对系统的可靠性进行定量评估，可以直观地描述待测试系统的可靠性，便于测试人员根据待测试系统量化后的可靠性测试的结果确定待测试系统的稳定性和可靠性。

Description

系统可靠性测试方法、装置、设备和存储介质

技术领域

本发明涉及计算机技术领域，具体涉及一种系统可靠性测试方法、装置、设备和存储介质。

背景技术

随着计算机技术和信息化技术的快速发展，随着高科技信息技术的发展，基于云计算架构的系统已经融入我们生活的每一个角落。随着人们赖以生存的基于云计算架构的系统的规模越来越庞大，结构越来越复杂，整个基于云计算架构的系统就更容易发生故障或失效，有时看似微不足道的事故隐患就有可能诱发整个基于云计算架构的系统的崩溃和瘫痪。

然而，传统技术对于基于云计算架构的系统的可靠性评估的研究，大多数集中在对连通可靠性的研究，主要是根据单个产品任务剖面对系统的可靠性进行分析评估，在实物产品还未形成之前，借助数字模型仿真对系统可靠性水平进行定性分析，不能直观地展示系统可靠性测试结果。

发明内容

本发明实施例提供一种系统可靠性测试方法、装置、设备和存储介质，以对系统可靠性进行定量评估。

一方面，本发明实施例提供一种系统可靠性测试方法，所述方法包括：

获取待测试系统的配置信息，根据所述配置信息，得到所述待测试系统对应的至少一种测试场景；

获取各所述测试场景对应的测试用例；

根据各所述测试场景对应的测试用例对各所述测试场景进行测试，得到各所述测试场景的评估指标数据；

根据各所述测试场景的评估指标数据以及预设目标评估指标数据，确定得到所述待测试系统的可靠性评分。

另一方面，本发明实施例提供一种系统可靠性测试装置，所述装置包括：

场景获取模块，用于获取待测试系统的配置信息，根据所述配置信息，得到所述待测试系统对应的至少一种测试场景；

用例获取模块，用于获取各所述测试场景对应的测试用例；

测试模块，用于根据各所述测试场景对应的测试用例对各所述测试场景进行测试，得到各所述测试场景的评估指标数据；

打分模块，用于根据各所述测试场景的评估指标数据以及预设目标评估指标数据，确定得到所述待测试系统的可靠性评分。

另一方面，本发明实施例提供一种系统可靠性测试设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行所述的系统可靠性测试方法中的操作。

另一方面，本发明实施例提供一种存储介质，所述指令适于处理器进行加载，以执行所述的系统可靠性测试方法中的步骤。

本发明实施例获取待测试系统的配置信息，根据配置信息，得到待测试系统对应的至少一种测试场景；获取各测试场景对应的测试用例；根据各测试场景对应的测试用例对各测试场景进行测试，得到各测试场景的评估指标数据；根据各测试场景的评估指标数据以及预设目标评估指标数据，确定得到待测试系统的可靠性评分；通过可靠性评分量化可靠性测试的结果，对系统的可靠性进行定量评估，可以直观地描述待测试系统的可靠性，便于测试人员根据待测试系统量化后的可靠性测试的结果确定待测试系统的稳定性和可靠性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的系统可靠性测试方法的应用场景示意图；

图2是本发明实施例提供的系统可靠性测试方法的一个实施例流程示意图；

图3是本发明实施例提供的待测试系统的一个结构框图；

图4是本发明实施例提供的待测试系统在软件即服务测试场景中的可靠性评分的示意；

图5是本发明实施例提供的系统可靠性测试装置的一个实施例结构示意图；

图6是本发明实施例提供的终端的结构示意图的系统可靠性测试设备的一个实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，图1示出了本发明实施例提供的系统可靠性测试方法的应用场景，图1所示的仅为可以应用本发明实施例提供的应用场景的示意，以帮助本领域技术人员了解本发明的技术内容，但不意味着本发明实施例不可以应用其他设备、系统、环境或场景。

如图1所示，根据本发明提供的应用场景包括服务器101、网络102和终端设备103、104和105。

其中，网络102可以在服务器101与终端设备103、104和105之间提供通信链路的介质。网络102可以是因特网，也可以是任何网络，包括但不限于广域网、城域网、区域网、第三代合作伙伴计划(3rd Generation Partnership Project，3GPP)、长期演进(Long TermEvolution LTE)、全球互通微波访问(Worldwide Interoperability for MicrowaveAccess WiMAX)的移动通信，或基于TCP/IP协议族(TCP/IPProtocol Suite TCP/IP)、用户数据报协议(User Datagram Protocol UDP的计算机网络通信等。

测试人员可以使用终端设备103、104和105通过网络102与服务器101交互，对部署在服务器101上的系统进行可靠性测试等。终端设备103、104和105上可以安装有应用程序，以实现对部署在服务器101上的系统进行可靠性测试，以及获取服务器101的系统资源占有率、内存占有率等。可以理解的是，在对部署在服务器101上的系统进行可靠性测试的过程中，可以通过一个或多个终端设备同时对部署在服务器101上的系统进行访问和测试，该一个或多个终端设备中的任一或其他终端设备可以对该一个或多个终端设备实施可靠性测试测到的结果进行汇总。需要说明的是，本发明实施例对部署在服务器101上的系统不作限定，例如部署在服务器101上的系统可以是网络系统、网站、操作系统、以及应用系统、云计算系统等。

终端设备103、104和105可以是具有显示用能的各种电子设备，以向测试人员展示部署在服务器101上的系统的可靠性测试结果，其包括但不限于计算机、PC端、便捷式计算机、平板电脑等。

服务器101可以是提供各种服务的服务器，例如对测试人员利用终端设备103、104和105所浏览的网站提供支持的后台管理服务器。后台管理服务器可以对接收到的请求数据进行分析处理，并将处理结果返回至终端设备103、104和105。

需要说明的是，本发明实施例提供的系统可靠性测试方法一般可以有终端设备103、104和105执行。相应地，本发明实施例所提供的系统可靠性测试装置一般可以设置于终端设备103、104和105中。本发明实施例提供的系统可靠性测试方法可以由不同终端设备103、104和105且能够与服务器101通信的服务器或服务器集群执行。相应地，本发明实施例提供的系统可靠性测试装置还可以设置于不同于终端设备103、104和105且能够与服务器101通信的服务器或服务器集群中。

应该理解，图1示出的终端设备、网络和服务器的数目仅仅是示意性的，根据实际应用场景，可以具有任意数目的终端设备、网络和服务器。

参阅图2，图2是本发明实施例提供的系统可靠性测试方法的一个实施例流程示意图，所示的系统可靠性测试方法包括步骤201～204：

201，获取待测试系统的配置信息，根据配置信息，得到待测试系统对应的至少一种测试场景。

在本发明一些实施例中，待测试系统可以是云计算系统，如图3所示，其包括应用层301、平台层302和基础设施层303，需要说明的是，图3中仅示出了本发明实施例使用到的模块结构。其中，应用层301用于提供软件即服务，软件即服务提供基于网络的访问的各种典型的应用，例如在线邮件服务、网络会议、网络传真、在线杀毒、等各种工具型服务，在线CRM、在线HR、在线项目管理等各种管理型服务，以及网路搜索、网络游戏、在显示屏等娱乐性应用；平台层302用于提供平台即服务器，平台即服务提供对操作系统和相关服务的访问；基础设施层303用于提供基础设施服务，基础设施服务包含云IT的基本构建块，通常提供对联网功能、计算机(虚拟或专用硬件)以及数据存储空间的访问。

测试场景包括软件即服务测试场景、平台即服务测试场景和基础架构即服务测试场景。其中，软件即服务测试场景是对待测试系统的应用层301进行测试；平台即服务测试场景是待测试系统在完成规定的某种具体的平台即服务(PaaS)或者任务进行测试；基础架构即服务测试场景是对待测试系统的基础架构进行测试，其包括但不限于对待测试系统设置的应用软件的CPU占有率、内存使用率、网络资源和存储资源等进行测试。

配置信息包括但不限于待测试系统的待测试层参数、测试场景参数等信息，其中待测试层参数用于确定待测试系统的待测试层，其中待测试层包括应用层、平台层和基础设施层中的至少一种。其中测试场景参数用于确定测试场景类型，其中测试场景类型包括应用测试、平台测试和架构测试，其中应用测试是对待测试系统的应用层301进行测试，平台测试是对待测试系统的平台层302进行测试，架构测试是对待测试系统的基础设施层303进行测试。在本发明一些实施例中，待测试系统的待测试层参数可以是字符、数字、字母中的一种或多种，例如c_1表征应用层，c_2表征平台层，c_3表征基础设施层，可理解的，当待测试系统的待测试层参数中包含c_1字段时，即对待测试系统的应用层301进行测试。在本发明一些实施例中，测试场景参数可以是字符、数字、字母中的一种或多种，例如J_1表征测试场景类型为应用测试，J_2表征测试场景类型为平台测试，J_3表征测试场景类型为架构测试。需要说明的是，上述配置信息、待测试层参数、测试场景参数仅为示例性说明，本发明实施例对配置信息、待测试层参数、测试场景参数各自对应的数据形式不做限定。

202，获取各测试场景对应的测试用例。

测试用例用于对待测试系统进行测试，其包括但不限于操作指令、查询数据等。

203，根据各测试场景对应的测试用例对各测试场景进行测试，得到各测试场景的评估指标数据。

评估指标数据包括但不限于待测试系统在各测试场景中的故障数目和评估参数，其中故障数目包括：待测试系统在各测试场景下运行测试用例预设时间内出现的故障次数、待测试系统在各测试场景下运行测试用例预设时间内的故障率以及待测试系统在各测试场景下运行测试用例预设时间内故障平均持续时间。

评估参数包括：可靠度、云服务平均失效前时间、云服务失效率、云服务可用性参数、性能参数等。其中，可靠度在测试场景下预设时间内待测试系统无失效提供规定服务的概率，可靠度越大待测试系统的可靠性越高，通过可靠度函数R(t)＝1-F(t)＝P(ξ>t)得到，其中ζ是云服务从当前时间到下一次失效时间的时间间隔，F(t)＝P(ξ≤t)为ζ的累积概率密度函数，t是输入的时间；云服务平均失效前时间表征在预设运行周期内，当前时间到下一次云服务失效时间的时间期望，云服务平均失效前时间越长，云服务的可靠性越高；云服务失效率表征云服务在t时刻上位发生失效的条件下，在t时刻之后的单位时间内发生失效的概率，云服务失效率越低，云服务的可靠性越高；云服务可用性参数表征待测试系统在任一随机时刻需要开始提供服务时，处于工作或可使用状态的程度；性能参数表征待测试系统的运行性能，其包括但不限于响应时间、吞吐量、CPU使用率、内存占有率等。

在本发明一些实施例中，可以根据各测试场景设置各测试场景的测试脚本，执行各测试场景对应的测试脚本，根据各测试场景对应的测试用例对各测试场景进行测试，得到各测试场景的评估指标数据。

204，根据各测试场景的评估指标数据以及预设目标评估指标数据，确定得到待测试系统的可靠性评分。

在本发明一些实施例中，步骤204包括：将各测试场景的评估指标数据中的故障数目和预设目标评估指标数据中的目标故障数目，得到待测试系统的可靠性评分，例如根据各测试场景的评估指标数据中的故障数目和预设目标评估指标数据中的目标故障数目之间的比值，得到待测试系统的可靠性评分。

在本发明一些实施例中，步骤204包括：将各测试场景的评估指标数据中的评估参数和目标评估指标数据中的目标评估参数，得到待测试系统的可靠性评分，例如根据各测试场景的评估指标数据中的评估参数和目标评估指标数据中的目标评估参数之间的比值，得到待测试系统的可靠性评分。

在本发明一些实施例中，步骤204包括：将各测试场景的评估指标数据中的评估参数和目标评估指标数据中的目标评估参数，得到参数得分，将各测试场景的评估指标数据中的故障数目和目标评估指标数据中的目标故障数目，得到故障得分，根据参数得分和故障得分，得到待测试系统的可靠性评分。例如，根据各测试场景的评估指标数据中的评估参数和目标评估指标数据中的目标评估参数之间的比值，得到参数得分，根据各测试场景的评估指标数据中的故障数目和目标评估指标数据中的目标故障数目之间的比值，得到故障得分，将故障得分和参数得分进行加和运算，得到待测试系统的可靠性评分。

在本发明一些实施例中，步骤204包括：针对各测试场景的评估指标数据，对该测试场景的评估指标数据进行分类，得到多个指标类别以及每个指标类别下的评估指标；根据每个指标类别的评估指标的数值以及预设目标评估指标数据中同一指标类别的评估指标的目标数值，得到每个指标类别的评估得分；根据该测试场景的每个指标类别的评估得分，得到待测试系统的可靠性评分。其中，指标类别包括可靠性指标、可用性指标、性能指标和运维指标。在本发明一些实施例中，可靠性指标包括评估参数中的可靠度，可用性指标包括评估参数中的可用性参数，性能指标包括评估参数中的性能参数，运维指标包括故障数目中的故障次数。

在本发明一些实施例中，针对每个指标类别，根据该指标类别下的评估指标的数值与预设目标评估指标数据中同一指标类别的评估指标的目标数值的比值，得到该指标类别的评估得分。

在本发明一些实施例中，对于每一个测试场景，在得到该测试场景的每个指标类别的评估得分之后，可以将该测试场景的每个指标类别的评估得分设置为待测试系统在该测试场景中的可靠性评分，如图4所示，图4是待测试系统在软件即服务测试场景中的可靠性评分的示意，图4中，顺时针旋转方向依次表示可用性指标得分、运维指标得分、性能指标得分和可靠性指标得分，例如在软件即服务测试场景中，待测试系统的可靠性指标得分为100、可用性指标得分为33、性能指标得分为100、运维指标得分为0，则在软件即服务测试场景中，待测试系统的可靠性评分为[33,0,100,100]，从左至右分别为可用性指标得分、运维指标得分、性能指标得分和可靠性指标得分。

在本发明一些实施例中，对于每一个测试场景，在得到该测试场景的每个指标类别的评估得分之后，还可以将该测试场景的每个指标类别的评估得分进行累加，得到待测试系统在该测试场景中的可靠性评分。

本发明实施例通过可靠性评分量化可靠性测试的结果，对系统的可靠性进行定量评估，可以直观地描述待测试系统的可靠性，便于测试人员根据待测试系统量化后的可靠性测试的结果确定待测试系统的稳定性和可靠性，进而可以更好地进行系统更新。

在本发明一些实施例中，可以根据配置信息得到待测试系统的类型，根据待测试系统的类型确定待测试系统的对应的至少一种测试场景，具体地包括：根据配置信息确定得到待测试系统的类型，系统的类型包括软件即服务、平台即服务和基础架构即服务中的至少一种；根据预设的类型场景数据，确定与待测试系统的类型匹配的测试场景，其中类型场景数据包括每个类型匹配的测试场景。

在本发明一些实施例中，配置信息还可以包括待测试系统的服务类型信息，其中待测试系统的服务类型信息表征待测试系统通过应用层301、平台层302和、或基础设施层303提供云服务。当待测试系统通过应用层301提供云服务时，则系统的类型为软件即服务，当待测试系统通过平台层302提供云服务时，则系统的类型为平台即服务，当待测试系统通过应用层301、平台层302和、基础设施层303提供云服务，则系统的类型为软件即服务、平台即服务和基础架构即服务。

在本发明一些实施例中，可以通过每个测试场景的测试要素确定该测试场景的故障场景数，根据该测试场景的故障场景数选取该测试场景对应的测试用例，具体地，包括步骤a1～a5：

步骤a1，针对每个测试场景，获取该测试场景的测试要素以及测试要素的数量。

其中，测试要素包括故障类型、运行时长、流量环境中的至少一种，故障类型包括但不限于服务器故障、存储故障、网路设备故障、虚拟机故障、组件故障、节点故障等，运行时长待测试系统的运行时长，流量环境待测试系统的访问流量。在本发明一些实施例中，可以通过收集待测试系统在不同时间点系统运营的流量、运行时长、出现过的故障以及每种故障类型可能出现的概率，得到测试要素。

步骤a2，确定每个测试要素对应的预设评估指标的数量。

在本发明一些实施例中，可以根据预设的测试要素数据得到对每一种测试要素对应的预设评估指标的数量。预设的测试要素数据存储有多个测试要素，以及每个测试要素对应的预设评估指标的数量。

在本发明一些实施例中，考虑到不同故障类型需要采集评估指标是不一样的，因此可以获取运行时长、流量环境各自对应的预设的测试要素数据，根据运行时长、流量环境各自对应的预设的测试要素数据得到运行时长、流量环境各自对应的预设评估指标的数量，获取预设故障类型数据，根据该测试场景的测试要素中的故障类型查询预设故障类型数据，得到该测试场景的测试要素中的故障类型对应的预设评估指标的数量。其中，预设故障类型数据存储有多种故障类型、每种故障类型对应的预设评估指标以及预设评估指标的数量。

步骤a3，根据该测试场景的测试要素的数量以及每个测试要素对应的预设评估指标的数量，得到该测试场景中的故障场景数量。

在本发明一些实施例中，可以根据测试要素的数量以及每个测试要素对应的预设评估指标的数量的乘积，得到该测试场景中的故障场景数量，例如将测试要素的数量以及每个测试要素对应的预设评估指标的数量的乘积设置为该测试场景中的故障场景数量。

步骤a4，根据预设的场景与用例之间的映射关系，从预设用例数据库中，选取得到与测试场景匹配的初始测试用例。

场景与用例之间的映射关系表征各测试场景与各测试场景对应的测试用例之间的映射关系。

步骤a5，根据该测试场景中的故障场景数量，从初始测试用例中选取出与该测试场景中的故障场景数量匹配的测试用例。

在本发明一些实施例中，匹配可以是测试用例的数量与故障场景数量相等，匹配还可以是测试用例的数量与故障场景数量的平方数相等，匹配也可以是测试用例的数量与故障场景数量的阶乘相等。

在本发明一些实施例中，以匹配是测试用例的数量与故障场景数量的阶乘相等为例进行说明，根据故障场景数量计算故障场景数量的阶乘，将故障场景数量的阶乘设置为测试用例数量，从初始测试用例中选取出测试用例数量的测试用例，将选取出的测试用例数量的测试用例设置为与故障场景数量匹配的测试用例。

在本发明一些实施例中，在得到该测试场景对应的测试用例，执行该测试场景对应的测试用例对待测试系统进行测试，得到该测试场景的评估指标数据，根据该测试场景的评估指标数据以及该测试场景的预设目标评估指标数据，得到该测试场景的可靠性评分。

在本发明一些实施例中，由于该测试场景的评估指标数据包含多项评估指标，因此可以根据该测试场景的评估指标数据以及该测试场景的预设目标评估指标数据，得到各项评估指标的评估得分，根据各项评估指标的评估得分得到该测试场景的可靠性评分。具体地，可靠性评分确定方法包括步骤b1～b3：

步骤b1，针对每一种测试场景，确定得到该测试场景的评估指标数据中各项评估指标的权重。

在本发明一些实施例中，评估指标数据包括各项评估指标相应的故障数目，在本发明一些实施例中，评估指标数据中包括服务器评估指标、存储评估指标、网络设备评估指标和虚拟机评估指标，则各项评估指标相应的故障数目理解为服务器故障数目、存储故障数目、网络设备故障数目以及虚拟机故障数目。在本发明一些实施例中，可以根据各项评估指标相应的故障数目确定各项评估指标的权重，具体地，包括步骤c1～c3：

步骤c1，确定各测试场景的评估指标数据中所有评估指标的故障总数。

步骤c2，针对每个测试场景的评估指标数据中的每个评估指标，确定该评估指标的故障数。

步骤c3，根据该评估指标的故障数，以及该测试场景的评估指标数据中所有评估指标的故障总数，确定得到该评估指标的权重。

在本发明一些实施例中，评估指标的故障数越多，表征待检测系统在该评估指标的可靠性交底，则对该评估指标分配较低的权重。

在本发明一些实施例中，可以计算该评估指标的故障数在该测试场景的评估指标数据中所有评估指标的故障总数中的占比，根据该占比得到该评估指标的权重，例如将该1-该占比设置为该评估指标的权重。

步骤b2，根据该测试场景的评估指标数据以及该测试场景的预设目标评估指标数据，确定得到该测试场景的评估指标数据中各项评估指标的评估得分。

在本发明一些实施例中，步骤b2包括：根据该测试场景的评估指标数据中各项评估指标相应的故障数目，以及该测试场景的预设目标评估指标数据中各项预设目标评估指标的预设目标故障数目，得到该测试场景的评估指标数据中各项评估指标的评估得分。例如，计算该测试场景的评估指标数据中各项评估指标相应的故障数目与该测试场景的预设目标评估指标数据中与各项评估指标对应的预设目标评估指标相应的预设目标故障数目之间比值，将各项评估指标的比值*100设置为各项评估指标的评估得分。

步骤b3，根据该测试场景的评估指标数据中各项评估指标的评估得分以及各项评估指标的权重，确定该测试场景的可靠性评分。

在本发明一些实施例中，针对该测试场景的评估指标数据中各项评估指标，根据该项评估指标的评估得分以及该项评估指标的权重，得到该项评估指标的分值，将该测试场景的评估指标数据中各项评估指标以及各项评估指标的分值写入评分数据集，将该评分数据集设置为该测试场景的可靠性评分。

在本发明一些实施例中，针对该测试场景的评估指标数据中各项评估指标，根据该项评估指标的评估得分以及该项评估指标的权重，得到该项评估指标的分值，将该测试场景的评估指标数据中各项评估指标的分值进行累加，得到该测试场景的可靠性评分。

在本发明一些实施例中，评估指标数据包括各项评估指标对应的评估参数，其中评估指标包括可靠性指标、可用性指标、性能指标和运维指标，则可靠性指标对应的评估参数为可靠度，可用性指标对应的评估参数为可用性参数，性能指标对应的评估参数为性能参数和运维指标对应的评估参数为故障次数。在该测试场景的评估指标数据包括各项评估指标对应的评估参数时，步骤b1包括：针对每一种测试场景，根据预设的评估指标与初始权重之间的映射数据，确定得到该测试场景的评估指标数据中各项评估指标的初始权重，确定该测试场景的评估指标数据中所有评估指标的初始权重总和，根据该测试场景的评估指标数据中各项评估指标的初始权重以及该初始权重总和，得到该测试场景的评估指标数据中各项评估指标的权重。例如可以计算该测试场景的评估指标数据中各项评估指标的初始权重在该初始权重总和中的占比，将该测试场景的各项评估指标的初始权重在该初始权重总和中的占比设置为该项评估指标的初始权重。其中预设的评估指标与权重之间的映射数据包括多种评估指标以及每种评估指标对应的初始权重。

在本发明一些实施例中，在该测试场景的评估指标数据包括各项评估指标对应的评估参数时，步骤b2包括：根据该测试场景的评估指标数据中各项评估指标对应的评估参数，以及该测试场景的预设目标评估指标数据中各项预设目标评估指标对应的预设目标评估参数，得到该测试场景的评估指标数据中各项评估指标的评估得分。例如，计算该测试场景的评估指标数据中各项评估指标的评估参数与该测试场景的预设目标评估指标数据中各项预设目标评估指标对应的预设目标评估参数之间比值，将各项评估指标的比值*100设置为各项评估指标的评估得分。

在本发明一些实施例中，在该测试场景的评估指标数据包括各项评估指标对应的评估参数时，得到各项评估指标的初始权重以及各项评估指标的评估得分之后，按照步骤b3得到该测试场景的可靠性评分。

本发明实施例根据各测试场景的评估指标数据以及预设目标评估指标数据，确定得到待测试系统的可靠性评分，通过可靠性评分量化可靠性测试的结果，对系统的可靠性进行定量评估，可以直观地描述待测试系统的可靠性，便于测试人员根据待测试系统量化后的可靠性测试的结果确定待测试系统的稳定性和可靠性。

为了更好的实施本发明实施例提供的系统可靠性测试方法，在系统可靠性测试方法基础上，提供一种系统可靠性测试装置，如图5所示，图5是本发明实施例提供的系统可靠性测试装置的一个实施例结构示意图，所示的系统可靠性测试装置包括：

场景获取模块501，用于获取待测试系统的配置信息，根据配置信息，得到待测试系统对应的至少一种测试场景；

用例获取模块502，用于获取各测试场景对应的测试用例；

测试模块503，用于根据各测试场景对应的测试用例对各测试场景进行测试，得到各测试场景的评估指标数据；

打分模块504，用于根据各测试场景的评估指标数据以及预设目标评估指标数据，确定得到系统的可靠性评分。

在本发明一些实施例中，场景获取模块501包括：

根据配置信息确定得到系统的类型，系统的类型包括软件即服务、平台即服务和基础架构即服务中的至少一种；

根据预设的类型场景数据，确定与系统的类型匹配的测试场景，类型场景数据包括每个类型匹配的测试场景。

在本发明一些实施例中，打分模块504包括：

权重单元，针对每一种测试场景，确定得到该测试场景的评估指标数据中各项评估指标的权重；

得分单元，用于根据该测试场景的评估指标数据以及该测试场景的预设目标评估指标数据，确定得到该测试场景的评估指标数据中各项评估指标的评估得分；

打分单运，用于根据评估指标数据中各项评估指标的评估得分以及各项评估指标的权重，确定该测试场景的可靠性评分。

在本发明一些实施例中，评估指标数据包括各项评估指标相应的故障数目；权重单元，包括：

确定各测试场景的评估指标数据中所有评估指标的故障总数；

针对每个测试场景的评估指标数据中的每个评估指标，确定该评估指标的故障数；

根据该评估指标的故障数，以及该测试场景的评估指标数据中所有评估指标的故障总数，确定得到该评估指标的权重。

在本发明一些实施例中，得分单元，包括：

根据该测试场景的评估指标数据中各项评估指标相应的故障数目，以及该测试场景的预设目标评估指标数据中各项预设目标评估指标相应的预设目标故障数目，得到该测试场景的评估指标数据中各项评估指标的评估得分。

在本发明一些实施例中，该测试场景的评估指标数据包括各项评估指标对应的评估参数；得分单元，包括：

根据该测试场景的评估指标数据中各项评估指标对应的评估参数，以及该测试场景的预设目标评估指标数据中各项预设目标评估指标对应的预设目标评估参数，得到该测试场景的评估指标数据中各项评估指标的评估得分。

在本发明一些实施例中，用例获取模块502包括：

针对每个测试场景，获取该测试场景的测试要素以及测试要素的数量，测试要素包括故障类型、与运算时长、流量环境中的至少一种；

确定每个测试要素对应的预设评估指标的数量；

根据测试要素的数量以及每个测试要素对应的预设评估指标的数量，得到该测试场景中的故障场景数量；

根据预设的场景与用例之间的映射关系，从预设用例数据库中，选取得到与测试场景匹配的初始测试用例；场景与用例之间的映射关系表征各测试场景与各测试场景对应的测试用例之间的映射关系；

根据该测试场景中的故障场景数量，从初始测试用例中选取出与该测试场景中的故障场景数量匹配的测试用例。

本发明实施例提供的系统可靠性测试装置根据各测试场景的评估指标数据以及预设目标评估指标数据，确定得到待测试系统的可靠性评分，通过可靠性评分量化可靠性测试的结果，对系统的可靠性进行定量评估，可以直观地描述待测试系统的可靠性，便于测试人员根据待测试系统量化后的可靠性测试的结果确定待测试系统的稳定性和可靠性。

本发明实施例还提供一种系统可靠性测试设备，如图6所示，其示出了本发明实施例所涉及的系统可靠性测试设备的结构示意图，具体来讲：

该系统可靠性测试设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图6中示出的系统可靠性测试设备结构并不构成对系统可靠性测试设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器601是该系统可靠性测试设备的控制中心，利用各种接口和线路连接整个系统可靠性测试设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行系统可靠性测试设备的各种功能和处理数据，从而对系统可靠性测试设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据系统可靠性测试设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。

系统可靠性测试设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该系统可靠性测试设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，系统可靠性测试设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，系统可靠性测试设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：

获取待测试系统的配置信息，根据配置信息，得到待测试系统对应的至少一种测试场景；

获取各测试场景对应的测试用例；

根据各测试场景对应的测试用例对各测试场景进行测试，得到各测试场景的评估指标数据；

根据各测试场景的评估指标数据以及预设目标评估指标数据，确定得到待测试系统的可靠性评分。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种系统可靠性测试方法中的步骤。例如，该指令可以执行如下步骤：

获取待测试系统的配置信息，根据配置信息，得到待测试系统对应的至少一种测试场景；

获取各测试场景对应的测试用例；

根据各测试场景对应的测试用例对各测试场景进行测试，得到各测试场景的评估指标数据；

根据各测试场景的评估指标数据以及预设目标评估指标数据，确定得到待测试系统的可靠性评分。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种系统可靠性测试方法中的步骤，因此，可以实现本发明实施例所提供的任一种系统可靠性测试方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种系统可靠性测试方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种系统可靠性测试方法，其特征在于，所述方法包括：

获取待测试系统的配置信息，根据所述配置信息，得到所述待测试系统对应的至少一种测试场景；

获取各所述测试场景对应的测试用例；

根据各所述测试场景对应的测试用例对各所述测试场景进行测试，得到各所述测试场景的评估指标数据；

根据各所述测试场景的评估指标数据以及预设目标评估指标数据，确定得到所述待测试系统的可靠性评分。

2.如权利要求1所述的系统可靠性测试方法，其特征在于，所述根据所述配置信息，得到所述待测试系统对应的至少一种测试场景包括：

根据所述配置信息确定得到所述系统的类型，所述系统的类型包括软件即服务、平台即服务和基础架构即服务中的至少一种；

根据预设的类型场景数据，确定与所述系统的类型匹配的测试场景，所述类型场景数据包括每个类型匹配的测试场景。

3.如权利要求1所述的系统可靠性测试方法，其特征在于，所述根据各所述测试场景的评估指标数据以及预设目标评估指标数据，确定得到所述待测试系统的可靠性评分包括：

针对每一种测试场景，确定得到该测试场景的评估指标数据中各项评估指标的权重；

根据该测试场景的评估指标数据以及该测试场景的预设目标评估指标数据，确定得到该测试场景的评估指标数据中各项评估指标的评估得分；

根据该测试场景的评估指标数据中各项评估指标的评估得分以及各项所述评估指标的权重，确定该测试场景的可靠性评分。

4.如权利要求3所述的系统可靠性测试方法，其特征在于，所述评估指标数据包括各项评估指标相应的故障数目；

所述确定得到该测试场景的评估指标数据中各项评估指标的权重包括：

确定各所述测试场景的评估指标数据中所有评估指标的故障总数；

针对每个所述测试场景的评估指标数据中的每个评估指标，确定该评估指标的故障数；

根据该评估指标的故障数，以及该测试场景的评估指标数据中所有评估指标的故障总数，确定得到该评估指标的权重。

5.如权利要求4所述的系统可靠性测试方法，其特征在于，所述根据该测试场景的评估指标数据以及该测试场景的预设目标评估指标数据，确定得到该测试场景的评估指标数据中各项评估指标的评估得分包括：

根据该测试场景的评估指标数据中各项评估指标的故障数目，以及该测试场景的预设目标评估指标数据中各项预设目标评估指标的预设目标故障数目，得到该测试场景的评估指标数据中各项评估指标的评估得分。

6.如权利要求3所述的系统可靠性测试方法，其特征在于，该测试场景的所述评估指标数据包括各项评估指标对应的评估参数；

所述根据该测试场景的评估指标数据以及该测试场景的预设目标评估指标数据，确定得到该测试场景的评估指标数据中各项评估指标的评估得分包括：

根据该测试场景的评估指标数据中各项评估指标对应的评估参数，以及该测试场景的预设目标评估指标数据中各项预设目标评估指标对应的预设目标评估参数，得到该测试场景的评估指标数据中各项评估指标的评估得分。

7.如权利要求1至6任一项所述的系统可靠性测试方法，其特征在于，所述获取各所述测试场景对应的测试用例包括：

针对每个所述测试场景，获取该测试场景的测试要素以及所述测试要素的数量，所述测试要素包括故障类型、与运算时长、流量环境中的至少一种；

确定该测试场景的每个测试要素对应的预设评估指标的数量；

根据该测试场景的测试要素的数量以及每个测试要素对应的预设评估指标的数量，得到该测试场景中的故障场景数量；

根据预设的场景与用例之间的映射关系，从预设用例数据库中，选取得到与该测试场景匹配的初始测试用例；所述场景与用例之间的映射关系表征各测试场景与各测试场景对应的测试用例之间的映射关系；

根据该测试场景中的故障场景数量，从所述初始测试用例中选取出与该测试场景中的故障场景数量匹配的测试用例。

8.一种系统可靠性测试装置，其特征在于，所述装置包括：

场景获取模块，用于获取待测试系统的配置信息，根据所述配置信息，得到所述待测试系统对应的至少一种测试场景；

用例获取模块，用于获取各所述测试场景对应的测试用例；

测试模块，用于根据各所述测试场景对应的测试用例对各所述测试场景进行测试，得到各所述测试场景的评估指标数据；

打分模块，用于根据各所述测试场景的评估指标数据以及预设目标评估指标数据，确定得到所述待测试系统的可靠性评分。

9.一种系统可靠性测试设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至7任一项所述的系统可靠性测试方法中的操作。

10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的系统可靠性测试方法中的步骤。

Images