CN109558281A - 一种测试方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种测试方法、装置及电子设备，通过确定待测存储系统的标准读写数据范围；获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。本发明实施例提供的测试方法，通过统计分析的方式，抓取包含在测试数据内部的隐藏信息，能够对测试结果进行精确解析，有效提高测试精度。

Description

一种测试方法、装置及电子设备

技术领域

本发明涉及计算机技术领域，特别是涉及一种测试方法、装置及电子设备。

背景技术

在服务器市场中，服务器的性能稳定性非常重要，尤其是在关键行业，如金融业或互联网支付平台等关键行业中，服务器的存储子系统(CPU-RAID卡-背板-磁盘全链路)的性能稳定性越来越被重视起来。

对于服务器性能稳定性的开发测，目前通常使用测试工具，对服务器的存储子系统进行性能评测，最终得到测试结果，然后根据测试结果判断服务器性能是否稳定。然而，发明人通过研究发现，上述测试结果通常是一种平均的测试结果，即该测试结果通常是平均计算后的数值或者定性的结论；在测试过程中，服务器很容易出现性能不稳或者抖动的情况，这种抖动情况也往往会造成服务器业务异常，是影响服务器稳定性的关键，而上述测试方法难以实现服务器的精确测试，产生漏测。

因此，如何能够提高测试精度是本领域技术人员亟需解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种测试方法、装置及电子设备，用于解决现有技术中测试精度差的问题。

为实现上述目的及其他相关目的，根据本发明的第一方面，本发明实施例提供一种测试方法，该方法包括以下步骤：

确定待测存储系统的标准读写数据范围；

获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；

当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。

可选地，所述确定待测存储系统的标准读写数据范围包括：

计算所有测试读写数据的平均值；

以所述平均值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

可选地，所述确定待测存储系统的标准读写数据范围包括：

根据待测存储系统的型号匹配相应的性能数值；

以所述性能数值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

可选地，所述获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目，包括：

计算超出所述标准读写数据范围、且属于第一范围的测试读写数据的第一抖动数目；

以及，计算超出所述标准读写数据范围、且属于第二范围的测试读写数据的第二抖动数目；

其中，所述第一范围相对于所述第二范围靠近所述标准读写数据范围。

可选地，当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常，包括：

当第一抖动数目大于第一阈值、且第二抖动数目小于或等于第二阈值时，确定待测存储系统轻度异常；

当第二抖动数目大于第二阈值时，确定待测存储系统严重异常。

根据本发明的第二方面，本发明实施例还提供一种测试装置，该装置包括：

确定模块，用于确定待测存储系统的标准读写数据范围；

统计模块，用于获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；

预警模块，当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。

可选地，所述确定模块用于，

计算所有测试读写数据的平均值；

以所述平均值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

可选地，所述确定模块用于，

根据待测存储系统的型号匹配相应的性能数值；

以所述性能数值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

可选地，所述统计模块用于，

计算超出所述标准读写数据范围、且属于第一范围的测试读写数据的第一抖动数目；

以及，计算超出所述标准读写数据范围、且属于第二范围的测试读写数据的第二抖动数目；

其中，所述第一范围相对于所述第二范围靠近所述标准读写数据范围。

根据本发明的第三方面，本发明实施例还提供一种电子设备，所述电子设备包括处理器；以及，

与所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够：

确定待测存储系统的标准读写数据范围；

获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；

当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。

如上所述，本发明实施例提供的一种测试方法、装置及电子设备，具有以下有益效果：通过确定待测存储系统的标准读写数据范围；获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。本发明实施例提供的测试方法，通过统计分析的方式，抓取包含在测试数据内部的隐藏信息，能够对测试结果进行精确解析，有效提高测试精度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种测试方法的流程示意图；

图2是本发明实施例提供的一种标准读写数据范围的确定方法的流程示意图；

图3是本发明实施例提供的另一种标准读写数据范围的确定方法的流程示意图；

图4是本发明实施例提供的一种抖动数目统计方法的流程示意图；

图5是本发明实施例提供的一种待测存储系统性能异常确定方法的流程示意图；

图6是本发明实施例提供的一种测试装置的结构示意图；

图7是本发明实施例提供的执行测试方法的电子设备的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参阅图1至图7。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明实施例提供的测试方法可以应用于以下实施场景，在待测存储系统中安装操作系统并安装测试软件，该测试软件可以为FIO、IOmeter和Orion工具软件等，用于测试待测存储系统的读写性能；通过运行测试脚本对待测存储系统进行性能测试，记录测试读写数据等作为测试结果，通过对测试结果的统计分析，评估待测存储系统的性能。当然需要说明的是，上述场景仅是一示例性实施例，在具体实施时，该测试方法还可以应用于其他场景，在本发明实施例中不再赘述。

参见图1，是本发明实施例提供的一种测试方法的流程示意图，如图1所示，本发明实施例示出了测试方法的实施过程：

步骤S101：确定待测存储系统的标准读写数据范围。

在测试过程中，确定标准读写数据范围，并以此作为判断测试结果异常与否的依据，因此确定标准读写数据范围的准确性决定测试的精度。

在第一种实施情况下，为了提高测试精度，参见图2，是本发明实施例提供的一种标准读写数据范围的确定方法的流程示意图，如图2所示，该方法包括以下步骤：

步骤S1011：计算所有测试读写数据的平均值。

在一示例性实施例中，在测试结果中记录有多个测试读写数据，则计算所有测试读写数据的平均值。具体地，当所有的测试读写数据包括{1500000，1750000，2000000}集合时，则计算所有测试读写数据的平均值为1750000。

步骤S1012：以所述平均值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

进一步，根据步骤S1011的结果，以1750000作为基线，确定标准读写数据范围。在具体实施时，可以预设容限值为0，则标准读写数据范围就是对应1750000这条基线；还可以预设容限值为250000，则标准读写数据范围可以以此容限值上下浮动，即标准读写数据范围为[1500000,2000000]。

在第二种实施情况下，为了提高测试精度，参见图3，是本发明实施例提供的另一种标准读写数据范围的确定方法的流程示意图，如图3所示，该方法包括以下步骤：

步骤S1013：根据待测存储系统的型号匹配相应的性能数值。

在具体测试过程中，可以根据待测存储系统的型号，根据型号与性能数值的匹配关系，选择与待测存储系统的型号相匹配的性能数值。具体地，该型号与性能数值的匹配关系可以通过日常检查的记录结果或者理论性能值的匹配获得，从而建立待测存储系统型号与性能数值的对应关系表。在一示例性实施例中，通过查询该对应关系表可以确定待测存储系统的性能数值为1750000。

步骤S1014：以所述性能数值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

同样地，以上述步骤确定的性能数值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围，本发明实施例与上述实施例相同之处，可参见上述实施例的描述，在此不再赘述。

步骤S102：获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目。

为了快速辨识待测存储系统是否发生异常，在第一种实施情况下，可以统计不在此标准读写数据范围内的测试读写数据，从而获得该抖动数目。在一示例性实施例中，当标准读写数据范围为[1500000,2000000]，测试读写数据为{500000,1600000,2500000,3000000}时，从而可以统计得到超出标准读写数据范围的测试读写数据个数为3，则抖动数目为3。

为了精确辨识待测存储系统是否发生异常，在第二种实施情况下，参见图4，是本发明实施例提供的一种抖动数目统计方法的流程示意图，如图4所示，该方法包括以下步骤：

步骤S1021：计算超出所述标准读写数据范围、且属于第一范围的测试读写数据的第一抖动数目。

在一示例性实施例中，可以将标准读写数据范围外延500000，作为第一范围，则当标准读写数据范围为[1500000,2000000]，相应的第一范围可以包括[1000000，1500000)，以及，(2000000,2500000]。当测试读写数据为{500000,1600000,2500000,3000000}，则进一步计算超出标准读写数据范围、且属于第一范围的测试读写数据的第一抖动数目为1。

步骤S1022：计算超出所述标准读写数据范围、且属于第二范围的测试读写数据的第二抖动数目；其中，所述第一范围相对于所述第二范围靠近所述标准读写数据范围。

在一示例性实施例中，可以将标准读写数据范围在第一数据范围和标准读写数据范围的合集上外延500000，作为第二范围，具体地当标准读写数据范围为[1500000,2000000]，相应的第一范围可以包括[1000000，1500000)，以及，(2000000,2500000]时，标准读写数据范围和第一数据范围的合集为[1000000,2500000],进一步确定，第二范围为[500000,1000000)和(2500000,3000000]。当测试读写数据为{500000,1600000,2500000,3000000}，则进一步计算超出标准读写数据范围、且属于第二范围的测试读写数据的第二抖动数目为2。而且从该实施例可以看出，第一范围相对于第二范围更靠近标准读写数据范围。

步骤S103：当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。

在具体实施时，在第一种实施情况下，当所述抖动数目大于或等于预设阈值时，则判定待测存储系统偏离其标准性能较多，即抖动较大，从而确定待测存储系统性能异常。具体地，当统计得到的抖动数目为3，预设阈值为2时，则可以确定待测存储系统性能异常，进一步可以发出预警信息，指示开发者对待测存储系统进行调整优化。

根据步骤S102的描述，在第二种实施情况下，参见图5，是本发明实施例提供的一种待测存储系统性能异常确定方法的流程示意图，如图5所示，该方法包括：

步骤S1031：当第一抖动数目大于第一阈值、且第二抖动数目小于或等于第二阈值时，确定待测存储系统轻度异常。

当第一阈值设定为0，第二阈值设定为1，根据上述实施例的描述，第一抖动数目为1介于此范围内，可以确定待测存储系统轻度异常，可以继续关注持续测试，或者指示开发者调整优化。

步骤S1032：当第二抖动数目大于第二阈值时，确定待测存储系统严重异常。

由于第二抖动数目为2大于第二阈值，则可以确定待测存储系统偏离标准读写数据范围较大，判定待测存储系统严重异常，需要指示开发者采取调整措施。

由上述实施例的描述可见，本发明实施例提供的一种测试方法，通过确定待测存储系统的标准读写数据范围；获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。通过统计分析的方式，抓取包含在测试数据内部的隐藏信息，能够对测试结果进行精确解析，有效提高测试精度。

通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

与本发明提供的测试方法实施例相对应，本发明还提供了一种测试装置。

参见图6，是本发明实施例提供的一种测试装置的结构示意图，如图6所示，该装置包括：

确定模块11，用于确定待测存储系统的标准读写数据范围；

统计模块12，用于获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；

预警模块13，当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。

为了保证测试的精度，在第一种实施情况下，所述确定模块11还可以用于，计算所有测试读写数据的平均值；以所述平均值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

在第二种实施情况下，所述确定模块11还可以用于，根据待测存储系统的型号匹配相应的性能数值；以所述性能数值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

为了更精确的判定待测存储系统的性能状态，在本发明实施例中，所述统计模块12还可以用于，计算超出所述标准读写数据范围、且属于第一范围的测试读写数据的第一抖动数目；

以及，计算超出所述标准读写数据范围、且属于第二范围的测试读写数据的第二抖动数目；

其中，所述第一范围相对于所述第二范围靠近所述标准读写数据范围。

对应地，所述预警模块13还可以用于，

当第一抖动数目大于第一阈值、且第二抖动数目小于或等于第二阈值时，确定待测存储系统轻度异常；

当第二抖动数目大于第二阈值时，确定待测存储系统严重异常。

本发明实施例提供的测试装置具有与上述方法实施例相同的实施效果，在本发明实施例中，不再赘述。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的测试方法。

图7是本发明实施例提供的执行测试方法的电子设备的硬件结构示意图，如图7所示，该设备包括：

一个或多个处理器710以及存储器720，图7中以一个处理器710为例。

执行测试方法的设备还可以包括：输入装置730和输出装置740。

处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器720作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的测试方法对应的程序指令/模块(例如，附图6所示的确定模块11、统计模块12和预警模块13)。处理器710通过运行存储在存储器720中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例测试方法。

存储器720可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据测试装置的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器720可选包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至测试装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置730可接收输入的数字或字符信息，以及产生与测试装置的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器720中，当被所述一个或者多个处理器710执行时，执行上述任意方法实施例中的测试方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

本发明实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种测试方法，其特征在于，包括以下步骤：

确定待测存储系统的标准读写数据范围；

获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；

当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。

2.根据权利要求1所述的测试方法，其特征在于，所述确定待测存储系统的标准读写数据范围包括：

计算所有测试读写数据的平均值；

以所述平均值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

3.根据权利要求1所述的测试方法，其特征在于，所述确定待测存储系统的标准读写数据范围包括：

根据待测存储系统的型号匹配相应的性能数值；

以所述性能数值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

4.根据权利要求1所述的测试方法，其特征在于，所述获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目，包括：

计算超出所述标准读写数据范围、且属于第一范围的测试读写数据的第一抖动数目；

以及，计算超出所述标准读写数据范围、且属于第二范围的测试读写数据的第二抖动数目；

其中，所述第一范围相对于所述第二范围靠近所述标准读写数据范围。

5.根据权利要求4所述的测试方法，其特征在于，当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常，包括：

当第一抖动数目大于第一阈值、且第二抖动数目小于或等于第二阈值时，确定待测存储系统轻度异常；

当第二抖动数目大于第二阈值时，确定待测存储系统严重异常。

6.一种测试装置，其特征在于，包括：

确定模块，用于确定待测存储系统的标准读写数据范围；

统计模块，用于获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；

预警模块，当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。

7.根据权利要求6所述的测试装置，其特征在于，所述确定模块用于，

计算所有测试读写数据的平均值；

以所述平均值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

8.根据权利要求6所述的测试装置，其特征在于，所述确定模块用于，

根据待测存储系统的型号匹配相应的性能数值；

以所述性能数值作为基线，根据预设的容限值确定待测存储系统的标准读写数据范围。

9.根据权利要求6所述的测试装置，其特征在于，所述统计模块用于，

计算超出所述标准读写数据范围、且属于第一范围的测试读写数据的第一抖动数目；

以及，计算超出所述标准读写数据范围、且属于第二范围的测试读写数据的第二抖动数目；

其中，所述第一范围相对于所述第二范围靠近所述标准读写数据范围。

10.一种电子设备，其特征在于，所述电子设备包括处理器；以及，

与所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够：

确定待测存储系统的标准读写数据范围；

获取待测存储系统的测试读写数据，并统计超出所述标准读写数据范围的测试读写数据的抖动数目；

当所述抖动数目大于或等于预设阈值时，确定待测存储系统性能异常。