CN111897688B - 测试标的的测试方法及装置 - Google Patents

Abstract

本发明公开了一种测试标的的测试方法及装置。其中，该方法包括：根据测试标的的测试用例的参数，确定测试用例的第一加权值；根据测试标的的负载参数，确定测试标的的第二加权值；为测试标的分配，与第二加权值匹配的第一加权值对应的测试用例，进行测试。本发明解决了相关技术中的固态存储设备的测试方式，存在高并发资源瓶颈，稳定性差的技术问题。

Description

测试标的的测试方法及装置

技术领域

本发明涉及硬件测试领域，具体而言，涉及一种测试标的的测试方法及装置。

背景技术

随着Solid-state memory的技术不断升级，存储架构逐渐由原来的IDE、SATA等升级为现在以NVMe、UFS等为主流的产品架构，其在带来更快的响应速度、更大的数据吞吐能力的同时也对测试开发环境带来了更高的要求，对测试系统资源的整合分配提出了更高要求。

现有的技术对于测试仍多是采用单套测试环境对多个存储设备进行同时测试，因为不同脚本用例的资源占用强度不同，此时会导致在面对某些高并发、高带宽、高功耗用例时，系统资源瓶颈，导致设备带宽不足、供电不足、热量聚集等一系列问题，引起测试异常、测试稳定性和可靠性缺陷。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种测试标的的测试方法及装置，以至少解决相关技术中的固态存储设备的测试方式，存在高并发资源瓶颈，稳定性差的技术问题。

根据本发明实施例的一个方面，提供了一种测试标的的测试方法，包括：根据测试标的的测试用例的参数，确定所述测试用例的第一加权值；根据测试标的的负载参数，确定所述测试标的的第二加权值；为所述测试标的分配，与所述第二加权值匹配的第一加权值对应的测试用例，进行测试。

可选的，根据测试标的的测试用例的参数，确定测试用例的第一加权值，包括：获取所述测试用例的所述参数，其中，所述参数包括数据大小，线程数，命令队列深度，读占比，写占比，定性标记量；通过第一加权算法，根据所述参数确定所述第一加权值。

可选的，通过加权算法，根据所述参数确定所述第一加权值包括：通过第一加权算法公式确定所述第一加权值，其中，所述第一加权算法公式如下：

式中，t为第一加权值；B为数据大小；Z为线程数；P为命令队列深度；R为所述读占比；W为写占比；M为定性标记量。

可选的，根据所述测试标的的负载参数，确定所述测试标的的第二加权值，包括：获取所述测试标的的所述负载参数，其中，所述负载参数包括所述测试用例在本次测试中的处理的输入输出IO总量，平均每次的输入输出IO数据大小，处理器占用率，内存占用率，硬件温度；通过第二加权算法，根据所述参数确定所述第二加权值。

可选的，通过第二加权算法，根据所述参数确定所述第二加权值包括：通过第二加权算法公式确定所述第二加权值，其中，所述第二加权算法公式如下：

式中，v为第二加权值，IO为处理的平均输入输出IO总量；b为平均每次的输入输出IO数据大小；c为处理器平均占用率；d为内存平均占用率；K为硬件温度；n为测试标的的总数量。

可选的，根据测试标的的测试用例的参数，确定测试用例的第一加权值之前，包括：设定第二加权值的阈值；设定所述测试用例的范围，将所述测试用例打包成用于测试的脚本池。

可选的，为所述测试标的分配，与所述第二加权值匹配的第一加权值对应的测试用例包括：将与测试标的第二加权值匹配的第一加权值对应的测试用例，分配至所述测试标的的测试用例队列中；在当前的测试用例运行完成的情况下，对完成的测试用例进行标记；获取所述测试用例队列中排列最前的测试用例进行运行，直至所述测试用例队列中的所有测试用例运行完毕。

根据本发明实施例的另一方面，还提供了一种测试标的的测试装置，包括：第一确定模块，用于根据测试标的的测试用例的参数，确定测试用例的第一加权值；第二确定模块，用于根据所述测试标的的负载参数，确定所述测试标的的第二加权值；测试模块，用于为所述测试标的分配，与所述第二加权值匹配的第一加权值对应的测试用例，进行测试。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的测试标的的测试方法。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的测试标的的测试方法。

在本发明实施例中，采用根据测试标的的测试用例的参数，确定测试用例的第一加权值；根据测试标的的负载参数，确定测试标的的第二加权值；为测试标的分配，与第二加权值匹配的第一加权值对应的测试用例，进行测试的方式，通过分别对测试用例的第一加权值和测试标的的第二加权值进行确定，从而根据第一加权值和第二加权值的匹配，对测试标的和测试用例进行匹配，达到了为测试标的提供合适的测试用例，对测试用例进行动态调用的目的，从而实现了避免任务分配不合理，提高测试稳定性的技术效果，进而解决了相关技术中的固态存储设备的测试方式，存在高并发资源瓶颈，稳定性差的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的测试标的的测试方法的流程图；

图2是根据本发明实施例的测试标的的测试装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面对本实施例出现的专业术语进行解释说明。

Solid-state memory------固态存储器。

IDE-Integrated Drive Electronics-----集成开发环境。

SATA-Serial Advanced Technology Attachment-----串行高级技术附件。

NVMe-Non-Volatile Memory express-----NVMe协议，是一种建立在M.2接口上的一种协议，是专门为闪存类存储设计的协议。

UFS-Universal Flash Storage-----通用闪存存储。

根据本发明实施例，提供了一种测试标的的测试方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种测试标的的测试方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，根据测试标的的测试用例的参数，确定测试用例的第一加权值；

步骤S104，根据测试标的的负载参数，确定测试标的的第二加权值；

步骤S106，为测试标的分配，与第二加权值匹配的第一加权值对应的测试用例，进行测试。

通过上述步骤，采用根据测试标的的测试用例的参数，确定测试用例的第一加权值；根据测试标的的负载参数，确定测试标的的第二加权值；为测试标的分配，与第二加权值匹配的第一加权值对应的测试用例，进行测试的方式，通过分别对测试用例的第一加权值和测试标的的第二加权值进行确定，从而根据第一加权值和第二加权值的匹配，对测试标的和测试用例进行匹配，达到了为测试标的提供合适的测试用例，对测试用例进行动态调用的目的，从而实现了避免任务分配不合理，提高测试稳定性的技术效果，进而解决了相关技术中的固态存储设备的测试方式，存在高并发资源瓶颈，稳定性差的技术问题。

上述测试标的可以为固态存储器，采用多个测试用例同时对多个固态存储其进行同时测试，也即是上述测试标的和上述测试用例分别为多个，由于不同的测试用例占用的资源不同，多个固态存储器所拥有的资源也不同，因此，为避免高并发，高带宽，高功耗的测试用例导致占用固态存储器的过多资源，甚至超过固态存储器的资源，对固态存储器的测试发生异常，甚至中断。

本实施例，通过对固态存储器和测试用例分别加权，确定测试用例的第一加权值和固态存储器的第二加权值，通过第一加权值和第二加权值进行匹配，为固态存储器匹配合适的测试用例，进而达到了为测试标的提供合适的测试用例，对测试用例进行动态调用的目的，从而实现了避免任务分配不合理，提高测试稳定性的技术效果，进而解决了相关技术中的固态存储设备的测试方式，存在高并发资源瓶颈，稳定性差的技术问题。

上述测试用例可以为测试脚本，通过对测试脚本的第一加权值和固态存储器的第二加权值的匹配，实现对测试用例的动态调用，将固态存储器的测试服在均衡化，在不改变原有测试环境下，更合理的分配测试资源，解决了因测试资源分配不合理导致的一系列问题，以及固态存储器的测试资源瓶颈问题。

上述测试用例的参数可以为预设参数，例如在设计测试用例时，确定的测试用例的数据大小，线程数，命令队列深度，读占比，写占比，定性标记量等，可以表明测试用例的属性和测试用例所需的测试资源。

上述负载参数可以为测试标的的测试属性参数，也即是测试标的可以负载的测试资源，例如，测试用例在本次测试中的处理的输入输出IO总量，平均每次的输入输出IO数据大小，处理器占用率，内存占用率，硬件温度等。

可选的，根据测试标的的测试用例的参数，确定测试用例的第一加权值，包括：获取测试用例的参数，其中，参数包括数据大小，线程数，命令队列深度，读占比，写占比，定性标记量；通过第一加权算法，根据参数确定第一加权值。

可选的，通过加权算法，根据参数确定第一加权值包括：通过第一加权算法公式确定第一加权值，其中，第一加权算法公式如下：

式中，t为第一加权值；B为数据大小；Z为线程数；P为命令队列深度；R为读占比；W为写占比；M为定性标记量。

从而根据加权算法对测试用例的第一加权值进行确定。需要说明的是，上述定型标记量可以用于标识测试用例的加权次数，或者测试用例是否已经完成，是否需要加权的标记，例如，定性标记量可以为0或1，定性标记量为0的情况下，说明测试用例已经运行完毕，不在代入脚本池中分配加权，定性标记量为1的情况下，说明测试用例未运行或者运行未完成，将测试用例代入脚本池中分配加权，并根据加权的第一加权值与测试标的的第二加权值进行匹配，以实现测试运行。

可选的，根据测试标的的负载参数，确定测试标的的第二加权值，包括：获取测试标的的负载参数，其中，负载参数包括测试用例在本次测试中的处理的输入输出IO总量，平均每次的输入输出IO数据大小，处理器占用率，内存占用率，硬件温度；通过第二加权算法，根据参数确定第二加权值。

可选的，通过第二加权算法，根据参数确定第二加权值包括：通过第二加权算法公式确定第二加权值，其中，第二加权算法公式如下：

式中，v为第二加权值，IO为处理的平均输入输出IO总量；b为平均每次的输入输出IO数据大小；c为处理器平均占用率；d为内存平均占用率；K为硬件温度；n为测试标的的总数量；m为测试标的的加权定性标记量。

从而根据加权算法对测试标的的第二加权值进行确定。上述测试标的的加群啊定性标记量与上述测试用例的定性标记量类似，用于标识测试标的的加权次数，或者测试标的是否已经完成，是否需要加权的标记。

可选的，根据测试标的的测试用例的参数，确定测试用例的第一加权值之前，包括：设定第二加权值的阈值；设定测试用例的范围，将测试用例打包成用于测试的脚本池。

上述第二加权值的阈值呈线性阶梯分布，从而保证了测试标的的第二加权值的在上述阈值之内，保证了第二加权值的有效性和稳定性。

上述测试用例的范围可以为符合测试要求的测试用例选取范围，将测试用例打包成脚本池，从而使测试标的可以根据对脚本池的运行，实现对测试用例的运行，保证了测试用例对测试标的的有效测试。

可选的，为测试标的分配，与第二加权值匹配的第一加权值对应的测试用例包括：将与测试标的第二加权值匹配的第一加权值对应的测试用例，分配至测试标的的测试用例队列中；在当前的测试用例运行完成的情况下，对完成的测试用例进行标记；获取测试用例队列中排列最前的测试用例进行运行，直至测试用例队列中的所有测试用例运行完毕。

在上述测试标的的加权定性标记量和测试用例的定性标记量均为零的情况下，确定该组测试标的和测试用例的测试完毕，结束测试并返回测试结果。

需要说明的是，本实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

本实施方式旨在通过加权算法实现测试用例的动态调用，将测试负载均衡优化，能在不改变原有的测试环境下更合理分配测试资源，避免因任务分配不合理导致的一系列问题，以及测试瓶颈。

1.设定负载加权阈值，阈值成线性阶梯分布

2.设定测试用例范围，将测试用例打包成脚本池

3.通过获取用例预设值，将脚本池用例的命令数据块Block大小B、线程数Z、命令队列深度P、读占比R、写占比W、定性标记量M(默认为1)，代入用例加权算法运算，并进行分配用例加权t。

4.通过资源监控命令获取负载参数，如Linux操作系统下使用top-c、io-top记录获取每个固态存储设备Solid-state memory在本次用例测试中吞吐平均输入输出总量iops量io、平均每笔输入输出IO大小b(KB/S)、中央处理器CPU平均占用率c、内存平均占用率d、温度值K(开尔文)

5.将以上io、b、c、d、t，以及总测试固态存储设备Solid-state memory数量n，定性标记量m(默认为1)，以单盘为单位带入固态存储设备Solid-state memory加权算法，进行加权运算并标记该固态存储设备Solid-state memory的加权值v。

6.依照每个测试盘的加权值分配对应的加权值脚本给到下一个用例队列中，按照v越大分配t值越大的测试用例。

7.用例队列中上一个已运行完成队列，该用例的加权定性标记量M改设为0，再不带入脚本池中分配加权。当有固态存储设备Solid-state memory脚本池可用脚本数为零时，该固态存储设备Solid-state memory的加权定性标记量改设为0，再不带入固态存储设备Solid-state memory中分配加权

8.每当完成现有用例，重复以上3-7步骤对加权进行迭代，运行下一个用例。

9.当定性标记量M、m均为0时，该组测试即可判定测试完毕，结束测试返回结果。

固态存储设备Solid-state memory加权算法：

固态存储设备Solid-state memory加权值与各个负载参数的关系表如表1所示：

表1固态存储设备Solid-state memory加权值与各个负载参数的关系表

测试用例加权算法：

测试用例加权值与各个参数的关系，如表2所示：

表2测试用例加权值与各个参数的关系表

本实施方式可以最大化利用测试平台的资源，避免出现因系统任务分配不均衡导致的带宽不足、供电不足、热量聚集的问题。

图2是根据本发明实施例的测试标的的测试装置的示意图，如图2所示，根据本发明实施例的另一方面，还提供了一种测试标的的测试装置，包括：第一确定模块22，第二确定模块24和测试模块26，下面对该装置进行详细说明。

第一确定模块22，用于根据测试标的的测试用例的参数，确定测试用例的第一加权值；第二确定模块24，与上述第一确定模块22相连，用于根据所述测试标的的负载参数，确定所述测试标的的第二加权值；测试模块26，与上述第二确定模块24相连，用于为所述测试标的分配，与所述第二加权值匹配的第一加权值对应的测试用例，进行测试。

通过上述装置，采用第一确定模块22根据测试标的的测试用例的参数，确定测试用例的第一加权值；第二确定模块24根据测试标的的负载参数，确定测试标的的第二加权值；测试模块26为测试标的分配，与第二加权值匹配的第一加权值对应的测试用例，进行测试的方式，通过分别对测试用例的第一加权值和测试标的的第二加权值进行确定，从而根据第一加权值和第二加权值的匹配，对测试标的和测试用例进行匹配，达到了为测试标的提供合适的测试用例，对测试用例进行动态调用的目的，从而实现了避免任务分配不合理，提高测试稳定性的技术效果，进而解决了相关技术中的固态存储设备的测试方式，存在高并发资源瓶颈，稳定性差的技术问题。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的测试标的的测试方法。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的测试标的的测试方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种测试标的的测试方法，其特征在于，包括：

根据测试标的的测试用例的参数，确定所述测试用例的第一加权值；

根据所述测试标的的负载参数，确定所述测试标的的第二加权值；

为所述测试标的分配，与所述第二加权值匹配的第一加权值对应的测试用例，进行测试；

其中，根据测试标的的测试用例的参数，确定测试用例的第一加权值，包括：

获取所述测试用例的所述参数，其中，所述参数包括数据大小，线程数，命令队列深度，读占比，写占比，定性标记量；

通过第一加权算法，根据所述参数确定所述第一加权值；

通过第一加权算法，根据所述参数确定所述第一加权值包括：

通过第一加权算法公式确定所述第一加权值，其中，所述第一加权算法公式如下：

，

式中，为第一加权值；/>为数据大小；/>为线程数；/>为命令队列深度；/>为所述读占比；为写占比；/>为定性标记量；

根据所述测试标的的负载参数，确定所述测试标的的第二加权值，包括：

获取所述测试标的的所述负载参数，其中，所述负载参数包括所述测试用例在本次测试中的处理的输入输出IO总量，平均每次的输入输出IO数据大小，处理器占用率，内存占用率，硬件温度；

通过第二加权算法，根据所述参数确定所述第二加权值；

通过第二加权算法，根据所述参数确定所述第二加权值，包括：

通过第二加权算法公式确定所述第二加权值，其中，所述第二加权算法公式如下：

，

式中，为第二加权值，/>为处理的平均输入输出IO总量；/>为平均每次的输入输出IO数据大小；/>为处理器平均占用率；/>为内存平均占用率；/>为硬件温度；/>为测试标的的总数量；/>为测试标的的加权定性标记量。

2.根据权利要求1所述的方法，其特征在于，根据测试标的的测试用例的参数，确定测试用例的第一加权值之前，包括：

设定第二加权值的阈值；

设定所述测试用例的范围，将所述测试用例打包成用于测试的脚本池。

3.根据权利要求1所述的方法，其特征在于，为所述测试标的分配，与所述第二加权值匹配的第一加权值对应的测试用例包括：

将与测试标的第二加权值匹配的第一加权值对应的测试用例，分配至所述测试标的的测试用例队列中；

在当前的测试用例运行完成的情况下，对完成的测试用例进行标记；

获取所述测试用例队列中排列最前的测试用例进行运行，直至所述测试用例队列中的所有测试用例运行完毕。

4.一种测试标的的测试装置，其特征在于，包括：

第一确定模块，用于根据测试标的的测试用例的参数，确定测试用例的第一加权值；

第二确定模块，用于根据所述测试标的的负载参数，确定所述测试标的的第二加权值；

测试模块，用于为所述测试标的分配，与所述第二加权值匹配的第一加权值对应的测试用例，进行测试；

其中，所述第一确定模块还用于获取所述测试用例的所述参数，其中，所述参数包括数据大小，线程数，命令队列深度，读占比，写占比，定性标记量；通过第一加权算法，根据所述参数确定所述第一加权值；其中，通过第一加权算法公式确定所述第一加权值，其中，所述第一加权算法公式如下：

，

式中，为第一加权值；/>为数据大小；/>为线程数；/>为命令队列深度；/>为所述读占比；为写占比；/>为定性标记量；

所述第二确定模块还用于获取所述测试标的的所述负载参数，其中，所述负载参数包括所述测试用例在本次测试中的处理的输入输出IO总量，平均每次的输入输出IO数据大小，处理器占用率，内存占用率，硬件温度；通过第二加权算法，根据所述参数确定所述第二加权值；其中，通过第二加权算法公式确定所述第二加权值，其中，所述第二加权算法公式如下：

，

式中，为第二加权值，/>为处理的平均输入输出IO总量；/>为平均每次的输入输出IO数据大小；/>为处理器平均占用率；/>为内存平均占用率；/>为硬件温度；/>为测试标的的总数量；m为测试标的的加权定性标记量。

5.一种计算机存储介质，其特征在于，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至3中任意一项所述的测试标的的测试方法。

6.一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至3中任意一项所述的测试标的的测试方法。