CN113535575A - 软硬件产品基础环境的基准测试方法及装置 - Google Patents

Abstract

本发明公开了一种软硬件产品基础环境的基准测试方法及装置，涉及自动程序设计领域，该方法包括：创建对基础环境进行基准测试的测试计划；从资源池中选择执行测试计划的一个或多个测试机；根据测试计划，从案例集合中选择在各个测试机上执行的测试案例；控制各个测试机执行相应的测试案例，获取各个测试机的测试结果；根据各个测试机的测试结果，生成测试分析报表。本发明不仅能够让测试资源在不同测试项目和测试人员之间共享，而且能够大大提高软硬件产品基础环境的测试效率。

Description

软硬件产品基础环境的基准测试方法及装置

技术领域

本发明涉及自动程序设计领域，尤其涉及一种软硬件产品基础环境的基准测试方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

当前市场上专门针对基础环境的基准测试软件几乎没有，如何快速高效地对同类型的不同软硬件进行综合评估，是本领域亟待解决的技术问题。

发明内容

本发明实施例中提供了一种软硬件产品基础环境的基准测试方法，用以实现快速高效地对同类型的不同软硬件产品进行综合评估，该方法包括：创建对基础环境进行基准测试的测试计划；从资源池中选择执行测试计划的一个或多个测试机；根据测试计划，从案例集合中选择在各个测试机上执行的测试案例；控制各个测试机执行相应的测试案例，获取各个测试机的测试结果；根据各个测试机的测试结果，生成测试分析报表。

本发明实施例中还提供了一种软硬件产品基础环境的基准测试装置，用以实现快速高效地对同类型的不同软硬件产品进行综合评估，该装置包括：测试计划创建模块，用于创建对基础环境进行基准测试的测试计划；测试机确定模块，用于从资源池中选择执行测试计划的一个或多个测试机；测试案例确定模块，用于根据测试计划，从案例集合中选择在各个测试机上执行的测试案例；测试模块，用于控制各个测试机执行相应的测试案例，获取各个测试机的测试结果；测试结果分析模块，用于根据各个测试机的测试结果，生成测试分析报表。

本发明实施例中还提供了一种电子设备，用以实现快速高效地对同类型的不同软硬件产品进行综合评估，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述软硬件产品基础环境的基准测试方法。

本发明实施例中还提供了一种计算机可读存储介质，用以实现快速高效地对同类型的不同软硬件产品进行综合评估，该计算机可读存储介质存储有执行上述软硬件产品基础环境的基准测试方法的计算机程序。

本发明实施例中提供的软硬件产品基础环境的基准测试方法、装置、计算机设备及计算机可读存储介质，通过重构基准测试框架，统一管理测试案例、测试机、测试计划、测试结果等各项测试资源，预先建立包含多个测试机的资源池以及包含多个测试案例的案例集合后，在创建对基础环境进行基准测试的测试计划后，从资源池中选择执行测试计划的一个或多个测试机，进而根据测试计划，从案例集合中选择在各个测试机上执行的测试案例，然后控制各个测试机执行相应的测试案例，获取各个测试机的测试结果，最后根据各个测试机的测试结果，生成测试分析报表。

通过本发明实施例，不仅能够让测试资源在不同测试项目和测试人员之间共享，而且能够大大提高软硬件产品基础环境的测试效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种软硬件产品基础环境的基准测试方法流程图；

图2为本发明实施例中提供的一种测试结果存储流程图；

图3为本发明实施例中提供的一种测试结果分析流程图；

图4为本发明实施例中提供的一种同步测试流程图；

图5为本发明实施例中提供的一种测试框架示意图；

图6为本发明实施例中提供的一种基准测试的执行流程图；

图7为本发明实施例中提供的一种测试案例数据模型示意图；

图8为本发明实施例中提供的一种测试指标分类示意图；

图9为本发明实施例中提供的一种XML测试结果文件结构示意图；

图10为本发明实施例中提供的一种基准测试结果的分析流程图；

图11为本发明实施例中提供的一种软硬件产品基础环境的基准测试装置示意图；

图12为本发明实施例中提供的一种可选的软硬件产品基础环境的基准测试装置示意图；

图13为本发明实施例中提供的一种电子设备示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在介绍本发明实施例之前，首先本发明实施例中涉及的名词术语解释如下：

基础环境：中国建设银行国产化自主可控替代中，基础环境涉及到的IBM体系架构软硬件、Intel体系架构硬件、Oracle软硬件、国产化CPU服务器硬件、国产化服务器端软件、开源软件等，此处泛指企业或单位的开发环境、测试环境以及生产环境所有的硬件设备、应用软件、服务器系统、大数据平台、云计算平台等。

基准测试：通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。软硬件选型测试。

测试程序：适用于Linux操作系统的全面测试和基准测试平台。从测试案例的编写和更新、案例和案例集合的远程下发、远端被测试系统的管理、定时执行调度、测试报告的生成、测试结果的保存、测试结果搜索和基准对照等，通过以自动化的方式执行上面的测试功能的测试管理平台。

测试案例：一个独立测试，一个测试的安装、依赖、执行、结果的定义文件，以XML文件格式保存。

案例集合：测试案例的集合，在对被测系统执行测试时，可以下发一个测试案例，或者一个测试集合，测试集合以串行的方式在被测系统逐个执行。

案例分类：根据被测试系统的某类硬件或者某个软件进行的测试案例分类。

本地负载：测试案例在被测试机本机执行，有些软硬件资源类负载测试可能需要这种执行方式。测试程序和测试关联的系统被测资源都在本机。

弹性压力：弹性压力发生器工作在容器集群中，测试程序在需要向被测系统增加负载时，需要调度容器集群并向工作在其中的压力机服务指定实例副本或者工作线程等。

远端负载：测试案例在远端弹性压力发生器上执行，适用于网络类访问的应用。

本发明实施例中提供了一种软硬件产品基础环境的基准测试方法，图1为本发明实施例中提供的一种软硬件产品基础环境的基准测试方法流程图，如图1所示，包括：

S101，创建对基础环境进行基准测试的测试计划。

需要说明的是，本发明实施例中的基础环境可以是任意一种软硬件产品的开发环境、测试环境或生产环境。本发明实施例中的测试关联对基础环境进行测试的测试案例、测试机和测试结果。

S102，从资源池中选择执行测试计划的一个或多个测试机。

需要说明的是，本发明实施例中的资源池是指由多个能够作为测试机的计算机设备构成的资源池。本发明实施例在具体实施之前，将可用的计算机设备放在资源池中，以便执行某个测试计划时，从资源池中选择一个或多个计算机设备作为测试机。

为了实现同步控制多个测试机进行测试的目的，本发明实施例中采用C/S架构的测试框架，在每个测试机上安装测试客户端，以便根据测试服务器下发的同步命令执行相应的测试。

在一个实施例中，上述S102可具体通过如下步骤来实现：查找资源池中是否存在执行测试计划的测试机；当资源池中不存在执行测试计划的测试机的情况下，在资源池中添加执行测试计划的测试机。

S103，根据测试计划，从案例集合中选择在各个测试机上执行的测试案例。

需要说明的是，本发明实施例中的案例集合是指由预先创建的多个标准化测试案例构成的测试案例集合。在一个实施例中，上述S103可具体通过如下步骤来实现：查找案例集合中是否存在测试计划的测试案例；当案例集合中存在测试计划的测试案例的情况下，在案例集合中添加测试计划的测试案例。

S104，控制各个测试机执行相应的测试案例，获取各个测试机的测试结果。

从案例集合中选择在各个测试机上执行的测试案例之后，控制各个测试机按照测试计划执行相应的测试案例，并获取各个测试机返回的测试结果。

S105，根据各个测试机的测试结果，生成测试分析报表。

需要说明的是，测试结果分析往往需要消耗测试人员大量时间去做数据处理，本发明实施例中，根据各个测试机的测试结果，生成测试分析报表，能够实现测试结果的自动化分析，可大大提高测试结果的分析效率，降低人工分析的错误率。

在一个实施例中，在根据各个测试机的测试结果，生成测试分析报表之后，本发明实施例中提供的软硬件产品基础环境的基准测试方法还可包括如下步骤：以图表的形式，可视化展示生成的测试分析报表。

在一个实施例中，本发明实施例中提供的软硬件产品基础环境的基准测试方法还可包括如下步骤：定义测试案例采用的数据模型，其中，数据模型采用三层树形结构。

本发明实施例中，通过定义基准测试案例规则的数据模型，方便测试案例管理和测试人员快速生成测试案例，并融入测试框架的标准处置流程。

进一步地，在一个实施例中，本发明实施例中提供的软硬件产品基础环境的基准测试方法还可包括如下步骤：定义测试案例使用的测试指标，其中，测试指标包括：框架定义指标和自定义指标。

本发明实施例中，通过梳理基准测试各类指标，设计方便指标统计、存储、计算和显示的技术方案，即实现适用于基准测试指标持久化存储和分析处理的数据结构和相关处理算法。

在一个实施例中，如图2所示，在控制各个测试机执行相应的测试案例，获取各个测试机的测试结果之后，本发明实施例中提供的软硬件产品基础环境的基准测试方法还可包括如下步骤：

S201，采用XML格式文件存储测试结果，得到XML格式的测试结果文件。

可选地，如图2所示，在采用XML格式文件存储测试结果，得到XML格式的测试结果文件之后，本发明实施例中提供的软硬件产品基础环境的基准测试方法还可包括如下步骤：

S202，将XML格式的测试结果文件存储到网络附属存储NAS设备中；

S203，将测试结果文件的基本信息和NAS存储路径信息存储到关系型数据库中，其中，NAS存储路径信息为测试结果文件在NAS设备中存储的文件存储路径信息。

在一个实施例中，如图3所示，本发明实施例中提供的软硬件产品基础环境的基准测试方法还可通过如下步骤生成测试分析报表：

S301，读取每次基准测试得到的测试结果文件；

S302，对每次基准测试得到的测试结果文件进行校验；

S303，对校验通过的测试结果文件进行数据提取；

S304，根据数据提取结果，统计各个测试指标的最大值、最小值和平均值；

S305，根据各个测试指标的最大值、最小值和平均值，生成每次基准测试的测试分析报表。

在一个实施例中，如图4所示，本发明实施例中提供的软硬件产品基础环境的基准测试方法，还可通过如下步骤控制各个测试机进行测试：

S401，向各个测试机下发测试同步指令；

S402，根据测试同步指令，控制各个测试机同步执行相应的测试案例；

S403，接收各个测试机返回的测试结果。

在具体实施时，可利用C/S测试架构，通过服务器让多个测试机上的基准测试同时进行，并对结果进行汇聚、横向对比和展示。

通过重构基准测试框架，统一管理各项测试资源，包括测试案例、测试机、测试计划、测试结果，增加测试管理的自动化和集成效果，让测试人员将主要工作放到业务本身；通过标准化测试案例、测试指标和测试结果的数据模型，让这些测试资源可以在不同测试项目和测试人员之间共享。

通过重构基准测试框架，统一管理各项测试资源(包括测试案例、测试机、测试计划、测试结果，增加测试管理的自动化和集成效果)，通过标准化测试案例、测试指标和测试结果的数据模型，让这些测试资源可以在不同测试项目和测试人员之间共享，最后通过自动化结果分析流程提高分析效率。

本申请提供了一种通用性强的、可灵活配置的、适用于各企业或单位对开发测试环境和生产环境进行软硬件选型或评估的基准测试软件。

具体包括：

本申请通过重构基准测试框架，统一管理各项测试资源，包括测试案例、测试机、测试计划、测试结果，增加测试管理的自动化和集成效果；通过标准化测试案例、测试指标和测试结果的数据模型，让这些测试资源可以在不同测试项目和测试人员之间共享；通过自动化结果分析流程可以大大提高分析效率，降低人工分析的错误率。

由上可知，本发明的实施例中提供的软硬件产品基础环境的基准测试方法，通过重构基准测试框架，统一管理测试案例、测试机、测试计划、测试结果等各项测试资源，预先建立包含多个测试机的资源池以及包含多个测试案例的案例集合后，在创建对基础环境进行基准测试的测试计划后，从资源池中选择执行测试计划的一个或多个测试机，进而根据测试计划，从案例集合中选择在各个测试机上执行的测试案例，然后控制各个测试机执行相应的测试案例，获取各个测试机的测试结果，最后根据各个测试机的测试结果，生成测试分析报表。

通过本发明实施例提供的软硬件产品基础环境的基准测试方法，不仅能够让测试资源在不同测试项目和测试人员之间共享，而且能够大大提高软硬件产品基础环境的测试效率。

为保证基准测试框架的高效和通用，本发明实施例中，放弃了传统单一型测试框架，对整体架构进行重新设计，提出一种改进的C/S测试架构，如图5所示，主要包括5个方面：

1)采用服务器/客服端的整体架构，实现服务器同时对多个待选型对象进行测试管理。

2)通过执行协调器中间件可以快捷高效的对所有客户端的连接、任务执行进度、测试结果进行控制和统计，同时减轻核心服务器的工作压力。

3)引入密钥中心提供安全快捷的客户端接入方式。

4)通过NAS存储在服务器和测试机之间共享测试案例、测试结果和分析报表，减少对网络带宽的消耗，极大提高案例的执行效率。

5)结果管理、结果分析和报表管理解耦，有利于对测试结果重复利用，减少选型过程中的重复测试。

图6为本发明实施例中提供的一种基准测试的执行流程图，如图6所示，本发明实施例中设计的基准测试执行流程，通过测试计划串联测试案例、测试机和测试结果各项测试要素，包括创建测试计划到生成测试分析报表。

基准测试的特点是测试对象面广、量大、共性较少，如何在同一套测试框架下兼容不同的测试对象是需要首先解决的问题。方案定义了一套标准的案例表示规则来解决框架和不同测试对象之间的兼容性问题，即基准测试案例基本数据模型，包括“基本信息”(TestInfo)、“测试定义”(TestProfile)和“测试设置”(TestSetting)三个维度。

图7示出了本发明实施例中提供的一种测试案例数据模型，如图7所示，三层树形结构定义了基准测试案例的基本数据模型。该模型相当于适配层，将不同类型的测试适配到基准测试框架下进行统一的测试管理。表1、表2和表3列举出各类型详细信息：

表1基本信息字段详情

Name	案例名称	必填	测试案例名称
				Version	版本号	必填	测试案例版本
Description	描述信息	选填	案例的基本说明
				Maintainer	维护者	选填	方便测试人员联系案例设计者
Status	状态	选填	标记已淘汰的测试案例版本

表2测试定义字段详情

表3测试设置字段详情

Argument	执行参数	选填	执行测试案例时传入参数
				Options	执行选项	选填	执行测试案例时可选不同执行场景

本发明实施例中定义的测试案例树型数据模型，不仅在测试框架与测试对象之间建立起通用的适配层，同时清晰的分层逻辑有利于测试相关人员快速掌握测试案例。测试开发人员可快速定义测试案例(包括新建和从其他模型测试案例迁移)，测试执行人员也相对容易掌握测试案例的核心要点。

在本发明实施例中，将测试指标分为两类：框架定义指标和自定义指标。框架定义指标将通用的基准测试指标规范化，测试案例可以直接使用。自定义指标是基于测试案例的特殊指标，测试案例使用这类指标前需要添加指标定义模板。如图8所示为测试指标的具体类型。其中框架定义指标分为三类：系统资源类包括“CPU负载”(CPULoadLine)、“内存使用率”(MemoryUsage)、“IO读写频率”(IOFrequency)和“网络使用率”(NetworkUsage)，流程类包括“执行时间”(ExecuteTime)和“执行结果”(ExecuteResult)，日志告警类指测试执行过程中所发生的“系统告警数量”(Warnings)和“系统错误数量”(Errors)。相对的，自定义指标接受测试案例在指标定义模板中定义的任何指标类型，测试框架在案例执行初始化过程中会自动加载自定义指标。

由于测试对比分析只能对同一类测试案例的结果进行分析比较，同时测试计划和测试结果存在一对多的关系，所以测试结果数据的存储方式直接影响到整体框架的设计。为了方便测试结果数据在服务后台和客户端之间的共享和传输，并尽可能降低结果管理模块与其他功能模块的耦合度，本方案采用XML文件+关系数据库的方式对结果数据进行存储管理。其中，XML测试结果文件结构如图9所示。XML结果文件保存在NAS存储，服务后台和客户端均可访问。关系数据库中保存测试结果的基本信息和NAS存储路径，相应记录和测试计划保持关联，从而方便测试人员在控制台执行查询和对比分析等操作。

本发明实施例中提供的软硬件产品基础环境的基准测试方法，能够支持一键式测试报表生成，在生成报表过程中最重要的是对多个测试结果进行合理高效的分析和计算，进而以直观的图表方式展现给测试人员。

图10为本发明实施例中提供的一种基准测试结果的分析流程图，如图10所示，基准测试的结果分析从输入到输出一共分为5个阶段。“输入”阶段将结果文件有序读入。“预处理”阶段主要对“输入”阶段的文件进行校验和数据提取标记。“数据整合”根据上一阶段提取的数据进行计算，计算出每一次测试每一个指标的最大值、最小值和平均值。“报表生成”主要是画图并整合指标模板里的说明信息进行报表生成。最后输出测试人员期望的格式文件。

根据本发明实施例中提供的软硬件产品基础环境的基准测试方法，能够开饭一种通用性强的、可灵活配置的、适用于各企业或单位对开发测试环境和生产环境进行软硬件选型或评估的基准测试软件。对开源软件在国产化的ARM芯片上的方方面面进行评估和基准测试。对基础环境软件的补丁更新、补丁集更新、操作系统升级等等执行自动化的测试案例集合下发和测试，并出具结果分析报告。

基于同一发明构思，本发明实施例中还提供了一种软硬件产品基础环境的基准测试装置，如下面的实施例所述。由于该装置解决问题的原理与软硬件产品基础环境的基准测试方法相似，因此该装置的实施可以参见软硬件产品基础环境的基准测试方法的实施，重复之处不再赘述。

图11为本发明实施例中提供的一种软硬件产品基础环境的基准测试装置示意图，如图11所示，该装置包括：测试计划创建模块111、测试机确定模块112、测试案例确定模块113、测试模块114和测试结果分析模块115。

其中，测试计划创建模块111，用于创建对基础环境进行基准测试的测试计划；测试机确定模块112，用于从资源池中选择执行测试计划的一个或多个测试机；测试案例确定模块113，用于根据测试计划，从案例集合中选择在各个测试机上执行的测试案例；测试模块114，用于控制各个测试机执行相应的测试案例，获取各个测试机的测试结果；测试结果分析模块115，用于根据各个测试机的测试结果，生成测试分析报表。

此处需要说明的是，上述测试计划创建模块111、测试机确定模块112、测试案例确定模块113、测试模块114和测试结果分析模块115对应于方法实施例中的S101～S105，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在一个实施例中，本发明实施例中提供的软硬件产品基础环境的基准测试装置中，测试机确定模块112还用于：查找资源池中是否存在执行测试计划的测试机；当资源池中不存在执行测试计划的测试机的情况下，在资源池中添加执行测试计划的测试机。

在一个实施例中，本发明实施例中提供的软硬件产品基础环境的基准测试装置中，测试案例确定模块113还用于：查找案例集合中是否存在测试计划的测试案例；当案例集合中存在测试计划的测试案例的情况下，在案例集合中添加测试计划的测试案例。

在一个实施例中，如图12所示，本发明实施例中提供的软硬件产品基础环境的基准测试装置还包括：测试案例数据模型定义模块116，用于定义测试案例采用的数据模型，其中，数据模型采用三层树形结构。

在一个实施例中，如图12所示，本发明实施例中提供的软硬件产品基础环境的基准测试装置还包括：测试指标定义模块117，用于定义测试案例使用的测试指标，其中，测试指标包括：框架定义指标和自定义指标。

在一个实施例中，如图12所示，本发明实施例中提供的软硬件产品基础环境的基准测试装置还包括：测试结果存储模块118，用于采用XML格式文件存储测试结果，得到XML格式的测试结果文件。

在一个实施例中，本发明实施例中提供的软硬件产品基础环境的基准测试装置中，测试结果存储模块118还用于：将XML格式的测试结果文件存储到网络附属存储NAS设备中；将测试结果文件的基本信息和NAS存储路径信息存储到关系型数据库中，其中，NAS存储路径信息为测试结果文件在NAS设备中存储的文件存储路径信息。

在一个实施例中，如图13所示，本发明实施例中提供的软硬件产品基础环境的基准测试装置中，测试结果分析模块115具体包括：数据读取单元1151、校验单元1152、数据提取单元1153、数据统计取单元1154和数据输出单元1155。

其中，数据读取单元1151，用于读取每次基准测试得到的测试结果文件；校验单元1152，用于对每次基准测试得到的测试结果文件进行校验；数据提取单元1153，用于对校验通过的测试结果文件进行数据提取；数据统计取单元1154，用于根据数据提取结果，统计各个测试指标的最大值、最小值和平均值；数据输出单元1155，用于根据各个测试指标的最大值、最小值和平均值，生成每次基准测试的测试分析报表。

此处需要说明的是，上述数据读取单元1151、校验单元1152、数据提取单元1153、数据统计取单元1154和数据输出单元1155对应于方法实施例中的S101～S105，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在一个实施例中，如图12所示，本发明实施例中提供的软硬件产品基础环境的基准测试装置还包括：可视化展示模块119，用于以图表的形式，可视化展示生成的测试分析报表。

在一个实施例中，本发明实施例中提供的软硬件产品基础环境的基准测试装置中，测试模块114还用于：向各个测试机下发测试同步指令；根据测试同步指令，控制各个测试机同步执行相应的测试案例；接收各个测试机返回的测试结果。

由上可知，本发明的实施例中提供的软硬件产品基础环境的基准测试装置，通过重构基准测试框架，统一管理测试案例、测试机、测试计划、测试结果等各项测试资源，预先建立包含多个测试机的资源池以及包含多个测试案例的案例集合后，在创建对基础环境进行基准测试的测试计划后，从资源池中选择执行测试计划的一个或多个测试机，进而根据测试计划，从案例集合中选择在各个测试机上执行的测试案例，然后控制各个测试机执行相应的测试案例，获取各个测试机的测试结果，最后根据各个测试机的测试结果，生成测试分析报表。

通过本发明实施例提供的软硬件产品基础环境的基准测试装置，不仅能够让测试资源在不同测试项目和测试人员之间共享，而且能够大大提高软硬件产品基础环境的测试效率。

基于同一发明构思，本发明实施例中还提供了一种用于实现上述软硬件产品基础环境的基准测试方法中的全部或部分内容的电子设备实施例。该电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现上述软硬件产品基础环境的基准测试方法的实施例及用于实现上述软硬件产品基础环境的基准测试装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

图13为本发明实施例中提供的一种电子设备的系统组成结构示意图。如图13所示，该电子设备130可以包括处理器1301和存储器1302；存储器1302耦合到处理器1301。值得注意的是，该图13是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

在一个实施例中，软硬件产品基础环境的基准测试方法实现的功能可以被集成到处理器1301中。其中，处理器1301可以被配置为进行如下控制：创建对基础环境进行基准测试的测试计划；从资源池中选择执行测试计划的一个或多个测试机；根据测试计划，从案例集合中选择在各个测试机上执行的测试案例；控制各个测试机执行相应的测试案例，获取各个测试机的测试结果；根据各个测试机的测试结果，生成测试分析报表。

由上可知，本发明的实施例中提供的电子设备，通过重构基准测试框架，统一管理测试案例、测试机、测试计划、测试结果等各项测试资源，预先建立包含多个测试机的资源池以及包含多个测试案例的案例集合后，在创建对基础环境进行基准测试的测试计划后，从资源池中选择执行测试计划的一个或多个测试机，进而根据测试计划，从案例集合中选择在各个测试机上执行的测试案例，然后控制各个测试机执行相应的测试案例，获取各个测试机的测试结果，最后根据各个测试机的测试结果，生成测试分析报表。

通过本发明实施例提供的电子设备，不仅能够让测试资源在不同测试项目和测试人员之间共享，而且能够大大提高软硬件产品基础环境的测试效率。

在另一个实施例中，软硬件产品基础环境的基准测试装置可以与处理器1301分开配置，例如可以将软硬件产品基础环境的基准测试装置配置为与处理器1301连接的芯片，通过处理器的控制来实现软硬件产品基础环境的基准测试方法的功能。

如图13所示，该电子设备130还可以包括：通信模块1303、输入单元1304、音频处理单元1305、显示器1306、电源1307。值得注意的是，电子设备130也并不是必须要包括图13中所示的所有部件；此外，电子设备130还可以包括图13中没有示出的部件，可以参考现有技术。

如图13所示，处理器1301有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器1301接收输入并控制电子设备130的各个部件的操作。

其中，存储器1302，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且处理器1301可执行该存储器1302存储的该程序，以实现信息存储或处理等。

输入单元1304向处理器1301提供输入。该输入单元1304例如为按键或触摸输入装置。电源1307用于向电子设备130提供电力。显示器1306用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器1302可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器1302还可以是某种其它类型的装置。存储器1302包括缓冲存储器13021(有时被称为缓冲器)。存储器1302可以包括应用/功能存储部13022，该应用/功能存储部13022用于存储应用程序和功能程序或用于通过处理器1301执行电子设备130的操作的流程。

存储器1302还可以包括数据存储部13023，该数据存储部13023用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器1302的驱动程序存储部13024可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块1303即为经由天线1308发送和接收信号的发送机/接收机。通信模块(发送机/接收机)1303耦合到处理器1301，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块1303，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)1303还经由音频处理单元1305耦合到扬声器1309和麦克风1310，以经由扬声器1309提供音频输出，并接收来自麦克风1310的音频输入，从而实现通常的电信功能。音频处理单元1305可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理单元1305还耦合到处理器1301，从而使得可以通过麦克风1310能够在本机上录音，且使得可以通过扬声器1309来播放本机上存储的声音。

基于同一发明构思，本发明的实施例中还提供了一种用于实现上述实施例中软硬件产品基础环境的基准测试方法中全部步骤的一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的软硬件产品基础环境的基准测试方法的全部步骤，例如，该处理器执行该计算机程序时实现下述步骤：创建对基础环境进行基准测试的测试计划；从资源池中选择执行测试计划的一个或多个测试机；根据测试计划，从案例集合中选择在各个测试机上执行的测试案例；控制各个测试机执行相应的测试案例，获取各个测试机的测试结果；根据各个测试机的测试结果，生成测试分析报表。

由上可知，本发明的实施例中提供的计算机可读存储介质，通过重构基准测试框架，统一管理测试案例、测试机、测试计划、测试结果等各项测试资源，预先建立包含多个测试机的资源池以及包含多个测试案例的案例集合后，在创建对基础环境进行基准测试的测试计划后，从资源池中选择执行测试计划的一个或多个测试机，进而根据测试计划，从案例集合中选择在各个测试机上执行的测试案例，然后控制各个测试机执行相应的测试案例，获取各个测试机的测试结果，最后根据各个测试机的测试结果，生成测试分析报表。

通过本发明实施例提供的计算机可读存储介质，不仅能够让测试资源在不同测试项目和测试人员之间共享，而且能够大大提高软硬件产品基础环境的测试效率。

虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本领域技术人员应明白，本说明书的实施例可提供为方法、装置(系统)或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。可单独使用本发明的每个方面和/或实施例，或者与一个或更多其他方面和/或其他实施例结合使用。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (22)

1.一种软硬件产品基础环境的基准测试方法，其特征在于，包括：

创建对基础环境进行基准测试的测试计划；

从资源池中选择执行所述测试计划的一个或多个测试机；

根据所述测试计划，从案例集合中选择在各个测试机上执行的测试案例；

控制各个测试机执行相应的测试案例，获取各个测试机的测试结果；

根据各个测试机的测试结果，生成测试分析报表。

2.如权利要求1所述的方法，其特征在于，从资源池中选择执行所述测试计划的一个或多个测试机，包括：

查找资源池中是否存在执行所述测试计划的测试机；

当所述资源池中不存在执行所述测试计划的测试机的情况下，在所述资源池中添加执行所述测试计划的测试机。

3.如权利要求1所述的方法，其特征在于，根据所述测试计划，从案例集合中选择在各个测试机上执行的测试案例，包括：

查找案例集合中是否存在所述测试计划的测试案例；

当案例集合中存在所述测试计划的测试案例的情况下，在所述案例集合中添加所述测试计划的测试案例。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

定义测试案例采用的数据模型，其中，所述数据模型采用三层树形结构。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

定义测试案例使用的测试指标，其中，所述测试指标包括：框架定义指标和自定义指标。

6.如权利要求1所述的方法，其特征在于，在控制各个测试机执行相应的测试案例，获取各个测试机的测试结果之后，所述方法还包括：

采用XML格式文件存储测试结果，得到XML格式的测试结果文件。

7.如权利要求6所述的方法，其特征在于，在采用XML格式文件存储测试结果，得到XML格式的测试结果文件之后，所述方法还包括：

将XML格式的测试结果文件存储到网络附属存储NAS设备中；

将测试结果文件的基本信息和NAS存储路径信息存储到关系型数据库中，其中，所述NAS存储路径信息为测试结果文件在NAS设备中存储的文件存储路径信息。

8.如权利要求7所述的方法，其特征在于，根据各个测试机的测试结果，生成测试分析报表，包括：

读取每次基准测试得到的测试结果文件；

对每次基准测试得到的测试结果文件进行校验；

对校验通过的测试结果文件进行数据提取；

根据数据提取结果，统计各个测试指标的最大值、最小值和平均值；

根据各个测试指标的最大值、最小值和平均值，生成每次基准测试的测试分析报表。

9.如权利要求1所述的方法，其特征在于，在根据各个测试机的测试结果，生成测试分析报表之后，所述方法还包括：

以图表的形式，可视化展示生成的测试分析报表。

10.如权利要求1至9任一项所述的方法，其特征在于，控制各个测试机执行相应的测试案例，获取各个测试机的测试结果，包括：

向各个测试机下发测试同步指令；

根据所述测试同步指令，控制各个测试机同步执行相应的测试案例；

接收各个测试机返回的测试结果。

11.一种软硬件产品基础环境的基准测试装置，其特征在于，包括：

测试计划创建模块，用于创建对基础环境进行基准测试的测试计划；

测试机确定模块，用于从资源池中选择执行所述测试计划的一个或多个测试机；

测试案例确定模块，用于根据所述测试计划，从案例集合中选择在各个测试机上执行的测试案例；

测试模块，用于控制各个测试机执行相应的测试案例，获取各个测试机的测试结果；

测试结果分析模块，用于根据各个测试机的测试结果，生成测试分析报表。

12.如权利要求11所述的装置，其特征在于，所述测试机确定模块还用于：

查找资源池中是否存在执行所述测试计划的测试机；

当所述资源池中不存在执行所述测试计划的测试机的情况下，在所述资源池中添加执行所述测试计划的测试机。

13.如权利要求11所述的装置，其特征在于，所述测试案例确定模块还用于：

查找案例集合中是否存在所述测试计划的测试案例；

当案例集合中存在所述测试计划的测试案例的情况下，在所述案例集合中添加所述测试计划的测试案例。

14.如权利要求11所述的装置，其特征在于，所述装置还包括：

测试案例数据模型定义模块，用于定义测试案例采用的数据模型，其中，所述数据模型采用三层树形结构。

15.如权利要求11所述的装置，其特征在于，所述装置还包括：

测试指标定义模块，用于定义测试案例使用的测试指标，其中，所述测试指标包括：框架定义指标和自定义指标。

16.如权利要求11所述的装置，其特征在于，所述装置还包括：

测试结果存储模块，用于采用XML格式文件存储测试结果，得到XML格式的测试结果文件。

17.如权利要求16所述的装置，其特征在于，所述测试结果存储模块还用于：

将XML格式的测试结果文件存储到网络附属存储NAS设备中；

将测试结果文件的基本信息和NAS存储路径信息存储到关系型数据库中，其中，所述NAS存储路径信息为测试结果文件在NAS设备中存储的文件存储路径信息。

18.如权利要求17所述的装置，其特征在于，所述测试结果分析模块具体包括：

数据读取单元，用于读取每次基准测试得到的测试结果文件；

校验单元，用于对每次基准测试得到的测试结果文件进行校验；

数据提取单元，用于对校验通过的测试结果文件进行数据提取；

数据统计取单元，用于根据数据提取结果，统计各个测试指标的最大值、最小值和平均值；

数据输出单元，用于根据各个测试指标的最大值、最小值和平均值，生成每次基准测试的测试分析报表。

19.如权利要求11所述的装置，其特征在于，所述装置还包括：

可视化展示模块，用于以图表的形式，可视化展示生成的测试分析报表。

20.如权利要求11至19任一项所述的装置，其特征在于，所述测试模块还用于：

向各个测试机下发测试同步指令；

根据所述测试同步指令，控制各个测试机同步执行相应的测试案例；

接收各个测试机返回的测试结果。

21.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述软硬件产品基础环境的基准测试方法。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至10任一项所述软硬件产品基础环境的基准测试方法的计算机程序。

Images