CN115629953B - 一种适用于国产基础软硬件环境的性能基准评估方法 - Google Patents

Abstract

本申请涉及一种适用于国产基础软硬件环境的性能基准评估方法，涉及软件测试领域。该方法应用于目标机，其中，目标机为国产软硬件组合产品，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机，该方法包括：获取服务器发送的性能基准配置参数，其中，性能基准配置参数包括基准评估指标参数，基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种；根据性能基准配置参数，生成性能压力，对目标机进行压力测试；采集目标机的测试数据；将测试数据发送至服务器。本申请用以解决现有技术中无法对国产软硬件组合产品整体的性能基准作出评估的问题。

Description

一种适用于国产基础软硬件环境的性能基准评估方法

技术领域

本申请涉及软件测试领域，尤其涉及一种适用于国产基础软硬件环境的性能基准评估方法。

背景技术

在信息技术应用创新领域，国产基础软硬件主要是指以六种国产CPU（centralprocessing unit，中央处理器）芯片、两种国产操作系统为组合的运行基础以及在此基础上运行的国产数据库和国产中间件。六种国产芯片，分别是指Arm架构的飞腾CPU、鲲鹏CPU，X86架构的海光CPU、兆芯CPU，以及LoongArch架构的龙芯CPU和SW64架构的申威CPU；两种国产操作系统，分别是指麒麟Kylin Linux操作系统和统信UOS Linux操作系统；常用的国产数据库主要是指，人大金仓KingBase数据库、达梦数据库和通用数据库等；常见的国产中间件主要是指东方通Web应用服务器、消息中间件和金蝶Web应用服务器等。而国外的软硬件组合产品中的CPU和操作系统都只有一种。

面对如此众多、五花八门的组合，亟待需要一种针对国产化基础软硬件组合的性能基准评估方法。而目前在信息技术应用创新领域，却没有可用的、方便于评估此类国产化基础软硬件组合的性能基准评估方法。

在软件测试领域，常见的测试标准有TPC和SPEC。TPC（Transaction ProcessingPerformance Council，事务处理性能委员会），它是数据管理系统评测基准标准化组织，它有四套基准程序，TPC-A、TPC-B、TPC-C和TPC-D。其中TPC-A和TPC-B已经过时，不再使用。TPC-C是在线事务处理(OLTP)的基准程序，用于评估数据库的联机事务处理能力，TPC-D是决策支持(Decision Support) 的基准程序，用于评估数据挖掘能力。TPC-C和TPC-D从业务角度对数据库的某个方面做出了评估，其适用于数据库相关领域，而不适用于通用基础软硬件组合产品整体的性能基准评估。SPEC（Standard Performance EvaluationCorporation，系统性能评定协会），它专注于创建、维护和支持一系列标准化的基准测试程序。SPEC系列的基准测试工具，针对不同的测试重点，有不同的测试工具，如：测试CPU的SPEC CPU、测试Java应用的SPEC JBB（Java Business Benchmark）、测试电源管理的SPECPower、测试Web应用的SPEC web、测试数据中心虚拟化服务器整合的SPEC virt_sc等。此类测试标准和测试工具仅适用于在各自专用领域测试，没能提供通用于基础软硬件组合产品整体的性能基准评估方法。

总之，目前在国内，还没有对国产软硬件组合产品整体的性能基准评估方法。

发明内容

本申请提供了一种适用于国产基础软硬件环境的性能基准评估方法，用以解决现有技术中无法对国产软硬件组合产品整体的性能基准作出评估的问题。

第一方面，本申请实施例提供了一种适用于国产基础软硬件环境的性能基准评估方法，应用于目标机，其中，所述目标机为国产软硬件组合产品，所述目标机包括中央处理器和操作系统，不同类别的所述目标机是指中央处理器和操作系统中的至少一个不同的所述目标机，所述性能基准评估方法包括：

获取服务器发送的性能基准配置参数，其中，所述性能基准配置参数包括基准评估指标参数，所述基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种；

根据所述性能基准配置参数，生成性能压力，对所述目标机进行压力测试；

采集所述目标机的测试数据；

将所述测试数据发送至所述服务器。

可选地，所述性能基准配置参数还包括基准评估模式参数，所述基准评估模式参数包括单线程模式或多线程模式；

所述根据所述性能基准配置参数，生成性能压力，对所述目标机进行压力测试，包括：

在所述基准评估模式参数为单线程模式时，根据所述性能基准配置参数，以单线程生成性能压力，对所述目标机进行压力测试；

在所述基准评估模式参数为多线程模式时，根据所述性能基准配置参数，以目标线程数量生成性能压力，对所述目标机进行压力测试，其中，所述目标线程数量为所述目标机中逻辑处理器数量的M倍，M大于或等于1。

可选地，所述性能基准配置参数还包括基准评估规模参数，所述基准评估规模参数包括单机系统或多机系统；

在所述基准评估规模参数为单机系统时，所述目标机的数量为一个；在所述基准评估规模参数为多机系统时，所述目标机的数量为至少两个。

可选地，采集所述目标机的测试数据，包括：

在所述基准评估指标参数包括中央处理器能力时，使用埃氏筛法统计1秒内的素数计算数量，调用标准库函数，对读入内存的各指定字符串执行排序和寻找指定子字符串的字符串操作，统计所述字符串操作的耗时，并将所述素数计算数量和所述字符串操作的耗时作为中央处理器能力对应的测试数据；

在所述基准评估指标参数包括内存能力时，调用标准库函数，对指定的文件进行内存拷贝，统计内存拷贝的耗时，将所述内存拷贝的耗时作为内存能力对应的测试数据；

在所述基准评估指标参数包括文件输入输出能力时，调用标准库函数，通过文件系统对指定文件进行随机读写，统计文件读写的耗时，将所述文件读写的耗时作为文件输入输出能力对应的测试数据；

在所述基准评估指标参数包括磁盘输入输出能力时，调用标准库函数，对磁盘设备块进行随机读写，统计磁盘读写的耗时，将所述磁盘读写的耗时作为磁盘输入输出能力对应的测试数据。

第二方面，本申请实施例提供了一种适用于国产基础软硬件环境的性能基准评估方法，应用于服务器，包括：

获取客户端发送的性能基准配置参数，并将所述性能基准配置参数发送至目标机，其中，所述目标机为国产软硬件组合产品，所述目标机包括中央处理器和操作系统，不同类别的所述目标机是指中央处理器和操作系统中的至少一个不同的所述目标机，所述性能基准配置参数包括基准评估指标参数，所述基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种；

获取不同类别的所述目标机发送的测试数据；

根据所述目标机的类别和所述基准评估指标参数的类别，将所述测试数据进行分类聚合，获得分类聚合后的数据；

获取所述性能基准配置参数对应的性能基准评估计算模型，并根据所述性能基准配置参数、所述分类聚合后的数据和所述性能基准评估计算模型，获得不同类别的所述目标机的性能测试耗时值；

获取评估模型，根据所述性能测试耗时值和所述评估模型，获得不同类别的所述目标机的性能基准评估结果；

将不同类别的所述目标机的性能基准评估结果发送至所述客户端。

可选地，所述性能基准配置参数还包括基准评估模式参数，所述基准评估模式参数包括单线程模式或多线程模式，所述性能基准配置参数还包括指标权重参数，所述指标权重参数包括各个所述基准评估指标参数对应的权重；

所述获取所述性能基准配置参数对应的性能基准评估计算模型，包括：

在所述基准评估模式参数为单线程模式时，所述性能基准评估计算模型为：将所述目标机的各个所述基准评估指标参数对应的所述分类聚合后的数据，乘以所述基准评估指标参数对应的权重，获得各个所述基准评估指标参数对应的积，将各个积相加，获得所述目标机的性能测试耗时值；

在所述基准评估模式参数为多线程模式时，所述性能基准评估计算模型为：将所述目标机的各个所述基准评估指标参数对应的所述分类聚合后的数据，乘以所述基准评估指标参数对应的权重，获得各个所述基准评估指标参数对应的积，将各个积相加获得和，将获得的和除以所述目标机中逻辑处理器数量，获得所述目标机的性能测试耗时值。

可选地，在所述基准评估指标参数包括中央处理器能力时，所述中央处理器能力对应的所述分类聚合后的数据为素数计算数量的倒数与字符串操作的耗时相加获得的和，所述素数计算数量为使用埃氏筛法统计的1秒内的素数计算数量，所述字符串操作的耗时为调用标准库函数，对读入内存的各指定字符串执行排序和寻找指定子字符串的字符串操作的耗时。

可选地，所述性能基准配置参数还包括基准评估模式参数，所述基准评估模式参数包括单线程模式或多线程模式；

所述获取所述性能基准配置参数对应的性能基准评估计算模型，包括：

在所述基准评估模式参数为单线程模式时，所述性能基准评估计算模型为：将所述目标机的各个所述基准评估指标参数对应的所述分类聚合后的数据，作为所述目标机的性能测试耗时值；

在所述基准评估模式参数为多线程模式时，所述性能基准评估计算模型为：将所述目标机的各个所述基准评估指标参数对应的所述分类聚合后的数据，除以所述目标机中逻辑处理器数量，获得所述目标机的性能测试耗时值。

可选地，所述性能基准评估结果包括性能基准评估结果的综合能力值和性能基准评估结果的评价等级；

所述评估模型的计算公式如下：

Vr=(B1/T1·P1+B2/T2·P2+B3/T3·P3+B4/T4·P4)/（P1+P2+P3+P4）

其中，Vr为性能基准评估结果的综合能力值，T1为10K文件的性能测试耗时值，P1为10K文件的性能测试权重值，B1为10K文件的性能测试标杆值，T2为100K文件的性能测试耗时值，P2为100K文件的性能测试权重值，B2为100K文件的性能测试标杆值，T3为10M文件的性能测试耗时值，P3为10M文件的性能测试权重值，B3为10M文件的性能测试标杆值，T4为100M文件的性能测试耗时值，P4为100M文件的性能测试权重值，B4为100M文件的性能测试标杆值；

若所述性能基准评估结果的综合能力值在第一预设区间内，则所述性能基准评估结果的评价等级设置为第一等级；若所述性能基准评估结果的综合能力值在第二预设区间内，则所述性能基准评估结果的评价等级设置为第二等级；若所述性能基准评估结果的综合能力值在第三预设区间内，则所述性能基准评估结果的评价等级设置为第三等级；若所述性能基准评估结果的综合能力值在第四预设区间内，则所述性能基准评估结果的评价等级设置为第四等级；其中，所述第一预设区间内的数值小于所述第二预设区间的数值，所述第二预设区间的数值小于所述第三预设区间内的数值，所述第三预设区间内的数值小于所述第四预设区间的数值，所述第一等级低于所述第二等级，所述第二等级低于所述第三等级，所述第三等级低于所述第四等级；

将单线程模式对应的所述评价等级和多线程模式对应的所述评价等级中的最低等级，作为所述性能基准评估结果的最终评价等级。

第三方面，本申请实施例提供了一种适用于国产基础软硬件环境的性能基准评估方法，应用于客户端，包括：

获取性能基准配置参数，并将所述性能基准配置参数发送至服务器，所述性能基准配置参数包括基准评估指标参数，所述基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种；

获取所述服务器发送的不同类别的目标机的性能基准评估结果，并将所述性能基准评估结果进行可视化展示，其中，所述目标机为国产软硬件组合产品，所述目标机包括中央处理器和操作系统，不同类别的所述目标机是指中央处理器和操作系统中的至少一个不同的所述目标机。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例中，目标机为国产软硬件组合产品，目标机包括中央处理器和操作系统，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机，目标机获取服务器发送的性能基准配置参数，其中，性能基准配置参数包括基准评估指标参数，基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种，根据性能基准配置参数，生成性能压力，对目标机进行压力测试，采集目标机的测试数据，将测试数据发送至服务器。本申请中，基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种，基准评估指标参数是从资源使用角度对国产软硬件组合产品整体的性能基准作出评估，根据这些性能基准配置参数生成性能压力，对目标机进行压力测试，采集目标机的测试数据，能够从资源使用角度对国产软硬件组合产品整体的性能基准作出评估，而且，基准评估指标参数对各个国产软硬件组合产品是通用的，能够对各种类别的国产软硬件组合产品整体的性能基准作出评估。而且，相对于现有技术中国外的软硬件组合产品中的中央处理器和操作系统都只有一种，本申请中目标机为国产软硬件组合产品，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机，本申请能够对不同类别的国产软硬件组合产品整体的性能基准作出评估，能够给用户建议最优的中央处理器和操作系统的组合方式，解决了现有技术中无法对国产软硬件组合产品整体的性能基准作出评估的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中应用于目标机的一种适用于国产基础软硬件环境的性能基准评估的方法流程示意图；

图2为本申请实施例中应用于服务器的一种适用于国产基础软硬件环境的性能基准评估的方法流程示意图；

图3为本申请一个具体实施例中评估模型的示意图；

图4为本申请实施例中应用于客户端的一种适用于国产基础软硬件环境的性能基准评估的方法流程示意图；

图5为本申请一个具体实施例中一种适用于国产基础软硬件环境的性能基准评估的方法流程示意图；

图6为本申请实施例中一种适用于国产基础软硬件环境的性能基准评估系统的结构示意图；

图7为本申请实施例中配置于目标机的一种适用于国产基础软硬件环境的性能基准评估装置的结构示意图；

图8为本申请实施例中配置于服务器的一种适用于国产基础软硬件环境的性能基准评估装置的结构示意图；

图9为本申请实施例中配置于客户端的一种适用于国产基础软硬件环境的性能基准评估装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中，提供了一种适用于国产基础软硬件环境的性能基准评估方法，应用于目标机，其中，目标机为国产软硬件组合产品，目标机包括中央处理器和操作系统，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机，目标机是性能基准的测试机。其中，中央处理器主要有六种，分别是指Arm架构的飞腾CPU、鲲鹏CPU，X86架构的海光CPU、兆芯CPU，以及LoongArch架构的龙芯CPU和SW64架构的申威CPU。操作系统主要有两种，分别是指麒麟Kylin Linux操作系统和统信UOS Linux操作系统。目标机主要有6*2=12种组合方式。

如图1所示，应用于目标机的一种适用于国产基础软硬件环境的性能基准评估的方法流程主要包括：

步骤101，获取服务器发送的性能基准配置参数。

其中，性能基准配置参数包括基准评估指标参数，基准评估指标参数包括中央处理器（central processing unit，CPU）能力、内存能力、文件输入输出（Input Output，IO）能力、磁盘输入输出能力和网络能力中的至少一种。

基准评估指标参数是从资源使用角度对国产软硬件组合产品整体的性能基准作出评估，而且，基准评估指标参数对各个国产软硬件组合产品是通用的，能够对各种类别的国产软硬件组合产品整体的性能基准作出评估。软硬件组合产品可由多种软硬件组合形成，同时上层也可运行其它专业应用软件，面对如此多的选择情况，以统计基础资源的使用情况为基准，能够在各种情况下进行对比。而且，相对于现有技术中国外的软硬件组合产品中的中央处理器和操作系统都只有一种，本申请中目标机为国产软硬件组合产品，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机，本申请能够对不同类别的国产软硬件组合产品整体的性能基准作出评估，能够给用户建议最优的中央处理器和操作系统的组合方式，解决了现有技术中无法对国产软硬件组合产品整体的性能基准作出评估的问题。

基准评估指标参数可以是默认为CPU能力、内存能力、文件IO能力、磁盘IO能力和网络能力这五种指标，也可依据用户关注类型在做性能基准评估时进行选择。

一个具体实施例中，性能基准配置参数还包括基准评估模式参数，基准评估模式参数包括单线程模式或多线程模式。

一个具体实施例中，性能基准配置参数还包括基准评估规模参数，基准评估规模参数包括单机系统或多机系统。在基准评估规模参数为单机系统时，目标机的数量为一个；在基准评估规模参数为多机系统时，目标机的数量为至少两个。

目标机的数量可以是一个，也可以是至少两个，既可以对终端单体机进行性能基准评估，也可用于分布式环境下对分布式系统整体进行性能基准评估。

一个具体实施例中，性能基准配置参数还包括基准评估压力执行次数参数，基准评估压力执行次数参数可以默认是预设值，例如默认为3次，或者用户指定的压力执行次数N，N为大于或等于1的整数。

步骤102，根据性能基准配置参数，生成性能压力，对目标机进行压力测试。

一个具体实施例中，根据性能基准配置参数，生成性能压力，对目标机进行压力测试，包括：在基准评估模式参数为单线程模式时，根据性能基准配置参数，以单线程生成性能压力，对目标机进行压力测试；在基准评估模式参数为多线程模式时，根据性能基准配置参数，以目标线程数量生成性能压力，对目标机进行压力测试，其中，目标线程数量为目标机中逻辑处理器（逻辑CPU）数量的M倍，M大于或等于1。

其中，M可以是1、2、4、8，根据需要，M也可以是其他数值。

能够分别在单线程模式和多线程模式下，对目标机进行压力测试。

在目标机中，压力生成器按照解析器得到的指令数据，先后以单线程和多线程的方式进行压力生成。在压力生成时，使用Linux标准库函数，进行系统调用，产生测试数据。产生的测试数据存在磁盘指定文件中。

步骤103，采集目标机的测试数据。

在目标机中，压力生成器在生成压力数据时，向数据采集器发出通知事件。数据收集器从磁盘指定位置定时查看数据收集文件的状态，一旦数据具备可用状态，则将数据采集，否则置为超时不可用。

一个具体实施例中，采集目标机的测试数据的具体方式包括但不限于以下所列举的几种方式：

方式一

在基准评估指标参数包括中央处理器能力时，使用埃氏筛法统计1秒内的素数计算数量，调用标准库函数，对读入内存的各指定字符串执行排序和寻找指定子字符串的字符串操作，统计字符串操作的耗时，并将素数计算数量和字符串操作的耗时作为中央处理器能力对应的测试数据。

调用标准库函数，能够适用于各种软硬件组合产品，确保对各个软硬件组合产品是通用的。其中，标准库函数可以是Linux标准库函数。

可以在目标机中，分别生成随机字符串文件，大小分别为10K、100K、10M和100M的文本文件，这些文本文件的内容由ASCII码中的字符a-z、A-Z、0-9构成。可以用于统计字符串操作的耗时。

1秒内的素数计算数量越多，中央处理器能力的性能越好。字符串操作的耗时越少，中央处理器能力的性能越好。

方式二

在基准评估指标参数包括内存能力时，调用标准库函数，对指定的文件进行内存拷贝，统计内存拷贝的耗时，将内存拷贝的耗时作为内存能力对应的测试数据。

内存拷贝的耗时越少，内存能力的性能越好。

方式三

在基准评估指标参数包括文件输入输出能力时，调用标准库函数，通过文件系统对指定文件进行随机读写，统计文件读写的耗时，将文件读写的耗时作为文件输入输出能力对应的测试数据。

文件读写的耗时越少，文件输入输出能力的性能越好。

方式四

在基准评估指标参数包括磁盘输入输出能力时，调用标准库函数，对磁盘设备块进行随机读写，统计磁盘读写的耗时，将磁盘读写的耗时作为磁盘输入输出能力对应的测试数据。

磁盘读写的耗时越少，磁盘输入输出能力的性能越好。

以统计基础资源的使用情况为基准，能够对各种类别的国产软硬件组合产品整体的性能基准作出评估。

步骤104，将测试数据发送至服务器。

按性能基准配置参数在依托国产CPU和国产操作系统运行国产数据库、国产中间件组合环境下，从系统资源的角度对国产CPU、对内存、文件系统、磁盘系统和网络接口分别进行基准测量，将测量后得到的数据统一收集、处理、存储，将测试数据发送至服务器，为最终用户在产品组合选型或产品组合替代时提供决策依据。

本申请实施例中，提供了一种性能基准评估方法，应用于服务器。如图2所示，应用于服务器的一种适用于国产基础软硬件环境的性能基准评估的方法流程主要包括：

步骤201，获取客户端发送的性能基准配置参数，并将性能基准配置参数发送至目标机。

其中，目标机为国产软硬件组合产品，目标机包括中央处理器和操作系统，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机，性能基准配置参数包括基准评估指标参数，基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种。

步骤202，获取不同类别的目标机发送的测试数据。

步骤203，根据目标机的类别和基准评估指标参数的类别，将测试数据进行分类聚合，获得分类聚合后的数据。

例如，测试数据包括目标机A的测试数据和目标机B的测试数据，目标机A的测试数据包括CPU能力的测试数据和内存能力的测试数据，目标机B的测试数据包括CPU能力的测试数据、内存能力的测试数据和文件IO能力的测试数据，根据目标机的类别和基准评估指标参数的类别，将测试数据进行分类聚合，分类聚合后的数据包括目标机A的CPU能力的测试数据、目标机A的内存能力的测试数据、目标机B的CPU能力的测试数据、目标机B的内存能力的测试数据以及目标机B的文件IO能力的测试数据。

获取目标机发送的测试数据之后，将测试数据进行分类聚合之前，可以先对测试数据进行分析，保留有效数据，无效数据单独分类。

步骤204，获取性能基准配置参数对应的性能基准评估计算模型，并根据性能基准配置参数、分类聚合后的数据和性能基准评估计算模型，获得不同类别的目标机的性能测试耗时值。

一个具体实施例中，性能基准配置参数还包括基准评估模式参数，基准评估模式参数包括单线程模式或多线程模式，性能基准配置参数还包括指标权重参数，指标权重参数包括各个基准评估指标参数对应的权重。获取性能基准配置参数对应的性能基准评估计算模型，包括：在基准评估模式参数为单线程模式时，性能基准评估计算模型为：将目标机的各个基准评估指标参数对应的分类聚合后的数据，乘以基准评估指标参数对应的权重，获得各个基准评估指标参数对应的积，将各个积相加，获得目标机的性能测试耗时值；在基准评估模式参数为多线程模式时，性能基准评估计算模型为：将目标机的各个基准评估指标参数对应的分类聚合后的数据，乘以基准评估指标参数对应的权重，获得各个基准评估指标参数对应的积，将各个积相加获得和，将获得的和除以目标机中逻辑处理器数量，获得目标机的性能测试耗时值。

在单线程模式时，可以直接通过将目标机的各个基准评估指标参数对应的分类聚合后的数据乘以基准评估指标参数对应的权重，获得各个基准评估指标参数对应的积，将各个积相加，获得目标机整体的性能测试耗时值；在多线程模式时，因为不同的目标机具有的逻辑处理器数量很有可能是不同的，因此需要按照逻辑处理器数量进行均化，这样目标机的性能测试耗时值在不同的目标机间就具有可比性了。本申请能够对不同类别的国产软硬件组合产品整体的性能基准作出评估，能够给用户建议最优的中央处理器和操作系统的组合方式，解决了现有技术中无法对国产软硬件组合产品整体的性能基准作出评估的问题。

一个具体实施例中，在基准评估指标参数包括中央处理器能力时，中央处理器能力对应的分类聚合后的数据为素数计算数量的倒数与字符串操作的耗时相加获得的和，素数计算数量为使用埃氏筛法统计的1秒内的素数计算数量，字符串操作的耗时为调用标准库函数，对读入内存的各指定字符串执行排序和寻找指定子字符串的字符串操作的耗时。

1秒内的素数计算数量越多，中央处理器能力的性能越好；字符串操作的耗时越少，中央处理器能力的性能越好。因此，将素数计算数量的倒数与字符串操作的耗时相加获得的和，作为中央处理器能力对应的分类聚合后的数据，中央处理器能力对应的分类聚合后的数据数值越小，则中央处理器能力的性能越好。

在基准评估指标参数包括内存能力时，内存能力对应的分类聚合后的数据为内存拷贝的耗时。内存能力对应的分类聚合后的数据数值越小，则内存能力的性能越好。

在基准评估指标参数包括文件输入输出能力时，文件输入输出能力对应的分类聚合后的数据为文件读写的耗时。文件输入输出能力对应的分类聚合后的数据数值越小，则文件输入输出能力的性能越好。

在基准评估指标参数包括磁盘输入输出能力时，磁盘输入输出能力对应的分类聚合后的数据为磁盘读写的耗时。磁盘输入输出能力对应的分类聚合后的数据数值越小，则磁盘输入输出能力的性能越好。

目标机的性能测试耗时值的数值越小，则目标机整体的性能越好。

一个具体实施例中，性能基准配置参数还包括基准评估模式参数，基准评估模式参数包括单线程模式或多线程模式。获取性能基准配置参数对应的性能基准评估计算模型，包括：在基准评估模式参数为单线程模式时，性能基准评估计算模型为：将目标机的各个基准评估指标参数对应的分类聚合后的数据，作为目标机的性能测试耗时值；在基准评估模式参数为多线程模式时，性能基准评估计算模型为：将目标机的各个基准评估指标参数对应的分类聚合后的数据，除以目标机中逻辑处理器数量，获得目标机的性能测试耗时值。

也可以对单独的基准评估指标参数的类别进行对别，能得出CPU能力、内存能力、文件IO能力或是磁盘IO能力在不同目标机间的差异。

步骤205，获取评估模型，根据性能测试耗时值和评估模型，获得不同类别的目标机的性能基准评估结果。

一个具体实施例中，性能基准评估结果包括性能基准评估结果的综合能力值和性能基准评估结果的评价等级；

评估模型的计算公式如下：

Vr=(B1/T1·P1+B2/T2·P2+B3/T3·P3+B4/T4·P4)/（P1+P2+P3+P4）

其中，Vr为性能基准评估结果的综合能力值，T1为10K文件的性能测试耗时值，P1为10K文件的性能测试权重值，B1为10K文件的性能测试标杆值，T2为100K文件的性能测试耗时值，P2为100K文件的性能测试权重值，B2为100K文件的性能测试标杆值，T3为10M文件的性能测试耗时值，P3为10M文件的性能测试权重值，B3为10M文件的性能测试标杆值，T4为100M文件的性能测试耗时值，P4为100M文件的性能测试权重值，B4为100M文件的性能测试标杆值；

若性能基准评估结果的综合能力值在第一预设区间内，则性能基准评估结果的评价等级设置为第一等级；若性能基准评估结果的综合能力值在第二预设区间内，则性能基准评估结果的评价等级设置为第二等级；若性能基准评估结果的综合能力值在第三预设区间内，则性能基准评估结果的评价等级设置为第三等级；若性能基准评估结果的综合能力值在第四预设区间内，则性能基准评估结果的评价等级设置为第四等级；其中，第一预设区间内的数值小于第二预设区间的数值，第二预设区间的数值小于第三预设区间内的数值，第三预设区间内的数值小于第四预设区间的数值，第一等级低于第二等级，第二等级低于第三等级，第三等级低于第四等级；

将单线程模式对应的评价等级和多线程模式对应的评价等级中的最低等级，作为性能基准评估结果的最终评价等级。

如图3所示，为评估模型的示意图。评估模型及其指标体系采用矩阵式设计，以“单线程、多线程”的基准评估理念为纵线坐标，以“CPU能力、内存能力、文件系统IO能力、磁盘IO能力”的综合指标能力为横线坐标，形成全生命周期性能基准评估的模型框架，通过对评估指标的设计映射至模型矩阵，既可以指导不同系统环境下的性能测试，也是开展系统性能评估工作的评估指标体系。

性能基准评估结果的综合能力值：单线程和多线程的基准测试方法一致，设置性能基准评估结果的综合能力值为Vr，通过前期对10K、100K、10M和100M 4个文件的性能测试，性能测试耗时值分别设置为T1、T2、T3、T4。

通常情况下，P1、P2、P3、P4均取1。如果要突出某一类测试，相应的权值就须取较大的值，相反就取较小的值。

例如：性能基准评估结果的评价等级设计如下：

评价等级	1（差）	2（合格）	3（良好）	4（优秀）
					预设区间	[0,0.85)	[0.85,0.90)	[0.90,0.95)	[0.95,1.0]

设第一预设区间为[0,0.85)，第二预设区间为[0.85,0.90)，第三预设区间为[0.90,0.95)，第四预设区间为[0.95,1.0]，第一等级为1（差），第二等级为2（合格），第三等级为3（良好），第四等级为4（优秀）。

步骤206，将不同类别的目标机的性能基准评估结果发送至客户端。

将不同类别的目标机的性能基准评估结果发送至客户端，为最终用户在产品组合选型或产品组合替代时提供决策依据。

服务器获得不同类别的目标机的性能基准评估结果之后，可以先将不同类别的目标机的性能基准评估结果保存到数据库，不同类别的目标机的性能基准评估结果可以做为历史数据，同后续的不同组合产品的评估数据做性能基准对比，可以将最终性能基准数据和对比数据，以可视化的方式在用户端展示，为最终用户在产品组合选型或产品组合替代时提供决策依据。

本申请实施例中，提供了一种适用于国产基础软硬件环境的性能基准评估方法，应用于客户端。如图4所示，应用于客户端的一种适用于国产基础软硬件环境的性能基准评估的方法流程主要包括：

步骤401，获取性能基准配置参数，并将性能基准配置参数发送至服务器。

性能基准配置参数包括基准评估指标参数，基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种。

可以是服务器从数据库中取得性能基准参数控制表并在客户端展示，用户可以在客户端上对所关注的性能基准配置参数进行设置。

步骤402，获取服务器发送的不同类别的目标机的性能基准评估结果，并将性能基准评估结果进行可视化展示。

其中，目标机为国产软硬件组合产品，目标机包括中央处理器和操作系统，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机。

按性能基准配置参数在依托国产CPU和国产操作系统运行国产数据库、国产中间件组合环境下，从系统资源的角度对国产CPU、对内存、文件系统、磁盘系统和网络接口分别进行基准测量，将测量后得到的数据统一收集、处理、存储，进而在对数据进行分析加工后，形成可视化信息，为最终用户在产品组合选型或产品组合替代时提供决策依据。

本申请能够对不同类别的国产软硬件组合产品整体的性能基准作出评估，能够给用户建议最优的中央处理器和操作系统的组合方式，解决了现有技术中无法对国产软硬件组合产品整体的性能基准作出评估的问题。

一个具体实施例中，如图5所示，性能基准评估的方法流程主要包括：

步骤501，客户端获取性能基准配置参数，并将性能基准配置参数发送至服务器。

性能基准配置参数包括基准评估指标参数，基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种。

步骤502，服务器获取客户端发送的性能基准配置参数，并将性能基准配置参数发送至目标机。

其中，目标机为国产软硬件组合产品，目标机包括中央处理器和操作系统，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机。

步骤503，目标机获取服务器发送的性能基准配置参数，根据性能基准配置参数，生成性能压力，对目标机进行压力测试。

步骤504，目标机采集目标机的测试数据，将测试数据发送至服务器。

步骤505，服务器获取不同类别的目标机发送的测试数据，根据目标机的类别和基准评估指标参数的类别，将测试数据进行分类聚合，获得分类聚合后的数据。

步骤506，服务器获取性能基准配置参数对应的性能基准评估计算模型，并根据性能基准配置参数、分类聚合后的数据和性能基准评估计算模型，获得不同类别的目标机的性能测试耗时值，获取评估模型，根据性能测试耗时值和评估模型，获得不同类别的目标机的性能基准评估结果。

步骤507，服务器将不同类别的目标机的性能基准评估结果发送至客户端。

步骤508，客户端获取服务器发送的不同类别的目标机的性能基准评估结果，并将性能基准评估结果进行可视化展示。

综上，本申请中，基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种，基准评估指标参数是从资源使用角度对国产软硬件组合产品整体的性能基准作出评估，根据这些性能基准配置参数生成性能压力，对目标机进行压力测试，采集目标机的测试数据，能够从资源使用角度对国产软硬件组合产品整体的性能基准作出评估，而且，基准评估指标参数对各个国产软硬件组合产品是通用的，能够对各种类别的国产软硬件组合产品整体的性能基准作出评估。而且，相对于现有技术中国外的软硬件组合产品中的中央处理器和操作系统都只有一种，本申请中目标机为国产软硬件组合产品，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机，本申请能够对不同类别的国产软硬件组合产品整体的性能基准作出评估，能够给用户建议最优的中央处理器和操作系统的组合方式，解决了现有技术中无法对国产软硬件组合产品整体的性能基准作出评估的问题。

基于同一构思，本申请实施例中提供了一种适用于国产基础软硬件环境的性能基准评估系统，该系统的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图6所示，该系统主要包括目标机601、服务器602和客户端603，其中，目标机601为国产软硬件组合产品，目标机包括中央处理器和操作系统，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机；

目标机601，用于获取服务器602发送的性能基准配置参数，其中，性能基准配置参数包括基准评估指标参数，基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种；根据性能基准配置参数，生成性能压力，对目标机进行压力测试；采集目标机的测试数据；将测试数据发送至服务器602；

服务器602，用于获取客户端603发送的性能基准配置参数，并将性能基准配置参数发送至目标机601；获取不同类别的目标机601发送的测试数据；根据目标机的类别和基准评估指标参数的类别，将测试数据进行分类聚合，获得分类聚合后的数据；获取性能基准配置参数对应的性能基准评估计算模型，并根据性能基准配置参数、分类聚合后的数据和性能基准评估计算模型，获得不同类别的目标机的性能测试耗时值；获取评估模型，根据性能测试耗时值和评估模型，获得不同类别的目标机的性能基准评估结果；将不同类别的目标机的性能基准评估结果发送至客户端603；

客户端603，用于获取性能基准配置参数，并将性能基准配置参数发送至服务器602；获取服务器602发送的不同类别的目标机的性能基准评估结果，并将性能基准评估结果进行可视化展示。

基于同一构思，本申请实施例中提供了一种适用于国产基础软硬件环境的性能基准评估装置，配置于目标机，其中，目标机为国产软硬件组合产品，目标机包括中央处理器和操作系统，不同类别的目标机是指中央处理器和操作系统中的至少一个不同的目标机，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图7所示，该装置主要包括：

解析器701，用于获取服务器发送的性能基准配置参数，其中，所述性能基准配置参数包括基准评估指标参数，所述基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种；

压力生成器702，用于根据所述性能基准配置参数，生成性能压力，对所述目标机进行压力测试；

数据采集器703，用于采集所述目标机的测试数据；

传输器704，用于将所述测试数据发送至所述服务器。

具体地，解析器还用于在目标机内对接收到的指令和数据进行解析，并将解析出的指令做为性能基准配置参数。

传输器，还用于在目标机内接收来自服务器的指令和数据。

基于同一构思，本申请实施例中提供了一种适用于国产基础软硬件环境的性能基准评估装置，配置于服务器，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图8所示，该装置主要包括：

分发器801，用于获取客户端发送的性能基准配置参数，并将所述性能基准配置参数发送至目标机，其中，所述目标机为国产软硬件组合产品，所述目标机包括中央处理器和操作系统，不同类别的所述目标机是指中央处理器和操作系统中的至少一个不同的所述目标机，所述性能基准配置参数包括基准评估指标参数，所述基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种；

分发器，还用于获取不同类别的所述目标机发送的测试数据；

聚合器802，用于根据所述目标机的类别和所述基准评估指标参数的类别，将所述测试数据进行分类聚合，获得分类聚合后的数据；

性能基准运算器803，用于获取所述性能基准配置参数对应的性能基准评估计算模型，并根据所述性能基准配置参数、所述分类聚合后的数据和所述性能基准评估计算模型，获得不同类别的所述目标机的性能测试耗时值；获取评估模型，根据所述性能测试耗时值和所述评估模型，获得不同类别的所述目标机的性能基准评估结果；

性能可视化生成器804，用于将不同类别的所述目标机的性能基准评估结果发送至所述客户端。

具体地，分发器，主要有两个作用，从客户端和目标机收集指令和测试数据以及向目标机下发指令。当从客户端收到指令时并转交由控制器进行指令判断和设定、把指令与目标机绑定、再交由分发器进行指令到各目标端的下发；当从目标端收到采集数据，转交控制器，经过一系列处理，即聚合、分析、运算后，存储在数据库。

配置于服务器的性能基准评估装置还可以包括控制器，控制器用于控制配置于服务器的性能基准评估装置内部各组件的逻辑流程，对服务器的数据流和指令流进行控制。

配置于服务器的性能基准评估装置还可以包括分析器，分析器用于对测试数据进行分析，保留有效数据，无效数据单独分类。

聚合器，具体用于将分析器分析后的数据，根据目标机的类别和基准评估指标参数的类别，将测试数据进行分类聚合，获得分类聚合后的数据。

性能基准运算器，还用于将目标机的性能基准评估结果存储在数据库。

性能可视化生成器，还用于从数据库读取性能基准评估结果，按用户侧需求生成可视化数据。

基于同一构思，本申请实施例中提供了一种适用于国产基础软硬件环境的性能基准评估装置，配置于客户端，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图9所示，该装置主要包括：

参数配置模块901，用于获取性能基准配置参数，并将所述性能基准配置参数发送至服务器，所述性能基准配置参数包括基准评估指标参数，所述基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种；

性能基准可视化展现模块902，用于获取所述服务器发送的不同类别的目标机的性能基准评估结果，并将所述性能基准评估结果进行可视化展示，其中，所述目标机为国产软硬件组合产品，所述目标机包括中央处理器和操作系统，不同类别的所述目标机是指中央处理器和操作系统中的至少一个不同的所述目标机。

具体地，参数配置模块，具体用于获取服务器从数据库中取得的性能基准参数控制表，并将性能基准参数控制表显示在客户端，获取用户设置的性能基准配置参数，并将性能基准配置参数发送至服务器。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种适用于国产基础软硬件环境的性能基准评估方法，其特征在于，应用于服务器，包括：

获取客户端发送的性能基准配置参数，并将所述性能基准配置参数发送至目标机，其中，所述目标机为国产软硬件组合产品，所述目标机包括中央处理器和操作系统，不同类别的所述目标机是指中央处理器和操作系统中的至少一个不同的所述目标机，所述性能基准配置参数包括基准评估指标参数，所述基准评估指标参数包括中央处理器能力、内存能力、文件输入输出能力、磁盘输入输出能力和网络能力中的至少一种，所述性能基准配置参数还包括基准评估模式参数，所述基准评估模式参数包括单线程模式或多线程模式；

获取不同类别的所述目标机发送的测试数据；

根据所述目标机的类别和所述基准评估指标参数的类别，将所述测试数据进行分类聚合，获得分类聚合后的数据；

获取所述性能基准配置参数对应的性能基准评估计算模型，并根据所述性能基准配置参数、所述分类聚合后的数据和所述性能基准评估计算模型，获得不同类别的所述目标机的性能测试耗时值；

获取评估模型，根据所述性能测试耗时值和所述评估模型，获得不同类别的所述目标机的性能基准评估结果；

将不同类别的所述目标机的性能基准评估结果发送至所述客户端；

所述性能基准评估结果包括性能基准评估结果的综合能力值和性能基准评估结果的评价等级；

所述评估模型的计算公式如下：

Vr=(B1/T1·P1+B2/T2·P2+B3/T3·P3+B4/T4·P4)/（P1+P2+P3+P4）

其中，Vr为性能基准评估结果的综合能力值，T1为10K文件的性能测试耗时值，P1为10K文件的性能测试权重值，B1为10K文件的性能测试标杆值，T2为100K文件的性能测试耗时值，P2为100K文件的性能测试权重值，B2为100K文件的性能测试标杆值，T3为10M文件的性能测试耗时值，P3为10M文件的性能测试权重值，B3为10M文件的性能测试标杆值，T4为100M文件的性能测试耗时值，P4为100M文件的性能测试权重值，B4为100M文件的性能测试标杆值；

若所述性能基准评估结果的综合能力值在第一预设区间内，则所述性能基准评估结果的评价等级设置为第一等级；若所述性能基准评估结果的综合能力值在第二预设区间内，则所述性能基准评估结果的评价等级设置为第二等级；若所述性能基准评估结果的综合能力值在第三预设区间内，则所述性能基准评估结果的评价等级设置为第三等级；若所述性能基准评估结果的综合能力值在第四预设区间内，则所述性能基准评估结果的评价等级设置为第四等级；其中，所述第一预设区间内的数值小于所述第二预设区间的数值，所述第二预设区间的数值小于所述第三预设区间内的数值，所述第三预设区间内的数值小于所述第四预设区间的数值，所述第一等级低于所述第二等级，所述第二等级低于所述第三等级，所述第三等级低于所述第四等级；

将单线程模式对应的所述评价等级和多线程模式对应的所述评价等级中的最低等级，作为所述性能基准评估结果的最终评价等级。

2.根据权利要求1所述的方法，其特征在于，所述性能基准配置参数还包括指标权重参数，所述指标权重参数包括各个所述基准评估指标参数对应的权重；

所述获取所述性能基准配置参数对应的性能基准评估计算模型，包括：

在所述基准评估模式参数为单线程模式时，所述性能基准评估计算模型为：将所述目标机的各个所述基准评估指标参数对应的所述分类聚合后的数据，乘以所述基准评估指标参数对应的权重，获得各个所述基准评估指标参数对应的积，将各个积相加，获得所述目标机的性能测试耗时值；

在所述基准评估模式参数为多线程模式时，所述性能基准评估计算模型为：将所述目标机的各个所述基准评估指标参数对应的所述分类聚合后的数据，乘以所述基准评估指标参数对应的权重，获得各个所述基准评估指标参数对应的积，将各个积相加获得和，将获得的和除以所述目标机中逻辑处理器数量，获得所述目标机的性能测试耗时值。

3.根据权利要求2所述的方法，其特征在于，在所述基准评估指标参数包括中央处理器能力时，所述中央处理器能力对应的所述分类聚合后的数据为素数计算数量的倒数与字符串操作的耗时相加获得的和，所述素数计算数量为使用埃氏筛法统计的1秒内的素数计算数量，所述字符串操作的耗时为调用标准库函数，对读入内存的各指定字符串执行排序和寻找指定子字符串的字符串操作的耗时。

4.根据权利要求1所述的方法，其特征在于，所述获取所述性能基准配置参数对应的性能基准评估计算模型，包括：

在所述基准评估模式参数为单线程模式时，所述性能基准评估计算模型为：将所述目标机的各个所述基准评估指标参数对应的所述分类聚合后的数据，作为所述目标机的性能测试耗时值；

在所述基准评估模式参数为多线程模式时，所述性能基准评估计算模型为：将所述目标机的各个所述基准评估指标参数对应的所述分类聚合后的数据，除以所述目标机中逻辑处理器数量，获得所述目标机的性能测试耗时值。

Images