CN104142874A - 一种测试评估国产cpu事务处理能力的方法 - Google Patents
一种测试评估国产cpu事务处理能力的方法 Download PDFInfo
- Publication number
- CN104142874A CN104142874A CN201310723977.1A CN201310723977A CN104142874A CN 104142874 A CN104142874 A CN 104142874A CN 201310723977 A CN201310723977 A CN 201310723977A CN 104142874 A CN104142874 A CN 104142874A
- Authority
- CN
- China
- Prior art keywords
- test
- cpu
- performance
- domestic
- core
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种测试评估国产CPU事务处理能力的方法，该方法在国产CPU单核、双核、四核、八核各种状态下从CPU运算能力、内存读写速率、I/O吞吐性能、JVM性能、多线程并发处理性能等方面进行基准性能测试，分析CPU缺陷，并在此基础上基于标准和特定的应用系统对国产CPU的性能进行测试分析，从而对国产CPU的事务处理能力进行整体评估。本发明具备的有益技术效果是：填补国产CPU事务处理能力测试评估方法空白，加速国产CPU发展进程，是一种适用于国产CPU的测试工具。
Description
技术领域
本发明涉及一种测试评估国产CPU事务处理能力的方法。
背景技术
目前，服务器的事务处理能力主要是采用TPC-C的测试方法进行。TPC-C基准是联机事务处理工作量的一个衡量标准。TPC-C测试是一种旨在衡量OLTP系统性能与可伸缩性的行业标准基准测试项目。这种基准测试项目将对包括查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。许多数据专业设计人员将TPC-C视为衡量“真实”OLTP系统性能的有效指示器。尽管这种基准提供了一个很好的环境来模拟许多联机事务处理设备，但是这种基准不能反映全部的联机事务处理所涉及的必要条件。因而对国产CPU事务处理能力的评估不能采用现有的普遍服务器事务处理能力方法进行测试。
发明内容
本发明的目的在于提供一种测试评估国产CPU事务处理能力的方法。能够更全面、更准确、更科学的测试评估CPU事务处理能力，解决现有技术存在的缺憾。
本发明采用如下技术方案实现：
一种测试评估国产CPU事务处理能力的方法，该方法在国产CPU单核、双核、四核、八核各种状态下从CPU运算能力、内存读写速率、I／O吞吐性能、JVM性能、多线程并发处理性能等方面进行基准性能测试，分析CPU缺陷，并在此基础上基于标准和特定的应用系统对国产CPU的性能进行测试分析，从而对国产CPU的事务处理能力进行整体评估，其特征在于，包括如下步骤：
1、搭建测试环境；
2、在国产CPU单核、双核、四核、八核状态下进行基准性能测试；
3、在国产CPU单核、双核、四核、八核状态下进行集成性能测试；
4、在国产CPU单核、双核、四核、八核状态下进行应用性能测试；
5、对国产CPU的性能进行分析；
6、对国产CPU的事务处理能力进行整体评估；
所述测试环境，是指为了完成软件测试工作所必须的计算机硬件、软件、网络设备、历史数据的总称；
所述国产CPU单核、双核、四核、八核状态是指国产CPU单核运行的状态、国产CPU双核运行的状态、国产CPU四核运行的状态、国产CPU八核运行的状态。
进一步的，所述国产CPU为龙芯，龙芯CPU的MIPS架构为单核单线程，单CPU为4核4线程，目前使用的龙芯3A服务器都是双路服务器，故最多可调度8核8线程进行处理；
所述国产CPU单核运行的处理状态指CPU处理数据时仅使用一组能处理数据的芯片组；实现命令：taskset -c0运行的程序；
所述国产CPU双核运行的处理状态指CPU处理数据时使用两组能处理数据的芯片组；实现命令：taskset -c0-1运行的程序；
所述国产CPU四核运行的处理状态指CPU处理数据时使用四组能处理数据的芯片组；实现命令：taskset -c0-3运行的程序。
所述国产CPU八核运行的处理状态指CPU处理数据时使用八组能处理数据的芯片组；实现命令：taskset -c0-7运行的程序。
所述基准测试是指通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。
进一步的，所述基准测试进一步包括：对国产CPU进行CPU运算能力、内存读写速率、I/O吞吐性能、JVM性能、多线程并发处理性能等方面的测试；
所述CPU运算能力测试是指使用Lmbench、Spec2000测试工具进行测试，比较不同类型CPU的整点运算和浮点运算性能；
所述CPU运算能力指CPU对整型数据进行运算和对浮点型数据进行运算时的性能。所述整型数据，是指不包含小数部分的数值类型；浮点型数据，是指包含小数部分的数值类型；
SPEC CPU2000是由标准性能评价组织(SPEC)开发的用于评测通用型CPU性能的基准程序测试组，是目前CPU性能评测的客观和可信的基准程序之一。SPEC是由计算机业界几十个芯片厂商、计算机系统厂商、研究团体等构成的非营利组织，其开发的SPEC CPU2000在CPU的性能评价领域具有很大的权威性。
Lmbench是一套简易，可移植的，符合ANSI／C标准为UNIX／POSIX而制定的微型测评工具。
所述内存读取速率测试是指使用Stream测试工具通过大维度的矢量数组的处理测试，计算机平台的可持续运行的内存带宽最大值；
所述大维度的矢量数组，是采用双精度，即每个元素为8个字节的数组，所述大维度的矢量数组的处理，是指对数组的复制、数组的尺度变换、数组的矢量求和、数组的符合矢量求和；
所述I／O吞吐性能测试包括向一个新文件写入性能的测试、向一个已存在的文件写入性能的测试、读一个已存在的文件性能的测试、读一个最近读取过的文件的性能测试；
所述的I／O是input／output的缩写，即输入输出端口，使用IOZONE测试工具，测试结果单位：Kbytes／s。
进一步的，所述JVM性能测试是指使用SPECJVM2008测试工具对JVM运行性能进行测试评估；
SPECjvm2008是一个用来评测JVM运行性能的基准测试套件。它的测试用例涵盖了大部分iava基础应用场景，是对JVM性能评测不可多得的利器，主要对JVM的编译时间、图片渲染时间、加密算法时间、数据库相关逻辑、音频解码时间、Socket序列化、压缩程序时间、XML转换、蒙特卡罗算法、快速傅立叶变换、LU分解等性能进行测试。
所述多线程并发处理测试是指使用pingpong测试工具对操作系统多线程操作能力的测试。
所述多线程是指在单个程序中同时运行多个线程完成不同的工作，称为多线程。所述线程是指线程是程序中一个单一的顺序控制流程。
所述集成测试进一步包括：针对国产CPU，进行TPC-W、TPC-C测试；
所述TPC-W测试是指使用bench4Q对TPC-W应用进行的测试。
TPC-W应用是指按交易处理性能委员会(TPC)的TPC-W标准规范开发的应用。所述事务处理性能委员会(Transaction ProcessingPer_formance Council，简称TPC)是一个非盈利性组织，该机构专门定义事务处理与数据库性能基准测试相关标准。所述TPC-W规范是指按交易处理性能委员会(TPC)制定的电子商务应用基准。
TPC-W模拟了一个网上书店，通过执行一系列具有代表性的Web事务来模拟典型的电子商务环境。其功能包括书籍的浏览、查询、订购等。
所述TPC-C测试是指使用清华TPC-C测试工具针对TPC-C标准进行的测试；
所述TPC-C标准是指按照交易处理性能委员会(TPC)基于OLTP业务模式下的基准规范；
TPC-C模拟的是一个大型的商品批发销售公司，对查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。TPC-C主要有两个指标，流量指标(tmpC)和性价比(Price／tmpC)。
所述应用支撑测试进一步包括：针对国产CPU，测试应用的事务处理能力和响应时间；所述事务处理能力是指计算机每秒钟处理的事务；所述事务是指计算机执行任务结合在一起完成一个业务需求。
本发明具备的有益技术效果是：填补国产CPU事务处理能力测试评估方法空白，加速国产CPU发展进程，是一种适用于国产CPU的测试工具。
附图说明
图1是事务失败率计算公式的测试结果。
图2是TPC-C的测试结果。
图3是国产CPU在单核状态下SPEC2000测试结果对比图。
图4是国产CPU在单核状态下Stream测试结果对比图。
图5是国产CPU在单核状态下Pingpong测试结果对比图。
图6是国产CPU在单核状态下IOZONE测试结果对比图。
图7是国产CPU在单核状态下Spec JVM2008测试结果对比图。
图8是并发用户数事务失败率对比图。
图9是WIPS请求数对比图。
图10是WIRT用户平均响应时间对比图。
图11是相同CPU在单核、双核、四核、八核状态下的TPC-C测试结果分析图。
图12是相同CPU在单核、双核、四核、八核状态下针对特定应用性能测试结果分析图。
图13是不同CPU在单核、双核、四核、八核状态下的TPC-C测试结果分析图。
图14是不同CPU在单核、双核、四核、八核状态下针对特定应用性能测试结果分析图。
具体实施方式
通过下面对实施例的描述，将更加有助于公众理解本发明，但不能也不应当将申请人所给出的具体的实施例视为对本发明技术方案的限制，任何对部件或技术特征的定义进行改变和／或对整体结构作形式的而非实质的变换都应视为本发明的技术方案所限定的保护范围。
一种测试评估国产CPU事务处理能力的方法，该方法在国产CPU单核、双核、四核、八核各种状态下从CPU运算能力、内存读写速率、I／O吞吐性能、JVM性能、多线程并发处理性能等方面进行基准性能测试，分析CPU缺陷，并在此基础上基于标准和特定的应用系统对国产CPU的性能进行测试分析，从而对国产CPU的事务处理能力进行整体评估，其特征在于，包括如下步骤：
1、搭建测试环境；
2、在国产CPU单核、双核、四核、八核状态下进行基准性能测试；
3、在国产CPU单核、双核、四核、八核状态下进行集成性能测试；
4、在国产CPU单核、双核、四核、八核状态下进行应用性能测试；
5、对国产CPU的性能进行分析；
6、对国产CPU的事务处理能力进行整体评估。
测试环境，是指为了完成软件测试工作所必须的计算机硬件、软件、网络设备、历史数据的总称；
国产CPU单核、双核、四核、八核状态是指国产CPU单核运行的状态、国产CPU双核运行的状态、国产CPU四核运行的状态、国产CPU八核运行的状态。
国产CPU为龙芯，龙芯CPU的MIPS架构为单核单线程，单cpu为4核4线程，目前使用的龙芯3A服务器都是双路服务器，故最多可调度8核8线程进行处理；
国产CPU单核运行的处理状态指CPU处理数据时仅使用一组能处理数据的芯片组；实现命令：taskset -c0运行的程序；
国产CPU双核运行的处理状态指CPU处理数据时使用两组能处理数据的芯片组；实现命令：taskset -c0-1运行的程序；
国产CPU四核运行的处理状态指CPU处理数据时使用四组能处理数据的芯片组；实现命令：taskset -c0-3运行的程序。
国产CPU八核运行的处理状态指CPU处理数据时使用八组能处理数据的芯片组；实现命令：taskset -c0-7运行的程序。
基准测试是指通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。
基准测试进一步包括：对国产CPU进行CPU运算能力、内存读写速率、I／O吞吐性能、JVM性能、多线程并发处理性能等方面的测试；
CPU运算能力测试是指使用Lmbench、Spec2000测试工具进行测试，比较不同类型CPU的整点运算和浮点运算性能；
CPU运算能力指CPU对整型数据进行运算和对浮点型数据进行运算时的性能。整型数据，是指不包含小数部分的数值类型；浮点型数据，是指包含小数部分的数值类型；
SPEC CPU2000是由标准性能评价组织(SPEC)开发的用于评测通用型CPU性能的基准程序测试组，是目前CPU性能评测的客观和可信的基准程序之一。SPEC是由计算机业界几十个芯片厂商、计算机系统厂商、研究团体等构成的非营利组织，其开发的SPEC CPU2000在CPU的性能评价领域具有很大的权威性。
Lmbench是一套简易，可移植的，符合ANSI／C标准为UNIX／POSIX而制定的微型测评工具。
内存读取速率测试是指使用Stream测试工具通过大维度的矢量数组的处理测试，计算机平台的可持续运行的内存带宽最大值。
大维度的矢量数组，是采用双精度，即每个元素为8个字节的数组，大维度的矢量数组的处理，是指对数组的复制、数组的尺度变换、数组的矢量求和、数组的符合矢量求和；
I／O吞吐性能测试包括向一个新文件写入性能的测试、向一个已存在的文件写入性能的测试、读一个已存在的文件性能的测试、读一个最近读取过的文件的性能测试；
I／O是input／output的缩写，即输入输出端口，使用IOZONE测试工具，测试结果单位：Kbytes／s。
JVM性能测试是指使用SPECJVM2008测试工具对JVM运行性能进行测试评估；
SPECivm2008是一个用来评测JVM运行性能的基准测试套件。它的测试用例涵盖了大部分java基础应用场景，是对JVM性能评测不可多得的利器，主要对JVM的编译时间、图片渲染时间、加密算法时间、数据库相关逻辑、音频解码时间、Socket序列化、压缩程序时间、XML转换、蒙特卡罗算法、快速傅立叶变换、LU分解等性能进行测试。
多线程并发处理测试是指使用pingpong测试工具对操作系统多线程操作能力的测试。
多线程是指在单个程序中同时运行多个线程完成不同的工作，称为多线程。所述线程是指线程是程序中一个单一的顺序控制流程。
集成测试进一步包括：针对国产CPU，进行TPC-W、TPC-C测试；
TPC-W测试是指使用bench4Q对TPC-W应用进行的测试。
TPC-W应用是指按交易处理性能委员会(TPC)的TPC-W标准规范开发的应用。事务处理性能委员会(Transaction Processing Per_formanceCouncil，简称TPC)是一个非盈利性组织，该机构专门定义事务处理与数据库性能基准测试相关标准。TPC-W规范是指按交易处理性能委员会(TPC)制定的电子商务应用基准。
TPC-W模拟了一个网上书店，通过执行一系列具有代表性的Web事务来模拟典型的电子商务环境，其功能包括书籍的浏览、查询、订购等。
TPC-C测试是指使用清华TPC-C测试工具针对TPC-C标准进行的测试；
TPC-C标准是指按照交易处理性能委员会(TPC)基于OLTP业务模式下的基准规范；
TPC-C模拟的是一个大型的商品批发销售公司，对查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。TPC-C主要有两个指标，流量指标(tmpC)和性价比(Price／tmpC)。
应用支撑测试进一步包括：针对国产CPU，测试应用的事务处理能力和响应时间；事务处理能力是指计算机每秒钟处理的事务；事务是指计算机执行任务结合在一起完成一个业务需求。
针对三款国产CPU龙芯、飞腾、申威，采用本测试评估国产CPU事务处理能力的方法，对其事务处理能力进行评估并分析定位性能瓶颈。具体实现如下：
搭建测试环境：
在国产CPU上安装国产操作系统、国产数据库、国产中间件。在应用服务器上，使用中间件部署被测试的应用，在数据库上，新建数据库实例，导入测试应用数据。
进行基准测试并记录测试结果：
进行CPU运算能力测试：在国产CPU的环境：使用Spec2000、Lmbench测试工具在CPU单核、双核、四核、八核状态下进行测试。
Spec2000测试结果指标主要有2个：SPECint2000，指计算机系统执行以整数运算为主应用软件的性能指标；SPECfp2000，计算机系统执行以浮点运算为主应用软件的性能指标。
测试结果如下：(以下为举例数据，非真实测试结果)
详见图1
进行内存测试：在国产CPU的环境：使用Stream测试工具在CPU单核、双核、四核、八核状态下内存读取进行单线程、4线程、16线程、32线程测试。测试流包括对读操作、写操作、搜索操作三类流操作。
在stream测试结果中，记录copy、Scale、Add、Traid运算方式下内存读取速度(单位MB／s)为该次测试的结果。
4线程结果如下：(以下为举例数据，非真实测试结果)
进行I／O吞吐性能测试：在国产CPU的环境：使用IOZONE测试工具在CPU单核、双核、四核、八核状态下内存读取进行向一个新文件写入(Write)性能的测试、向一个已存在的文件写入(Re-write)性能的测试、读一个已存在的文件(Reader)性能的测试、读一个最近读取过的文件(Re-reader)的性能测试。
IOZONE测试工具在进行I／O吞吐性能测试时的测试参数设置为：-a-i0-i1-s10g；
参数-a是指在希望的文件系统上测试；-i指定测试范围，标准写法-i#用来指定测试内容；
-s测试的文件大小，标准写法-s10G(，文件的大小为10G)。
测试结果为对大小为10G的文档进行Write、Re-write、Reader、Re-reader操作时以不同的记录大小(单位K)时的传输速度，单位是Kbytes／s，值越大越好。
写入文件(Write)测试结果如下：(以下为举例数据，非真实测试结果)
进行JVM测试：在国产CPU的环境：使用SpecJVM2008测试工具在CPU单核、双核、四核、八核状态下进行测试；
测试结果如下：(以下为举例数据，非真实测试结果)
多线程处理测试：在国产CPU的环境：使用pingpong测试工具在CPU单核、双核、四核、八核状态下进行测试；测试结果文件中给出了6次创建线程和完成比赛一共消耗的时间值。对每轮测试取6次测试结果的平均时间作为测量结果。
创建线程1次测试结果如下：(以下为举例数据，非真实测试结果)
PING-PONG CONFIGURATION：
target(-i)=100000
ntables (-n)=64
sleepms(-z)=0
pthread_scope(-s)=process
pthread_process(-p)=private
concurrency (-c)-0
stacksize(-S)=0
128threads initialised in34557usec
64games completed in17038820msec
进行集成测试并记录测试结果
TPC-W测试：在国产CPU的环境：分别在CPU单核、双核、四核、八核状态下启动TPC-W的数据库实例服务、TPC-W应用服务，通过TPCW基准测试工具，应用于网上书店模拟业务活动中，用户可以按照自行的测试需求设置参数，例如运行时间、并发用户数、思考时间等。设置好后，即可执行测试。用户可以打开jconsole、spotlight等监测工具监测CPU使用率、内存使用率、磁盘使用率、网络吞吐量、连接数等，根据这些指标对测试情况进行综合分析。并对TPCW模型中的14个基本事务执行情况进行分析，以找出系统瓶颈所在。测试完成后，会生成测试报告。用户可根据结果中提供的WIPS(点击率)、WIRT average(平均响应时间)、WIRT95％(95％用户的响应时间)、complete session(事务完成数)、error session(事务失败率)来综合评判系统的性能。WIPS是指WebInteractionPer Second in shopping mix的简称，是对应购物区间下服务器每秒的Web交互数，即单位时间内被测系统处理最大的网络交易数。WIRT95％是指95％用户的响应时间，根据TPC-W测试结果中CompleteSession(成功事务个数)与Error Session(失败事务个数)计算事务失败率。
事务失败率计算公式：
事务失败率=失败事务个数／(成功事务个数+失败事务个数)×100％测试结果如下：(以下为举例数据，非真实测试结果)
TPC-C测试：在国产CPU的环境：分别在CPU单核、双核、四核、八核状态下启动TPC-C的数据库实例服务，配置测试选项，进行TPC-C测试。
TPC-C测试结果中主要记录指标MQTH。MQTH是指每分钟的事务数，单位是tmpcc。
测试结果如下：(以下为举例数据，非真实测试结果)
详见图2
进行应用支撑测试并记录测试结果。
应用支撑测试：在国产CPU的环境：分别在CPU单核、双核、四核、八核状态下启动应用的数据库实例服务、应用服务，使用Loadrunner测试工具，配置测试选项，进行压力测试。
对CPU性能进行分析
分析国产CPU基准测试结果：1.汇总测试结果2.对比分析相同国产CPU在CPU单核、双核、四核、八核状态下的测试结果；3.分别对比分析不同CPU在单核、双核、四核、八核状态下的测试结果。
所述对比的测试结果是指对CPU测试记录SPECint2000、SPECfp2000的结果进行对比分数值越大性能越好。
国产CPU在单核状态下SPEC2000测试结果对比图如下：(以下为举例数据，非真实测试结果)
详见图3
国产CPU在单核状态下Stream测试结果对比图如下：(以下为举例数据，非真实测试结果)
详见图4
国产CPU在单核状态下Pingpong测试结果对比图如下：(以下为举例数据，非真实测试结果)
详见图5
国产CPU在单核状态下IOZONE测试结果对比图如下：(以下为举例数据，非真实测试结果)
详见图6
国产CPU在单核状态下Spec JVM2008测试结果对比图如下：(以下为举例数据，非真实测试结果)
详见图7
对CPU事务处理性能进行整体评估。
分析国产CPU集成测试结果：1.汇总测试结果2.对比分析相同国产CPU在CPU单核、双核、四核、八核状态下的TPC-W、TPC-C和特定应用测试结果；3.分别对比分析不同CPU在单核、双核、四核、八核状态下的TPC-C和特定应用测试结果。
相同CPU在单核、双核、四核、八核状态下的TPC-W测试结果分析图：(以下为举例数据，非真实测试结果)；
图8是并发用户数事务失败率对比图(以下为举例数据，非真实测试结果)；
图9是WIPS请求数对比图(以下为举例数据，非真实测试结果)；
图10是WIRT用户平均响应时间对比图(以下为举例数据，非真实测试结果)；
相同CPU在单核、双核、四核、八核状态下的TPC-C测试结果分析图：(以下为举例数据，非真实测试结果)
详见图11
相同CPU在单核、双核、四核、八核状态下针对特定应用性能测试结果分析图：(以下为举例数据，非真实测试结果)
详见图12
不同CPU在单核、双核、四核、八核状态下的TPC-C测试结果分析图：(以下为举例数据，非真实测试结果)
详见图13
不同CPU在单核、双核、四核、八核状态下针对特定应用性能测试结果分析图：(以下为举例数据，非真实测试结果)
详见图14
当然，本发明还可以有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (4)
1.一种测试评估国产CPU事务处理能力的方法，该方法在国产CPU单核、双核、四核、八核各种状态下从CPU运算能力、内存读写速率、I／O吞吐性能、JVM性能、多线程并发处理性能等方面进行基准性能测试，分析CPU缺陷，并在此基础上基于标准和特定的应用系统对国产CPU的性能进行测试分析，从而对国产CPU的事务处理能力进行整体评估，其特征在于，包括如下步骤：
（1）搭建测试环境；
（2）在国产CPU单核、双核、四核、八核状态下进行基准性能测试；
（3）在国产CPU单核、双核、四核、八核状态下进行集成性能测试；
（4）在国产CPU单核、双核、四核、八核状态下进行应用性能测试；
（5）对国产CPU的性能进行分析；
（6）对国产CPU的事务处理能力进行整体评估；
所述测试环境，是指为了完成软件测试工作所必须的计算机硬件、软件、网络设备、历史数据的总称；
所述国产CPU单核、双核、四核、八核状态是指国产CPU单核运行的状态、国产CPU双核运行的状态、国产CPU四核运行的状态、国产CPU八核运行的状态。
2.根据权利要求1所述的测试评估国产CPU事务处理能力的方法，其特征在于，所述国产CPU为龙芯，龙芯CPU的MIPS架构为单核单线程，单CPU为4核4线程，目前使用的龙芯3A服务器都是双路服务器，故最多可调度8核8线程进行处理；
所述国产CPU单核运行的处理状态指CPU处理数据时仅使用一组能处理数据的芯片组；实现命令：taskset -c0运行的程序；
所述国产CPU双核运行的处理状态指CPU处理数据时使用两组能处理数据的芯片组；实现命令：taskset -c0-1运行的程序；
所述国产CPU四核运行的处理状态指CPU处理数据时使用四组能处理数据的芯片组；实现命令：taskset -c0-3运行的程序；
所述国产CPU八核运行的处理状态指CPU处理数据时使用八组能处理数据的芯片组；实现命令：taskset -c0-7运行的程序；
所述基准测试是指通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。
3.根据权利要求2所述的测试评估国产CPU事务处理能力的方法，其特征在于，所述基准测试进一步包括：对国产CPU进行CPU运算能力、内存读写速率、I／O吞吐性能、JVM性能、多线程并发处理性能等方面的测试；
所述CPU运算能力测试是指使用Lmbench、Spec2000测试工具进行测试，比较不同类型CPU的整点运算和浮点运算性能；
所述CPU运算能力指CPU对整型数据进行运算和对浮点型数据进行运算时的性能；所述整型数据，是指不包含小数部分的数值类型；浮点型数据，是指包含小数部分的数值类型；
所述内存读取速率测试是指使用Stream测试工具通过大维度的矢量数组的处理测试，计算机平台的可持续运行的内存带宽最大值；
所述大维度的矢量数组，是采用双精度，即每个元素为8个字节的数组，所述大维度的矢量数组的处理，是指对数组的复制、数组的尺度变换、数组的矢量求和、数组的符合矢量求和；
所述I/O吞吐性能测试包括向一个新文件写入性能的测试、向一个已存在的文件写入性能的测试、读一个已存在的文件性能的测试、读一个最近读取过的文件的性能测试；
所述的I／O是input／output的缩写，即输入输出端口，使用IOZONE测试工具，测试结果单位：Kbytes／s。
4.根据权利要求1或2或3所示的测试评估国产CPU事务处理能力的方法，其特征在于，所述JVM性能测试是指使用SPECJVM2008测试工具对JVM运行性能进行测试评估；
所述多线程并发处理测试是指使用pingpong测试工具对操作系统多线程操作能力的测试；
所述多线程是指在单个程序中同时运行多个线程完成不同的工作，称为多线程，所述线程是指线程是程序中一个单一的顺序控制流程；
所述集成测试进一步包括：针对国产CPU，进行TPC-W、TPC-C测试；
所述TPC-W测试是指使用bench4Q对TPC-W应用进行的测试；
所述TPC-C测试是指使用清华TPC-C测试工具针对TPC-C标准进行的测试；
所述TPC-C标准是指按照交易处理性能委员会(TPC)基于OLTP业务模式下的基准规范；
所述应用支撑测试进一步包括：针对国产CPU，测试应用的事务处理能力和响应时间；所述事务处理能力是指计算机每秒钟处理的事务；所述事务是指计算机执行任务结合在一起完成一个业务需求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310723977.1A CN104142874A (zh) | 2013-12-25 | 2013-12-25 | 一种测试评估国产cpu事务处理能力的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310723977.1A CN104142874A (zh) | 2013-12-25 | 2013-12-25 | 一种测试评估国产cpu事务处理能力的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104142874A true CN104142874A (zh) | 2014-11-12 |
Family
ID=51852055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310723977.1A Pending CN104142874A (zh) | 2013-12-25 | 2013-12-25 | 一种测试评估国产cpu事务处理能力的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104142874A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108519932A (zh) * | 2018-01-24 | 2018-09-11 | 中国电子信息产业集团有限公司第六研究所 | 一种基于国产芯片平台的多性能测试工具 |
| CN109062750A (zh) * | 2018-09-13 | 2018-12-21 | 国家海洋环境预报中心 | 一种高性能计算机测试系统 |
| CN111176962A (zh) * | 2019-12-02 | 2020-05-19 | 深圳先进技术研究院 | Fpga平台及其性能评估与设计优化的方法、存储介质 |
| CN113238908A (zh) * | 2021-06-18 | 2021-08-10 | 浪潮商用机器有限公司 | 一种服务器性能测试数据分析方法及相关装置 |
| CN113360418A (zh) * | 2021-08-10 | 2021-09-07 | 武汉迎风聚智科技有限公司 | 一种系统测试方法以及装置 |
| CN116755991A (zh) * | 2023-08-14 | 2023-09-15 | 北京精琢科技有限公司 | 通用跨平台cpu算力评估方法、电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101246446A (zh) * | 2008-03-12 | 2008-08-20 | 浪潮电子信息产业股份有限公司 | 一种测试pc服务器性能表现的方法 |
| US20090077365A1 (en) * | 2007-09-14 | 2009-03-19 | Jinsaku Masuyama | System and method for analyzing CPU performance from a serial link front side bus |
| CN103294579A (zh) * | 2013-06-09 | 2013-09-11 | 浪潮电子信息产业股份有限公司 | 一种高性能计算集群应用性能测试方法 |
-
2013
- 2013-12-25 CN CN201310723977.1A patent/CN104142874A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090077365A1 (en) * | 2007-09-14 | 2009-03-19 | Jinsaku Masuyama | System and method for analyzing CPU performance from a serial link front side bus |
| CN101246446A (zh) * | 2008-03-12 | 2008-08-20 | 浪潮电子信息产业股份有限公司 | 一种测试pc服务器性能表现的方法 |
| CN103294579A (zh) * | 2013-06-09 | 2013-09-11 | 浪潮电子信息产业股份有限公司 | 一种高性能计算集群应用性能测试方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108519932A (zh) * | 2018-01-24 | 2018-09-11 | 中国电子信息产业集团有限公司第六研究所 | 一种基于国产芯片平台的多性能测试工具 |
| CN109062750A (zh) * | 2018-09-13 | 2018-12-21 | 国家海洋环境预报中心 | 一种高性能计算机测试系统 |
| CN111176962A (zh) * | 2019-12-02 | 2020-05-19 | 深圳先进技术研究院 | Fpga平台及其性能评估与设计优化的方法、存储介质 |
| CN113238908A (zh) * | 2021-06-18 | 2021-08-10 | 浪潮商用机器有限公司 | 一种服务器性能测试数据分析方法及相关装置 |
| CN113238908B (zh) * | 2021-06-18 | 2022-11-04 | 浪潮商用机器有限公司 | 一种服务器性能测试数据分析方法及相关装置 |
| CN113360418A (zh) * | 2021-08-10 | 2021-09-07 | 武汉迎风聚智科技有限公司 | 一种系统测试方法以及装置 |
| CN113360418B (zh) * | 2021-08-10 | 2021-11-05 | 武汉迎风聚智科技有限公司 | 一种系统测试方法以及装置 |
| CN116755991A (zh) * | 2023-08-14 | 2023-09-15 | 北京精琢科技有限公司 | 通用跨平台cpu算力评估方法、电子设备 |
| CN116755991B (zh) * | 2023-08-14 | 2023-11-17 | 北京精琢科技有限公司 | 通用跨平台cpu算力评估方法、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Bigdatabench: A big data benchmark suite from internet services | |
| CN104142874A (zh) | 一种测试评估国产cpu事务处理能力的方法 | |
| Mey et al. | Score-P: A unified performance measurement system for petascale applications | |
| Fadika et al. | Evaluating hadoop for data-intensive scientific operations | |
| Chen et al. | Statistical workloads for energy efficient mapreduce | |
| Gunther et al. | Hadoop superlinear scalability | |
| Giménez et al. | Dissecting on-node memory access performance: a semantic approach | |
| Shahid et al. | Additivity: A selection criterion for performance events for reliable energy predictive modeling | |
| CN102708029B (zh) | 性能瓶颈诊断方法和设备 | |
| Bermbach et al. | Towards an extensible middleware for database benchmarking | |
| Zhang et al. | MTC Envelope: Defining the capability of large scale computers in the context of parallel scripting applications | |
| US20110167229A1 (en) | Balanced data-intensive computing | |
| Hu et al. | Linear time memory consistency verification | |
| Richards et al. | Quantitative performance assessment of proxy apps and parents | |
| Veiga et al. | Analysis and evaluation of MapReduce solutions on an HPC cluster | |
| Choi et al. | Interference-aware co-scheduling method based on classification of application characteristics from hardware performance counter using data mining | |
| Pena et al. | A framework for tracking memory accesses in scientific applications | |
| Adhinarayanan et al. | Characterizing and modeling power and energy for extreme-scale in-situ visualization | |
| Huang et al. | Identifying challenges and opportunities of in-memory computing on large HPC systems | |
| Yan et al. | Using memory in the right way to accelerate Big Data processing | |
| Nair et al. | Gapp: A fast profiler for detecting serialization bottlenecks in parallel linux applications | |
| Konwinski et al. | Towards an I/O tracing framework taxonomy | |
| Tseng et al. | Performance studies of commercial workloads on a multi-core system | |
| Walker et al. | Best practices for scalable power measurement and control | |
| Akram et al. | Understanding scalability and performance requirements of I/O-intensive applications on future multicore servers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141112 |
|
| RJ01 | Rejection of invention patent application after publication |