CN106649060A - 设备性能测试方法及装置 - Google Patents

设备性能测试方法及装置 Download PDF

Info

Publication number
CN106649060A
CN106649060A CN201510732469.9A CN201510732469A CN106649060A CN 106649060 A CN106649060 A CN 106649060A CN 201510732469 A CN201510732469 A CN 201510732469A CN 106649060 A CN106649060 A CN 106649060A
Authority
CN
China
Prior art keywords
load
application
business load
business
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510732469.9A
Other languages
English (en)
Inventor
唐华斌
马轶慧
高从文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201510732469.9A priority Critical patent/CN106649060A/zh
Publication of CN106649060A publication Critical patent/CN106649060A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本发明公开了一种设备性能测试方法及装置,所述方法包括:对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况;根据所统计的业务负载状况为所述各应用分别建立业务负载模型;在待测设备安装负载生成的应用、与所述负载生成的应用对应的业务负载模型,并使所述负载生成的应用与所述业务负载模型通过应用接口连接;其中,所述负载生成的应用能根据设定策略生成与所述业务负载模型对应的应用的业务负载;控制所述负载生成的应用对所述业务负载模型施加业务负载,统计所述待测设备中所述业务负载模型导致的资源使用状况而作为性能测试数据。

Description

设备性能测试方法及装置
技术领域
本发明涉及测试技术,尤其涉及一种设备性能测试方法及装置。
背景技术
随着云计算、大数据的快速发展,在服务器的采购和运行维护等方面的投入也越来越大,因此对于提高服务器利用率、降低服务器的成本有着越来越高的期望。然而,当前大部分服务器长期工作在利用率较低的状况下,以CPU为例,大多数应用系统的利用率长期低于30%。其中的一个重要原因,就是服务器的CPU、内存、磁盘和网络等资源与实际应用负载没有能够合理的匹配,导致某方面资源出现瓶颈时,另一方面由于担心资源无法满足应用性能需求,实际配置数量往往严重过剩。
解决这一问题的重要技术手段,是在应用系统上线之前开展服务器性能测试,从而根据应用系统需要满足的性能要求,确定服务器的合理CPU、内存、磁盘或网络资源的配置。遗憾的是,目前尚未有解决方案可供参考。
发明内容
为解决上述技术问题,本发明实施例提供了一种设备性能测试方法及装置。
一种设备性能测试方法,所述方法包括:
对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况;
根据所统计的业务负载状况为所述各应用分别建立业务负载模型;
在待测设备安装负载生成的应用、与所述负载生成的应用对应的业务负载模型,并使所述负载生成的应用与所述业务负载模型通过应用接口连接;其中,所述负载生成的应用能根据设定策略生成与所述业务负载模型对应的应用的业务负载;
控制所述负载生成的应用对所述业务负载模型施加业务负载,统计所述待测设备中所述业务负载模型导致的资源使用状况而作为性能测试数据。
优选地,所述对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况,包括:
检测周期到来时,检测所述参考系统中的应用被调用时所述参考系统所消耗的资源;
统计每一检测周期所消耗的所述参考系统的资源,作为相应检测周期所对应的业务负载。
优选地,所述参考系统为处理设备中所安装的包含有各种应用的操作系统。
优选地,所述根据所统计的业务负载状况为所述各应用分别建立业务负载模型,包括:
基于对所述参考系统中的各应用所统计的大量业务负载状况,以及数据分析、机器学习的算法进行数据分析,并建立各应用的业务负载模型;所述业务负载模型至少能够实现下述任务:能够反映在任一业务负载下的各资源的配比关系;能够反映各资源参数在时间上的大致分布;具有一定的外延能力,当超出所统计样本数据范围时,能够预测样本数据外的业务负载下的各资源的配比关系。
优选地,所述资源包括以下资源的至少之一:
CPU、内存、硬盘、网络负载。
优选地,所述业务负载包括以下至少之一:
对于数据库应用,业务负载包括单位时间处理事务数;
对于Web应用,业务负载包括单位时间访问量;
对于CPU,业务负载包括CPU的处理能力,所述处理能力基于标准性能评估结果与当前的利用率进行折算;
对于磁盘,业务负载包括每秒进行读写操作的次数或吞吐量。
一种设备性能测试装置,所述装置包括:检测单元、模型建立单元、安装单元和统计单元,其中:
检测单元,用于对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况;
模型建立单元,用于根据所统计的业务负载状况为所述各应用分别建立业务负载模型;
安装单元,用于在待测设备安装负载生成的应用、与所述负载生成的应用对应的业务负载模型,并使所述负载生成的应用与所述业务负载模型通过应用接口连接;其中,所述负载生成的应用能根据设定策略生成与所述业务负载模型对应的应用的业务负载;
统计单元,用于控制所述负载生成的应用对所述业务负载模型施加业务负载,统计所述待测设备中所述业务负载模型导致的资源使用状况而作为性能测试数据。
优选地,所述检测单元,还用于:当检测周期到来时,检测所述参考系统中的应用被调用时所述参考系统所消耗的资源;统计每一检测周期所消耗的所述参考系统的资源,作为相应检测周期所对应的业务负载。
优选地,所述参考系统为处理设备中所安装的包含有各种应用的操作系统。
优选地,所述模型建立单元,还用于:基于对所述参考系统中的各应用所统计的大量业务负载状况,以及数据分析、机器学习的算法进行数据分析,并建立各应用的业务负载模型;所述业务负载模型至少能够实现下述任务:能够反映在任一业务负载下的各资源的配比关系;能够反映各资源参数在时间上的大致分布;具有一定的外延能力,当超出所统计样本数据范围时,能够预测样本数据外的业务负载下的各资源的配比关系。
优选地,所述资源包括以下资源的至少之一:
CPU、内存、硬盘、网络负载。
优选地,所述业务负载包括以下至少之一:
对于数据库应用,业务负载包括单位时间处理事务数;
对于Web应用,业务负载包括单位时间访问量;
对于CPU,业务负载包括CPU的处理能力,所述处理能力基于标准性能评估结果与当前的利用率进行折算;
对于磁盘,业务负载包括每秒进行读写操作的次数或吞吐量。
本发明实施例的技术方案中,对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况;根据所统计的业务负载状况为所述各应用分别建立业务负载模型;在待测设备安装负载生成的应用、与所述负载生成的应用对应的业务负载模型,并使所述负载生成的应用与所述业务负载模型通过应用接口连接;其中,所述负载生成的应用能根据设定策略生成与所述业务负载模型对应的应用的业务负载;控制所述负载生成的应用对所述业务负载模型施加业务负载,统计所述待测设备中所述业务负载模型导致的资源使用状况而作为性能测试数据。本发明实施例不需要在被测设备如服务器上安装相应的应用系统,可以针对不同类型的应用开展性能测试进行检测,应用范围更广,通过对待测设备进行性能检测,提升了待测设备的资源配置的优化效率;能够更加准确地确定针对应用负载需求的服务器CPU、内存、硬盘、网络等资源的合理配比关系,从而提升待测设备的资源利用率,降低待测设备采购和运行成本。
附图说明
图1为本发明实施例的设备性能测试方法的流程示意图;
图2为本发明实施例的设备性能测试系统的架构示意图;
图3为本发明实施例的设备性能测试装置的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容,下面结合附图对本发明实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明实施例。
图1为本发明实施例的设备性能测试方法的流程示意图,如图1所示,本发明实施例的设备性能测试方法包括以下步骤:
步骤101,对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况。
本发明实施例中,对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况,具体包括:检测周期到来时,检测所述参考系统中的应用被调用时所述参考系统所消耗的资源;统计每一检测周期所消耗的所述参考系统的资源,作为相应检测周期所对应的业务负载。
检测周期根据需要设定,可以是1秒、0.5秒、100毫秒等单位,也可以设为2秒、5秒、10秒、20秒、30秒、1分钟等检测周期。本发明实施例中,业务负载状况主要是检测相关应用所消耗的系统资源,包括CPU、内存、硬盘、网络负载等。
业务负载与具体应用相关,比如数据库应用一般采用单位时间处理事务数、Web应用一般采用单位时间访问量等表示;CPU、内存、磁盘和网络等物理资源,则采用业界比较通用的处理能力评价指标,比如CPU可以基于标准性能评估公司(SPEC,Standard Performance Evaluation Corporation)CPU测试结果与当前利用率进行折算,磁盘可采用每秒进行读写(I/O)操作的次数(IOPS,Input/Output Operations Per Second)或吞吐量(MB/s)等指标来衡量。
步骤102,根据所统计的业务负载状况为所述各应用分别建立业务负载模型。
本发明实施例中,所述根据所统计的业务负载状况为所述各应用分别建立业务负载模型,具体包括:
基于对所述参考系统中的各应用所统计的大量业务负载状况,以及数据分析、机器学习的算法进行数据分析,并建立各应用的业务负载模型;所述业务负载模型至少能够实现下述任务:能够反映在任一业务负载下的各资源的配比关系;能够反映各资源参数在时间上的大致分布;具有一定的外延能力,当超出所统计样本数据范围时,能够预测样本数据外的业务负载下的各资源的配比关系。
具体地,负责基于所统计的大量同类系统的数据,通过分析后建立业务负载模型,这个模型至少包括两个纬度:
(a)模型能够反映各资源的配比关系。各种数据和经验表明,业务负载与CPU、内存、硬盘、网络负载等之间不存在一种简单的线性关系,CPU、内存、硬盘、网络等资源也不是同比例增长的关系,由于应用系统中各资源之间相互影响,(例如数据从网络获取、放入内存,经过CPU处理后再写入磁盘),最终可能是非常复杂的非线性关系。
(b)模型要能够反映出业务负载相关参数在时间上的大致分布,即在实际业务系统中,对CPU、内存、硬盘、网络等资源使用的变化情况,是相对比较稳定,还是在一段时间以内(比如一天)负载的变化比较剧烈。
因此,一些数据分析、机器学习(如神经网络)等算法可以被用于其中的对应关系建模。建模完成后,业务负载模型将具有一定的外延能力,即指定一个超出此前样本范围内没有出现的业务负载,能够大致预测出对应CPU、内存、硬盘、网络等资源的相应取值,反之亦然。而这种预测应该也不是精确的,是一个范围到另一个范围的预测。
步骤103,在待测设备安装负载生成的应用、与所述负载生成的应用对应的业务负载模型,并使所述负载生成的应用与所述业务负载模型通过应用接口连接。
所述负载生成的应用能根据设定策略生成与所述业务负载模型对应的应用的业务负载。
步骤104,控制所述负载生成的应用对所述业务负载模型施加业务负载,统计所述待测设备中所述业务负载模型导致的资源使用状况而作为性能测试数据。
本发明实施例中,参考系统为处理设备中所安装的包含有各种应用的操作系统。优选地,所述业务负载包括以下至少之一:
对于数据库应用,业务负载包括单位时间处理事务数;
对于Web应用,业务负载包括单位时间访问量;
对于CPU,业务负载包括CPU的处理能力,所述处理能力基于标准性能评估结果与当前的利用率进行折算;
对于磁盘,业务负载包括每秒进行读写操作的次数或吞吐量。
本发明实施例中,进行性能检测的设备可以是服务器、个人计算机、手机等安装有相关应用的处理设备。
以下通过具体示例,进一步阐明本发明实施例的技术方案的实质。
本发明实施例应用于确定被测服务器是否满足某一应用系统的性能要求,以及在估算在达到该性能要求时的大致资源使用情况,从而达到优化服务器配置性价比的效果。
图2为本发明实施例的设备性能测试系统的架构示意图,如图2所示,本发明实施例设备性能测试系统中的参考系统是已经实际部署的、运行了各种应用软件的生产或测试系统,其包括服务器资源如CPU、内存、硬盘、网络负载等,以及参考系统上运行的应用软件。
在参考系统中,业务负载(例如用户或其它应用软件的网络访问请求)会触发服务器资源的活动,在某一特定时刻,业务负载的大小(也就是满足相关服务质量(QoS,Quality of Service)要求的业务当前性能)记为P0,对应的CPU、内存、硬盘和网络等资源消耗可以记为(C0、M0、D0和N0)。
由于业务负载在不断变化,因此通过连续采集(比如每1分钟采集1组)后,P与(C、M、D、N)这一参数组将有多个不同的对应值,这些数据将作为参考系统的输出。
本发明实施例主要由以下几个功能实现:
应用负载采集,负责收集上述[P,(C、M、D、N)]参数组的数值,其中,业务性能P与具体应用相关,比如数据库应用一般采用单位时间处理事务数、Web应用一般采用单位时间访问量等;CPU、内存、磁盘和网络等物理资源,则采用业界比较通用的处理能力评价指标,比如CPU可以基于SPECCPU测试结果与当前利用率进行折算,磁盘可采用IOPS或吞吐量(MB/s)等指标来衡量。
应用负载建模,基于应用负载采集所收集的大量同类应用系统的上述参数组数据,通过分析后建立业务负载模型,这个模型至少包括两个纬度:
(a)业务负载模型能够反映各资源的配比关系。各种数据和经验表明,P与(C、M、D、N)之间不存在一种简单的线性关系,CPU、内存、硬盘、网络等资源也不是同比例增长的关系,由于应用系统中各资源之间相互影响,(例如数据从网络获取、放入内存,经过CPU处理后再写入磁盘),最终可能是非常复杂的非线性关系。
(b)业务负载模型要能够反映出这些参数在时间上的大致分布,即在实际业务系统中,对CPU、内存、硬盘、网络等资源使用的变化情况,是相对比较稳定,还是在一段时间以内(比如一天)负载的变化比较剧烈。
因此,一些数据分析、机器学习(如神经网络)等算法可以被用于其中的对应关系建模。建模完成后,模型将具有一定的外延能力,即指定一个超出此前样本范围内没有出现的P,能够大致预测出对应(C、M、D、N)的范围,反之亦然。而这种预测应该也不是精确的,是一个范围到另一个范围的预测。本领域技术人员应当理解,通过所统计的业务性能及其对应的业务负载参数,进行模拟应用的建模是容易实现的,目前的建模方法有很多种,这些建模方法仅是数学运算,本发明实施例不再赘述其实现细节。
建立业务负载模型库,业务负载模型库是一个汇集由应用负载建模功能建立的不同类型应用模型的一个集合。其用途是为后续被测系统提供可使用的业务负载模型。
本发明实施例设备性能测试系统中的应用负载生成器,在使用时,当从业务负载模型库中选择该类应用的模型,然后根据某种预定策略例如顺序、随机、二分等策略,基于模型中的(C、M、D、N)参数组,控制服务器中的负载生成器产生相应的负载。其目标是能够尽量准确复现实际同类应用的负载配比关系及其时间变化情况。
负载的具体产生可以采用一些业界成熟的工具软件,例如通过SPECCPU算法产生CPU负载、用IOMeter产生磁盘负载等。
本发明实施例设备性能测试系统中的被测系统是一台或多台服务器(或虚拟机),一般是采用某种新平台或新技术的服务器,测试的目的是想了解某应用系统在此服务器上的性能、以及资源利用率相对比较均衡的服务配置。
在本发明实施例中,被测系统中并不需要安装实际应用系统,而只需安装相应的应用负载生成器,然后连接“业务负载模型库”下载测试模型,即可以在被测服务器上快速复现实际同类应用的运行情况,观测被测服务器上CPU、内存、硬盘、网络等资源使用情况。
可以多次改变被测服务器的配置后重新进行上述测试,从而最终确定更适合该类应用的服务器配置,并估算其能提供的性能。
本发明实施例的负载生成器随时间变化产生的负载,可以测试被测服务器在多大程度上满足应用的性能需求。如果某一应用大多数情况下负载较低而只是偶尔出现高负载,则被测服务器就可以配置为并不需要满足其最高性能,从而降低成本和提升利用率。
本发明实施例不需要在被测设备如服务器上安装相应的应用系统,可以针对不同类型的应用开展性能测试进行检测,应用范围更广,通过对待测设备进行性能检测,提升了待测设备的资源配置的优化效率;能够更加准确地确定针对应用负载需求的服务器CPU、内存、硬盘、网络等资源的合理配比关系,从而提升待测设备的资源利用率,降低待测设备采购和运行成本。
图3为本发明实施例的设备性能测试装置的组成结构示意图,如图3所示,本发明实施例的设备性能测试装置包括:检测单元30、模型建立单元31、安装单元32和统计单元33,其中:
检测单元30,用于对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况;
模型建立单元31,用于根据所统计的业务负载状况为所述各应用分别建立业务负载模型;
安装单元32,用于在待测设备安装负载生成的应用、与所述负载生成的应用对应的业务负载模型,并使所述负载生成的应用与所述业务负载模型通过应用接口连接;其中,所述负载生成的应用能根据设定策略生成与所述业务负载模型对应的应用的业务负载;
统计单元33,用于控制所述负载生成的应用对所述业务负载模型施加业务负载,统计所述待测设备中所述业务负载模型导致的资源使用状况而作为性能测试数据。
作为一种示例,本发明实施例中,所述检测单元30,还用于:当检测周期到来时,检测所述参考系统中的应用被调用时所述参考系统所消耗的资源;统计每一检测周期所消耗的所述参考系统的资源,作为相应检测周期所对应的业务负载。
作为一种示例,本发明实施例中,所述参考系统为处理设备中所安装的包含有各种应用的操作系统。
作为一种示例,本发明实施例中,所述模型建立单元32,还用于:基于对所述参考系统中的各应用所统计的大量业务负载状况,以及数据分析、机器学习的算法进行数据分析,并建立各应用的业务负载模型;所述业务负载模型至少能够实现下述任务:能够反映在任一业务负载下的各资源的配比关系;能够反映各资源参数在时间上的大致分布;具有一定的外延能力,当超出所统计样本数据范围时,能够预测样本数据外的业务负载下的各资源的配比关系。
作为一种示例,本发明实施例中,所述资源包括以下资源的至少之一:
CPU、内存、硬盘、网络负载。
作为一种示例,本发明实施例中,所述业务负载包括以下至少之一:
对于数据库应用,业务负载包括单位时间处理事务数;
对于Web应用,业务负载包括单位时间访问量;
对于CPU,业务负载包括CPU的处理能力,所述处理能力基于标准性能评估结果与当前的利用率进行折算;
对于磁盘,业务负载包括每秒进行读写操作的次数或吞吐量。
本领域技术人员应当理解,图3所示的设备性能测试装置中各处理单元所实现的功能可参照前述各实施例的设备性能测试方法的相关描述而理解。图3所示的设备性能测试装置中的各处理单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。本发明实施例的设备性能测试装置中的检测单元30、模型建立单元31、安装单元32和统计单元33等,均可提供CPU、现场可编程门阵列(FPGA,Field Programmable Gate Array)、微处理器及相关芯片等实现。
本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种设备性能测试方法,其特征在于,所述方法包括:
对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况;
根据所统计的业务负载状况为所述各应用分别建立业务负载模型;
在待测设备安装负载生成的应用、与所述负载生成的应用对应的业务负载模型,并使所述负载生成的应用与所述业务负载模型通过应用接口连接;其中,所述负载生成的应用能根据设定策略生成与所述业务负载模型对应的应用的业务负载;
控制所述负载生成的应用对所述业务负载模型施加业务负载,统计所述待测设备中所述业务负载模型导致的资源使用状况而作为性能测试数据。
2.根据权利要求1所述的设备性能测试方法,其特征在于,所述对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况,包括:
检测周期到来时,检测所述参考系统中的应用被调用时所述参考系统所消耗的资源;
统计每一检测周期所消耗的所述参考系统的资源,作为相应检测周期所对应的业务负载。
3.根据权利要求2所述的设备性能测试方法,其特征在于,所述参考系统为处理设备中所安装的包含有各种应用的操作系统。
4.根据权利要求1所述的设备性能测试方法,其特征在于,所述根据所统计的业务负载状况为所述各应用分别建立业务负载模型,包括:
基于对所述参考系统中的各应用所统计的大量业务负载状况,以及数据分析、机器学习的算法进行数据分析,并建立各应用的业务负载模型;所述业务负载模型至少能够实现下述任务:能够反映在任一业务负载下的各资源的配比关系;能够反映各资源参数在时间上的大致分布;具有一定的外延能力,当超出所统计样本数据范围时,能够预测样本数据外的业务负载下的各资源的配比关系。
5.根据权利要求1至4任一项所述的设备性能测试方法,其特征在于,所述资源包括以下资源的至少之一:
CPU、内存、硬盘、网络负载。
6.根据权利要求5所述的设备性能测试方法,其特征在于,所述业务负载包括以下至少之一:
对于数据库应用,业务负载包括单位时间处理事务数;
对于Web应用,业务负载包括单位时间访问量;
对于CPU,业务负载包括CPU的处理能力,所述处理能力基于标准性能评估结果与当前的利用率进行折算;
对于磁盘,业务负载包括每秒进行读写操作的次数或吞吐量。
7.一种设备性能测试装置,其特征在于,所述装置包括:检测单元、模型建立单元、安装单元和统计单元,其中:
检测单元,用于对参考系统中的各应用的业务负载进行检测,统计所述各应用运行过程中的业务负载状况;
模型建立单元,用于根据所统计的业务负载状况为所述各应用分别建立业务负载模型;
安装单元,用于在待测设备安装负载生成的应用、与所述负载生成的应用对应的业务负载模型,并使所述负载生成的应用与所述业务负载模型通过应用接口连接;其中,所述负载生成的应用能根据设定策略生成与所述业务负载模型对应的应用的业务负载;
统计单元,用于控制所述负载生成的应用对所述业务负载模型施加业务负载,统计所述待测设备中所述业务负载模型导致的资源使用状况而作为性能测试数据。
8.根据权利要求7所述的设备性能测试装置,其特征在于,所述检测单元,还用于:当检测周期到来时,检测所述参考系统中的应用被调用时所述参考系统所消耗的资源;统计每一检测周期所消耗的所述参考系统的资源,作为相应检测周期所对应的业务负载。
9.根据权利要求8所述的设备性能测试装置,其特征在于,所述参考系统为处理设备中所安装的包含有各种应用的操作系统。
10.根据权利要求7所述的设备性能测试装置,其特征在于,所述模型建立单元,还用于:基于对所述参考系统中的各应用所统计的大量业务负载状况,以及数据分析、机器学习的算法进行数据分析,并建立各应用的业务负载模型;所述业务负载模型至少能够实现下述任务:能够反映在任一业务负载下的各资源的配比关系;能够反映各资源参数在时间上的大致分布;具有一定的外延能力,当超出所统计样本数据范围时,能够预测样本数据外的业务负载下的各资源的配比关系。
11.根据权利要求7至10任一项所述的设备性能测试装置,其特征在于,所述资源包括以下资源的至少之一:
CPU、内存、硬盘、网络负载。
12.根据权利要求11所述的设备性能测试装置,其特征在于,所述业务负载包括以下至少之一:
对于数据库应用,业务负载包括单位时间处理事务数;
对于Web应用,业务负载包括单位时间访问量;
对于CPU,业务负载包括CPU的处理能力,所述处理能力基于标准性能评估结果与当前的利用率进行折算;
对于磁盘,业务负载包括每秒进行读写操作的次数或吞吐量。
CN201510732469.9A 2015-11-02 2015-11-02 设备性能测试方法及装置 Pending CN106649060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510732469.9A CN106649060A (zh) 2015-11-02 2015-11-02 设备性能测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510732469.9A CN106649060A (zh) 2015-11-02 2015-11-02 设备性能测试方法及装置

Publications (1)

Publication Number Publication Date
CN106649060A true CN106649060A (zh) 2017-05-10

Family

ID=58810580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510732469.9A Pending CN106649060A (zh) 2015-11-02 2015-11-02 设备性能测试方法及装置

Country Status (1)

Country Link
CN (1) CN106649060A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213663A (zh) * 2018-08-06 2019-01-15 成都安易迅科技有限公司 一种手机人工智能算力的测评方法
CN110515739A (zh) * 2019-10-23 2019-11-29 上海燧原智能科技有限公司 深度学习神经网络模型负载计算方法、装置、设备及介质
CN112162891A (zh) * 2020-10-14 2021-01-01 腾讯科技(深圳)有限公司 服务器集群中的性能测试方法及相关设备
CN112799950A (zh) * 2021-02-04 2021-05-14 北京中交兴路信息科技有限公司 后台服务的负载能力测试系统、方法、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211311A (zh) * 2006-12-25 2008-07-02 中国电信股份有限公司 应用软件在生产环境下的性能预测方法
US20090007078A1 (en) * 2007-06-29 2009-01-01 Nabil Mounir Hoyek Computer-Implemented Systems And Methods For Software Application Testing
CN102158373A (zh) * 2011-05-12 2011-08-17 哈尔滨工业大学 面向银行中间业务的高端服务器性能评测系统
CN102184746A (zh) * 2010-12-31 2011-09-14 中国传媒大学 一种基于粒子群算法优化参数的存储性能测试系统及方法
US8762113B2 (en) * 2011-06-03 2014-06-24 Sony Computer Entertainment America Llc Method and apparatus for load testing online server systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211311A (zh) * 2006-12-25 2008-07-02 中国电信股份有限公司 应用软件在生产环境下的性能预测方法
US20090007078A1 (en) * 2007-06-29 2009-01-01 Nabil Mounir Hoyek Computer-Implemented Systems And Methods For Software Application Testing
CN102184746A (zh) * 2010-12-31 2011-09-14 中国传媒大学 一种基于粒子群算法优化参数的存储性能测试系统及方法
CN102158373A (zh) * 2011-05-12 2011-08-17 哈尔滨工业大学 面向银行中间业务的高端服务器性能评测系统
US8762113B2 (en) * 2011-06-03 2014-06-24 Sony Computer Entertainment America Llc Method and apparatus for load testing online server systems

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213663A (zh) * 2018-08-06 2019-01-15 成都安易迅科技有限公司 一种手机人工智能算力的测评方法
CN110515739A (zh) * 2019-10-23 2019-11-29 上海燧原智能科技有限公司 深度学习神经网络模型负载计算方法、装置、设备及介质
CN112162891A (zh) * 2020-10-14 2021-01-01 腾讯科技(深圳)有限公司 服务器集群中的性能测试方法及相关设备
CN112162891B (zh) * 2020-10-14 2024-05-03 腾讯科技(深圳)有限公司 服务器集群中的性能测试方法及相关设备
CN112799950A (zh) * 2021-02-04 2021-05-14 北京中交兴路信息科技有限公司 后台服务的负载能力测试系统、方法、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN103399496B (zh) 智能电网海量实时数据负载仿真测试云平台及其测试方法
CN101907917B (zh) 一种测量虚拟机能耗的方法和系统
CN109144724A (zh) 一种微服务资源调度系统及方法
CN101413981B (zh) 电力系统运行备用可靠性测试系统
CN107086944A (zh) 一种异常检测方法和装置
Di et al. Characterizing and modeling cloud applications/jobs on a Google data center
CN103294546B (zh) 多维度资源性能干扰感知的虚拟机在线迁移方法及系统
CN107967485A (zh) 用电计量设备故障分析方法及装置
CN101477588B (zh) 基于Petri网模型的设备维修保障仿真方法
US20180165606A1 (en) Systems and methods for maximizing expected utility of signal injection test patterns in utility grids
CN106649060A (zh) 设备性能测试方法及装置
CN106886485A (zh) 系统容量分析预测方法及装置
CN101442561A (zh) 一种基于支持向量机的网格监控方法
CN102855525A (zh) 一种居民用户负荷预测分析系统和方法
Chen et al. Automated analysis of performance and energy consumption for cloud applications
CN104182278B (zh) 一种判定计算机硬件资源繁忙程度的方法和装置
CN105608842A (zh) 一种核反应堆燃料破损在线监测报警装置
CN105872061A (zh) 一种服务器集群管理方法、装置及系统
CN106228257A (zh) 一种面向钢铁企业生产工序的成本分析与评估系统及方法
CN109783260A (zh) 智能it全流程运维方法、装置、设备及可读存储介质
CN107360026A (zh) 分布式消息中间件性能预测与建模方法
CN102692558A (zh) 一种电量数据监测分析系统及其实现方法
CN105320805A (zh) 一种皮卫星多源可靠性信息融合方法
CN108072858A (zh) 电能表质量管理方法、系统及终端设备
Almeida et al. Energy monitoring as an essential building block towards sustainable ultrascale systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510