CN108563544A - 系统性能测试方法、装置、计算机设备和存储介质 - Google Patents
系统性能测试方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN108563544A CN108563544A CN201810252682.3A CN201810252682A CN108563544A CN 108563544 A CN108563544 A CN 108563544A CN 201810252682 A CN201810252682 A CN 201810252682A CN 108563544 A CN108563544 A CN 108563544A
- Authority
- CN
- China
- Prior art keywords
- expected
- index
- concurrent
- performance testing
- system performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 61
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 31
- 230000003993 interaction Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000011056 performance test Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013112 stability test Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/26—Functional testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种系统性能测试方法、装置、计算机设备和存储介质。该方法包括接收输入的系统性能测试指令;获取与系统性能测试指令对应的预期压测指标及预期资源占用情况;将系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;系统性能测试指令用于指示所述脚本调度平台获取与待测系统标识对应的执行脚本和当前空闲的执行机,并将执行脚本发送到当前空闲的执行机中执行后,获取待测系统标识对应的实际压测指标;从资源监控平台获取测试期间待测系统的实际资源占用情况;分别将所获取到的实际压测指标与预期压测指标进行比较,将实际资源占用情况与预期资源占用情况进行比较得到测试结果。采用上述方法可以提高测试效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种系统性能测试方法、装置、计算机设备和存储介质。
背景技术
随着测试技术的发展,出现了系统性能测试,系统性能测试是指配置多个执行机,该多个执行机在一定时间内向待测系统中的应用服务器或数据服务器的发送数据请求服务,并在获取到该多个执行机的执行结果、应用服务器或数据服务器的使用情况后,得到待测系统的系统性能测试结果。
然而,在系统性能测试过程中,一般是通过人工来进行测试,即人工操纵多个执行机,并且人工收集测试结果,例如人工收集各个执行机的执行结果,并单独获取应用服务器或数据服务器的使用情况,这种人工收集的方式使得收集测试结果的效率降低,进而使得整个系统性能测试的测试效率降低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高测试效率的系统性能测试方法、装置、计算机设备和存储介质。
一种系统性能测试方法,所述方法包括:
接收输入的系统性能测试指令,所述系统性能测试指令携带有待测系统标识;
获取与所述系统性能测试指令对应的预期压测指标及预期资源占用情况;
将所述系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;所述系统性能测试指令用于指示所述脚本调度平台获取与所述待测系统标识对应的执行脚本和当前空闲的执行机,并将所述执行脚本发送到所述当前空闲的执行机中执行后,获取所述待测系统标识对应的实际压测指标;
从资源监控平台获取测试期间待测系统的实际资源占用情况;
分别将所获取到的实际压测指标与所述预期压测指标进行比较,将所述实际资源占用情况与所述预期资源占用情况进行比较得到测试结果。
在其中一个实施例中,所述获取与所述系统性能测试指令对应的预期压测指标及预期资源占用情况,包括:
获取与所述系统性能测试指令对应的预期响应时间、预期事务成功率以及预期资源占用情况;
获取输入的参数,并获取与所述参数对应的指标计算公式;
根据所述指标计算公式以及所述输入的参数计算得到预期并发数和预期每秒完成的事务数。
在其中一个实施例中,所述获取与所述参数对应的指标计算公式,包括:
当所述输入的参数包括总业务量和风险系数时,获取与所述总业务量和所述风险系数对应的指标计算公式为:
tps=(pv×80%)/(s×20%)×(1+f)
ic=tps×(rt+ct)
其中,tps为预期每秒完成的事务数,pv为总业务量、s为每天的秒数、f为风险系数,ic为预期并发数、rt为预期响应时间,ct为已知的思考时间。
在其中一个实施例中,所述获取与所述参数对应的指标计算公式,包括:
当所述输入的参数包括平均并发数时,获取与所述总业务量和所述风险系数对应的指标计算公式为:
tps=ic/rt
其中,ic为预期并发数,c为平均并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
在其中一个实施例中,所述获取与所述参数对应的指标计算公式,包括:
当所述输入的参数包括平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长时,获取与所述总业务量和所述风险系数对应的指标计算公式为:
ic=nl/t
tps=ic/rt
其中,n为平均每天访问用户数,l为一天内用户从登录到退出的平均时间,t为测试时长,ic为预期并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
在其中一个实施例中,所述获取与所述系统性能测试指令对应的预期压测指标及预期资源占用情况,包括:
获取与所述系统性能测试指令对应的预期响应时间、预期事务成功率、预期资源占用情况以及当前默认并发数;
所述方法还包括:
当所述实际压测指标未达到所述预期压测指标或所述实际资源占用情况大于等于预期资源占用情况时,则获取所述当前默认并发数的步长,并根据所述步长更新所述当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标达到所述预期压测指标且所述实际资源占用情况小于预期资源占用情况;
根据所述当前默认并发数计算预期每秒完成的事务数。
在其中一个实施例中,所述方法还包括:
当所述实际压测指标达到所述预期压测指标且所述实际资源占用情况小于预期资源占用情况时,则获取所述当前默认并发数的步长,并根据所述步长更新所述当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标未达到所述预期压测指标或所述实际资源占用情况大于等于预期资源占用情况;
根据所述当前默认并发数计算预期每秒完成的事务数。
一种系统性能测试装置,所述装置包括:
接收模块,用于接收输入的系统性能测试指令,所述系统性能测试指令携带有待测系统标识;
预期指标获取模块,用于获取与所述系统性能测试指令对应的预期压测指标及预期资源占用情况;
实际指标获取模块,用于将所述系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;所述系统性能测试指令用于指示所述脚本调度平台获取与所述待测系统标识对应的执行脚本和当前空闲的执行机,并将所述执行脚本发送到所述当前空闲的执行机中执行后,获取所述待测系统标识对应的实际压测指标;
实际资源占用情况获取模块,用于从资源监控平台获取测试期间待测系统的实际资源占用情况;
比较模块,用于分别将所获取到的实际压测指标与所述预期压测指标进行比较,将所述实际资源占用情况与所述预期资源占用情况进行比较得到测试结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述系统性能测试方法、装置、计算机设备和存储介质,在获取到系统性能测试指令时,可以获取到对应的预期压测指标和预期资源占用情况,并通过脚本调度平台获取到执行脚本和当前空闲的执行机来执行测试,且同脚本调度平台收集实际压测指标,不需要人工收集,此外还通过资源监控平台获取测试期间待测系统的实际资源占用情况,同样不需要人工收集,可以提高测试效率,且在测试完成后,自动将所获取到的实际压测指标与预期压测指标进行比较,将实际资源占用情况与预期资源占用情况进行比较得到测试结果,不需要人工比较,进一步提高了测试效率。
附图说明
图1为一个实施例中系统性能测试方法的应用场景图;
图2为一个实施例中系统性能测试方法的流程示意图;
图3为一实施例中规则平台的功能划分示意图;
图4为另一个实施例中系统性能测试方法的流程示意图;
图5为一个实施例中系统性能测试装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的系统性能测试方法,可以应用于如图1所示的应用环境中。其中,规则平台通过网络分别与脚本调度平台以及资源监控平台通信,脚本调度平台还与脚本库以及多个执行机相通信。具体地,规则平台首先接收用户输入的系统性能测试指令,该系统性能测试指标携带有待测系统标识,规则平台根据该系统性能测试指令获取到预期压测指标及预期资源占用情况,规则平台将该系统性能测试指令发送至脚本调度平台,脚本调度平台获取到与待测系统标识对应的执行脚本和当前空闲的执行机,并将执行脚本发送到当前空闲的执行机中执行,从而执行机可以与待测系统进行交互,进而脚本调度平台可以获取到待测系统的实际压测指标,并将所获取的实际压测指标返回至规则平台,规则平台从资源监控平台获取到测试期间待测系统的实际资源占用情况,规则平台根据实际压测指标与预期压测指标、实际资源占用情况与预期资源占用情况得到测试结果,并可以将测试结果发送至与用户对应的账户中,从而当用户通过终端登录账户时,可以查看相应的测试结果。整个过程自动执行,不需要人工参与,可以提高测试效率。其中,规则平台、脚本调度平台以及资源监控平台可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端、执行机可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在一个实施例中,如图2所示,提供了一种系统性能测试方法,以该方法应用于图1中的规则平台为例进行说明,包括以下步骤:
S202:接收输入的系统性能测试指令,系统性能测试指令携带有待测系统标识。
具体地,规则平台提供人机交互装置或界面,用户可以通过人机交互装置或界面向规则平台输入系统性能测试指令,该系统性能测试指令可以携带有待测系统标识,该待测系统标识可以唯一地确定待测系统,例如可以包括待测系统的名称、待测系统的版本号中的至少一个。可选地,参阅图3,图3为一实施例中规则平台的功能划分示意图,其中分为待测系统、接口类型以及测试类型三个级别,在进行系统性能测试之前,管理员用户可以采集具有系统性能测试需求的系统,并以待测系统为单位在规则管理平台创建对应的存储空间,并对可以对该待测系统进行测试的用户的权限进行管理,在权限设置后,采集每个待测系统的接口,并为每个接口配置不同的测试类型,例如一个接口的测试类型可以包括基准测试、容量测试、稳定性测试等的其中至少一个。当规则平台接收到系统性能测试指令时,可以首先获取到登录到规则平台的用户的账号,判断该账号是否具有测试权限,如果具有测试权限,则判断系统性能测试指令的测试类型是否包含于账号的测试权限的测试类型中,例如当两者都是基准测试时,则表示包含,从而可以继续测试,否则拒绝测试,并进行提示。
S204:获取与系统性能测试指令对应的预期压测指标及预期资源占用情况。
具体地,预期压测指标是指用户在测试前,期望待测系统在测试过程中所能够达到的压测指标。其可以包括预期响应时间、预期事务成功率、预期并发数和预期每秒完成的事务数其中至少一个,预期资源占用情况是指用户在测试前,期望待测系统在测试过程中所能够容忍的最大资源占用情况,其可以包括待测系统的应用服务器的CPU使用率、应用服务器的内存使用率、应用服务器的进程数、数据库服务器的CPU使用率、数据库服务器的内存使用率、数据库服务器的进程数其中至少一个。
在实际应用中,用户可以通过规则平台提供的人机交互装置或界面输入预期压测指标、预期资源占用情况,并点击开始执行按钮,从而规则平台可以获取到相应的预期压测指标、预期资源占用情况,并开始测试。或者规则平台还可以根据用户输入的部分参数或待测系统标识自动计算预期压测指标、预期资源占用情况,在用户点击开始执行按钮后,规则平台开始执行测试。
S206:将系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;系统性能测试指令用于指示脚本调度平台获取与待测系统标识对应的执行脚本和当前空闲的执行机,并将执行脚本发送到当前空闲的执行机中执行后,获取待测系统标识对应的实际压测指标。
具体地,实际压测指标是指待测系统在测试过程中的压测指标。其可以包括预期响应时间、预期事务成功率、预期并发数和预期每秒完成的事务数其中至少一个。执行机是用于模拟用户终端的终端,其可以表示与待测系统进行数据交互的用户终端,空闲的执行机是指资源占用率低于预设值的执行机。执行脚本是用户在与待测系统进行数据交互时所需要执行的程序,例如执行机是登录待测系统,则该执行脚本可以是登录脚本,执行机通过执行该登录脚本可以自动实现登录待测系统,而不需要人工去手动操作。
当脚本调度平台获取到与待测系统标识对应的执行脚本和当前空闲的执行机时,则将执行脚本发送到当前空闲的执行机中执行,并搜集待测系统的实际压测指标。
在实际应用中,规则平台在接收到系统性能测试指令后,将该系统性能测试指令转发给脚本调度平台,脚本调度平台根据该系统性能测试指令中所携带的待测系统标识从脚本库对应的数据表中获取到对应的脚本地址,从而可以根据该脚本地址查询到相应的执行脚本。其中脚本库中的脚本与数据表中的脚本地址是一一对应关系,其通过脚本标识建立一一对应关系,例如脚本标识可以是脚本的标号,该脚本标识可以与待测系统标识相对应,从而根据该待测系统标识可以查询到对应的脚本标识,再根据脚本标识可以获取到脚本地址,从而可以根据脚本地址获取到对应的脚本,并将所获取到的脚本同步至所创建的脚本临时存储空间中。
脚本调度平台还可以获取到当前空闲的执行机,然后脚本调度平台可以为当前空闲的执行机配置网络地址,即IP地址,例如脚本调度平台可以获取到可用的网络地址,并随机分配给当前空闲的执行机。脚本调度平台建立脚本地址与网络地址之间的关联关系,例如可以将一个脚本地址对应一个网络地址,从而将脚本地址发送到与网络地址对应的执行机中执行,即将脚本地址发送到对应的执行机,执行机根据脚本地址从脚本临时存储空间获取到脚本,然后将脚本存储至执行机中对应的执行目录下。此外,规则执行平台还可以直接将脚本发送到对应的执行机中,从而执行机将脚本存储至执行机中对应的执行目录下。
可选地,规则平台可以采用多线程工作方式,即通过一个线程计算预期压测指标及预期资源占用情况,而另一个线程将系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标,这样可以实现并行处理方式,提高测试效率。
S208:从资源监控平台获取测试期间待测系统的实际资源占用情况。
具体地,实际资源占用情况是指待测系统在测试过程中的资源占用情况,其可以包括待测系统的应用服务器的CPU使用率、应用服务器的内存使用率、应用服务器的进程数、数据库服务器的CPU使用率、数据库服务器的内存使用率、数据库服务器的进程数其中至少一个。
其中资源监控平台可以通过读取待测系统的日志文件来获取到资源占用情况。例如,资源监控平台可以获取到待测系统的日志文件,然后从日志文件中获取到在测试期间的上述指标。可选地,当待测系统中存在多个服务器时,可以选取多个服务器中资源占用情况最大的一个服务器的资源占用情况作为待测系统的实际资源占用情况,从而避免待测系统中某一服务器由于资源占用情况过大,导致待测系统宕机等。
S210:分别将所获取到的实际压测指标与预期压测指标进行比较,将实际资源占用情况与预期资源占用情况进行比较得到测试结果。
具体地,在获取到待测系统的实际压测指标和实际资源占用情况后,可以得到待测系统的本次测试的结果,例如当实际压测指标达到预期压测指标,且实际资源占用情况小于预期资源占用情况时,则表示测试成功,否则表示测试失败。
可选地,为了让用户能够清楚地了解到本次测试的测试结果,规则平台可以选取与待测系统标识对应的报告模板,然后将上述比较结果以及所获取到的实际压测指标、预期压测指标、实际资源占用情况、预期资源占用情况添加至报告模板的对应位置处以生成测试报告,并将该测试报告发送给用户,例如可以发送到当前登录到规则平台的账户对应的邮箱、即时通信账户中,以便于用户可以及时地查看。其中报告模板可以是由用户预先设置的,例如用户可以预先将需要查看的测试参数添加至报告模板中,从而生成的测试报告可以包含该测试参数。
上述系统性能测试方法,在获取到系统性能测试指令时,可以获取到对应的预期压测指标和预期资源占用情况,并通过脚本调度平台获取到执行脚本和当前空闲的执行机来执行测试,且同脚本调度平台收集实际压测指标,不需要人工收集,此外还通过资源监控平台获取测试期间待测系统的实际资源占用情况,同样不需要人工收集,可以提高测试效率,且在测试完成后,自动将所获取到的实际压测指标与预期压测指标进行比较,将实际资源占用情况与预期资源占用情况进行比较得到测试结果,不需要人工比较,进一步提高了测试效率。
在其中一个实施例中,获取与系统性能测试指令对应的预期压测指标及预期资源占用情况的步骤可以包括三种实现方式:第一种实现方式是用户直接通过规则平台提供的人机交互装置或界面输入每一预期压测指标和预期资源占用情况;第二种实现方式是其中部分预期压测指标和预期资源占用情况由规则平台选择默认的标准值,并根据用户输入的参数计算其他预期压测指标;第三种实现方式是用户并未输入任何参数,其中的部分预期压测指标和预期资源占用情况由规则平台选择默认的标准值,且预期每秒完成的事务数根据在测试过程中通过调整其他预期压测指标和预期资源占用情况所得到的并发数临界值来确定,即各个预期压测指标和预期资源占用情况均是在测试过程中得到的。
上述实施例中,通过不同的方式来实现预期压测指标及预期资源占用情况的获取,可以扩展测试指标的应用场景,从而使得测试指标的生成更加智能化。
在其中一个实施例中,针对上述获取上述预期压测指标及预期资源占用情况的第二种实现方式,上述步骤S204,即获取与系统性能测试指令对应的预期压测指标及预期资源占用情况,可以包括:获取与系统性能测试指令对应的预期响应时间、预期事务成功率以及预期资源占用情况;获取输入的参数,并获取与参数对应的指标计算公式;根据指标计算公式以及输入的参数计算得到预期并发数和预期每秒完成的事务数。
具体地,一般对于响应时间、事务成功率以及资源占用情况,如无特殊要求,各个待测系统均可以采用默认的标准指标,当存在特殊要求时,则可以由用户通过第一种实现方式主动输入各个预期压测指标及预期资源占用情况。其中预期响应时间可以包括接口类预期响应时间和报表类查询预期响应时间,其中接口类预期响应时间一般小于3秒,报表类查询预期响应时间一般小于8秒。预期事务成功率一般大于99%,预期资源占用情况可以包括CPU使用率和内存使用率,其中CPU使用率一般小于等于80%,内存使用率一般小于80%。因此为了方便可以设置接口类预期响应时间为3秒,报表类查询预期响应时间为8秒,预期事务成功率为99%,预期CPU使用率为80%,预期内存使用率为80%。
对于预期并发数和预期每秒完成的事务数则可以根据用户输入的参数不同而采用不同的指标计算公式来进行计算,即根据不同的场景实现预期压测指标的动态计算,规则平台可以首先获取到用户输入的参数,然后根据预先建立的参数与指标计算公式的对应关系获取到对应的指标计算公式,再将用户输入的参数输入至该指标计算公式中计算得到预期并发数和预期每秒完成的事务数,以实现预期压测指标的动态计算。
例如,规则计算平台可以首先获取到用户输入的参数,判断用户是否输入了全部的参数,如果用户输入了全部的参数,则转到第一种实现方式,即用户直接通过规则平台提供的人机交互装置或界面输入每一预期压测指标和预期资源占用情况。如果用户未输入全部的参数,则获取到用户输入的参数,根据用户输入的参数获取到对应的指标计算公式,例如可以将用户输入的参数的名称与预先建立的参数与指标计算公式的对应关系中的参数的名称进行匹配,如果匹配成功,则选取对应的指标计算公式计算其他预期压测指标。如果存在多个匹配成功的参数对应的指标计算公式,则可以由用户选择其中一个指标计算公式进行计算,以引入用户参与,提高预期压测指标计算的准确度。
上述实施例中,将预期压测指标及预期资源占用情况分为两种情况,一种可以直接获取到规则平台的默认指标,另外则是根据用户输入的参数获取到对应的指标计算公式,再根据指标计算公式和用户输入的参数计算得到预期并发数和预期每秒完成的事务数,使得预期压测指标及预期资源占用情况的获取形式多样化,从而可以提高测试效率。
在其中一个实施例中,获取与参数对应的指标计算公式可以包括:当输入的参数包括总业务量和风险系数时,获取与总业务量和风险系数对应的指标计算公式为:
tps=(pv×80%)/(s×20%)×(1+f) (1)
ic=tps×(rt+ct) (2)
其中,tps为预期每秒完成的事务数,pv为总业务量、s为每天的秒数、f为风险系数,ic为预期并发数、rt为预期响应时间,ct为已知的思考时间。
具体地,用户通过规则平台提供的人机交互装置或界面输入自己已知的参数,规则平台获取到该参数后,将该参数的参数名称与预先建立的参数与指标计算公式的对应关系中的参数的名称进行匹配,当输入的参数中包括总业务量和风险系数时,则可以获取到总业务量和风险系数对应的指标计算公式,即上述公式(1)和公式(2),规则平台将用户输入的总业务量和风险系数输入至上述公式中即可以得到预期每秒完成的事务数和预期并发数。
其中,上述总业务量pv(page view)是指自浏览器的html内容请求的总数。其中用户每1次对待测系统中的每个网页访问均被记录1次,用户对同一页面的多次访问累计即可以得到总业务量。风险系数是指待测系统面临的风险的系数,其一般由用户进行设置。响应时间是指待测系统从接收到执行机的访问请求至将与访问请求对应的响应数据发送到执行机之间的时间段,思考时间是用于模拟用户与待测系统执行的各种交互之间存在等待时间这种行为。系统性能测试中的各个请求之间会产生思考时间。系统性能测试中使用思考时间可以创建更为精确的负载模拟。
上述实施例中,在用户输入了总业务量和风险系数后,可以根据预设的指标计算公式计算得到预期并发数和预期每秒完成的事务数,不需要人工手动计算该些指标,提高了测试效率。
在其中一个实施例中,获取与参数对应的指标计算公式可以包括:当输入的参数包括平均并发数时,获取与总业务量和风险系数对应的指标计算公式为:
tps=ic/rt (4)
其中,ic为预期并发数,c为平均并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
具体地,用户通过规则平台提供的人机交互装置或界面输入自己已知的参数,规则平台获取到该参数后,将该参数的参数名称与预先建立的参数与指标计算公式的对应关系中的参数的名称进行匹配,当输入的参数中包括平均并发数时,则可以获取到平均并发数对应的指标计算公式,即上述公式(3)和公式(4),规则平台将用户输入的平均并发数输入至上述公式中即可以得到预期每秒完成的事务数和预期并发数。
其中,上述响应时间是指待测系统从接收到执行机的访问请求至将与访问请求对应的响应数据发送到执行机之间的时间段,思考时间是用于模拟用户与待测系统执行的各种交互之间存在等待时间这种行为。系统性能测试中的各个请求之间会产生思考时间。系统性能测试中使用思考时间可以创建更为精确的负载模拟。并发数是指待测系统在同一时间访问的人数,人数越大,瞬间带宽要求更高。平均并发数是指一段时间内的访问人数的平均值,例如可以选取测试期间的平均访问人数作为平均并发数。
上述实施例中,在用户输入了平均并发数后,可以根据预设的指标计算公式计算得到预期并发数和预期每秒完成的事务数,不需要人工手动计算该些指标,提高了测试效率。
在其中一个实施例中,获取与参数对应的指标计算公式可以包括:当输入的参数包括平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长时,获取与总业务量和风险系数对应的指标计算公式为:
ic=nl/t (5)
tps=ic/rt (6)
其中,n为平均每天访问用户数,l为一天内用户从登录到退出的平均时间,t为测试时长,ic为预期并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
具体地,用户通过规则平台提供的人机交互装置或界面输入自己已知的参数,规则平台获取到该参数后,将该参数的参数名称与预先建立的参数与指标计算公式的对应关系中的参数的名称进行匹配,当输入的参数中包括平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长时,则可以获取到平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长对应的指标计算公式,即上述公式(5)和公式(6),规则平台将用户输入的平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长输入至上述公式中即可以得到预期每秒完成的事务数和预期并发数。
其中,响应时间是指待测系统从接收到执行机的访问请求至将与访问请求对应的响应数据发送到执行机之间的时间段,思考时间是用于模拟用户与待测系统执行的各种交互之间存在等待时间这种行为。系统性能测试中的各个请求之间会产生思考时间。系统性能测试中使用思考时间可以创建更为精确的负载模拟。
上述实施例中,在用户输入了平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长后,可以根据预设的指标计算公式计算得到预期并发数和预期每秒完成的事务数,不需要人工手动计算该些指标,提高了测试效率。
在其中一个实施例中,针对上述获取上述预期压测指标及预期资源占用情况的第三种实现方式,上述步骤S204,即获取与系统性能测试指令对应的预期压测指标及预期资源占用情况,可以包括:获取与系统性能测试指令对应的预期响应时间、预期事务成功率、预期资源占用情况以及当前默认并发数。从而上述方法还可以包括:当实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况时,则获取当前默认并发数的步长,并根据步长更新当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况;根据当前默认并发数计算预期每秒完成的事务数。
具体地,当用户未通过规则平台提供的人机交互装置或界面输入任何参数时,则规则平台可以选择默认的标准值,并在测试过程中计算得到各个指标。
其中,具体地,一般对于响应时间、事务成功率、并发数以及资源占用情况均可以采用默认的标准指标。其中预期响应时间可以包括接口类预期响应时间和报表类查询预期响应时间,其中接口类预期响应时间一般小于3秒,报表类查询预期响应时间一般小于8秒。预期事务成功率一般大于99%,预期资源占用情况可以包括CPU使用率和内存使用率,其中CPU使用率一般小于等于80%,内存使用率一般小于80%,并发数一般设置为10。因此为了方便可以设置接口类预期响应时间为3秒,报表类查询预期响应时间为8秒,预期事务成功率为99%,预期CPU使用率为80%,预期内存使用率为80%,并发数设置为10。
规则平台在获取到默认的标准值后,开始进行系统性能测试,并获取到脚本调度平台返回的测试结果,当实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况时,即在当前指标下,系统性能测试失败,因此为了实现对待测系统的精确的度量,可以获取到当前默认并发数的步长,例如可以设置为1、2等,具体可以由用户进行设置,规则平台通过步长更新当前默认并发数,例如,根据步长降低该当前默认并发数,并将更新后的当前默认并发数发送给脚本调度平台,从而脚本调度平台根据该当前默认并发数调整当前空闲的执行机的执行以重新获取到实际压测指标,直至实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况,则记录该并发数的临界值,根据该并发数的临界值获得到预期每秒完成的事务数,其中预期每秒完成的事务数=并发数的临界值比上预期响应时间。
可选地,当实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况时,则获取当前默认并发数的步长,并根据步长更新当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况;根据当前默认并发数计算预期每秒完成的事务数。
具体地,当当实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况时,即在当前指标下,系统性能测试成功,因此为了实现对待测系统的精确的度量,可以获取到当前默认并发数的步长,例如可以设置为1、2等,具体可以由用户进行设置,规则平台通过步长更新当前默认并发数,例如,根据步长加大该当前默认并发数,并将更新后的当前默认并发数发送给脚本调度平台,从而脚本调度平台根据该当前默认并发数调整当前空闲的执行机的执行以重新获取到实际压测指标,直至实际压测指标未达到预期压测指标或实际资源占用情况大于等于具预期资源占用情况,则记录该并发数的临界值,根据该并发数的临界值获得到预期每秒完成的事务数,其中预期每秒完成的事务数=并发数的临界值比上预期响应时间。
上述实施例中,可以根据规则平台中的默认的标准值以及测试过程中的测试结果计算得到各个预期压测指标和预期资源占用情况,不需要人工手动计算该些指标,提高了测试效率。
为了方便,参阅图4,图4为另一实施例中系统性能测试方法的流程示意图,在实际应用中可以参照下述实施例:规则平台接收系统性能测试指令,并根据用户是否输入参数来计算预期压测指标和预期资源占用情况,当用户输入了所有的预期压测指标和预期资源占用情况,则直接在用户点击开始执行按钮后,规则平台获取到用户输入的所有的预期压测指标和预期资源占用情况;当用户输入了部分参数,则获取参数所对应的指标计算公式,并根据指标计算公式计算得到预期并发数和预期每秒完成的事务数,且获取规则平台中已存储的与系统性能测试指令对应的预期响应时间、预期事务成功率以及预期资源占用情况;当用户未输入任何参数,则获取规则平台中已存储的与系统性能测试指令对应的预期响应时间、预期事务成功率、预期资源占用情况和当前默认并发数,并在测试过程中获取到并发数临界值,根据并发数临界值计算得到预期每秒完成的事务数。
在本实施例中,假设用户输入了预期压测指标和预期资源占用情况,例如预期每秒完成的事务数填写400,预期响应时间设置为3秒,预期事务成功率设置为99%,应用服务器CPU使用率<80%,内存使用率<80%,数据库服务器CPU使用率<60%,内存使用率<60%,用户在确认信息后,点击人机交互界面中“开始执行”按钮,则规则平台开始执行测试,并且可以以进度条的方式显示执行测试的情况。
在执行完成后,规则平台可以接收到脚本调度平台和系统资源监控平台返回的实际压测指标和实际资源占用情况,规则平台将接收到的实际压测指标和实际资源占用情况显示在人机交互界面中,并进行分析,例如当判断出实际响应时间小于预期响应时间,实际资源占用情况小于预期资源占用情况、实际每秒完成的事务数大于预期每秒完成的事务数、实际事务成功率大于预期事务成功率时,则表示测试成功,否则测试失败,且在测试成功时,规则平台可以根据测试结果、实际压测指标、预期压测指标、实际资源占用情况和预期资源占用情况以及用户所选择的报告模板生成测试报告,并将测试报告发送至用户账户中,从而用户在终端登录账户时,可以下载或在线查看该测试报告。
上述实施例中,规则平台可以根据用户是否输入参数来计算预期压测指标和预期资源占用情况,并且自动获取到实际压测指标和预期压测指标,并根据实际压测指标、预期压测指标、实际资源占用情况和预期资源占用情况生成测试报告,不需要人工统计,提高了测试效率。
应该理解的是,虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种系统性能测试装置,包括:接收模块100、预期指标获取模块200、实际指标获取模块300、实际资源占用情况获取模块400和比较模块500,其中:
接收模块100,用于接收输入的系统性能测试指令,系统性能测试指令携带有待测系统标识。
预期指标获取模块200,用于获取与系统性能测试指令对应的预期压测指标及预期资源占用情况。
实际指标获取模块300,用于将系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;系统性能测试指令用于指示脚本调度平台获取与待测系统标识对应的执行脚本和当前空闲的执行机,并将执行脚本发送到当前空闲的执行机中执行后,获取待测系统标识对应的实际压测指标。
实际资源占用情况获取模块400,用于从资源监控平台获取测试期间待测系统的实际资源占用情况。
比较模块500,用于分别将所获取到的实际压测指标与预期压测指标进行比较,将实际资源占用情况与预期资源占用情况进行比较得到测试结果。
在其中一个实施例中,预期指标获取模块200可以包括:
默认指标获取单元,用于获取与系统性能测试指令对应的预期响应时间、预期事务成功率以及预期资源占用情况。
公式获取单元,用于获取输入的参数,并获取与参数对应的指标计算公式。
计算单元,用于根据指标计算公式以及输入的参数计算得到预期并发数和预期每秒完成的事务数。
在其中一个实施例中,公式获取单元还可以用于当输入的参数包括总业务量和风险系数时,获取与总业务量和风险系数对应的指标计算公式为:
tps=(pv×80%)/(s×20%)×(1+f)
ic=tps×(rt+ct)
其中,tps为预期每秒完成的事务数,pv为总业务量、s为每天的秒数、f为风险系数,ic为预期并发数、rt为预期响应时间,ct为已知的思考时间。
在其中一个实施例中,公式获取单元还可以用于当输入的参数包括平均并发数时,获取与总业务量和风险系数对应的指标计算公式为:
tps=ic/rt
其中,ic为预期并发数,c为平均并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
在其中一个实施例中,公式获取单元还可以用于当输入的参数包括平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长时,获取与总业务量和风险系数对应的指标计算公式为:
ic=nl/t
tps=ic/rt
其中,n为平均每天访问用户数,l为一天内用户从登录到退出的平均时间,t为测试时长,ic为预期并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
在其中一个实施例中,预期指标获取模块200还可以用于获取与系统性能测试指令对应的预期响应时间、预期事务成功率、预期资源占用情况以及当前默认并发数。
上述装置还可以包括:
当前默认并发数获取模块,用于当实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况时,则获取当前默认并发数的步长,并根据步长更新当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况。
预期每秒完成的事务数获取模块,用于根据当前默认并发数计算预期每秒完成的事务数。
在其中一个实施例中,当前默认并发数获取模块还可以用于当实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况时,则获取当前默认并发数的步长,并根据步长更新当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况。
预期每秒完成的事务数获取模块还可以用于根据当前默认并发数计算预期每秒完成的事务数。
关于系统性能测试装置的具体限定可以参见上文中对于系统性能测试方法的限定,在此不再赘述。上述系统性能测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储测试数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种系统性能测试方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收输入的系统性能测试指令,系统性能测试指令携带有待测系统标识;获取与系统性能测试指令对应的预期压测指标及预期资源占用情况;将系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;系统性能测试指令用于指示脚本调度平台获取与待测系统标识对应的执行脚本和当前空闲的执行机,并将执行脚本发送到当前空闲的执行机中执行后,获取待测系统标识对应的实际压测指标;从资源监控平台获取测试期间待测系统的实际资源占用情况;分别将所获取到的实际压测指标与预期压测指标进行比较,将实际资源占用情况与预期资源占用情况进行比较得到测试结果。
在一个实施例中,处理器执行计算机程序时所实现的获取与系统性能测试指令对应的预期压测指标及预期资源占用情况,可以包括:获取与系统性能测试指令对应的预期响应时间、预期事务成功率以及预期资源占用情况;获取输入的参数,并获取与参数对应的指标计算公式;根据指标计算公式以及输入的参数计算得到预期并发数和预期每秒完成的事务数。
在一个实施例中,处理器执行计算机程序时所实现的获取与参数对应的指标计算公式,可以包括:当输入的参数包括总业务量和风险系数时,获取与总业务量和风险系数对应的指标计算公式为:
tps=(pv×80%)/(s×20%)×(1+f)
ic=tps×(rt+ct)
其中,tps为预期每秒完成的事务数,pv为总业务量、s为每天的秒数、f为风险系数,ic为预期并发数、rt为预期响应时间,ct为已知的思考时间。
在一个实施例中,处理器执行计算机程序时所实现的获取与参数对应的指标计算公式,可以包括:当输入的参数包括平均并发数时,获取与总业务量和风险系数对应的指标计算公式为:
tps=ic/rt
其中,ic为预期并发数,c为平均并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
在一个实施例中,处理器执行计算机程序时所实现的获取与参数对应的指标计算公式,可以包括:当输入的参数包括平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长时,获取与总业务量和风险系数对应的指标计算公式为:
ic=nl/t
tps=ic/rt
其中,n为平均每天访问用户数,l为一天内用户从登录到退出的平均时间,t为测试时长,ic为预期并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
在一个实施例中,处理器执行计算机程序时所实现的获取与系统性能测试指令对应的预期压测指标及预期资源占用情况,可以包括:获取与系统性能测试指令对应的预期响应时间、预期事务成功率、预期资源占用情况以及当前默认并发数;在一个实施例中,处理器执行计算机程序时还实现以下步骤:当实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况时,则获取当前默认并发数的步长,并根据步长更新当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况;根据当前默认并发数计算预期每秒完成的事务数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况时,则获取当前默认并发数的步长,并根据步长更新当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况;根据当前默认并发数计算预期每秒完成的事务数。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收输入的系统性能测试指令,系统性能测试指令携带有待测系统标识;获取与系统性能测试指令对应的预期压测指标及预期资源占用情况;将系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;系统性能测试指令用于指示脚本调度平台获取与待测系统标识对应的执行脚本和当前空闲的执行机,并将执行脚本发送到当前空闲的执行机中执行后,获取待测系统标识对应的实际压测指标;从资源监控平台获取测试期间待测系统的实际资源占用情况;分别将所获取到的实际压测指标与预期压测指标进行比较,将实际资源占用情况与预期资源占用情况进行比较得到测试结果。
在一个实施例中,处理器执行计算机程序时所实现的获取与系统性能测试指令对应的预期压测指标及预期资源占用情况,可以包括:获取与系统性能测试指令对应的预期响应时间、预期事务成功率以及预期资源占用情况;获取输入的参数,并获取与参数对应的指标计算公式;根据指标计算公式以及输入的参数计算得到预期并发数和预期每秒完成的事务数。
在一个实施例中,处理器执行计算机程序时所实现的获取与参数对应的指标计算公式,可以包括:当输入的参数包括总业务量和风险系数时,获取与总业务量和风险系数对应的指标计算公式为:
tps=(pv×80%)/(s×20%)×(1+f)
ic=tps×(rt+ct)
其中,tps为预期每秒完成的事务数,pv为总业务量、s为每天的秒数、f为风险系数,ic为预期并发数、rt为预期响应时间,ct为已知的思考时间。
在一个实施例中,处理器执行计算机程序时所实现的获取与参数对应的指标计算公式,可以包括:当输入的参数包括平均并发数时,获取与总业务量和风险系数对应的指标计算公式为:
tps=ic/rt
其中,ic为预期并发数,c为平均并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
在一个实施例中,处理器执行计算机程序时所实现的获取与参数对应的指标计算公式,可以包括:当输入的参数包括平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长时,获取与总业务量和风险系数对应的指标计算公式为:
ic=nl/t
tps=ic/rt
其中,n为平均每天访问用户数,l为一天内用户从登录到退出的平均时间,t为测试时长,ic为预期并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
在一个实施例中,处理器执行计算机程序时所实现的获取与系统性能测试指令对应的预期压测指标及预期资源占用情况,可以包括:获取与系统性能测试指令对应的预期响应时间、预期事务成功率、预期资源占用情况以及当前默认并发数;在一个实施例中,处理器执行计算机程序时还实现以下步骤:当实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况时,则获取当前默认并发数的步长,并根据步长更新当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况;根据当前默认并发数计算预期每秒完成的事务数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:当实际压测指标达到预期压测指标且实际资源占用情况小于预期资源占用情况时,则获取当前默认并发数的步长,并根据步长更新当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标未达到预期压测指标或实际资源占用情况大于等于预期资源占用情况;根据当前默认并发数计算预期每秒完成的事务数。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种系统性能测试方法,所述方法包括:
接收输入的系统性能测试指令,所述系统性能测试指令携带有待测系统标识;
获取与所述系统性能测试指令对应的预期压测指标及预期资源占用情况;
将所述系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;所述系统性能测试指令用于指示所述脚本调度平台获取与所述待测系统标识对应的执行脚本和当前空闲的执行机,并将所述执行脚本发送到所述当前空闲的执行机中执行后,获取所述待测系统标识对应的实际压测指标;
从资源监控平台获取测试期间待测系统的实际资源占用情况;
分别将所获取到的实际压测指标与所述预期压测指标进行比较,将所述实际资源占用情况与所述预期资源占用情况进行比较得到测试结果。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述系统性能测试指令对应的预期压测指标及预期资源占用情况,包括:
获取与所述系统性能测试指令对应的预期响应时间、预期事务成功率以及预期资源占用情况;
获取输入的参数,并获取与所述参数对应的指标计算公式;
根据所述指标计算公式以及所述输入的参数计算得到预期并发数和预期每秒完成的事务数。
3.根据权利要求2所述的方法,其特征在于,所述获取与所述参数对应的指标计算公式,包括:
当所述输入的参数包括总业务量和风险系数时,获取与所述总业务量和所述风险系数对应的指标计算公式为:
tps=(pv×80%)/(s×20%)×(1+f)
ic=tps×(rt+ct)
其中,tps为预期每秒完成的事务数,pv为总业务量、s为每天的秒数、f为风险系数,ic为预期并发数、rt为预期响应时间,ct为已知的思考时间。
4.根据权利要求2所述的方法,其特征在于,所述获取与所述参数对应的指标计算公式,包括:
当所述输入的参数包括平均并发数时,获取与所述总业务量和所述风险系数对应的指标计算公式为:
tps=ic/rt
其中,ic为预期并发数,c为平均并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
5.根据权利要求2所述的方法,其特征在于,所述获取与所述参数对应的指标计算公式,包括:
当所述输入的参数包括平均每天访问用户数、一天内用户从登录到退出的平均时间和测试时长时,获取与所述总业务量和所述风险系数对应的指标计算公式为:
ic=nl/t
tps=ic/rt
其中,n为平均每天访问用户数,l为一天内用户从登录到退出的平均时间,t为测试时长,ic为预期并发数,tps为预期每秒完成的事务数,rt为预期响应时间。
6.根据权利要求1所述的方法,其特征在于,所述获取与所述系统性能测试指令对应的预期压测指标及预期资源占用情况,包括:
获取与所述系统性能测试指令对应的预期响应时间、预期事务成功率、预期资源占用情况以及当前默认并发数;
所述方法还包括:
当所述实际压测指标未达到所述预期压测指标或所述实际资源占用情况大于等于预期资源占用情况时,则获取所述当前默认并发数的步长,并根据所述步长更新所述当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标达到所述预期压测指标且所述实际资源占用情况小于预期资源占用情况;
根据所述当前默认并发数计算预期每秒完成的事务数。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当所述实际压测指标达到所述预期压测指标且所述实际资源占用情况小于预期资源占用情况时,则获取所述当前默认并发数的步长,并根据所述步长更新所述当前默认并发数,直至与更新后的当前默认并发数对应的实际压测指标未达到所述预期压测指标或所述实际资源占用情况大于等于预期资源占用情况;
根据所述当前默认并发数计算预期每秒完成的事务数。
8.一种系统性能测试装置,其特征在于,所述装置包括:
接收模块,用于接收输入的系统性能测试指令,所述系统性能测试指令携带有待测系统标识;
预期指标获取模块,用于获取与所述系统性能测试指令对应的预期压测指标及预期资源占用情况;
实际指标获取模块,用于将所述系统性能测试指令发送至脚本调度平台,并接收脚本调度平台返回的实际压测指标;所述系统性能测试指令用于指示所述脚本调度平台获取与所述待测系统标识对应的执行脚本和当前空闲的执行机,并将所述执行脚本发送到所述当前空闲的执行机中执行后,获取所述待测系统标识对应的实际压测指标;
实际资源占用情况获取模块,用于从资源监控平台获取测试期间待测系统的实际资源占用情况;
比较模块,用于分别将所获取到的实际压测指标与所述预期压测指标进行比较,将所述实际资源占用情况与所述预期资源占用情况进行比较得到测试结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810252682.3A CN108563544A (zh) | 2018-03-26 | 2018-03-26 | 系统性能测试方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810252682.3A CN108563544A (zh) | 2018-03-26 | 2018-03-26 | 系统性能测试方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108563544A true CN108563544A (zh) | 2018-09-21 |
Family
ID=63533235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810252682.3A Pending CN108563544A (zh) | 2018-03-26 | 2018-03-26 | 系统性能测试方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108563544A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109828913A (zh) * | 2018-12-27 | 2019-05-31 | 北京新鼎峰软件科技有限公司 | 一种测试报告生成方法及装置 |
CN110166540A (zh) * | 2019-05-09 | 2019-08-23 | 四川长虹电器股份有限公司 | 一种基于xmpp协议的登录tps计算方法 |
CN110377519A (zh) * | 2019-07-22 | 2019-10-25 | 中国工商银行股份有限公司 | 大数据系统的性能容量测试方法、装置、设备及存储介质 |
CN110515819A (zh) * | 2019-08-27 | 2019-11-29 | 深圳市网心科技有限公司 | 性能测试方法、电子设备、调度系统及介质 |
CN110993014A (zh) * | 2019-11-20 | 2020-04-10 | 深圳忆联信息系统有限公司 | Ssd处于空闲状态下的行为测试方法、装置、计算机设备及存储介质 |
CN111162934A (zh) * | 2019-12-13 | 2020-05-15 | 微民保险代理有限公司 | 业务服务的测试方法和装置、存储介质、电子装置 |
CN111444068A (zh) * | 2020-03-03 | 2020-07-24 | Oppo广东移动通信有限公司 | 系统性能测试方法、装置、计算机设备及存储介质 |
CN111694717A (zh) * | 2019-03-14 | 2020-09-22 | 北京京东尚科信息技术有限公司 | 一种确定系统承压能力值的方法和装置 |
CN111722917A (zh) * | 2020-06-30 | 2020-09-29 | 北京来也网络科技有限公司 | 性能测试任务的资源调度方法、装置和设备 |
CN112307004A (zh) * | 2020-11-03 | 2021-02-02 | 平安普惠企业管理有限公司 | 数据治理方法、装置、设备及存储介质 |
CN112363913A (zh) * | 2020-10-22 | 2021-02-12 | 北京电子工程总体研究所 | 一种并行测试任务调度寻优的方法、装置和计算设备 |
CN113158146A (zh) * | 2020-01-07 | 2021-07-23 | 网联清算有限公司 | 脚本管理方法、脚本管理平台、计算设备及介质 |
CN113282471A (zh) * | 2021-05-17 | 2021-08-20 | 多点(深圳)数字科技有限公司 | 设备性能测试方法、装置、终端设备 |
CN113342515A (zh) * | 2021-05-11 | 2021-09-03 | 北京大学 | 一种无服务器计算资源选择方法、装置、设备及存储介质 |
CN113778844A (zh) * | 2020-10-14 | 2021-12-10 | 北京京东振世信息技术有限公司 | 一种自动化性能测试方法和装置 |
CN113806214A (zh) * | 2021-02-10 | 2021-12-17 | 京东科技控股股份有限公司 | 应用程序的测试方法、装置、计算机设备及存储介质 |
CN113900834A (zh) * | 2021-09-24 | 2022-01-07 | 天津同阳科技发展有限公司 | 基于物联网技术的数据处理方法、装置、设备及存储介质 |
CN114116422A (zh) * | 2021-11-19 | 2022-03-01 | 苏州浪潮智能科技有限公司 | 一种硬盘日志分析方法、硬盘日志分析装置及存储介质 |
CN111427770B (zh) * | 2020-02-29 | 2024-04-09 | 中国平安人寿保险股份有限公司 | 一种资源测试方法及相关设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789002A (zh) * | 2010-01-22 | 2010-07-28 | 浪潮(北京)电子信息产业有限公司 | 一种服务器上数据库兼容性的测试的装置及方法 |
CN105930220A (zh) * | 2016-04-22 | 2016-09-07 | 乐视控股(北京)有限公司 | 业务系统性能测试方法和装置 |
CN106470133A (zh) * | 2015-08-20 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 系统压力测试方法及装置 |
CN107547309A (zh) * | 2017-08-21 | 2018-01-05 | 北京奇安信科技有限公司 | 一种安全网关性能的自动化测试方法及装置 |
-
2018
- 2018-03-26 CN CN201810252682.3A patent/CN108563544A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789002A (zh) * | 2010-01-22 | 2010-07-28 | 浪潮(北京)电子信息产业有限公司 | 一种服务器上数据库兼容性的测试的装置及方法 |
CN106470133A (zh) * | 2015-08-20 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 系统压力测试方法及装置 |
CN105930220A (zh) * | 2016-04-22 | 2016-09-07 | 乐视控股(北京)有限公司 | 业务系统性能测试方法和装置 |
CN107547309A (zh) * | 2017-08-21 | 2018-01-05 | 北京奇安信科技有限公司 | 一种安全网关性能的自动化测试方法及装置 |
Non-Patent Citations (1)
Title |
---|
AAOIJIYM: "系统吞吐量(TPS)、用户并发量、性能测试概念和公式", 《豆丁网》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109828913A (zh) * | 2018-12-27 | 2019-05-31 | 北京新鼎峰软件科技有限公司 | 一种测试报告生成方法及装置 |
CN111694717A (zh) * | 2019-03-14 | 2020-09-22 | 北京京东尚科信息技术有限公司 | 一种确定系统承压能力值的方法和装置 |
CN110166540A (zh) * | 2019-05-09 | 2019-08-23 | 四川长虹电器股份有限公司 | 一种基于xmpp协议的登录tps计算方法 |
CN110377519B (zh) * | 2019-07-22 | 2023-06-23 | 中国工商银行股份有限公司 | 大数据系统的性能容量测试方法、装置、设备及存储介质 |
CN110377519A (zh) * | 2019-07-22 | 2019-10-25 | 中国工商银行股份有限公司 | 大数据系统的性能容量测试方法、装置、设备及存储介质 |
CN110515819A (zh) * | 2019-08-27 | 2019-11-29 | 深圳市网心科技有限公司 | 性能测试方法、电子设备、调度系统及介质 |
CN110993014A (zh) * | 2019-11-20 | 2020-04-10 | 深圳忆联信息系统有限公司 | Ssd处于空闲状态下的行为测试方法、装置、计算机设备及存储介质 |
CN110993014B (zh) * | 2019-11-20 | 2021-07-13 | 深圳忆联信息系统有限公司 | Ssd处于空闲状态下的行为测试方法、装置、计算机设备及存储介质 |
CN111162934B (zh) * | 2019-12-13 | 2023-01-03 | 微民保险代理有限公司 | 业务服务的测试方法和装置、存储介质、电子装置 |
CN111162934A (zh) * | 2019-12-13 | 2020-05-15 | 微民保险代理有限公司 | 业务服务的测试方法和装置、存储介质、电子装置 |
CN113158146A (zh) * | 2020-01-07 | 2021-07-23 | 网联清算有限公司 | 脚本管理方法、脚本管理平台、计算设备及介质 |
CN111427770B (zh) * | 2020-02-29 | 2024-04-09 | 中国平安人寿保险股份有限公司 | 一种资源测试方法及相关设备 |
CN111444068B (zh) * | 2020-03-03 | 2023-09-19 | Oppo广东移动通信有限公司 | 系统性能测试方法、装置、计算机设备及存储介质 |
CN111444068A (zh) * | 2020-03-03 | 2020-07-24 | Oppo广东移动通信有限公司 | 系统性能测试方法、装置、计算机设备及存储介质 |
CN111722917A (zh) * | 2020-06-30 | 2020-09-29 | 北京来也网络科技有限公司 | 性能测试任务的资源调度方法、装置和设备 |
CN113778844A (zh) * | 2020-10-14 | 2021-12-10 | 北京京东振世信息技术有限公司 | 一种自动化性能测试方法和装置 |
CN112363913B (zh) * | 2020-10-22 | 2024-01-26 | 北京电子工程总体研究所 | 一种并行测试任务调度寻优的方法、装置和计算设备 |
CN112363913A (zh) * | 2020-10-22 | 2021-02-12 | 北京电子工程总体研究所 | 一种并行测试任务调度寻优的方法、装置和计算设备 |
CN112307004B (zh) * | 2020-11-03 | 2024-01-05 | 广东数源信息科技有限公司 | 数据治理方法、装置、设备及存储介质 |
CN112307004A (zh) * | 2020-11-03 | 2021-02-02 | 平安普惠企业管理有限公司 | 数据治理方法、装置、设备及存储介质 |
CN113806214A (zh) * | 2021-02-10 | 2021-12-17 | 京东科技控股股份有限公司 | 应用程序的测试方法、装置、计算机设备及存储介质 |
CN113342515A (zh) * | 2021-05-11 | 2021-09-03 | 北京大学 | 一种无服务器计算资源选择方法、装置、设备及存储介质 |
CN113282471B (zh) * | 2021-05-17 | 2022-09-27 | 多点(深圳)数字科技有限公司 | 设备性能测试方法、装置、终端设备 |
CN113282471A (zh) * | 2021-05-17 | 2021-08-20 | 多点(深圳)数字科技有限公司 | 设备性能测试方法、装置、终端设备 |
CN113900834B (zh) * | 2021-09-24 | 2023-02-14 | 天津同阳科技发展有限公司 | 基于物联网技术的数据处理方法、装置、设备及存储介质 |
CN113900834A (zh) * | 2021-09-24 | 2022-01-07 | 天津同阳科技发展有限公司 | 基于物联网技术的数据处理方法、装置、设备及存储介质 |
CN114116422A (zh) * | 2021-11-19 | 2022-03-01 | 苏州浪潮智能科技有限公司 | 一种硬盘日志分析方法、硬盘日志分析装置及存储介质 |
CN114116422B (zh) * | 2021-11-19 | 2024-05-24 | 苏州浪潮智能科技有限公司 | 一种硬盘日志分析方法、硬盘日志分析装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108563544A (zh) | 系统性能测试方法、装置、计算机设备和存储介质 | |
CN108965381A (zh) | 基于Nginx的负载均衡实现方法、装置、计算机设备和介质 | |
US8347306B2 (en) | Method and system for determining resource usage of each tenant in a multi-tenant architecture | |
CN110266752B (zh) | 区块链信息推送方法、装置、计算机设备和存储介质 | |
US8180884B1 (en) | Method and apparatus for monitoring, reporting and charging for services in an application network | |
CN103246606B (zh) | Esb平台的性能测试方法和系统 | |
CN108536571A (zh) | 性能测试方法、装置、设备及计算机可读存储介质 | |
CN109309596A (zh) | 一种压力测试方法、装置及服务器 | |
CN110413512A (zh) | Ab测试方法、装置、计算机设备和存储介质 | |
CN110099414A (zh) | 网络资源传输方法、装置、计算机设备和存储介质 | |
CN106878108A (zh) | 网络流量回放测试方法及装置 | |
Mi et al. | Sizing multi-tier systems with temporal dependence: benchmarks and analytic models | |
CN105224296B (zh) | 基于独立第三方的Web服务Qos属性评价系统及其评价方法 | |
WO2019086522A1 (en) | A COMPUTER IMPLEMENTED METHOD, A SYSTEM AND A COMPUTER PROGRAM FOR OPTIMIZING THE OPERATION OF A CLOUD HOSTED SOFTWARE AS A SERVICE (SaaS) SYSTEM | |
CN112488745A (zh) | 一种智能费控管理方法、装置、设备和存储介质 | |
CN110084476A (zh) | 案件调整方法、装置、计算机设备和存储介质 | |
CN110046093A (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
CN110941681B (zh) | 电力系统的多租户数据处理系统、方法和装置 | |
CN113837467B (zh) | 点对点能源项目评估方法、装置、计算机设备和存储介质 | |
CN109492890A (zh) | 用户体验量化评估值的测量方法、装置、计算机设备 | |
CN110798496A (zh) | 一种cdn调度系统、方法及装置 | |
CN111598390B (zh) | 服务器高可用性评估方法、装置、设备和可读存储介质 | |
CN109325698A (zh) | 用户体验量化评估值的测量方法、装置、计算机设备 | |
CN108418730A (zh) | 网络流量测试方法、装置、设备以及计算机可读存储介质 | |
CN114936089A (zh) | 资源调度方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180921 |