CN110955591B - 系统性能评估方法、装置、计算机设备和存储介质 - Google Patents

系统性能评估方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110955591B
CN110955591B CN201910994860.4A CN201910994860A CN110955591B CN 110955591 B CN110955591 B CN 110955591B CN 201910994860 A CN201910994860 A CN 201910994860A CN 110955591 B CN110955591 B CN 110955591B
Authority
CN
China
Prior art keywords
curve
test
fluctuation
rate
trend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910994860.4A
Other languages
English (en)
Other versions
CN110955591A (zh
Inventor
程浩
曾欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wensihai Huizhike Technology Co ltd
Original Assignee
Wensihai Huizhike Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wensihai Huizhike Technology Co ltd filed Critical Wensihai Huizhike Technology Co ltd
Priority to CN201910994860.4A priority Critical patent/CN110955591B/zh
Publication of CN110955591A publication Critical patent/CN110955591A/zh
Application granted granted Critical
Publication of CN110955591B publication Critical patent/CN110955591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26Functional testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种系统性能评估方法、装置、计算机设备和存储介质。所述方法包括:获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。采用该方法,可提供预测评估车机性能的途径,进而满足用户对汽车产品质量趋势或生产风险的预测评估需求。

Description

系统性能评估方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种系统性能评估方法、装置、计算机设备和存储介质。
背景技术
随着车载信息娱乐产品(简称车机)的更新换代,车机性能的检测已成为确保车载信息娱乐产品各项功能正常运行的重要基础。
然而,传统的性能测试方法不仅未能实现对车机整体性能的检测评估,还无法预期其质量稳定趋势。例如,通过计算测试用例(测试case)通过率,只能完成普通的功能或性能测试,而对于产品的质量趋势和风险预测,均无法提供指导性作用,进而无法满足在汽车行业内用户的系统开发需求。
因此,现有的系统性能测试方法存在着无法满足用户需求的问题。
发明内容
基于此,有必要针对上述系统性能评估方法存在着无法满足用户需求的技术问题,提供一种能够合理解决上述技术问题的系统性能评估方法、装置、计算机设备和存储介质。
一种系统性能评估方法,包括如下步骤:
获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。
在其中一个实施例中,所述根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线,包括:
根据所述测试用例通过率建立直角坐标系;
在所述直角坐标系中按照所述预设时间段内的时序连接所述测试用例通过率,生成初始测试曲线。
在其中一个实施例中,所述获取预设时段内接口测试数据的测试用例通过率,包括:
获取预设时段内车机端的接口测试数据;
提取所述接口测试数据中的测试用例执行量和测试用例通过量;
计算所述测试用例通过量与所述测试用例执行量的比值,得到测试用例通过率。
在其中一个实施例中,所述初始测试曲线中包括多于三个的测试用例通过率;所述根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线,包括:
根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势;
根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势;
根据所述初始测试曲线中除前序两个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第三曲线波动趋势;
根据所述测试用例通过率的总数量循环执行上述步骤,直至确定所述初始测试曲线的所有曲线波动趋势,进而根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线。
在其中一个实施例中,所述根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势,包括:
确定所述初始测试曲线中的第一个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第三个测试用例通过率作为尾序通过率;
获取第一首尾通过率均值;所述第一首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;
根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势;所述中间通过率为所述初始测试曲线中的第二个测试用例通过率。
在其中一个实施例中,所述根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势,包括:
若所述第一首尾通过率均值与所述中间通过率之间的差值为零,且所述尾序通过率大于所述首序通过率,则确定所述第一曲线波动趋势为有效波动趋势;
若所述第一首尾通过率均值与所述中间通过率之间的差值为负数,则进一步确定所述尾序通过率是否大于所述中间通过率;若是,则确定所述第一曲线波动趋势为有效波动趋势;若否,则确定所述第一曲线波动趋势为下降波动趋势;
若所述第一首尾通过率均值与所述中间通过率之间的差值为正数,则确定所述第一曲线波动趋势为上升波动趋势。
在其中一个实施例中,所述根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势,包括:
确定所述初始测试曲线中的第二个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第四个测试用例通过率作为尾序通过率;
获取第二首尾通过率均值;所述第二首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;
根据所述第二首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第二曲线波动趋势;所述中间通过率为所述初始测试曲线中的第三个测试用例通过率。
在其中一个实施例中,所述根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线,包括:
按时序顺序将相邻三个的曲线波动趋势进行匹配;
若所述相邻三个的曲线波动趋势均匹配,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;
若所述相邻三个的曲线波动趋势不匹配,则首先在所述初始测试曲线中剔除为零的测试用例通过率,进而在所述相邻三个的曲线波动趋势中确定异常曲线波动趋势,根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线;所述异常曲线波动趋势为与相邻前序一个曲线波动趋势不匹配的曲线波动趋势。
在其中一个实施例中,所述根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线,包括:
计算所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值;
若所述倍率差值满足预设的倍率差阈值,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;
若所述倍率差值不满足所述倍率差阈值,则在所述初始测试曲线中剔除所述异常曲线波动趋势的尾序通过率。
一种系统性能评估装置,所述装置包括:
通过率获取模块,用于获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
初始曲线生成模块,用于根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
均值曲线生成模块,用于根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。
本申请实施例中的系统性能评估方法、装置、计算机设备和存储介质,机器测试终端通过获取车机端在预设时段内接口测试数据的测试用例通过率,生成初始测试曲线,并根据初始测试曲线的曲线波动趋势实现曲线优化,得到可评估车机性能的均值波动曲线。采用该方法,可提供预测评估车机性能的途径,进而满足用户对汽车产品质量趋势或生产风险的预测评估需求。
附图说明
图1为一个实施例中系统性能评估方法的应用环境图;
图2为一个实施例中系统性能评估方法的流程示意图;
图3为一个实施例中系统性能评估方法的性能稳定曲线图;
图4为一个实施例中系统性能评估方法的性能不稳定曲线图;
图5为另一个实施例中系统性能评估方法的性能不稳定曲线图;
图6(a)为一个实施例中系统性能评估方法的有效波势图;
图6(b)为另一个实施例中系统性能评估方法的有效波势图;
图6(c)为一个实施例中系统性能评估方法的下降波势图;
图6(d)为一个实施例中系统性能评估方法的上升波势图;
图7为一个实施例中系统性能评估装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本发明实施例所涉及的术语“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例提供的一种系统性能评估方法,可以应用于如图1所示的应用环境中,该系统性能评估方法可应用于车载系统。其中,机器测试终端102和车机端104之间通过网络建立通信连接;机器测试终端102配置有FTP(File Transfer Protocol,文件传输协议)服务端,可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备;车机端104作为车载娱乐系统的终端,可实现测试脚本和用例定期的自动化执行。
具体地,车机端104在执行自动化接口测试之前,首先需完成测试脚本地配置,该配置过程需与机器测试终端102进行通信来实现,具体包括:(1)车机端04安装case(用例)导入测试工具包,并且安装shell(用C语言编写地程序,可运行于非交互式模式,模式下的shell直接读取存放在文件中的命令,并且执行它们)与远程登陆工具包;(2)在机器测试终端102配置FTP服务端,配置case存放目录以便存储case;(3)在车机端104的case导入测试工具包中配置case导入路径,以使车机端104的shell通过该路径从机器测试终端102中获取用于测试的case;(4)车机端104执行case导入测试工具包中的case导入脚本,将测试case从终端102导入至车机端104。
更具体地,完成上述将接口测试case导入至车机端104的步骤之后,车机端104将进行测试结果的数据采集,具体包括:(1)车机端104将测试case执行完成的测试结果按模块(车载系统模块,如media,audio等)打包成xml格式的数据文件,并上传至机器测试终端102;机器测试终端102接收到测试结果数据,将数据存储与数据存储区,以待数据分析,实现对车机性能的评估。
例如,机器测试终端102接收车机端104的测试用例获取请求后,响应于该测试用例获取请求,将预存的测试用例反馈至车机端104;该测试用例用于指示车机端104执行对目标测试项目(车载系统的某个模块)进行测试后,反馈目标测试项目的测试用例执行结果至机器测试终端102,以使机器测试终端102获得接口测试数据;其中,测试用例执行结果包括测试用例总数量、测试用例执行量以及测试用例通过量。
在一个实施例中,如图2所示,提供了一种系统性能评估方法,以该方法应用于图1中的服务器102为例进行说明,包括以下步骤:
步骤S210,获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量。
其中,预设时段可以是指用户预设的测试用例执行时间段,例如,一天、一个星期、一个月等。
其中,接口测试数据可以是包括有测试用例总量、测试用例执行量、测试用例通过量等数据的测试用例执行状态结果。
其中,测试用例通过率可以是测试用例通过量在测试用例以执行量中的占比,例如,测试用例总量为100,测试用例执行量为85,测试用例通过量为80,则测试用例通过率为94%。
具体实现中,机器测试终端102要实现对车机性能的测试评估,首先需从车机端104获取接口测试数据,即上文所述的测试结果数据,进而根据用户对预设时段的设置,在接口测试数据中区预设时段内的数据进行分析,包括对预设时段内测试用例通过率的计算获取,该测试用例通过率首先由测试用例通过量计算所得,而测试用例通过量在预设时段内属于连续的测试用例通过量。
例如,机器测试终端102在获取到的接口测试数据中,根据预设时段提取对应数据,该数据包括在预设时段内连续测试车机端104(某个模块)的测试用例通过量,继而得到预设时段内连续的测试用例通过率。
步骤S220,根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线。
具体实现中,初始测试曲线可以是在直角坐标中生成的平面曲线,该直角坐标系的坐标横轴可以是测试用例执行次数(测试时间)、坐标纵轴可以是测试用例通过率(也可称占有率),机器测试终端102获取到在预设时段内的测试用例通过率,可根据测试用例通过率的测试时间在直角坐标系中顺序定点,最终按照时序顺序连接,生成未经处理的初始测试曲线。
步骤S230,根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。
其中,曲线波动趋势可以是初始测试曲线中,作为曲线节点的测试用例通过率的变化趋势,例如,上升(相邻两个测试用例通过率,相对滞后的测试用例通过率大于前序测试用例通过率)或下降(相邻两个测试用例通过率,相对滞后的测试用例通过率小于前序测试用例通过率)。
其中,首尾通过率均值可以是在初始测试曲线中任取三个连续的测试用例通过率,由第一个测试用例通过率与第三个测试用例通过率计算平均值所得;中间通过率则为所取数据中的第二个测试用例通过率,例如,在初始测试曲线中任取三个连续的测试用例通过率分别为第一测试用例通过率(90%)、第二测试用例通过率(85%)、第三测试用例通过率(94%),则首尾通过率均值为92%,中间通过率为85%。
具体实现中,机器测试终端102根据初始测试曲线的曲线波动趋势执行对初始测试曲线的优化,所用算法为预置的数据分析建模算法,该算法主要针对初始测试曲线中测试用例通过率的变化趋势进行“同留异除”,即包括对相同趋势且连续的测试用例通过率进行保留,而对于不同趋势的测试用例通过率的处理,需进一步判断其是否合法有效(数值不为零),以及判断其与前序一个测试用例通过率之间的倍率差值是否满足预设的倍率差阈值,若满足则保留,若不满足则剔除,最后将保留的测试用例通过率作取均值处理,各均值相连即可得到拟合平滑后的均值波动曲线,该均值波动趋势可评估车机性能是否稳定。同时,曲线波动趋势的确定由初始测试曲线中首尾通过率均值与中间通过率之间的差值来确定。
例如,利用均值波动趋势评估车机性能是否稳定可参阅图3-5,图3示出了表明车机性能稳定的均值波动曲线,而图4-5均示出了表明车机性能不稳定的均值波动曲线。
上述系统性能评估方法,机器测试终端通过获取车机端在预设时段内接口测试数据的测试用例通过率,生成初始测试曲线,并根据初始测试曲线的曲线波动趋势实现曲线优化,得到可评估车机性能的均值波动曲线。采用该方法,可提供预测评估车机性能的途径,进而满足用户对汽车产品质量趋势或生产风险的预测评估需求。
在一个实施例中,步骤S220中根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线,具体包括如下步骤:
根据所述测试用例通过率建立直角坐标系;在所述直角坐标系中按照所述预设时间段内的时序连接所述测试用例通过率,生成初始测试曲线。
具体实现中,机器测试终端102处理器根据测试用例通过率建立直角坐标系,可以是将测试用例执行次数作为坐标系横轴、测试用例通过率作为坐标系纵轴来建立直角坐标系,将预设时段内的测试用例通过率在直角坐标系中描点,可得到在预设时段内每次执行测试用例对应的测试用例通过率,进而连接该测试用例通过率得到初始测试曲线。
在一个实施例中,步骤S210中获取预设时段内接口测试数据的测试用例通过率,具体包括如下步骤:
获取预设时段内车机端的接口测试数据;提取所述接口测试数据中的测试用例执行量和测试用例通过量;计算所述测试用例通过量与所述测试用例执行量的比值,得到测试用例通过率。
具体实现中,测试用例通过率根据测试用例通过量和测试用例执行量确定。
例如,测试用例通过量为80,测试用例以执行量为85,计算两者之间的比值得到测试用例通过率为94%。
需要说明的是,在一些场景中,仅通过获取测试用例通过量和测试用例以执行量来计算测试用例通过率,即可评估产品健康度,即测试用例通过率越高、产品越健康;反之,计算测试用例以执行量与测试用例通过量之间的差值,即可得到测试用例未通过量,进而计算该测试用例未通过量与测试用例以执行量之比,可得测试用例未通过率,也可从另一方面评估产品健康度。
在一个实施例中,所述初始测试曲线中包括多于三个的测试用例通过率;步骤S230中根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线,具体包括如下步骤:
根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势;根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势;根据所述初始测试曲线中除前序两个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第三曲线波动趋势;根据所述测试用例通过率的总数量循环执行上述步骤,直至确定所述初始测试曲线的所有曲线波动趋势,进而根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线。
其中,第一曲线波动趋势可以是初始测试曲线中前序三个测试用例通过率的变化趋势;第二曲线波动趋势可以是在前序三个测试用例通过率的基础上,后移一个测试用例通过率为始的顺序三个测试用例通过率的变化趋势;第三曲线波动趋势可以是在前序三个测试用例通过率的基础上,后移两个测试用例通过率为始的顺序三个测试用例通过率的变化趋势。例如,初始测试曲线中包括5个测试用例通率,且各自按顺序标号,其中,第一曲线波动趋势是指一号、二号、三号测试用例通过率的变化趋势;第二曲线波动趋势是指二号、三号、四号测试用例通过率的变化趋势;第三曲线波动趋势是指三号、四号、五号测试用例通过率的变化趋势。
具体实现中,终端102处理器将根据测试用例通过率的总数量,重复循环确定连续三个测试用例通过率的曲线波动趋势,若测试用例通过率的总数量为N,则初始测试曲线的曲线波动趋势包括N-2个,该曲线波动趋势可以是作为顺序三个测试用例通过率连线的曲线波动趋势,也可以作为顺序第三个测试用例通过率开始、连续出现的N-2个测试用例通过率的坐标点波动趋势。
例如,当前测试用例通过率的总数量为5,则初始测试曲线中包括有3个曲线波动趋势,也可以是初始测试曲线中包括有3个波动趋势点。
在一个实施例中,所述根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势,具体包括如下步骤:
确定所述初始测试曲线中的第一个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第三个测试用例通过率作为尾序通过率;获取第一首尾通过率均值;所述第一首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势;所述中间通过率为所述初始测试曲线中的第二个测试用例通过率。
具体实现中,机器测试终端102处理器根据前序三个的测试用例通过率,来确定初始测试曲线的第一曲线波动趋势,可以是通过获取第一首尾通过率均值和中间通过率后,将两者进行大小比较,由比较结果来确定第一曲线波动趋势。
例如,首序通过率为85%、尾序通过率为93%,则第一首尾通过率均值为(85%+93%)=89%,通过将第一首尾通过率均值89%与中间通过率90%进行比较,即可确定第一曲线波动趋势。
在一个实施例中,所述根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势,具体包括如下步骤:
若所述第一首尾通过率均值与所述中间通过率之间的差值为零,且所述尾序通过率大于所述首序通过率,则确定所述第一曲线波动趋势为有效波动趋势;若所述第一首尾通过率均值与所述中间通过率之间的差值为负数,则进一步确定所述尾序通过率是否大于所述中间通过率;若是,则确定所述第一曲线波动趋势为有效波动趋势;若否,则确定所述第一曲线波动趋势为下降波动趋势;若所述第一首尾通过率均值与所述中间通过率之间的差值为正数,则确定所述第一曲线波动趋势为上升波动趋势。
其中,有效波动趋势可以是能够说明车机性能为稳定的曲线趋势,例如,如图3所示的曲线趋势,随着测试用例执行次数的增长,测试用例通过率先大幅增长,随后趋近于100%,最后稳定维持在100%。
具体实现中,第一首尾通过率均值与中间通过率之间的差值为零(第一首尾通过率均值等于中间通过率),且尾序通过率大于首序通过率的有效波动趋势可参阅图6(a);第一首尾通过率均值与中间通过率之间的差值为负数(第一首尾通过率均值小于中间通过率),且尾序通过率大于中间通过率的有效波动趋势可参阅图6(b);尾序通过率小于中间通过率的下降波动趋势可参阅图6(c);第一首尾通过率均值与中间通过率之间的差值为正数(第一首尾通过率均值大于中间通过率)的上升波动趋势可参阅图6(d)。
在一个实施例中,所述根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势,具体包括如下步骤:
确定所述初始测试曲线中的第二个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第四个测试用例通过率作为尾序通过率;获取第二首尾通过率均值;所述第二首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;根据所述第二首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第二曲线波动趋势;所述中间通过率为所述初始测试曲线中的第三个测试用例通过率。
具体实现中,机器测试终端102处理器根据第二首尾通过率均值与中间通过率之间的差值,确定初始测试曲线的第二曲线波动趋势,确定方式同上述示例所述,在此不再赘述。但需说明的是,本实施例中对首序通过率、尾序通过率以及中间通过率的选取确定不同于上述上一个实施例,存在测试用例通过率后移选取规则。
在一个实施例中,所述根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线,具体包括如下步骤:
按时序顺序将相邻三个的曲线波动趋势进行匹配;若所述相邻三个的曲线波动趋势均匹配,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;若所述相邻三个的曲线波动趋势不匹配,则首先在所述初始测试曲线中剔除为零的测试用例通过率,进而在所述相邻三个的曲线波动趋势中确定异常曲线波动趋势,根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线;所述异常曲线波动趋势为与相邻前序一个曲线波动趋势不匹配的曲线波动趋势。
具体实现中,机器测试终端102处理器完成对初始测试曲线中所有曲线波动趋势的确定后,将对所有的曲线波动趋势进行匹配,以确定各个曲线波动趋势的连续性,进而对非连续曲线波动趋势的测试用例通过率进行优化处理,即为对初始测试曲线的优化处理。
具体地,曲线波动趋势的匹配规则可以是基于数量为三的相邻曲线波动趋势,将第一个的曲线波动趋势作为基准,若其相邻后续一个的曲线波动趋势不同于该基准,则判定该曲线波动趋势与前序趋势不匹配,即初始测试曲线的曲线波动趋势不连续;若三个相邻的曲线波动趋势均匹配,则表明初始测试曲线中的曲线波动趋势均连续,连续曲线波动趋势所包含的测试用例通过率均可保留。
更具体地,对于连续的曲线波动趋势,可分别计算相邻两个曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,进而连接该波动趋势均值得到均值波动曲线;对于非连续的曲线波动趋势,可首先删除数值为零的测试用例通过率,进而计算非连续波动趋势点(非连续曲线波动趋势的尾序通过率)与相邻的前一个波动趋势点的倍率差,根据倍率差获取均值波动曲线。
在一个实施例中,所述根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线,具体包括如下步骤:
计算所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值;若所述倍率差值满足预设的倍率差阈值,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;若所述倍率差值不满足所述倍率差阈值,则在所述初始测试曲线中剔除所述异常曲线波动趋势的尾序通过率。
具体实现中,若倍率差满足倍率差阈值,则无需剔除该非连续的波动趋势点,采用均值计算方式计算波动趋势均值,进而连接各个波动趋势均值,将非连续的波动趋势点沿着坐标系纵轴与波动趋势均值连线相交,用相交的点取代非连续的波动趋势点,使所有波动趋势点均在连续范围内,最终取所有波动趋势点集合的平均值相连,得到均值波动曲线。
根据本发明实施例提供的方案,采用预设的数据分析建模算法,以及对初始测试曲线中曲线波动趋势的判断处理,将非连续的波动趋势点进行删除替换,进而实现对初始测试曲线的拟合平滑,得到可评估车机性能的均值波动曲线。采用该方法,可提供预测评估车机性能的途径,进而满足用户对汽车产品质量趋势或生产风险的预测评估需求。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种系统性能评估装置,包括通过率获取模块710、初始曲线生成模块720和均值曲线生成模块730,其中:
通过率获取模块710,用于获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
初始曲线生成模块720,用于根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
均值曲线生成模块730,用于根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。
根据本发明实施例提供的方案,机器测试终端通过获取车机端在预设时段内接口测试数据的测试用例通过率,生成初始测试曲线,并根据初始测试曲线的曲线波动趋势实现曲线优化,得到可评估车机性能的均值波动曲线。采用该方法,可提供预测评估车机性能的途径,进而满足用户对汽车产品质量趋势或生产风险的预测评估需求。
在一个实施例中,所述初始曲线生成模块720还用于根据所述测试用例通过率建立直角坐标系;在所述直角坐标系中按照所述预设时间段内的时序连接所述测试用例通过率,生成初始测试曲线。
在一个实施例中,所述通过率获取模块710还用于获取预设时段内车机端的接口测试数据;提取所述接口测试数据中的测试用例执行量和测试用例通过量;计算所述测试用例通过量与所述测试用例执行量的比值,得到测试用例通过率。
在一个实施例中,所述初始测试曲线中包括多于三个的测试用例通过率;所述均值曲线生成模块730还用于根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势;根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势;根据所述初始测试曲线中除前序两个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第三曲线波动趋势;根据所述测试用例通过率的总数量循环执行上述步骤,直至确定所述初始测试曲线的所有曲线波动趋势,进而根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线。
在一个实施例中,所述均值曲线生成模块730还用于确定所述初始测试曲线中的第一个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第三个测试用例通过率作为尾序通过率;获取第一首尾通过率均值;所述第一首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势;所述中间通过率为所述初始测试曲线中的第二个测试用例通过率。
在一个实施例中,所述均值曲线生成模块730还用于若所述第一首尾通过率均值与所述中间通过率之间的差值为零,且所述尾序通过率大于所述首序通过率,则确定所述第一曲线波动趋势为有效波动趋势;若所述第一首尾通过率均值与所述中间通过率之间的差值为负数,则进一步确定所述尾序通过率是否大于所述中间通过率;若是,则确定所述第一曲线波动趋势为有效波动趋势;若否,则确定所述第一曲线波动趋势为下降波动趋势;若所述第一首尾通过率均值与所述中间通过率之间的差值为正数,则确定所述第一曲线波动趋势为上升波动趋势。
在一个实施例中,所述均值曲线生成模块730还用于确定所述初始测试曲线中的第二个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第四个测试用例通过率作为尾序通过率;获取第二首尾通过率均值;所述第二首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;根据所述第二首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第二曲线波动趋势;所述中间通过率为所述初始测试曲线中的第三个测试用例通过率。
在一个实施例中,所述均值曲线生成模块730还用于按时序顺序将相邻三个的曲线波动趋势进行匹配;若所述相邻三个的曲线波动趋势均匹配,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;若所述相邻三个的曲线波动趋势不匹配,则首先在所述初始测试曲线中剔除为零的测试用例通过率,进而在所述相邻三个的曲线波动趋势中确定异常曲线波动趋势,根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线;所述异常曲线波动趋势为与相邻前序一个曲线波动趋势不匹配的曲线波动趋势。
在一个实施例中,所述均值曲线生成模块730还用于计算所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值;若所述倍率差值满足预设的倍率差阈值,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;若所述倍率差值不满足所述倍率差阈值,则在所述初始测试曲线中剔除所述异常曲线波动趋势的尾序通过率。
根据本发明实施例提供的方案,采用预设的数据分析建模算法,以及对初始测试曲线中曲线波动趋势的判断处理,将非连续的波动趋势点进行删除替换,进而实现对初始测试曲线的拟合平滑,得到可评估车机性能的均值波动曲线。采用该方法,可提供预测评估车机性能的途径,进而满足用户对汽车产品质量趋势或生产风险的预测评估需求。
关于系统性能评估装置的具体限定,可以参见上文中对系统性能评估方法的限定,在此不再赘述。上述系统性能评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储标识信息和设备信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现一种系统性能评估方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述测试用例通过率建立直角坐标系;在所述直角坐标系中按照所述预设时间段内的时序连接所述测试用例通过率,生成初始测试曲线。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取预设时段内车机端的接口测试数据;提取所述接口测试数据中的测试用例执行量和测试用例通过量;计算所述测试用例通过量与所述测试用例执行量的比值,得到测试用例通过率。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势;根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势;根据所述初始测试曲线中除前序两个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第三曲线波动趋势;根据所述测试用例通过率的总数量循环执行上述步骤,直至确定所述初始测试曲线的曲线波动趋势,进而根据所述测试用例通过率的总数量循环执行上述步骤,直至确定所述初始测试曲线的所有曲线波动趋势,进而根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定所述初始测试曲线中的第一个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第三个测试用例通过率作为尾序通过率;获取第一首尾通过率均值;所述第一首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势;所述中间通过率为所述初始测试曲线中的第二个测试用例通过率。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若所述第一首尾通过率均值与所述中间通过率之间的差值为零,且所述尾序通过率大于所述首序通过率,则确定所述第一曲线波动趋势为有效波动趋势;若所述第一首尾通过率均值与所述中间通过率之间的差值为负数,则进一步确定所述尾序通过率是否大于所述中间通过率;若是,则确定所述第一曲线波动趋势为有效波动趋势;若否,则确定所述第一曲线波动趋势为下降波动趋势;若所述第一首尾通过率均值与所述中间通过率之间的差值为正数,则确定所述第一曲线波动趋势为上升波动趋势。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定所述初始测试曲线中的第二个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第四个测试用例通过率作为尾序通过率;获取第二首尾通过率均值;所述第二首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;根据所述第二首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第二曲线波动趋势;所述中间通过率为所述初始测试曲线中的第三个测试用例通过率。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
按时序顺序将相邻三个的曲线波动趋势进行匹配;若所述相邻三个的曲线波动趋势均匹配,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;若所述相邻三个的曲线波动趋势不匹配,则首先在所述初始测试曲线中剔除为零的测试用例通过率,进而在所述相邻三个的曲线波动趋势中确定异常曲线波动趋势,根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线;所述异常曲线波动趋势为与相邻前序一个曲线波动趋势不匹配的曲线波动趋势。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
计算所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值;若所述倍率差值满足预设的倍率差阈值,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;若所述倍率差值不满足所述倍率差阈值,则在所述初始测试曲线中剔除所述异常曲线波动趋势的尾序通过率。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据所述测试用例通过率建立直角坐标系;在所述直角坐标系中按照所述预设时间段内的时序连接所述测试用例通过率,生成初始测试曲线。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取预设时段内车机端的接口测试数据;提取所述接口测试数据中的测试用例执行量和测试用例通过量;计算所述测试用例通过量与所述测试用例执行量的比值,得到测试用例通过率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势;根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势;根据所述初始测试曲线中除前序两个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第三曲线波动趋势;根据所述测试用例通过率的总数量循环执行上述步骤,直至确定所述初始测试曲线的曲线波动趋势,进而根据所述测试用例通过率的总数量循环执行上述步骤,直至确定所述初始测试曲线的所有曲线波动趋势,进而根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定所述初始测试曲线中的第一个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第三个测试用例通过率作为尾序通过率;获取第一首尾通过率均值;所述第一首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势;所述中间通过率为所述初始测试曲线中的第二个测试用例通过率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若所述第一首尾通过率均值与所述中间通过率之间的差值为零,且所述尾序通过率大于所述首序通过率,则确定所述第一曲线波动趋势为有效波动趋势;若所述第一首尾通过率均值与所述中间通过率之间的差值为负数,则进一步确定所述尾序通过率是否大于所述中间通过率;若是,则确定所述第一曲线波动趋势为有效波动趋势;若否,则确定所述第一曲线波动趋势为下降波动趋势;若所述第一首尾通过率均值与所述中间通过率之间的差值为正数,则确定所述第一曲线波动趋势为上升波动趋势。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定所述初始测试曲线中的第二个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第四个测试用例通过率作为尾序通过率;获取第二首尾通过率均值;所述第二首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;根据所述第二首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第二曲线波动趋势;所述中间通过率为所述初始测试曲线中的第三个测试用例通过率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
按时序顺序将相邻三个的曲线波动趋势进行匹配;若所述相邻三个的曲线波动趋势均匹配,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;若所述相邻三个的曲线波动趋势不匹配,则首先在所述初始测试曲线中剔除为零的测试用例通过率,进而在所述相邻三个的曲线波动趋势中确定异常曲线波动趋势,根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线;所述异常曲线波动趋势为与相邻前序一个曲线波动趋势不匹配的曲线波动趋势。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
计算所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值;若所述倍率差值满足预设的倍率差阈值,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;若所述倍率差值不满足所述倍率差阈值,则在所述初始测试曲线中剔除所述异常曲线波动趋势的尾序通过率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种系统性能评估方法,其特征在于,包括如下步骤:
获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定;若所述均值波动曲线的曲线趋势为有效波动趋势,则对应的车机性能为稳定;
所述根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线,包括:
对所述初始测试曲线中所述曲线波动趋势相同且连续的测试用例率进行保留;
若相邻三个的曲线波动趋势不匹配,则首先在所述初始测试曲线中剔除为零的测试用例通过率,进而在所述相邻三个的曲线波动趋势中确定异常曲线波动趋势,根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线。
2.根据权利要求1所述的方法,其特征在于,所述根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线,包括:
根据所述测试用例通过率建立直角坐标系;
在所述直角坐标系中按照所述预设时间段内的时序连接所述测试用例通过率,生成初始测试曲线。
3.根据权利要求1所述的方法,其特征在于,所述获取预设时段内接口测试数据的测试用例通过率,包括:
获取预设时段内车机端的接口测试数据;
提取所述接口测试数据中的测试用例执行量和测试用例通过量;
计算所述测试用例通过量与所述测试用例执行量的比值,得到测试用例通过率。
4.根据权利要求1所述的方法,其特征在于,所述初始测试曲线中包括多于三个的测试用例通过率;所述根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线,包括:
根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势;
根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势;
根据所述初始测试曲线中除前序两个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第三曲线波动趋势;
根据所述测试用例通过率的总数量循环执行上述步骤,直至确定所述初始测试曲线的所有曲线波动趋势,进而根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线。
5.根据权利要求4所述的方法,其特征在于,所述根据所述初始测试曲线中前序三个的测试用例通过率,确定所述初始测试曲线的第一曲线波动趋势,包括:
确定所述初始测试曲线中的第一个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第三个测试用例通过率作为尾序通过率;
获取第一首尾通过率均值;所述第一首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;
根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势;所述中间通过率为所述初始测试曲线中的第二个测试用例通过率。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第一曲线波动趋势,包括:
若所述第一首尾通过率均值与所述中间通过率之间的差值为零,且所述尾序通过率大于所述首序通过率,则确定所述第一曲线波动趋势为有效波动趋势;
若所述第一首尾通过率均值与所述中间通过率之间的差值为负数,则进一步确定所述尾序通过率是否大于所述中间通过率;若是,则确定所述第一曲线波动趋势为有效波动趋势;若否,则确定所述第一曲线波动趋势为下降波动趋势;
若所述第一首尾通过率均值与所述中间通过率之间的差值为正数,则确定所述第一曲线波动趋势为上升波动趋势。
7.根据权利要求4所述的方法,其特征在于,所述根据所述初始测试曲线中除第一个测试用例通过率之外的顺序三个测试用例通过率,确定所述初始测试曲线的第二曲线波动趋势,包括:
确定所述初始测试曲线中的第二个测试用例通过率作为首序通过率,以及,确定所述初始测试曲线中的第四个测试用例通过率作为尾序通过率;
获取第二首尾通过率均值;所述第二首尾通过率均值为所述尾序通过率与所述首序通过率之间的平均值;
根据所述第二首尾通过率均值与所述中间通过率之间的差值,确定所述初始测试曲线的第二曲线波动趋势;所述中间通过率为所述初始测试曲线中的第三个测试用例通过率。
8.根据权利要求4所述的方法,其特征在于,所述根据所述所有曲线波动趋势对所述初始测试曲线进行曲线优化,得到均值波动曲线,包括:
按时序顺序将相邻三个的曲线波动趋势进行匹配;
若所述相邻三个的曲线波动趋势均匹配,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;
所述异常曲线波动趋势为与相邻前序一个曲线波动趋势不匹配的曲线波动趋势。
9.根据权利要求8所述的方法,其特征在于,所述根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线,包括:
计算所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值;
若所述倍率差值满足预设的倍率差阈值,则分别计算相邻两个所述曲线波动趋势中尾序通过率之间的平均值,得到两个相邻的波动趋势均值,连接所述两个相邻的波动趋势均值,得到所述均值波动曲线;
若所述倍率差值不满足所述倍率差阈值,则在所述初始测试曲线中剔除所述异常曲线波动趋势的尾序通过率。
10.一种系统性能评估装置,其特征在于,所述装置包括:
通过率获取模块,用于获取预设时段内接口测试数据的测试用例通过率;所述测试用例通过率根据所述接口测试数据的测试用例通过量确定;所述测试用例通过量为所述预设时段内连续测试的测试用例通过量;
初始曲线生成模块,用于根据所述测试用例通过率在所述预设时段内的时序,生成初始测试曲线;
均值曲线生成模块,用于根据所述初始测试曲线的曲线波动趋势进行曲线优化,得到均值波动曲线;所述曲线波动趋势根据所述初始测试曲线中首尾通过率均值与中间通过率之间的差值确定;所述均值波动曲线用于评估车机性能是否稳定;若所述均值波动曲线的曲线趋势为有效波动趋势,则对应的车机性能为稳定;
所述均值曲线生成模块,还用于对所述初始测试曲线中所述曲线波动趋势相同且连续的测试用例率进行保留;若相邻三个的曲线波动趋势不匹配,则首先在所述初始测试曲线中剔除为零的测试用例通过率,进而在所述相邻三个的曲线波动趋势中确定异常曲线波动趋势,根据所述异常曲线波动趋势与相邻前序一个曲线波动趋势之间的倍率差值,对所述初始测试曲线进行曲线优化,得到均值波动曲线。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN201910994860.4A 2019-10-18 2019-10-18 系统性能评估方法、装置、计算机设备和存储介质 Active CN110955591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910994860.4A CN110955591B (zh) 2019-10-18 2019-10-18 系统性能评估方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910994860.4A CN110955591B (zh) 2019-10-18 2019-10-18 系统性能评估方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110955591A CN110955591A (zh) 2020-04-03
CN110955591B true CN110955591B (zh) 2022-01-14

Family

ID=69975634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910994860.4A Active CN110955591B (zh) 2019-10-18 2019-10-18 系统性能评估方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110955591B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704077B (zh) * 2020-05-20 2023-09-19 中国移动通信集团浙江有限公司 测试用例生成方法及装置
CN112363955B (zh) * 2021-01-13 2021-03-26 天津天瞳威势电子科技有限公司 一种硬件自动化集成测试方法及系统
CN116721527B (zh) * 2023-08-09 2024-02-20 广州医科大学附属第一医院(广州呼吸中心) 一种适用于医疗输液泵的供电智能监管系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021810A (zh) * 2007-03-08 2007-08-22 山东浪潮齐鲁软件产业股份有限公司 软件系统性能评估方法
JP2014203330A (ja) * 2013-04-08 2014-10-27 日本電信電話株式会社 プロダクト品質評価装置及び方法
CN106155908A (zh) * 2016-07-18 2016-11-23 广东电网有限责任公司电力科学研究院 一种pas应用性能评估方法及系统
CN107992410A (zh) * 2017-11-21 2018-05-04 平安养老保险股份有限公司 软件质量监测方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577328B (zh) * 2013-11-20 2016-08-17 北京奇虎科技有限公司 一种应用的性能分析方法及装置
US10157056B2 (en) * 2014-12-05 2018-12-18 Hitachi, Ltd. Device, method, and program for visualizing dependent portions of program
CN105786702B (zh) * 2016-01-21 2018-05-25 沈阳师范大学 计算机软件分析系统
CN109828919A (zh) * 2019-01-18 2019-05-31 深圳壹账通智能科技有限公司 测试报告自动生成方法、装置、计算机设备及存储介质
CN110096429A (zh) * 2019-03-18 2019-08-06 深圳壹账通智能科技有限公司 测试报告生成方法、装置、设备及存储介质
CN110069409A (zh) * 2019-04-12 2019-07-30 网宿科技股份有限公司 一种软件质量评估方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021810A (zh) * 2007-03-08 2007-08-22 山东浪潮齐鲁软件产业股份有限公司 软件系统性能评估方法
JP2014203330A (ja) * 2013-04-08 2014-10-27 日本電信電話株式会社 プロダクト品質評価装置及び方法
CN106155908A (zh) * 2016-07-18 2016-11-23 广东电网有限责任公司电力科学研究院 一种pas应用性能评估方法及系统
CN107992410A (zh) * 2017-11-21 2018-05-04 平安养老保险股份有限公司 软件质量监测方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An efficient defect estimation method for software defect curves;Chenggang Bai等;《Proceedings 27th Annual International Computer Software and Applications Conference. COMPAC 2003》;20031107;第534 - 539页 *
基于扰动抑制的多变量控制系统性能评估与应用;冯皓;《cnki优秀硕士学位论文全文库 信息科技辑》;20130101;第I140-263页 *

Also Published As

Publication number Publication date
CN110955591A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110955591B (zh) 系统性能评估方法、装置、计算机设备和存储介质
CN109474578B (zh) 报文消息校验方法、装置、计算机设备和存储介质
CN110750267B (zh) 业务信息更新方法、装置、计算机设备和存储介质
CN110689232A (zh) 工作流配置的优化处理方法、装置和计算机设备
CN110688168A (zh) 提高应用程序启动速度方法、装置、设备及存储介质
CN110287104A (zh) 测试用例生成方法、装置、终端及计算机可读存储介质
CN112559364A (zh) 一种测试用例生成方法、装置、计算机设备和存储介质
CN111338616A (zh) 协议解析代码的生成方法、装置及电子设备
CN114385485A (zh) 接口测试方法、装置、设备及存储介质
CN111277476A (zh) 网关控制器功能验证方法、装置、计算机设备和存储介质
CN111162946B (zh) 构建模型推理网络的方法、数据处理方法、装置和存储介质
CN109542782B (zh) 基于机器学习的nfc测试方法、装置和计算机设备
CN116991733A (zh) 接口测试方法、设备及介质
CN111309571A (zh) 业务数据控制方法、装置、计算机设备和存储介质
CN110688400A (zh) 数据处理方法、装置、计算机设备和存储介质
CN115755867A (zh) 一种车辆诊断方法及相关装置
CN109634676B (zh) 基于主控芯片的nand boot启动方法和装置
CN109284260B (zh) 大数据文件读取方法、装置、计算机设备及存储介质
CN113038283B (zh) 视频推荐方法、装置和存储介质
CN110597874B (zh) 数据分析模型的创建方法、装置、计算机设备和存储介质
CN109901998B (zh) 资源回收方法、装置、系统、计算机设备和存储介质
CN110909761A (zh) 图像识别方法、装置、计算机设备及存储介质
CN110147384B (zh) 数据查找模型建立方法、装置、计算机设备和存储介质
CN109686394B (zh) Nand Flash Phy参数配置方法和装置
CN116911406B (zh) 风控模型部署方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant