CN110489319B

CN110489319B - 一种接口性能测试分析方法、存储介质

Info

Publication number: CN110489319B
Application number: CN201810461282.3A
Authority: CN
Inventors: 刘德建; 陈丽专; 黄雪华; 陈铨叙; 郑思思; 陈有富; 李一拉; 林琛
Original assignee: Fujian TQ Digital Co Ltd
Current assignee: Fujian TQ Digital Co Ltd
Priority date: 2018-05-15
Filing date: 2018-05-15
Publication date: 2022-12-13
Anticipated expiration: 2038-05-15
Also published as: CN110489319A

Abstract

本发明提供一种接口性能测试分析方法、存储介质，方法包括：预设服务类型配置表和监控分析模板；在使用接口测试工具对待测接口进行测试时，依据所述服务类型配置表开启对应的服务；被开启的服务依据所述监控分析模板中对应所述待测接口的服务模板项对所述待测接口采集测试周期内的数据，并生成性能数据；依据所述服务模板项对应的指标对所述性能数据进行性能分析，得到对应所述待测接口的性能测试结果。本发明结合接口所用的服务架构，通过预先配置好的服务类型配置表和监控分析模板，利用已有接口测试工具对待测接口进行测试，并给出全面的分析结论。

Description

一种接口性能测试分析方法、存储介质

技术领域

本发明涉及接口测试领域，具体说的是一种接口性能测试分析方法、存储介质。

背景技术

性能测试是采用自动化负载测试工具执行的并发性能测试。测试监控的对象不同，测试的主要指标也不相同，主要的测试指标包括：1、交易处理性能指标(TPS、响应时间、成功率等)；2、服务状态指标(取决于服务类型)；3、服务器资源监控指标(CPU、内存、带宽、IO等)。其中，交易处理性能指标可由Loadrunner等压测工具测试时得到；服务状态指标需要根据DB、中间件等具体服务类型选择对应的工具进行监控；服务器资源监控指标可使用falcon、nmon等工具监控。

针对上述三类性能指标的测试存在非常多种的工具，工具选择多、工具之间难以有机结合。测试分析过程如果遗漏一些指标项，会导致接口分析不全，需要重复测试或存在潜在的性能漏测风险。性能测试人员在分析过程需要了解并使用各种工具对接口进行性能监控和分析，学习成本高，专业度要求强，导致接口性能测试周期长，无法快速给出问题分析结论和优化建议。

例如，现有技术中已公开的公开号为CN106383786A，名称为《一种接口压力性能测试方法、装置及电子设备》的中国发明专利，只能实现到测试执行环节，对于性能分析需要专业的性能测试人员介入，分析成本高、效率低、准确度不高。又如公开号为CN106776337A，名称为《一种性能分析方法、装置及电子设备》的中国发明专利，虽然涉及测试结果分析过程，但是只能对现有的性能测试工具的几个测试指标进行分析，不能根据不同服务架构监控各项数据并全面分析压测接口，即待测接口。

综上所述，有必要提供一种能够很好解决现有技术存在的测试全面、测试结果分析准确、高效、成本低等问题的接口性能测试分析方法、存储介质。

发明内容

本发明所要解决的技术问题是：提供一种接口性能测试分析方法、存储介质，能够实现测试全面、测试分析结果全面、分析准确、高效、灵活、成本低。

为了解决上述技术问题，本发明采用的技术方案为：

一种接口性能测试分析方法，包括：

预设服务类型配置表和监控分析模板，所述服务类型配置表中配置有待测接口对应的服务类型，所述监控分析模板中配置有待测接口对应的服务模板项及其指标；

在使用接口测试工具对待测接口进行测试时，依据所述服务类型配置表开启对应的服务；

被开启的服务依据所述监控分析模板中对应所述待测接口的服务模板项对所述待测接口采集测试周期内的数据，并生成性能数据；

依据所述服务模板项对应的指标对所述性能数据进行性能分析，得到对应所述待测接口的性能测试结果。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器调用时，能够实现上述一种接口性能测试分析方法所包含的所有步骤。

本发明的有益效果在于：1、通过可量化的接口性能指标，省去接口性能测试完成后大量的人工分析工作，提高接口性能问题定位的效率，同时实现自动化、高精度的性能分析；2、使用预设的服务类型配置表和监控分析模板实现自动化测试，提高测试准确度，同时还能实现配置表和模板的灵活、快速扩展；3、充分利用已有的性能测试工具，可无缝接入使用，在提供一种全新的接口性能测试分析方式的同时，还能节省额外的成本支出。

附图说明

图1为本发明一种接口性能测试分析方法的流程示意图；

图2为本发明实施例的接口性能测试分析方法的流程示意图；

图3为本发明实施例二的一种接口性能测试分析系统的组成功能示意图；

图4为本发明实施例二的一种接口性能测试分析系统的各模块交互过程的时序示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：结合接口所用的服务架构，通过预先配置好的服务类型配置表和监控分析模板，利用已有接口测试工具对待测接口进行测试，并给出全面、深入的分析结论。

请参照图1，本发明提供一种接口性能测试分析方法，包括：

从上述描述可知，本发明的有益效果在于：本发明能够与现有的多种性能测试工具无缝衔接，充分利用其测试功能，依据预先配置的服务类型配置表和监控分析模板对待测接口进行测试；区别于现有技术的测试方式，无法实现多种类型的测试工具有机结合，且各种测试方式都是依据与阈值的简单比较输出测试结论，并没有进一步系统的分析，获取接口性能瓶颈问题所在，还需要后期依靠专业人员介入等不足。本发明提供的测试方式不仅实现了多种测试工具的有机结合，能够保证测试内容全面；并且还包含了对测试结果数据进行系统化、全面地分析的过程，能够获取更全面、准确、实用的分析结论，指明接口优化方向。

进一步的，所述在使用接口测试工具对待测接口进行测试时，依据所述服务类型配置表开启对应的服务，具体为：

在使用接口测试工具对待测接口进行测试的同时，使用HTTP请求封装的启动API传入包括所述待测接口对应的测试用例的启动参数，并依据所述启动参数和所述服务类型配置表开启所述待测接口所使用的服务。

由上述描述可知，利用统一封装的启动API，能实现同现有的各种接口性能测试工具无缝衔接，无需额外的接入成本，并能在测试结束后自动输出接口的性能问题分析结论。

进一步的，所述待测接口的性能测试结果包括对应服务模板项的监控项，各个监控项对应所述指标的多个检测条件，及其对应的输出结果和状态。

由上述描述可知，提供全面的分析结论，为接口的优化指明方向。

进一步的，所述性能测试结果还包括依据所述服务类型配置表分析得出的各服务类型的基础信息；所述基础信息包括连接数、线程和内存泄露。

由上述描述可知，进一步丰富性能测试结果数据，提高其实用性。

进一步的，所述性能分析，具体为：

依据所述检测条件，判断当前监控项的状态是否为正常；

依据当前监控项的平均值和标准差值构建对应的数据曲线；

若所述状态为正常，所述数据曲线平稳，则获取当前监控项使用正常的输出结果；

若所述状态为正常，所述数据曲线不平稳，则获取存在波动，以及具体波动幅度的输出结果，并标记对所述待测接口进行全局曲线分析；

若所述状态为异常，所述数据曲线平稳，则依据当前监控项的TPS与其阈值的比较结果，获取包括当前监控项的使用结论和优化建议内容的输出结果；

若所述状态为异常，所述数据曲线不平稳，则依据当前监控项的TPS与其阈值的比较结果，获取包括当前监控项的使用结论和优化建议内容的输出结果，并标记对所述待测接口进行全局曲线分析。

由上述描述可知，通过资源使用曲线、标准差、用户态+系统态等维度对测试结果数据进行深度分析，能够实现准确定位资源瓶颈，替代“专业人员”实现自动化深度分析获取包括使用结论和优化建议的输出结果，使得测试流程更完整、测试结果更实用。

进一步的，所述全局曲线分析，具体为：

分别进行纵向曲线关联分析和横向曲线关联分析，获取全局曲线分析结论。

进一步的，所述纵向曲线关联分析，具体为：

分析服务内不同监控项之间，关联曲线的标准差是否符合联动或互斥趋势，得到第一分析结论；

所述横向曲线关联分析，具体为：

分析不同服务之间同一个监控项，关联曲线的标准差是否符合联动趋势，得到第二分析结论；

依据第一分析结论和第二分析记录，获取全局曲线分析结论。

由上述描述可知，在有必要时，还将进行全局曲线分析，获取全局曲线分析结论，丰富性能测试结果数据，同时进一步提高测试结果的实用性和准确性。

进一步的，所述使用结论包括当前监控项的使用次数、TPS次数；所述优化建议内容依据不同的服务类型确定。

由上述描述可知，能获取对应待测接口全面、详尽的检测结果数据。

进一步的，所述服务模板项包括服务器资源项和个性化模板项。

由上述描述可知，不仅支持常用服务类型的服务器资源项的配置，而且还能同时支持个性化资源项的定义；实现测试方式的灵活配置，提高实用性。

本发明提供的另一个技术方案为：

从上述描述可知，本发明的有益效果在于：对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来实现的，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时，可包括如上述各方法的流程。

实施例一

请参照图2，本实施例提供一种接口性能测试分析方法，适用于对接口进行性能测试，获取性能数据，并对测试数据进行深入、全面地分析，给出分析结论和优化建议。

本实施例的方法可以包括以下步骤：

S1：预设服务类型配置表和监控分析模板。

事先配置服务类型配置表和监控分析模板，作为后续调用各种类型的服务对待测接口执行数据采集的依据，也是后续深入分析的依据。

具体的，所述服务类型配置表中配置有待测接口对应的服务类型，即所使用的服务类型对应的服务器IP信息；支持自定义配置，在出现新的服务类型时直接追加新的服务类型和对应的服务器IP信息即可。

所述监控分析模板中配置有待测接口对应的服务模板项，以及服务模板项对应的指标，即待测接口所使用的服务模板项，具体包括常用服务类型的服务器资源项(如CPU、内存等)和个性化模板项(如线程连接数、FGC次数等)；服务模板项可以从默认模板库中直接选择使用，也支持自定义配置，在出现新的服务类型时刻直接定义一个对应的新的模板项。所述指标，指的是服务模板项中的各个监控项对应的测试指标。优选的，监控分析模板库使用mongo数据库存储，方便在管理后台进行管理和自定义配置。

服务类型配置表和监控分析模板的自定义功能，实现了内容的灵活、快速拓展。如新的测试项目中待测接口使用新的服务类型redis，便可在服务类型配置表中追加“服务器ip:redis”这一数据项配置；在监控分析模板中新增一个redis模板项，里面可配置redis对应端口的缓存大小，缓存命中率等监控分析项(即监控项)，在数据采集过程添加各项数据的采集脚本即可完成一个新服务类型的扩展。

S2：在使用接口测试工具对待测接口进行测试的同时，调用启动API传入启动参数，以及依据所述服务类型配置表开启待测接口对应的服务。

其中，启动API使用http请求封装，以支持各种不同性能测试工具的调用，实现已有测试工具的无缝接入运用，无需花费额外的接入成本。

所述启动参数包括对应待测接口的测试用例ID、各服务器IP、测试持续时间等，用于采集的进行。

具体的，启动API自动匹配所述服务类型配置表中记载的该待测接口对应的测试用例所使用的服务。

S3：被启用的服务依据所述监控分析模板中对应所述待测接口的服务模板项对所述待测接口采集测试周期内的数据，并生成性能数据。

具体的，被启用的服务依据该待测接口对应的服务类型调度相关服务性能数据采集；该测试用例ID的测试状态置为测试中；数据采集完成后存放在测试用例ID对应的路径下。

可选的，数据采集方式根据不同的监控项具体实现，可以是shell脚本的方式也可以是封装好的可执行客户端方式。

通过上述步骤S2和S3，便可实现通过统一接口调用现有的测试工具依据预配置项目采集获取性能数据。优选的，在采集完毕后，将测试用例ID的测试状态置为测试完成。至此完成测试过程，准备进入后续针对采集获取的性能数据的分析过程。现有技术中的测试方式至此结束，将测试获得的性能数据交由专业技术人员人工分析得出结果。

S4：依据所述服务模板项对应的指标对所述性能数据进行性能分析，得到对应所述待测接口的性能测试结果。

其中，如下表一所示，所述性能测试结果包括对应服务模板项的监控项，各个监控项对应所述指标的多个检测条件，及其对应的输出结果和状态。优选的，还包括依据所述服务类型配置表分析得出的各服务类型的基础信息；所述基础信息包括连接数、线程和内存泄露等。所述性能测试结果将上送到统一的数据库中存储。

表一

具体的，如图2所示，针对服务模板项中的一个监控项x进行性能分析的过程可以包括以下子步骤：

依据监控分析模板中记载的与当前监控项x的指标对应的检测条件，判断当前监控项的状态是否为正常；同时，

依据当前监控项x的平均值和标准差值构建对应的数据曲线；其中，标准差可通过公式计算获取，如公式

然后判断对应监控项x的数据曲线是否平稳；标准差值波动幅度不超过预设值(如10％)则判定位平稳，预设值可灵活设置。

若所述状态为正常，所述数据曲线平稳，则获取当前监控项x使用正常的输出结果；例如对应其输出结果中的使用结论记录为使用正常；

若所述状态为正常，所述数据曲线不平稳，则获取存在波动，以及具体波动幅度的输出结果，并标记对所述待测接口进行全局曲线分析；优选对应其输出结果中的使用结论记录为存在波动，并标明具体波动幅度；例如记录为监控项x压测过程存在波动，波动幅度xx％；

若所述状态为异常，所述数据曲线平稳，则依据当前监控项的TPS(系统吞吐量)与其阈值(可自定义)的比较结果，获取包括当前监控项x的使用结论和优化建议内容的输出结果；例如，对应其使用结论记录为监控项x使用超过xx，TPS＝xx，对应其优化建议记录需要关注资源瓶颈，可考虑服务扩容；

若所述状态为异常，所述数据曲线不平稳，则依据当前监控项x的TPS与其阈值的比较结果，获取包括当前监控项x的使用结论和优化建议内容的输出结果，并标记对所述待测接口进行全局曲线分析。例如，对应其使用结论记录为监控项x使用超过xx，TPS＝xx，对应其优化建议记录使用异常，请检查是否存在慢查询。

其中，优化建议是依据不同服务类型返回不同的调优建议。

上述为针对其中一个监控项x的分析流程，其他监控项的分析流程雷同，在此不进行复述；同一服务类型内的监控项依据上述方式顺序分析，不同服务类型之间并行分析。

优选的，还包括上报性能测试结果统一进行存储的步骤。

S5：判断所获取的性能测试结果是否有全局曲线分析的标记，若有，则执行S6的全局曲线分析步骤；若否，则将性能测试结果对应待测接口存储入库，同时将测试用例ID的测试状态置为分析完成。

S6：对标记有全局曲线分析的待测接口依据其性能数据进行全局曲线分析。

全局曲线分析包括纵向曲线关联分析和横向曲线关联分析。

具体的，包括：

S61：分析服务内不同监控项之间，关联曲线的标准差是否符合联动或互斥趋势，得到第一分析结论；

S62：分析不同服务之间同一个监控项，关联曲线的标准差是否符合联动趋势，得到第二分析结论；

S63：依据第一分析结论和第二分析记录，获取全局曲线分析结论。

上述的S61和S62没有既定的先后顺序，支持灵活调换。

所述全局曲线分析，区别于现有的曲线拐点分析，是一种联合曲线规律分析，是针对性能测试结果中的tps、响应时间、各项资源等数据之间的曲线是有存在联动或互斥的规律进行分析。

具体的，所述纵向关联分析：如tps和响应时间是互斥的关系，正常情况下tps曲线升高，那响应时间曲线应该是降低的；如果分析发现曲线规律不正常，则可判断测试结果数据可能存在错误的问题。

横向关联分析：如nginx服务和tomcat服务的cpu监控项可定义为联动的关系，正常情况下2个服务的cpu监控项的曲线波动应该是一致的方向；如果分析发现异常，则可判断压测过程中可能存在第三方其他压力的影响等问题。

本实施例具有以下有益效果：

1、通过可量化的接口性能指标，省去接口性能测试完成后大量的人工分析工作，提高接口性能问题定位的效率。

2、系统化的对接口中调用的各个服务进行全面的性能分析，预防和解决人工分析可能存在的遗漏、不准确等问题。

3、服务类型配置表和监控、分析模板可灵活扩展，新的服务类型加入时可快速添加扩展。

4、对于已有的性能测试工具，可无缝接入，无需额外的接入成本。

实施例二

请参照图3和图4，本实施例对应实施例一，提供一种接口性能测试分析系统，包括：启动模块、数据采集模块、数据分析模块、数据上报模块、结果数据显示模块。

具体的，所述启动模块使用http请求封装为启动api，以支持性能测试工具的调用。所述启动模块，用于在待测接口使用现有的测试工具进行测试的同时，传入启动数据，以及自动匹配服务类型配置表中该接口的测试用例使用的服务，然后调用数据采集模块进行相关服务进行性能数据采集，获取性能数据；以及在接口测试时间结束后，将测试用例ID的测试状态置为测试完成，调用数据分析模块；

所述数据分析模块，用于依据监控分析模板中的各项指标，对采集的数据进行过滤、统计后匹配分析规则，将各类指标数据和分析结论、优化建议上报到统一的数据库中。具体的分析过程详见实施例一。

在一具体实施方式中，所述接口性能测试分析系统中的数据分析模块还包括：

日志监控分析类：根据服务类型配置表中的服务类型输出所有服务的错误日志；错误日志按错误类型正则匹配，只输出同类项日志和错误数量；数据库类型的服务还会输出慢查询日志慢查询数量。

服务监控分析类：根据服务类型配置表和监控分析模板的条件结合分析；输出监控项的结果分析和各服务类型的基础信息分析；如连接数、线程、内存泄漏等。

程序基本监控分析类：针对服务类型配置表中的中间件服务，输出耗时高的程序方法。

进一步地，本实施例的结果数据显示模块，用于根据测试用例ID的测试结果状态判断并分类显示各项的分析结果数据。

测试人员可从测试结果中直接获取该接口的各个服务各项分析纬度的监控数据及分析结论，提高接口的问题定位效率。

本实施例把接口性能测试从压测-监控-分析形成一个闭环，基于本实施例的系统，通过软件等方式实现实施例一的自动的接口性能的分析方法。

实施例三

本实施例对应实施例一，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器调用时，能够实现上述实施例一所述的一种接口性能测试分析方法所包含的所有步骤。具体步骤在此不进行复述，详见实施例一的描述。

实施例四

本实施例对应实施例一至实施例三，提供一个具体的运用场景：

基于nginx+tomcat+mysql的生日祝福服务相关接口的性能分析方法。

该方法具体包括以下步骤：

1、先配置各个服务类型需要监控分析的模板信息：

1)Nginx服务配置服务器基础资源监控项：cpu/内存/带宽；

2)Tomcat服务配置服务器基础资源监控项：cpu/内存/带宽；以及服务监控项：FGC；

3)Mysql服务配置服务器基础资源监控项：cpu/内存/带宽/磁盘，以及服务监控项：锁表时间/select/delete/insert/update的每秒操作次数。

2、使用压测工具(即接口性能测试工具)进行生日祝福服务接口压测的同时，调用启动模块，传入测试用例id、各服务器Ip、压测持续时间等参数信息；启动模块按服务类型配置表中的服务开启nginx、tomcat、mysql各服务的性能数据采集工作。

3、各服务的采集模块根据监控分析模板，使用定义好的采集方法开始采集该接口压测时间内的性能数据；

1)Nginx服务根据采样间隔时间采集服务器的系统资源(cpu、内存、网络)，采集的数据按用例id保存。

2)Tomcat服务根据采样间隔时间采集服务器的系统资源(cpu、内存、网络)、FGC日志、连接数、各状态的线程数，采集的数据按用例id保存。

3)Mysql服务根据采样间隔时间采集服务器的系统资源(cpu、内存、网络、磁盘)、Table_locks_waited、select/delete/insert/update日志，采集的数据按用例id保存。

4、接口压测结束后，分析模块根据监控分析模板，对性能数据进行分析：

1)cpu如果超过80％，则匹配到>80％的分析项，并输出该项的分析结果：cpu使用80％，其中usr％占70，sys％占10％，负载较高，如接口为密集计算型建议可横向扩容；

2)内存使用曲线不平稳，输出标准差值，并根据曲线是否持续上升输出内存使用持续升高的风险；

3)带宽使用超过80％，结合tps，计算出单个请求的带宽开销值；

4)tomcat服务的连接数输出、各状态线程数量，blocked和waiting状态的线程超过10则输出线程堵塞和等待的性能问题；

5)mysql服务输出服务监控项的值和缓存命中率；

6)各个服务都输出错误日志和mysql慢日志；

7)各分析项有存在曲线波动异常的，输出全局曲线分析；

并将分析结果通过上报模块上报到统一的数据库中，以及将该接口用例的压测状态置为已完成。

5、分析结果显示模块调用时，通过判断传入的用例id的测试状态(测试中、测试完成)，测试用例的状态判断为测试完成时则调用相关分析数据分类显示分析结果。

综上所述，本发明提供的一种接口性能测试分析方法、存储介质，不仅能够显著提高接口性能问题定位的效率和准确度；而且能够确保测试全面、测试结果分析全面；进一步的能够实现与现有的多种性能测试工具无缝衔接，无需额外的接入成本；再进一步的，能够轻松实现测试内容、测试方式的灵活扩展，使测试方式更具灵活性和实用性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种接口性能测试分析方法，其特征在于，包括：

依据所述服务模板项对应的指标对所述性能数据进行性能分析，得到对应所述待测接口的性能测试结果；

所述在使用接口测试工具对待测接口进行测试时，依据所述服务类型配置表开启对应的服务，具体为：

在使用接口测试工具对待测接口进行测试的同时，使用HTTP请求封装的启动API传入包括所述待测接口对应的测试用例的启动参数，并依据所述启动参数和所述服务类型配置表开启所述待测接口所使用的服务；

所述待测接口的性能测试结果包括对应服务模板项的监控项，各个监控项对应所述指标的多个检测条件，及其对应的输出结果和状态；

所述性能分析，具体为：

依据所述检测条件，判断当前监控项的状态是否为正常；

依据当前监控项的平均值和标准差值构建对应的数据曲线；

2.如权利要求1所述的一种接口性能测试分析方法，其特征在于，所述性能测试结果还包括依据所述服务类型配置表分析得出的各服务类型的基础信息；所述基础信息包括连接数、线程和内存泄露。

3.如权利要求1所述的一种接口性能测试分析方法，其特征在于，所述全局曲线分析，具体为：

4.如权利要求3所述的一种接口性能测试分析方法，其特征在于，所述纵向曲线关联分析，具体为：

所述横向曲线关联分析，具体为：

依据第一分析结论和第二分析结论，获取全局曲线分析结论。

5.如权利要求1所述的一种接口性能测试分析方法，其特征在于，所述使用结论包括当前监控项的使用次数、TPS次数；所述优化建议内容依据不同的服务类型确定。

6.如权利要求1所述的一种接口性能测试分析方法，其特征在于，所述服务模板项包括服务器资源项和个性化模板项。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器调用时，能够实现上述权利要求1-6任意一项所述的一种接口性能测试分析方法所包含的所有步骤。