CN113965502A - 一种全链路性能测试方法和系统 - Google Patents

Abstract

本发明公开了全链路性能测试方法和系统，压测流程以自动化的形式进行，节省压测准备、执行、报告梳理及分析的时间，支持常态化压测。其技术方案为：系统包括：前端模块，提供对场景链路监控指标信息的可视化展示；后端模块，从外部获取应用列表信息、应用接口列表信息和接口调用关系，根据接口调用关系生成应用间接口链路关系；数据库模块，存储后端模块生成的应用间接口链路关系；Web压力测试系统控制器模块，将压测脚本分发到一个或多个Web压力测试系统代理服务器去执行；Web压力测试系统代理服务器，加载压测脚本以运行脚本对应的测试进程和线程；监控器，上报所部署的应用服务器的资源使用情况。

Description

一种全链路性能测试方法和系统

技术领域

本发明涉及软件业务或中间件相关的性能测试，具体涉及一种全链路性能测试方法和系统，包括但不限于HTTP接口，RPC(Remote Procedure Call Protocol，远程过程调用协议)接口，数据库，缓存等的压测评估。

背景技术

金融支付业务包括但不限于POS相关服务、支付相关服务、聚合API等，这些业务在上线之前都需要做性能评估或容量评估，才能清楚的知晓相关业务在对应硬件资源或不同配置参数下对应的业务承载量。

目前已有的针对此类业务的性能测试方式存在如下问题：

1)大部分压测方式为基于单点的负载机的压测，比如loadrunner、jmeter，jmeter支持协议较少，分析和报告能力比较弱；loadrunner费用很高，安装复杂，操作相对困难。单点部署无法应对高负载的情况，在多台单点同时操作的情况下，无法控制压测触发时间，报告很分散，且需要手动梳理；

2)目前的性能测试中并没有支持百万级TPS(平均每秒事务数)、并支持实时查看全链路执行指标的压测平台；

3)目前全链路压测的方案中并没有涉及实时知晓全链路瓶颈并能及时采取措施的压测方案。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种全链路性能测试方法和系统，压测流程以自动化的形式进行，可以很好的节省压测准备、执行、报告梳理及分析的时间，更好的支持常态化压测。

本发明的技术方案为：本发明揭示了一种全链路性能测试系统，系统包括前端模块、后端模块、数据库模块、控制器、Web压力测试系统代理服务器、监控器，其中：

前端模块，用于可视化配置，全链路节点展示方式提供对场景链路监控指标信息的可视化展示；

后端模块，用于从外部获取应用列表信息、压测指标数据、应用接口列表信息和接口调用关系，根据接口调用关系生成应用间接口链路关系；

数据库模块，用于存储压测项目信息、后端模块生成的应用间接口链路关系及压测报告数据；

控制器包括Web压力测试系统控制器模块及其内置数据库模块、K8S资源定制控制器模块，Web压力测试系统控制器模块用于提供脚本创建及性能测试的：Web接口并将压测脚本分发到一个或多个Web压力测试系统代理服务器去执行测试，K8S资源定制控制器是基于K8S方式部署的应用，用于整理压测测试的统计结果；内置数据库模块为Web压力测试系统控制器模块的内置数据库，以嵌入式模式运行，用于存储Web压力测试系统控制器模块的信息；

Web压力测试系统代理服务器，用于加载压测脚本以运行脚本对应的测试进程和线程，并进行请求分发；

监控器，用于上报所部署的应用服务器的资源使用情况，监控器包括Web压力测试系统监控器以及K8S资源定制监控器，应用服务器部署的服务器类型包括虚机或K8S集群，Web压力测试系统监控器用于监控并上报虚机的资源使用情况，K8S资源定制监控器用于监控K8S调度单元的资源使用情况。

根据本发明的全链路性能测试系统的一实施例，前端模块通过http协议将数据传输至后端模块，后端模块将数据传输至数据库模块并通过http协议将数据传输至Web压力测试系统控制器模块，Web压力测试系统控制器模块分别将数据传输至内置数据库模块、一个或多个Web压力测试系统代理服务器。

本发明还揭示了一种全链路性能测试方法，方法包括：

步骤1：全链路性能测试系统调用外部平台获取应用列表信息、应用接口列表信息、接口调用关系，根据接口调用关系生成应用间接口链路关系并进行存储；

步骤2：通过全链路性能测试系统，以可视化形式根据模板创建压测脚本；

步骤3：通过全链路性能测试系统，以可视化形式创建全链路压测场景的性能测试，根据步骤1中生成的应用间接口链路关系的列表，选择需要使用的链路关系并保存，该性能测试的场景和链路关系信息组合在一起进行存储；

步骤4：对步骤3所创建的性能测试，配置场景链路阈值规则，该规则与步骤3中的性能测试场景、链路关系信息组合在一起进行存储；

步骤5：选择步骤2中所创建的压测脚本并配置压测规则，执行压测；

步骤6：全链路性能测试系统在压测过程中可视化实时展示场景链路监控指标信息。

根据本发明的全链路性能测试方法的一实施例，在步骤1中，调用外部的应用资源管理系统以获取应用列表信息，调用外部的接口平台以获取应用接口列表信息，调用外部的全链路监控平台以获取接口调用关系，根据接口调用关系生成应用间接口链路关系。

根据本发明的全链路性能测试方法的一实施例，在步骤4中，场景链路阈值规则包括压测关注的告警指标的组合，配置方式分为全局和局部，组合方式通过逻辑或、逻辑与来连接，阈值包括瓶颈点的设置信息。

根据本发明的全链路性能测试方法的一实施例，步骤5中的压测规则包括压测参数的配置，压测参数包括虚拟用户数、虚拟用户增长趋势、压测脚本、负载机个数、测试时长、采样间隔。

根据本发明的全链路性能测试方法的一实施例，步骤6中还包括：

将指标在阈值内的节点展示为绿色，如果指标达到或超过了阈值则链路对应的节点变成红色，全链路性能测试系统自动停止压测过程并生成压测报告，如果压测过程中指标正常则全链路性能测试系统继续执行压测直至压测正常结束。

本发明对比现有技术有如下的技术效果：本发明的方法和系统从流程自动化的角度(压测前、压测中、压测后)进行软件压测。压测中支持不同类型的压测报告自动生成，压测后支持汇总报告邮件发送及多维度压测数据分析。压测流程以自动化的形式进行，可以很好的节省压测准备、执行、报告梳理及分析的时间，更好的支持常态化压测。压测历史的多维度分析，可以使业务相关人员更好的了解开发迭代对业务的影响。

本发明的方案在进行全链路的压测过程中，能够明确知晓压测瓶颈在哪个应用，并能在压测时及时停止压测。通过实时展示监控压测指标，压测人员可以实时查看压测过程中的具体详情，平台通过阈值设置可以在压测出现瓶颈时及时停止，避免因为负载过高导致系统崩溃。通过全链路节点展示方式，压测人员可以实时观察到全链路系统瓶颈，从而支持压测方案调整及应用问题的及时发现。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的全链路性能测试系统的一实施例的平台架构图。

图2示出了本发明的全链路性能测试方法的一实施例的流程图。

图3示出了本发明的全链路压测实时监控的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了本发明的全链路性能测试系统的一实施例的平台架构。请参见图1，本实施例的系统包括：前端模块、后端模块、数据库模块(本实施例中为图1中所示的mySQL数据库)、控制器、、Web压力测试系统代理服务器(本实施例中为图1中所示的nGrinder代理)、部署于一个或多个应用服务器上的监控器。

上述模块之间的数据传输关系如下：前端模块通过http协议将数据传输至后端模块，后端模块将数据传输至数据库模块并通过http协议将数据传输至控制器，控制器分别将数据传输至内置数据库模块、一个或多个Web压力测试系统代理服务器(图示为3个nGrinder代理服务器)，进行请求分发。应用服务器上的监控器负责上报应用服务器的资源使用情况，包括CPU、内存、网络、JVM资源使用。

上述每一模块各自实现的功能如下：

前端模块用于可视化配置，以及提供场景链路监控指标信息的可视化展示，这种可视化展示是以全链路节点展示方式来实现，以使压测人员实时查看压测过程中的具体详情，包括全链路系统瓶颈等问题，从而支持压测方案调整及应用问题的及时发现。

后端模块用于从外部获取应用列表信息、压测指标数据、应用接口列表信息和接口调用关系，具体包括调用外部的应用资源管理系统以获取应用列表信息和压测指标数据，调用外部的接口平台以获取应用接口列表信息，调用外部的全链路监控平台以获取接口调用关系，并根据接口调用关系生成应用间接口链路关系，并将生成的应用间接口链路关系存储在数据库模块。

数据库模块用于存储压测项目信息、后端模块生成的应用间接口链路关系及压测报告数据。

控制器包括Web压力测试系统控制器模块(即图1中所示的nGrinder控制器)及其内置数据库模块(即图1中所示的内置H2 db数据库)、K8S资源定制控制器模块。Web压力测试系统控制器模块用于提供脚本创建及性能测试的Web接口，并将压测脚本分发到一个或多个Web压力测试系统代理服务器去执行测试。K8S资源定制控制器是基于K8S方式部署的应用，用于整理压测测试的统计结果。

内置数据库模块为Web压力测试系统控制器模块的内置数据库，以嵌入式模式运行，用于存储Web压力测试系统控制器模块相关的数据信息。

该一个或多个Web压力测试系统代理服务器(即图1中所示的nGrinder代理)用于加载压测脚本以运行脚本对应的测试进程和线程，并进行请求分发，监控目标机器的系统性能。

监控器用于上报所部署的应用服务器的资源使用情况。监控器包括Web压力测试系统监控器(即图1中所示的nGrinder监控器)以及K8S资源定制监控器。应用服务器部署的服务器类型包括虚机(比如阿里云服务器ECS或其它类型的虚机)或K8S集群，Web压力测试系统监控器用于监控并上报虚机的资源使用情况，K8S资源定制监控器用于监控K8S POD(调度单元)的资源使用情况。

图2示出了本发明的全链路性能测试方法的一实施例的流程。该方法是在图1所示的全链路性能测试系统上运行的测试方法。请参见图2，本实施例的方法的实施步骤详述如下。

步骤1：全链路性能测试系统调用外部的应用资源管理系统以获取应用列表信息，调用外部的接口平台以获取应用接口列表信息，调用外部的全链路监控平台以获取接口调用关系，根据接口调用关系生成应用间接口链路关系，并将生成的应用间接口链路关系存储在数据库模块(mySQL)中。

如图1所示，步骤1中提及的外部平台，主要是独立于全链路性能测试系统外的自建平台。

应用资源管理系统主要以团队维度管理应用及其相关信息，包括但不限于团队信息、应用信息、机器资源等信息。

接口平台主要以应用为维度进行接口管理，接口平台中记录了不同应用的接口列表及接口详情，包括但不限于接口名称、接口参数、团队、应用负责人等信息。

全链路监控平台主要是端到端的全链路监控平台，通过监控业务请求，汇总应用间接口调用链路，使用探针自动收集所需的指标，并进行分布式的追踪。

步骤2：通过全链路性能测试系统，以可视化形式根据模板创建压测脚本。

模板是自定义的maven工程，根据不同的协议(比如http，tcp，rpc)定制不同的脚本。在模板基础上，根据压测需求稍微变更脚本，就可以在全链路性能测试系统上进行脚本调试和压测执行。

步骤3：通过全链路性能测试系统，以可视化形式创建类型为“全链路压测场景”的性能测试，根据步骤1中生成的应用间接口链路关系的列表，选择需要使用的链路关系并保存，此性能测试的场景和链路关系信息会组合在一起存储在数据库模块(mySQL)中。

步骤4：对步骤3所创建的性能测试，配置场景链路阈值规则，此阈值规则与步骤3中的性能测试场景、链路关系信息组合在一起被存储在数据库模块(mySQL)中。

场景链路阈值规则主要是压测关注的告警指标的组合，配置方式分为全局和局部，组合方式通过逻辑或、逻辑与来连接，阈值主要指瓶颈点。如果全链路压测中关注所有应用的CPU和内存的资源使用情况，任何一个指标达到相关阈值，则场景链路阈值规则可以从全局维度配置成“CPU达到80％并且Mem达到70％”；局部配置主要是从链路单节点的维度进行配置，比如某个节点所在应用的磁盘达到70％，规则配置为“Disk达到70％”。则全局或局部的任何一个规则达到配置的条件，则触发步骤6中的节点颜色变更及压测停止操作。除了设置资源指标作为阈值，还可以设置接口的指标数值(平均每秒事务数TPS、响应时间RT，错误数Error)作为规则参数。

步骤5：选择步骤2中所创建的压测脚本并配置压测规则，并执行压测。

场景压测规则主要是压测参数配置，包括虚拟用户数，虚拟用户增长趋势，压测脚本、负载机个数，测试时长，采样间隔等信息。

步骤6：在压测过程中，全链路性能测试系统可视化形式实时展示场景链路监控指标信息，指标在阈值内的节点展示为绿色，如果指标达到或超过了阈值则链路对应的节点变成红色(比如配置的场景链路阈值规则“CPU达到80％并且Mem达到70％”条件达到)，全链路性能测试系统自动调用停止性能测试接口来停止压测过程并生成压测报告，如果压测过程中指标正常则系统继续执行压测直至压测正常结束。

上述实时展示的监控数据通过调用全链路性能测试系统的前端接口和Web压力测试系统代理服务器的接口来获取。

步骤6中的可视化形式实时展示的场景链路监控指标信息的具体示例内容如图3所示，图3的节点主要展示应用名称、接口名称，压测执行中接口的调用信息，压测执行中对应接口应用的机器资源使用信息，接口的调用依赖关系。在监控展示过程中判断阈值情况，根据是否达到阈值变更节点的颜色变更及压测状态。

比如，图3展示的性能测试全链路监控，整个链路包含6个应用，根据接口的依赖关系，应用1的接口1需要调用应用2的接口2，则节点1(包括load、CPU、mem、network、IO)的箭头指向节点2(包括load、CPU、mem、network、IO)，节点1展示应用1中接口1(TPS、RT、Error)涉及到的信息，节点2展示应用2中接口2(TPS、RT、Error)涉及到的信息。压测从应用1的接口1发起，经过应用1,2,4,5,6或者1,3,4,5,6。平台通过调用全链路监控的接口，获取链路应用对应压测接口的各项指标数据具体值(平均每秒事务数TPS，响应时间RT，错误数Error)，并展示在链路节点上。系统通过Web压力测试系统代理服务器的接口获取应用节点的资源监控信息，比如应用2中机器1的load(负载)、CPU(CPU使用率)、mem(内存使用率)、network(网络，包括发送速率和接收速率)、IO(磁盘)。比如针对全局场景链路阈值规则“CPU达到80％并且Mem达到70％”，应用2中机器1符合规则，则节点2变为红色。链路节点正常时为绿色。通过修改链路节点的颜色，可以快速发现系统的资源瓶颈。除了应用资源监控，平台同时支持基础组件的资源使用监控，在链路中对基础组件资源配置规则，在规则触发时，节点颜色同样会变成红色，如图3中的redis，虚线代表红色。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (7)

1.一种全链路性能测试系统，其特征在于，系统包括前端模块、后端模块、数据库模块、控制器、Web压力测试系统代理服务器、监控器，其中：

前端模块，用于可视化配置，全链路节点展示方式提供对场景链路监控指标信息的可视化展示；

后端模块，用于从外部获取应用列表信息、压测指标数据、应用接口列表信息和接口调用关系，根据接口调用关系生成应用间接口链路关系；

数据库模块，用于存储压测项目信息、后端模块生成的应用间接口链路关系及压测报告数据；

控制器包括Web压力测试系统控制器模块及其内置数据库模块、K8S资源定制控制器模块，Web压力测试系统控制器模块用于提供脚本创建及性能测试的Web接口并将压测脚本分发到一个或多个Web压力测试系统代理服务器去执行测试，K8S资源定制控制器是基于K8S方式部署的应用，用于整理压测测试的统计结果，内置数据库模块为Web压力测试系统控制器模块的内置数据库，以嵌入式模式运行，用于存储Web压力测试系统控制器模块的信息；

Web压力测试系统代理服务器，用于加载压测脚本以运行脚本对应的测试进程和线程，并进行请求分发；

监控器，用于上报所部署的应用服务器的资源使用情况，监控器包括Web压力测试系统监控器以及K8S资源定制监控器，应用服务器部署的服务器类型包括虚机或K8S集群，Web压力测试系统监控器用于监控并上报虚机的资源使用情况，K8S资源定制监控器用于监控K8S调度单元的资源使用情况。

2.根据权利要求1所述的全链路性能测试系统，其特征在于，前端模块通过http协议将数据传输至后端模块，后端模块将数据传输至数据库模块并通过http协议将数据传输至控制器，控制器分别将数据传输至内置数据库模块、一个或多个Web压力测试系统代理服务器。

3.一种全链路性能测试方法，其特征在于，方法包括：

步骤1：全链路性能测试系统调用外部平台获取应用列表信息、应用接口列表信息、接口调用关系，根据接口调用关系生成应用间接口链路关系并进行存储；

步骤2：通过全链路性能测试系统，以可视化形式根据模板创建压测脚本；

步骤3：通过全链路性能测试系统，以可视化形式创建全链路压测场景的性能测试，根据步骤1中生成的应用间接口链路关系的列表，选择需要使用的链路关系并保存，该性能测试的场景和链路关系信息组合在一起进行存储；

步骤4：对步骤3所创建的性能测试，配置场景链路阈值规则，该规则与步骤3中的性能测试场景、链路关系信息组合在一起进行存储；

步骤5：选择步骤2中所创建的压测脚本并配置压测规则，执行压测；

步骤6：全链路性能测试系统在压测过程中可视化实时展示场景链路监控指标信息。

4.根据权利要求3所述的全链路性能测试方法，其特征在于，在步骤1中，调用外部的应用资源管理系统以获取应用列表信息，调用外部的接口平台以获取应用接口列表信息，调用外部的全链路监控平台以获取接口调用关系，根据接口调用关系生成应用间接口链路关系。

5.根据权利要求3所述的全链路性能测试方法，其特征在于，在步骤4中，场景链路阈值规则包括压测关注的告警指标的组合，配置方式分为全局和局部，组合方式通过逻辑或、逻辑与来连接，阈值包括瓶颈点的设置信息。

6.根据权利要求3所述的全链路性能测试方法，其特征在于，步骤5中的压测规则包括压测参数的配置，压测参数包括虚拟用户数、虚拟用户增长趋势、压测脚本、负载机个数、测试时长、采样间隔。

7.根据权利要求3所述的全链路性能测试方法，其特征在于，步骤6中还包括：

将指标在阈值内的节点展示为绿色，如果指标达到或超过了阈值则链路对应的节点变成红色，全链路性能测试系统自动停止压测过程并生成压测报告，如果压测过程中指标正常则全链路性能测试系统继续执行压测直至压测正常结束。

Images