CN107544897A - 基于一体化实时监控的性能测试方法与系统 - Google Patents

Abstract

本发明公开了一种基于一体化实时监控的性能测试方法与系统，涉及性能测试领域。所述的方法包括：将性能测试工具的结果数据，导入到时序数据库中，确定第一数据源；在确定第一数据源的同时，并确定第二数据源；将第一数据源、第二数据源，导入到显示单元模块中。所述的系统包括性能测试工具数据传输模块、第一数据获取模块、第二数据获取模块、数据导入模块、判断模块和定位模块。本发明实现实时监控所有指标，做到一体化监控，可清楚地判断产生性能问题的时刻，以及该时刻下对应其他图形的监控指标的情况，进而准确地定位性能问题，提高了性能测试效率。

Description

基于一体化实时监控的性能测试方法与系统

技术领域

本发明涉及软件性能测试技术，尤其涉及一种基于一体化实时监控的性能测试方法与系统。

背景技术

JMeter是Apache组织开发的基于Java、并用于对软件做压力测试的工具。其应用领域包括：Web应用测试，静态资源测试和动态资源测试等，其中，静态资源包括静态文件等，动态资源包括Java小服务程序、CGI脚本、Java对象、数据库和FTP服务器等。

在JMeter性能测试过程中，现有技术中存在以下方法：

1、通过设定不同用户数，分别进行压力测试可探索系统瓶颈点；

2、在进行压力测试时将用户数与响应时间等结果数据进行对比，可发现系统到达瓶颈时能够支持的最大用户数；

3、目前常用的结合JMeter的性能监控方法：可使用nmon工具对服务器进行监控数据收集，脚本运行结束后可对服务器资源进行分析；

4、通过相关资源和JMeter结果数据可逐步定位产生性能瓶颈的原因；

JMeter和Loadrunner是目前国内最常用的性能测试工具，后者提供了整套性能测试的解决方案，从脚本处理、场景设计、结果分析都能一站式完成，但其价格是相当昂贵。而JMeter在一定程度上，可以实现零成本性能测试，但JMeter有其致命的缺点，尤其在性能监控及分析上，无法提供一站式的分析，即使使用其他插件结合监控工具来弥补，其测试效果也难以保证。在以上技术中，值得一提的是，在结合JMeter的性能监控方法中，使用nmon工具可以弥补JMeter监控服务器资源的缺陷，但其操作繁琐、收集数据效率低，且无法实时监控、发现问题。

申请号：CN201510266856.8的中国专利申请是一种数据库压力测试的方法，涉及数据库测试技术领域。使用JMeter工具，新建测试计划且配置数据库JDBC连接配置；然后通过JDBC发送请求进行测试；最后通过图形结果收集测试结果。可以很好的反映数据库对象是否需要优化；可以广泛应用于软件产品的数据库性能测试。该专利申请存在以下不足：不能实现对性能进行监控的目的，尤其是一体化监控，对所有性能指标无法做到实时、准确地监测，在操作过程中无法判定待测试的程序是从哪个时刻产生性能问题，以及发生性能问题的时刻所对应的其他图形（监控指标）的情况，无法准确定位性能问题等。

申请号：CN201410367384.0的中国专利申请是一种实时性能测试方法，应用于嵌入式系统的实时性能测试。在上位机中对应用程序源代码进行时间特征建模；利用建模过程得到的时间特征模型完成对源代码的插桩操作；将源代码编译链接好后下载到下位机，并通过上位机启动所述应用程序；应用程序在运行期间采集测试数据，并根据预先设定的传输规则将实时存储到特定数据容器的数据传回上位机；经过数据分析后得到应用程序的实时性能测试报告。该专利申请实现了对嵌入式实时应用程序的实时性能测试，具有测试过程全自动化、误差小和结果详尽的优点，能解决实时监控的问题，但是该测试方法需要额外繁琐的操作，存在性能测试效率较低等问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于一体化实时监控的性能测试方法与系统，做到一体化监控，实现实时监控所有指标，可清楚地知道从哪个时刻产生性能问题，以及发生性能问题的那一时刻对应其他图形的监控指标的情况，进而准确地定位性能问题，且该测试方法除了环境搭建外不需要额外繁琐的操作，大幅提高了性能测试效率。

本发明的目的是通过以下技术方案来实现的：一种基于一体化实时监控的性能测试方法，包括：

将性能测试工具的结果数据，导入到时序数据库中，然后

使用图形化工具进行第一获取步骤，从所述的时序数据库中获取被导入到时序数据库中的测试工具的结果数据，作为所述图形化工具的第一数据源；并

在所述图形化工具从所述的时序数据库中获取所述第一数据源的同时，使用所述图形化工具进行第二获取步骤，从监控工具中获取数据，作为第二数据源；再

将所述的第一数据源、第二数据源，导入到显示单元模块中；

所述的显示单元模块，用于实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

进一步地，所述的方法包括：

判断步骤，用于确定性能瓶颈点；预先确定一个判断指标的条件，在性能测试过程中，如果有时刻点的数据的所述判断指标不满足预先确定的条件，则在此时基于所述判断步骤，判断该时刻点对应下的其他指标的监控情况。

进一步地，所述的方法包括：

定位步骤，用于定位到产生性能问题的时刻，并用于定位到产生性能问题的时刻的对应其他性能测试指标的图形的监控指标。

进一步地，所述的方法包括：

所述的第一获取步骤，根据不同的参数，确定所述第一数据源。

进一步地，所述的方法包括：

所述的第二获取步骤，根据不同的监控项，确定所述第二数据源。

进一步地，所述的方法包括：

所述的监控项，包括服务器监控项。

进一步地，所述的方法包括：

在所述的第二获取步骤中，将不同的监控项加入到同一个所述显示单元模块中，在同一个所述显示单元模块中实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

一种基于一体化实时监控的性能测试系统，包括用于提供计算服务的服务器和用于提供数据存储的数据库，包括：

性能测试工具数据传输模块，用于将性能测试工具的结果数据，导入到时序数据库中；

第一数据获取模块，用于从所述的时序数据库中获取被导入到时序数据库中的测试工具的结果数据，作为所述图形化工具的第一数据源；

第二数据获取模块，用于在所述图形化工具从所述的时序数据库中获取所述第一数据源的同时，使用所述图形化工具从监控工具中获取数据，作为第二数据源；

数据导入模块，用于将所述的第一数据源、第二数据源，导入到显示单元模块中；

所述的显示单元模块包括实时数据呈现模块，所述实时数据呈现模块，用于在所述显示单元模块中实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

进一步地，所述的系统包括：

判断模块，用于确定性能瓶颈点；预先确定一个判断指标的条件，在性能测试过程中，如果有时刻点的数据的所述判断指标不满足预先确定的条件，则在此时基于所述判断模块，判断该时刻点对应下的其他指标的监控情况。

进一步地，所述的系统包括：

定位模块，用于定位到产生性能问题的时刻，并用于定位到产生性能问题的时刻的对应其他性能测试指标的图形的监控指标。

本发明的有益效果是：

（1）将性能测试工具，如JMeter工具等的重要结果数据通过编写的数据传输程序模块，传送至时序数据库，再由图形化工具获取时序数据库的数据源，同时将服务器监控数据集成到显示单元模块中（包括显示面板），可在同一显示单元模块中实时监控性能测试过程中的响应时间、用户数、服务器资源等信息，可做到一体化实时监控。

（2）运行性能测试工具，如JMeter工具等的脚本程序，即可在一个显示单元模块中实时监控到所有需要监控的指标，如果选取用户数作为一个判断参考指标，在用户数达到设定值时，响应时间超过预期值，此时可观察各项服务器的资源情况，能快速地确定性能瓶颈点，并可快速定位性能问题，和快速排查出性能问题，实践证明，极大地提高了软件性能测试过程中的测试效率。

（3）使用本发明的方法和系统可以大幅度提高性能测试效率，相比目前国内常用的Loadrunner工具，显著节约了成本；相比单一的JMeter工具，尤其在性能监控及分析上，本发明的方法和系统克服了JMeter工具不能提供一站式分析，即使使用其他插件结合监控工具也难以保证测试效果的缺陷。本发明的实施例一将JMeter工具的重要结果数据传送至时序数据库，再由图形化工具获取时序数据库的数据源，同时将服务器监控数据集成到面板中，可在同一面板中实时监控性能测试过程中的响应时间、用户数、服务器资源等信息，做到一体化实时监控，提高了软件测试效率。

附图说明

图1为本发明的方法的测试流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

【实施例一】

如图1所示，一种基于一体化实时监控的性能测试方法，包括：

将性能测试工具的结果数据，导入到时序数据库中，然后

使用图形化工具进行第一获取步骤，从所述的时序数据库中获取被导入到时序数据库中的测试工具的结果数据，作为所述图形化工具的第一数据源；并

在所述图形化工具从所述的时序数据库中获取所述第一数据源的同时，使用所述图形化工具进行第二获取步骤，从监控工具中获取数据，作为第二数据源；再

将所述的第一数据源、第二数据源，导入到显示单元模块中；

所述的显示单元模块，用于实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

进一步地，所述的方法包括：

判断步骤，用于确定性能瓶颈点；预先确定一个判断指标的条件，在性能测试过程中，如果有时刻点的数据的所述判断指标不满足预先确定的条件，则在此时基于所述判断步骤，判断该时刻点对应下的其他指标的监控情况。

进一步地，所述的方法包括：

定位步骤，用于定位到产生性能问题的时刻，并用于定位到产生性能问题的时刻的对应其他性能测试指标的图形的监控指标。

进一步地，所述的方法包括：

所述的第一获取步骤，根据不同的参数，确定所述第一数据源。

进一步地，所述的方法包括：

所述的第二获取步骤，根据不同的监控项，确定所述第二数据源。

进一步地，所述的方法包括：

所述的监控项，包括服务器监控项。

进一步地，所述的方法包括：

在所述的第二获取步骤中，将不同的监控项加入到同一个所述显示单元模块中，在同一个所述显示单元模块中实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

一种基于一体化实时监控的性能测试系统，包括用于提供计算服务的服务器和用于提供数据存储的数据库，包括：

性能测试工具数据传输模块，用于将性能测试工具的结果数据，导入到时序数据库中；

第一数据获取模块，用于从所述的时序数据库中获取被导入到时序数据库中的测试工具的结果数据，作为所述图形化工具的第一数据源；

第二数据获取模块，用于在所述图形化工具从所述的时序数据库中获取所述第一数据源的同时，使用所述图形化工具从监控工具中获取数据，作为第二数据源；

数据导入模块，用于将所述的第一数据源、第二数据源，导入到显示单元模块中；

所述的显示单元模块包括实时数据呈现模块，所述实时数据呈现模块，用于在所述显示单元模块中实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

进一步地，所述的系统包括：

判断模块，用于确定性能瓶颈点；预先确定一个判断指标的条件，在性能测试过程中，如果有时刻点的数据的所述判断指标不满足预先确定的条件，则在此时基于所述判断模块，判断该时刻点对应下的其他指标的监控情况。

进一步地，所述的系统包括：

定位模块，用于定位到产生性能问题的时刻，并用于定位到产生性能问题的时刻的对应其他性能测试指标的图形的监控指标。

在本发明的实施例一中，本实施例一仅针对指定技术和指定工具，而本发明保护的范围是基于实施例之上的发明内容中的技术方案，以及权利要求书中独立权利要求请求保护的技术方案限定的范围，包括但不限于如下实施步骤和使用的相应工具、平台系统等。

S1：搭建JMeter工具的测试环境；

S2：安装时序数据库，可选的，本实施例一中可使用influxdb数据库，具体安装细节为现有技术，此处不做特别说明。值得一提的是，时序数据库的配置环节，应当根据本申请的性能测试工具数据传输模块，可选的，所述性能测试工具数据传输模块是一种程序模块，通过编写程序实现将性能测试工具的结果数据，导入到时序数据库中的功能，可配置如下：

找到influxdb.conf文件，修改配置：

编写的配置JMeter工具数据库的代码可以为：

[[graphite]]

enabled = true

database = "jmeter"

bind-address = ":2003"

protocol = "tcp"

consistency-level = "one"

编写的开放端口的代码可以为：

[admin]

enabled = true

bind-address = ":8083"

S3：安装图形化工具，这里可使用grafana图形化工具；

S4：登录grafana图形化工具，添加数据源，由于grafana图形化工具是支持influxdb时序数据库的数据源的导入，因此可直接连接数据源；

S5：可选的，在Jmeter工具中配置Backend Listener程序模块，可以用来收集和传输结果数据，可选的，通过设置host参数的值，可以使Jmeter工具将结果数据传给influxdb时序数据库；

S6：grafana图形化工具获取influxdb的数据源，可选的，将Jmeter工具发送的响应时间和用户数的监控数据以曲线图的方式展示；

S7：搭建监控环境，可选的，本实施例一中，可选取zabbix工具进行监控数据的收集（其余的监控工具也可达到目的），influxdb获取zabbix的数据源，例如选取：CPU、磁盘、内存信息，并用曲线图展示；

S8：此时同一个面板中存在响应时间随时间变化、用户数随时间变化，CPU、磁盘、内存随时间变化的图形；

S9：运行Jmeter工具的脚本程序，即可在一个面板中实时监控到所有需要监控的指标，可选的，如在用户数达到500时，响应时间超过预期值，此时观察各项服务器资源情况，这样快速的确定性能瓶颈点，并可快速定位或排查性能问题；

以上过程未对具体工具的使用进行赘述，原因在于以上具体使用的工具为现有测试工具，可自行找到具体工具的相应使用方法，本实施例一说明了将其结合的一种技术方案和思路，并在此基础之上，使用本发明中的测试方法和系统，可解决目前性能测试过程中的实际问题，达到提高测试效率的目的。

【实施例二】

在实施例一中步骤S1~S6的基础上，本发明的实施例二进一步包括步骤：

（1）重复实施例一的步骤S7-S8，使用grafana配置多个面板，每个面板展示不同服务器的资源信息（资源信息除了CPU、内存、磁盘外，也可任意选择其它监控项）；

（2）运行Jmeter工具的脚本程序，待运行结束后，可分别查看几个面板中的监控信息，且结果可随时进行记录；

（3）本实施例二的场景证明了本发明方法和系统除了可对实时监控的测试场景有效，在无人随时监守的场景下也可在脚本运行完之后，在一体化的界面上分析，以达到测试和提高测试效率的目的。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的实施例仅是示意性的，所述模块的划分，可以仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接，可以说通过一些接口，或模块的间接耦合或通信连接，也可以是电性，机械或其它的形式。

所述分立部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于一体化实时监控的性能测试方法，其特征在于，包括：

将性能测试工具的结果数据，导入到时序数据库中，然后

使用图形化工具进行第一获取步骤，从所述的时序数据库中获取被导入到时序数据库中的测试工具的结果数据，作为所述图形化工具的第一数据源；并

在所述图形化工具从所述的时序数据库中获取所述第一数据源的同时，使用所述图形化工具进行第二获取步骤，从监控工具中获取数据，作为第二数据源；再

将所述的第一数据源、第二数据源，导入到显示单元模块中；

所述的显示单元模块，用于实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

2.根据权利要求1所述的方法，其特征在于，包括：

判断步骤，用于确定性能瓶颈点；预先确定一个判断指标的条件，在性能测试过程中，如果有时刻点的数据的所述判断指标不满足预先确定的条件，则在此时基于所述判断步骤，判断该时刻点对应下的其他指标的监控情况。

3.根据权利要求1所述的方法，其特征在于，包括：

定位步骤，用于定位到产生性能问题的时刻，并用于定位到产生性能问题的时刻的对应其他性能测试指标的图形的监控指标。

4.根据权利要求1所述的方法，其特征在于，包括：

所述的第一获取步骤，根据不同的参数，确定所述第一数据源。

5.根据权利要求1述的方法，其特征在于，包括：

所述的第二获取步骤，根据不同的监控项，确定所述第二数据源。

6.根据权利要求5述的方法，其特征在于，包括：

所述的监控项，包括服务器监控项。

7.根据权利要求5或6所述的方法，其特征在于，包括：

在所述的第二获取步骤中，将不同的监控项加入到同一个所述显示单元模块中，在同一个所述显示单元模块中实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

8.一种基于一体化实时监控的性能测试系统，包括用于提供计算服务的服务器和用于提供数据存储的数据库，其特征在于，包括：

性能测试工具数据传输模块，用于将性能测试工具的结果数据，导入到时序数据库中；

第一数据获取模块，用于从所述的时序数据库中获取被导入到时序数据库中的测试工具的结果数据，作为所述图形化工具的第一数据源；

第二数据获取模块，用于在所述图形化工具从所述的时序数据库中获取所述第一数据源的同时，使用所述图形化工具从监控工具中获取数据，作为第二数据源；

数据导入模块，用于将所述的第一数据源、第二数据源，导入到显示单元模块中；

所述的显示单元模块包括实时数据呈现模块，所述实时数据呈现模块，用于在所述显示单元模块中实时呈现所述第一数据源的信息，和/或用于实时呈现所述第二数据源的信息。

9.根据权利要求8所述的系统，其特征在于，包括：

判断模块，用于确定性能瓶颈点；预先确定一个判断指标的条件，在性能测试过程中，如果有时刻点的数据的所述判断指标不满足预先确定的条件，则在此时基于所述判断模块，判断该时刻点对应下的其他指标的监控情况。

10.根据权利要求8所述的系统，其特征在于，包括：

定位模块，用于定位到产生性能问题的时刻，并用于定位到产生性能问题的时刻的对应其他性能测试指标的图形的监控指标。