CN110727564A - 服务器性能压力测试的测试数据实时监控方法 - Google Patents
服务器性能压力测试的测试数据实时监控方法 Download PDFInfo
- Publication number
- CN110727564A CN110727564A CN201911006569.8A CN201911006569A CN110727564A CN 110727564 A CN110727564 A CN 110727564A CN 201911006569 A CN201911006569 A CN 201911006569A CN 110727564 A CN110727564 A CN 110727564A
- Authority
- CN
- China
- Prior art keywords
- server
- monitoring
- data
- graphs
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 109
- 238000012360 testing method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 claims description 9
- 230000004083 survival effect Effects 0.000 claims description 6
- 238000013475 authorization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000412611 Consul Species 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer And Data Communications (AREA)
Abstract
一种服务器性能压力测试的测试数据实时监控方法，包括：在对目标服务器进行性能压力测试时，发压端将目标服务器的地址信息发送给监控服务器；所述监控服务器实时采集各服务器的资源占用数据，并根据所述地址信息获得所述目标服务器的资源占用数据，同时实时从所述发压端获得加压数据；所述监控服务器根据获得的资源占用数据以及加压数据通过可视化监控指标展示工具形成实时更新的多个数据监控图；所述发压端从所述监控服务器同步所述多个数据监控图进行展示。本发明可以在压力测试过程中实时的对测试数据进行监控，使用户可以实时监控各方面指标，从而及时发现问题和性能瓶颈。
Description
技术领域
本发明属于压力测试技术领域，尤其涉及一种服务器性能压力测试的测试数据实时监控方法。
背景技术
现今互联网已经进入超大规模时代，无论从用户量，还是流量角度，都已经达到一个新的规模。而互联网时代的一个基础模式就是b/s架构，浏览器和服务端，都是通过http(s)接口方式访问数据。一些新起的能力，如RPC(远程过程调用)等，也使用http(s)作为承载协议。
服务端http(s)接口的承载能力，必然备受考验。对于这些接口的性能压力测试需求，也越来越受到重视，测试需求量也与日俱增。
目前，通常在压力测试完成后由测试人员根据测试数据编写测试报告，无法在压力测试过程中实时地对测试数据进行监控，无法及时发现问题和性能瓶颈。其中，测试数据包括加压数据以及被测服务器的资源占用数据，加压数据包括在线用户数、压测时长、预期每秒请求数QPS以及响应校验错误数据等，资源占用数据包括响应耗时数据、CPU使用率数据、内存使用率数据以及网络I/O数据等。
发明内容
基于此，针对上述技术问题，提供一种服务器性能压力测试的测试数据实时监控方法。
为解决上述技术问题，本发明采用如下技术方案：
一种服务器性能压力测试的测试数据实时监控方法，包括：
在对目标服务器进行性能压力测试时，发压端将目标服务器的地址信息发送给监控服务器；
所述监控服务器实时采集各服务器的资源占用数据，并根据所述地址信息获得所述目标服务器的资源占用数据，同时实时从所述发压端获得加压数据；
所述监控服务器根据获得的资源占用数据以及加压数据通过可视化监控指标展示工具形成实时更新的多个数据监控图；
所述发压端从所述监控服务器同步所述多个数据监控图进行展示。
所述多个数据监控图分别为预期每秒请求数QPS监控图、响应耗时监控图、在线用户量监控图、错误率监控图、CPU使用率监控图、内存使用率监控图以及网络I/O监控图。
所述发压端在同一个页面上关联展示所述多个数据监控图。
所述监控服务器实时采集各服务器的资源占用数据包括：
预先在所述各服务器上为自动化运维工具添加公钥授权,通过所述自动化运维工具在所述各服务器上部署进程管理工具、服务发现工具以及采集器；
由所述采集器实时采集相应服务器的资源占用数据，并通过进程管理工具对所述采集器的进程进行监护；
通过服务发现工具将所述采集器的服务端口和存活状态上报给所述监控服务器上的监控系统，所述监控系统根据所述服务端口和存活状态从相应的采集器拉取相应服务器的资源占用数据。
所述自动化运维工具采用ansible，所述进程管理工具采用supervisor，所述服务发现工具采用consul，所述采集器采用exporters，所述可视化监控指标展示工具采用grafana。
所述发压端包括web前端以及web后端；
所述web前端提供第一界面，用于供用户向所述web后端添加服务器的地址信息；所述web前端提供第二界面，用于在对所述目标服务器进行性能压力测试时，从所述web后端获取各服务器列表并以下拉菜单的方式展示供用户选择；对来自所述web后端的所述多个数据监控图进行展示；
所述web后端保存用户从所述第一界面添加的服务器的地址信息；在用户从所述第二界面选择服务器后，所述web后端将被选择服务器的地址信息发送给监控服务器；在向被选择服务器发压过程中，实时将加压数据发送给所述监控服务器，并从所述监控服务器同步所述多个数据监控图并发送给所述web前端。
本发明可以在压力测试过程中实时地对测试数据进行监控，使用户可以实时监控各方面指标，从而及时发现问题和性能瓶颈。
附图说明
下面结合附图和具体实施方式本发明进行详细说明：
图1为本发明的流程图；
图2为本发明的发压端对多个数据监控图进行展示的示意图；
图3为本发明的第一界面的示意图；
图4为本发明的第二界面的示意图。
具体实施方式
如图1所示，一种服务器性能压力测试的测试数据实时监控方法，包括：
S101、在对目标服务器进行性能压力测试时，发压端将目标服务器的地址信息发送给监控服务器。地址信息为IP地址。
S102、监控服务器实时采集各服务器的资源占用数据，并根据上述地址信息获得目标服务器的资源占用数据，同时实时从上述发压端获得加压数据。
S103、监控服务器根据获得的资源占用数据以及加压数据通过可视化监控指标展示工具形成实时更新的多个数据监控图。
S104、发压端从监控服务器同步多个数据监控图进行展示。
本发明可以在压力测试过程中实时的对测试数据进行监控，使用户可以实时监控各方面指标，从而及时发现问题和性能瓶颈。
其中，多个数据监控图分别为预期每秒请求数QPS监控图、响应耗时监控图、在线用户量监控图、错误率监控图、CPU使用率监控图、内存使用率监控图以及网络I/O监控图，上述监控图均以时间为x轴，其中错误率监控图通过响应校验错误数据，响应校验错误数据有两类：发压端会接收目标服务器的响应数据，从中提取状态码，把不是200的状态码(200代表请求成功)都发送给监控服务器；从响应数据中提取不符合预期的字段发送给监控服务器。
在本实施例中，如图2所示，发压端在同一个页面上关联展示上述多个数据监控图，实现多维度监控，进一步利于及时发现、定位和解决问题。关联展示是指用户移动鼠标时，多个监控图的曲线上相关联的点会反映出来。
具体地，步骤S102中监控服务器实时采集各服务器的资源占用数据进一步包括：
1、预先在各服务器上为自动化运维工具添加公钥授权,通过自动化运维工具在上述各服务器上部署进程管理工具、服务发现工具以及采集器。
2、由采集器实时采集相应服务器的资源占用数据，并通过进程管理工具对采集器的进程进行监护，使采集器能持续不断的进行采集。
3、通过服务发现工具将采集器的服务端口和存活状态上报给监控服务器上的监控系统，监控系统根据服务端口和存活状态从相应的采集器拉取相应服务器的资源占用数据，最终提供给可视化监控指标展示工具。
上述方式屏蔽了监控服务背后的复杂架构，仅需要使用人员进行熟练操作即可。
在本实施例中，自动化运维工具采用ansible，进程管理工具采用supervisor，服务发现工具采用consul，采集器采用exporters，可视化监控指标展示工具采用grafana。
在本实施例中，发压端包括web前端以及web后端。
web前端技术实现：
A、提供第一界面，用于供用户向web后端添加服务器的地址信息以及相应的描述信息，参见图3。
B、提供第二界面，用于在对目标服务器进行性能压力测试时，从web后端获取各服务器列表并以下拉菜单的方式展示供用户选择。
在本实施例中，如图4所示，第二界面即为创建压力测试的界面，在该界面中用户可以对加压数据进行配置，同时对服务器(图中表示为压测服务器)进行选择。加压数据配置完成后发送给web后端，web后端根据加压数据对目标服务器进行发压。
C、对来自web后端的多个数据监控图进行展示。
web后端技术实现：
A、保存用户从第一界面添加的服务器的地址信息以及描述信息。
B、在用户从第二界面选择服务器后，将被选择服务器的地址信息发送给监控服务器。
C、在向被选择服务器发压过程中，实时将加压数据发送给监控服务器，并从监控服务器同步多个数据监控图并发送给web前端。加压数据需要灌入influxdb数据库中，再提供给grafana。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
Claims (6)
1.一种服务器性能压力测试的测试数据实时监控方法，其特征在于，包括：
在对目标服务器进行性能压力测试时，发压端将目标服务器的地址信息发送给监控服务器；
所述监控服务器实时采集各服务器的资源占用数据，并根据所述地址信息获得所述目标服务器的资源占用数据，同时实时从所述发压端获得加压数据；
所述监控服务器根据获得的资源占用数据以及加压数据通过可视化监控指标展示工具形成实时更新的多个数据监控图；
所述发压端从所述监控服务器同步所述多个数据监控图进行展示。
2.根据权利要求1所述的一种服务器性能压力测试的测试数据实时监控方法，其特征在于，所述多个数据监控图分别为预期每秒请求数QPS监控图、响应耗时监控图、在线用户量监控图、错误率监控图、CPU使用率监控图、内存使用率监控图以及网络I/O监控图。
3.根据权利要求2所述的一种服务器性能压力测试的测试数据实时监控方法，其特征在于，所述发压端在同一个页面上关联展示所述多个数据监控图。
4.根据权利要求1或3所述的一种服务器性能压力测试的测试数据实时监控方法，其特征在于，所述监控服务器实时采集各服务器的资源占用数据包括：
预先在所述各服务器上为自动化运维工具添加公钥授权,通过所述自动化运维工具在所述各服务器上部署进程管理工具、服务发现工具以及采集器；
由所述采集器实时采集相应服务器的资源占用数据，并通过进程管理工具对所述采集器的进程进行监护；
通过服务发现工具将所述采集器的服务端口和存活状态上报给所述监控服务器上的监控系统，所述监控系统根据所述服务端口和存活状态从相应的采集器拉取相应服务器的资源占用数据。
5.根据权利要求4所述的一种服务器性能压力测试的测试数据实时监控方法，其特征在于，所述自动化运维工具采用ansible，所述进程管理工具采用supervisor，所述服务发现工具采用consul，所述采集器采用exporters，所述可视化监控指标展示工具采用grafana。
6.根据权利要求5所述的一种服务器性能压力测试的测试数据实时监控方法，其特征在于，所述发压端包括web前端以及web后端；
所述web前端提供第一界面，用于供用户向所述web后端添加服务器的地址信息；所述web前端提供第二界面，用于在对所述目标服务器进行性能压力测试时，从所述web后端获取各服务器列表并以下拉菜单的方式展示供用户选择；对来自所述web后端的所述多个数据监控图进行展示；
所述web后端保存用户从所述第一界面添加的服务器的地址信息；在用户从所述第二界面选择服务器后，所述web后端将被选择服务器的地址信息发送给监控服务器；在向被选择服务器发压过程中，实时将加压数据发送给所述监控服务器，并从所述监控服务器同步所述多个数据监控图并发送给所述web前端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911006569.8A CN110727564A (zh) | 2019-10-22 | 2019-10-22 | 服务器性能压力测试的测试数据实时监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911006569.8A CN110727564A (zh) | 2019-10-22 | 2019-10-22 | 服务器性能压力测试的测试数据实时监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110727564A true CN110727564A (zh) | 2020-01-24 |
Family
ID=69222754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911006569.8A Pending CN110727564A (zh) | 2019-10-22 | 2019-10-22 | 服务器性能压力测试的测试数据实时监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727564A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111294257A (zh) * | 2020-03-09 | 2020-06-16 | 北京九州云动科技有限公司 | 应用服务器自动压力测试的方法、装置和系统 |
| CN111338860A (zh) * | 2020-02-14 | 2020-06-26 | 浪潮电子信息产业股份有限公司 | 一种内存监控方法、装置、设备及存储介质 |
| CN111431759A (zh) * | 2020-02-27 | 2020-07-17 | 北京达佳互联信息技术有限公司 | 一种性能测试方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107404417A (zh) * | 2017-07-25 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种监控数据的处理方法、处理装置及处理系统 |
| CN108376112A (zh) * | 2018-02-09 | 2018-08-07 | 腾讯科技（深圳）有限公司 | 压力测试方法、装置及可读介质 |
| CN108959000A (zh) * | 2018-06-20 | 2018-12-07 | 深圳市腾讯网络信息技术有限公司 | 一种服务器压力测试方法、系统及终端 |
| CN110069559A (zh) * | 2019-03-21 | 2019-07-30 | 中国人民解放军陆军工程大学 | 一种具有高度自控性的异构信息系统数据分析和集成方法 |
| CN110347569A (zh) * | 2019-06-28 | 2019-10-18 | 浙江吉利控股集团有限公司 | 一种服务器性能数据采集方法及装置 |
| CN111538590A (zh) * | 2020-04-17 | 2020-08-14 | 姜海强 | 一种基于cs架构的分布式数据采集方法及系统 |
-
2019
- 2019-10-22 CN CN201911006569.8A patent/CN110727564A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107404417A (zh) * | 2017-07-25 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种监控数据的处理方法、处理装置及处理系统 |
| CN108376112A (zh) * | 2018-02-09 | 2018-08-07 | 腾讯科技（深圳）有限公司 | 压力测试方法、装置及可读介质 |
| CN108959000A (zh) * | 2018-06-20 | 2018-12-07 | 深圳市腾讯网络信息技术有限公司 | 一种服务器压力测试方法、系统及终端 |
| CN110069559A (zh) * | 2019-03-21 | 2019-07-30 | 中国人民解放军陆军工程大学 | 一种具有高度自控性的异构信息系统数据分析和集成方法 |
| CN110347569A (zh) * | 2019-06-28 | 2019-10-18 | 浙江吉利控股集团有限公司 | 一种服务器性能数据采集方法及装置 |
| CN111538590A (zh) * | 2020-04-17 | 2020-08-14 | 姜海强 | 一种基于cs架构的分布式数据采集方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨潇黎等: "分布式web日志处理平台的研究与实现", 《信息通信》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111338860A (zh) * | 2020-02-14 | 2020-06-26 | 浪潮电子信息产业股份有限公司 | 一种内存监控方法、装置、设备及存储介质 |
| CN111431759A (zh) * | 2020-02-27 | 2020-07-17 | 北京达佳互联信息技术有限公司 | 一种性能测试方法、装置、电子设备及存储介质 |
| CN111294257A (zh) * | 2020-03-09 | 2020-06-16 | 北京九州云动科技有限公司 | 应用服务器自动压力测试的方法、装置和系统 |
| CN111294257B (zh) * | 2020-03-09 | 2022-05-27 | 北京九州云动科技有限公司 | 应用服务器自动压力测试的方法、装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110727564A (zh) | 服务器性能压力测试的测试数据实时监控方法 | |
| US20150222720A1 (en) | Real-Time Analytics of Web Performance Using Actual User Measurements | |
| CN109165153B (zh) | 一种高仿真证券业交易类系统的性能测试方法 | |
| CN110162471A (zh) | 一种基于容器云的压力测试方法及系统 | |
| CN111124819A (zh) | 全链路监控的方法和装置 | |
| CN103532780A (zh) | 用于it领域的运维监控一体化系统及一体化监控方法 | |
| CN105653398B (zh) | 一种智能分配操作系统镜像方法 | |
| CN107704387B (zh) | 用于系统预警的方法、装置、电子设备及计算机可读介质 | |
| CN111585840B (zh) | 服务资源监测方法、装置和设备 | |
| CN103118051B (zh) | 一种对信息发布过程进行监控的方法和设备 | |
| US20210383295A1 (en) | Method and apparatus for stress testing, electronic device and computer readable medium | |
| CN103488449B (zh) | 可动态设定传输组态的传输系统及其控制方法 | |
| US10411969B2 (en) | Backend resource costs for online service offerings | |
| CN102710458B (zh) | 测试过程的监控方法、测试管理服务器和测试服务器 | |
| CN113127356A (zh) | 压测方法、装置、电子设备及存储介质 | |
| CN105530137B (zh) | 流量数据分析方法及流量数据分析系统 | |
| JP3933655B2 (ja) | ネットワークアプリケーション障害原因切り分け装置及び該障害原因切り分けプログラム | |
| CN110262955A (zh) | 基于pinpoint的应用性能监控工具 | |
| CN111817865A (zh) | 一种监控网管设备的方法及监控系统 | |
| JP4472944B2 (ja) | リクエスト負荷調整装置及び方法、プログラム、並びに性能データ収集方法 | |
| CN113515425A (zh) | 数据动态上报的方法和装置 | |
| CN106953755A (zh) | 一种能源监测方法及系统 | |
| CN102081519B (zh) | 收集监控系统的监控信息的方法及装置 | |
| CN112367540A (zh) | 在线直播推流数监控的方法、装置、计算机设备 | |
| CN105007501B (zh) | 数据的采集方法、装置和系统容量的测试方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |