CN110502424A - 一种应用软件的性能数据处理方法、装置、系统及终端 - Google Patents
一种应用软件的性能数据处理方法、装置、系统及终端 Download PDFInfo
- Publication number
- CN110502424A CN110502424A CN201910577681.0A CN201910577681A CN110502424A CN 110502424 A CN110502424 A CN 110502424A CN 201910577681 A CN201910577681 A CN 201910577681A CN 110502424 A CN110502424 A CN 110502424A
- Authority
- CN
- China
- Prior art keywords
- performance data
- real
- data
- application software
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012800 visualization Methods 0.000 claims abstract description 68
- 238000004891 communication Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000004044 response Effects 0.000 claims abstract description 21
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 241001269238 Data Species 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000000007 visual effect Effects 0.000 description 11
- 230000036541 health Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种应用软件的性能数据处理方法、装置、系统及终端，所述的方法包括：建立与待监控的应用软件之间的通信连接；收集每个待监控的应用软件相关的至少一组性能数据；对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；将所述实时目标性能数据写入时序数据库中；响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据；本发明能够通过对获取的性能数据进行实时统计并提取，将实时目标性能数据保存至时序数据库中，并通过所述可视化触发请求对所述目标数据进行多角度渲染。
Description
技术领域
本发明涉及应用软件的数据处理技术领域，尤其涉及一种应用软件的性能数据处理方法、装置、系统及终端。
背景技术
目前在应用性能监控领域，业界已有很多开源解决方案；而这些解决方案都有各自的优缺点，不能很好的满足目前对整个系统的APM信息的监控、预警及可视化的需求；如Pinpoint，此开源APM监控系统满足了目前所需的监控数据；但是它的可视化方面并不能满足现在的要求，如针对性能数据按应用或接口维度用时间序列等方式进行统计汇总，并产生统计结果报表及相关可视化；虽然Pinpoint采集的数据相对较全，但是可读性很差不易分析统计；然也不能利用它的持久化后的数据进行统计，因为它收集的数据是经过序列化后存入HBase的；若要将其取出来反序列化后再统计也是成本很高的。
发明内容
为了解决上述技术问题，针对以上问题点，本发明公开了应用软件的性能数据处理方法，能够通过对获取的性能数据进行实时统计，并根据性能数据提取规则得到实时目标性能数据，并将实时目标性能数据保存至时序数据库中，并通过所述可视化触发请求对所述目标数据进行多角度渲染，这种获取数据的方法不仅成本低，而且获得的数据能够更好实现可视化。
为了达到上述发明目的，本发明提供了一种应用软件的性能数据处理方法，所述的方法包括：
建立与待监控的应用软件之间的通信连接；
收集每个待监控的应用软件相关的至少一组性能数据；
对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；
根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；
将所述实时目标性能数据写入时序数据库中；
响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
进一步地，所述建立与待监控的应用软件之间的通信连接，包括：
基于开源应用性能管理系统Pinpoint建立与待监控的应用软件之间的通信连接。
进一步地，所述收集每个待监控的应用软件相关的至少一组性能数据，包括：
基于开源应用性能管理系统Pinpoint的组件Pinpoint-Agent获取应用软件的至少一组性能数据；
将所述性能数据传输至Pinpoint-Collector。
进一步地，所述对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据，包括：
获取统计周期和统计指标；
对位于相同统计周期内的各性能数据进行按组统计，以得到每组性能数据对应的统计指标。
进一步地，所述响应于可视化触发请求，从所述实时数据库中提取可视化数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述可视化数据，包括：
若所述可视化触发请求为实时大盘查看请求，则提取至少两组不同的性能数据，按照所述两组性能数据的分析结果对所述两组性能数据对应的待监测应用软件进行排名，渲染排名数据或所述两组性能数据。
更进一步地，所述响应于可视化触发请求，从所述实时数据库中提取可视化数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述可视化数据，还包括：
若所述可视化触发请求为当日大盘查看请求，则提取预设时间段内的至少两组不同的性能数据，并对所述两组性能数据进行排序，渲染排序数据或所述两组性能数据。
进一步地，所述收集每个待监控的应用软件相关的至少一组性能数据之后，还包括：
将所述性能数据写入消息队列。
本发明提供了一种应用软件的性能数据处理装置，所述的装置包括：
通信模块，用于建立与待监控的应用软件之间的通信连接；
数据收集模块，用于收集每个待监控的应用软件相关的至少一组性能数据；
统计模块，用于对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；
数据生成模块，用于根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；
数据写入模块，用于将所述实时目标性能数据写入时序数据库中；
数据渲染模块，用于响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
本发明提供了一种应用软件的性能数据处理系统，所述的系统包括开源应用性能管理系统、实时计算系统、时序数据库和可视化系统：
开源应用性能管理系统，用于建立与待监控的应用软件之间的通信连接；并收集每个待监控的应用软件相关的至少一组性能数据；
实时计算系统，用于对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据，根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据，并将所述实时目标性能数据写入时序数据库中；
可视化系统，用于响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
本发明提供了一种应用软件的性能数据处理终端，所述终端包括处理器和存储器；
所述处理器，适于实现一条或一条以上指令；
所述存储器，存储有一条或一条以上指令，所述一条或一条以上适于所述处理器加载并执行以实现如上述所述的应用软件的性能数据处理方法。
实施本发明实施例，具有如下有益效果：
本发明公开的应用软件的性能数据处理方法，能够通过对获取的性能数据进行实时统计，并根据性能数据提取规则得到实时目标性能数据，并将实时目标性能数据保存至时序数据库中，并通过所述可视化触发请求对所述目标数据进行多角度渲染，这种获取数据的方法不仅成本低，而且获得的数据能够更好实现可视化。
附图说明
为了更清楚地说明本发明所述的应用软件的性能数据处理方法、装置、系统及终端，下面将对实施例所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例提供的一种应用软件的性能数据处理方法的流程示意图；
图2为本发明实施例提供的一种对性能数据进行实时统计的流程示意图；
图3为本发明实施例提供的一种实时大盘可视化的示意图；
图4-1为本发明实施例提供的一种当日大盘可视化的示意图；
图4-2为本发明实施例提供的另一种当日大盘可视化的示意图；
图5为本发明实施例提供的一种接口性能可视化的示意图；
图6为本发明实施例提供的一种接口流量分布可视化的示意图；
图7为本发明实施例提供的一种待监测应用软件健康度视化的示意图；
图8为本发明实施例提供的一种应用软件的性能数据处理装置的结构示意图；
图9为本发明实施例提供的一种应用软件的性能数据处理终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明可以应用于开源APM监控系统对应用软件的性能参数的数据处理，如可以采用自己开发的实时计算系统Storm对开源应用性能管理系统Pinpoint采集的至少一组性能数据进行实时统计，生成实时统计性能数据，并将实时目标性能数据写入时序数据库中。
具体的，APM：是指(Application Performance Management)，应用性能管理，对企业系统即时监控以实现对应用程序性能管理和故障管理的系统化的解决方案。
Storm：是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循Eclipse Public License1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下。GitHub上的最新版本是Storm0.8.0，基本是用Clojure写的。
Pinpoint：是一个分析大型分布式系统的平台，提供解决方案来处理海量跟踪数据。
请参考图1，其所示为本发明实施例提供的一种应用软件的性能数据处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序，在对应用软件的性能参数进行处理时，可以按照实施例或附图所示的方法顺序执行。具体的如图1所示，所述方法包括：
S101,建立与待监控的应用软件之间的通信连接；
需要说明的是，在本说明书实施例中，可以是基于开源应用性能管理系统Pinpoint建立与待监控的应用软件之间的通信连接；
具体的，通过开源应用性能管理系统Pinpoint的组件Pinpoint-Agent建立与待监测的一个用软件之间的通信连接。
S103,收集每个待监控的应用软件相关的至少一组性能数据；
在本说明书实施例中，可以是基于开源应用性能管理系统Pinpoint的组件Pinpoint-Agent获取应用软件的至少一组性能数据；
进一步优选地，性能数据可以是错误数据、响应时间数据、每秒查询率数据等中的一组或几组数据；
将所述性能数据传输至Pinpoint-Collector。
在本说明书实施例中，所述性能数据可以为未经序列化的数据。
在本说明书另一优选地实施例中，所述收集每个待监控的应用软件相关的至少一组性能数据之后还包括：
将所述性能数据写入消息队列。
具体的，所述消息队列可以是消息队列kafka，设计的消息队列kafka可以用于对与kafka向连接的两个程序进行解耦。
Kafka是一个开源流处理平台，由Scala和Java编写；Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
例如kafka可以对Pinpoint程序和Storm程序进行解耦。
S105,对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；
在本说明书实施例中，可以基于实时计算系统对所述性能数据进行实时统计。
进一步地，实时计算系统可以是实时计算系统Storm。
如图2所示，在本说明书实施例中，图2为本发明实施例提供的一种对性能数据进行实时统计的流程示意图；具体的，如下：
S201，获取统计周期和统计指标；
在本说明书实施例中，统计周期可以是预设的对各个种类的性能数据进行统计分组的时间周期；如统计周期可以是5s，即是每5s进行一次统计。
S203，对位于相同统计周期内的各性能数据进行按组统计，以得到每组性能数据对应的统计指标；
在本说明书实施例中，若位于相同统计周期内的每组性能数据包括6个数据，可以通过6个数据中具有共同的特征值的数据分成一组进行统计；统计指标可以是根据分组统计的方法得到的结果；如6个数据可以分成3个组。
S107,根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；
在本说明书实施例中，性能数据提取规则可以是根据不同组的实时统计性能数据的需求维度提取需要的数据，以生成实时目标数据。
S109,将所述实时目标性能数据写入时序数据库中；
在本说明书实施例中，所述时序数据库可以是时序数据库InfluxDB。
InfluxDB是一个开源的、分布式时序、事件和指标数据库；用于存储和分析时间序列数据的开源数据库。
S111,响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
在本说明书实施例中，若所述可视化触发请求为实时大盘查看请求，则提取至少两组不同的性能数据，按照所述两组性能数据的分析结果对所述两组性能数据对应的待监测应用软件进行排名，渲染排名数据或所述两组性能数据。
如图3所示，在本说明书一个优选的实施例中，其所示为本发明实施例提供的一种实时大盘可视化的示意图；具体的，如下：
可视化触发请求为实时大盘查看请求时，可以通过待监测应用软件的接口提取错误、每秒查询率(QPS)、响应时间三组性能数据，按照所述三组性能数据的分析结果对所述三组性能数据对应的待监测应用软件进行排名，将请求量或响应时间波动比较大的性能数据按时间维度排序后展示出来，如可以采用图片的形式展示出来。
在本说明书实施例中，若所述可视化触发请求为当日大盘查看请求，则提取预设时间段内的至少两组不同的性能数据，并对所述两组性能数据进行排序，渲染排序数据或所述两组性能数据。
如图4-1所示，在本说明书一个优选的实施例中，其所示为本发明实施例提供的一种当日大盘可视化的示意图；具体的，如下：
可视化触发请求为当日大盘查看请求时，可以通过待监测应用软件的接口提取展示当天0点到检测时待监测应用软件的所有的性能数据，对提取的所有性能数据按照预设需求维度(如总次数、平均每秒事务处理量(TPS)、平均响应时间、最大响应时间、错误数五种维度)进行排序后展示出来，如可以采用图片的形式展示出来。
如图4-2所示，在本说明书一个优选的实施例中，其所示为本发明实施例提供的另一种查看当日大盘可视化的示意图；具体的，如下：
进一步地，可以根据展示图片，点击图片中的某一条记录，即可查看该接口当天的性能趋势以及该接口的被调用情况；也即是可以看到性能趋势图和调用情况列表；再次点击调用情况列表，还能继续查看趋势图。
如图5所示，在本说明书一个优选的实施例中，其所示为本发明实施例提供的一种接口性能可视化的示意图；具体的，如下：
在本说明书实施例中，若所述可视化触发请求为接口性能查看请求，可以直接提取应用名、接口名和时间各自对应的待监测应用软件的接口的性能数据并以列表的形式展示出来；进一步地，点击列表中的记录能查看与所述记录对应的趋势图。
如图6所示，在本说明书一个优选的实施例中，其所示为本发明实施例提供的一种接口流量分布可视化的示意图；具体的，如下：
在本说明书实施例中，若所述可视化触发请求为接口流量分布查看请求，可以将待监测应用软件的接口提取的性能数据通过饼状图展示出来。
如图7所示，在本说明书一个优选的实施例中，其所示为本发明实施例提供的一种待监测应用软件健康度视化的示意图；具体的，如下：
在本说明书实施例中，若所述可视化触发请求为待监测应用软件健康度查看请求，可以通过待监测应用软件的接口提取的性能数据对所述待监测应用软件的健康度进行打分。
由上述本发明提供的应用软件的性能数据处理方法、装置及终端的实施例可见，本发明实施例建立与待监控的应用软件之间的通信连接；收集每个待监控的应用软件相关的至少一组性能数据；对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；将所述实时目标性能数据写入时序数据库中；响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据；利用本说明书实施例提供的技术方案，能够通过对获取的性能数据进行实时统计，并根据性能数据提取规则得到实时目标性能数据，并将实时目标性能数据保存至时序数据库中，并通过所述可视化触发请求对所述目标数据进行多角度渲染，这种获取数据的方法不仅成本低，而且获得的数据能够更好实现可视化。
本发明实施例还提供了一种应用软件的性能数据处理装置，如图8所示，其所示为本发明实施例提供的一种应用软件的性能数据处理装置的结构示意图；具体的，所述的装置包括：
通信模块810，用于建立与待监控的应用软件之间的通信连接；
数据收集模块820，用于收集每个待监控的应用软件相关的至少一组性能数据；
统计模块830，用于对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；
数据生成模块840，用于根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；
数据写入模块850，用于将所述实时目标性能数据写入时序数据库中；
数据渲染模块860，用于响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
在本说明书实施例中，所述通信模块810包括：
第一通信单元，用于基于开源应用性能管理系统Pinpoint建立与待监控的应用软件之间的通信连接；
在本说明书实施例中，所述数据收集模块820包括：
第一获取单元，用于基于开源应用性能管理系统Pinpoint的组件Pinpoint-Agent获取应用软件的至少一组性能数据；
第一数据传输单元，用于将所述性能数据传输至Pinpoint-Collector。
在本说明书实施例中，所述统计模块830，包括：
第二获取单元，用于获取统计周期和统计指标；
第一统计单元，用于对位于相同统计周期内的各性能数据进行按组统计，以得到每组性能数据对应的统计指标。
在本说明书实施例中，所述数据渲染模块860包括：
实时大盘渲染单元，用于若所述可视化触发请求为实时大盘查看请求，则提取至少两组不同的性能数据，按照所述两组性能数据的分析结果对所述两组性能数据对应的待监测应用软件进行排名，渲染排名数据或所述两组性能数据。
在本说明书实施例中，所述数据渲染模块860还包括：
当日大盘渲染单元，用于若所述可视化触发请求为当日大盘查看请求，则提取预设时间段内的至少两组不同的性能数据，并对所述两组性能数据进行排序，渲染排序数据或所述两组性能数据。
在本说明书实施例中，还包括：
性能数据写入模块，用于将所述性能数据写入消息队列。
本发明实施例提供了一种应用软件的性能数据处理系统，所述的系统包括开源应用性能管理系统、实时计算系统、时序数据库和可视化系统：
开源应用性能管理系统，用于建立与待监控的应用软件之间的通信连接；并收集每个待监控的应用软件相关的至少一组性能数据；
实时计算系统，用于对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据，根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据，并将所述实时目标性能数据写入时序数据库中；
可视化系统，用于响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
在本说明书实施例中，开源应用性能管理系统可以是开源应用性能管理系统Pinpoint。
实时计算系统可以是实时计算系统Storm。
时序数据库可以是时序数据库InfluxDB。
可视化系统可以是监控大盘系统。
本发明实施例提供了一种应用软件的性能数据处理终端，该终端包括处理器和存储器；
所述处理器，适于实现一条或一条以上指令；
所述存储器，存储有一条或一条以上指令，所述一条或一条以上适于所述处理器加载并执行以实现如上述方法实施例所述的应用软件的性能数据处理方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
图9为本发明实施例提供的一种应用软件的性能数据处理终端的结构示意图，该应用软件的性能数据处理终端的内部构造可包括但不限于：处理器、网络接口及存储器，其中应用软件的性能数据处理终端内的处理器、网络接口及存储器可以通过总线或其他方式连接，在本说明书实施例所示图9中以通过总线连接为例。
其中，处理器(或称CPU(Central Processing Unit，中央处理器))是应用软件的性能数据处理终端的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是应用软件的性能数据处理终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了应用软件的性能数据处理终端的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)等等，本发明对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例提供的应用软件的性能数据处理方法。
本发明的实施例还提供了一种存储介质，所述存储介质可设置于应用软件的性能数据处理终端之中以保存用于实现方法实施例中的一种应用软件的性能数据处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集可由电子设备的处理器加载并执行以实现上述方法实施例提供的应用软件的性能数据处理方法。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本发明提供的应用软件的性能数据处理方法、装置及终端的实施例可见，本发明实施例基于开源应用性能管理系统Pinpoint建立与待监控的应用软件之间的通信连接；收集每个待监控的应用软件相关的至少一组性能数据；具体的，基于开源应用性能管理系统Pinpoint的组件Pinpoint-Agent获取应用软件的至少一组性能数据；将所述性能数据传输至Pinpoint-Collector。将所述性能数据写入消息队列；对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；具体的，获取统计周期和统计指标；对位于相同统计周期内的各性能数据进行按组统计，以得到每组性能数据对应的统计指标。根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；将所述实时目标性能数据写入时序数据库中；响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据；具体的，包括若所述可视化触发请求为实时大盘查看请求，则提取至少两组不同的性能数据，按照所述两组性能数据的分析结果对所述两组性能数据对应的待监测应用软件进行排名，渲染排名数据或所述两组性能数据。还包括：若所述可视化触发请求为当日大盘查看请求，则提取预设时间段内的至少两组不同的性能数据，并对所述两组性能数据进行排序，渲染排序数据或所述两组性能数据；利用本说明书实施例提供的技术方案，能够将基于Pinpiont获取的并发送至消息队列kafka的未经序列化的性能数据，基于实时计算系统Storm进行实时统计，并根据性能数据提取规则得到实时目标性能数据；并将实时目标性能数据保存至时序数据库中，可视化系统通过所述可视化触发请求与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据；本申请的这种获取数据的方法不仅成本低，而且获得的数据能够更好实现可视化。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种应用软件的性能数据处理方法，其特征在于：所述的方法包括：
建立与待监控的应用软件之间的通信连接；
收集每个待监控的应用软件相关的至少一组性能数据；
对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；
根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；
将所述实时目标性能数据写入时序数据库中；
响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
2.根据权利要求1所述的应用软件的性能数据处理方法，其特征在于：所述建立与待监控的应用软件之间的通信连接，包括：
基于开源应用性能管理系统Pinpoint建立与待监控的应用软件之间的通信连接。
3.根据权利要求1所述的应用软件的性能数据处理方法，其特征在于：所述收集每个待监控的应用软件相关的至少一组性能数据，包括：
基于开源应用性能管理系统Pinpoint的组件Pinpoint-Agent获取应用软件的至少一组性能数据；
将所述性能数据传输至Pinpoint-Col lector。
4.根据权利要求1所述的应用软件的性能数据处理方法，其特征在于：所述对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据，包括：
获取统计周期和统计指标；
对位于相同统计周期内的各性能数据进行按组统计，以得到每组性能数据对应的统计指标。
5.根据权利要求1述的应用软件的性能数据处理方法，其特征在于：所述响应于可视化触发请求，从所述实时数据库中提取可视化数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述可视化数据，包括：
若所述可视化触发请求为实时大盘查看请求，则提取至少两组不同的性能数据，按照所述两组性能数据的分析结果对所述两组性能数据对应的待监测应用软件进行排名，渲染排名数据或所述两组性能数据。
6.根据权利要求1述的应用软件的性能数据处理方法，其特征在于：所述响应于可视化触发请求，从所述实时数据库中提取可视化数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述可视化数据，还包括：
若所述可视化触发请求为当日大盘查看请求，则提取预设时间段内的至少两组不同的性能数据，并对所述两组性能数据进行排序，渲染排序数据或所述两组性能数据。
7.根据权利要求1述的应用软件的性能数据处理方法，其特征在于：所述收集每个待监控的应用软件相关的至少一组性能数据之后，还包括：
将所述性能数据写入消息队列。
8.一种应用软件的性能数据处理装置，其特征在于：所述的装置包括：
通信模块，用于建立与待监控的应用软件之间的通信连接；
数据收集模块，用于收集每个待监控的应用软件相关的至少一组性能数据；
统计模块，用于对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据；
数据生成模块，用于根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据；
数据写入模块，用于将所述实时目标性能数据写入时序数据库中；
数据渲染模块，用于响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
9.一种应用软件的性能数据处理系统，其特征在于：所述的系统包括开源应用性能管理系统、实时计算系统、时序数据库和可视化系统：
开源应用性能管理系统，用于建立与待监控的应用软件之间的通信连接；并收集每个待监控的应用软件相关的至少一组性能数据；
实时计算系统，用于对所述性能数据进行实时统计，并根据统计结果生成实时统计性能数据，根据性能数据提取规则和所述实时统计性能数据得到实时目标性能数据，并将所述实时目标性能数据写入时序数据库中；
可视化系统，用于响应于可视化触发请求，从所述实时数据库中提取目标性能数据，并使用与所述可视化触发请求匹配的可视化规则渲染所述目标性能数据。
10.一种应用软件的性能数据处理终端，其特征在于：所述终端包括处理器和存储器；
所述处理器，适于实现一条或一条以上指令；
所述存储器，存储有一条或一条以上指令，所述一条或一条以上适于所述处理器加载并执行以实现如权利要求1至7任意一项所述的应用软件的性能数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910577681.0A CN110502424A (zh) | 2019-06-28 | 2019-06-28 | 一种应用软件的性能数据处理方法、装置、系统及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910577681.0A CN110502424A (zh) | 2019-06-28 | 2019-06-28 | 一种应用软件的性能数据处理方法、装置、系统及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110502424A true CN110502424A (zh) | 2019-11-26 |
Family
ID=68585758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910577681.0A Pending CN110502424A (zh) | 2019-06-28 | 2019-06-28 | 一种应用软件的性能数据处理方法、装置、系统及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502424A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127700A (zh) * | 2019-12-13 | 2020-05-08 | 苏州智加科技有限公司 | 一种自动驾驶汽车的系统指标监控系统 |
| CN111209285A (zh) * | 2020-04-23 | 2020-05-29 | 成都四方伟业软件股份有限公司 | 一种基于时序数据的统计指标存储方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107015872A (zh) * | 2016-12-09 | 2017-08-04 | 上海壹账通金融科技有限公司 | 监控数据的处理方法及装置 |
| CN107404417A (zh) * | 2017-07-25 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种监控数据的处理方法、处理装置及处理系统 |
| CN109101397A (zh) * | 2018-08-01 | 2018-12-28 | 武汉索雅信息技术有限公司 | 高性能集群监控方法、设备、装置及存储介质 |
| CN109361576A (zh) * | 2018-12-21 | 2019-02-19 | 郑州云海信息技术有限公司 | 一种pim监控数据处理方法及系统 |
-
2019
- 2019-06-28 CN CN201910577681.0A patent/CN110502424A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107015872A (zh) * | 2016-12-09 | 2017-08-04 | 上海壹账通金融科技有限公司 | 监控数据的处理方法及装置 |
| CN107404417A (zh) * | 2017-07-25 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种监控数据的处理方法、处理装置及处理系统 |
| CN109101397A (zh) * | 2018-08-01 | 2018-12-28 | 武汉索雅信息技术有限公司 | 高性能集群监控方法、设备、装置及存储介质 |
| CN109361576A (zh) * | 2018-12-21 | 2019-02-19 | 郑州云海信息技术有限公司 | 一种pim监控数据处理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭玉东, 西安电子科技大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127700A (zh) * | 2019-12-13 | 2020-05-08 | 苏州智加科技有限公司 | 一种自动驾驶汽车的系统指标监控系统 |
| CN111209285A (zh) * | 2020-04-23 | 2020-05-29 | 成都四方伟业软件股份有限公司 | 一种基于时序数据的统计指标存储方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6622221B1 (en) | Workload analyzer and optimizer integration | |
| US9578051B2 (en) | Method and system for identifying a threatening network | |
| US9323651B2 (en) | Bottleneck detector for executing applications | |
| US9459942B2 (en) | Correlation of metrics monitored from a virtual environment | |
| US20140280880A1 (en) | Fast OLAP for Real User Measurement of Website Performance | |
| CN108491861A (zh) | 基于多源多参量融合的输变电设备状态异常模式识别方法及装置 | |
| CN111475639B (zh) | 阅读监控方法、计算设备及计算机存储介质 | |
| CN108038216A (zh) | 信息处理方法、装置及服务器集群 | |
| US7908239B2 (en) | System for storing event data using a sum calculator that sums the cubes and squares of events | |
| CN110417610A (zh) | 存储系统延迟孤立点检测 | |
| CN107800591A (zh) | 一种统一日志数据的分析方法 | |
| CN106598822B (zh) | 一种用于容量评估的异常数据检测方法及装置 | |
| CN103154904B (zh) | 操作管理设备、操作管理方法和程序 | |
| CN108345601A (zh) | 搜索结果排序方法及装置 | |
| CN110502424A (zh) | 一种应用软件的性能数据处理方法、装置、系统及终端 | |
| CN109558952A (zh) | 数据处理方法、系统、设备及存储介质 | |
| CN104462606A (zh) | 一种基于日志数据确定诊断处理措施的方法 | |
| CN109726737A (zh) | 基于轨迹的异常行为检测方法及装置 | |
| CN110442852B (zh) | 目标成本的编制方法、存储介质及其智能终端 | |
| CN110262955B (zh) | 基于pinpoint的应用性能监控工具 | |
| CN109711849B (zh) | 以太坊地址画像生成方法、装置、电子设备及存储介质 | |
| CN107093092A (zh) | 数据分析方法和装置 | |
| CN107515864A (zh) | 监控工作流的方法及设备 | |
| US10713232B2 (en) | Efficient data processing | |
| CN105978749A (zh) | 一种局域网内计算机硬件信息的监测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191126 |
|
| RJ01 | Rejection of invention patent application after publication |