CN109726085A - 性能问题追踪的方法及系统 - Google Patents

性能问题追踪的方法及系统 Download PDF

Info

Publication number
CN109726085A
CN109726085A CN201811635510.0A CN201811635510A CN109726085A CN 109726085 A CN109726085 A CN 109726085A CN 201811635510 A CN201811635510 A CN 201811635510A CN 109726085 A CN109726085 A CN 109726085A
Authority
CN
China
Prior art keywords
data
application
application identities
hash operation
corresponding relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811635510.0A
Other languages
English (en)
Inventor
高驰涛
司冬雪
李忠益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudwise Beijing Technology Co Ltd
Original Assignee
Cloudwise Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudwise Beijing Technology Co Ltd filed Critical Cloudwise Beijing Technology Co Ltd
Priority to CN201811635510.0A priority Critical patent/CN109726085A/zh
Publication of CN109726085A publication Critical patent/CN109726085A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供的性能问题追踪的方法及系统,应用于运维监控领域,该方法,包括:接收原始数据;从所述原始数据中提取对应的待处理数据以及应用调用的资源列表;根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面。进而可以发现被监测应用缓慢、错误、异常等性能问题,并在出现性能问题时,通过拓扑图分析问题产生的根本原因,为排查被监测应用的效率和准确率提供强有力的依据。

Description

性能问题追踪的方法及系统
技术领域
本发明涉及一种运维监控领域,尤其涉及一种性能问题追踪的方法、装置及系统。
背景技术
运维监控是一系列IT管理产品的统称,它所包含的产品功能强大、易于使用、解决方案齐全,可一站式满足用户的各种IT管理需求。
越来越多的客户都在考虑或采纳业务集中的方案。然而业务系统集中后,不仅增加运行维护的工作强度,而且会使集中的系统变得更加繁杂。有效的系统和应用监控体系成为了解业务资源的使用状况,及时发现可能导致系统故障的隐患,实现系统运营保障的关键。
业务系统是一个复杂的多技术栈整合环境,IT架构的日期复杂使得业务出现异常时传统的监控手段难以及时发现,IT部门需要消耗大量时间对问题进行定位,问题定位占据了问题处理过程中的大部分时间,影响业务系统的持续稳定运行。
发明内容
针对现有技术中问题定位占据了问题处理过程中的大部分时间,影响业务系统的持续稳定运行的问题,本发明提供了一种性能问题追踪的方法、装置及系统。
第一方面,本发明实施例提供了一种性能问题追踪的方法,包括:接收原始数据,所述原始数据包括探针采集的所在应用运行时用户请求数据;从所述原始数据中提取对应的待处理数据以及应用调用的资源列表;根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面。
在其中一个可选的实施方式中,所述根据所述待处理数据,以用户为单位构建应用及其调用的资源之间的对应关系,包括:根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,并将所述应用标识对应于账户标识进行存储,所述应用标识为全网唯一标识,所述账户标识携带在所述探针中;构建所述应用标识与所述资源列表中各资源之间的对应的关系;在当前存储的信息中未包含应用标识与资源之间的对应关系时,对所述对应关系进行存储。
在其中一个可选的实施方式中,所述待处理数据包括域名信息和用户访问的端口信息,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:将所述域名信息和所述用户访问的端口信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在其中一个可选的实施方式中,所述待处理数据包括应用名称,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:将所述应用名称转换为字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在其中一个可选的实施例中,所述待处理数据包括IP地址信息和当前服务器所监听的端口号信息,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:将所述IP地址信息和所述当前服务器所监听的端口号信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在其中一个可选的实施例中,所述性能问题追踪请求中携带有账户标识,所述当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面,包括:根据所述账户标识确定对应的应用标识;根据所述性能问题追踪请求中携带的显示需求以及所述应用标识,获取所述显示需求对应的应用信息,所述应用信息包括所述对应关系以及所述类别数据列表;在所述展示层对所述应用信息以可视化的形式显示在界面。
在其中一个可选的实施例中,所述接收原始数据,包括:接收整理压缩过的原始数据;将整理压缩过的原始数据进行解压校验以恢复原始数据。
第二方面,本发明实施例还提供了性能问题追踪的系统,包括:
接收单元,接收原始数据,所述原始数据包括探针采集的所在应用运行时用户请求数据;
提取单元,用于从所述接收单元接收的原始数据中提取对应的待处理数据以及应用调用的资源列表;
构建单元,用于根据所述提取单元提取的待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;
聚类单元,用于根据所述提取单元提取的待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;
显示单元,当接收到性能问题追踪请求时,用于根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面。
在其中一个可选的实施方式中,所述构建单元,包括:
执行模块,用于根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,并将所述应用标识对应于账户标识进行存储,所述应用标识为全网唯一标识,所述账户标识携带在所述探针中;
构建模块,用于构建所述执行模块生成的应用标识与所述提取单元提取的资源列表中各资源之间的对应的关系;
存储模块,用于在当前存储的信息中未包含应用标识与资源之间的对应关系时,对所述对应关系进行存储。
在其中一个可选的实施方式中所述待处理数据包括域名信息和用户访问的端口信息,所述执行模块,具体用于:
将所述域名信息和所述用户访问的端口信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在其中一个可选的实施方式中,所述待处理数据包括应用名称,所述执行模块,具体用于:
将所述应用名称转换为字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在其中一个可选的实施方式中,所述待处理数据包括IP地址信息和当前服务器所监听的端口号信息,所述执行模块,具体用于:
将所述IP地址信息和所述当前服务器所监听的端口号信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在其中一个可选的实施方式中,所述性能问题追踪请求中携带有账户标识,所述显示单元,包括:
确定模块,用于根据所述账户标识确定对应的应用标识;
获取模块,用于根据所述性能问题追踪请求中携带的显示需求以及所述确定模块确定的应用标识,获取所述显示需求对应的应用信息,所述应用信息包括所述对应关系以及所述类别数据列表;
显示模块,用于在所述展示层对所述应用信息以可视化的形式显示在界面。
本发明提供的性能问题追踪的方法及系统,可以在不修改被监测应用程序代码的情况下,通过探针进行原始数据采集,从所述原始数据中提取对应的待处理数据以及应用调用的资源列表;根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面,通过界面上显示的信息可以发现被监测应用缓慢、错误、异常等性能问题,并在出现性能问题时,可以通过拓扑图分析问题产生的根本原因,如缓慢请求、缓慢SQL、错误堆栈、异常堆栈等数据,为排查被监测应用的效率和准确率提供强有力的依据。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本发明实施例提供的一种性能问题追踪的方法的流程示意图;
图2为本发明又一实施例提供的一种性能问题追踪的方法的流程示意图;
图3为本发明实施例提供的一种性能问题追踪系统的结构示意图;
图4为图3所示性能问题追踪系统中构建单元的结构示意图;
图5为图3所示性能问题追踪系统中显示单元的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明基于自动化发现技术来整合应用、外部服务、数据库和基础设施等技术栈,形成业务系统全局拓扑,并能够下钻分析各模块详细性能指标及异常问题,数秒之内即可从业务状态深入到代码级应用执行过程。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图1为本发明实施例提供的一种性能问题追踪的方法流程示意图。如图1所示,该方法,包括:
步骤101、接收原始数据。
在本实施例中,所述原始数据包括探针采集的所在应用运行时用户请求数据。所述用户请求数据可以是系统访问数据,也可以是性能指标数据。
步骤102、从所述原始数据中提取对应的待处理数据以及应用调用的资源列表。
在本实施例中,所述待处理数据包括但不限于域名信息、用户访问的端口信息、应用名称、IP地址信息和当前服务器所监听的端口号信息。应用调用资源的时候会通过连接信息进行调用,所述资源列表中可以包括调用的资源的连接信息。具体的可以包括待调用资源的IP地址及其端口号。
步骤103、根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系。
步骤104、根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;
步骤105、当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面。
在本实施例中,所述对应关系可用于显示以应用标识为中心,资源调用的拓扑图。可以通过拓扑图分析问题产生的根本原因,如缓慢请求、缓慢SQL、错误堆栈、异常堆栈等数据,为排查被监测应用的效率和准确率提供强有力的依据。所述类别数据列表用于统计正常请求数、缓慢请求数、错误请求数、平均响应时间分布;可选的,还用于自动计算平均响应时间、错误率、异常率、吞吐率、缓慢请求率;最慢元素响应时间分布、执行次数、百分比;可选的还可以用于计算响应时间分布、吞吐率、网络错误率;可选的,还可以用于计算SQL操作响应时间分布、吞吐量、响应时间分布、操作次数、操作响应时间最小值、最大值。
本发明提供的性能问题追踪的方法,可以在不修改被监测应用程序代码的情况下,通过探针进行原始数据采集,从所述原始数据中提取对应的待处理数据以及应用调用的资源列表;根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面,通过界面上显示的信息可以发现被监测应用缓慢、错误、异常等性能问题,并在出现性能问题时,可以通过拓扑图分析问题产生的根本原因,如缓慢请求、缓慢SQL、错误堆栈、异常堆栈等数据,为排查被监测应用的效率和准确率提供强有力的依据。
在上述实施例的基础上,为了进一步阐述本发明提供的性能问题追踪的方法,图2为本发明又一实施例提供的一种性能问题追踪的方法的流程示意图。如图2所示,该方法的执行主体可以为服务器端,发送原始数据的可以是用户端,该方法包括:
步骤201、接收原始数据。其具体实现与步骤101相同,此处不再赘述。
值得说明的是,在一实施例中,为了减少数据传输中的网络开销,在用户端发送原始数据至所述服务端之前,将原始数据进行整理和压缩,整理和压缩后的原始数据发送至服务器端后,服务器端将数据进行解压和校验后将原始数据暂时存储。
具体的,在一实施例中,对原始数据进行整理和压缩通过SendProxy实现,SendProxy是数据发送的中转代理,内置多个通道和队列,具备接受数据、归并压缩数据、发送数据的功能。值得说明的是,SendProxy只是一种示例性说明,只要能实现对数据的整理和压缩功能的方法方式均可以应用于本发明实施例,此处不做限定。
具体的,在一实施例中,原始数据可以暂时存储至Kafka组件,Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。值得说明的是,在所述Kafka组件暂时存储的方式只是一种示例性说明,此处对于原始数据暂时存储的方式不做限定。
步骤202、根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,并将所述应用标识对应于账户标识进行存储。
在本实施例中,所述应用标识为全网唯一标识,所述账户标识携带在所述探针中。
在一实施例中,当应用部署规则从用户角度实现时,从所述原始数据中提取的待处理数据中包括域名信息和用户访问的端口信息,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:将所述域名信息和所述用户访问的端口信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在一实施例中,当应用部署规则从部署角度实现时,从所述原始数据中提取的待处理数据中包括应用名称,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:将所述应用名称转换为字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在一实施例中,当应用部署规则从运维角度实现时,从所述原始数据中提取的待处理数据中包括IP地址信息和当前服务器所监听的端口号信息,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:将所述IP地址信息和所述当前服务器所监听的端口号信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
步骤203、构建所述应用标识与所述资源列表中各资源之间的对应的关系。
步骤204、在当前存储的信息中未包含应用标识与资源之间的对应关系时,对所述对应关系进行存储。
在一实施例中,在当前存储的信息中包含应用标识与资源之间的对应关系时,将所述对应关系的相关信息进行丢弃。
步骤205,当接收到性能问题追踪请求时,所述性能问题追踪请求中携带有账户标识以及显示需求,根据所述账户标识确定对应的应用标识。
步骤206、根据所述性能问题追踪请求中携带的显示需求以及所述应用标识,获取所述显示需求对应的应用信息,所述应用信息包括所述对应关系以及所述类别数据列表。
步骤207、在所述展示层对所述应用信息以可视化的形式显示在界面。
示例性的,在业务的概览页面分别展示业务拓扑图、业务健康度、事物健康度、错误&异常、请求数曲线、响应时间曲线以及错误&异常曲线。
其中,业务拓扑图中展示的是包括PHP、Java、.Net、Python、Node.js在内的多语言应用、业务主机数量以及各应用间的互调关系。
分别用绿、黄色、深黄色以及红色来展示业务以及事物的运行状态,对应的状态分别是正常、缓慢、非常缓慢以及错误。
在性能问题追踪请求中携带有拓扑图中的业务节点对应的信息时,能够展示业务概览、业务下的应用分析、事物分析、数据库分析、调用者分析以及主机分析信息。具体的,从使用者的角度来看,在业务-应用分析页面,单击应用名称,可以下钻到应用的概览页面;在业务-事物分析页面,单击事物名称可以下钻到请求详情页面;在业务-数据库分析页面,单击数据库实例名称可以下钻到数据库实例的详情页面;在业务-调用者分析页面可以下钻到调用者详情页面;在业务-主机分析页面单击主机名称可以下钻到该主机的概览页面。单击业务拓扑图上的数据库节点,展示该业务系统所调用数据库的类型、数据库实例、平均操作耗时、请求数和吞吐率。单击业务拓扑图上的第三方API节点,展示该业务系统所调用第三方API调用者、被访问的外部服务、请求数和吞吐率。
本发明提供的性能问题追踪的方法,可以在不修改被监测应用程序代码的情况下,通过探针进行原始数据采集,从所述原始数据中提取对应的待处理数据以及应用调用的资源列表;根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面,通过界面上显示的信息可以发现被监测应用缓慢、错误、异常等性能问题,并在出现性能问题时,可以通过拓扑图分析问题产生的根本原因,如缓慢请求、缓慢SQL、错误堆栈、异常堆栈等数据,为排查被监测应用的效率和准确率提供强有力的依据。
通过使用本发明,能够帮助该企业梳理业务系统的架构,并能够对业务系统的组成关系、业务流转过程以及各模块的健康状态进行分析,IT人员可以准确掌握业务系统的整体运行状态,以便与有效的进行架构优化、问题定位以及容量规划。
当业务出现异常时,本发明通过简单操作即可快速的下钻分析各模块的详细性能指标以及异常问题,提供了应用代码堆栈详情,提升该企业系统的可用性和紧密度;展现SQL语句执行详情,实施分析得到性能提升的关键点;提供主机性能分析,为该企业的业务稳定运行提供了更加详细的可靠数据。
本发明提供的性能问题追踪的方法,可以在不修改被监测应用程序代码的情况下,通过探针进行原始数据采集,从所述原始数据中提取对应的待处理数据以及应用调用的资源列表;根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面,通过界面上显示的信息可以发现被监测应用缓慢、错误、异常等性能问题,并在出现性能问题时,可以通过拓扑图分析问题产生的根本原因,如缓慢请求、缓慢SQL、错误堆栈、异常堆栈等数据,为排查被监测应用的效率和准确率提供强有力的依据。
图3为本发明另一实施例提供的一种性能问题追踪系统的结构示意图。如图3所示,该系统,包括:
接收单元31,接收原始数据,所述原始数据包括探针采集的所在应用运行时用户请求数据;
提取单元32,用于从所述接收单元接收的原始数据中提取对应的待处理数据以及应用调用的资源列表;
构建单元33,用于根据所述提取单元提取的待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;
聚类单元34,用于根据所述提取单元提取的待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;
显示单元35,当接收到性能问题追踪请求时,用于根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面。
在一实施例中,如图4所示,所述构建单元33,包括:
执行模块331,用于根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,并将所述应用标识对应于账户标识进行存储,所述应用标识为全网唯一标识,所述账户标识携带在所述探针中;
构建模块332,用于构建所述执行模块生成的应用标识与所述提取单元提取的资源列表中各资源之间的对应的关系;
存储模块333,用于在当前存储的信息中未包含应用标识与资源之间的对应关系时,对所述对应关系进行存储。
在一实施例中,所述待处理数据包括域名信息和用户访问的端口信息,所述执行模块,具体用于:
将所述域名信息和所述用户访问的端口信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在一实施例中,所述待处理数据包括应用名称,所述执行模块,具体用于:将所述应用名称转换为字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在一实施例中,所述待处理数据包括IP地址信息和当前服务器所监听的端口号信息,所述执行模块,具体用于:将所述IP地址信息和所述当前服务器所监听的端口号信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
在一实施例中,如图5所示,所述性能问题追踪请求中携带有账户标识,所述显示单元35,包括:
确定模块351,用于根据所述账户标识确定对应的应用标识;
获取模块352,用于根据所述性能问题追踪请求中携带的显示需求以及所述确定模块确定的应用标识,获取所述显示需求对应的应用信息,所述应用信息包括所述对应关系以及所述类别数据列表;
显示模块353,用于在所述展示层对所述应用信息以可视化的形式显示在界面。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程以及相应的有益效果,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明提供的性能问题追踪的系统,可以在不修改被监测应用程序代码的情况下,通过探针进行原始数据采集,从所述原始数据中提取对应的待处理数据以及应用调用的资源列表;根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面,通过界面上显示的信息可以发现被监测应用缓慢、错误、异常等性能问题,并在出现性能问题时,可以通过拓扑图分析问题产生的根本原因,如缓慢请求、缓慢SQL、错误堆栈、异常堆栈等数据,为排查被监测应用的效率和准确率提供强有力的依据。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (9)

1.一种性能问题追踪的方法,其特征在于,包括:
接收技术指标数据,所包括探针采集的所在应用运行时用户请求数据;
从所述原始数据中提取对应的待处理数据以及应用调用的资源列表;
根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;
根据所述待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;
当接收到性能问题追踪请求时,根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待处理数据以及所述资源列表,以用户为单位构建应用及其调用的资源之间的对应关系,包括:
根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,并将所述应用标识对应于账户标识进行存储,所述应用标识为全网唯一标识,所述账户标识携带在所述探针中;
构建所述应用标识与所述资源列表中各资源之间的对应的关系;
在当前存储的信息中未包含应用标识与资源之间的对应关系时,对所述对应关系进行存储。
3.根据权利要求2所述的方法,其特征在于:
方案一,所述待处理数据包括域名信息和用户访问的端口信息,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:
将所述域名信息和所述用户访问的端口信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识;
或者
方案二,所述待处理数据包括应用名称,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:
将所述应用名称转换为字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识;
或者
方案三,所述待处理数据包括IP地址信息和当前服务器所监听的端口号信息,所述根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,包括:
将所述IP地址信息和所述当前服务器所监听的端口号信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
4.根据权利要去1-3任一项所述的方法,其特征在于,所述性能问题追踪请求中携带有账户标识,所述根据所述对应关系和/或所述所述类别数据列表将所述原始数据以可视化的形式显示在界面,包括:
根据所述账户标识确定对应的应用标识;
根据所述性能问题追踪请求中携带的显示需求以及所述应用标识,获取所述显示需求对应的应用信息,所述应用信息包括所述对应关系以及所述类别数据列表;
在所述展示层对所述应用信息以可视化的形式显示在界面。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述接收原始数据,包括:
接收整理压缩过的原始数据;
将整理压缩过的原始数据进行解压校验以恢复原始数据。
6.一种性能问题追踪的系统,其特征在于,包括:
接收单元,接收原始数据,所述原始数据包括探针采集的所在应用运行时用户请求数据;
提取单元,用于从所述接收单元接收的原始数据中提取对应的待处理数据以及应用调用的资源列表;
构建单元,用于根据所述提取单元提取的待处理数据以及所述资源列表,以用户为单位构建应用及其所调用的资源之间的对应关系;
聚类单元,用于根据所述提取单元提取的待处理数据以及预设的归类原则,将所述待处理数据以类别为单位进行数据聚合以生成类别数据列表;
显示单元,当接收到性能问题追踪请求时,用于根据所述对应关系和/或所述类别数据列表将所述原始数据以可视化的形式显示在界面。
7.根据权利要求6所述的系统,其特征在于,所述构建单元,包括:
执行模块,用于根据预设的应用标识生成规则,对所述待处理数据进行处理以生成应用标识,并将所述应用标识对应于账户标识进行存储,所述应用标识为全网唯一标识,所述账户标识携带在所述探针中;
构建模块,用于构建所述执行模块生成的应用标识与所述提取单元提取的资源列表中各资源之间的对应的关系;
存储模块,用于在当前存储的信息中未包含应用标识与资源之间的对应关系时,对所述对应关系进行存储。
8.根据权利要求7所述的系统,其特征在于:
方案一,所述待处理数据包括域名信息和用户访问的端口信息,所述执行模块,具体用于:
将所述域名信息和所述用户访问的端口信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识;
或者
方案二,所述待处理数据包括应用名称,所述执行模块,具体用于:
将所述应用名称转换为字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识;
或者
方案三,所述待处理数据包括IP地址信息和当前服务器所监听的端口号信息,所述执行模块,具体用于::
将所述IP地址信息和所述当前服务器所监听的端口号信息连接成字符串,对所述字符串进行哈希运算生成哈希运算值;
从所述哈希运算值中取预设的位数进行十进制转化以得到所述应用标识。
9.根据权利要求6-8任一项所述的系统,其特征在于,所述性能问题追踪请求中携带有账户标识,所述显示单元,包括:
确定模块,用于根据所述账户标识确定对应的应用标识;
获取模块,用于根据所述性能问题追踪请求中携带的显示需求以及所述确定模块确定的应用标识,获取所述显示需求对应的应用信息,所述应用信息包括所述对应关系以及所述类别数据列表;
显示模块,用于在所述展示层对所述应用信息以可视化的形式显示在界面。
CN201811635510.0A 2018-12-29 2018-12-29 性能问题追踪的方法及系统 Pending CN109726085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811635510.0A CN109726085A (zh) 2018-12-29 2018-12-29 性能问题追踪的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811635510.0A CN109726085A (zh) 2018-12-29 2018-12-29 性能问题追踪的方法及系统

Publications (1)

Publication Number Publication Date
CN109726085A true CN109726085A (zh) 2019-05-07

Family

ID=66297874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811635510.0A Pending CN109726085A (zh) 2018-12-29 2018-12-29 性能问题追踪的方法及系统

Country Status (1)

Country Link
CN (1) CN109726085A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112152842A (zh) * 2020-09-04 2020-12-29 北京浪潮数据技术有限公司 一种流量拓扑图实现方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004001555A2 (en) * 2002-06-25 2003-12-31 International Business Machines Corporation Method and system for monitoring performance of application in a distributed environment
CN105207806A (zh) * 2015-08-20 2015-12-30 百度在线网络技术(北京)有限公司 分布式服务的监控方法及装置
CN106790718A (zh) * 2017-03-16 2017-05-31 北京搜狐新媒体信息技术有限公司 服务调用链路分析方法及系统
CN107122290A (zh) * 2016-02-25 2017-09-01 阿里巴巴集团控股有限公司 日志信息的记录方法及装置
CN107766205A (zh) * 2017-10-10 2018-03-06 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法
CN108459939A (zh) * 2018-01-08 2018-08-28 平安科技(深圳)有限公司 一种日志收集方法、装置、终端设备及存储介质
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004001555A2 (en) * 2002-06-25 2003-12-31 International Business Machines Corporation Method and system for monitoring performance of application in a distributed environment
CN105207806A (zh) * 2015-08-20 2015-12-30 百度在线网络技术(北京)有限公司 分布式服务的监控方法及装置
CN107122290A (zh) * 2016-02-25 2017-09-01 阿里巴巴集团控股有限公司 日志信息的记录方法及装置
CN106790718A (zh) * 2017-03-16 2017-05-31 北京搜狐新媒体信息技术有限公司 服务调用链路分析方法及系统
CN107766205A (zh) * 2017-10-10 2018-03-06 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法
CN108459939A (zh) * 2018-01-08 2018-08-28 平安科技(深圳)有限公司 一种日志收集方法、装置、终端设备及存储介质
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112152842A (zh) * 2020-09-04 2020-12-29 北京浪潮数据技术有限公司 一种流量拓扑图实现方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR102483025B1 (ko) 운영 유지 시스템 및 방법
CN110275898B (zh) 使用基于知识图的解释性设备管理的集成监控与通信系统
Yang et al. A time efficient approach for detecting errors in big sensor data on cloud
US20170109657A1 (en) Machine Learning-Based Model for Identifying Executions of a Business Process
US20170109676A1 (en) Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process
US20170109668A1 (en) Model for Linking Between Nonconsecutively Performed Steps in a Business Process
US20170109667A1 (en) Automaton-Based Identification of Executions of a Business Process
US11109194B1 (en) Location network analysis tool for predicting contamination change
CN101237356B (zh) 用于监控的系统和方法
US20170109639A1 (en) General Model for Linking Between Nonconsecutively Performed Steps in Business Processes
CN111294730B (zh) 一种网络问题投诉信息处理的方法及装置
CN110932918B (zh) 日志数据采集方法、装置及存储介质
CN113254254B (zh) 系统故障的根因定位方法、装置、存储介质及电子装置
CN109684052A (zh) 事务分析方法、装置、设备及存储介质
US20220187169A1 (en) Interactive Diagnostics for Evaluating Designs for Measurement Systems Analysis
CN107094086A (zh) 一种信息获取方法和装置
CN110391936A (zh) 一种基于时序性告警的新型聚类算法
CN112732802A (zh) 一种基于大数据的企业数据挖掘系统及方法
CN112463892A (zh) 一种基于风险态势的预警方法及系统
CN109726085A (zh) 性能问题追踪的方法及系统
CN114091610A (zh) 智能决策方法及装置
CN106407329B (zh) 海量平台往hadoop平台自动化导入增量数据的方法
CN110535972B (zh) 一种平台化的燃气检测设备集中管控及通信系统,设备及可读存储介质
Taneja et al. Predictive analytics on IoT
US8984157B2 (en) Network analysis in a file transfer system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination