CN112035191A - 基于微服务的apm全链路监控系统及方法 - Google Patents
基于微服务的apm全链路监控系统及方法 Download PDFInfo
- Publication number
- CN112035191A CN112035191A CN202010875077.9A CN202010875077A CN112035191A CN 112035191 A CN112035191 A CN 112035191A CN 202010875077 A CN202010875077 A CN 202010875077A CN 112035191 A CN112035191 A CN 112035191A
- Authority
- CN
- China
- Prior art keywords
- data
- agent
- full
- collector
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000000523 sample Substances 0.000 claims abstract description 58
- 238000007405 data analysis Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000002513 implantation Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000006837 decompression Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 229910002056 binary alloy Inorganic materials 0.000 claims 2
- 230000006399 behavior Effects 0.000 abstract description 4
- 239000003795 chemical substances by application Substances 0.000 description 58
- 230000008901 benefit Effects 0.000 description 5
- 230000009545 invasion Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 229940004975 interceptor Drugs 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4488—Object-oriented
- G06F9/449—Object-oriented method invocation or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Environmental & Geological Engineering (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了基于微服务的APM全链路监控系统及方法，属于微服务链路监控领域，本发明要解决的技术问题为如何理清系统行为并分析系统性能，同时在系统故障时，能够实现快速定位并处理，采用的技术方案为：该系统包括Agent应用及探针端、Collector搜集端及链路数据分析端，Agent应用及探针端将探针数据搜集的Agent数据传输到Collector搜集端；Collector搜集端接收Agent应用及探针端发送过来的Agent数据，并将Agent数据存入到全业务数据中心中；链路数据分析端利用Collector搜集端存储到全业务数据中心的Agent数据计算出瓶颈、负载的预测结果。本发明还公开了一种基于微服务的APM全链路监控方法。
Description
技术领域
本发明涉及微服务链路监控领域，具体地说是一种基于微服务的APM全链路监控系统及方法。
背景技术
在云计算、大数据等技术日趋成熟的情况下，微服务架构逐渐进入人们的视线，微服务架构的本质是把整体的业务拆分成特定明确功能的服务。分布式环境下，随着微服务架构的广泛应用，各个服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务，这些服务之间的调用可能非常复杂，当业务流出现错误或异常时，由于微服务架构的特点，运维人员需要付出较大精力和时间来查找和定位异常情况。
在业务规模不断增大、服务不断增多以及频繁变更的情况下，面对复杂的调用链路就带来一系列问题：如何快速发现问题、如何判断故障影响范围、如何梳理服务依赖以及依赖的合理性以及如何分析链路性能问题以及实时容量规划，同时关注在请求处理期间各个调用的各项性能指标，比如：吞吐量(TPS)、响应时间及错误记录等，运维人员工作压力和工作强度极大。
故如何理清系统行为并分析系统性能，同时在系统故障时，能够实现快速定位并处理是现有技术中存在的问题。
发明内容
本发明的技术任务是提供一种基于微服务的APM全链路监控系统及方法，来解决如何理清系统行为并分析系统性能，同时在系统故障时，能够实现快速定位并处理的问题。
本发明的技术任务是按以下方式实现的，一种基于微服务的APM全链路监控系统，该系统包括Agent应用及探针端、Collector搜集端及链路数据分析端，Agent应用及探针端将探针数据搜集的Agent数据传输到Collector搜集端；Collector搜集端接收Agent应用及探针端发送过来的Agent数据，并将Agent数据存入到全业务数据中心中；链路数据分析端利用Collector搜集端存储到全业务数据中心的Agent数据计算出瓶颈、负载的预测结果。
作为优选，所述Agent应用及探针端以jar包的形式安插在业务应用系统中，从业务应用系统中搜集数据，在启动脚本中添加相应的参数实现Agent应用及探针端与业务应用功能系统一起运行。
更优地，所述Agent应用及探针端包括，
植入模块，用于利用JAVA Agent机制，采用修改应用字节码的方式将探针逻辑植入到业务应用系统中，这样的优势是对原有的应用无侵入；
数据传输模块，用于基于不同的网络环境，将搜集出来的Agent数据，通过TCP、UDP等多种传输方式传递到Collector搜集端；
追踪模块，用于基于Google的Dapper中的追踪技术，在远程调用时，在调用方加入应用级别的标签数据来追踪分布式事务(请求)；其中，标签数据由一系列的key组成TraceId；
跟踪模块，用于通过抽象出拦截器提高开发效率和可访问性，在类加载时干预应用程序代码，注入必要的代码来跟踪分布式请求以及性能信息，由于跟踪代码直接注入应用程序代码，进而提高了性能；
二进制模块，用于使用二进制格式(Thrift)加快编码速度，提高网络利用率以及减小生成的数据大小；
数据记录模块，用于使用可变长度编码和格式优化记录数据。
作为优选，所述Collector搜集端包括，
接收模块，用于接收Agent应用及探针端发送过来的Agent数据；
预处理模块，用于将Agent数据进行数据整理、数据加工、数据分析并处理；
存入模块，用于根据数据实时性的不同和用户对Agent数据的要求，存入到全业务数据中心中；其中，全业务数据中心中的数据包括实时性数据和历史数据，实时性数据存入到SG-RDB中；历史性数据存入到Hbase中。
更优地，所述Collector搜集端采用Zookeeper集群的模式，即通过多个Collector示例对搜集过来的Agent数据进行整理、汇总并运算各项指标，实现Collector搜集端减压；
当Agent应用及探针端传输数据量大时，Collector搜集端通过开启Zookeeper集群的模式进行减压。
作为优选，所述链路数据分析端利用大数据挖掘与机器学习算法对存储到全业务数据中心的SG-RDB数据及Hbase数据进行计算得出瓶颈及负载的预测结果。
一种基于微服务的APM全链路监控方法，该方法是基于Pingpoint，通过字节码增强技术实现高链路监控粒度，进而实现链路监控的可扩展、部署及零侵入；具体如下：
S1、使用探针埋点：将Agent应用及探针端以jar包的形式安插在业务应用系统中，在启动脚本中添加相关参数，实现Agent应用及探针端与业务硬功系统一起运行，不造成性能负担；
S2、部署Collector搜集端：Collector搜集端采用Zookeeper集群的模式，即通过多个Collector示例对搜集过来的Agent数据进行整理、汇总并运算各项指标，实现Collector搜集端减压；
S3、部署链路数据分析端：链路数据分析端利用大数据挖掘与机器学习算法对存储到全业务数据中心的SG-RDB数据及Hbase数据进行计算得出瓶颈及负载的预测结果，实现预测结果展示及决策支持。
作为优选，所述步骤S1中的Agent应用及探针端具体如下：
S101、Agent应用及探针端利用JAVA Agent机制，采用修改应用字节码的方式将探针逻辑植入到业务应用系统中，这样的优势是对原有的应用无侵入；
S102、基于不同的网络环境，将搜集出来的Agent数据，通过TCP、UDP等多种传输方式传递到Collector搜集端；
S103、基于Google的Dapper中的追踪技术，在远程调用时，在调用方加入应用级别的标签数据来追踪分布式事务(请求)；其中，标签数据由一系列的key组成TraceId；
S104、通过抽象出拦截器提高开发效率和可访问性，在类加载时干预应用程序代码，注入必要的代码来跟踪分布式请求以及性能信息，由于跟踪代码直接注入应用程序代码，进而提高了性能；
S105、使用二进制格式(Thrift)加快编码速度，提高网络利用率以及减小生成的数据大小；
S106、使用可变长度编码和格式优化记录数据。
更优地，所述步骤S2中的Collector搜集端具体如下：
S201、Collector搜集端接收Agent应用及探针端发送过来的Agent数据；
S202、将Agent数据进行数据整理、数据加工、数据分析并处理；
S203、根据数据实时性的不同和用户对Agent数据的要求，存入到全业务数据中心中；其中，全业务数据中心中的数据包括实时性数据和历史数据，实时性数据存入到SG-RDB中；历史性数据存入到Hbase中。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如上述的基于微服务的APM全链路监控方法。
本发明的基于微服务的APM全链路监控系统及方法具有以下优点：
(一)本发明使用探针埋点，探针的性能消耗低，实现代码侵入性小、可扩展性高、可数据分析，同时能够理清系统行为、用于分析系统性能问题以及系统故障时，易于分析业务应用系统的性能以及系统故障，能够快速定位和解决问题；
(二)本发明可将调用链路及调用链路上的每个节点作为监控对象，对调用链路及链路上的每个节点的性能进行监控和跟踪，并对出现的异常进行告警，方便运维人员对系统的日常运维和优化工作；
(三)本发明从整体维度到局部维度展示各项指标，将跨应用的所有调用链性能信息集中展现，可方便度量整体和局部性能，并且方便找到故障产生的源头，生产上可极大缩短故障排除时间；有了全链路监控工具，能够达到请求链路追踪、故障快速定位、可视化、依赖优化、数据分析及优化链路的目的。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于微服务的APM全链路监控系统的结构框图；
附图2为实施例3中具体实施的示意图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于微服务的APM全链路监控系统及方法作以下详细地说明。
实施例1：
如附图1所示，本发明的基于微服务的APM全链路监控系统，该系统包括Agent应用及探针端、Collector搜集端及链路数据分析端，Agent应用及探针端将探针数据搜集的Agent数据传输到Collector搜集端；Collector搜集端接收Agent应用及探针端发送过来的Agent数据，并将Agent数据存入到全业务数据中心中；链路数据分析端利用大数据挖掘与机器学习算法对存储到全业务数据中心的SG-RDB数据及Hbase数据进行计算得出瓶颈及负载的预测结果。Agent应用及探针端以jar包的形式安插在业务应用系统中，从业务应用系统中搜集数据，在启动脚本中添加相应的参数实现Agent应用及探针端与业务应用功能系统一起运行。Collector搜集端采用Zookeeper集群的模式，即通过多个Collector示例对搜集过来的Agent数据进行整理、汇总并运算各项指标，实现Collector搜集端减压；当Agent应用及探针端传输数据量大时，Collector搜集端通过开启Zookeeper集群的模式进行减压。
其中，Agent应用及探针端包括，
植入模块，用于利用JAVA Agent机制，采用修改应用字节码的方式将探针逻辑植入到业务应用系统中，这样的优势是对原有的应用无侵入；
数据传输模块，用于基于不同的网络环境，将搜集出来的Agent数据，通过TCP、UDP等多种传输方式传递到Collector搜集端；
追踪模块，用于基于Google的Dapper中的追踪技术，在远程调用时，在调用方加入应用级别的标签数据来追踪分布式事务(请求)；其中，标签数据由一系列的key组成TraceId；
跟踪模块，用于通过抽象出拦截器提高开发效率和可访问性，在类加载时干预应用程序代码，注入必要的代码来跟踪分布式请求以及性能信息，由于跟踪代码直接注入应用程序代码，进而提高了性能；
二进制模块，用于使用二进制格式(Thrift)加快编码速度，提高网络利用率以及减小生成的数据大小；
数据记录模块，用于使用可变长度编码和格式优化记录数据。
Collector搜集端包括，
接收模块，用于接收Agent应用及探针端发送过来的Agent数据；
预处理模块，用于将Agent数据进行数据整理、数据加工、数据分析并处理；
存入模块，用于根据数据实时性的不同和用户对Agent数据的要求，存入到全业务数据中心中；其中，全业务数据中心中的数据包括实时性数据和历史数据，实时性数据存入到SG-RDB中；历史性数据存入到Hbase中。
实施例2：
本发明的基于微服务的APM全链路监控方法，该方法是基于Pingpoint，通过字节码增强技术实现高链路监控粒度，进而实现链路监控的可扩展、部署及零侵入；具体如下：
S1、使用探针埋点：将Agent应用及探针端以jar包的形式安插在业务应用系统中，在启动脚本中添加相关参数，实现Agent应用及探针端与业务硬功系统一起运行，不造成性能负担；Agent应用及探针端具体如下：
S101、Agent应用及探针端利用JAVA Agent机制，采用修改应用字节码的方式将探针逻辑植入到业务应用系统中，这样的优势是对原有的应用无侵入；
S102、基于不同的网络环境，将搜集出来的Agent数据，通过TCP、UDP等多种传输方式传递到Collector搜集端；
S103、基于Google的Dapper中的追踪技术，在远程调用时，在调用方加入应用级别的标签数据来追踪分布式事务(请求)；其中，标签数据由一系列的key组成TraceId；
S104、通过抽象出拦截器提高开发效率和可访问性，在类加载时干预应用程序代码，注入必要的代码来跟踪分布式请求以及性能信息，由于跟踪代码直接注入应用程序代码，进而提高了性能；
S105、使用二进制格式(Thrift)加快编码速度，提高网络利用率以及减小生成的数据大小；
S106、使用可变长度编码和格式优化记录数据。
S2、部署Collector搜集端：Collector搜集端采用Zookeeper集群的模式，即通过多个Collector示例对搜集过来的Agent数据进行整理、汇总并运算各项指标，实现Collector搜集端减压；Collector搜集端具体如下：
S201、Collector搜集端接收Agent应用及探针端发送过来的Agent数据；
S202、将Agent数据进行数据整理、数据加工、数据分析并处理；
S203、根据数据实时性的不同和用户对Agent数据的要求，存入到全业务数据中心中；其中，全业务数据中心中的数据包括实时性数据和历史数据，实时性数据存入到SG-RDB中；历史性数据存入到Hbase中。
S3、部署链路数据分析端：链路数据分析端利用大数据挖掘与机器学习算法对存储到全业务数据中心的SG-RDB数据及Hbase数据进行计算得出瓶颈及负载的预测结果，实现预测结果展示及决策支持。
实施例3：
如附图2所示，将本发明应用到Java ClassLoader中，具体如下：
(1)、使用探针埋点，Agent应用及探针端的字节码如下：
Pulic void helloWorld(){
System.out.println(“hello”)；
}
(2)、在类加载时更改字节码的干预代码；
(3)、干预代码实现跟踪上下文，具体如下：
Pulic void helloWorld(){
Interceptor.before()；
System.out.println(“hello”)；
Interceptor.after()
}。
实施例4：
本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于微服务的APM全链路监控方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R基于微服务的APM全链路监控系统及方法M、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于微服务的APM全链路监控系统，其特征在于，该系统包括Agent应用及探针端、Collector搜集端及链路数据分析端，Agent应用及探针端将探针数据搜集的Agent数据传输到Collector搜集端；Collector搜集端接收Agent应用及探针端发送过来的Agent数据，并将Agent数据存入到全业务数据中心中；链路数据分析端利用Collector搜集端存储到全业务数据中心的Agent数据计算出瓶颈、负载的预测结果。
2.根据权利要求1所述的基于微服务的APM全链路监控系统，其特征在于，所述Agent应用及探针端以jar包的形式安插在业务应用系统中，从业务应用系统中搜集数据，在启动脚本中添加相应的参数实现Agent应用及探针端与业务应用功能系统一起运行。
3.根据权利要求1或2所述的基于微服务的APM全链路监控系统，其特征在于，所述Agent应用及探针端包括，
植入模块，用于利用JAVA Agent机制，采用修改应用字节码的方式将探针逻辑植入到业务应用系统中；
数据传输模块，用于基于不同的网络环境，将搜集出来的Agent数据，通过TCP或UDP传输方式传递到Collector搜集端；
追踪模块，用于基于Google的Dapper中的追踪技术，在远程调用时，在调用方加入应用级别的标签数据来追踪分布式事务；其中，标签数据由一系列的key组成TraceId；
跟踪模块，用于通过抽象出拦截器提高开发效率和可访问性，在类加载时干预应用程序代码，注入代码来跟踪分布式请求以及性能信息；
二进制模块，用于使用二进制格式加快编码速度；
数据记录模块，用于使用可变长度编码和格式优化记录数据。
4.根据权利要求1所述的基于微服务的APM全链路监控系统，其特征在于，所述Collector搜集端包括，
接收模块，用于接收Agent应用及探针端发送过来的Agent数据；
预处理模块，用于将Agent数据进行数据整理、数据加工、数据分析并处理；
存入模块，用于根据数据实时性的不同和用户对Agent数据的要求，存入到全业务数据中心中；其中，全业务数据中心中的数据包括实时性数据和历史数据，实时性数据存入到SG-RDB中；历史性数据存入到Hbase中。
5.根据权利要求1或4所述的基于微服务的APM全链路监控系统，其特征在于，所述Collector搜集端采用Zookeeper集群的模式，即通过多个Collector示例对搜集过来的Agent数据进行整理、汇总并运算各项指标，实现Collector搜集端减压。
6.根据权利要求1所述的基于微服务的APM全链路监控系统，其特征在于，所述链路数据分析端利用大数据挖掘与机器学习算法对存储到全业务数据中心的SG-RDB数据及Hbase数据进行计算得出瓶颈及负载的预测结果。
7.一种基于微服务的APM全链路监控方法，其特征在于，该方法是基于Pingpoint，通过字节码增强技术实现高链路监控粒度，进而实现链路监控的可扩展、部署及零侵入；具体如下：
S1、使用探针埋点：将Agent应用及探针端以jar包的形式安插在业务应用系统中，在启动脚本中添加相关参数，实现Agent应用及探针端与业务硬功系统一起运行；
S2、部署Collector搜集端：Collector搜集端采用Zookeeper集群的模式，即通过多个Collector示例对搜集过来的Agent数据进行整理、汇总并运算各项指标，实现Collector搜集端减压；
S3、部署链路数据分析端：链路数据分析端利用大数据挖掘与机器学习算法对存储到全业务数据中心的SG-RDB数据及Hbase数据进行计算得出瓶颈及负载的预测结果，实现预测结果展示及决策支持。
8.根据权利要求7所述的基于微服务的APM全链路监控方法，其特征在于，所述步骤S1中的Agent应用及探针端具体如下：
S101、Agent应用及探针端利用JAVA Agent机制，采用修改应用字节码的方式将探针逻辑植入到业务应用系统中；
S102、基于不同的网络环境，将搜集出来的Agent数据，通过TCP或UDP传输方式传递到Collector搜集端；
S103、基于Google的Dapper中的追踪技术，在远程调用时，在调用方加入应用级别的标签数据来追踪分布式事务；其中，标签数据由一系列的key组成TraceId；
S104、通过抽象出拦截器提高开发效率和可访问性，在类加载时干预应用程序代码，注入代码来跟踪分布式请求以及性能信息；
S105、使用二进制格式加快编码速度；
S106、使用可变长度编码和格式优化记录数据。
9.根据权利要求7或8所述的基于微服务的APM全链路监控方法，其特征在于，所述步骤S2中的Collector搜集端具体如下：
S201、Collector搜集端接收Agent应用及探针端发送过来的Agent数据；
S202、将Agent数据进行数据整理、数据加工、数据分析并处理；
S203、根据数据实时性的不同和用户对Agent数据的要求，存入到全业务数据中心中；其中，全业务数据中心中的数据包括实时性数据和历史数据，实时性数据存入到SG-RDB中；历史性数据存入到Hbase中。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如权利要求7至9中所述的基于微服务的APM全链路监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010875077.9A CN112035191B (zh) | 2020-08-27 | 2020-08-27 | 基于微服务的apm全链路监控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010875077.9A CN112035191B (zh) | 2020-08-27 | 2020-08-27 | 基于微服务的apm全链路监控系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112035191A true CN112035191A (zh) | 2020-12-04 |
| CN112035191B CN112035191B (zh) | 2024-04-09 |
Family
ID=73580113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010875077.9A Active CN112035191B (zh) | 2020-08-27 | 2020-08-27 | 基于微服务的apm全链路监控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112035191B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113141356A (zh) * | 2021-04-14 | 2021-07-20 | 国网山东省电力公司淄博供电公司 | 云计算平台下微隔离装置及方法 |
| CN114143221A (zh) * | 2021-11-29 | 2022-03-04 | 重庆富民银行股份有限公司 | 一个基于全链路监控的服务资产管理方法、平台及存储介质 |
| CN114357044A (zh) * | 2021-12-28 | 2022-04-15 | 南威软件股份有限公司 | 基于值守追踪的大数据全生命周期管理方法、系统及应用 |
| CN114745297A (zh) * | 2022-02-21 | 2022-07-12 | 上海极豆科技有限公司 | 一种分布式链路追踪的应用性能监控系统和方法 |
| CN114995983A (zh) * | 2022-07-11 | 2022-09-02 | 支付宝(杭州)信息技术有限公司 | 数据流转链路的获取方法和装置 |
| CN115033476A (zh) * | 2022-06-08 | 2022-09-09 | 启明信息技术股份有限公司 | 一种无侵入式软件系统数据采集及传输方法 |
| CN115174542A (zh) * | 2022-07-01 | 2022-10-11 | 中国邮政储蓄银行股份有限公司 | 业务系统的全链路采集方法、采集装置和采集系统 |
| CN116016149A (zh) * | 2023-03-27 | 2023-04-25 | 天津布尔科技有限公司 | 一种车联网数据采集全链路监控架构 |
| CN116094905A (zh) * | 2022-11-10 | 2023-05-09 | 迈威科技(广州)有限公司 | 一种全链路监控系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020039100A (ko) * | 2000-11-20 | 2002-05-25 | 김종화 | 패킷 모니터링을 이용한 컨텐츠 사용량 수집 및분석방법과 그 장치 |
| WO2017071134A1 (zh) * | 2015-10-28 | 2017-05-04 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN109818823A (zh) * | 2018-12-29 | 2019-05-28 | 北京奥鹏远程教育中心有限公司 | 全链路跟踪系统 |
| CN109992454A (zh) * | 2017-12-31 | 2019-07-09 | 中国移动通信集团江西有限公司 | 故障定位的方法、装置和存储介质 |
| CN110428018A (zh) * | 2019-08-09 | 2019-11-08 | 北京中电普华信息技术有限公司 | 一种全链路监控系统中的异常预测方法及装置 |
| CN111459762A (zh) * | 2020-04-03 | 2020-07-28 | 杭州趣维科技有限公司 | 基于字节码技术和cat的监控和调用链系统及方法 |
-
2020
- 2020-08-27 CN CN202010875077.9A patent/CN112035191B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020039100A (ko) * | 2000-11-20 | 2002-05-25 | 김종화 | 패킷 모니터링을 이용한 컨텐츠 사용량 수집 및분석방법과 그 장치 |
| WO2017071134A1 (zh) * | 2015-10-28 | 2017-05-04 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN109992454A (zh) * | 2017-12-31 | 2019-07-09 | 中国移动通信集团江西有限公司 | 故障定位的方法、装置和存储介质 |
| CN109818823A (zh) * | 2018-12-29 | 2019-05-28 | 北京奥鹏远程教育中心有限公司 | 全链路跟踪系统 |
| CN110428018A (zh) * | 2019-08-09 | 2019-11-08 | 北京中电普华信息技术有限公司 | 一种全链路监控系统中的异常预测方法及装置 |
| CN111459762A (zh) * | 2020-04-03 | 2020-07-28 | 杭州趣维科技有限公司 | 基于字节码技术和cat的监控和调用链系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘林;: "分布式链路监控报警机制的实现方案", 现代计算机, no. 12 * |
| 刘霞霞;高阿朋;任春雷;文建军;史金奇;: "一种基于APM应用全链路监控工具设计", 网络安全技术与应用, no. 06 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113141356A (zh) * | 2021-04-14 | 2021-07-20 | 国网山东省电力公司淄博供电公司 | 云计算平台下微隔离装置及方法 |
| CN114143221A (zh) * | 2021-11-29 | 2022-03-04 | 重庆富民银行股份有限公司 | 一个基于全链路监控的服务资产管理方法、平台及存储介质 |
| CN114357044A (zh) * | 2021-12-28 | 2022-04-15 | 南威软件股份有限公司 | 基于值守追踪的大数据全生命周期管理方法、系统及应用 |
| CN114745297A (zh) * | 2022-02-21 | 2022-07-12 | 上海极豆科技有限公司 | 一种分布式链路追踪的应用性能监控系统和方法 |
| CN114745297B (zh) * | 2022-02-21 | 2024-10-18 | 上海极豆科技有限公司 | 一种分布式链路追踪的应用性能监控系统和方法 |
| CN115033476A (zh) * | 2022-06-08 | 2022-09-09 | 启明信息技术股份有限公司 | 一种无侵入式软件系统数据采集及传输方法 |
| CN115174542A (zh) * | 2022-07-01 | 2022-10-11 | 中国邮政储蓄银行股份有限公司 | 业务系统的全链路采集方法、采集装置和采集系统 |
| CN115174542B (zh) * | 2022-07-01 | 2024-06-04 | 中国邮政储蓄银行股份有限公司 | 业务系统的全链路采集方法、采集装置和采集系统 |
| CN114995983A (zh) * | 2022-07-11 | 2022-09-02 | 支付宝(杭州)信息技术有限公司 | 数据流转链路的获取方法和装置 |
| CN116094905A (zh) * | 2022-11-10 | 2023-05-09 | 迈威科技(广州)有限公司 | 一种全链路监控系统 |
| CN116016149A (zh) * | 2023-03-27 | 2023-04-25 | 天津布尔科技有限公司 | 一种车联网数据采集全链路监控架构 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112035191B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112035191A (zh) | 基于微服务的apm全链路监控系统及方法 | |
| EP4390696A2 (en) | Method and system for the on-demand generation of graph-like models out of multidimensional observation data | |
| US11934287B2 (en) | Method, electronic device and computer program product for processing data | |
| US10735270B1 (en) | Computer-based systems configured for network modelling and monitoring using programming object bindings and methods of use thereof | |
| CN114490268A (zh) | 全链路监控方法、装置、设备、存储介质和程序产品 | |
| US20220413951A1 (en) | Predicting and reducing hardware related outages | |
| US20210399972A1 (en) | Predicting and resolving issues within a telecommunication network | |
| US11934972B2 (en) | Configuration assessment based on inventory | |
| US11722371B2 (en) | Utilizing unstructured data in self-organized networks | |
| CN113076253A (zh) | 一种测试方法和测试装置 | |
| CN110062926B (zh) | 设备驱动器遥测 | |
| CN103544095A (zh) | 服务器程序的监控方法及其系统 | |
| JP2015075964A (ja) | ログ出力条件設定プログラム、装置、および方法 | |
| CN109951326A (zh) | 数据处理方法、装置、存储介质及处理器 | |
| CN115934471A (zh) | 基于大数据的数据采集方法及大数据系统 | |
| CN115658367A (zh) | 一种基于程序错误码的异常提示方法和装置 | |
| CN111078508A (zh) | 一种基于用户态文件系统的监控方法 | |
| CN114020513A (zh) | 一种处理日志信息的方法和装置 | |
| CN114265601A (zh) | 管理人工智能应用的方法、设备和程序产品 | |
| CN115237399A (zh) | 用于采集数据的方法、存储介质、处理器及工程车辆 | |
| CN113992644B (zh) | 一种基于无服务技术的物联网关系统及其数据处理方法 | |
| US10467082B2 (en) | Device driver verification | |
| CN115033412A (zh) | 一种任务日志归并方法和装置 | |
| CN113077340A (zh) | 面向金融交易的性能监控方法及装置 | |
| CN107566187B (zh) | 一种sla违例监测方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |