CN109818823A - 全链路跟踪系统 - Google Patents

全链路跟踪系统 Download PDF

Info

Publication number
CN109818823A
CN109818823A CN201811635190.9A CN201811635190A CN109818823A CN 109818823 A CN109818823 A CN 109818823A CN 201811635190 A CN201811635190 A CN 201811635190A CN 109818823 A CN109818823 A CN 109818823A
Authority
CN
China
Prior art keywords
module
data
collection module
tracking result
full link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811635190.9A
Other languages
English (en)
Inventor
王雪松
李志晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING OPEN DISTANCE EDUCATION CENTER Co Ltd
Original Assignee
BEIJING OPEN DISTANCE EDUCATION CENTER Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING OPEN DISTANCE EDUCATION CENTER Co Ltd filed Critical BEIJING OPEN DISTANCE EDUCATION CENTER Co Ltd
Priority to CN201811635190.9A priority Critical patent/CN109818823A/zh
Publication of CN109818823A publication Critical patent/CN109818823A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了全链路跟踪系统,所述系统部署于教育云平台上,所述系统包括:代理模块,用于收集各服务的链路调用数据;存储模块,用于存储所述数据;收集模块,用于通过业务分析调用所述数据,得出跟踪结果;显示模块,用于显示所述跟踪结果。本发明公开的全链路跟踪系统,可以在分布式环境下,跨线程和进程收集链路调用数据,实现全链路跟踪。

Description

全链路跟踪系统
技术领域
本发明涉及链路跟踪领域,特别涉及全链路跟踪系统。
背景技术
目前随着计算机技术、网络技术的创新进步,特别是虚拟化技术的进步,还有新概念、新方案的创新和发展,尤其是微服务架构技术的发展,改变了传统的软件开发与运维模式。
微服务架构解决了传统的分层架构中的一些问题,它的核心特点是高可伸缩性、易于开发、测试和部署独立的服务组件,这些服务组件解耦的、分布式的、相互独立的,可以快速的迭代更新应用平台上的微服务,教育云平台就是这样一种微服务架构。在此基础上,以往对单台服务器的监控模式,需要转变为基于成百上千个实例之间相互调用的监控模式。
发明内容
本发明实施例提供了全链路跟踪系统。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
本发明实施例提供了一种全链路跟踪系统,所述系统部署于教育云平台上,所述系统包括:
代理模块,用于收集各服务的链路调用数据;
存储模块,用于存储所述数据;
收集模块,用于通过业务分析调用所述数据,得出跟踪结果;
显示模块,用于显示所述跟踪结果。
基于所述系统,作为可选的第一实施例,所述存储模块,包括:
以ElasticSearch、H2、及由Sharding Shpere项目管理的MySQL关系数据库集群;
所述ElasticSearch用于在常规模式下进行存储;
所述H2用于预览版本。
基于所述系统,作为可选的第二实施例,所述收集模块以群集模式运行。
基于所述第二实施例,作为可选的第三实施例,所述收集模块配置有Zookeeper,用于协调所述群集模式的运行。
基于所述系统,作为可选的第四实施例,所述收集模块与所述代理模块,采用超文本传输协议HTTP和远程过程调用GRPC连接。
基于所述系统,作为可选的第五实施例,所述数据具有失效时间,当到达所述失效时间时,所述存储模块删除所述数据。
基于所述系统,作为可选的第六实施例,所述收集模块,还用于在所述跟踪结果满足预警条件时,输出预警消息。
本发明实施例中的全链路跟踪系统,可以在分布式环境下,跨线程和进程收集链路调用数据,实现全链路跟踪。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是一示例性实施例示出的全链路跟踪系统的框图;
图2是一示例性实施例示出的全链路跟踪系统的架构图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,各实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中,诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来,而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
在一示例性实施例中,如图1所示,全链路跟踪系统部署于教育云平台上,包括:代理模块11、存储模块12、收集模块13和显示模块14。
代理模块11,用于收集各服务的链路调用数据。
存储模块12,用于存储所述数据。
收集模块13,用于通过业务分析调用所述数据,得出跟踪结果。
显示模块14,用于显示所述跟踪结果。
本示例性实施例中的全链路跟踪系统,可以在分布式环境下,跨线程和进程收集链路调用数据,实现全链路跟踪。
在一示例性实施例中,全链路跟踪系统包括:代理模块11、存储模块12、收集模块13和显示模块14。这些模块的功能与前文示例性实施例中所述的相同,这里不再赘述,本示例性实施例仅对这些模块的可选实施方式进行详细介绍。
图2为本示例性实施例中全链路跟踪系统的架构图。
本示例性实施例中的全链路跟踪系统具有以下特点:
1.模块化设计。
系统中的各模块分别定义了各自的特性,这些完全由模块定义及其模块实现来决定。
每个模块都可以在Java接口中定义它们的服务,每个模块的提供者都必须为这些服务提供实现者。提供者应该基于自己的实现定义依赖模块。
这些模块的配置在application.yml中是分离的。
2.多种连接方式。
收集模块13可以以群集模块运行。收集模块13提供两种类型的连接,即超文本传输协议(HTTP)和远程过程调用(GPRC)。
HTTP中的命名服务,群集中的所有可用的收集器(collector)的地址。
在GPRC和HTTP中使用上行链路服务,它将跟踪和度量数据上传到collector。每个代理模块12将只向单个collector发送服务的链路调用数据。如果代理模块12与连接的collector在某个时刻断开连接,将会尝试连接其它的collector。
3.集群服务发现机制。
当collector以群集模式运行时,配置使用Zookeeper进行协调,并作为实例发现的注册中心。
4.流模式。
流模式类似轻量级storm/spark的实现,它允许使用API构建流处理图(DAG)以及每个节点的输入/输出数据协定。
5.可切换的存储模块。
由于流模式负责并发,因此存储模块12的实现的职责是提供高速写入和组合查询。
本示例性实施例中,存储模块12包括以ElasticSearch、H2、及由Sharding Shpere项目管理的MySQL关系数据库集群,其中ElasticSearch作为主要实现模块,H2用于预览版本,以及由Sharding Shpere项目管理的MySQL关系数据库集群。
6.具有时效的数据
本示例性实施例中,存储模块12中的数据具有失效时间,当达到失效时间时,存储模块12将删除这些数据。
7.预警机制
收集模块13在跟踪结果满足预警条件时,输出预警消息。预警条件可以灵活设置。
本示例性实施例中的全链路跟踪系统具有如下优点:在分布式环境/微服务环境下,跨线程/进程收集链路调用信息以及指标;自动感知链路拓扑;应用、实例、服务性能指标分析;应用和服务依赖分析;慢服务监测;预警及报警。易于维护、可控和流式处理。
下面给出一些全链路跟踪系统的应用实例。
一、部署探针:
1.拷贝agent目录到所需位置.日志,插件和配置都包含在包中,请不要改变目录结构.
2.增加JVM启动参数,-javaagent:/path/to/skywalking-agent/skywalking-agent.jar.参数值为skywalking-agent.jar的绝对路径。
二、配置collector
三、启动collector节点
1.使用bin/startup.sh同时启动collector和UI,若不使用1启动,需要单独启动,参考2,3
2.单独启动collector,运行bin/collectorService.sh
3.单独启动UI,运行bin/webappService.sh
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的流程及结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (7)

1.一种全链路跟踪系统,其特征在于,所述系统部署于教育云平台上,所述系统包括:
代理模块,用于收集各服务的链路调用数据;
存储模块,用于存储所述数据;
收集模块,用于通过业务分析调用所述数据,得出跟踪结果;
显示模块,用于显示所述跟踪结果。
2.如权利要求1所述的系统,其特征在于,所述存储模块,包括:
以ElasticSearch、H2、及由Sharding Shpere项目管理的MySQL关系数据库集群;
所述ElasticSearch用于在常规模式下进行存储;
所述H2用于预览版本。
3.如权利要求1所述的系统,其特征在于,所述收集模块以群集模式运行。
4.如权利要求3所述的系统,其特征在于,所述收集模块配置有Zookeeper,用于协调所述群集模式的运行。
5.如权利要求1所述的系统,其特征在于,所述收集模块与所述代理模块,采用超文本传输协议HTTP和远程过程调用GRPC连接。
6.如权利要求1所述的系统,其特征在于,所述数据具有失效时间,当到达所述失效时间时,所述存储模块删除所述数据。
7.如权利要求1所述的系统,其特征在于,所述收集模块,还用于在所述跟踪结果满足预警条件时,输出预警消息。
CN201811635190.9A 2018-12-29 2018-12-29 全链路跟踪系统 Pending CN109818823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811635190.9A CN109818823A (zh) 2018-12-29 2018-12-29 全链路跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811635190.9A CN109818823A (zh) 2018-12-29 2018-12-29 全链路跟踪系统

Publications (1)

Publication Number Publication Date
CN109818823A true CN109818823A (zh) 2019-05-28

Family

ID=66602799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811635190.9A Pending CN109818823A (zh) 2018-12-29 2018-12-29 全链路跟踪系统

Country Status (1)

Country Link
CN (1) CN109818823A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045950A (zh) * 2019-12-16 2020-04-21 上海钧正网络科技有限公司 性能问题点确定方法、装置、数据分析系统及存储介质
CN111541590A (zh) * 2020-07-08 2020-08-14 广州市玄武无线科技股份有限公司 链路监控方法、告警方法、系统、终端及存储介质
CN112035191A (zh) * 2020-08-27 2020-12-04 浪潮云信息技术股份公司 基于微服务的apm全链路监控系统及方法
CN112422335A (zh) * 2020-11-10 2021-02-26 普元信息技术股份有限公司 技术中台中基于微服务架构实现业务链路分析的方法、系统、装置及存储介质
CN112463563A (zh) * 2020-11-25 2021-03-09 银盛支付服务股份有限公司 一种全链路追踪方法、计算机设备及存储介质
CN114338443A (zh) * 2021-12-20 2022-04-12 江苏云工场信息技术有限公司 一种cdn节点全链路监控方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065741A (zh) * 2014-07-04 2014-09-24 用友软件股份有限公司 数据采集系统和数据采集方法
CN106354765A (zh) * 2016-08-19 2017-01-25 广东亿迅科技有限公司 一种基于分布式采集的日志分析系统及方法
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN106933724A (zh) * 2017-03-16 2017-07-07 北京搜狐新媒体信息技术有限公司 一种分布式信息追踪系统、信息处理方法及装置
CN107135276A (zh) * 2017-06-28 2017-09-05 北京中电普华信息技术有限公司 一种微服务架构下的全链路监控方法、装置和系统
US20170353488A1 (en) * 2016-06-07 2017-12-07 Sony Corporation Custom security browser
CN107645562A (zh) * 2017-10-12 2018-01-30 广州爱九游信息技术有限公司 数据传输处理方法、装置、设备及系统
CN107766205A (zh) * 2017-10-10 2018-03-06 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法
CN107948016A (zh) * 2017-12-04 2018-04-20 科大国创软件股份有限公司 一种监控指标数据的可视化查询及多维度叠加分析的方法
CN108205486A (zh) * 2017-12-26 2018-06-26 上海中畅数据技术有限公司 一种基于机器学习的智能分布式调用链跟踪方法
CN108600012A (zh) * 2018-04-26 2018-09-28 深圳光华普惠科技有限公司 微服务架构监控系统
CN108833137A (zh) * 2018-05-18 2018-11-16 南京南瑞信息通信科技有限公司 一种柔性微服务监控框架架构
CN109062658A (zh) * 2018-06-29 2018-12-21 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065741A (zh) * 2014-07-04 2014-09-24 用友软件股份有限公司 数据采集系统和数据采集方法
US20170353488A1 (en) * 2016-06-07 2017-12-07 Sony Corporation Custom security browser
CN106354765A (zh) * 2016-08-19 2017-01-25 广东亿迅科技有限公司 一种基于分布式采集的日志分析系统及方法
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN106933724A (zh) * 2017-03-16 2017-07-07 北京搜狐新媒体信息技术有限公司 一种分布式信息追踪系统、信息处理方法及装置
CN107135276A (zh) * 2017-06-28 2017-09-05 北京中电普华信息技术有限公司 一种微服务架构下的全链路监控方法、装置和系统
CN107766205A (zh) * 2017-10-10 2018-03-06 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法
CN107645562A (zh) * 2017-10-12 2018-01-30 广州爱九游信息技术有限公司 数据传输处理方法、装置、设备及系统
CN107948016A (zh) * 2017-12-04 2018-04-20 科大国创软件股份有限公司 一种监控指标数据的可视化查询及多维度叠加分析的方法
CN108205486A (zh) * 2017-12-26 2018-06-26 上海中畅数据技术有限公司 一种基于机器学习的智能分布式调用链跟踪方法
CN108600012A (zh) * 2018-04-26 2018-09-28 深圳光华普惠科技有限公司 微服务架构监控系统
CN108833137A (zh) * 2018-05-18 2018-11-16 南京南瑞信息通信科技有限公司 一种柔性微服务监控框架架构
CN109062658A (zh) * 2018-06-29 2018-12-21 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045950A (zh) * 2019-12-16 2020-04-21 上海钧正网络科技有限公司 性能问题点确定方法、装置、数据分析系统及存储介质
CN111541590A (zh) * 2020-07-08 2020-08-14 广州市玄武无线科技股份有限公司 链路监控方法、告警方法、系统、终端及存储介质
CN111541590B (zh) * 2020-07-08 2020-11-06 广州市玄武无线科技股份有限公司 链路监控方法、告警方法、系统、终端及存储介质
CN112035191A (zh) * 2020-08-27 2020-12-04 浪潮云信息技术股份公司 基于微服务的apm全链路监控系统及方法
CN112035191B (zh) * 2020-08-27 2024-04-09 浪潮云信息技术股份公司 基于微服务的apm全链路监控系统及方法
CN112422335A (zh) * 2020-11-10 2021-02-26 普元信息技术股份有限公司 技术中台中基于微服务架构实现业务链路分析的方法、系统、装置及存储介质
CN112463563A (zh) * 2020-11-25 2021-03-09 银盛支付服务股份有限公司 一种全链路追踪方法、计算机设备及存储介质
CN114338443A (zh) * 2021-12-20 2022-04-12 江苏云工场信息技术有限公司 一种cdn节点全链路监控方法及装置
CN114338443B (zh) * 2021-12-20 2022-07-19 江苏云工场信息技术有限公司 一种cdn节点全链路监控方法及装置

Similar Documents

Publication Publication Date Title
CN109818823A (zh) 全链路跟踪系统
US11249728B2 (en) System and method for generating an application structure for an application in a computerized organization
CN105610987B (zh) 管理服务器集群的方法、应用及系统
US8199656B1 (en) System and method for testing automated provisioning and maintenance of operations support systems
US20020032769A1 (en) Network management method and system
EP1361761A1 (en) Telecommunications network management system and method for service monitoring
CN111209011A (zh) 一种跨平台的容器云自动化部署系统
CN106936619B (zh) 部署网络服务的方法和装置
CN111737207B (zh) 展示、归集分布式系统中服务节点的日志的方法和装置
CN110019312A (zh) 读写数据分离调度方法、装置、设备及介质
US20140237485A1 (en) System and method for aggregate data from multiple sources to provide a single cim object
CN111813503A (zh) 一种基于容器云的微服务化应用开放系统
CN109885449A (zh) 全链路跟踪方法
CN109992279A (zh) 配置数据更新方法、装置、计算设备及存储介质
US7092504B1 (en) Method and system for presenting data stored within a network component
CN106886452B (zh) 一种简化云化系统任务调度的方法
Jin et al. IoT device management architecture based on proxy
Manfred et al. Micro-service architecture for emerging telecom applications
JP2009282652A (ja) 分散アプリケーションの配置先ノード選択支援システム、配置先ノード選択支援方法およびプログラム
US8132181B2 (en) Method, apparatus and media for indication management in an information model environment
CN113055490B (zh) 数据的存储方法及装置
Hass et al. Workload deployment and configuration reconciliation at scale in kubernetes-based edge-cloud continuums
WO2018198460A1 (ja) Id空間変換システム及びその方法
CN113312242B (zh) 接口信息管理方法、装置、设备及存储介质
CN102238033A (zh) 低级网管系统的管理方法及装置、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190528