CN106357463A - 非入侵式的访问链路跟踪实现方法及其系统 - Google Patents

非入侵式的访问链路跟踪实现方法及其系统 Download PDF

Info

Publication number
CN106357463A
CN106357463A CN201610976271.XA CN201610976271A CN106357463A CN 106357463 A CN106357463 A CN 106357463A CN 201610976271 A CN201610976271 A CN 201610976271A CN 106357463 A CN106357463 A CN 106357463A
Authority
CN
China
Prior art keywords
tracking
tracking data
tracks
business interface
communication packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610976271.XA
Other languages
English (en)
Other versions
CN106357463B (zh
Inventor
蔡昌志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sheng Polytron Technologies Inc
Original Assignee
Shenzhen Sheng Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sheng Polytron Technologies Inc filed Critical Shenzhen Sheng Polytron Technologies Inc
Priority to CN201610976271.XA priority Critical patent/CN106357463B/zh
Publication of CN106357463A publication Critical patent/CN106357463A/zh
Application granted granted Critical
Publication of CN106357463B publication Critical patent/CN106357463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability

Abstract

本发明公开了一种非入侵式的访问链路跟踪实现方法,任意一业务接口生成包含跟踪ID的跟踪数据,将跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量;当任意一业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口,另一接口解出通讯报文,检查是否携带有跟踪ID,如果携带有跟踪ID,生成的跟踪数据中增加节点,形成父子关系,将跟踪数据写入缓存中同时把跟踪ID存储到全局变量;周期性地将每个业务接口对应的缓存中的跟踪数据取出,根据节点和跟踪ID确定每一个调用链的层级依赖关系并且进行显示;还公开了一种系统。本发明能够实现上下级调用关系、请求次数、执行时间,以及调用关系拓扑图。

Description

非入侵式的访问链路跟踪实现方法及其系统
技术领域
本发明涉及计算机技术领域,具体涉及一种非入侵式的访问链路跟踪实现方法及其系统。
背景技术
随着公司业务的发展壮大,各个业务系统衍生的接口越来越多,各接口之间相互调用关系越来越复杂,例如:一个A请求,需要调用B接口和C接口,其中B接口中又调了D接口,C接口调用了E接口。系统分析人员想知道系统的瓶颈、性能以及各接口使用率,已经无法全盘掌控,一旦某些接口出现瓶颈,将直接影响整个系统的性能。
发明内容
有鉴于此,本发明的主要目的在于提供一种非入侵式的访问链路跟踪实现方法及其系统。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供一种非入侵式的访问链路跟踪实现方法,该方法为:任意一业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;当任意一业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口,所述另一接口解出通讯报文,检查是否携带有跟踪ID,如果携带有跟踪ID,生成的跟踪数据中增加节点parent_id,形成父子关系,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;周期性地将每个业务接口对应的缓存中的跟踪数据根据先进先出方式取出,根据所述跟踪数据中的节点和跟踪ID确定每一个调用链的层级依赖关系;所述跟踪数据还包括调用发起时间、发起IP、发起服务的服务名称、Span名称、调用结束时间;所述通讯报文的通讯方式为http或者socket。
上述方案中,该方法还包括:当该业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口,所述另一接口解出通讯报文,检查是否携带有跟踪ID,如果没有携带跟踪ID,则所述另一个业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中。
本发明实施例还提供一种非入侵式的访问链路跟踪实现系统,该系统包括:跟踪数据生成单元、调用单元、解析单元、读取显示单元;
所述跟踪数据生成单元,用于针对任意一业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;还用于如果所述通讯报文携带有跟踪ID,生成的跟踪数据中增加节点parent_id,形成父子关系,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;所述通讯报文的通讯方式为http或者socket;
所述调用单元,用于当任意一业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口;
所述解析单元,用于解析所述通讯报文,检查是否携带有跟踪ID;
所述读取显示单元,用于周期性地将每个业务接口对应的缓存中的跟踪数据根据先进先出方式取出,根据所述跟踪数据中的节点和跟踪ID确定每一个调用链的层级依赖关系;所述跟踪数据还包括调用发起时间、发起IP、发起服务的服务名称、Span名称、调用结束时间;
所述跟踪数据生成单元,如果所述通讯报文没有携带跟踪ID,则不参与访问链路跟踪关系。
上述方案中,所述跟踪数据生成单元,如果所述通讯报文没有携带父级跟踪ID,则生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中。
与现有技术相比,本发明的有益效果:
本发明数据读写快,同时利用报文格式自定义的方便,使调用链路追踪变得简单易用,能够实现上下级调用关系、请求次数、执行时间,通过汇总统计能够清晰地实现调用关系拓扑图。
附图说明
图1为本发明实施例提供一种非入侵式的访问链路跟踪实现方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种非入侵式的访问链路跟踪实现方法,如图1所示,该方法通过以下步骤实现:
步骤101:任意一业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;
具体地,所述跟踪数据还包括调用发起时间、发起IP、发起服务的服务名称、Span名称、调用结束时间。
例如,业务接口A生成跟踪数据(包含跟踪ID),将数据写入系统缓存中,同时把跟踪ID放到全局变量中。
步骤102:当任意一业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口,所述另一接口解出通讯报文,检查是否携带有跟踪ID,如果携带有跟踪ID,生成的跟踪数据中增加节点parent_id,形成父子关系,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;
如果所述通讯报文没有携带父级跟踪ID,则所述另一业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中。
具体地,所述通讯报文的通讯方式为http或者socket。
例如,业务接口A调用接口B时,把跟踪ID带到通讯报文中,业务接口B收到请求后,解出通讯报文,检查是否带有跟踪ID,如果带有跟踪ID,生成的跟踪数据中增加节点parent_id,形成父子关系,将数据写入当前操作系统缓存中,同时把跟踪ID放到全局变量中;业务接口C处理方式与业务接口B相同。
步骤103:周期性地将每个业务接口对应的缓存中的跟踪数据根据先进先出方式取出,根据所述跟踪数据中的节点和跟踪ID确定每一个调用链的层级依赖关系并且进行显示。
具体地,将每个系统中的缓存数据按先进先出的方式取出来,统一写入kafka分布式消息系统中,用zipkin将kafka分布式消息系统中的数据取出来,写入到Elasticsearch中分布式存储,用zipkin-ui程序把Elasticsearch中的数据读取出来,并做调用链上下级依赖关系显示。
实施例:
本发明实施例提供一种非入侵式的访问链路跟踪实现方法,该方法通过以下步骤实现:
1.接口调用方发起调用时,生成TraceID和Span跟踪数据,所述Span跟踪数据包括:调用发起时间、发起IP、发起服务的服务名称、Span名称、调用结束时间。
2.把Span跟踪数据写入到系统缓存中,由程序直接操作系统的System V IPC。
3.调用接口时,把TraceID与其它数据一起组装到通讯报文中传输,通讯方式支持http,socket,报文内容格式可自行定义,如:Json\Protobuf\Thrift。
4.接口接收方收到TraceID后,再生成新的Span,同时在Span上增加parentId节点并赋上TraceID的值,与上一个Span建立关联关系。
5.上一接口再调另一接口,处理方式将与前面步骤相同。
6.每台服务器不间断的执行缓存数据(System V)的读取操作,并统一写入到kafka分布式消息服务中。
7.zipkin程序实时的从kafka分布式消息服务把数据读取出来,进行整理,整理完数据写入到Elasticsearch存储,采用Elasticsearch存储的优势是它具有搜索引擎机制,数据读取检索快,支持分布式存储。
8.zipkin-ui程序实时的检索Elasticsearch的数据,并在界面上展示出来每一个调用链的层级依赖关系,执行时长。
本发明实施例还提供一种非入侵式的访问链路跟踪实现系统,该系统包括:跟踪数据生成单元、调用单元、解析单元、读取显示单元;
所述跟踪数据生成单元,用于针对任意一业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;还用于如果所述通讯报文携带有跟踪ID,生成的跟踪数据中增加节点parent_id,形成父子关系,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;
所述调用单元,用于当任意一业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口;
所述解析单元,用于解析所述通讯报文,检查是否携带有跟踪ID;
所述读取显示单元,用于周期性地将每个业务接口对应的缓存中的跟踪数据根据先进先出方式取出,根据所述跟踪数据中的节点和跟踪ID确定每一个调用链的层级依赖关系并且进行显示。
所述跟踪数据还包括调用发起时间、发起IP、发起服务的服务名称、Span名称、调用结束时间。
所述通讯报文的通讯方式为http或者socket。
所述跟踪数据生成单元,如果所述通讯报文没有携带跟踪ID,则不参与访问链路跟踪关系。
所述跟踪数据生成单元,如果所述通讯报文没有携带父级跟踪ID,则生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (4)

1.一种非入侵式的访问链路跟踪实现方法,其特征在于,该方法为:任意一业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;当任意一业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口,所述另一接口解出通讯报文,检查是否携带有跟踪ID,如果携带有跟踪ID,生成的跟踪数据中增加节点parent_id,形成父子关系,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;周期性地将每个业务接口对应的缓存中的跟踪数据根据先进先出方式取出,根据所述跟踪数据中的节点和跟踪ID确定每一个调用链的层级依赖关系;所述跟踪数据还包括调用发起时间、发起IP、发起服务的服务名称、Span名称、调用结束时间;所述通讯报文的通讯方式为http或者socket。
2.根据权利要求1所述的非入侵式的访问链路跟踪实现方法,其特征在于,该方法还包括:当该业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口,所述另一接口解出通讯报文,检查是否携带有跟踪ID,如果没有携带跟踪ID,则所述另一个业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中。
3.一种非入侵式的访问链路跟踪实现系统,其特征在于,该系统包括:跟踪数据生成单元、调用单元、解析单元、读取显示单元;
所述跟踪数据生成单元,用于针对任意一业务接口生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;还用于如果所述通讯报文携带有跟踪ID,生成的跟踪数据中增加节点parent_id,形成父子关系,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中;所述通讯报文的通讯方式为http或者socket;
所述调用单元,用于当任意一业务接口调用另一个业务接口时,将携带所述跟踪ID的通讯报文发送给另一业务接口;
所述解析单元,用于解析所述通讯报文,检查是否携带有跟踪ID;
所述读取显示单元,用于周期性地将每个业务接口对应的缓存中的跟踪数据根据先进先出方式取出,根据所述跟踪数据中的节点和跟踪ID确定每一个调用链的层级依赖关系并且进行显示;所述跟踪数据还包括调用发起时间、发起IP、发起服务的服务名称、Span名称、调用结束时间。
4.根据权利要求3所述的非入侵式的访问链路跟踪实现系统,其特征在于,所述跟踪数据生成单元,还用于如果所述通讯报文没有携带父级跟踪ID,则生成包含跟踪ID的跟踪数据,将所述跟踪数据写入缓存中同时把所述跟踪ID存储到全局变量中。
CN201610976271.XA 2016-11-07 2016-11-07 非入侵式的访问链路跟踪实现方法及其系统 Active CN106357463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610976271.XA CN106357463B (zh) 2016-11-07 2016-11-07 非入侵式的访问链路跟踪实现方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610976271.XA CN106357463B (zh) 2016-11-07 2016-11-07 非入侵式的访问链路跟踪实现方法及其系统

Publications (2)

Publication Number Publication Date
CN106357463A true CN106357463A (zh) 2017-01-25
CN106357463B CN106357463B (zh) 2019-10-25

Family

ID=57864897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610976271.XA Active CN106357463B (zh) 2016-11-07 2016-11-07 非入侵式的访问链路跟踪实现方法及其系统

Country Status (1)

Country Link
CN (1) CN106357463B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992465A (zh) * 2017-12-29 2019-07-09 中国电信股份有限公司 服务追踪方法、装置和计算机可读存储介质
CN110213067A (zh) * 2018-03-06 2019-09-06 腾讯科技(深圳)有限公司 业务请求的跟踪信息处理方法、装置和系统
WO2020024343A1 (zh) * 2018-07-30 2020-02-06 网宿科技股份有限公司 方法调用链跟踪方法、电子装置及计算机可读存储介质
CN111193631A (zh) * 2018-11-14 2020-05-22 中国电信股份有限公司 信息处理方法、系统和计算机可读存储介质
CN111259275A (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种数据追踪方法、设备及存储介质
CN111459766A (zh) * 2019-11-14 2020-07-28 国网浙江省电力有限公司信息通信分公司 一种面向微服务系统的调用链跟踪与分析方法
CN112565194A (zh) * 2020-11-09 2021-03-26 广东华兴银行股份有限公司 一种交易链路跟踪方法、电子设备及存储介质
CN112737869A (zh) * 2021-04-02 2021-04-30 北京宇信科技集团股份有限公司 Esb系统的链路跟踪方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130232053A1 (en) * 2011-04-18 2013-09-05 DerivaTrust Technologies. Inc. Financial instrument discovery, transparency, communication, and trading facilitation
CN103870465A (zh) * 2012-12-07 2014-06-18 厦门雅迅网络股份有限公司 一种非入侵式的数据库爬虫的实现方法
US20150154880A1 (en) * 2013-12-02 2015-06-04 Aetna Inc. Healthcare management with a support network
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130232053A1 (en) * 2011-04-18 2013-09-05 DerivaTrust Technologies. Inc. Financial instrument discovery, transparency, communication, and trading facilitation
CN103870465A (zh) * 2012-12-07 2014-06-18 厦门雅迅网络股份有限公司 一种非入侵式的数据库爬虫的实现方法
US20150154880A1 (en) * 2013-12-02 2015-06-04 Aetna Inc. Healthcare management with a support network
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992465A (zh) * 2017-12-29 2019-07-09 中国电信股份有限公司 服务追踪方法、装置和计算机可读存储介质
CN110213067A (zh) * 2018-03-06 2019-09-06 腾讯科技(深圳)有限公司 业务请求的跟踪信息处理方法、装置和系统
CN110213067B (zh) * 2018-03-06 2022-07-08 腾讯科技(深圳)有限公司 业务请求的跟踪信息处理方法、装置和系统
US11099889B2 (en) 2018-07-30 2021-08-24 Wangsu Science & Technology Co., Ltd. Method-call-chain tracking method, electronic device, and computer readable storage medium
CN110780883A (zh) * 2018-07-30 2020-02-11 网宿科技股份有限公司 方法调用链跟踪方法、电子装置及计算机可读存储介质
WO2020024343A1 (zh) * 2018-07-30 2020-02-06 网宿科技股份有限公司 方法调用链跟踪方法、电子装置及计算机可读存储介质
CN111193631A (zh) * 2018-11-14 2020-05-22 中国电信股份有限公司 信息处理方法、系统和计算机可读存储介质
CN111193631B (zh) * 2018-11-14 2022-02-08 中国电信股份有限公司 信息处理方法、系统和计算机可读存储介质
CN111259275A (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种数据追踪方法、设备及存储介质
CN111259275B (zh) * 2018-12-03 2023-12-15 阿里巴巴集团控股有限公司 一种数据追踪方法、设备及存储介质
CN111459766A (zh) * 2019-11-14 2020-07-28 国网浙江省电力有限公司信息通信分公司 一种面向微服务系统的调用链跟踪与分析方法
CN111459766B (zh) * 2019-11-14 2024-01-12 国网浙江省电力有限公司信息通信分公司 一种面向微服务系统的调用链跟踪与分析方法
CN112565194A (zh) * 2020-11-09 2021-03-26 广东华兴银行股份有限公司 一种交易链路跟踪方法、电子设备及存储介质
CN112737869A (zh) * 2021-04-02 2021-04-30 北京宇信科技集团股份有限公司 Esb系统的链路跟踪方法及系统

Also Published As

Publication number Publication date
CN106357463B (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN106357463A (zh) 非入侵式的访问链路跟踪实现方法及其系统
US20200236569A1 (en) Cross-channel user tracking systems, methods, and devices
US20200073785A1 (en) Distributed code tracing system
CN108418862A (zh) 基于人工智能服务云平台的微服务管理方法和系统
US11288245B2 (en) Telemetry definition system
US11556456B2 (en) Telemetry system extension
CN107181821A (zh) 一种基于sse规范的消息推送方法及装置
CN112218115B (zh) 流媒体音视频同步的控制方法、装置、计算机设备
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN105337891B (zh) 用于分布式缓存系统的流量控制方法和装置
US20220138069A1 (en) Agent profiler to monitor activities and performance of software agents
CN104657366A (zh) 海量日志写入数据库的方法、装置和日志容灾系统
WO2009143733A1 (zh) 一种网络内容拉取方法与系统
AU2015362076A1 (en) Notifications on mobile devices
CN102761573A (zh) 一种媒体信息的用户浏览行为数据的监测方法
CN102789458B (zh) 一种影像文件处理方法及系统
CN105160018A (zh) 一种复制/粘贴图片的方法、装置和系统
CN107102950A (zh) 一种应用程序测试方法和装置
CN107633102A (zh) 一种读取元数据的方法、装置、系统及设备
CN105282238B (zh) 一种资源管理方法
CN108076385A (zh) 一种推广信息监测数据的上报方法及装置
CN107959696A (zh) 一种日志话单处理方法及系统
CN110049133B (zh) 一种dns区文件全量下发的方法和装置
CN114928562B (zh) 一种图计算平台的流量处理方法和系统
CN101471955A (zh) 一种双控制器网络储存环境下的设备数据写入方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant