CN113114483A - 一种业务日志全链路跟踪方法及系统 - Google Patents

一种业务日志全链路跟踪方法及系统 Download PDF

Info

Publication number
CN113114483A
CN113114483A CN202110286745.9A CN202110286745A CN113114483A CN 113114483 A CN113114483 A CN 113114483A CN 202110286745 A CN202110286745 A CN 202110286745A CN 113114483 A CN113114483 A CN 113114483A
Authority
CN
China
Prior art keywords
log
service
kafka
queue kafka
logs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110286745.9A
Other languages
English (en)
Other versions
CN113114483B (zh
Inventor
李虎
曾毅峰
俞敏
徐朋兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202110286745.9A priority Critical patent/CN113114483B/zh
Publication of CN113114483A publication Critical patent/CN113114483A/zh
Application granted granted Critical
Publication of CN113114483B publication Critical patent/CN113114483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种业务日志全链路跟踪方法及系统，所述的方法包括以下步骤：S1：获取业务日志；S2：对业务日志进行染色处理，将染色处理后的业务日志送入日志队列Kafka中；S3：监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗；S4：实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka；S5：储存清洗后的业务日志数据。与现有技术相比，本发明基于染色处理方法实现业务日志的全链路跟踪，提高业务日志的查询效率，针对日志队列Kafka设置守护线程，提高业务日志处理的稳定性。

Description

一种业务日志全链路跟踪方法及系统
技术领域
本发明涉及一种业务日志跟踪领域，尤其是涉及一种业务日志全链路跟踪方法及系统。
背景技术
随着系统业务功能的丰富和拓展，业务系统的使用过程中会产生大量的日志数据，需要通过日志组件对日志数据进行处理。现有的日志组件，只能解决日志进行归集问题，或只能针对某一场景进行追踪标记，不能将标记字段进行服务间的传递。如果微服务中任一环节出现问题，要准确追踪到问题所在，就只能分段查询各节点业务日志来追踪出现问题的业务追踪链，费时费力。并且现有的日志队列Kafka中守护线程机不完善，不能在日志队列Kafka出现异常时及时进行处理，进一步导致日志组件出现异常。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种业务日志全链路跟踪方法及系统。
本发明的目的可以通过以下技术方案来实现：
一种业务日志全链路跟踪方法，包括以下步骤：
S1：获取业务日志；
S2：对业务日志进行染色处理，将染色处理后的业务日志送入日志队列Kafka中；
S3：监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗；
S4：实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka；
S5：储存清洗后的业务日志数据。
优选地，所述的步骤S3中基于logstash对日志队列Kafka进行监听、抽取和清洗，并将不符合要求的日志丢弃。
优选地，所述步骤S4具体包括：
S41：间隔扫描日志队列Kafka的Failover文件，判断Kafka的健康状态，若健康状态为异常，进入步骤S42，否则返回S41继续扫描；
S42：将Kafka中的业务日志送入本地日志存储器，进入步骤S43；
S43：间隔扫描日志队列Kafka的Failover文件，判断Kafka的健康状态，若健康状态为异常，返回S43重新扫描，否则进入步骤S44；
S44：将本地日志存储器中的日志通过日志队列Kafka的远程服务投递至日志队列Kafka中。
优选地，所述的本地日志存储器的空间超过上限后将丢弃本地日志存储器中储存的业务日志。
优选地，所述的方法还包括步骤S6：利用kibana对业务日志进行可视化展示。
优选地，所述的步骤S2采用链路跟踪染色技术分别对业务日志的技术组件在交互时进行链路染色字段的创建和传递，将一笔业务请求所关联的所有技术组件创建携带相同的链路染色字段。
优选地，所述的技术组件包括http协议、同步线程、异步线程、AMQP协议、远程调用。
一种业务日志全链路跟踪系统，包括日志增强模块、Kafka模块、日志清洗模块、日志存储模块和守护线程模块，
所述的日志增强模块获取业务日志，对业务日志进行染色处理，将染色处理后的业务日志送入Kafka模块的日志队列Kafka中；
所述的Kafka模块获取染色处理后的业务日志并管理日志队列Kafka，
所述的守护线程模块实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka，
所述的日志清洗模块监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗，
所述的日志存储模块储存清洗后的业务日志数据。
优选地，所述的日志增强模块采用链路跟踪染色技术分别对业务日志的技术组件在交互时进行链路染色字段的创建和传递，将一笔业务请求所关联的所有技术组件创建携带相同的链路染色字段。
优选地，所述的日志清洗模块基于logstash对日志队列Kafka进行监听、抽取和清洗。
优选地，所述的系统还包括可视化模块，所述的可视化模块利用kibana对业务日志进行可视化展示。
与现有技术相比，本发明具有如下优点：
(1)本发明对业务日志进行染色处理，使一笔业务请求所关联的所有技术组件创建携带相同的链路染色字段，将跨应用业务日志进行关联，与日志队列、日志清洗配合实现业务日志的全链路追踪，从而节省故障排查时长；
(2)针对日志队列Kafka设置守护线程，实时获取日志队列Kafka的状态，并在日志队列Kafka出现异常时进行及时有效的备份暂存，当异常恢复后将备份送入日志队列，有效提高对日志队列Kafka出现异常时处理的效率和准确性，防止消息队列出现异常后导致整个日志组件的异常；
(3)本发明基于logstash对日志队列Kafka进行监听、抽取和清洗，清洗出有效的日志数据，提高业务日志全链路追踪的效率，降低业务日志的占用空间。
附图说明
图1为本发明的一种业务日志全链路跟踪方法的流程图；
图2为本发明的一种业务日志全链路跟踪方法的步骤S4的具体流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
一种业务日志全链路跟踪方法，包括以下步骤：
S1：获取业务日志；
S2：对业务日志进行染色处理，将染色处理后的业务日志送入日志队列Kafka中。
具体地，步骤S2采用链路跟踪染色技术分别对业务日志的技术组件在交互时进行链路染色字段的创建和传递，确保一笔业务请求所关联的所有技术组件携带相同的链路染色字段。本实施例中，S2中技术组件包括http协议、同步线程、异步线程、AMQP协议、远程调用。
S3：监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗，并将不符合要求的日志丢弃。
本实施例中，步骤S3中基于logstash对日志队列Kafka进行监听、抽取和清洗。
S4：实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka。
进一步地，为了对异常时的日志队列Kafka进行及时有效的保护和判定，对日志队列Kafka进行守护线程的具体步骤包括：
S41：间隔扫描日志队列Kafka的Failover文件，判断Kafka的健康状态，若健康状态为异常，进入步骤S42，否则返回S41继续扫描；
S42：将Kafka中的业务日志送入本地日志存储器，进入步骤S43；
S43：间隔扫描日志队列Kafka的Failover文件，判断Kafka的健康状态，若健康状态为异常，返回S43重新扫描，否则进入步骤S44；
S44：将本地日志存储器中的日志通过日志队列Kafka的远程服务投递至日志队列Kafka中。
本实施例中，S41、S45中间隔扫描日志队列Kafka的Failover文件的时间间隔均为1分钟，能够有效及时的对日志队列Kafka的异常进行获取和处理。S42的本地日志存储器的空间超过上限后将丢弃本地日志存储器中储存的业务日志。
S5：储存清洗后的业务日志数据。
本实施例中，步骤S5基于elastic储存清洗后的业务日志数据。
另外，本发明的一种实施方式中，还包括步骤S6：利用kibana对业务日志进行可视化展示。
本申请实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，在此不再赘述。
一种业务日志全链路跟踪系统，包括日志增强模块、Kafka模块、日志清洗模块、日志存储模块和守护线程模块，日志增强模块获取业务日志，对业务日志进行染色处理，将染色处理后的业务日志送入Kafka模块的日志队列Kafka中；Kafka模块获取染色处理后的业务日志并管理日志队列Kafka，守护线程模块实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka，日志清洗模块监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗，日志存储模块储存清洗后的业务日志数据。
具体地，本实施例中，日志增强模块采用链路跟踪染色技术分别对业务日志的技术组件在交互时进行链路染色字段的创建和传递，确保一笔业务请求所关联的所有技术组件携带相同的链路染色字段。所述的技术组件包括http协议、同步线程、异步线程、AMQP协议、远程调用。日志清洗模块基于logstash对日志队列Kafka进行监听、抽取和清洗。系统还包括可视化模块，所述的可视化模块利用kibana对业务日志进行可视化展示。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种业务日志全链路跟踪方法，其特征在于，包括以下步骤：
S1：获取业务日志；
S2：对业务日志进行染色处理，将染色处理后的业务日志送入日志队列Kafka中；
S3：监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗；
S4：实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka；
S5：储存清洗后的业务日志数据。
2.根据权利要求1所述的一种业务日志全链路跟踪方法，其特征在于，所述的步骤S3中基于logstash对日志队列Kafka进行监听、抽取和清洗。
3.根据权利要求1所述的一种业务日志全链路跟踪方法，其特征在于，所述步骤S4具体包括：
S41：间隔扫描日志队列Kafka的Failover文件，判断Kafka的健康状态，若健康状态为异常，进入步骤S42，否则返回S41继续扫描；
S42：将Kafka中的业务日志送入本地日志存储器，进入步骤S43；
S43：间隔扫描日志队列Kafka的Failover文件，判断Kafka的健康状态，若健康状态为异常，返回S43重新扫描，否则进入步骤S44；
S44：将本地日志存储器中的日志通过日志队列Kafka的远程服务投递至日志队列Kafka中。
4.根据权利要求1所述的一种业务日志全链路跟踪方法，其特征在于，所述的方法还包括步骤S6：利用kibana对业务日志进行可视化展示。
5.根据权利要求1所述的一种业务日志全链路跟踪方法，其特征在于，所述的步骤S2采用链路跟踪染色技术分别对业务日志的技术组件在交互时进行链路染色字段的创建和传递，将一笔业务请求所关联的所有技术组件创建携带相同的链路染色字段。
6.根据权利要求5所述的一种业务日志全链路跟踪方法，其特征在于，所述的技术组件包括http协议、同步线程、异步线程、AMQP协议、远程调用。
7.一种业务日志全链路跟踪系统，其特征在于，包括日志增强模块、Kafka模块、日志清洗模块、日志存储模块和守护线程模块，
所述的日志增强模块获取业务日志，对业务日志进行染色处理，将染色处理后的业务日志送入Kafka模块的日志队列Kafka中；
所述的Kafka模块获取染色处理后的业务日志并管理日志队列Kafka，
所述的守护线程模块实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka，
所述的日志清洗模块监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗，
所述的日志存储模块储存清洗后的业务日志数据。
8.根据权利要求7所述的一种业务日志全链路跟踪系统，其特征在于，所述的日志增强模块采用链路跟踪染色技术分别对业务日志的技术组件在交互时进行链路染色字段的创建和传递，将一笔业务请求所关联的所有技术组件创建携带相同的链路染色字段。
9.根据权利要求7所述的一种业务日志全链路跟踪系统，其特征在于，所述的日志清洗模块基于logstash对日志队列Kafka进行监听、抽取和清洗。
10.根据权利要求7所述的一种业务日志全链路跟踪系统，其特征在于，所述的系统还包括可视化模块，所述的可视化模块利用kibana对业务日志进行可视化展示。
CN202110286745.9A 2021-03-17 2021-03-17 一种业务日志全链路跟踪方法及系统 Active CN113114483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110286745.9A CN113114483B (zh) 2021-03-17 2021-03-17 一种业务日志全链路跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110286745.9A CN113114483B (zh) 2021-03-17 2021-03-17 一种业务日志全链路跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN113114483A true CN113114483A (zh) 2021-07-13
CN113114483B CN113114483B (zh) 2023-07-25

Family

ID=76711879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110286745.9A Active CN113114483B (zh) 2021-03-17 2021-03-17 一种业务日志全链路跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN113114483B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102480383A (zh) * 2010-11-23 2012-05-30 腾讯科技（深圳）有限公司 一种日志消息报文处理方法及装置
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集系统及方法
CN108270643A (zh) * 2017-12-14 2018-07-10 中国银联股份有限公司 Leaf-Spine交换机之间的链路的探测方法及设备
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法
CN109284251A (zh) * 2018-08-14 2019-01-29 平安普惠企业管理有限公司 日志管理方法、装置、计算机设备以及存储介质
CN109962792A (zh) * 2017-12-22 2019-07-02 南京欣网互联网络科技有限公司 一种基于大数据的全链路监控系统
CN110502494A (zh) * 2019-08-30 2019-11-26 北京思维造物信息科技股份有限公司 日志处理方法、装置、计算机设备及存储介质
CN111786885A (zh) * 2020-06-23 2020-10-16 中国工商银行股份有限公司 分布式全链路灰度路由方法及装置
CN112506894A (zh) * 2020-12-02 2021-03-16 平安医疗健康管理股份有限公司 基于链路追踪的服务链日志处理方法、装置和计算机设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102480383A (zh) * 2010-11-23 2012-05-30 腾讯科技（深圳）有限公司 一种日志消息报文处理方法及装置
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集系统及方法
CN108270643A (zh) * 2017-12-14 2018-07-10 中国银联股份有限公司 Leaf-Spine交换机之间的链路的探测方法及设备
CN109962792A (zh) * 2017-12-22 2019-07-02 南京欣网互联网络科技有限公司 一种基于大数据的全链路监控系统
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法
CN109284251A (zh) * 2018-08-14 2019-01-29 平安普惠企业管理有限公司 日志管理方法、装置、计算机设备以及存储介质
CN110502494A (zh) * 2019-08-30 2019-11-26 北京思维造物信息科技股份有限公司 日志处理方法、装置、计算机设备及存储介质
CN111786885A (zh) * 2020-06-23 2020-10-16 中国工商银行股份有限公司 分布式全链路灰度路由方法及装置
CN112506894A (zh) * 2020-12-02 2021-03-16 平安医疗健康管理股份有限公司 基于链路追踪的服务链日志处理方法、装置和计算机设备

Also Published As

Publication number Publication date
CN113114483B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
WO2019182670A1 (en) Endpoint process state collector
CN106789306B (zh) 通信设备软件故障检测收集恢复方法和系统
US20160072688A1 (en) Fault monitoring in multi-domain networks
CN105306272A (zh) 信息系统故障场景信息收集方法及系统
CN102364448A (zh) 一种计算机故障管理系统的容错方法
CN100438423C (zh) 电信设备故障信息管理方法
CN108521339A (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN102479113A (zh) 异常自适应处理方法及系统
CN102521098A (zh) Cpu死机监控的处理方法和装置
CN111176941A (zh) 一种数据处理的方法、装置和存储介质
CN110618864A (zh) 一种中断任务恢复方法及装置
CN112506702A (zh) 数据中心容灾方法、装置、设备及存储介质
CN104243192B (zh) 故障处理方法及系统
CN105354102A (zh) 一种文件系统维护和修复的方法和装置
CN114615310A (zh) 一种维护tcp连接的方法、装置及电子设备
CN113114483A (zh) 一种业务日志全链路跟踪方法及系统
CN105025179A (zh) 呼叫中心座席的监控方法及系统
CN108154343B (zh) 一种企业级信息系统的应急处理方法及系统
CN110209497B (zh) 一种主机资源动态扩缩容的方法及系统
CN107590647A (zh) 船舶管理系统的伺服监管系统
CN102307115A (zh) 一种故障实体的恢复方法和设备
CN112069027A (zh) 一种接口数据处理方法、装置、电子设备及存储介质
CN112000442A (zh) 一种基于kubernetes平台的集群状态自动获取方法及装置
CN106685697B (zh) 一种异常边际消息数据恢复处理的方法及系统
CN113297074B (zh) 一种内存跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant