CN115529227A - 一种基于Web请求的链路跟踪和异常诊断方法 - Google Patents
一种基于Web请求的链路跟踪和异常诊断方法 Download PDFInfo
- Publication number
- CN115529227A CN115529227A CN202211045533.2A CN202211045533A CN115529227A CN 115529227 A CN115529227 A CN 115529227A CN 202211045533 A CN202211045533 A CN 202211045533A CN 115529227 A CN115529227 A CN 115529227A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- link tracking
- link
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000003745 diagnosis Methods 0.000 title claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000012806 monitoring device Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000586 desensitisation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于Web请求的链路跟踪和异常诊断方法，包括以下步骤：S1、接收来自用户的业务请求，分布式系统中多个服务节点执行与业务请求相应的服务操作；S2、服务节点在执行完成服务操作后，生成链路跟踪数据；S3、数据监测设备接收各个服务节点的链路跟踪数据，获取链路跟踪数据中的TracingID，并将Tracing ID与链路跟踪数据相关联；S4、接收到请求链路跟踪命令后，获取请求链路跟踪命令中携带的Tracing ID，根据该Tracing ID从存储的所有链路跟踪数据中获取关联的链路跟踪数据；S5、对所有关联的链路跟踪数据进行分析，识别出符合预设异常标准的服务节点，生成异常捕获信息。本发明相较于现有技术，便于运维人员快速、准确的定位故障的服务节点。
Description
技术领域
本发明属于链路跟踪领域，尤其涉及一种基于Web请求的链路跟踪和异常诊断方法。
背景技术
微服务架构是一个分布式架构，它按业务划分服务单元，一个分布式系统往往有很多个服务单元。由于服务单元数量众多，业务的复杂性，如果出现了错误和异常，很难去定位。随着微服务架构的流行，各个服务被解耦拆分的更加细致，一次请求往往需要涉及到多个服务的执行结果。
基于微服务架构的分布式系统中，客户发起请求失败后，难以定位具体哪个服务节点出现问题，运维人员只能逐个服务节点去排查，或者根据异常信息和已有经验主观判断故障的节点，才能定位到对应的服务和日志记录，难以准确、快速的实现故障服务节点的定位。
发明内容
本发明的目的在于：提供一种基于Web请求的链路跟踪和异常诊断方法，便于运维人员快速、准确的定位故障的服务节点。
为了实现上述目的，本发明采用了如下技术方案：一种基于Web请求的链路跟踪和异常诊断方法，包括以下步骤：
S1、接收来自用户的业务请求，分布式系统中多个服务节点执行与业务请求相应的服务操作；
S2、服务节点在执行完成服务操作后，生成链路跟踪数据，并发送至数据监测设备；
S3、数据监测设备接收各个服务节点的链路跟踪数据，获取链路跟踪数据中的Tracing ID，并将Tracing ID与链路跟踪数据相关联，之后存储所有的链路跟踪数据；
S4、数据监测设备接收到请求链路跟踪命令后，获取请求链路跟踪命令中携带的Tracing ID，根据该Tracing ID从存储的所有链路跟踪数据中获取关联的链路跟踪数据；
S5、对所有关联的链路跟踪数据进行分析，识别出符合预设异常标准的服务节点，生成异常捕获信息。
作为上述技术方案的进一步描述：
链路跟踪数据还包括Span ID和服务操作执行信息，服务操作执行信息包括执行结果、调用节点标识、业务请求处理起止时间和业务请求处理时长。
作为上述技术方案的进一步描述：
在步骤S4中，数据监测设备根据链路跟踪数据中执行结果和业务请求处理时长，识别链路跟踪数据对应的服务节点是否符合预设异常标准。
作为上述技术方案的进一步描述：
调用节点标识用于关联当前服务节点与被调用的其他服务节点，调用节点标识包括当前服务节点对被调用服务节点的调用时间。
作为上述技术方案的进一步描述：
在步骤S4中，数据监测设备根据调用节点标识，比较当前服务节点和被调用服务节点的业务请求处理起止时间，识别服务节点是否符合预设异常标准。
作为上述技术方案的进一步描述：
分布式系统包括多个服务节点，服务节点包括请求接收模块、服务执行模块和链路跟踪数据生成模块，请求接收模块用于接收来自用户或其他服务节点的业务请求，服务执行模块用于执行与业务请求相应的服务操作，链路跟踪数据生成模块用于采集日志数据，过滤、脱敏、转化后得到链路跟踪数据。
作为上述技术方案的进一步描述：
数据监测设备包括数据存储模块、数据分析模块和异常告警模块，数据存储模块用于存储链路跟踪数据，数据分析模块用于识别链路跟踪数据对应的服务节点是否符合预设异常标准，异常告警模块用于根据识别出的、符合预设异常标准的服务节点，生成异常捕获信息。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，分布式系统中多个服务节点在执行与业务请求相应的服务操作后，生成链路跟踪数据并传输至数据监测设备，数据监测设备在收到请求链路跟踪命令后，根据请求链路跟踪命令中携带的Tracing ID，从存储的所有链路跟踪数据中获取关联的链路跟踪数据，并对所有关联的链路跟踪数据进行分析，识别出符合预设异常标准的服务节点，生成异常捕获信息，从而便于运维人员快速、准确的定位故障的服务节点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为一种基于Web请求的链路跟踪和异常诊断方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于Web请求的链路跟踪和异常诊断方法，包括以下步骤：
S1、接收来自用户的业务请求，分布式系统中多个服务节点执行与业务请求相应的服务操作；
S2、服务节点在执行完成服务操作后，生成链路跟踪数据，并发送至数据监测设备；
S3、数据监测设备接收各个服务节点的链路跟踪数据，获取链路跟踪数据中的Tracing ID，并将Tracing ID与链路跟踪数据相关联，之后存储所有的链路跟踪数据；
S4、数据监测设备接收到请求链路跟踪命令后，获取请求链路跟踪命令中携带的Tracing ID，根据该Tracing ID从存储的所有链路跟踪数据中获取关联的链路跟踪数据；
S5、对所有关联的链路跟踪数据进行分析，识别出符合预设异常标准的服务节点，生成异常捕获信息。
链路跟踪数据还包括Span ID和服务操作执行信息，服务操作执行信息包括执行结果(具体包括执行成功、执行失败、故障)、调用节点标识、业务请求处理起止时间和业务请求处理时长。
在步骤S4中，数据监测设备根据链路跟踪数据中执行结果和业务请求处理时长，识别链路跟踪数据对应的服务节点是否符合预设异常标准。执行结果为执行成功且业务请求处理时长没有超过设定阈值的服务节点，为不符合预设异常标准的服务节点，不生成异常捕获信息，其他情况(如执行结果为故障或执行失败，业务请求处理时长超过设定阈值)，则识别服务节点符合预设异常标准，生成异常捕获信息。
调用节点标识用于关联当前服务节点与被调用的其他服务节点，调用节点标识包括当前服务节点对被调用服务节点的调用时间。
在步骤S4中，数据监测设备根据调用节点标识，比较当前服务节点和被调用服务节点的业务请求处理起止时间，识别服务节点是否符合预设异常标准。如果当前服务节点的调用时间与被调用服务节点的业务请求处理起始时间之间的差值超出设定阈值，则说明两个服务节点之间的数据传输出现异常，识别两个服务节点符合预设异常标准。
分布式系统包括多个服务节点，服务节点包括请求接收模块、服务执行模块和链路跟踪数据生成模块，请求接收模块用于接收来自用户或其他服务节点的业务请求，服务执行模块用于执行与业务请求相应的服务操作，链路跟踪数据生成模块用于采集(服务节点执行与业务请求相应的服务操作过程中产生的)日志数据，过滤、脱敏、转化后得到链路跟踪数据。
数据监测设备包括数据存储模块、数据分析模块和异常告警模块，数据存储模块用于存储链路跟踪数据(链路跟踪数据存储之前，先提取链路跟踪数据中的Tracing ID，并将Tracing ID与链路跟踪数据相关联)，数据分析模块用于识别链路跟踪数据对应的服务节点是否符合预设异常标准，异常告警模块用于根据识别出的、符合预设异常标准的服务节点，生成异常捕获信息(异常捕获信息包括符合预设异常标准的服务节点以及对应的链路跟踪数据)。
工作原理：分布式系统中多个服务节点在执行与业务请求相应的服务操作后，生成链路跟踪数据并传输至数据监测设备，数据监测设备在收到请求链路跟踪命令后，根据请求链路跟踪命令中携带的Tracing ID，从存储的所有链路跟踪数据中获取关联的链路跟踪数据，并对所有关联的链路跟踪数据进行分析，识别出符合预设异常标准的服务节点，生成异常捕获信息，从而便于运维人员快速、准确的定位故障的服务节点。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于Web请求的链路跟踪和异常诊断方法，其特征在于，包括以下步骤：
S1、接收来自用户的业务请求，分布式系统中多个服务节点执行与业务请求相应的服务操作；
S2、服务节点在执行完成服务操作后，生成链路跟踪数据，并发送至数据监测设备；
S3、数据监测设备接收各个服务节点的链路跟踪数据，获取链路跟踪数据中的TracingID，并将Tracing ID与链路跟踪数据相关联，之后存储所有的链路跟踪数据；
S4、数据监测设备接收到请求链路跟踪命令后，获取请求链路跟踪命令中携带的Tracing ID，根据该Tracing ID从存储的所有链路跟踪数据中获取关联的链路跟踪数据；
S5、对所有关联的链路跟踪数据进行分析，识别出符合预设异常标准的服务节点，生成异常捕获信息。
2.根据权利要求1所述的一种基于Web请求的链路跟踪和异常诊断方法，其特征在于，所述链路跟踪数据还包括Span ID和服务操作执行信息，所述服务操作执行信息包括执行结果、调用节点标识、业务请求处理起止时间和业务请求处理时长。
3.根据权利要求2所述的一种基于Web请求的链路跟踪和异常诊断方法，其特征在于，在所述步骤S4中，数据监测设备根据链路跟踪数据中执行结果和业务请求处理时长，识别链路跟踪数据对应的服务节点是否符合预设异常标准。
4.根据权利要求3所述的一种基于Web请求的链路跟踪和异常诊断方法，其特征在于，调用节点标识用于关联当前服务节点与被调用的其他服务节点，调用节点标识包括当前服务节点对被调用服务节点的调用时间。
5.根据权利要求4所述的一种基于Web请求的链路跟踪和异常诊断方法，其特征在于，在所述步骤S4中，数据监测设备根据调用节点标识，比较当前服务节点和被调用服务节点的业务请求处理起止时间，识别服务节点是否符合预设异常标准。
6.根据权利要求1所述的一种基于Web请求的链路跟踪和异常诊断方法，其特征在于，所述分布式系统包括多个服务节点，所述服务节点包括请求接收模块、服务执行模块和链路跟踪数据生成模块，所述请求接收模块用于接收来自用户或其他服务节点的业务请求，所述服务执行模块用于执行与业务请求相应的服务操作，所述链路跟踪数据生成模块用于采集日志数据，过滤、脱敏、转化后得到链路跟踪数据。
7.根据权利要求1所述的一种基于Web请求的链路跟踪和异常诊断方法，其特征在于，数据监测设备包括数据存储模块、数据分析模块和异常告警模块，所述数据存储模块用于存储链路跟踪数据，所述数据分析模块用于识别链路跟踪数据对应的服务节点是否符合预设异常标准，所述异常告警模块用于根据识别出的、符合预设异常标准的服务节点，生成异常捕获信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211045533.2A CN115529227A (zh) | 2022-08-29 | 2022-08-29 | 一种基于Web请求的链路跟踪和异常诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211045533.2A CN115529227A (zh) | 2022-08-29 | 2022-08-29 | 一种基于Web请求的链路跟踪和异常诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115529227A true CN115529227A (zh) | 2022-12-27 |
Family
ID=84697367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211045533.2A Pending CN115529227A (zh) | 2022-08-29 | 2022-08-29 | 一种基于Web请求的链路跟踪和异常诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115529227A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117176802A (zh) * | 2023-11-02 | 2023-12-05 | 太平金融科技服务（上海）有限公司 | 一种业务请求的全链路监控方法、装置、电子设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069354A (zh) * | 2019-04-15 | 2019-07-30 | 必成汇(成都)科技有限公司 | 微服务全链路跟踪方法及微服务架构 |
| CN112910945A (zh) * | 2020-12-08 | 2021-06-04 | 江苏苏宁云计算有限公司 | 请求链路跟踪方法和业务请求处理方法 |
| CN114185708A (zh) * | 2021-12-15 | 2022-03-15 | 中国农业银行股份有限公司 | 基于分布式链路追踪的数据分析方法、装置和电子设备 |
-
2022
- 2022-08-29 CN CN202211045533.2A patent/CN115529227A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069354A (zh) * | 2019-04-15 | 2019-07-30 | 必成汇(成都)科技有限公司 | 微服务全链路跟踪方法及微服务架构 |
| CN112910945A (zh) * | 2020-12-08 | 2021-06-04 | 江苏苏宁云计算有限公司 | 请求链路跟踪方法和业务请求处理方法 |
| CN114185708A (zh) * | 2021-12-15 | 2022-03-15 | 中国农业银行股份有限公司 | 基于分布式链路追踪的数据分析方法、装置和电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117176802A (zh) * | 2023-11-02 | 2023-12-05 | 太平金融科技服务（上海）有限公司 | 一种业务请求的全链路监控方法、装置、电子设备及介质 |
| CN117176802B (zh) * | 2023-11-02 | 2024-01-16 | 太平金融科技服务（上海）有限公司 | 一种业务请求的全链路监控方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8375255B2 (en) | Device and method for detecting and diagnosing correlated network anomalies | |
| CN111831514A (zh) | 一种设备监控方法、装置、设备及存储介质 | |
| CN111176879A (zh) | 设备的故障修复方法及装置 | |
| CN107508722B (zh) | 一种业务监控方法和装置 | |
| CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
| CN110716842B (zh) | 集群故障检测方法和装置 | |
| CN101997925A (zh) | 具有预警功能的服务器监控方法及其系统 | |
| CN112350854B (zh) | 一种流量故障定位方法、装置、设备及存储介质 | |
| CN111046011A (zh) | 日志收集方法、系统、节点、电子设备及可读存储介质 | |
| CN110209518A (zh) | 一种多数据源日志数据集中收集存储方法及装置 | |
| CN110191000A (zh) | 一种数据处理方法、消息追踪监控方法和分布式系统 | |
| CN115529227A (zh) | 一种基于Web请求的链路跟踪和异常诊断方法 | |
| WO2015187001A2 (en) | System and method for managing resources failure using fast cause and effect analysis in a cloud computing system | |
| CN109802842B (zh) | 应用拓扑的生成方法及相关设备 | |
| CN111752741A (zh) | 一种系统性能检测的方法及装置 | |
| CN115357418A (zh) | 微服务故障检测方法、装置、存储介质及计算机设备 | |
| CN113868021A (zh) | 一种基于检测服务状态并自动重启的方法 | |
| CN116594840A (zh) | 基于elk的日志故障采集与分析方法、系统、设备及介质 | |
| CN116302989A (zh) | 压力测试方法及系统、存储介质、计算机设备 | |
| CN110572291A (zh) | 面向分布式系统实现架构自动识别功能的系统及其方法 | |
| CN114448935A (zh) | 一种ip地址可用性告警自动推送处理方法及装置 | |
| CN114338347A (zh) | 基于Ampere平台的故障信息带外获取方法及装置 | |
| CN114629786A (zh) | 日志实时分析方法、装置、存储介质及系统 | |
| CN113852984A (zh) | 一种无线终端接入监控系统、方法、电子设备及可读存储装置 | |
| KR20170127876A (ko) | 로그 결함 분석 기반 장애 대응 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |