CN116346590B - 一种全链路故障的定位系统 - Google Patents
一种全链路故障的定位系统 Download PDFInfo
- Publication number
- CN116346590B CN116346590B CN202310623807.XA CN202310623807A CN116346590B CN 116346590 B CN116346590 B CN 116346590B CN 202310623807 A CN202310623807 A CN 202310623807A CN 116346590 B CN116346590 B CN 116346590B
- Authority
- CN
- China
- Prior art keywords
- module
- log data
- service request
- request
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 239000000523 sample Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000001788 irregular Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- LZDYZEGISBDSDP-UHFFFAOYSA-N 2-(1-ethylaziridin-1-ium-1-yl)ethanol Chemical compound OCC[N+]1(CC)CC1 LZDYZEGISBDSDP-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种全链路故障的定位系统，包括：拦截器、日志生成模块、预处理模块、链路链解析模块以及预警模块。拦截器获取业务请求的接口信息和唯一标识或生成唯一标识，并计算业务请求从请求开始到请求完成所用的业务请求时耗。日志生成模块根据接口信息、URI信息、唯一标识、业务请求时耗生成第一目标日志数据。预处理模块对第一目标日志数据进行预处理得到多维第二目标日志数据，链路链解析模块根据唯一标识对第二目标日志数据进行过滤聚合处理得到多维第三目标日志数据，预警模块根据第三目标日志数据生成预警信息发送至客户端，可以实现全链路业务请求详细轨迹信息的追踪。
Description
技术领域
本申请涉及链路故障检测的技术领域，特别是涉及一种全链路故障的定位系统。
背景技术
当公司业务发展到一定量级，公司业务需要大量服务器，JAVA应用，复杂的网络架构，高可用的中间件系统以及高性能的数据库系统来支撑。无论是日常、节假日还是活动期间，公司业务出现故障出现的原因有很多，如网络、服务器、应用服务、中间件及数据库层都可能导致公司业务故障，通过人工梳理业务全链路很难准确并细粒度地排查、定位公司业务出现故障的位点。
因此，如何准确并细粒度地排查公司业务出现故障的位点，是本领域技术人员急需解决的技术问题。
发明内容
基于上述问题，本申请提供了一种全链路故障的定位系统，能够准确并细粒度地排查公司业务出现故障的位点。
为解决上述问题，本申请实施例提供的技术方案如下：
一种全链路故障的定位系统，所述系统包括：拦截器、日志生成模块、预处理模块、链路链解析模块以及预警模块；
所述拦截器、所述日志生成模块、所述预处理模块、链路链解析模块以及预警模块依次相连；
所述拦截器，用于获取业务请求的接口信息和唯一标识或生成唯一标识，并计算业务请求时耗；所述业务请求时耗为所述业务请求从请求开始到请求完成所用的时间；所述唯一标识包括请求字符串和业务请求的URI信息；
所述日志生成模块，用于根据所述业务请求的接口信息、唯一标识以及所述业务请求时耗生成第一目标日志数据；
所述预处理模块，用于对所述第一目标日志数据进行预处理得到多维的第二目标日志数据；
所述链路链解析模块，用于根据所述唯一标识对所述第二目标日志数据进行过滤和聚合处理得到多维的第三目标日志数据；
所述预警模块，用于根据第三目标日志数据生成预警信息发送至客户端。
在一种可能的实现方式中，所述系统还包括：
请求头，所述请求头与所述拦截器相连；
所述请求头，用于存储WEB入口模块生成的所述接口信息和所述唯一标识。
在一种可能的实现方式中，所述系统还包括：所述WEB入口模块；
所述WEB入口模块与所述请求头相连；
所述WEB入口模块，用于接收所述业务请求；
当所述WEB入口模块接收到的所述业务请求的请求字段时，所述WEB入口模块根据所述业务请求生成所述接口信息和所述唯一标识。
在一种可能的实现方式中，所述拦截器具体用于：
当所述WEB入口模块没有接收到所述业务请求的请求字段时，根据所述业务请求生成所述唯一标识。
在一种可能的实现方式中，所述预处理模块包括：时序数据分类器和时间转换模块；
所述时序数据分类器分别与所述日志生成模块和所述时间转换模块相连；
所述时序数据分类器，用于利用卷积神经网络对所述第一目标日志数据以预设类别进行分类得到多维的分类日志数据；
所述时间转换模块，用于将所述分类日志数据进行时间格式化和粒度统一从而得到第二目标日志数据。
在一种可能的实现方式中，所述预设类别包括：平稳型、周期型以及无规律波动型。
在一种可能的实现方式中，所述系统还包括：图谱生成模块；
所述图谱生成模块与所述链路链解析模块相连；
所述图谱生成模块，用于将各个第三目标日志数据按照请求顺序进行连接从而得到业务请求调用知识图谱。
在一种可能的实现方式中，所述预警模块包括：第一计算模块、第二计算模块、排序模块和异常输出模块；
所述第一计算模块、所述第二计算模块、所述排序模块和所述异常输出模块依次相连；
所述第一计算模块，用于利用动态时间规整算法计算预设时间段内第三目标日志数据对应的历史日志数据与各个第三目标日志数据之间的欧氏距离；
所述第二计算模块，用于利用孤立森林算法对各个欧氏距离进行计算，从而选取出其中的异常欧氏距离；
所述排序模块，用于将各个异常欧氏距离按照其发生顺序进行排序，从而选取出首先发生的异常欧氏距离作为异常数据；
所述异常输出模块，用于根据所述异常数据生成预警信息发送至客户端。
在一种可能的实现方式中，所述日志生成模块包括过滤器和探针；
所述过滤器与所述探针相连；
所述过滤器，用于将所述业务请求的接口信息和唯一标识以及所述业务请求时耗输出到相应的日志文件中得到多个目标日志文件，并将所述目标日志文件以预设格式上传到日志系统中作为日志数据；
所述探针，用于收集所述日志系统中的实时日志数据以及运维中心中与所述实时日志数据对应的实时网络数据、实时中间件信息、实时服务器监控数据以及唯一标识作为第一目标日志数据。
相较于现有技术，本申请具有以下有益效果：
本申请提供一种全链路故障的定位系统，首先可以利用拦截器获取业务请求的接口信息、URI信息以及唯一标识或生成URI信息和唯一标识，并计算业务请求时耗，业务请求时耗为所述业务请求从请求开始到请求完成所用的时间，再利用日志生成模块根据业务请求的接口信息、URI信息、唯一标识以及业务请求时耗生成第一目标日志数据，第一目标日志数据包括唯一标识。接着，利用预处理模块对第一目标日志数据进行预处理得到多维的第二目标日志数据。最后，通过链路链解析模块根据唯一标识对第二目标日志数据进行过滤和聚合处理得到多维的第三目标日志数据，预警模块再根据第三目标日志数据生成预警信息发送至客户端。因此，本申请可以通过拦截器获取业务请求的唯一标识或自生成业务请求的唯一标识，通过日志生成模块和预处理模块可以得到多维的第二目标日志数据，利用链路链解析模块根据唯一标识和第二目标日志数据得到多维的第三目标日志数据，以使预警模块根据第三目标日志数据生成预警信息发送至客户端，以此实现了全链路业务请求详细轨迹信息的追踪。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种全链路故障的定位系统结构示意图；
图2为本申请实施例提供的一种日志生成模块的结构示意图；
图3为本申请实施例提供的一种预处理模块的结构示意图；
图4为本申请实施例提供的另一种全链路故障的定位系统结构示意图；
图5为本申请实施例提供的另一种全链路故障的定位系统结构示意图；
图6为本申请实施例提供的另一种全链路故障的定位系统结构示意图；
图7为本申请实施例提供的一种预警模块的结构示意图；
图8为本申请实施例提供的一种预警信息示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
当公司业务发展到一定量级，将会面对大量服务器、JAVA应用，复杂的网络架构，高可用的中间件系统以及高性能的数据库系统，无论是日常、节假日还是活动期间，当线上业务出现故障时，很难排查、定位，在网络、服务器、应用服务、中间件及数据库层都可能导致业务故障，我们需要知道业务调用关系及时间顺序，以便于在每个层级按照同一间隔的时间维度内进行异常点检测，传统的知识图谱是由人工梳理、维护的，很难做到准确及细粒度维护，同时，也很难做到动态更新。
全链路：一个业务请求经过的所有网关、应用、中间件及数据库的有序串联集合。
为了解决这一问题，在本申请实施例提供了一种全链路故障的定位系统，先利用拦截器获取业务请求的接口信息、URI信息以及唯一标识或生成URI信息和唯一标识，并计算业务请求时耗，业务请求时耗为业务请求从请求开始到请求完成所用的时间，再利用日志生成模块根据业务请求的接口信息、URI信息、唯一标识以及业务请求时耗生成第一目标日志数据。然后通过日志生成模块根据业务请求的接口信息、URI信息、唯一标识以及业务请求时耗生成第一目标日志数据，第一目标日志数据包括唯一标识，再利用预处理模块对第一目标日志数据进行预处理得到多维的第二目标日志数据。最后通过链路链解析模块根据唯一标识对第二目标日志数据进行过滤和聚合处理得到多维的第三目标日志数据，并利用预警模块根据第三目标日志数据生成预警信息发送至客户端。因此，因此，本申请可以通过拦截器获取业务请求的唯一标识或自生成业务请求的唯一标识，通过日志生成模块和预处理模块可以得到多维的第二目标日志数据，利用链路链解析模块根据唯一标识和第二目标日志数据得到多维的第三目标日志数据，以使预警模块根据第三目标日志数据生成预警信息发送至客户端，以此实现了全链路业务请求详细轨迹信息的追踪。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例提供的一种全链路故障的定位系统的结构图。如图1所示该定位系统包括拦截器100、日志生成模块110、预处理模块120以及链路链解析模块130。拦截器100、日志生成模块110、预处理模块120、所述链路链解析模块130以及预警模块140依次相连。
拦截器100，用于获取业务请求的接口信息、URI信息以及唯一标识或生成唯一标识，并计算业务请求时耗，所述业务请求时耗为所述业务请求从请求开始到请求完成所用的时间。
其中，在收银台端口的业务请求可以是：路由查询、个人或企业网银、企业银行-招行云账单、快捷支付、月支付、虚拟卡支付、资产抵扣以及数币支付。在实时代扣端口的业务请求可以是：实时代扣（电e宝）、实时代扣（微信）。在数字人民币端口的业务请求可以是：Pos机硬钱包查看、App子钱包代扣签约等。
可以理解的是，拦截器100是用于开发者可以定义在一个动作执行的前后进行执行的代码。
在一种可能的实现方式中，业务请求的接口信息是指接口的方法名。业务请求的URI信息可以由三部分组成：资源类型、存放资源的主机域名、资源文件名，也可认为由4部分组成：协议、主机、端口、路径。业务请求的唯一标识是指封装了URI信息的业务的标识号码用于表示该业务的唯一的标志。
在一种可能的实现方式中，业务请求时耗可以是但不限于是拦截器100根据请求的接口信息、数据进入和返回时间计算得到的。
在一种可能的实现方式中，拦截器100可以是但不限于spring拦截器，spring拦截器是Java平台的一个开源的全栈（full-stack）应用程序框架和控制反转容器。
日志生成模块110，用于根据所述业务请求的接口信息、URI信息、唯一标识以及所述业务请求时耗生成第一目标日志数据。
图2为本申请实施例提供的一种日志生成模块的结构示意图，如图3所示，日志生成模块110包括过滤器111和探针112；
所述过滤器111与所述探针112相连；
所述过滤器111，用于将所述业务请求的接口信息、唯一标识以及所述业务请求时耗输出到相应的日志文件中得到多个目标日志文件，并将所述目标日志文件以预设格式上传到日志系统中作为日志数据。
其中，日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。日志系统是一种记录和收集相应信息、任务和事件的系统。日志系统收集了计算机网络上每一次指令和操作的相关历史信息，也被称作日志管理系统或事件记录系统。日志系统可以把系统中所有发生的活动都记录下来，像是硬件和软件的操作，网络的运行活动，用户的操作等等。日志系统保存的信息可以通过过滤条件来检索出相应的记录，实现审计和异常分析。
在一种可能的实现方式中，预设格式可以是但不限于JSON(Java Script ObjectNotation，JS对象简谱)格式。JSON格式是一种轻量级的数据交换格式。JSON格式ECMAScript（欧洲计算机协会制定的js规范）的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。
所述探针112，用于收集所述日志系统中的实时日志数据以及运维中心中与所述实时日志数据对应的实时网络数据、实时中间件信息、实时服务器监控数据以及唯一标识作为第一目标日志数据。
探针是一种信号传输探测工具，主要用来收集网络、应用、中间件等系统的监控数据，以便对业务的运行情况进行监控。
在一种可能的实现方式中，实时网络数据是指实时的硬件服务器的网卡信息以及路由器交换机等的网络信息。实时中间件信息是指通过第三方支撑介质为应用提供的实时注册信息和实时缓存数据。实时服务器监控数据是指服务器的磁盘、内存、CPU等信息。唯一标识是指当前封装了URI信息的用于表示该业务的唯一的标志。
所述预处理模块120，用于对所述第一目标日志数据进行预处理得到多维的第二目标日志数据。
图3为本申请实施例提供的一种预处理模块的结构示意图，如图3所示，预处理模块120包括时序数据分类器121和时间转换模块122；
所述时序数据分类器121分别与所述日志生成模块110和所述时间转换模块122相连；
所述时序数据分类器121，用于利用卷积神经网络对所述格式化目标日志数据以预设类别进行分类得到多维的分类日志数据。
其中，卷积神经网络（Convolutional Neural Networks，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deeplearning）的代表算法之一 。
在一种可能的实现方式中，预设类别包括：平稳型、周期型以及无规律波动型。
所述时间转换模块122，用于将所述分类日志数据进行时间格式化和粒度统一从而得到第二目标日志数据。
可以理解的是，进行时间格式化就是将分类日志数据的请求时间以年、月、日、小时、分钟、秒钟的格式进行显示。粒度统一就是将各个分类日志数据的请求时间统一到同一粒度下，例如，业务层和应用层是以1分钟为粒度，而网络层是以5分钟为粒度，那么就可以将业务层、应用层和网络层统一成以1分钟为粒度。
在一种可能的实现方式中，时间转换模块121是使用python开发的。
所述链路链解析模块130，用于根据所述唯一标识对所述第二目标日志数据进行过滤和聚合处理得到多维的第三目标日志数据，并将各个第三目标日志数据按照请求顺序进行连接从而得到业务请求调用知识图谱。
图4为本申请实施例提供的又一种全链路故障的定位系统结构示意图，如图4所示，所述全链路故障的定位系统还包括：请求头150，所述请求头150与所述拦截器100相连。
所述请求头150，用于存储WEB入口模块生成的所述接口信息、所述URI信息以及所述唯一标识。
在一种可能的实现方式中，请求头150由四部分组成：首行、header（头）、空行、body(存放url参数)。首行：传参方法(GET或POST)+url+版本号(例如Http1.1)。header：由多组参数（key-value）构成。空行：标志着header的结束。body：如果传参方法为GET，那么body为空，如果为POST那么传送的参数都在body中。
图5为本申请实施例提供的另一种全链路故障的定位系统结构示意图，如图5所示，所述全链路故障的定位系统还包括：所述WEB入口模块160；所述WEB入口模块160与所述请求头150相连。
所述WEB入口模块160，用于接收所述业务请求。
当所述WEB入口模块接收到的所述业务请求的请求字段时，所述WEB入口模块160根据所述业务请求生成所述接口信息、所述URI信息以及所述唯一标识。
其中，WEB入口模块160利用nginx $request_id模块自动生成原始请求唯一标识，lua将原始请求标识添加URI请求信息封装成业务请求的唯一标识放置请求头150，供拦截器100获取。请求字段可以是但不限于由NGINX服务器生成的$request_id字段。
在一种可能的实现方式中，当所述WEB入口模块160没有接收到所述业务请求的请求字段时，拦截器100根据业务请求生成所述唯一标识。
图6为本申请实施例提供的另一种全链路故障的定位系统结构示意图，如图6所示，所述全链路故障的定位系统还包括：图谱生成模块170；所述预警模块与所述链路链解析模块相连。
所述图谱生成模块170，用于将各个第三目标日志数据按照请求顺序进行连接从而得到业务请求调用知识图谱。
业务请求调用知识图谱可以准确规范地显示业务全链路图谱。
图7为本申请实施例提供的一种预警模块的结构示意图，如图7所示，所述全链路故障的定位系统还包括：所述预警模块140包括：第一计算模块141、第二计算模块142、排序模块143和异常输出模块144；第一计算模块141、第二计算模块142、排序模块143和异常输出模块144依次相连。
所述第一计算模块141，用于利用动态时间规整算法计算预设时间段内第三目标日志数据对应的历史日志数据与各个第三目标日志数据之间的欧氏距离。
其中，动态时间规整算法（Dynamic Time Warping，DTW）是一种衡量两个长度不同的时间序列的相似度的方法。
欧氏距离（Euclid Distance）也称欧几里得度量欧几里得距离是一个通常采用的距离定义它是在m维空间中两个点之间的真实距离在二维空间中的欧氏距离就是两点之间的直线段距离。
在一种可能的实现方式中，预设时间段可以是但不限于7天。
所述第二计算模块142，用于利用孤立森林算法对各个欧氏距离进行计算，从而选取出其中的异常欧氏距离。
其中，孤立森林算法（Isolation Forest）是一种适用于连续数据的无监督异常检测方法。
所述排序模块143，用于将各个异常欧氏距离按照其发生顺序进行排序，从而选取出首先发生的异常欧氏距离作为异常数据。
所述异常输出模块144，用于根据所述异常数据生成预警信息发送至客户端。
在一种可能的实现方式中，预警信息可以包括但不限于预警标题、预警等级、预警数量、预警应用、预警阈值、预警关键字、预警备注、预警时间等（如图8所示，图8为本申请实施例提供的一种预警信息示意图）。
本申请实施例提供了一种全链路故障的定位系统，包括拦截器100、日志生成模块110、预处理模块120以及链路链解析模块130，所述拦截器100、所述日志生成模块110、所述预处理模块120以及所述链路链解析模块130依次相连。在所述拦截器100获取到业务请求的接口信息、URI信息以及唯一标识或生成URI信息和唯一标识，并计算业务请求时耗之后，所述日志生成模块110根据所述业务请求的接口信息、URI信息、唯一标识以及所述业务请求时耗生成第一目标日志数据，所述业务请求时耗为所述业务请求从请求开始到请求完成所用的时间。接着，所述预处理模块120对所述第一目标日志数据进行预处理得到多维的第二目标日志数据，链路链解析模块130根据所述唯一标识对所述第二目标日志数据进行过滤和聚合处理得到多维的第三目标日志数据，并利用预警模块140根据第三目标日志数据生成预警信息发送至客户端。本申请可以通过拦截器获取业务请求的唯一标识或自生成业务请求的唯一标识，通过日志生成模块和预处理模块可以得到多维的第二目标日志数据，利用链路链解析模块根据唯一标识和第二目标日志数据得到多维的第三目标日志数据，以使预警模块根据第三目标日志数据生成预警信息发送至客户端，以此实现了全链路业务请求详细轨迹信息的追踪。
以上对本申请所提供的一种全链路故障的定位系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种全链路故障的定位系统，其特征在于，所述系统包括：拦截器、日志生成模块、预处理模块、链路链解析模块以及预警模块；
所述拦截器、所述日志生成模块、所述预处理模块、链路链解析模块以及预警模块依次相连；
所述拦截器，用于获取业务请求的接口信息和唯一标识或生成唯一标识，并计算业务请求时耗；所述业务请求时耗为所述业务请求从请求开始到请求完成所用的时间；所述唯一标识包括请求字符串和业务请求的URI信息；
所述日志生成模块，用于根据所述业务请求的接口信息、唯一标识以及所述业务请求时耗生成第一目标日志数据；
所述预处理模块，用于对所述第一目标日志数据进行预处理得到多维的第二目标日志数据；
所述链路链解析模块，用于根据所述唯一标识对所述第二目标日志数据进行过滤和聚合处理得到多维的第三目标日志数据；
所述预警模块，用于根据第三目标日志数据生成预警信息发送至客户端；
所述预处理模块包括：时序数据分类器和时间转换模块；
所述时序数据分类器分别与所述日志生成模块和所述时间转换模块相连；
所述时序数据分类器，用于利用卷积神经网络对所述第一目标日志数据以预设类别进行分类得到多维的分类日志数据；
所述时间转换模块，用于将所述分类日志数据进行时间格式化和粒度统一从而得到第二目标日志数据。
2.根据权利要求1所述的全链路故障的定位系统，其特征在于，所述系统还包括：
请求头，所述请求头与所述拦截器相连；
所述请求头，用于存储WEB入口模块生成的所述接口信息和所述唯一标识。
3.根据权利要求2所述的全链路故障的定位系统，其特征在于，所述系统还包括：所述WEB入口模块；
所述WEB入口模块与所述请求头相连；
所述WEB入口模块，用于接收所述业务请求；
当所述WEB入口模块接收到的所述业务请求的请求字段时，所述WEB入口模块根据所述业务请求生成所述接口信息和所述唯一标识。
4.根据权利要求3所述的全链路故障的定位系统，其特征在于，所述拦截器具体用于：
当所述WEB入口模块没有接收到所述业务请求的请求字段时，根据所述业务请求生成所述唯一标识。
5.根据权利要求1所述的全链路故障的定位系统，其特征在于，所述预设类别包括：平稳型、周期型以及无规律波动型。
6.根据权利要求1所述的全链路故障的定位系统，其特征在于，所述系统还包括：图谱生成模块；
所述图谱生成模块与所述链路链解析模块相连；
所述图谱生成模块，用于将各个第三目标日志数据按照请求顺序进行连接从而得到业务请求调用知识图谱。
7.根据权利要求1所述的全链路故障的定位系统，其特征在于，所述预警模块包括：第一计算模块、第二计算模块、排序模块和异常输出模块；
所述第一计算模块、所述第二计算模块、所述排序模块和所述异常输出模块依次相连；
所述第一计算模块，用于利用动态时间规整算法计算预设时间段内第三目标日志数据对应的历史日志数据与各个第三目标日志数据之间的欧氏距离；
所述第二计算模块，用于利用孤立森林算法对各个欧氏距离进行计算，从而选取出其中的异常欧氏距离；
所述排序模块，用于将各个异常欧氏距离按照其发生顺序进行排序，从而选取出首先发生的异常欧氏距离作为异常数据；
所述异常输出模块，用于根据所述异常数据生成预警信息发送至客户端。
8.根据权利要求1所述的全链路故障的定位系统，其特征在于，所述日志生成模块包括过滤器和探针；
所述过滤器与所述探针相连；
所述过滤器，用于将所述业务请求的接口信息和唯一标识以及所述业务请求时耗输出到相应的日志文件中得到多个目标日志文件，并将所述目标日志文件以预设格式上传到日志系统中作为日志数据；
所述探针，用于收集所述日志系统中的实时日志数据以及运维中心中与所述实时日志数据对应的实时网络数据、实时中间件信息、实时服务器监控数据以及唯一标识作为第一目标日志数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310623807.XA CN116346590B (zh) | 2023-05-30 | 2023-05-30 | 一种全链路故障的定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310623807.XA CN116346590B (zh) | 2023-05-30 | 2023-05-30 | 一种全链路故障的定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116346590A CN116346590A (zh) | 2023-06-27 |
| CN116346590B true CN116346590B (zh) | 2023-07-25 |
Family
ID=86882677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310623807.XA Active CN116346590B (zh) | 2023-05-30 | 2023-05-30 | 一种全链路故障的定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116346590B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653444A (zh) * | 2015-12-23 | 2016-06-08 | 北京大学 | 基于互联网日志数据的软件缺陷故障识别方法和系统 |
| CN110995468A (zh) * | 2019-11-13 | 2020-04-10 | 上海钧正网络科技有限公司 | 待分析系统的系统故障处理方法、装置、设备和存储介质 |
| CN111984499A (zh) * | 2020-08-04 | 2020-11-24 | 中国建设银行股份有限公司 | 一种大数据集群的故障检测方法和装置 |
| CN112491611A (zh) * | 2020-11-25 | 2021-03-12 | 网银在线（北京）科技有限公司 | 故障定位系统、方法、装置、电子设备和计算机可读介质 |
| CN113067717A (zh) * | 2020-12-21 | 2021-07-02 | 开鑫金服(南京)信息服务有限公司 | 网络请求日志链式跟踪方法、全链路调用监控系统和介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019060327A1 (en) * | 2017-09-20 | 2019-03-28 | University Of Utah Research Foundation | ONLINE DETECTION OF ANOMALIES IN A NEWSPAPER USING AUTOMATIC APPRENTICESHIP |
| CN110958136A (zh) * | 2019-11-11 | 2020-04-03 | 国网山东省电力公司信息通信公司 | 一种基于深度学习的日志分析预警方法 |
| CN111162949A (zh) * | 2019-12-31 | 2020-05-15 | 国网山西省电力公司信息通信分公司 | 一种基于Java字节码嵌入技术的接口监测方法 |
| CN112182219A (zh) * | 2020-10-09 | 2021-01-05 | 杭州电子科技大学 | 一种基于日志语义分析的在线服务异常检测方法 |
| CN115114126A (zh) * | 2021-03-19 | 2022-09-27 | 伊姆西Ip控股有限责任公司 | 获取层级化数据结构以及处理日志条目方法和电子设备 |
| CN115794548A (zh) * | 2022-11-17 | 2023-03-14 | 中国建设银行股份有限公司 | 日志异常的检测方法及装置 |
| CN115858226A (zh) * | 2022-12-27 | 2023-03-28 | 网思科技股份有限公司 | 基于人工智能的智能运维系统 |
-
2023
- 2023-05-30 CN CN202310623807.XA patent/CN116346590B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653444A (zh) * | 2015-12-23 | 2016-06-08 | 北京大学 | 基于互联网日志数据的软件缺陷故障识别方法和系统 |
| CN110995468A (zh) * | 2019-11-13 | 2020-04-10 | 上海钧正网络科技有限公司 | 待分析系统的系统故障处理方法、装置、设备和存储介质 |
| CN111984499A (zh) * | 2020-08-04 | 2020-11-24 | 中国建设银行股份有限公司 | 一种大数据集群的故障检测方法和装置 |
| CN112491611A (zh) * | 2020-11-25 | 2021-03-12 | 网银在线（北京）科技有限公司 | 故障定位系统、方法、装置、电子设备和计算机可读介质 |
| CN113067717A (zh) * | 2020-12-21 | 2021-07-02 | 开鑫金服(南京)信息服务有限公司 | 网络请求日志链式跟踪方法、全链路调用监控系统和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116346590A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11631014B2 (en) | Computer-based systems configured for detecting, classifying, and visualizing events in large-scale, multivariate and multidimensional datasets and methods of use thereof | |
| US20170109676A1 (en) | Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process | |
| US20170109668A1 (en) | Model for Linking Between Nonconsecutively Performed Steps in a Business Process | |
| US11372896B2 (en) | Method and apparatus for grouping data records | |
| CN111915366B (zh) | 一种用户画像构建方法、装置、计算机设备及存储介质 | |
| US9613112B2 (en) | Structuring data | |
| US9665403B2 (en) | Executing algorithms in parallel | |
| CN111178456A (zh) | 异常指标检测方法、装置、计算机设备和存储介质 | |
| US20170109667A1 (en) | Automaton-Based Identification of Executions of a Business Process | |
| US20230267269A1 (en) | Rules/model-based data processing system for intelligent event prediction in an electronic data interchange system | |
| US11436473B2 (en) | System and method for detecting anomalies utilizing a plurality of neural network models | |
| US20170109638A1 (en) | Ensemble-Based Identification of Executions of a Business Process | |
| US11055631B2 (en) | Automated meta parameter search for invariant based anomaly detectors in log analytics | |
| US20170109640A1 (en) | Generation of Candidate Sequences Using Crowd-Based Seeds of Commonly-Performed Steps of a Business Process | |
| Cai et al. | A real-time trace-level root-cause diagnosis system in alibaba datacenters | |
| CN118037469B (zh) | 基于大数据的财务管理系统 | |
| CN117407256A (zh) | 一种基于图注意力网络的微服务异常检测方法和装置 | |
| CN116346590B (zh) | 一种全链路故障的定位系统 | |
| CN117172721A (zh) | 用于融资业务的数据流转监管预警方法及系统 | |
| US20230066770A1 (en) | Cross-channel actionable insights | |
| CN113569879B (zh) | 异常识别模型的训练方法、异常账号识别方法及相关装置 | |
| Sun et al. | An artificial intelligence-based real-time monitoring framework for time series | |
| CN118568625A (zh) | 一种应用于审计系统的监控装置及方法 | |
| Wang | Design of Visual Log Analysis System | |
| El Abdelkhalki et al. | Smart Incident Management, Prediction Engine and Performance Enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |