CN115757303B - 分布式系统中的指标追踪方法及装置 - Google Patents
分布式系统中的指标追踪方法及装置 Download PDFInfo
- Publication number
- CN115757303B CN115757303B CN202211423760.4A CN202211423760A CN115757303B CN 115757303 B CN115757303 B CN 115757303B CN 202211423760 A CN202211423760 A CN 202211423760A CN 115757303 B CN115757303 B CN 115757303B
- Authority
- CN
- China
- Prior art keywords
- subsystem
- target
- service flow
- association
- ttm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 101001042119 Lumbricus terrestris Chymotrypsin inhibitor Proteins 0.000 claims description 48
- 238000004891 communication Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101100101156 Caenorhabditis elegans ttm-1 gene Proteins 0.000 description 1
- 101100101158 Caenorhabditis elegans ttm-2 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种分布式系统中的指标追踪方法及装置。涉及计算机技术领域。该方法包括:预先确定多个所述子系统之间的关联关系,所述关联关系包括通过日志和流量进行关联;基于所述关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪。以此可以实现没有全局令牌的系统之间的有效追踪,降低了业务复杂度。
Description
技术领域
本发明涉及计算机技术领域,尤其是涉及一种分布式系统中的指标追踪方法及装置。
背景技术
AIOps(即人工智能IT运营)中,业务链路追踪是重要的功能。以Google的Dapper系统为代表的分布式追踪系统,能够实现不同子系统中,某一个指标在子系统中运行情况的追踪。
目前已经通过业务信息和流量数据共同分析,创建基于业务视角下系统根因定位系统。
此种方案,需要有全局流水号做为唯一串链令牌,否则无法匹配。
发明内容
本发明的目的在于提供一种分布式系统中的指标追踪方法及装置,以缓解了现有技术中存在的没有全局令牌无法匹配的技术问题。
第一方面,本发明提供一种分布式系统中的指标追踪方法,应用于分布式系统,该分布式系统包括多个子系统,所述方法包括:
预先确定多个所述子系统之间的关联关系,所述关联关系包括通过日志和流量进行关联;
基于所述关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;
在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪。
在可选的实施方式中,多个所述子系统包括第一子系统、第二子系统以及第三子系统,所述第一子系统的业务流与所述第二子系统的业务流之间存在关键值关联信息,所述第二子系统与所述第三子系统的业务流之间未存在关键值关联信息,所述第二子系统与所述第三子系统的业务之间存在日志关联信息;所述目标链路包括所述第一子系统与所述第二子系统之间的链路,以及所述第二子系统与所述第三子系统之间的链路;所述目标日志源包括所述第三子系统的日志源,所述目标业务流包括第一子系统业务流,第二子系统业务流以及第三子系统业务流。
在可选的实施方式中,在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪,包括:
在所述第一子系统与所述第二子系统的链路之间,对所述第一子系统的业务流以及所述第二子系统的业务流进行监听,并在所述第一子系统与所述第二子系统之间通过业务流之间的关联信息进行指标追踪;
在所述第二子系统与所述第三子系统的链路之间,对所述第二子系统的业务流进行监听,以及对所述第三子系统的业务流和日志源进行监听,并在所述第二子系统与所述第三子系统之间通过业务流与日志源之间的关联信息进行指标追踪。
在可选的实施方式中,业务流包括系统检测信息TTM,日志源包括上下文信息LTCI,所述LTCI为对日志信息基于预先配置的匹配规则处理生成的上下文信息。
在可选的实施方式中,所述在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪,包括:
获取从目标日志源监听到的待处理的LTCI,从目标业务流中监听到的待处理的TTM;
将所述待处理的LTCI以及所述待处理的TTM放入所述目标链路对应的缓存池中,其中,一个或多个目标链路对应一个缓存池;
在缓存池中对所述待处理的LTCI或者所述待处理的TTM进行匹配,如果匹配成功,则创建串链令牌,清除缓存池中的LTCI和TTM,并将TTM发送到串链模块,进行串链。
在可选的实施方式中,多个所述子系统之间的关联关系包括多个所述子系统中的业务信息或者日志信息中的标识信息之间的关联关系,所述标识信息包括业务流标识、身份标识、业务流标识的一部分或者身份标识的一部中的一项或多项。
在可选的实施方式中,所述指标追踪包括关联业务请求。
第二方面,本发明提供一种分布式系统中的指标追踪装置,应用于分布式系统,该分布式系统包括多个子系统,所述装置包括:
确定模块,用于预先确定多个所述子系统之间的关联关系,所述关联关系包括通过日志和流量进行关联;
配置模块,用于基于所述关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;
追踪模块,用于在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪。
在可选的实施方式中,多个所述子系统包括第一子系统、第二子系统以及第三子系统,所述第一子系统的业务流与所述第二子系统的业务流之间存在关键值关联信息,所述第二子系统与所述第三子系统的业务流之间未存在关键值关联信息,所述第二子系统与所述第三子系统的业务之间存在日志关联信息;所述目标链路包括所述第一子系统与所述第二子系统之间的链路,以及所述第二子系统与所述第三子系统之间的链路;所述目标日志源包括所述第三子系统的日志源,所述目标业务流包括第一子系统业务流,第二子系统业务流以及第三子系统业务流。
在可选的实施方式中,所述追踪模块具体用于:
在所述第一子系统与所述第二子系统的链路之间,对所述第一子系统的业务流以及所述第二子系统的业务流进行监听,并在所述第一子系统与所述第二子系统之间通过业务流之间的关联信息进行指标追踪;
在所述第二子系统与所述第三子系统的链路之间,对所述第二子系统的业务流进行监听,以及对所述第三子系统的业务流和日志源进行监听,并在所述第二子系统与所述第三子系统之间通过业务流与日志源之间的关联信息进行指标追踪。
在可选的实施方式中,业务流包括系统检测信息TTM,日志源包括上下文信息LTCI,所述LTCI为对日志信息基于预先配置的匹配规则处理生成的上下文信息。
在可选的实施方式中,所述追踪模块具体用于:
获取从目标日志源监听到的待处理的LTCI,从目标业务流中监听到的待处理的TTM;
将所述待处理的LTCI以及所述待处理的TTM放入所述目标链路对应的缓存池中,其中,一个或多个目标链路对应一个缓存池;
在缓存池中对所述待处理的LTCI或者所述待处理的TTM进行匹配,如果匹配成功,则创建串链令牌,清除缓存池中的LTCI和TTM,并将TTM发送到串链模块,进行串链。
在可选的实施方式中,多个所述子系统之间的关联关系包括多个所述子系统中的业务信息或者日志信息中的标识信息之间的关联关系,所述标识信息包括业务流标识、身份标识、业务流标识的一部分或者身份标识的一部中的一项或多项。
在可选的实施方式中,所述指标追踪包括关联业务请求。
第三方面,本发明提供一种电子设备,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存储的程序时,实现前述实施方式任一所述的方法步骤。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现前述实施方式任一所述的方法步骤。
本发明提供的一种分布式系统中的指标追踪方法及装置。通过预先确定多个所述子系统之间的关联关系,所述关联关系包括通过日志和流量进行关联;基于所述关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪。以此可以实现没有全局令牌的系统之间的有效追踪,降低了业务复杂度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式系统中的指标追踪方法流程示意图;
图2为本申请实施例提供的另一种分布式系统中的指标追踪方法流程示意图;
图3为本申请实施例提供的另一种分布式系统中的指标追踪方法流程示意图;
图4为本申请实施例提供的一种分布式系统中的指标追踪方法的一个示例;
图5为本申请实施例提供的一种分布式系统中的指标追踪方法的另一个示例;
图6为本申请实施例提供的一种分布式系统中的指标追踪装置结构示意图;
图7为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为本申请实施例提供的一种分布式系统中的指标追踪方法流程示意图。该方法应用于分布式系统,该分布式系统包括多个子系统,作为一个示例,如图4所示,该分布式系统的子系统可以包括系统A、系统B以及系统C,该各个子系统均为业务系统。如图1所示,该方法可以包括如下步骤:
S110,预先确定多个子系统之间的关联关系,关联关系包括通过日志和流量进行关联;
S120,基于关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;
该多个子系统可以包括第一子系统、第二子系统以及第三子系统,第一子系统的业务流与第二子系统的业务流之间存在关键值关联信息,第二子系统与第三子系统的业务流之间未存在关键值关联信息,第二子系统与第三子系统的业务之间存在日志关联信。
目标链路包括第一子系统与第二子系统之间的链路,以及第二子系统与第三子系统之间的链路;目标日志源包括第三子系统的日志源,目标业务流包括所述目标业务流包括第一子系统业务流,第二子系统业务流以及第三子系统业务流。
S130,在目标链路中对目标日志源以及目标业务流进行监听,并进行指标追踪。
本申请实施例用于业务链路追踪过程中,将本系统监测的数据流和业务子系统的日志数据关联分析,实现了在复杂的业务场景中,不同子系统,相关性低或无法直接关联的业务场景,通过日志和流量分析创建关联的功能。
如图2所示,上述步骤S130具体可以包括:
S210,在第一子系统与第二子系统的链路之间,对第一子系统的业务流以及第二子系统的业务流进行监听,并在第一子系统与第二子系统之间通过业务流之间的关联信息进行指标追踪;
S220,在第二子系统与第三子系统的链路之间,对第二子系统的业务流进行监听,以及对第三子系统的业务流和日志源进行监听,并在第二子系统与第三子系统之间通过业务流与日志源之间的关联信息进行指标追踪。
在一些实施例中,业务流包括系统检测信息TTM,日志源包括上下文信息LTCI,LTCI为对日志信息基于预先配置的匹配规则处理生成的上下文信息。
在一些实施例中,如图3所示,上述步骤S130具体可以包括:
S310,获取从目标日志源监听到的待处理的LTCI,从目标业务流中监听到的待处理的TTM;
S320,将待处理的LTCI以及待处理的TTM放入目标链路对应的缓存池中,其中,一个或多个目标链路对应一个缓存池;
S330,在缓存池中对待处理的LTCI或者待处理的TTM进行匹配,如果匹配成功,则创建串链令牌,清除缓存池中的LTCI和TTM,并将TTM发送到串链模块,进行串链。
在一些实施例中,该多个子系统之间的关联关系包括多个子系统中的业务信息或者日志信息中的标识信息之间的关联关系,标识信息包括业务流标识、身份标识、业务流标识的一部分或者身份标识的一部中的一项或多项。
在一些实施例中,该指标追踪包括关联业务请求。
作为一个示例,可以将子系统的日志信息和流数据放在一起分析,通过抓取日志中的有效信息,匹配原来无法关联的两个子系统业务请求,解决更复杂系统下业务链路检测,根因追踪难度大的问题。
其中,通过日志分析系统,将日志信息,按照业务配置好的匹配规则,处理成上下文信息(log-ttm-context-info,LTCI),发送到kafka(发布订阅消息系统)中。
同时,普通的系统检测信息(TTM),也会进入到kafka中,此时,全链路系统将会获取到两个渠道推送的消息(LTCI,TTM)。
传统TTM进行链路匹配时通过全局唯一key匹配,本发明中LTCI中包含了key1(ttm1),key2(ttm2)内容,实现了非全局唯一key情况下,业务信息串链的功能。
例如,参见图4所示,该第一子系统可以为系统A,该第二子系统可以为系统C,该第三子系统可以为系统B。其中系统A和系统C之间存在关键值关联信息,也存在日志关联信;系统B和系统C之间未存在关键值关联信息,但存在日志关联信。
核心流程可以包括如下步骤:
步骤1),配置要监听的日志源;
如图4所示,该要监听的日志源为系统B的日志源;
此时,需要监听系统A的业务流TTM-A(包括的令牌关键字为后向交易ID),系统B的业务流TTM-B(包括的令牌关键字为前向交易ID)以及系统C的业务流TTM-C(包括的令牌关键字为前向交易ID),还需要监听系统B的日志源LTCI(流水ID或部分流水ID)。
步骤2),配置链路;
例如,如图4所示,系统A和系统C之间存在链路关系,系统C和系统B之间存在链路关系。
步骤3),配置日志流量关联类型的业务流的上下文规则;
例如,如图4所示,通过流水ID对交易ID进行关联。
步骤4),项目启动后,本系统将获取LTCI和TTM信息;
例如,如图4所示,TTM-A、TTM-B、TTM-C以及系统B的日志源LTCI均以消息的形式推送到Kafka流处理平台中。
其中,在链路匹配系统中可以执行以下步骤:
从kafka发布订阅消息系统中取出LTCI与TTM;
步骤5),将LTCI与TTM放入缓存池中;
步骤6),每当LTCI和TTM从消息队列进入本系统时,将遍历缓存池,找到可以匹配的资源;
步骤7),匹配成功的数据,将包含了匹配令牌的数据发送到全链路核心业务模块;匹配失败的数据,超时后也发送到全链路核心业务模块;
步骤8),全链路核心处理模块,对会根据TTM信息创建串链令牌(MatchKey),若LTCI与TTM在缓存池中已经匹配并生成了MatchKey,则直接根据令牌出串链。
例如,如图4所示,在链路匹配系统中,当接收到TTM时,可以确定是否需要日志匹配;
如果不需要日志匹配,则根据TTM在串链中心进行串链;如果需要日志匹配,则进入匹配缓存区,对TTM与LTCI进行匹配,如果匹配成功,则根据匹配成功的TTM和LTCI创建MatchKey。
在串链匹配时,如果没有MatchKey则创建TTM的MatchKey,如果对MatchKey进行匹配时,匹配成功,则继续验证完整性;如果匹配失败,则标记异常等待超时;
如果完整性验证通过则输出链路;如果不完整,则进行归因。
举例来说,对于系统A和系统C之间的链路,可以通过对监听到的TTM-A和TTM-C进行匹配得到,输出的链路可以为TTM(A->C);对于系统C和系统B之间的链路,可以通过对监听到的TTM-B、TTM-C以及系统B的日志源LTCI进行匹配得到,输出的链路可以为TTM(C->B)LTCI(C-B),最终输出TTM(A->C)TTM(C->B)LTCI(C-B)就能描述完整链路。
其中,参见图5所示,对于业务系统的数据流可以通过探针进行监听得到数据流文件,对于日志文件则可以直接获取。对于监听到的文件可以通过日志收集工具存储在kafka发布订阅消息系统中,该kafka发布订阅消息系统中即存储有数据内容也存储有匹配规则,基于kafka发布订阅消息系统中存储的内容可以生成链路、链路异常归因、超时检测以及缓存中间结果等等,对于得到链路数据等结果可以存储在kafka发布订阅消息系统以及ES-DB数据库中。
图6为本申请实施例提供的一种分布式系统中的指标追踪装置结构示意图。应用于分布式系统,该分布式系统包括多个子系统,如图6所示,该装置包括:
确定模块601,用于预先确定多个子系统之间的关联关系,关联关系包括通过日志和流量进行关联;
配置模块602,用于基于关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;
追踪模块603,用于在目标链路中对目标日志源以及目标业务流进行监听,并进行指标追踪。
在一些实施例中,多个所述子系统包括第一子系统、第二子系统以及第三子系统,所述第一子系统的业务流与所述第二子系统的业务流之间存在关键值关联信息,所述第二子系统与所述第三子系统的业务流之间未存在关键值关联信息,所述第二子系统与所述第三子系统的业务之间存在日志关联信息;所述目标链路包括所述第一子系统与所述第二子系统之间的链路,以及所述第二子系统与所述第三子系统之间的链路;所述目标日志源包括所述第三子系统的日志源,所述目标业务流包括第一子系统业务流,第二子系统业务流以及第三子系统业务流。
在一些实施例中,追踪模块具体用于:
在第一子系统与第二子系统的链路之间,对第一子系统的业务流以及第二子系统的业务流进行监听,并在第一子系统与第二子系统之间通过业务流之间的关联信息进行指标追踪;
在第二子系统与第三子系统的链路之间,对第二子系统的业务流进行监听,以及对第三子系统的业务流和日志源进行监听,并在第二子系统与第三子系统之间通过业务流与日志源之间的关联信息进行指标追踪。
在一些实施例中,业务流包括系统检测信息TTM,日志源包括上下文信息LTCI,LTCI为对日志信息基于预先配置的匹配规则处理生成的上下文信息。
在一些实施例中,追踪模块具体用于:
获取从目标日志源监听到的待处理的LTCI,从目标业务流中监听到的待处理的TTM;
将待处理的LTCI以及待处理的TTM放入目标链路对应的缓存池中,其中,一个或多个目标链路对应一个缓存池;
在缓存池中对待处理的LTCI或者待处理的TTM进行匹配,如果匹配成功,则创建串链令牌,清除缓存池中的LTCI和TTM,并将TTM发送到串链模块,进行串链。
在一些实施例中,多个子系统之间的关联关系包括多个子系统中的业务信息或者日志信息中的标识信息之间的关联关系,标识信息包括业务流标识、身份标识、业务流标识的一部分或者身份标识的一部中的一项或多项。
在一些实施例中,指标追踪包括关联业务请求。
本申请实施例还提供了一种电子设备,如图7所示,包括处理器810、通信接口820、存储器830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。
存储器830,用于存放计算机程序;
处理器810,用于执行存储器830上所存放的程序时,实现如下步骤:
预先确定多个所述子系统之间的关联关系,所述关联关系包括通过日志和流量进行关联;
基于所述关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;
在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪。
上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图2所示的实施例中的各步骤来实现,因此,本申请实施例提供的电子设备的具体工作过程和有益效果,在此不复赘述。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一的分布式系统中的指标追踪方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一的分布式系统中的指标追踪方法。
本领域内的技术人员应明白,本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此,本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样,倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内,则本申请实施例中也意图包含这些改动和变型在内。
Claims (7)
1.一种分布式系统中的指标追踪方法,其特征在于,应用于分布式系统,该分布式系统包括多个子系统,所述方法包括:
预先确定多个所述子系统之间的关联关系,所述关联关系包括通过日志和流量进行关联;
基于所述关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;
在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪;
其中,多个所述子系统包括第一子系统、第二子系统以及第三子系统,所述第一子系统的业务流与所述第二子系统的业务流之间存在关键值关联信息,所述第二子系统与所述第三子系统的业务流之间未存在关键值关联信息,所述第二子系统与所述第三子系统的业务之间存在日志关联信息;所述目标链路包括所述第一子系统与所述第二子系统之间的链路,以及所述第二子系统与所述第三子系统之间的链路;所述目标日志源包括所述第三子系统的日志源,所述目标业务流包括所述第一子系统的业务流、所述第二子系统的业务流以及第三子系统业务流;
其中,业务流包括系统检测信息TTM,日志源包括上下文信息LTCI,所述LTCI为对日志信息基于预先配置的匹配规则处理生成的上下文信息;
所述在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪,包括:
获取从目标日志源监听到的待处理的LTCI,从目标业务流中监听到的待处理的TTM;
将所述待处理的LTCI以及所述待处理的TTM放入所述目标链路对应的缓存池中,其中,一个或多个目标链路对应一个缓存池;
在缓存池中对所述待处理的LTCI或者所述待处理的TTM进行匹配,如果匹配成功,则创建串链令牌,清除缓存池中的LTCI和TTM,并将TTM发送到串链模块,进行串链。
2.根据权利要求1所述的方法,其特征在于,在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪,包括:
在所述第一子系统与所述第二子系统的链路之间,对所述第一子系统的业务流以及所述第二子系统的业务流进行监听,并在所述第一子系统与所述第二子系统之间通过业务流之间的关联信息进行指标追踪;
在所述第二子系统与所述第三子系统的链路之间,对所述第二子系统的业务流进行监听,以及所述第三子系统的业务流和日志源进行监听,并在所述第二子系统与所述第三子系统之间通过业务流与日志源之间的关联信息进行指标追踪。
3.根据权利要求1所述的方法,其特征在于,多个所述子系统之间的关联关系包括多个所述子系统中的业务信息或者日志信息中的标识信息之间的关联关系,所述标识信息包括业务流标识、身份标识、业务流标识的一部分或者身份标识的一部中的一项或多项。
4.根据权利要求1所述的方法,其特征在于,所述指标追踪包括关联业务请求。
5.一种分布式系统中的指标追踪装置,其特征在于,应用于分布式系统,该分布式系统包括多个子系统,所述装置包括:
确定模块,用于预先确定多个所述子系统之间的关联关系,所述关联关系包括通过日志和流量进行关联;
配置模块,用于基于所述关联关系进行监听配置,配置需要监听的目标日志源、目标链路以及目标业务流;
追踪模块,用于在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪;
其中,多个所述子系统包括第一子系统、第二子系统以及第三子系统,所述第一子系统的业务流与所述第二子系统的业务流之间存在关键值关联信息,所述第二子系统与所述第三子系统的业务流之间未存在关键值关联信息,所述第二子系统与所述第三子系统的业务之间存在日志关联信息;所述目标链路包括所述第一子系统与所述第二子系统之间的链路,以及所述第二子系统与所述第三子系统之间的链路;所述目标日志源包括所述第三子系统的日志源,所述目标业务流包括所述第一子系统的业务流、所述第二子系统的业务流以及第三子系统业务流;
其中,业务流包括系统检测信息TTM,日志源包括上下文信息LTCI,所述LTCI为对日志信息基于预先配置的匹配规则处理生成的上下文信息;
所述在所述目标链路中对所述目标日志源以及所述目标业务流进行监听,并进行指标追踪,包括:
获取从目标日志源监听到的待处理的LTCI,从目标业务流中监听到的待处理的TTM;
将所述待处理的LTCI以及所述待处理的TTM放入所述目标链路对应的缓存池中,其中,一个或多个目标链路对应一个缓存池;
在缓存池中对所述待处理的LTCI或者所述待处理的TTM进行匹配,如果匹配成功,则创建串链令牌,清除缓存池中的LTCI和TTM,并将TTM发送到串链模块,进行串链。
6.一种电子设备,其特征在于,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存储的程序时,实现权利要求1-4任一所述的方法步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211423760.4A CN115757303B (zh) | 2022-11-14 | 2022-11-14 | 分布式系统中的指标追踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211423760.4A CN115757303B (zh) | 2022-11-14 | 2022-11-14 | 分布式系统中的指标追踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115757303A CN115757303A (zh) | 2023-03-07 |
CN115757303B true CN115757303B (zh) | 2024-05-03 |
Family
ID=85370716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211423760.4A Active CN115757303B (zh) | 2022-11-14 | 2022-11-14 | 分布式系统中的指标追踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115757303B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1997228A (zh) * | 2006-09-08 | 2007-07-11 | 西安交通大学 | 基于嵌入式移动终端设备与支撑移动协同服务的综合平台 |
CN111813418A (zh) * | 2020-06-30 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 分布式链路跟踪方法、装置、计算机设备及存储介质 |
CN112422335A (zh) * | 2020-11-10 | 2021-02-26 | 普元信息技术股份有限公司 | 技术中台中基于微服务架构实现业务链路分析的方法、系统、装置及存储介质 |
WO2021189899A1 (zh) * | 2020-09-24 | 2021-09-30 | 平安科技(深圳)有限公司 | 链路状态的追踪方法、装置、电子设备及计算机存储介质 |
CN114629949A (zh) * | 2021-12-13 | 2022-06-14 | 美的网络信息服务(深圳)有限公司 | 业务监控方法、电子设备及计算机存储介质 |
-
2022
- 2022-11-14 CN CN202211423760.4A patent/CN115757303B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1997228A (zh) * | 2006-09-08 | 2007-07-11 | 西安交通大学 | 基于嵌入式移动终端设备与支撑移动协同服务的综合平台 |
CN111813418A (zh) * | 2020-06-30 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 分布式链路跟踪方法、装置、计算机设备及存储介质 |
WO2021189899A1 (zh) * | 2020-09-24 | 2021-09-30 | 平安科技(深圳)有限公司 | 链路状态的追踪方法、装置、电子设备及计算机存储介质 |
CN112422335A (zh) * | 2020-11-10 | 2021-02-26 | 普元信息技术股份有限公司 | 技术中台中基于微服务架构实现业务链路分析的方法、系统、装置及存储介质 |
CN114629949A (zh) * | 2021-12-13 | 2022-06-14 | 美的网络信息服务(深圳)有限公司 | 业务监控方法、电子设备及计算机存储介质 |
Non-Patent Citations (1)
Title |
---|
可视化全链路日志追踪;海友等;《https://tech.meituan.com/2022/07/21/visualized-log-tracing.html》;第1-26页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115757303A (zh) | 2023-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107633016B (zh) | 数据处理方法及装置和电子设备 | |
CN109600375B (zh) | 消息跟踪方法、装置、电子设备及存储介质 | |
CN108572970B (zh) | 一种结构化数据的处理方法和分布式处理系统 | |
CN111694840A (zh) | 数据同步方法、装置、服务器及存储介质 | |
CN108600172B (zh) | 撞库攻击检测方法、装置、设备及计算机可读存储介质 | |
CN111711623A (zh) | 一种数据校验的方法及装置 | |
CN111679968A (zh) | 接口调用异常的检测方法、装置、计算机设备及存储介质 | |
CN111553652B (zh) | 业务处理方法及装置 | |
CN116016653A (zh) | 区块链的信息推送方法、装置、电子设备和存储介质 | |
CN113938408B (zh) | 一种数据流量测试方法、装置、服务器及存储介质 | |
CN115757303B (zh) | 分布式系统中的指标追踪方法及装置 | |
CN112633587A (zh) | 一种物流信息的处理方法和装置 | |
CN112214517A (zh) | 流数据处理方法及装置、电子设备、存储介质 | |
CN114363002B (zh) | 一种网络攻击关系图的生成方法及装置 | |
CN114221883B (zh) | 消息测试方法、装置、服务器及存储介质 | |
CN110597794A (zh) | 数据处理方法、装置和电子设备 | |
CN112764888B (zh) | 一种基于日志分析的分布式事务检查判断方法及系统 | |
CN114205325A (zh) | 消息发送方法、装置、服务器及存储介质 | |
CN110175182B (zh) | 数据核对方法及装置 | |
CN114385188A (zh) | 一种代码工作量统计方法、装置和电子设备 | |
CN112597119A (zh) | 一种处理日志的生成方法、装置及存储介质 | |
CN114567855B (zh) | 一种长短信处理方法、装置和电子设备 | |
CN107332709B (zh) | 一种故障定位方法及装置 | |
CN113076331B (zh) | 中台数据处理方法、装置、设备、存储介质及程序产品 | |
CN116506333B (zh) | 交易系统生产反演检测方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |